JP2022156728A - 映像再生装置および映像記録媒体 - Google Patents

映像再生装置および映像記録媒体 Download PDF

Info

Publication number
JP2022156728A
JP2022156728A JP2021060565A JP2021060565A JP2022156728A JP 2022156728 A JP2022156728 A JP 2022156728A JP 2021060565 A JP2021060565 A JP 2021060565A JP 2021060565 A JP2021060565 A JP 2021060565A JP 2022156728 A JP2022156728 A JP 2022156728A
Authority
JP
Japan
Prior art keywords
slice
data
video
playback
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021060565A
Other languages
English (en)
Inventor
昌明 島田
Masaaki Shimada
泰幸 佐藤
Yasuyuki Sato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2021060565A priority Critical patent/JP2022156728A/ja
Publication of JP2022156728A publication Critical patent/JP2022156728A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

【課題】放送ストリームの特殊再生が行われている期間における、映像シーンの把握が困難である状況の発生を抑制する。【解決手段】映像シーンを構成する複数のスライスセグメントは、最重要スライスセグメントを含む。最重要スライスセグメントは、複数のスライスセグメントのうち、重要度が最も高いスライスセグメントである。映像再生装置１００が放送ストリームの特殊再生を行っている期間において、当該映像再生装置１００は、複数のスライスセグメントのうち、最重要スライスセグメント以外のスライスセグメントより当該最重要スライスセグメントを優先して再生する。【選択図】図３３

Description

本開示は、映像再生装置および映像記録媒体に関する。
近年、映像圧縮技術、放送波の変調技術等の進歩に伴い、各国で新しいテレビ放送方式の導入が検討されている。以下においては、新しいテレビ放送方式を、「新放送方式」ともいう。新放送方式によって、映像の伝送効率が向上する。このため、これまでと同じ電波帯域を用いて、より高品質な映像を放送することが可能になる。また、これまでと同じ品質の映像を、より狭い電波帯域で放送することも可能である。新放送方式の導入に伴い、受信機とネットワークとの連携が検討されている。また、受信機に蓄積されて動作する、アプリケーション、コンテンツなども検討されている。
テレビ放送を録画するための録画方式は、通常のテレビ放送方式と密接に関係している。新放送方式が採用された場合には、当該新放送方式の番組を、そのまま録画することはできない。そのため、テレビ放送方式が変更される際には、録画方式も新放送方式に対応した方式に変更する必要がある。
特に、可換型記録メディアを使用する場合には、他の再生装置との互換性も含めて考慮する必要がある。可換型記録メディアは、例えば、ＤＶＤ（登録商標：Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ブルーレイディスク（登録商標：ＢＬＵ－ＲＡＹ ＤＩＳＣ）などである。
現在採用されている録画方式では、新放送方式の番組を、そのまま記録することは困難である。このため、新放送方式に対応した録画方式が必要となっている。
例えば、特許文献１には、ＢＤＡＶ方式を用いたテレビ放送の記録方式、大容量の記録データを分割記録する方法、および、大容量の記録データにアクセスする方法が記載されている。また、特許文献１には、圧縮された映像データおよび音声データを、ＭＰＥＧ２ＴＳに格納して記録する方法が記載されている。また、特許文献１には、ＭＰＥＧ２ＴＳの形式で送信されたテレビ放送を受信して、ＭＰＥＧ２ＴＳの形式で記録する方法が記載されている。
国際公開第２００６／０３０７６７号（段落００２１－０１０５、第１図－第２１図）
新放送方式に対応した録画方式によりディスク等の映像記録媒体に記録された放送ストリームに対し、早送り再生または巻き戻し再生である特殊再生が行われる際には、ユーザーが、当該放送ストリームに対応する映像シーンを把握しやすいことが望まれる。
放送ストリームの特殊再生が行われる際には、一般的に、当該放送ストリームに対応する映像シーンを構成する複数のスライスセグメントが、規定の順番で順次再生される。すなわち、放送ストリームの特殊再生が行われている期間において、複数のスライスセグメントの各々は、同じ確率で再生される。映像シーンの内容によっては、複数のスライスセグメントの各々の重要度が異なる場合がある。この場合、複数のスライスセグメントの各々が同じ確率で再生されると、放送ストリームの特殊再生が行われている期間における、映像シーンの把握が困難である状況が発生するという問題がある。
本開示は、このような問題を解決するためになされたものであり、放送ストリームの特殊再生が行われている期間における、映像シーンの把握が困難である状況の発生を抑制することが可能な映像再生装置等を提供することを目的とする。
上記目的を達成するために、本開示の一態様に係る映像再生装置は、映像ストリームを含む放送ストリームを含む記録データの当該放送ストリームの特殊再生を行う。前記特殊再生は、早送り再生または巻き戻し再生であり、前記記録データは、Ｉピクチャを有する前記映像ストリームと、前記Ｉピクチャの開始位置を示す情報と、前記Ｉピクチャを構成する複数のスライスセグメントの開始位置を示す情報と、前記放送ストリームの再生により表現される映像シーンを構成する前記複数のスライスセグメントの各々の意味的な重要度を示すスライス重要度情報とを含み、前記複数のスライスセグメントは、最重要スライスセグメントを含み、前記最重要スライスセグメントは、前記複数のスライスセグメントのうち、前記重要度が最も高いスライスセグメントであり、前記映像再生装置が前記放送ストリームの前記特殊再生を行っている期間である特殊再生期間において、当該映像再生装置は、前記スライス重要度情報に基づいて、前記複数のスライスセグメントのうち、前記最重要スライスセグメント以外のスライスセグメントより当該最重要スライスセグメントを優先して再生する。
本開示によれば、映像シーンを構成する複数のスライスセグメントは、最重要スライスセグメントを含む。前記最重要スライスセグメントは、前記複数のスライスセグメントのうち、重要度が最も高いスライスセグメントである。映像再生装置が放送ストリームの特殊再生を行っている期間において、当該映像再生装置は、前記複数のスライスセグメントのうち、前記最重要スライスセグメント以外のスライスセグメントより当該最重要スライスセグメントを優先して再生する。
これにより、放送ストリームの特殊再生が行われている期間における、映像シーンの把握が困難である状況の発生を抑制することができる。
実施の形態１に係る映像再生装置の構成を示すブロック図である。 多重化解除手順を説明するための図である。 データの論理構造を示した図である。 複数のＴＬＶパケットを結合して記録した状況を示す模式図である。 パケットの選択、および、時間の同期を説明するための概念図である。 ＭＭＴＰ方式でのＭＰＵタイムスタンプ記述子を用いた同期方式を説明するための図である。 タイムテーブルを作成する手順を示すフローチャートである。 フレーム単位の時刻で検索できるタイムテーブルを示す図である。 ＭＭＴＰ方式でのＭＰＵタイムスタンプ記述子を用いた同期方式を説明するための図である。 ＢＭＦＦとしてストリームデータを光ディスクに記録した場合の説明図である。 実施の形態２に係る、ＭＭＴＰ方式でのＭＰＴによる多重化の解除を説明するための図である。 タイムテーブルと映像データとの関係を説明するための図である。 ＭＭＴＰ方式でのＭＰＴデータの構造の例を示す図である。 映像を中心に考えた場合のアライメントを説明するための図である。 実施の形態３に係る映像ストリームの模式図である。 田の字型分割スライスセグメント構成を説明するための図である。 目の字型分割スライスセグメント構成を説明するための図である。 分割スライスセグメントに対応したタイムテーブルの一例を示す図である。 タイムテーブルの各項目とデータとの対応関係を示す図である。 早送り再生を説明するための図である。 変形例１に係る早送り再生の説明するための図である。 田の字型分割スライスセグメント構成における画像の更新の順番の例を示す図である。 目の字型分割スライスセグメント構成における画像の更新の順番の例を示す図である。 変形例２に係るタイムテーブルを示す図である。 変形例３に係る早送り再生を説明するための図である。 実施の形態４に係るタイムテーブルの一例を示す図である。 シーン連続性番号を使用した処理の効果を説明するための図である。 シーン連続性番号を用いた表示画面の更新を行うシーケンスを示すフローチャートである。 優先スライス情報を使用した処理の効果を説明するための図である。 優先スライス情報を用いた表示画面の更新を行うシーケンスを示すフローチャートである。 実施の形態５に係るタイムテーブルを示す図である。 実施の形態５に係るスライス重要度情報のシンタックスを示す図である。 実施の形態５に係る、スライスセグメントの更新順序の例を示す図である。 実施の形態５に係る、スライス重要度情報を用いた表示画面の更新を行うシーケンスを示すメインフローチャートである。 実施の形態５に係る選択スライス更新処理のフローチャートを示す図である。
テレビ放送の楽しみ方の１つとして、テレビ放送の番組を録画して、後日、再生して視聴することは、従来から行われてきた。番組の録画は、言い換えれば、番組の記録である。録画の楽しみ方は、大きく分けて２種類ある。１つ目の録画の楽しみ方は、「タイムシフト」と呼ばれるものである。タイムシフトは、放送が行われている時間に番組を視聴することができない場合に、番組を録画しておき、後で番組を再生するものである。２つ目の録画の楽しみ方は、「アーカイブ」と呼ばれるものである。アーカイブは、番組を録画して、保管しておくものである。そのため、録画した番組を、いつでも見ることができる。
タイムシフトを利用する場合には、番組を録画した後に、短期間で当該番組の利用が終了する事が多い。一方、アーカイブを利用する場合には、番組を録画した後に、当該番組を長期間保存して利用されることが多い。
テレビ放送以外にも、利用者自身が撮影した映像を記録することも行われている。家庭用ビデオカメラなどで撮影された映像データは、光ディスク、ハードディスク等に記録されて保管される。
最近では、ネットワークなどで収集された映像が記録されることもある。また、家庭での録画以外にも、美術館、博物館、デジタル・サイネージ等においても、録画された映像が使用されている。「デジタル・サイネージ」とは、表示および通信にデジタル技術を活用して、平面ディスプレイ、プロジェクタなどによって、映像、情報等を表示する広告媒体である。
映画などの市販コンテンツとしては、コンテンツを記録した読み出し専用のＤＶＤ、ブルーレイディスクなどがある。最近では、パッケージ入りの光ディスクの他に、ネットワーク経由でコンテンツのダウンロードを行うサービスも増えている。
放送されたコンテンツを記録するフォーマットと、市販されているコンテンツの記録フォーマットとは、異なることがある。たとえば、ブルーレイディスクについては、２種類のフォーマットが規定されている。第１のフォーマットとしてのＢＤＡＶは、放送されたコンテンツの記録用フォーマットである。ＢＤＡＶは、放送波をそのまま記録することができる。第２のフォーマットとしてのＢＤＭＶ、ＡＶＣＨＤ等は、市販されているコンテンツ向けのフォーマットである。ＢＤＭＶは、高度な再生制御機能を持っている。また、ＡＶＣＨＤは、カメラ等で用いられる、ＨＤＤ、メモリーカードなどに映像を記録する場合に用いられている。ＡＶＣＨＤは、ＢＤＭＶを基にして変更が加えられている。
テレビ放送では、従来方式の４倍の解像度を持つ４Ｋ映像に対応したウルトラハイビジョン方式の導入が予定されている。また、さらに高品質な８Ｋ映像の放送も検討されている。同様に、北米地域、欧州地域等でも、現在の放送方式を拡張する形で、新しいテレビ放送方式の導入が検討されている。
地域ごとに差異はあるが、従来のテレビ放送方式は、映像圧縮方式として、ＭＰＥＧ２、ＡＶＣ（すなわち、ｈ．２６４）を採用している。また、従来のテレビ放送方式は、多重化方式としてＭＰＥＧ２ＴＳを採用していた。ＭＰＥＧ２ＴＳは、放送という単一の伝送路を前提としており、映像、音声などを放送局が１つにまとめて送るために使用される。ＭＰＥＧ２ＴＳでは、伝送単位として、同期マーク付きの固定長パケット方式が採用されている。そのため、録画方式でもＭＰＥＧ２ＴＳの方式が採用されることが多い。
一方、新放送方式では、映像圧縮方式として、ＭＰＥＧ２、ＡＶＣ、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）（すなわち、ｈ．２６５）を取り入れる規格が多い。ＨＥＶＣは、同一の画質で比べた場合には、圧縮効率がＭＰＥＧ２の４倍であり、ＡＶＣの２倍である。ＨＥＶＣは、高画質化、狭帯域化等を目指す新放送方式に必要な圧縮技術である。
また、新放送方式では、ネットワーク技術との整合性を重視している。そのため、新放送方式では、多重化方式として、ＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）の採用が検討されている。ＭＭＴは、複数の伝送路で情報を提供できる方式である。ＭＭＴでは、映像および音声を別々に伝送し、受信機が映像および音声を選択して受信できる。また、ＭＭＴは、可変長パケットを採用している。また、受信状況に応じて、再生対象の映像ストリームを変更する方式も検討されている。
上述のように、現在採用されている録画方式では、新放送方式の番組をそのまま記録することは困難である。このため、新放送方式に対応した録画方式が必要となっている。
ここで、新しく記録方式を作る場合には、いくつかのアプローチが考えられる。
第１の方法は、新放送方式の番組を、従来方式の映像に変換して記録する方法である。この場合には、記録方式の変更は必要なく、従来の再生装置との互換もとれる。しかし、高画質などの、新放送方式のメリットを受けることはできない。
第２の方法は、従来の録画方式をできるだけ踏襲して、テレビ放送の情報の中心となる映像および音声を、新放送方式に従って、変換して記録する方法である。この場合には、映像および音声に関しては、新放送方式のメリットを受けることができる。しかし、字幕、データ放送などを楽しむことはできない。
第３の方法は、新放送方式の番組データをそのまま記録する方法である。ネットワークサービスなど外部に依存する部分を除けば、新放送方式のメリットの多くを利用することができる。
実施の形態１．
図１は、実施の形態１に係る映像再生装置１００の構成を示すブロック図である。本実施の形態の映像再生装置１００は、番組の録画、および、番組の再生を行う機能を有する録画再生装置である。番組は、映像で表現される映像コンテンツである。なお、映像再生装置１００は、番組の再生機能を有さない録画装置であってもよい。
映像再生装置１００は、チューナー・復調部１１と、多重化解除部２１と、記録再生制御部４１とを備える。
また、映像再生装置１００は、デコーダーとしての、映像デコード部３２と、音声デコード部３１と、字幕デコード・レンダリング部３３と、データ放送・ＥＰＧ処理部３４とをさらに備える。
また、映像再生装置１００は、内蔵記録装置５１と、光ディスクドライブ５２とをさらに備える。
また、映像再生装置１００は、外部入力部１２と、ネットワーク部１３とをさらに備える。外部入力部１２およびネットワーク部１３は、外部から、信号を受信する機能を有している。また、チューナー・復調部１１も、外部から、信号を受信する機能を有している。
＜映像再生装置１００の動作＞
チューナー・復調部１１は、放送波Ｂａを受信する。そして、チューナー・復調部１１は、放送波Ｂａを復調する。外部入力部１２は、外部装置Ｅｉからデータを受信する。外部装置Ｅｉは、例えば、ビデオカメラなどの撮影装置である。なお、映像再生装置１００が、外部から受信する「データ」は、映像データ、音声データ、字幕データ、データ放送のデータ、制御情報等である。
ネットワーク部１３は、ネットワークＮｅからデータを受信する。ネットワークＮｅは、例えば、複数のコンピュータ、電子機器などが、信号、データ、情報等の送受信を行うためのネットワークである。ネットワーク部１３は、例えば、コンピュータネットワーク、通信ネットワーク等である。
多重化解除部２１は、多重化ストリームＳｍの多重化を解除する。つまり、多重化解除部２１は、多重化ストリームＳｍから、各種のデータを取り出す。
音声デコード部３１は、圧縮された音声データを伸長する。音声デコード部３１は、エレメンタリーストリームＳｅに含まれる圧縮された音声データを伸長する。
映像デコード部３２は、圧縮された映像データを伸長する。映像デコード部３２は、エレメンタリーストリームＳｅに含まれる圧縮された映像データを伸長する。
字幕デコード・レンダリング部３３は、圧縮された字幕データを伸長する。字幕デコード・レンダリング部３３は、エレメンタリーストリームＳｅに含まれる圧縮された字幕データを伸長する。
データ放送・ＥＰＧ処理部３４は、圧縮されたデータ放送のデータを伸長する。データ放送・ＥＰＧ処理部３４は、エレメンタリーストリームＳｅに含まれる圧縮されたデータ放送のデータを伸長する。
記録再生制御部４１は、映像再生装置１００内の構成要素を制御する機能を有する制御部である。記録再生制御部４１は、記録用の映像データ、音声データ、制御情報などを収集する。記録再生制御部４１は、収集したデータを記録用のデータフォーマットに変換する。
内蔵記録装置５１は、映像再生装置１００に内蔵された記録装置である。内蔵記録装置５１は、例えば、ハードディスクドライブ、揮発性メモリ、不揮発性メモリ等である。
光ディスクドライブ５２は、映像記録媒体である光ディスク５３にデータを記録する。また、光ディスクドライブ５２は、光ディスク５３からデータを読み出す。光ディスク５３は、例えば、ブルーレイディスク、ＤＶＤなどである。
＜データを記録しない場合のデータ処理の流れ＞
まず、番組を記録せずに、当該番組をテレビに表示する場合の処理の流れを説明する。当該テレビは、表示装置Ｄｄおよび音響装置Ｅｓを含む。表示装置Ｄｄは、映像を表示する装置である。表示装置Ｄｄは、例えば、ディスプレイである。音響装置Ｅｓは、音声を出力する装置である。音響装置Ｅｓは、例えば、スピーカーである。ここでは、放送波を使用した処理の一例として、放送波の受信から映像および音声の出力までについて説明する。
映像再生装置１００が外部から受信する入力信号は、例えば、アンテナで受信された放送波Ｂａである。また、入力信号は、例えば、ビデオカメラとしての外部装置Ｅｉからの映像信号である。また、入力信号は、例えば、ネットワークＮｅからの映像データである。利用者は、リモコン（リモート・コントローラー）、操作ボタンなどを用いて、入力部を選択する。当該入力部は、チューナー・復調部１１、外部入力部１２またはネットワーク部１３である。当該リモコンは、利用者が操作する遠隔操作機器である。
また、放送波Ｂａが使用される場合、放送局、選局対象の番組などが設定される。また、ネットワークＮｅが使用される場合、データ取得先、データへのアクセス情報などが設定される。ここで、利用者が視聴したい映像サービス、利用者が記録したい映像サービスは、特定されているものとする。また、利用者が視聴したい映像サービス、利用者が記録したい映像サービスは、映像再生装置１００が受信できる状態になっているとする。
アンテナで受信した放送波Ｂａは、チューナー・復調部１１に入力される。チューナー・復調部１１は、放送波Ｂａから、指定された放送局の電波を取り出す。そして、チューナー・復調部１１は、規定された復調方式で、放送波Ｂａを復調する。これにより、チューナー・復調部１１は、放送波Ｂａから多重化ストリームＳｍを取り出す。
多重化ストリームＳｍは、映像データ、音声データ、字幕データ、制御情報などが多重化されたストリームである。なお、１つの多重化ストリームＳｍに、複数の番組が格納されていてもよい。
「ストリーム」とは、時間の流れを持ったデータ、時間的な流れを持った形で伝送されるデータ等である。例えば、映像データを含むストリームは、映像ストリームである。音声データを含むストリームは、音声ストリームである。また、その他のストリームには、字幕ストリーム、多重化ストリーム、受信ストリーム、データストリームなどが存在する。
多重化ストリームＳｍは、チューナー・復調部１１で取り出される。チューナー・復調部１１で取り出された多重化ストリームＳｍは、多重化解除部２１に送られる。多重化解除部２１は、多重化ストリームＳｍから、各種のデータ、各種の制御情報などを取り出す。当該データは、例えば、番組を直接構成するデータである。当該データは、例えば、映像ストリーム、音声ストリーム、字幕ストリームなどである。当該データは、例えば、多重化ストリームＳｍに格納された、データ放送用のプログラム、データ等である。
多重化を解除された各種のデータは、エレメンタリーストリームＳｅである。当該各種のデータは、圧縮されたデータである。
映像ストリームは、圧縮された映像データである。映像デコード部３２は、圧縮された映像データを伸長する。伸長された映像データは、テレビの表示装置Ｄｄから映像として出力される。
音声ストリームは、圧縮された音声データである。音声デコード部３１は、圧縮された音声データを伸長する。伸長された音声データは、テレビの音響装置Ｅｓから音声として出力される。
表示装置Ｄｄおよび音響装置Ｅｓから映像および音声が出力される際に、映像データＤｉ１および音声データＤｓに対し、バッファリングおよび同期が行われる。これによって、映像および音声の出力のタイミングにずれが生じない。映像データおよび音声データの出力のタイミングは、制御情報、システムクロック等により指定されたタイミング、または、算出されたタイミングである。
字幕ストリームは、圧縮された字幕データである。字幕デコード・レンダリング部３３は、圧縮された字幕データを伸長する。字幕デコード・レンダリング部３３は、伸長された字幕データを解釈する。字幕デコード・レンダリング部３３は、解釈された字幕データを映像化する。映像化された字幕データは、指定されたタイミングで、映像データまたは音声データに合成される。合成された字幕データは、例えば、表示装置Ｄｄから映像として出力される。
データ放送のストリームは、圧縮されたデータである。データ放送・ＥＰＧ処理部３４は、圧縮されたデータ放送のデータを伸長する。データ放送・ＥＰＧ処理部３４は、指定されたタイミングで、伸長された映像データと、伸長された音声データとを合成する。合成された映像データおよび音声データは、テレビなどから映像および音声として出力される。
以上のように、映像再生装置１００は、受信した放送波Ｂａを使用して、同期の取れた映像および音声として出力する。
＜データの記録＞
次に、映像データを記録する処理について説明する。
記録再生制御部４１は、前述した、放送波Ｂａの受信から映像の表示までの流れの中で、記録用の映像データ、音声データ、制御情報などを収集する。収集されたデータは、記録用のデータフォーマットに変換される。記録用のデータフォーマットに変換されたデータは、例えば、光ディスクドライブ５２により光ディスク５３に記録される。また、当該変換されたデータは、例えば、内蔵記録装置５１に記録される。
記録再生制御部４１が、映像データ、音声データ等を取り出すための位置は、様々な位置が考えられる。ここでは、説明を容易にするために、経路Ｔａ，Ｔｂ，Ｔｃを使用した処理について説明する。経路Ｔａは、多重化ストリームＳｍを取り出すための経路である。経路Ｔｂは、多重化が解除されたエレメンタリーストリームＳｅを取り出すための経路である。経路Ｔｃは、伸長された映像データＤｉ１を取り出すための経路である。
以下においては、経路Ｔａおよび経路Ｔｂに関して説明する。
≪（Ａ－１）多重化ストリームＳｍの状態でのデータの記録（１）≫
多重化ストリームＳｍの状態でのデータの取り出し、および、光ディスク５３であるブルーレイディスクへの多重化ストリームＳｍの記録について説明する。多重化ストリームＳｍは、図１の経路Ｔａを使って取り出される。
例えば、日本の従来の放送方式に基づいて、チューナー・復調部１１から取り出される多重化ストリームＳｍは、ＭＰＥＧ２ＴＳの多重化ストリーム内にＭＰＥＧ２形式で圧縮された映像信号が格納されたデータである。
ＭＰＥＧ２ＴＳの放送用ストリームは、１９２バイトの固定長のパケットで表現される。また、このパケットを、受信順に結合することによって、記録フォーマット用のデータファイルを作成することができる。このようにして作成されたデータファイルは、ストリームファイルと呼ばれる。
実際に放送されているストリームには、複数の番組が多重化されている。当該複数の番組から目的の番組を取り出す過程が必要となる。ここでは、当該過程の説明を省略する。
まず、ブルーレイディスクのＢＤＡＶフォーマットに基づいた番組の取り出しについて説明する。
ブルーレイディスクのＢＤＡＶフォーマットに基づいた番組の取り出しには、ストリームファイルの他に、クリップファイル、プレイリストファイル、インフォファイルなどが必要である。クリップファイルは、ストリームファイル内のデータにアクセスするための詳細情報を記録したファイルである。プレイリストファイルは、時系列の情報を管理するためのファイルである。当該時系列の情報は、例えば、一つの番組の開始点、当該番組の終了点、再生ストリームの切り替えなどの情報である。インフォファイルは、例えば、ディスク全体の情報を管理するためのファイルである。インフォファイルは、例えば、再生可能な番組リストである。
これらの情報は、ストリーム内の管理情報、利用者が設定した予約情報、チューナー・復調部１１から得られる管理情報などから作成される。上記の情報の作成に関しては、例えば、特許文献１に詳しく書かれている。
次に、日本の新放送方式に基づいた番組の取り出しについて説明する。
日本の新放送方式は、例えば、放送サービス高度化推進協会の「高度高帯域衛星デジタル放送 運用規定１．１版 ＮＥＸＴＶＦ ＴＲ－００４」（２０１６年３月３０日発行、第一部・第二編・第５章、２－３１～２－４０ページ、図５－１）に記載されている。
日本の新放送方式は、４Ｋ、８Ｋ等の高解像度映像に対応している。また、新放送方式は、色域および輝度域拡大に対応している。新放送方式では、映像圧縮方式として、ＨＥＶＣが採用されている。また、新放送方式では、多重化方式として、ＭＭＴとＴＬＶとを組み合わせた方式が採用されている。
ＭＭＴおよびＴＬＶは、ネットワークで用いられているＩＰパケットとの整合性を考えて設計されている。ＴＬＶは、ＩＰパケットの放送波を用いた伝送方式である。ＭＭＴは、ＩＰパケットを用いて映像データを転送する方式、および、そのデータ形式を規定している。ＭＭＴでは、ＩＰパケットは、可変長パケットを採用している。このため、ＭＭＴおよびＴＬＶも可変長パケットを採用している。
図２を用いてこの方式での多重化解除手順を説明する。図２は、多重化解除手順を説明するための図である。
図２において、横軸Ｈａ方向は、データの受信の順番を示している。横軸Ｈａ方向には、データが受信された順番に、当該データが左から右に向かって並べられている。以下においては、縦軸に沿った方向を、「縦軸Ｖａ方向」ともいう。縦軸Ｖａ方向は、データの処理の流れを示している。縦軸Ｖａ方向には、パケット解析によるデータの取り出しの順番が示されている。縦軸Ｖａ１の範囲では、多重化ストリームＳｍの多重化を解除している。縦軸Ｖａ２の範囲では、エレメンタリーストリームＳｅの多重化を解除している。
ＴＬＶパケットのデータは、放送波Ｂａの復調によって得られる。ＴＬＶパケットは、放送に関する情報を含んでいる。放送に関する情報は、例えば、放送の識別子、チャンネル、放送局名、ＩＰアドレス、ポート番号、使用対象の電波の情報などである。「使用対象の電波」とは、地上波、ＢＳ放送、ＣＳ放送などである。「使用対象の電波の情報」とは、放送の形態、変調方式、周波数、偏向方向、旋回方向などである。
ペイロードは、データ伝送におけるデータ部分を指す。つまり、ペイロードは、伝送されるデータ全体のうち、伝送処理のための管理情報を除いたものに相当する。管理情報は、例えば、ヘッダ、メタデータなどである。
また、ＴＬＶ（Ｔｙｐｅ－Ｌｅｎｇｔｈ－Ｖａｌｕｅ）は、情報の種類、長さおよび値をまとめて表現するフォーマットである。ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）は、ＩＰの上位プロトコルのトランスポート層で動作するプロトコルである。ＵＤＰは、ネットワーク層のＩＰとセッション層以上のプロトコルの橋渡しをするかたちで動作する。ＭＭＴＰ（登録商標）は、マルチメディア多重化伝送プロトコルである。
チューナー・復調部１１は、放送局の情報、ＩＰアドレスの情報、ポート番号の情報等をＴＬＶパケットから取り出す。チューナー・復調部１１は、ＩＰアドレスの情報を用いて、必要なＩＰパケットを取り出す。次に、チューナー・復調部１１は、ポート番号の情報を用いてＵＤＰパケットを取り出す。
この時点で、チューナー・復調部１１は、放送局から送られてきた放送波Ｂａの多重化を解除している。そして、チューナー・復調部１１は、ＵＤＰパケットのデータを取り出している。チューナー・復調部１１は、ＵＤＰパケットからＵＤＰヘッダを取り除く。そして、チューナー・復調部１１は、ＵＤＰパケットからＵＤＰペイロードを取り出す。これによって、チューナー・復調部１１は、ＵＤＰパケットからＭＭＴＰパケットを取り出すことができる。
日本の新しい放送規格では、１つのＭＭＴＰパケットは、１つのＵＤＰ／ＩＰパケットに格納されている。さらに、１つのＵＤＰ／ＩＰパケットは、１つのＴＬＶパケットに格納されている。そのため、制御用データを分離した後のＭＭＴＰを伝送しているパケットにおけるＭＭＴＰパケットは、ＴＬＶパケットから単純にＴＬＶヘッダ、ＩＰヘッダおよびＵＤＰヘッダを取り除くことによって取り出される。
ＭＭＴＰパケットとして取り出された時点で、放送局から送られてきた放送波Ｂａの多重化は解除されている。しかし、放送波Ｂａは、複数の番組をまとめた一連のＭＭＴＰパケットとして多重化されていることもある。その場合には、目的の番組だけを取り出すために、まず、制御情報を取り出して、その制御情報の記載に従って、ＭＭＴＰパケットを選択して取り出す。
ＭＭＴＰパケットとして送られてくる制御信号の１つにＰＬＴ（Ｐａｃｋａｇｅ Ｌｉｓｔ Ｔａｂｌｅ）がある。全ての情報が放送波で送信されてくる場合には、ＰＬＴの中の「ＭＭＴ＿ｇｅｎｅｒａｌ＿ｌｏｃａｔｉｏｎ＿ｉｎｆｏ」によって指定された「ｐａｃｋｅｔ＿ｉｄ」を参照する。この「ｐａｃｋｅｔ＿ｉｄ」を用いて、ＭＭＴＰパケットをフィルタリングする。これによって、目的とする番組の管理情報を含むＭＭＴＰパケットを選択することができる。「目的とする番組」とは、視聴する予定の番組である。
ネットワークから番組の管理情報を取得する場合には、「ＭＭＴ＿ｇｅｎｅｒａｌ＿ｌｏｃａｔｉｏｎ＿ｉｎｆｏ」に記載されているＩＰアドレスおよびポート番号が指定される。また、「ＭＭＴ＿ｇｅｎｅｒａｌ＿ｌｏｃａｔｉｏｎ＿ｉｎｆｏ」によって、ＵＲＬにより表現される、番組の取得先が指定される。
次に、選択されたＭＭＴＰパケットからＭＰＴ（ＭＭＴ＿Ｐａｃｋａｇｅ＿Ｔａｂｌｅ）を含むデータを取り出す。ＭＰＴには、目的とする番組を構成する映像、音声、字幕などのアセットの組合せおよび取得先が記述されている。それぞれのアセットの取得先は、「ＭＭＴ＿ｇｅｎｅｒａｌ＿ｌｏｃａｔｉｏｎ＿ｉｎｆｏ」によって、「ｐａｃｋｅｔ＿ｉｄ」、ネットワーク情報等で示されている。ここで、ネットワーク情報は、ＩＰアドレス、ポート番号、ＵＲＬ等である。
このようにして、ＰＬＴで示された制御データと、ＭＰＴで示された番組を構成するアセットとを、例えば、「ｐａｃｋｅｔ＿ｉｄ」でフィルタリングする。これよって、目的とする番組のＭＭＴＰパケットを取り出すことができる。
ここで、ＴＬＶパケットから、ＭＭＴＰパケット、ＭＭＴＰペイロード等を取りだす過程において、１つのパケットに着目する。この場合、パケットヘッダは、取り除かれる。しかし、パケット内のデータは変化しない。ところが、実際には、制御情報と各段階でのパケットヘッダの内容とから、パケットの取捨選択および分類が行われている。
［標準フォーマットを用いないで記録する場合］
番組を記録する方法として、例えば、受信した放送のパケットを、そのまま記録する方法を説明する。
図４は、複数のＴＬＶパケットを結合して記録した状況を示す模式図である。
図４に示す例では、ＴＬＶパケットの時点で、放送局から送られてきた多重化ストリームＳｍの多重化は解除されている。番組のＴＬＶパケットは、そのまま結合されている。結合されたＴＬＶパケットは、ファイルを構成している。
図４は、ＴＬＶパケットＴＰ－０，ＴＰ－１，ＴＰ－２，ＴＰ－３を示している。例えば、「ＴＬＶパケットＴＰ－０」の「－０」などは、ＴＬＶパケットＴＰの受信の順番を表わしている。例えば、ＴＬＶパケットＴＰ－０は、最初に受信したＴＬＶパケットＴＰである。すなわち、図４の横軸Ｈａは、ＴＬＶパケットＴＰの受信の順番を表わしている。
最初に受信したＴＬＶパケットＴＰ－０の後ろには、ＴＬＶパケットＴＰ－０の後に受信したＴＬＶパケットＴＰ－１，ＴＰ－２，ＴＰ－３が結合している。そして、結合されたＴＬＶパケットＴＰ－０，ＴＰ－１，ＴＰ－２，ＴＰ－３は記録される。ＴＬＶパケットＴＰは、可変長パケットを採用している。
データをパケット単位で受信するため、受信時点で、パケットの先頭は明確である。しかし、複数のパケットを結合して、１つのファイルを作成する場合には、複数のパケットの先頭位置を判別する必要がある。
第１の方法は、パケットを記録する時点で、当該パケットの先頭位置のリストを、管理用ファイルＡｆとして作成する方法である。
これは、パケットを記録する時点では、当該パケットのファイル内での先頭位置が判明するためである。この場合には、パケット番号などと関連付けてパケットの先頭位置のリストを作成しても良い。
第２の方法は、ファイルの先頭からデータを読み込み、先頭のデータＨｍが存在する場合には、データＨｍが存在する位置を、ＴＬＶパケットＴＰの先頭と判断する。そして、ＴＬＶパケットＴＰが結合したデータを読み込む。
ＴＬＶパケットＴＰの先頭を識別するために、ＴＬＶパケットＴＰの最初の１バイトには、固定値「０ｘ７Ｆ」が格納されている。そして、当該最初の１バイトである先頭バイトの後ろには、パケット種別を表す１バイトのデータが格納されている。そして、当該１バイトのデータの後ろには、データ長を示す２バイトのデータが格納されている。
ここで、ＴＬＶパケットＴＰの先頭のデータＨｍは、固定値「０ｘ７Ｆ」である。
先頭のデータＨｍである固定値「０ｘ７Ｆ」が読み込まれれば、直前に読み込まれたデータを、ＴＬＶパケットＴＰとして解釈して処理を行う。
固定値「０ｘ７Ｆ」は、特別な値ではない。固定値「０ｘ７Ｆ」は、データ中にも存在している。そのため、間違った位置からデータを読み込む可能性がある。この場合でも、ＴＬＶパケットＴＰのデータとしての矛盾の有無を確認する。また、固定長のデータを読み込んだ後に、次のデータの先頭が、毎回、固定値「０ｘ７Ｆ」になっているか否かを確認する。これらによって、正しいデータの区切りで、パケットを読み込むことができる。
この例では、ＴＬＶパケットを記録する方法を示した。なお、ＵＤＰ／ＩＰパケットを記録する方法を採用してもよい。また、ＭＭＴＰパケットを、そのまま記録する方法などを採用してもよい。
上記の説明の対象のパケットとして、ＴＬＶパケットを選んだ理由は、ＴＬＶパケットの先頭に識別用の固定バイトが用意されていて、パケットの識別が比較的に容易だからである。
他のパケットを記録する方法では、識別のためのマークが挿入されていない場合がある。そこで、識別子を独自に挿入する手法も採用できる。ＵＤＰ／ＩＰパケットの記録については、例えば、ＩＰアドレス情報を用いて、識別のためのマークとする方法も採用できる。当該ＩＰアドレス情報は、同じ番組中では変化しない。
≪（Ａ－２）多重化ストリームＳｍの状態でのデータの記録（２）≫
ＭＰＴは、ＭＭＴＰパケットに格納されて伝送される。ＭＰＴは、制御情報を含んでいる。多重化解除部２１は、ＭＰＴに記載された情報に基づいて、パケットを振り分ける。ＭＰＴに記載された情報は、例えば、ＭＭＴＰヘッダに含まれるパケットＩＤ情報である。これによって、多重化解除部２１は、映像情報としての映像ストリーム、音声情報としての音声ストリームなどを個別に取り出すことができる。すなわち、多重化解除部２１は、多重化ストリームＳｍの多重化を解除することができる。
ＭＦＵは、ＭＭＴＰパケットに格納されている。複数のＭＦＵが１つのＭＭＴＰパケットに格納されている場合がある。また、１つのＭＦＵが１つのＭＭＴＰパケットに格納されている場合がある。また、１つのＭＦＵが複数のＭＭＴＰパケットに格納されている場合がある。
ＭＭＴＰに含まれる、映像データのＭＦＵ、音声データのＭＦＵ等は、アクセスユニット、または、ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットと呼ばれる処理単位になっている。以下においては、アクセスユニットを、「ＡＵ」ともいう。ＮＡＬユニットは、ＡＵをさらに細かく分割したデータである。
ＭＦＵに直接映像データを格納する場合には、ＭＦＵにＡＵを格納する場合とＭＦＵにＮＡＬユニットを格納する場合とが定義されている。日本の新放送方式では、ＮＡＬユニットで格納する方式を採用している。そのため、以降の説明では、ＭＦＵにＮＡＬユニットが格納されているものとして説明する。
図２では、ＮＡＬユニットを直接ＭＦＵに格納した場合を示している。ＮＡＬユニットには、映像データのみを含んだＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ）－ＮＡＬユニットと、映像データを含まず管理情報を格納した非ＶＣＬ－ＮＡＬユニットとがある。
非ＶＣＬ－ＮＡＬユニットは、ＮＡＬヘッダを取り除くと、制御情報が得られる。
ＶＣＬ－ＮＡＬユニットは、ＮＡＬヘッダを取り除くと、分割された映像データが取り出される。これらの分割された映像データを結合することによって、１フレーム分の圧縮された映像データが生成される。
通常、１フレーム分の管理情報および映像データを含む複数のＮＡＬユニットが、一式のデータとして扱われる。当該一式のデータは、ＡＵと呼ばれている。多重化解除部２１が処理するデータが映像データである場合、ＡＵは、映像データを含んでいる。多重化解除部２１は、ＥＳ（エレメンタリーストリーム）を再構築することができる。
映像データのＡＵは、基本的には、１フレーム分の映像単位である。１フレーム分の映像単位は、ピクチャを表現する単位である。映像装置では、このピクチャを時系列的に順次切り替えながら表示することで動画として表示している。ピクチャには、Ｉピクチャ、ＰピクチャおよびＢピクチャが存在する。
Ｉピクチャは、当該Ｉピクチャ単独で、１枚のピクチャを再現できる。
ＰピクチャおよびＢピクチャは、他のピクチャに依存している。そのため、ＰピクチャおよびＢピクチャは、単独では１枚のピクチャを再現できない。ＰピクチャおよびＢピクチャは、他のピクチャを参照することによって、ピクチャを再現できる。Ｐピクチャは、１枚の他のピクチャを参照する。Ｂピクチャは、２枚の他のピクチャを参照する。
テレビ放送、映像再生装置などでは、番組の途中から視聴できることが求められている。また、テレビ放送、映像再生装置などでは、ランダムアクセスできることが求められている。そのため、参照対象となるピクチャの範囲が広範囲であると都合が悪い。
そこで、所定の時間のデータ、または、所定のフレーム枚数のデータが、一式のデータとして扱われる。この一式のデータの中で、参照するピクチャが完結するように定められている。
この一式のデータは、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）と呼ばれている。ＧＯＰは、少なくとも１つのＩピクチャを含んでいる。番組の途中から視聴する際には、取得したストリームデータが映像を再現できない不完全な位置から始まっている場合でも、次のＧＯＰの始まりからは映像を再現して表示することができる。
例えば、日本の新放送方式は、２Ｋ放送では０．５秒毎に、ＧＯＰを作成することを求めている。また、当該新放送方式は、４Ｋ放送では１秒毎に、ＧＯＰを作成することを求めている。これによって、テレビの電源がオンされた際、または、チャンネルが切り替えられた際に、１秒から２秒で、映像を表示できる。
また、映像が、画面の全体で切り替わる場合には、切り替わりの前後でＧＯＰを分けた方が、効率が良い。例えば、圧縮率、画像再生などの効率等が向上する。映像が、画面の全体で切り替わる場合は、例えば、シーンの切り替わりである。そのため、ＧＯＰ長は、固定した値ではなく、柔軟に運用される。つまり、状況に応じて、ＧＯＰ長は、変更される。
また、通信、ネット配信等では、日本の新放送方式よりも長い単位のＧＯＰが使用されることもある。
記録された映像を再生する際には、表示したいフレームを含むＧＯＰの先頭から映像にアクセスする。これによって、スムーズなランダムアクセスが可能になる。また、早送りなどが行われる場合、ＧＯＰごとにＩピクチャのみが表示される。ＧＯＰは、動画として再生できる映像データの一固まりの単位である。また、ＧＯＰは、再生が可能な位置を示す単位である。また、ＧＯＰは、ランダムアクセスが可能な位置を示す単位である。
映像再生装置は、放送波Ｂａを受信する際には、ＰＬＴ（Ｐａｃｋａｇｅ Ｌｉｓｔ Ｔａｂｌｅ）を受信する。ＰＬＴは、ＭＭＴＰパケットとして送られてくる制御信号である。
全ての情報が放送波Ｂａで送られてくる場合には、ＰＬＴ内の「ＭＭＴ＿ｇｅｎｅｒａｌ＿ｌｏｃａｔｉｏｎ＿ｉｎｆｏ」で指定された「ｐａｃｋｅｔ＿ｉｄ」が参照される。そして、この「ｐａｃｋｅｔ＿ｉｄ」でＭＭＴＰパケットがフィルタリングされる。これによって、目的とする番組の管理情報を含むＭＭＴＰパケットを選択することができる。
ネットワークＮｅから番組の管理情報を取得する場合には、「ＭＭＴ＿ｇｅｎｅｒａｌ＿ｌｏｃａｔｉｏｎ＿ｉｎｆｏ」に記載されているＩＰアドレスおよびポート番号によって番組の取得先が指定される。また、「ＭＭＴ＿ｇｅｎｅｒａｌ＿ｌｏｃａｔｉｏｎ＿ｉｎｆｏ」に記載されているＵＲＬによって番組の取得先が指定される。
次に、選択したＭＭＴＰパケットの中から、ＭＰＴ（ＭＭＴ＿Ｐａｃｋａｇｅ＿Ｔａｂｌｅ）を含むデータが選択される。ＭＰＴには、番組を構成する映像、音声、字幕などのアセットの組合せおよび取得先が記述されている。各アセットの取得先は、「ＭＭＴ＿ｇｅｎｅｒａｌ＿ｌｏｃａｔｉｏｎ＿ｉｎｆｏ」に記載されている「ｐａｃｋｅｔ＿ｉｄ」、または、ネットワーク情報に示されている。ネットワーク情報は、例えば、ＩＰアドレス、ポート番号等である。また、ネットワーク情報は、例えば、ＵＲＬである。
また、それぞれの映像、音声、字幕などの時間で同期する必要のあるアセットに関しては、アセットごとに、ＭＰＵタイムスタンプ記述子およびＭＰＵ拡張タイムスタンプ記述子が定義されている。
アセットについては、アセットが放送波Ｂａに含まれて送られてくる場合と、ネットワークＮｅからアセットを取得する場合とが定められている。ここでは、説明の簡略化のため、アセットが放送波Ｂａに含まれて送られてくる場合を一例として説明する。
日本の新放送方式では、映像データおよび音声データに関しては、ＭＦＵに直接ＮＡＬユニットを格納して送出する方式が採用される。また、日本の新放送方式では、「ＲＡＰ_ｆｌａｇ」が付加されたＭＭＴＰパケットから次の「ＲＡＰ_ｆｌａｇ」が付加されたＭＭＴＰパケットの直前までが、１つのデータの集まりとして取り扱われる。そして、その１つのデータの集まりは、ＭＰＵとして取り扱われる。「ＲＡＰ_ｆｌａｇ」は、ランダムアクセス可能なデータの開始点を示す。
新放送方式では、ＭＭＴＰパケットの「ＲＡＰ＿ｆｌａｇ」の有無の調査によって、同一ＭＰＵに属していることを識別できる。また、新放送方式では、ＭＭＴＰパケットの「ＭＰＵ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒ」によって、同一ＭＰＵに属していることを識別できる。この新放送方式におけるＭＰＵを、ここでは、仮に「ストリーム伝送単位ＭＰＵ」と呼ぶ。
この「ストリーム伝送単位ＭＰＵ」は、ランダムアクセス可能なデータを先頭としている。このため、映像の観点から考えると、ストリーム伝送単位ＭＰＵは、ＧＯＰ単位になっている。つまり、「ストリーム伝送単位ＭＰＵ」は、ＭＭＴＰの観点から、１ＧＯＰを構成するＭＭＴＰパケットの集まりと考えることができる。
前述のＭＰＵタイムスタンプ記述子およびＭＰＵ拡張タイムスタンプ記述子は、この「ストリーム伝送単位ＭＰＵ」に関連付けて、同期する時間の情報を与えている。
ＭＰＵタイムスタンプ記述子には、映像、音声などのＭＰＵの中で最初に再生されるタイミングがＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）形式の時刻で示されている。ＮＴＰは、コンピュータに内蔵されているシステムクロックを、ネットワークを介して、他のコンピュータのシステムクロックと同期させるためのプロトコルである。すなわち、ＮＴＰは、複数のコンピュータ間において、時刻を正しく同期させるためのプロトコルである。
ＭＰＵ拡張タイムスタンプ記述子には、ＭＰＵの中のＡＵごとに、再生されるタイミングがＭＰＵ内での相対的な時間として記述されている。ＭＰＵ内での相対的な時間は、ＡＵ内での先頭からの差分、直前のＡＵからの差分などである。「差分」とは、２つの値の差のことである。例えば、ここでは、２つの値は時刻である。例えば、映像のＡＵについては、ＭＰＵ拡張タイムスタンプ記述子には、ＭＰＵの中のフレームごとに、再生されるタイミングが記述されている。
これらの記述によって、映像、音声、字幕などの組合せを指定することができる。そして、映像、音声、字幕などを、時間的な同期を取りながら再生することができる。
テレビ放送では、テレビの電源を入れた後に、短時間で番組を表示するために、ＰＬＴおよびＭＰＴは比較的に短い周期で再送されている。日本の新放送方式では、ＰＬＴおよびＭＰＴは、１００ｍｓごとに送られる。
これまで、ＴＬＶパケット、ＴＣＰパケットおよびＭＭＴＰパケットを結合したファイルを記録する方法を説明した。また、ＴＬＶパケット、ＵＤＰパケットおよびＭＭＴＰパケットを結合したファイルを記録する方法を説明した。
しかし、上記のような、パケットを結合したファイルを記録する方法では、再生時刻の情報、ランダムアクセス可能な位置を示す情報などが、ファイル内の各所に分散して記録される。これは、情報へのアクセスにとっては、適していない。また、同じ情報が何度も記録されるため冗長である。
放送では、どの時点から番組の受信を開始しても、短時間で情報をそろえて、表示を開始する必要がある。そのため、情報がファイルに分散して記録されることは、不適切である。このため、ストリーム中の各所に分散して情報を持たせている。また、放送では、記録およびランダムアクセスを考慮する必要がない。
記録した番組を視聴する際には、頭出し、シーンの検索、編集による映像間の接続などが行われる。そのためランダムアクセスが必要となる。そこで、ランダムアクセスに必要な情報が、情報の記録時または情報の記録後に、独自に作成される。
図５、図６および図７を用いて、ランダムアクセスのためのデータ生成について説明する。
ここでは、ＭＭＴＰパケットが結合したファイルとして、映像、音声などを含む映像データを作成する例を説明する。なお、ＴＬＶまたはＵＤＰ／ＩＰパケットを使用して映像データを作成する場合も同様である。
図５は、パケットの選択、および、時間の同期を説明するための概念図である。四角で表わしたものが、ＭＭＴＰパケットである。
図５において、横軸Ｈａ方向は、データの受信の順番を示している。つまり、横軸Ｈａ方向には、データが受信された順番に、当該データが左から右に向かって並べられている。
映像のＭＭＴＰパケットにおいて、「Ｒ」を示すパケットは、「ＲＡＰ＿ｆｌａｇ」が設定されている。また、「Ｒ」を示すパケットは、ＧＯＰの先頭を含んでいる。
図５において、ＭＰＴから引き出されている矢印は、当該ＭＰＴのＭＰＵタイムスタンプ記述子に基づいて再生時刻を決めるためのＭＰＵが、どのＭＰＵであるかを表している。
例えば、最初に現れるＭＰＴ－０は、映像アセットとして、「ｐａｃｋｅｔ＿ＩＤ」を指定する。図５では、一例として、ＭＰＴ－０は、ＭＰＵ－ｖ０およびＭＰＵ－ｖ１の再生タイムスタンプを指定している。ＭＰＵは、複数のＭＭＴＰパケットで構成されている。
また、ＭＰＴ－０は、音声アセットとして「ｐａｃｋｅｔ＿ＩＤ」を指定する。図５では、一例として、ＭＰＴ－０は、ＭＰＵ－ａ０およびＭＰＵ－ａ１の再生タイムスタンプを指定している。なお、音声のＭＰＵについては、１つのＭＭＴＰパケットに１つの音声のＭＰＵが使用されるとは限らない。また、音声のＭＰＵは、映像のＭＰＵと同頻度で出現するとも限らない。図５では、一例として、１つのＭＭＴＰパケットに１つの音声のＭＰＵが使用されるとしている。また、図５では、映像のＭＰＵの出現頻度と音声のＭＰＵの出現頻度とを同程度として描画している。
図５では、一例として、音声、映像および制御情報である３つのデータの流れが示される。実際には、映像再生装置１００は、１つのデータの流れにおいて音声、映像、制御情報等が混在した状態で、音声、映像、制御情報等を受信している。
このような異なる種類の複数の情報が、一つのデータに混在している状態を「多重化された状態」という。多重化された状態から、「ｐａｃｋｅｔ＿ＩＤ」、各種のフラグ、各種の識別子などを用いて、目的とするデータの流れであるストリームを抽出して、分離することができる。「ｐａｃｋｅｔ＿ＩＤ」、各種のフラグ、各種の識別子などは、ＭＭＴＰパケットに付加されている。多重化されたデータから目的のデータを取り出すことを多重化の解除という。
対象とする番組の多重化されたデータから、ＭＰＴを含むＭＭＴＰパケットが抽出される。そして、ＭＭＴＰパケットからＭＰＴが取り出される。ＭＰＴには、番組を構成する各種アセットのリストおよび各種アセットの取得方法が格納されている。
これにより、例えば、映像の種類と、映像のデータを格納している「ｐａｃｋｅｔ＿ＩＤ」とを知ることができる。また、音声の種類と、音声のデータを格納している「ｐａｃｋｅｔ＿ＩＤ」とを知ることができる。これらの「ｐａｃｋｅｔ＿ＩＤ」で、受信したＭＭＴＰパケットを選択し、分類する。これらによって、番組を構成する映像データ、音声データ等を個別に取出すことができる。つまり、多重化を解除できる。
コンテナフォーマットは、異なるデータを一組にまとめて多重化して取り扱いやすくすることを目的として使用される。コンテナフォーマットは、例えば、ＭＭＴ、ＭＰＥＧ２ＴＳなどである。
図５では、受信したストリームデータを、ＭＰＴストリーム、映像ストリームおよび音声ストリームとしての３つのストリームに分けている。
また、コンテナフォーマットは、タイミングを合わせてこれらのストリームデータを再生することを目的として使用される。つまり、コンテナフォーマットは、これらのストリームデータを同期して再生することを目的として使用される。
図５では、ＭＰＴ－０の受信により、この番組を構成する映像、音声などのアセット情報を得ることができる。また、これらのアセットごとにタイムスタンプ情報が記載されている。タイムスタンプ情報は、映像の表示、音声の再生などのタイミングを示す情報である。タイムスタンプ情報は、ＭＰＴ内に記載されている。タイムスタンプ情報は、アセットごとの「ストリーム伝送単位ＭＰＵ」の番号に対しての再生時刻である。
例えば、映像に対しては、ＭＰＴ－０に、ＭＰＵ－ｖ０の最初のフレームの再生時刻およびＭＰＵ－ｖ１の最初のフレームの再生時刻が記載されている。また、ＭＰＴ－１に、ＭＰＵ－ｖ１およびＭＰＵ－ｖ２の各々の最初のフレームの再生時刻が記載されている。
音声に対しても、同様に、ＭＰＴ－０に、ＭＰＵ－ａ０の再生時刻およびＭＰＵ－ａ１の再生時刻が記載されている。また、ＭＰＴ－１に、ＭＰＵ－ａ１再生時刻およびＭＰＵ－ａ２の再生時刻が記載されている。
ここでは、説明のために、アセットごとに「ストリーム伝送単位ＭＰＵ」の２つ分のタイムスタンプを持っているものとして説明した。しかし、実際には、さらに多くのタイムスタンプを持たせることもできる。
このようにして、ＭＰＵによって「ストリーム伝送単位ＭＰＵ」の再生時刻を指定することができる。そのため、映像と音声とを同期して再生することができる。ここでは説明しなかったが、字幕に関しても同様である。
これらの情報を記録する処理について、図６を用いて説明する。図６は、ＭＭＴＰ方式でのＭＰＵタイムスタンプ記述子を用いた同期方式を説明するための図である。図６には、アセットテーブル、タイムテーブルおよびデータファイルが記載されている。データファイルの上側は、データの先頭である。
データファイルには、番組を構成するＭＭＴＰパケットが順次記録される。単純に、ＭＭＴＰパケットを受信順に記録した場合には、映像データ、音声データ、制御情報等が混在した状態で記録される。ここでは、説明のために「ストリーム伝送単位ＭＰＵ」ごとにまとめた形で記載している。
例えば、図６の「ＭＰＴ－０」は、ＭＰＴである。「ＭＰＴ」には、受け取られた順番が付されている。「ＭＰＴ－０」の順番は、「０」であるため、「ＭＰＴ－０」は、最初に受け取られたことを示している。
例えば、「ＭＰＵ－ｖ０」は、ビデオストリームとして選択されたＭＭＴＰパケットである。ＭＭＴＰパケットについては、複数のＭＭＴＰパケットで構成されるＭＰＵとして扱われる。「ＭＰＵ」には、受け取られた順番が付されている。「ＭＰＵ－ｖ０」の順番は、「０」であるため、「ＭＰＵ－ｖ０」は、最初に受け取られたことを示している。
例えば、「ＭＰＵ－ａ０」は、音声ストリームとして選択されたＭＭＴＰパケットである。音声のＭＰＵについては、１つのＭＭＴＰパケットに１つの音声のＭＰＵが使用されるとは限らない。また、音声のＭＰＵは、映像のＭＰＵと同頻度で出現するとも限らない。しかし、説明を簡単にするため、音声のＭＰＵが映像のＭＰＵと同じ頻度で発生するとしている。また、１つのＭＭＴＰパケットに１つの音声のＭＰＵが使用されるとしている。
データファイルにおいて、「Ｒ」を示すパケットは、「ＲＡＰ＿ｆｌａｇ」が設定されている。また、「Ｒ」を示すパケットは、ＧＯＰの先頭を含んでいる。そのため、このパケットからデータを読み始めることによって、効率よく映像を再生できる。
また、ＧＯＰの先頭を含むパケットからデータを読み始めることによって、不完全なデータを破棄することが低減される。映像データは、ＧＯＰを構成している。このため、仮に、先頭のＩピクチャ部分のデータを取り損ねると後続の数十枚のピクチャは映像として再現できない。ＧＯＰの先頭のデータを取り損ねた場合には、読み取ったデータを破棄しながら、次のＧＯＰの先頭が来るのを待つ必要がある。そこで、ＧＯＰの先頭を含むパケットからデータを読み始めることによって、データの破棄を低減することができる。このようなデータの破棄は、頭出し、ランダムアクセス等が行われる際に、表示の遅延を発生せる原因となる。このため、データの破棄の低減によって、スムーズな再生が可能になる。
前述の通り、このように記録したデータファイルは、ランダムアクセスを行うには適していない。
第１の理由は、映像データは可変長データであるという理由である。このため、目的とする映像を再生するためのデータがどこに存在するのかを特定することができない。第２の理由は、「ＲＡＰ＿ｆｌａｇ」が設定されているパケットを直接呼び出すことができないという理由である。
そこで、ランダムアクセス用の検索テーブルを用意する。
図６のアセットテーブルには、「ｐａｃｋｅｔ＿ｉｄ」を格納しておく。「ｐａｃｋｅｔ＿ｉｄ」を用いて、データファイル内のＭＭＴＰパケットから必要なアセットを取りだすことができる。
タイムテーブルは、「ＲＡＰ＿ｆｌａｇ」を含むパケットのファイル内での記録位置を格納する。また、タイムテーブルは、このパケットを含む「ストリーム伝送単位ＭＰＵ」の指定された再生時間を格納する。タイムテーブルでは、これらの情報が再生時間の時系列順に並べられる。
アセットテーブルおよびタイムテーブルの内容は、例えば、ＭＰＴに記載されている情報と映像再生装置１００に記録される際の情報とから作成することができる。
時刻を決めて再生を行う場合について説明する。
例えば、図６において、時刻「０：０：１．００」からの映像を表示する場合には、まず、タイムテーブルの時刻が検索される。そして、時刻が一致する欄からファイル上の位置である「２５００００００」が読み出される。
そこで、データファイルの位置「２５００００００」から、データが読み込まれる。そして、データの再生処理が行われる。これによって、指定された位置から、データを再生することができる。
データファイルは、映像データ、音声データ、その他のデータ等がパケット単位で混在した状態である。しかし、アセットテーブルおよびＭＰＴを参照して、パケットの分類を行うことによって、映像データ、音声データ等を分離して再生することが可能である。
再生を開始したい時刻と同一の時刻が、タイムテーブルに無い場合もある。この場合には、タイムテーブルに記載されている時刻から、再生を開始したい時刻に近いものを選び、そこからデータを再生する。
例えは、再生開始時刻として「０：０：１．７０」が指定された場合には、タイムテーブルに記載されている「０：０：１．５０」および「０：０：２．００」のうち、指定された時刻に近い「０：０：１．５０」を選ぶ。そして、データファイル上の位置「３３００００００」からデータを再生する。
データファイル上の位置は、例えば、ファイルの先頭からのバイト単位での位置である。また、データファイル上の位置は、例えば、ブロック単位での位置である。また、データファイル上の位置は、例えば、セクタ単位での位置である。
映像再生装置１００が、特殊再生を行う場合について説明する。特殊再生は、例えば、早送り再生または巻き戻し再生である。例えば、早送り再生を行う場合には、タイムテーブルを順に読み出し、指定された位置からファイルを読み出す。そして、１フレーム分のデータを再生した時点で、次の時刻の位置に移る。これによって、データを早送り再生できる。
図７は、タイムテーブルを作成する手順を示すフローチャートである。
日本の新放送方式では、ＭＰＴは１００ｍｓごとに再送される。１ＧＯＰが０．５秒であれば、その間にＭＰＴを５回受信する。１ＧＯＰは、一つの「ストリーム伝送単位ＭＰＵ」である。
また、１つのＭＰＴの１つのアセットにタイムスタンプを１５個格納することが許されている。つまり、タイムスタンプは重複して送出されている。
ステップＳ７００１において、ストリームデータを受信する際に、チューナー・復調部１１が、ＭＭＴＰパケットを取り出す。そして、ＭＭＴＰパケットがＭＰＴを含む場合には、タイムスタンプ処理が実施される。
ステップＳ７００２において、ＭＭＴＰパケットからＭＰＴが取り出される。そして、アセットごとの「ストリーム伝送単位ＭＰＵ」のシーケンス番号とタイムスタンプ情報との組合せが取り出される。
ステップＳ７００３において、タイムスタンプ情報の重複が取り除かれる。前述のように、タイムスタンプ情報は重複して送出されているためである。この時点で、「ストリーム伝送単位ＭＰＵ」のシーケンス番号と再生時刻を示すタイムスタンプのリストとが得られる。
このフローチャートには含まれていないが、映像データ、音声データ等を含むＭＭＴＰパケットは、順次、データファイルとして、内蔵記録装置５１または光ディスク５３に記録される。そのため、データファイル上の位置は記録時に判明する。
ステップＳ７００４において、「ＲＡＰ＿ｆｌａｇ」が設定されているＭＭＴＰパケットを記録する際に、記録再生制御部４１が、このパケットのファイル上での位置と、このＭＭＴＰパケットが属する「ストリーム伝送単位ＭＰＵ」のシーケンス番号とを取り出す。記録再生制御部４１が、タイムスタンプのリストの中で、同じ「ストリーム伝送単位ＭＰＵ」のシーケンス番号を持つタイムスタンプ情報に、ファイル上に記録した位置の情報を追加する。
ステップＳ７００５において、記録再生制御部４１が、これらの処理が終了したか否かを確認する。処理が終了していない場合（Ｓ７００５：ｎｏ）、ステップＳ７００１に進む。処理が終了した場合（Ｓ７００５：ｙｅｓ）、ステップＳ７００６に進む。
ステップＳ７００６において、記録再生制御部４１は、作成したデータを、内蔵記録装置５１または光ディスク５３に書き込む。
このようにして、タイムテーブルを作成することができる。
ここでは、ＧＯＰごとに設定されているＭＰＵタイムスタンプ記述子のタイムスタンプ情報を使って、ランダムアクセスを実現している。ＧＯＰは、「ストリーム伝送単位ＭＰＵ」である。そのため、データの再生を開始できる位置は、ＧＯＰ単位となる。つまり、０．５秒、１秒などの単位でしか再生位置を指定できない。例えば、時間指定による頭出し、早送り再生、巻き戻し再生等が行われる場合には、ＧＯＰ単位の精度で十分である。
しかし、内蔵記録装置５１、光ディスク５３などにデータが記録された後に、編集などを行う場合、ＧＯＰ単位での位置指定では不十分である。例えば、同一番組の別の位置どうしを組み合わせて連続して再生する場合では、このような組み合せによって、お気に入りシーン集などを作成することができる。
そこで、ＭＰＴ内のＭＰＵ拡張タイムスタンプ記述子を利用する。
図８は、フレーム単位の時刻で検索できるタイムテーブルを示す図である。
図８に示したタイムテーブルは、通常のタイムテーブルを拡張して、フレーム単位の時刻で検索できるようにしたタイムテーブルである。図８に示すタイムテーブルは、再生時刻、ファイル上のデータの位置およびＡＵ番号の情報を持つ。
ＡＵ番号は、同一の「ストリーム伝送単位ＭＰＵ」に属するデータの中の何番目のＡＵであるかを示す。デコード対象のデータが映像データである場合には、ＡＵはピクチャに相当する。しかし、デコードの効率のために、ＧＯＰ内でのＡＵの並びの順は、ピクチャの表示順とは必ずしも一致していない。
このタイムテーブルでは、再生時刻の順番でＡＵ番号は並べられている。このため、ＡＵ番号は、昇順または降順に並んでいない。
ＭＰＵ拡張タイムスタンプ記述子には、各「ストリーム伝送単位ＭＰＵ」内のＡＵに対して、最初に表示されるＡＵからの差分で再生時刻が与えられている。また、ＭＰＵ拡張タイムスタンプ記述子には、各「ストリーム伝送単位ＭＰＵ」内のＡＵに対して、再生時刻の間隔が与えられている。
そこで、ＭＰＵタイムスタンプ記述子の再生時刻と、ＭＰＵ拡張タイムスタンプ記述子の差分時刻とから各ＡＵの再生時刻を算出することが出来る。また、ＭＰＵタイムスタンプ記述子の再生時刻と、ＭＰＵ拡張タイムスタンプ記述子の再生時刻の間隔とから各ＡＵの再生時刻を算出することが出来る。
図８では、説明のために、再生時刻は、一例として、１００分の１秒単位で記載してある。
ＭＰＵ拡張タイムスタンプ記述子の中では、タイムスケール（ｔｉｍｅｓｃａｌｅ）として、１秒を分割する数を定義している。そして、各ＡＵの再生時刻は、このタイムスケールを用いて表記する。映像で使用されるフレームレートは、毎秒６０枚または毎秒２４枚である。そして、１フレームの再生時刻を秒の小数単位で表記しようとすると、割り切れず、誤差が発生する。このため、タイムスケールを用いる。そこで、タイムテーブルのフレーム単位での時刻欄に、このタイムスケールを用いた値を採用することもできる。
ＧＯＰの途中からデータの再生を開始したい場合でも、デコードは必ずＧＯＰの先頭から行う。そのため、データの読み込み開始位置は、同一の「ストリーム伝送単位ＭＰＵ」内では同一となる。
このタイムテーブルを使ってデータを再生する場合の一例を説明する。
時刻「００：００：０１．０４」を指定して検索した場合には、この時刻に相当するピクチャは存在しない。このため、直前のピクチャとなる「００：００：０１．０３」のピクチャから再生を行う。
タイムテーブルを参照すると、このピクチャは、ファイル上の位置「２５００００００」から始まる「ストリーム伝送単位ＭＰＵ」のＡＵ番号「２」のＡＵである。つまり、このピクチャのＡＵは、３番目のＡＵである。
そこで、ファイル上の位置「２５００００００」から読み出しを開始すると共に、デコードを開始する。１番目のＡＵのデコードが完了して、ピクチャのデータが作成される。この後に、この作成されたピクチャを表示しない。そして、差分情報しか持たない後続のＡＵのデコードを行う。そして、３番目のＡＵのデコードが完了した後に、この３番目のＡＵの映像から再生を開始する。このようにして、ＧＯＰの途中から、データとしての映像の再生を行うことができる。
この例では、詳細な情報を持つタイムテーブルを１つ用いて再生するようにした。しかし、例えば、前述の早送り再生が行われる場合などでは、必ずしも効率の良い方法とはいえない。そこで、標準のタイムテーブルと詳細なタイムテーブルとの２段階で検索を行う方法を取ることもできる。
日本の新放送方式は、ＭＰＵ拡張タイムスタンプ記述子は、ＡＵ間の再生間隔を指定している。その間隔は、６０分の１秒または１２０分の１秒である。この間隔は可変である。しかし、番組内では同一のフレームレートを用いている。そのため、詳細なタイムテーブルを用いずに、計算によって各フレームの再生時刻を求めることが出来る。
この場合には、図６に示した「ストリーム伝送単位ＭＰＵ」ごとのタイムテーブルを利用して検索する。そして、再生を開始したい時刻を含む「ストリーム伝送単位ＭＰＵ」を特定する。そして、この再生時刻と再生を開始したい時刻との差を求める。この時刻の差とフレームレートとから、この「ストリーム伝送単位ＭＰＵ」内の表示順で、何枚目のピクチャであるのかを求めることが出来る。
指定された時刻にフレームがない場合には、表示の順番で指定時刻の直前のフレーム、または指定時刻の直後のフレームとする。つまり、指定時刻の直前のフレーム、または指定時刻の直後のフレームを採用する。
前述のように、ＡＵの並び順とピクチャの再生時刻の順番とが異なる。しかし、「ストリーム伝送単位ＭＰＵ」の先頭からデコードを開始する。そして、算出された再生の順番を持つピクチャのデコードが完了する。デコードが完了したピクチャから再生を開始する。これによって、ピクチャ単位の精度での頭出しを行うことが出来る。
ここで、説明したタイムテーブルを別ファイルとして作成して録画を行った場合には、番組内容を記録するデータファイルにタイムスタンプを記録する必要はない。
ＭＰＴは、タイムスタンプ以外の制御情報を含んでいる。ＭＰＴは、例えば、アセット情報などを含んでいる。タイムスタンプは、例えば、ＭＰＵタイムスタンプ記述子またはＭＰＵ拡張タイムスタンプ記述子などである。つまり、ＭＰＴは、ＭＰＵタイムスタンプ記述子またはＭＰＵ拡張タイムスタンプ記述子以外にも、アセット情報などのタイムスタンプ以外の制御情報を含んでいる。
これらの情報は、番組の途中で変更される性格のものではない。このため、別ファイルなどで１箇所に記録しておくことで、ＭＰＴそのものは記録を省略することが出来る。例えば、図６では、アセットテーブルは、管理情報として、「Ｐａｃｋｅｔ＿ｉｄ」を保持している。
ＭＰＴが単独でＭＭＴＰパケットに格納されている場合には、データファイルにＭＭＴＰパケットを記録する際に、ＭＰＴを格納したＭＭＴＰパケットを記録する必要がなくなる。
ＭＰＴが他の管理情報と一緒にＭＭＴＰパケットに格納されている場合には、ＭＰＴを除いた管理情報でＭＭＴＰパケットを再構成する。そして、再構成されたＭＭＴＰパケットを記録することが出来る。
ＭＰＵタイムスタンプ記述子またはＭＰＵ拡張タイムスタンプ記述子は、放送時には重複度の高いデータである。このため、ＭＰＵタイムスタンプ記述子またはＭＰＵ拡張タイムスタンプ記述子を省略することが出来れば、記録するデータサイズを小さくすることが可能となる。
前述では、ＭＰＴを記録する必要はないとした。しかし、ＭＰＴを、映像ストリーム、音声ストリームなどのストリームを含むＭＭＴＰパケットと一緒に記録しておいた方が便利なこともある。
例えば、多重化解除部２１と、デコーダーとしての、映像デコード部３２、音声デコード部３１、字幕デコード・レンダリング部３３およびデータ放送・ＥＰＧ処理部３４とが一体となったＬＳＩを用いてデコード処理を行う場合には、ＭＰＴを含んだデータを多重化解除部２１に入力することで、多重化解除、デコードおよび同期処理を一括して行うことができる。
また、フレーム単位の頭出しを行う場合にも、「ストリーム伝送単位ＭＰＵ」の前または先頭にＭＰＴがあれば、このＭＰＴを参照して、再生を開始する前に、フレーム単位での再生時刻を求めて頭出しを行うことが出来る。ＭＰＴは、「ストリーム伝送単位ＭＰＵ」の先頭付近にあってもよい。
この場合にも、テレビ局から送信されてきたＭＰＴの全てを記録する必要はない。ＭＰＴの一部だけを記録することで処理することも出来る。
図９は、ＭＭＴＰ方式でのＭＰＵタイムスタンプ記述子を用いた同期方式を説明するための図である。図９では、「ストリーム伝送単位ＭＰＵ」の直前にＭＰＴを格納している。タイムテーブルは、「ストリーム伝送単位ＭＰＵ」の先頭の位置ではなく、このＭＰＴの位置を示している。
従来のブルーレイディスクの記録方式では、これらのタイムテーブルに相当する情報としてクリップファイル内に「ＥＰ＿ｍａｐ」を格納していた。しかし、「ＥＰ＿ｍａｐ」は、固定長パケットとパケットごとのタイムスタンプとを持つＭＰＥＧ２ＴＳを前提とした構造になっている。そのため、「ＥＰ＿ｍａｐ」を使用した構成ではＭＭＴのデータに適用できない。
そこで、前述のタイムテーブルを「ＥＰ＿ｍａｐ」の代わりに使用する。これによって、ＭＭＴのデータをブルーレイディスクに記録した際に、データアクセスを容易にすることができる。
この例では、ＭＭＴＰパケットを結合して記録する説明を行った。しかし、ＴＬＶパケット、ＩＰパケットおよびＵＤＰパケットのそれぞれの状態で、パケットを結合して記録することもできる。また、タイムテーブルを拡張して、アセットごとに記録することも可能である。つまり、映像データ、音声データ等の読み出し開始位置を検索できるようにする。そして、ＭＦＵの羅列としてデータを結合して記録する。
［標準フォーマットを用いて記録する場合］
ＭＭＴでは、前述のように伝送フォーマットとは別に、蓄積フォーマットが規定されている。ＭＭＴの蓄積フォーマットでは、ＢＭＦＦ（ＩＳＯ／ＩＥＣ １４４９６－１２ ＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）形式をベースに、データを格納する。この場合には、データのレイアウトは、図３に示された論理構造で表現される。図３は、データの論理構造を示した図である。
図３に示されるデータの塊は、ＭＰＵと呼ばれている。このＭＰＵは前述の「ストリーム伝送単位ＭＰＵ」とは異なるものである。以下においては、図３に示さるデータを、「番組蓄積用ＭＰＵ」と呼ぶ。「番組蓄積用ＭＰＵ」は、通常ファイルとして格納され、管理されている。
図３の論理構造を用いて「番組蓄積用ＭＰＵ」の構造を説明する。
ＭＰＵメタデータは、ファイルの管理データ、アセット情報、各種パラメーター、ヒント情報などを含んでいる。アセット情報は、映像データと音声データとの組み合わせなどを管理する情報である。各種パラメーターは、デコーダーの動作モード等を設定するためのパラメーターである。ヒント情報は、ＭＰＵファイルに格納されたＭＦＵからＭＭＴＰパケットを再構成するための情報である。
ムービーフラグメントメタデータは、再生時間で区切られた、映像データ、音声データなどにアクセスするための情報である。また、ムービーフラグメントメタデータは、映像データ、音声データなどを再生するための情報である。
実際の映像データおよび音声データは、ＭＦＵの羅列として格納されている。１つのムービーフラグメントメタデータとそれによって管理される一塊のＭＦＵとは、まとめてムービーフラグメントと呼ばれている。一般的には、複数のムービーフラグメントで１つのコンテンツを構成している。ネットワークストリーミング等では、一般的には、１フラグメントは１０秒から１５秒で構成されている。
ＭＰＵメタデータおよびムービーフラグメントメタデータが放送波Ｂａ等で送られてくる場合には、これらを利用してＭＰＵを構成することができる。ＰＬＴ、ＭＰＴ、その他の制御情報、ＭＦＵ等を取り出すための各種ヘッダ情報は、冗長になるため、記録する必要はない。
一方、日本の新放送方式では、ＭＰＵメタデータおよびムービーフラグメントメタデータは、放送時に送出されない。そのため、ＰＬＴ情報、ＭＰＴ情報および各種のヘッダ情報を組み合わせて、独自にＭＰＵメタデータ等を作成する。
光ディスク５３への記録にも、上記の蓄積フォーマットを使用することを考える。光ディスク５３では、物理的に連続して格納されたデータを比較的高速に読み出すことが可能である。しかし、光ディスク５３上の直径方向に離れた位置にあるデータを読み出す場合には、ヘッドシークを伴うため、データの読み出しに時間を要する。つまり、光ディスク５３では、前後して使用される可能性の高いデータを、連続した領域または光ディスク５３上の近い位置に配置した方が、効率よくデータを読み出すことが可能になる。
図３に示された論理構造そのままのデータ配置で、データを記録すると、ＭＰＵメタデータ、ムービーフラグメントメタデータおよびＭＦＵが、物理的な配置として分散して格納される。ＭＰＵメタデータは、再生に必要なデータである。ＭＦＵは、映像データを格納している。このため、光ディスクの特性上、図３に示された論理構造のままのデータ配置は、不利なデータ配置となる。
多くのファイルシステムでは、蓄積されるデータの論理構造と物理配置とを別々に管理することができる。ブルーレイディスクで採用しているＵＤＦも同様である。
そこで、論理構造は規格通りとして、物理配置では、ＭＰＵメタデータとムービーフラグメントメタデータとをまとめて記録する。
図３の物理配置に示したデータ構造は、光ディスク上の物理的なデータ配置として、管理情報をまとめて配置した例である。このようなデータ配置とすることで、ＭＰＵメタデータとムービーフラグメントメタデータとを一度に読み込むことが可能となる。
図３の「データ構造」は、ここでは、ファイルシステムよりも上位からみた構造を示している。例えば、論理的なデータ構造、ディレクトリ、１つのファイル内でのデータの並びなどである。一方、「データ配置」は、ファイルシステムよりも下位から見た配置を示している。「データ配置」は、例えば、物理的なデータのレイアウトなどである。「データ配置」は、ファイル名とファイル名とで結び付けられたブロック、データのつながりを示すブロック同士のリンク情報などで構成されている。ブロックは、ディスク上の物理的な位置と結びついて管理されているデータの集合である。ファイルシステムによっては、他の名称が用いられる事もある。
そして、図３の物理配置に示したデータ配置は、ヘッドシーク回数を減らす。そして、図３の物理配置に示したデータ配置は、再生を開始する際にかかる時間およびランダムアクセスの際にかかる時間を短くすることができる。
また、論理構造と物理配置とを分けて考えることはせずに、単純に管理情報のコピーを別ファイルにもたせることも考えられる。図３に示した追加クリップファイルは、そのような場合の一例である。この場合には、例えば、ランダムアクセスを容易にするための追加情報等を、ファイルに追加することも可能である。
これまで示した例では、フラグメントを用いたデータ構造の例で説明した。しかし、フラグメント単位での送出を想定しない場合には、ムービーフラグメントメタデータをもたないデータ構造での記録も可能である。
ＢＭＦＦによるファイルフォーマットでは、管理情報とストリームデータとは、同一ファイルにまとめて記録されている。一方、従来のブルーレイディスクの記録方式では、管理情報とストリームデータとは、分けて管理されていた。
これは、管理情報をまとめて読み込み、再生するデータにあわせて機器を設定した後に、ストリームデータの再生を行うことが、光ディスクの機器に適しているためである。管理情報とストリーム情報とは、光ディスク上では、領域を分けて記録されている。また、光ディスクの損傷の発生を考慮して、管理情報を、光ディスク上に２重に記録して、バックアップデータとしているためでもある。このバックアップデータは、光ディスク上の離れた位置に記録されている。
ＢＭＦＦにおける管理情報としての管理データは、ブルーレイディスクでは、主にクリップファイルで管理されている情報である。そこで、ＢＭＦＦとして記録する際に、番組の管理データ部分をファイルシステム上の別ファイルから参照する。つまり、見かけ上、番組の管理データ部分を別のファイルとすることができる。
図１０は、ＢＭＦＦとしてストリームデータを光ディスク５３に記録した場合の説明図である。
図１０は、ＢＭＦＦとしてストリームデータを光ディスク５３に記録した場合の例を示す。
物理的な配置としては、管理データは、光ディスク５３上の管理データ領域に記録される。ストリームデータは、光ディスク５３上のストリームデータ領域に記録される。
ストリームファイルとして、このデータにアクセスする際には、ファイルシステムが管理データ部分とストリームデータ部分とを関連付けて、論理的に１つのＢＭＦＦファイルとして見えるようにする。
一方、ブルーレイディスクの管理データであるクリップファイルとして、このデータにアクセスする際には、ＢＭＦＦファイルの管理データ部分のみをファイルとして見えるようにする。クリップファイルは、ブルーレイディスクの管理データである。
このような配置とすることによって、ＭＭＴの標準記録フォーマットとしてＢＭＦＦ形式のファイルを作成することができる。また、ブルーレイディスクの管理方法とも整合性のあるデータ形式とすることができる。
このようにして、ＢＭＦＦとして記録されたデータのヘッダ部分を、別のファイルとして参照できるようにすると、光ディスク５３上でのデータ管理においても有利になる。また、管理データのバックアップデータの作成も容易になる。
例えば、ＰＣなどで映像データを取り出す際には、ＢＭＦＦファイルをコピーすれば管理情報とストリームデータとの両方を含むＢＭＦＦファイルとしてコピーできる。一方、光ディスク内の管理情報のバックアップを作成する際には、ＢＭＦＦＣＬＩＰファイルからコピーを作成すれば、バックアップの必要な管理データ部分のみのデータがコピーできる。
また、管理データとストリームデータとを分けて保管している光ディスクのフォーマットに合わせて、ＢＭＦＦの管理データ部分を光ディスク５３の他の管理データを格納している領域に格納できる。このため、再生を準備する際のヘッドシーク量を減らすことが出来る。
≪（Ｂ）多重化が解除されたエレメンタリーストリームの状態でのデータの記録≫
前述の例では、受け取ったデータに対して、部分的に多重化を解除しながら、蓄積用フォーマットに変換する方法について説明した。受け取ったデータは、放送波Ｂａ、外部装置Ｅｉ、ネットワークＮｅなどから映像再生装置が受け取ったデータである。
しかし、多重化解除部２１がハードウェアとして作られている場合などには、映像、音声などに分離されたＥＳ（Ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ）の状態でデータを取り出して、記録することができる。ＥＳは、図１ではエレメンタリーストリームＳｅとして示されている。
ＥＳは、圧縮された映像データのストリームまたは音声データのストリームである。ＥＳは単位ごとに区切られる。ここで「単位」は、処理において意味のある単位である。この単位は、例えば、映像データの場合にはピクチャあるいはＮＡＬである。また、この単位は、例えば、音声データの場合にはブロックである。
以下において、映像記録フォーマットは、ＩＳＯ ＢＭＦＦを例に取って説明する。
ＢＭＦＦにおいて、多重化された状態でデータを記録する方式では、時間の流れを持ったデータを管理するデータをトラックと呼ぶ。
前述の多重化が解除されていない状態で記録する方式では、トラックは１つである。これは、例えば、映像データと音声データとが多重化された状態であるため、時間の流れを持ったデータは、１つの多重化ストリームＳｍである。多重化ストリームＳｍは、ＭＦＵの羅列として表現されている。
一方、エレメンタリーストリームＳｅの状態では、例えば、映像データと音声データとは分離されたＥＳストリームデータとして存在する。そのため、映像データのトラックと音声データのトラックとを個別に作成する。映像データのトラックと音声データのトラックとは、データファイル上の管理データを格納する領域に記録される。そして、映像データと音声データとは、メディアデータを格納する領域に格納される。
各トラックは、再生時刻を示している。また、各トラックは、再生時刻に対応したメディアデータを格納する領域の位置を示している。メディアデータは、映像データ、音声データなどである。
そして、映像データと音声データとは、時間的に同期を取った状態で関係付けが行われる。また、字幕なども、同様に、表示タイミングを含めて関係付けが行われる。
日本の新放送方式では、ＭＭＴＰパケットのＭＴＰ内に、番組としての映像、音声、字幕などの組合せが示されている。また、ＭＭＴＰパケットのＭＴＰ内に、映像、音声、字幕などの表示タイミングまたは再生タイミングが示されている。また、ＭＭＴＰパケットのＭＴＰ内に、映像、音声、字幕などのデータの格納位置が示されている。
番組を構成するデータファイルなどをＭＭＴで送る場合には、１つのファイルを１つのＭＰＵに格納する。当該データファイルは、データ放送の部品等である。このＭＰＵを「データ要素ＭＰＵ」と呼ぶ。そして、この１つの「データ要素ＭＰＵ」を分割して、ＭＦＵとしてＭＭＴＰで送付する。この場合には、ＭＰＵヘッダまたはＭＰＵメタデータも同時に送付される。
また、映像、音声などのストリームデータでは、オーバーヘッドを回避するために、データ要素ＭＰＵを使用しない。その代わりに、ＡＵまたはＮＡＬを直接ＭＦＵに入れてＭＭＴＰで送付する。
しかし、日本の新放送方式の時間管理では、ランダムアクセスフラグの単位でＭＰＵを構成することになっている。時間の指定は、ＭＰＵに対して行う。このため、１つのＧＯＰが０．５秒から１秒の単位であれば、時間指定の単位として問題はない。この場合には、ＭＰＵヘッダ、ＭＰＵメタデータ等は送付されない。このランダムアクセスフラグを区切りとした一式のＭＭＴＰパケットの集合を、前述したように、「ストリーム伝送単位ＭＰＵ」と呼んでいる。
また、多重化されたデータを受信して、ファイルに記録する。このファイルに記録する際に用いられるデータ構造もＭＰＵである。例えば、ファイルに記録する際に、番組全体で１つのＭＰＵとする用法がある。この用法でのＭＰＵを、ここでは、仮に「番組蓄積用ＭＰＵ」と呼ぶ。また、ストリーム伝送単位ＭＰＵ単位でデータを記録することもできる。この場合には、ＭＰＵのファイルの数が膨大になる。また、ストリーム伝送単位ＭＰＵを束ねてＭＰＵに格納することもできる。このストリーム伝送単位ＭＰＵを束ねたＭＰＵを、ここでは、仮に「番組蓄積用ＭＰＵ」と呼ぶ。
日本の新放送方式の場合には、ＧＯＰ単位で「ストリーム伝送単位ＭＰＵ」を構成している。ＭＰＴ内の「ＭＰＵタイムスタンプ記述子」によって、先頭のフレームの表示時刻が指定されている。ここでの時刻は、ＮＴＰ時刻である。「拡張タイムスタンプ記述子」によって、ＧＯＰ内の後続のフレームの表示時刻が指定されている。後続のフレームの表示時刻は、先頭のフレームの表示時刻からの差で示される。
多重化が解除され、エレメンタリーストリームＳｅが取り出された状態ではＭＰＴが取り除かれている。そのため、ＭＰＴとその他の制御情報とを組み合わせて、トラックなどの管理情報を作成して、記録する必要がある。トラックは、時間の流れを持ったデータの管理情報である。時間の流れを持ったデータは、例えば、映像データ、音声データなどである。トラックは、データの種類、再生時刻、実際のデータの記録位置へのポインタなどを含んでいる。これらのデータは、前述のタイムテーブルの作成と同様の手順で作成することが出来る。
トラックでは、細かな時間単位でデータの取り出し位置を指定することが出来る。そのため、再生時間の順番またはデコード時間の順番に、映像データと音声データとを混在させて並べることが出来る。このような構造を取ることによって、同時に再生する必要のある映像データおよび音声データを、ヘッドシークを抑えて取り出すことができる。
このようにして、ＭＭＴで送出された番組を、ＢＭＦＦ形式のファイルとして記録することが出来る。
実施の形態２．
実施の形態２では、ＭＭＴＰパケットを順次記録する。ＭＭＴＰパケットは、受信した放送を番組レベルで選別したものである。
１つの送信機から送信されるデータは、複数の放送局の複数の番組を多重化できるように作られている。そのため、ユーザーが特定の番組を視聴する場合、または、特定の番組を録画する場合には、放送局のレベルでの分離と、番組のレベルでの分離とが必要となる。
ここでは、番組のレベルまでの分離が完了しており、録画の対象となる１つの番組を構成するＭＭＴＰが順次取り出されて、記録されているものとする。この状態は、部分的にデータの多重化が解除されている状態である。つまり、番組の単位まではデータの多重化が解除されている。しかし、番組を構成する映像、音声、字幕ストリーム、制御データ等は多重化されている。
図１１は、実施の形態２に係る、ＭＭＴＰ方式でのＭＰＴによる多重化の解除を説明するための図である。図１２は、タイムテーブルと映像データとの関係を説明するための図である。図１３は、ＭＭＴＰ方式でのＭＰＴデータの構造の例を示す図である。図１４は、映像を中心に考えた場合のアライメントを説明するための図である。
図１１に示したＭＭＴストリームは、番組を構成するＭＭＴＰパケット列の例である。このＭＭＴストリームでは、例えば、映像、音声および字幕が、それぞれ一本ずつ多重化されている。実際の放送では、複数の映像、音声および字幕が多重化されることもある。
映像、音声、字幕などは、番組を構成する要素である。これらの番組を構成する要素をアセットと呼ぶ。ＭＭＴストリームでは、ＭＭＴＰパケットの単位で多重化されている。このため、ＭＭＴストリームには、サービスインフォメーションのパケットとアセットデータのパケットとが混在している。
サービスインフォメーションのパケットは、多重化ストリームのための制御信号である。サービスインフォメーションは、例えば、映像、音声、字幕等を分離するための制御情報である。また、サービスインフォメーションは、映像、音声および字幕を同期して再生するための制御情報である。また、サービスインフォメーションは、各アセットの名称を表示するための情報である。
アセットデータのパケットは、例えば、映像、音声および字幕のアセットを構成する。実施の形態２では、記録媒体上にこれらのパケットを順次記録する。ここでは、簡単のため、ファイルとしてＭＭＴストリームを構成するこれらのパケットを順次記録することとする。以下においては、制御パケットを、「制御パケットＳＩ」ともいう。また、以下においては、ＭＰＴが付いている制御パケットＳＩを、「制御パケットＳＩ（ＭＰＴ）」ともいう。また、以下においては、ＲＡＰフラグが付いている映像パケットを、「映像パケットＶ（ＲＡＰ）」ともいう。
図１１に示すように、ＭＭＴストリームは、制御パケットＳＩ（ＭＰＴ）、映像パケットＶ、映像パケットＶ（ＲＡＰ）、音声パケットＡおよび字幕パケットＴを含んでいる。制御パケットＳＩ（ＭＰＴ）は、サービスインフォメーションの一種である。
実際には、制御パケットＳＩとして多くの種類のパケットが送信されている。ここでは、説明を容易にするために、ＭＰＴに注目して記載してある。ＭＰＴは、放送規格では約１００ｍｓ間隔で定期的に送信することになっている。
ＭＭＴストリームを先頭から順次再生する場合には、ＭＭＴストリームを記録したファイルの先頭からデータを順次取り出す。そして、順次、ＭＭＴストリームを多重化解除部２１に送り込むことで、データの再生を行うことができる。例えば、ＭＭＴストリームを、図１に示す多重化ストリームＳｍとして多重化解除部２１に入力する。
多重化解除部２１は、受け取ったデータを順次解析する。多重化解除部２１は、ＭＰＴを含むデータパケットを受け取ると、ＭＰＴの記述に基づいて、多重化解除に用いる情報、および、映像を表示するタイミングの情報を取り出す。そして、多重化解除部２１は、多重化解除部２１の設定と、音声デコード部３１、映像デコード部３２、字幕デコード・レンダリング部３３およびデータ放送・ＥＰＧ処理部３４の設定とを行う。
図１３に、ＭＰＴに記述されているデータの一例を示す。図１３に示すデータは、ＡＲＩＢ規格ＳＴＤ－Ｂ６０に基づいている。例えば、ＭＰＴには、複数のアセットを取りだすための情報が記述されている。各アセットは、ＭＭＴ内の識別情報によって、データを取得するための情報とデータを分離するための情報とを得る。ＭＭＴ内の識別情報は、例えば、ロケーション情報である。ロケーション情報は、「ＭＭＴ＿ｇｅｎｅｒａｌ＿ｌｏｃａｔｉｏｎ＿ｉｎｆｏ（）」と表現される。
また、図１３では省略してあるが、コンポーネント記述子の情報から各アセットのストリームの詳細情報を得ることができる。この詳細情報を基に、図１１に示したように、多重化されている各種ストリームを分離して、再生する。
放送を記録する場合にも、図１１のＭＭＴストリームのデータは、ファイルに順次記録される。そして、ＭＭＴストリームのデータは、ファイルの先頭から順次取出されて再生される。この場合には、必ずしも、ＭＭＴパケットそのものが記録される必要はない。ＭＭＴパケットの内部のデータが取り出された状態で記録されてもよい。また、ＩＰパケットの状態またはＴＬＶパケットの状態で記録されてもよい。
次に、ランダムアクセスを考える。ここでは、一例として、時刻指定ジャンプを説明する。なお、チャプターサーチ、早送り再生、巻き戻し再生などでも、時刻指定ジャンプの動作と同様な動作が行われる。
図１２を用いてランダムアクセスの動作について説明する。タイムテーブルＴＭは、番組上の時刻情報と、その時刻情報に対応する再生位置とを対応付けるデータである。ここでは、再生位置を、ＭＭＴストリームのデータを記録したファイルの先頭からのオフセットとして説明する。なお、再生位置として、セクタアドレス、ブロックアドレスなどが用いられることもある。
このタイムテーブルＴＭを用いて、時刻に対応した再生位置からデータを取り出して再生する。これによって、時刻指定ジャンプを行うことができる。つまり、時刻を指定した再生を行うことができる。
通常、映像データはＧＯＰ単位で構成されている。ＧＯＰは、例えば、０．５秒から１秒間程度の映像をまとめて圧縮したものである。ＧＯＰは、例えば、数十枚の画像を含んでいる。１つのＧＯＰは、１枚または複数枚の完全な画像と、数十枚の差分画像とを含んでいる。ＧＯＰは、圧縮された差分画像を含んでいるため圧縮効率が良い。
また、表示される画像の順番とデコードされる画像の順番とは、必ずしも対応していない。そのため、ＧＯＰの途中から再生したい場合でも、必ずＧＯＰの先頭からデータをデコードする必要がある。そのため、ＭＭＴＰパケットでは、ＧＯＰの先頭に、ＲＡＰフラグを付けることができる。ＲＡＰフラグは、ランダムアクセスが可能であることを示すフラグである。図１２では、このＲＡＰフラグの付いているパケットの位置を、ＧＯＰの先頭としてタイムテーブルに格納している。これによって、ランダムアクセスを実現している。
１枚の画像データから完全な画像を再現できる当該画像データをＩピクチャと呼ぶ。Ｉピクチャは、１つのＧＯＰ内に必ず１つ存在する。しかし、１つのＧＯＰ内に複数のＩピクチャが存在することもある。Ｉピクチャのうち、他の画像との依存関係から、ＧＯＰ内で最初にデコードされるＩピクチャはＩＲＡＰと呼ばれている。このＩピクチャから再生することで、後続の画像データを正しく表示できる。
ＭＭＴＰパケットのＲＡＰフラグは、ＩＲＡＰの画像データの先頭パケットまたは制御パケットに付けられている。１つのＩピクチャとの差分データで構成された画像データはＰピクチャと呼ばれている。参照先のＩピクチャと、Ｐピクチャの画像データとを合成することで、このＰピクチャの画像を再現できる。複数の他の画像を参照して画像を再現できる画像データをＢピクチャと呼ぶ。
映像データと同様に、音声データでも一つのかたまりのデータの先頭の概念が存在する。そして、音声データの先頭にＲＡＰフラグが付けられている。しかし、説明を単純にするために、ここでは映像データのＧＯＰの区切りで音声データパケットも区切る。
図１１に示すパケットレベルでの読み出しに対応した、図１２に示すランダムアクセスの動作を考えてみる。
タイムテーブルＴＭから再生位置の情報を取出す。そして、図１１のＭＭＴストリームの位置Ｐ１からパケットを取り出して再生を行う。位置Ｐ１は、最初の映像パケットＶ（ＲＡＰ）の位置である。この時点では、ＭＰＴ情報が取得できていない。そのため、映像、音声、字幕などをアセット単位で分離を行うことができない。
順次読み出しが行われて位置Ｐ２で制御パケットＳＩ（ＭＰＴ）が読み出される。これによって、アセットを分離するためのパラメーターが取得される。つまり、映像、音声、字幕などを分離することができる。
この時、位置Ｐ１から位置Ｐ２までのデータが分離できず、結果として当該データが読み出されなかった場合には、ＧＯＰの先頭のデータが失われることになる。この場合、このＧＯＰをデコードすることができない。
位置Ｐ３以降のＧＯＰは、位置Ｐ２で既に取得済みのＭＰＴ情報があるためデコードが可能となる。位置Ｐ３は、位置Ｐ１のＧＯＰの次のＧＯＰの先頭である。そのため、本来、再生を開始したいＧＯＰからではなく、次のＧＯＰから再生されることがある。
同一の番組内でのチャプターサーチ、早送り再生等が行われる場合において、再生に使用していたＭＰＴのアセット情報がジャンプ先のＭＰＴのアセット情報と一致する場合には、ジャンプ先の先頭である位置Ｐ１から始まるＧＯＰから再生することが可能である。しかし、ＣＭ（コマーシャル）、番組の変更などを挟んで番組を再生する場合には、ジャンプ前のＭＰＴとジャンプ後のＭＰＴとでアセットが同一である保証はない。また、録画済みの異なる複数の番組を繋ぐ編集が行われている場合には、ジャンプ前のＭＰＴとジャンプ後のＭＰＴとでアセットが同一である保証はない。
また、アセットの変更が行われる場合には、放送規格案は、以下の理由により、実際のデータが再生される０．５秒前からＭＰＴを更新するように求めている。当該理由は、例えば、アセットを分離するためのフィルタの設定などには時間がかかるためである。また、当該理由は、例えば、音声が切り替わる時のミュート処理などには時間がかかるためである。また、当該理由は、例えば、映像が切り替わる時のミュート処理などには時間がかかるためである。また、当該理由は、例えば、フィルタの切り替え、ミュート処理などには時間がかかるために、実際のデータが切り替わる直前のタイミングでＭＰＴを変更しても、フィルタの切り替え、ミュート等を行うための処理が間に合わない可能性があるためである。
これは、ランダムアクセスの時も同様である。ジャンプ先ですぐにＭＰＴを取得することができても処理系の切り替えが間に合わず、最初のＧＯＰを正しく表示できない可能性がある。また、データの切り替えに必要な時間を確保するために、表示を遅延させる必要がある。ここで、「処理系」とは、例えば、多重化解除部２１、音声デコード部３１、映像デコード部３２、字幕デコード・レンダリング部３３、データ放送・ＥＰＧ処理部３４等である。
そこで、この実施の形態２では、図１２に示したように、まず、ＭＰＴの情報をタイムテーブルＴＭ内に格納する。そして、時刻を指定してジャンプをする時には、ＭＰＴの情報を、多重化解除部２１、音声デコード部３１、映像デコード部３２、字幕デコード・レンダリング部３３およびデータ放送・ＥＰＧ処理部３４に設定する。その後、再生を開始する位置のデータを読み出す。
このようにすることで、シークなどのデータの読み出しの準備と並行して、処理系の切り替えを行うことがでる。処理系は、多重化解除部２１、音声デコード部３１、映像デコード部３２、字幕デコード・レンダリング部３３、データ放送・ＥＰＧ処理部３４等である。また、データの切り替えに必要な時間を短縮することができる。
この例では、ＭＰＴそのものをタイムテーブルＴＭに格納している。他の方法として、ＭＰＴ内に記載されているアセットを分離するための情報と、ＧＯＰの表示開始の時刻とを、タイムテーブルＴＭに格納する方法がある。また、ＧＯＰの表示を開始する時刻をタイムテーブルＴＭの時刻として使用することもできる。このように、アセット情報を取出してタイムテーブルＴＭに格納する方法がある。
また、他の方法として、別のテーブルにＭＰＴまたはアセット情報を記録する方法がある。また、タイムテーブルＴＭに、該当するＭＰＴ情報またはアセット情報への参照情報を持たせる方法がある。また、参照情報ではなく、同一の時刻で検索できる別のタイムテーブルを用意して、そちらにＭＰＴまたはアセット情報を記録する方法がある。ＭＰＴには複数のＧＯＰの表示開始の時刻が格納されている。これらの一部またはすべてをタイムテーブルＴＭに格納しても良い。
同様に、ＨＤＲパラメーター等によってテレビの制御を変更する場合でも、バックライトの輝度の変更、液晶の駆動電圧の設定変更等に時間がかかる場合がある。その場合には、ＨＤＲパラメーター等をタイムテーブルＴＭに格納する。これによって、事前にテレビの制御を行うことが可能となる。図１２では、タイムテーブルＴＭのメタデータ領域が、これらのパラメーターを格納する領域の一例として示されている。
特殊再生を行う場合には、ＧＯＰ内でＩＲＡＰ画像（すなわち、ＩＲＡＰピクチャ）のみを再生して、他の画像を表示しない場合がある。特殊再生は、例えば、早送り再生、巻き戻し再生等である。ＩＲＡＰ画像は、デコードの順番で最初にデコードされる画像である。また、ＩＲＡＰ画像は、データ配置の順番でもＧＯＰの先頭に置かれる。つまり、ＩＲＡＰ画像は、ＧＯＰの先頭に存在する。また、ＩＲＡＰ画像は、他の画像に依存しない。このため、ＩＲＡＰ画像は、単独でデコード可能である。この場合には、ＩＲＡＰ画像の位置は、タイムテーブルＴＭから読み取れる。
しかし、効率よく読み飛ばすためには、ＩＲＡＰ画像の末尾がわかる方が便利である。そこで、ＩＲＡＰ画像のサイズまたはＩＲＡＰ画像の末尾をタイムテーブルＴＭに格納する。これによって、効率よく特殊再生を行うことができる。図１２では、タイムテーブルＴＭのＩＲＡＰサイズ欄がＩＲＡＰ画像のサイズ、ＩＲＡＰ画像の末尾等を格納する領域の一例として示されている。
映像を構成する画像データがスライスとして記録されている場合には、スライス単位でデータにアクセスできた方が良い場合がある。「スライス」とは、独立して画像として表現できる単位である。また、「スライス」とは、画像データがデコード可能な状態で分割されていることである。特殊再生用として考えた場合には、例えば、ＧＯＰ内のＩＲＡＰ画像の特定のスライスのみを再生して、他のスライスを表示しない方法がある。特殊再生は、例えば、早送り再生、巻き戻し再生などである。
この場合には、ＧＯＰの先頭にあるＩＲＡＰ画像のデータの位置およびサイズと、スライスの位置およびサイズとをタイムテーブルＴＭに格納する。これによって、効率よく特殊再生を行うこと可能となる。図１２では図示していないが、例えば、タイムテーブルＴＭのＩＲＡＰサイズ欄を拡張して、上記の情報を格納することができる。
早送り再生、巻き戻し再生等をなめらかに行うために、ＩＲＡＰ画像に加えて、ＧＯＰに含まれている非ＩＲＡＰのＩピクチャ、非ＩＲＡＰのＰピクチャ等を表示することもある。この場合には、ＩピクチャおよびＰピクチャの各々の開始位置と、ＩピクチャおよびＰピクチャの各々のサイズまたは末尾の位置とをタイムテーブルＴＭに格納する。これによって、効率よく特殊再生を行うことが可能となる。
図１２では図示していないが、例えば、タイムテーブルＴＭのＩＲＡＰサイズ欄を拡張して、上記の情報を格納することができる。また、別途、ＩピクチャおよびＰピクチャの各々の開始位置と、ＩピクチャおよびＰピクチャの各々のサイズまたは末尾の位置とを示すテーブルを用意する。そして、タイムテーブルＴＭには、このテーブルへの参照情報を格納することもできる。
次に、ＨＤＤ、光ディスク等のディスクデバイスに、この実施の形態２でのＭＭＴストリームを格納することを考える。
多くのディスクフォーマットでは、固定サイズのデータブロックをアクセス単位としている。このアクセス単位は、セクタ、ブロック、クラスタ、ページ等と呼ばれている。ここでは、単に「ブロック」と呼ぶ。例えば、ブルーレイディスク規格では６１４４Ｂｙｔｅをアラインドユニット（Ａｌｉｇｎｅｄ Ｕｎｉｔ）と呼び、１つの記録単位として取り扱う。また、ブルーレイディスク規格およびＵＤＦ規格では、１ブロック２０４８Ｂｙｔｅが良く使われる。ＵＤＦ（Ｕｎｉｖｅｒｓａｌ Ｄｉｓｋ Ｆｏｒｍａｔ）は、光ディスク用のファイルシステムである。
ランダムアクセスを行う場合には、データの境界をこのブロックに合わせることで効率よくアクセスする事ができる。また、ディスクデバイスの構造だけでなく、例えば、暗号化の単位としてブロックサイズが決められることもある。この場合でも、アクセスの単位としてブロックの境界に合わせてデータにアクセスできると効率が良い。このようなアクセス効率などを考慮してデータのサイズまたはデータを格納する位置を決めることをアライメントと呼ぶ。
トランスポートストリーム（ＴＳ）を記録する場合には、３２個のＴＳパケットが接続されて、６１４４Ｂｙｔｅのデータとなる。ＴＳパケットは、１９２Ｂｙｔｅである。これによって、ＵＤＦの３つのブロックに効率よく記録できる。ＵＤＦの１つのブロックは、２０４８Ｂｙｔｅである。ＭＭＴＰパケットは、可変長パケットである。このため、単純にパケットの数でブロックの境界に合わせることができない。
図１２で示したように、ランダムアクセスを行う場合には、ＧＯＰの先頭へのアクセスを効率的に行うことが望ましい。しかし、ＧＯＰ内のどの画像から再生する場合でも、ＧＯＰの先頭からデータを読み出す必要がある。そこで、ＧＯＰ単位でブロックの境界に合わせて記録することを考える。
図１４（ａ）に、ＧＯＰをデータアクセスの単位として、ＧＯＰの先頭がブロックサイズの整数倍になるようにしたＭＭＴストリームを記録したファイルの一例を示す。
図１４（ａ）は、ＭＭＴストリームを記録したファイルのデータの一部を示している。図１４（ａ）の左側がファイル前方に対応し、図１４（ａ）の右側がファイル後方に対応している。ＭＭＴストリームのパケットは、例えば、図１４（ａ）の左側から右側に向けて順次記録されている。図１４（ａ）は記録されているデータの一部のみを記載している。実際には、このデータ構造が多数繰り返して記録されている。
図１４（ａ）中の符号Ｂｂはブロック境界を示している。また、「ｎ１」、「ｎ２」、「ｎ３」、「ｎ４」、「ｎ５」および「ｎｍ」は整数を示している。「ｍ」は正の整数である。「×」は乗算を示している。そのため、「ブロック×ｎ」は、データがブロックサイズの整数倍になっている事を示している。
ＧＯＰの先頭がブロックの境界となるようにアライメントする場合には、ＧＯＰのデータサイズが必ずしもブロックサイズの整数倍とならない。このため、図１４において、「Ｐａｄ」で表現されるパディングを用いる。「パディング」とは、データをアライメントするために、意図的に無効領域を作ることである。パディングにはいくつかの方式がある。当該方式は、例えば、無効を示すデータを記録する方式である。また、他の方式として、ＯＳまたはファイルシステムが無効なデータ領域を管理する方式などがある。
図１４（ａ）の例では、ＧＯＰ単位でブロックにアライメントしている。このため、ＧＯＰ単位でのランダムアクセスを効率よく行うことができる。図１４（ａ）の例では、映像データについてのみ説明を行っている。図１４（ａ）のデータには、実際には、図１１に示すように、映像データ、音声データ、字幕データなどが多重化され混在している。
そのため、映像データの区切り位置でストリームデータを分割した場合には、映像以外の音声データ、字幕データ等に関しては、適切な区切り位置で分割されるとは限らない。そのため、ランダムアクセス時に音声、字幕等が遅れて再生される可能性がある。通常、音声、字幕等の再生が遅れても、映像とのずれが発生しなければ問題とならない。このため、ここでは、映像の区切り位置を基に、音声、字幕等のデータも一固まりのデータとして取り扱う。
図１４（ｂ）は、画像単位でアライメントしたＭＭＴストリームを記録したファイルの一例を示す。図１４（ｂ）では、ＡＵとしてのピクチャを、「ピクチャ（ＡＵ）」と表記している。図１４（ｂ）では、ピクチャ（ＡＵ）とパディングとの組み合わせがブロックの整数倍となっている。この場合には、画像単位でのアクセスが必要な時に効率が良い。
ＡＵは、圧縮データとしての意味のある固まりである。ピクチャとしての画像のデータにおけるＡＵは、１枚分の画像である。つまり、ＡＵは、ＩＲＡＰピクチャ、Ｉピクチャ、Ｐピクチャ、Ｂピクチャ等である。
この図１４（ｂ）では、画像の単位ですべてのアライメントを行った。しかし、ランダムアクセスの時に重要になるのはＩＲＡＰピクチャである。ＩＲＡＰピクチャは、ＧＯＰの先頭に置かれる。そのため、ＩＲＡＰピクチャとそれ以外のピクチャをまとめたものとを分けてアライメントを行うこともできる。
図１４（ｃ）は、ＩＲＡＰピクチャの先頭、Ｉピクチャの先頭およびＰピクチャの先頭をブロック境界にアライメントを行った状態を示す。図１４（ｃ）は、Ｉピクチャを「Ｉ」と示し、Ｐピクチャを「Ｐ」と示し、Ｂピクチャを「Ｂ」と示す。早送り再生、巻き戻し再生などが行われる場合に、ＩＲＡＰピクチャだけではなく、Ｉピクチャ、Ｐピクチャ等を利用する場合に効率が良い。この図１４（ｃ）では、ＩＲＡＰピクチャの先頭、Ｐピクチャの先頭、および、非ＩＲＡＰのＩピクチャの先頭でアライメントを行っている。なお、Ｐピクチャ先頭またはＩピクチャ先頭でのアライメントを省略しても良い。
図１４（ｄ）に、スライス単位でアクセスすることを考えてアライメントを設定したＭＭＴストリームを記録したファイルの一例を示す。映像がスライス構成となっている場合には、スライス単位でのアクセスを効率よく行うことができる。
図１４（ｄ）で、ピクチャとしての画像のデータの最初には、非ＶＣＬデータが記載されている。非ＶＣＬデータは、ＡＵＤ、ＶＰＳ、ＳＰＳなどのパラメーター類である。後続のスライス＃１からスライス＃４は、ＶＣＬデータである。ＶＣＬデータは、圧縮された画像データである。
スライス単位でデコードを行う際にも、非ＶＣＬデータは、各スライスをデコードする際に必要となる。例えば、スライス＃２をデコードする際には、非ＶＣＬデータとスライス＃２のデータとを組み合わせてデコードする。そのため、ここでは非ＶＣＬデータと、スライス＃１からスライス＃４とでそれぞれアライメントを行っている。
実際には、非ＶＣＬデータは各スライスと比べて非常に小さいことが多い。また、スライス＃１のデコードを行う前には、非ＶＣＬデータを必要とする。このことから、非ＶＣＬデータとスライス＃１とをまとめてアライメントを行うことも考えられる。
スライス単位でのアライメントは、必ずしも全てのピクチャで行う必要はない。例えば、ＩＲＡＰピクチャのみをスライス単位でのアライメントに用いることも考えられる。なぜなら、ＩＲＡＰピクチャは、サイズが大きく、ランダムアクセスに用いられるからである。以下においては、スライスを、「スライスセグメント」ともいう。また、以下においては、スライス＃１、スライス＃２、スライス＃３およびスライス＃４を、それぞれ、スライスセグメント＃１、スライスセグメント＃２、スライスセグメント＃３およびスライスセグメント＃４ともいう。
ＭＭＴＰパケット単位でアライメントする方法も考えられる。ＭＭＴＰパケットは、規格によってデータ量が異なる。例えば、放送規格案でのＭＭＴＰパケットの最大値は、約１５００Ｂｙｔｅである。
例えば、２０４８Ｂｙｔｅのブロックを想定してアライメントを行った場合には、全データ量に占めるパディングの量が大きくなる。そのため、記録効率が悪くなる。
一方、パケット単位でのアクセスは効率よく行える。つまり、ＭＭＴＰパケット単位でのアライメントは、パケット単位でのデータ加工が必要となる場合などの一時的なデータの格納に適している。パケット単位でのデータ加工は、例えば、記録再生時、編集時などに行われる。
タイムテーブルＴＭおよびアライメントを用いることによって、時刻を指定したデータの再生を効率よく行うことができる。
ブルーレイディスクは、この実施の形態２のタイムテーブルＴＭに相当する対応表としてのＥＰマップ（ＥＰ＿ｍａｐ）を持っている。このＥＰマップは、再生位置をシステムクロックとＴＳパケットの位置とで示している。再生位置は、ＰＴＳ、および、そのデータを読み出すための位置である。ＰＴＳは、表示開始の時刻である。
ＥＰマップは、時刻を指定したジャンプ、ランダムアクセス、プレイリストによる再生などに用いられている。ランダムアクセスは、例えば、早送り再生、巻き戻し再生などである。プレイリストは、ストリームの再生部分および再生順を示すリストである。
ブルーレイディスクのＥＰマップでは、時刻および再生位置のデータ形式がＭＭＴの場合とは異なっている。しかし、時刻を指定して再生位置のデータを取得する処理は、この実施の形態２で説明した、タイムテーブルＴＭを用いる処理と同様な処理である。
タイムテーブルＴＭをＥＰマップと類似の構造とすることによって、これらの再生の仕組みを大幅に変更することなく、ブルーレイディスクにＭＭＴ形式の放送を記録し再生することができる。
例えば、ＭＭＴの再生の時刻形式は、放送時の絶対時刻（すなわち、世界時刻）である。一方、ブルーレイディスクのＥＰマップでは、内部クロックを用いた相対時刻が使用される。そこで、タイムテーブルＴＭの時刻の表記を相対時刻の表記に換算する。また、絶対時刻と相対時刻との換算用のデータを別途持たせてもよい。また、ブルーレイディスクで使用する再生の時刻情報を、絶対時刻の形式に変更してもよい。
実施の形態３．
日本の新放送方式では、多重化方式およびエンコード方式が変更されている。また、日本の新放送方式では、伝送レートも引きあげられている。例えば、ＡＲＩＢ ＴＲ Ｂ－３９によると、４Ｋ放送では３５Ｍｂｐｓの伝送レートが想定され、８Ｋ放送では１００Ｍｂｐｓの伝送レートが想定されている。
一方、現在市販されているＢＤＸＬ（登録商標）の光ディスクの伝送レートは、１４０Ｍｂｐｓ前後である。
そのため、８Ｋ放送を録画したディスクを再生する場合には、通常の再生では問題がなく、再生可能である。しかし、８Ｋ放送を録画したディスクで早送り再生などの特殊再生を行うと、１コマ分の画像を表示するのに時間がかかってしまうという問題がある。
特開２０００－１２５２５９号公報では、記録媒体の記録領域を所定のデータサイズに分割し、記録時にストリームを解読する。そして、Ｉピクチャであることを表すＰＣＴ（ピクチャタイプコード）を含むＴＳパケットを、セクタの先頭から記録すると共に、そのセクタの先頭アドレスを示すポインタを、記録媒体上に設けたテーブルに登録する。そして、この様に記録した記録媒体を用いた早送り、早戻し等の特殊再生が行われる際には、ポインタテーブルからポインタのアドレスを読み出し、そのポインタが示すセクタから一枚のＩピクチャのみを再生する。その後、次々とポインタが示すセクタを順次再生する。
このように、早送り再生などの特殊再生が行われる際には、Ｉピクチャのみを再生する方法が採用される事が多い。Ｉピクチャは、映像ストリームのランダムアクセスポイントにある。早送り速度に応じて、通常の早送り（以下、「ＦＦ（Ｆａｓｔ Ｆｏｗａｒｄ）」ともいう）では、全てのＩピクチャを表示する。また、２倍速の早送り（以下、「ＦＦ×２」ともいう）では、Ｉピクチャを１つ飛ばしで表示する。また、３倍速の早送り（以下、「ＦＦ×３」ともいう）では、Ｉピクチャを２つ飛ばしで表示する。このようにして、早送り再生時の再生速度の調整を行う。
しかしながら、ＧＯＰ内でのＩピクチャの比率が大きい場合には、Ｉピクチャの読み出しに時間がかかり、画像としてのＩピクチャの更新間隔が長くなる。
実施の形態３に係る映像再生装置は、特殊再生が行われる際に、Ｉピクチャの読み出し時間を短くし、画像としてのＩピクチャの更新間隔を短くすることができる。
従来の早送り再生では、再生可能なＩピクチャのディスク上の位置をテーブルで管理している。そして、そのテーブルを用いて、順次、Ｉピクチャのデータを読み出している。
光ディスクでは、読み出し位置を変更する際には、ヘッドの移動に時間が必要である。このヘッドの移動時間をシークタイムと呼ぶ。
画面上での早送り画像の更新間隔は、以下の式（１）で表現される。
Figure 2022156728000002
４Ｋ／８Ｋ放送では、従来の２Ｋ放送よりもＩピクチャのサイズが大きい。Ｉピクチャのサイズが大きい場合には、Ｉピクチャの読み出しに時間がかかり、画像としてのＩピクチャの更新間隔が長くなる。
また、映像ストリームのデータレートとディスクからの最高読み出し速度との差が少ない場合にも、Ｉピクチャの読み出し時間が長くなり、画像の更新間隔が長くなる。例えば、１００Ｍｂｐｓの放送ストリームを最高読み出し速度１４０Ｍｂｐｓの光ディスクから読み出す場合には、当該放送ストリームを１．４倍の速度でしか読み出す事ができない。
このように、４Ｋ／８Ｋ映像を光ディスクに記録した場合には、特殊再生の実行時の画像の更新間隔が従来よりも長くなる。その一方で、放送を記録した映像の再生時には、早送り再生などの特殊再生の操作が行われる事が多い。そして、利用者が目的のシーンを特定する際には、画像の更新間隔は短い方が望ましい。
画像の更新間隔が長い場合には、利用者が早送り再生を使ってシーンを検索する際に、目的のシーンを見つける事が難しくなってしまう。
この実施の形態３では、早送り再生などの特殊再生が行われる際に、目的のシーンを見つける事が容易で、操作性の良い映像再生装置を提供する事を目的としている。
利用者の観点から、早送り再生が行われる際の画像の更新間隔について整理する。例えば、本来の再生時間が１００秒の映像を１０秒で再生する早送り再生を考える。ここでは当該早送り再生を仮に１０倍速早送りと呼ぶ。
通常、利用者は早送り再生中の映像を確認して、目的のシーンが現れた時点で早送り再生を解除する。つまり、映像の再生の速度を通常の再生速度に戻す。早送り再生の実行時には、表示される映像は間欠的な映像となる。表示されるシーンを利用者が認識するためには、時間的な情報の欠落は少ない方が望ましい。また、早送り操作が終了した後、早送り再生が解除されて通常再生に戻る位置のずれも少なくできる。
例えば、１０倍速早送りに対して考える。早送り再生中の画像の更新間隔が１秒であれば、通常の再生時間の１０秒に対して１コマ表示される。これに対して、早送り再生中の画像の更新間隔が０．５秒であれば、通常の再生時間の５秒に対して１コマが表示される。
早送り再生の実行時に、利用者が目的のシーンを見つけるためには、通常の再生時間に対して、表示されるコマ数（すなわち、画像数）が多い方が有利である。このように、早送り再生の実行時に、多くの画像を表示することによって、操作性を向上させる事ができる。つまり、画像の更新間隔を短くすることによって、操作性を向上させる事ができる。
４Ｋ／８Ｋ放送では、分割デコードを想定して、複数のスライスセグメントを持ったストリーム形式を規定している。
例えば、１つの画像を４分割する場合には、当該画像を縦方向および横方向に２分割して４分割の画像を作成する。また、１つの画像を縦方向に４分割する場合もある。これらの場合、スライスセグメント単位で、独立してデコードできるようになっている。これは、２Ｋ用のデコーダーを４つ用いて４Ｋ映像のデコードを行い、４Ｋ用のデコーダーを４つ用いて８Ｋ映像のデコードを行えるようにするための配慮である。
これらの複数のスライスセグメントを持つ放送ストリームを光ディスクに記録した状況において、スライスセグメント単位でデータを読む出す事が出来れば、一部のスライスセグメントだけを再生することが可能である。
一部のスライスセグメントだけを再生する処理を特殊再生の実行時に使用すれば、更新される画像は通常の再生で表示されている画像の一部になる。そのため、前述の式（１）の「Ｉピクチャデータの読み出し時間」を４分の１にすることができる。また、特殊再生の実行時の画像の更新間隔を短縮することができる。
図１５は、実施の形態３に係る映像ストリームの模式図である。
多重化方式としてはＴＳ方式およびＭＭＴ方式の両方が考えられる。図１５では、固有のヘッダ情報などを省略している。また、図１５では、パディング等も省略している。
放送の場合には、１つのＧＯＰは約６０枚のフレームを含む事ができる。当該フレームは、画像またはピクチャである。１つのＧＯＰは、少なくとも１つのＩピクチャを含む。デコードの際に開始点となるＩピクチャは、ＩＲＡＰピクチャまたはＩＲＡＰ画像と呼ばれる。通常、ＩＲＡＰピクチャはＧＯＰの先頭に配置されている。
ＩＲＡＰピクチャを含むＩピクチャ、ＢピクチャおよびＰピクチャは、それぞれフレームを表す。当該フレームは、画像またはピクチャである。
Ｉピクチャは、単独でデコード可能な独立した画像である。一方、ＢピクチャおよびＰピクチャは、他の画像に依存している。ＢピクチャおよびＰピクチャは、他の画像との差分データである。このため、ＢピクチャおよびＰピクチャは、単独ではデコードすることができない。
ＧＯＰは、当該ＧＯＰの中で画像間の依存関係が完結している。つまり、ＧＯＰ内のすべての画像は、デコード可能となるデータのセットを構成している。以下においては、表示装置Ｄｄが表示するための画像を、「画像Ｇｐ」ともいう。画像Ｇｐは、例えば、Ｉピクチャである。また、画像Ｇｐは、例えば、動画像である。
１つの画像Ｇｐが複数のスライスセグメントで構成されている場合には、ＧＯＰ内の各画像はパラメータセットと複数のスライスセグメントとで構成されている。パラメータセットと１つのスライスセグメントとを組み合わせる事で、スライスセグメントはデコード可能な単位となる。図１５では、ＩＲＡＰピクチャのみスライスセグメントの構造で記載している。ＢピクチャおよびＰピクチャも、ＩＲＡＰピクチャと同様の構造を取ることができる。以下においては、スライスセグメントをデコードすることにより得られる画像を、「画像Ｇｓ」または「スライス画像」ともいう。
デコーダーを４つ用いて並列でデコードする場合には、スライスセグメントごとにデータを取り出す。そして、各データにパラメータセットを追加する。その後、各データを当該データに対応するデコーダーに与える事によって、１つの画像を分割した状態でデコードすることができる。画像を表示する際には、個別にデコードされた画像を結合し、１つの画像を生成して表示する。
以下においては、ピクチャとしての画像を、複数のスライスセグメントに分割した構成を、「分割スライスセグメント構成」ともいう。分割スライスセグメント構成の種類には、「田の字型」、「目の字型」等が存在する。以下においては、分割スライスセグメント構成の種類が、田の字型である状況における当該分割スライスセグメント構成を、「田の字型分割スライスセグメント構成」ともいう。また、以下においては、分割スライスセグメント構成の種類が、目の字型である状況における当該分割スライスセグメント構成を、「目の字型分割スライスセグメント構成」ともいう。
図１６は、田の字型分割スライスセグメント構成を説明するための図である。田の字型分割スライスセグメント構成は、画像Ｇｐを、田の字型に分割した構成である。画像Ｇｐの左上には、スライス＃１の画像Ｇｓが表示されている。画像Ｇｐの右上には、スライス＃２の画像Ｇｓが表示されている。画像Ｇｐの左下には、スライス＃３の画像Ｇｓが表示されている。画像Ｇｐの右下には、スライス＃４の画像Ｇｓが表示されている。
以下においては、スライス＃１に対応する画像Ｇｓを、「画像Ｇｓ１」ともいう。また、以下においては、スライス＃２に対応する画像Ｇｓを、「画像Ｇｓ２」ともいう。また、以下においては、スライス＃３に対応する画像Ｇｓを、「画像Ｇｓ３」ともいう。また、以下においては、スライス＃４に対応する画像Ｇｓを、「画像Ｇｓ４」ともいう。
図１７は、目の字型分割スライスセグメント構成を説明するための図である。目の字型分割スライスセグメント構成は、画像Ｇｐを目の字型に分割した構成である。目の字型分割スライスセグメント構成は、画像Ｇｐを縦方向に４分割した構成である。図１７の画像Ｇｐは、縦方向に並ぶ４つの画像Ｇｓである、画像Ｇｓ１，Ｇｓ２，Ｇｓ３，Ｇｓ４で構成される。画像Ｇｓ１は、スライス＃１に対応する画像である。画像Ｇｓ２は、スライス＃２に対応する画像である。画像Ｇｓ３は、スライス＃３に対応する画像である。画像Ｇｓ４は、スライス＃４に対応する画像である。
分割されていない映像ストリームには、１つのピクチャデータ内にスライスセグメントが１つだけ存在している。
このような分割スライスセグメント構成を持った映像ストリームでの特殊再生を考える。
前述の通り、操作性を向上させるためには、画像の更新間隔を短くする必要がある。従来では、Ｉピクチャ全体のデータを読み込み、Ｉピクチャ全体を表示していた。しかし、Ｉピクチャの第１スライスセグメント（例えば、スライスセグメント＃１）のデータのみを読み込み、Ｉピクチャの第１スライスセグメント（例えば、スライスセグメント＃１）のみを表示する事を考える。以下においては、分割スライスセグメント構成における各スライスセグメントを、「分割スライスセグメント」ともいう。また、以下においては、分割スライスセグメントに対応したタイムテーブルを、「タイムテーブルＴＭＳ」ともいう。
図１８は、分割スライスセグメントに対応したタイムテーブルＴＭＳの一例を示す図である。タイムテーブルＴＭＳは、分割スライスセグメントの単位での読み出しに対応したテーブルである。タイムテーブルＴＭＳは、複数のエントリーを示す。各エントリーは、タイムテーブルＴＭＳにおいて、行方向に並ぶ複数の情報を含む。図１８のタイムテーブルＴＭＳは、例えば、６つのエントリーを示す。図１９は、タイムテーブルＴＭＳの各項目とデータとの対応関係を示す図である。映像ストリームを記録する際に、映像ストリームの解析が行われる。そして、時刻情報、データ区切り位置の情報などが取出されてタイムテーブルＴＭＳが作成される。
タイムテーブルＴＭＳは、映像ストリームと一緒に記録メディアに記録される。記録メディアは、例えば、光ディスクなどである。
図１８および図１９のタイムテーブルＴＭＳの各項目について説明する。
タイムテーブルＴＭＳの「時刻」は、ＧＯＰの表示時刻である。時刻は、システムクロック形式の時刻情報、ｎｔｐ形式の時刻情報、ストリームの先頭からの差分時間などの形式で記録されている。時間を指定して再生を開始する場合には、この時刻欄を検索し、指定時間の近傍のデータから再生を開始する。
前述したように、タイムテーブルＴＭＳの「時刻」は、ＧＯＰの表示時刻である。１つのＧＯＰには、通常、複数の画像が含まれている。そして、複数の画像の表示時刻があるため、ＧＯＰには表示時刻が複数存在する。ＧＯＰの表示時刻をタイムテーブルに記録する場合には、ＧＯＰ内での表示の順番で先頭になる画像の表示時刻を使用することができる。また、タイムテーブルに記録される表示時刻として、デコードの順番で先頭になる画像の表示時刻を使用することができる。この場合には、先頭になる画像は、ＩＲＡＰピクチャである。
また、タイムテーブルに格納する「時刻」は、必ずしも、画像の表示時刻に一致する必要はない。例えば、画像の表示時刻そのものではなく、精度を落とした時刻情報、他のデータに対する時刻情報などを用いることができる。これらは、例えば、再生装置のシステムクロックの精度、データアクセスとの関係、タイムテーブルに格納可能なデータ長などが考慮されて、用いられる。
「ＩＲＡＰ開始位置」は、ＩＲＡＰピクチャの格納位置である。ＩＲＡＰピクチャの格納位置は、ＧＯＰのランダムアクセスポイントとなる。ＩＲＡＰピクチャの格納位置は、通常、ＧＯＰの開始位置と同一となる。「ＩＲＡＰ終了位置」は、ＩＲＡＰピクチャ全体のデータ末尾を示す。ＩＲＡＰ開始位置からＩＲＡＰ終了位置までのデータを読み出すことによって、ＩＲＡＰピクチャをデコードできるデータがそろう。
「＃２開始位置」は、２番目のスライスセグメントであるスライス＃２の開始位置を示す。また、「＃２開始位置」は、１番目のスライスセグメントであるスライス＃１の終了位置を示す。「＃３開始位置」は、３番目のスライスセグメントであるスライス＃３の開始位置を示す。また、「＃３開始位置」は、２番目のスライスセグメントであるスライス＃２の終了位置を示す。「＃４開始位置」は、４番目のスライスセグメントであるスライス＃４の開始位置を示す。また、「＃４開始位置」は、３番目のスライスセグメントであるスライス＃３の終了位置を示す。「＃４終了位置」は、４番目のスライスセグメントであるスライス＃４の終了位置を表す。通常、この位置はＩＲＡＰピクチャの終了位置と同じである。
「パラメータセット」には、ＩＲＡＰピクチャのデータのパラメータセットが格納されている。パラメータセットには、例えば、ＡＵＤ（Ａｃｃｅｓｓ Ｕｎｉｔ Ｄｅｌｉｍｉｔｅｒ）、ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）、ＥＯＳ（Ｅｎｄ ｏｆ Ｓｔｒｅａｍ）などが含まれている。
図１９に示したタイムテーブルＴＭＳは、スライスセグメントの終了位置を格納している。スライスセグメントの終了位置は、例えば、ＩＲＡＰピクチャの終了位置およびスライス＃４の終了位置である。なお、終了位置の代わりにデータサイズをテーブルに格納し利用する方法を取ることもできる。
開始位置および終了位置は、データの先頭からのバイト位置、ブロック位置などの形で記録されている。また、多重化方式にＴＳを採用している場合には、開始位置および終了位置は、ＴＳパケットの位置などの形で記録されている。開始位置および終了位置は、データを読み出すのに必要な位置として記録されている。
セグメントのデータ位置を示す情報に関しては、ＧＯＰの先頭からの相対位置とすることができる。これによって、位置情報のデータサイズを小さくする事が出来る。
光ディスクでは、ある程度まとまったデータ単位でデータの読み込みを行う。このため、データの位置に関しては必ずしも厳密である必要はない。データの位置を示す単位を大きくすれば、位置情報のデータ量を削減することも可能である。
この例では、単一のタイムテーブルにスライスセグメントに関する情報も記録している。なお、スライスセグメント情報を別のテーブルに格納することも可能である。この場合には、タイムスタンプ情報、テーブル内でのエントリー位置などで、同一のＧＯＰおよびＩＲＡＰピクチャに関する情報を取り出せるようにしておく。
パラメータセットを、さらに別のテーブルに格納する方法も考えられる。なぜなら、パラメータセットは、位置情報に比べるとサイズが大きいからである。また、パラメータセットは、画像の種類によってデータ長が変化するからである。以下においては、パラメータセットを、「パラメータセット（ＰＳ）」または「ＰＳ」とも表記する。
Ｉピクチャのスライスセグメント＃１のみを用いて早送り再生を行う場合には、タイムテーブルで必要な情報は、時刻、ＩＲＡＰ開始位置および＃２開始位置である。この場合には、＃２開始位置はスライスセグメント＃１の終了位置として利用される。
図２０を用いてスライスセグメント＃１のみを用いた早送り再生の説明を行う。図２０では、一例として、ストリームデータを構成する６つのＧＯＰが示される。以下においては、６つのＧＯＰを、それぞれ、ＧＯＰ（０１）、ＧＯＰ（０２）、ＧＯＰ（０３）、ＧＯＰ（０４）、ＧＯＰ（０５）およびＧＯＰ（０６）と表記する。ＧＯＰ（０１）からＧＯＰ（０６）により、ストリームデータが構成される。本来、ストリームデータは一続きのデータファイルである。図２０では、説明を容易にするため、ＧＯＰ単位で行を変えて当該ＧＯＰを表わしている。図２０のタイムテーブルＴＭＳは、図１８のタイムテーブルＴＭＳである。タイムテーブルＴＭＳは、時刻情報と画像データの位置とを対応付けている。図２０では、図１８のタイムテーブルＴＭＳの一部が示される。
以下においては、スライス＃１の開始位置を、「＃１開始位置」ともいう。また、以下においては、スライス＃１の終了位置を、「＃１終了位置」ともいう。ＩＲＡＰ開始位置および＃１開始位置は、同じ値としてタイムテーブルＴＭＳにおいて兼用している。必要な値は、スライス＃１の開始位置および終了位置である。ＩＲＡＰ開始位置を＃１開始位置とみなし、＃２開始位置を＃１終了位置とみなしている。
早送り再生が行われる場合には、タイムテーブルＴＭＳのエントリーを順次読み出す。各ＧＯＰのＩＲＡＰ開始位置および＃２開始位置に基づいて、このＧＯＰのＩピクチャの１番目のスライスセグメントのデータを読み出す。そして、このデータをデコードし、画像を表示する。ＩＲＡＰ開始位置は、スライスセグメント＃１の開始位置である。＃２開始位置は、スライスセグメント＃１の終了位置である。
上記の処理を繰り返す事によって、早送り再生を行うことができる。この場合には、Ｉピクチャを全て表示する場合に比べて、読み出しデータ量が４分の１になっている。このため、早送り再生時の画像の更新間隔を短くする事ができる。
この例の場合には、表示が更新される領域は画像Ｇｐの一部である。つまり、１番目のスライスセグメントの位置の画像Ｇｓ１のみが表示される。田の字型分割スライスセグメント構成において、更新される領域は、例えば、図２０の画像Ｇｓ１の領域である。目の字型分割スライスセグメント構成において、更新される領域は、図１７の画像Ｇｓ１の領域である。画像Ｇｓ２，Ｇｓ３，Ｇｓ４に対応する領域は更新されない。また、画像Ｇｓ２，Ｇｓ３，Ｇｓ４にそれぞれ対応する３つの領域では画像Ｇｓ２，Ｇｓ３，Ｇｓ４が表示されない。
利用者が早送り操作を行う場合には、目的のシーンを判別できればよい。そのため、画像全体が見える事よりも、画像の更新間隔の短い方が操作性を考慮すると良い場合も多い。
また、上記と同様な方法で、画像Ｇｐにおいて、１番目のスライスセグメントの画像Ｇｓ１、および、２番目のスライスセグメントの画像Ｇｓ２を表示してもよい。このようにすれば、画像Ｇｐの半分を利用して早送り再生を行うこともできる。
さらに、高速で早送り再生を行う場合には、表示するＧＯＰを間引きして再生することができる。つまり、ＧＯＰを、１つ飛ばし、２つ飛ばし等で表示する。
早送り再生の操作では、リモコンの早送りボタンを複数回押す事で早送り速度を調整する事が出来るものが多い。従来のＩピクチャ全体を表示する早送り再生と組み合わせて使う場合には、リモコンボタンを押す回数によって表示方式を選択することができる。
例えば、ボタンを１回押すと、全てのＧＯＰのＩピクチャの全体を表示して早送り再生を行う。ボタンを２回押すと、全てのＧＯＰのＩピクチャの一部のスライスセグメントのみを表示して早送り再生を行う。ボタンを３回押すと、ＧＯＰの１つ飛ばしを行って、Ｉピクチャの一部のスライスセグメントのみを表示して早送り再生を行う。ボタンを４回押すと、ＧＯＰの２つ飛ばしを行って、Ｉピクチャの一部のスライスセグメントのみを表示して早送り再生を行う。
放送ストリームが複数のスライスセグメントを持たない場合には、ＧＯＰの飛ばしを伴う特殊再生を行うことができない。放送を記録する際に、再圧縮またはフォーマット変換を行うことも多い。その際に、複数のスライスセグメントを持つＨＥＶＣ映像ストリームとして再構成する事も可能である。放送以外の外部入力の映像を記録する場合でも、同様に、複数のスライスセグメントを持つＨＥＶＣ映像ストリームとして圧縮データを作成する事で、ＧＯＰの飛ばしを伴う特殊再生を行う事ができる。
＜変形例１＞
これまでの説明では、早送り再生などの特殊再生の実行時に画像Ｇｐの一部のみの更新でも良いとした。しかし、画像Ｇｐ全体が更新された方が目的のシーンを見つけやすいことも考えられる。そこで、読み出すデータは一部のスライスセグメントとしながら、画像Ｇｐ全体を更新する方法を考える。
図２１は、変形例１に係る早送り再生の説明するための図である。本変形例では、タイムテーブルＴＭＳにおける全てのスライスの位置情報を利用する。
早送り再生が行われる場合には、タイムテーブルＴＭＳのエントリーを順次読み出す。最初のＧＯＰのＩＲＡＰ開始位置および＃２開始位置に基づいて、このＧＯＰのＩピクチャの１番目のスライスセグメントのデータを読み出す。ＩＲＡＰ開始位置は、スライスセグメント＃１の開始位置である。＃２開始位置は、スライスセグメント＃１の終了位置である。読み出されたデータをデコードして、図２１のように、１番目のスライスセグメントに基づく画像Ｇｓ１を表示する。
次のＧＯＰの＃２開始位置および＃３開始位置に基づいて、このＧＯＰのＩピクチャの２番目のスライスセグメントのデータを読み出す。＃２開始位置は、スライスセグメント＃２の開始位置である。＃３開始位置は、スライスセグメント＃２の終了位置である。このデータをデコードして、図２１のように、２番目のスライスセグメントに基づく画像Ｇｓ２を表示する。
この時、スライスセグメント＃２のデコードには、このＧＯＰのピクチャのパラメータセット（ＰＳ）のデータが必要になる。パラメータセット（ＰＳ）は、ピクチャの先頭に配置されている。つまり、パラメータセット（ＰＳ）は、スライスセグメント＃１の前に配置されている。このため、パラメータセット（ＰＳ）をスライスセグメント＃１と同時に読み込む場合には、１度に読み込める。しかし、パラメータセット（ＰＳ）とスライスセグメント＃２とを読み込む場合には、２回の読み込みが発生する。
光ディスクの読み出し動作では、読み出し位置の変更に時間がかかる。そのため、この時の読み込み動作としては次の３つの方法が考えられる。
１つ目の方法では、パラメータセット（ＰＳ）とスライスセグメント＃２との２回の読み込み動作を行う。２つ目の方法では、パラメータセット（ＰＳ）、スライスセグメント＃１およびスライスセグメント＃２を一度に読み込む。３つ目の方法では、パラメータセット（ＰＳ）とスライスセグメント＃２のデータとを使用する。そして、タイムテーブルを作成する時に、Ｉピクチャのデコードに必要なパラメータセット（ＰＳ）のデータのコピーをタイムテーブルに格納する。
ここでは、３つ目の方法を説明する。つまり、タイムテーブル内にパラメータセット（ＰＳ）のデータのコピーが格納されているものとして説明する。この場合には、タイムテーブルに格納されていたパラメータセット（ＰＳ）のデータとスライスセグメント＃２のデータとをデコーダーに入力して、デコードを行う。
次のＧＯＰでは、同様にスライスセグメント＃３のデータを取り出し、図２１のように、画像Ｇｐにおけるスライスセグメント＃３に対応する画像Ｇｓ３を更新する。これにより、より操作性の良い特殊再生を実現することができる。
このように画像Ｇｓの更新のたびに、表示する画像Ｇｓをずらしていく事によって、一回の更新は画像Ｇｐの一部の更新であっても、数回の画像Ｇｓの更新によって画像Ｇｐ全体を更新することができる。画像Ｇｓの位置によって、異なる時刻の画像Ｇｓが表示される。スライスセグメントごとに、異なる時刻の画像Ｇｓが表示される。そのため、一部分の画像Ｇｓの表示よりも、シーンの把握が容易になる。つまり、より操作性の良い特殊再生を実現することができる。
上記の処理では、１つのスライスセグメントで画像Ｇｓの更新を行った。しかし、１つのＧＯＰで複数のスライスセグメントの画像Ｇｓを更新することができる。例えば、画像Ｇｐの半分を交互に更新する事もできる。
上記の説明では、スライス番号の順にスライス＃１、スライス＃２、スライス＃３、スライス＃４の順番で画像Ｇｓの更新を行った。画像Ｇｓの更新の順番は、必ずしもスライス番号の順である必要はない。画像Ｇｓの更新の順番は、任意の順番とすることができる。
図２２は、田の字型分割スライスセグメント構成における画像Ｇｓの更新の順番の例を示す図である。図２２（ａ）は、スライス＃１、スライス＃２、スライス＃３、スライス＃４の順で画像Ｇｓを更新する例である。図２２（ｂ）は、スライス＃１、スライス＃２、スライス＃４、スライス＃３の順で画像Ｇｓを更新する例である。図２２（ｂ）では、時計回り方向で画像Ｇｓを更新している。図２２（ｃ）は、スライス＃１、スライス＃４、スライス＃３、スライス＃２の順で画像Ｇｓを更新する例である。図２２（ｄ）は、スライス＃１、スライス＃３、スライス＃４、スライス＃２の順で画像Ｇｓを更新する例である。図２２（ｄ）では、反時計回り方向で画像Ｇｓを更新している。
再生の時に表示対象となる、スライスセグメントの画像Ｇｓを選択できる場合には、早送り再生の実行時と巻き戻し再生の実行時とで、画像Ｇｓを更新する順番を逆にすることもできる。例えば、早送り再生の実行時には、画像Ｇｓの更新の順番を、図２２（ｂ）の時計回り方向とする。一方、巻き戻し再生の実行時には、画像Ｇｓの更新の順番を、図２２（ｄ）の反時計回り方向とする。このように、早送り再生と巻き戻し再生とで画像Ｇｓの更新の順番を逆にすることによって、早送り再生の操作と巻き戻し再生の操作とを繰り返した場合でも、特殊再生の状態の把握が容易になり、操作性が向上する。
図２３は、目の字型分割スライスセグメント構成における画像Ｇｓの更新の順番の例を示す図である。目の字型分割スライスセグメント構成でも、早送り再生の実行時と巻き戻し再生の実行時とで、画像の更新の順番を逆にすることで、早送り再生および巻き戻し再生の把握が容易になる。例えば、早送り再生では、スライス＃１からスライス＃４に向けてスライスを順次更新する（図２３（ａ））。そして、巻き戻し再生では、スライス＃４からスライス＃１に向けてスライスを順次更新する（図２３（ｂ））。
＜変形例２＞
前述の説明では、タイムテーブルＴＭＳに全てのスライスセグメントへの読み出し位置情報を格納していた。タイムテーブルＴＭＳのサイズを小さくするために、一部のスライスセグメントの読み出し位置情報だけをタイムテーブルＴＭＳに記録する方法も考えられる。
図２４では、１つのスライスセグメントの読み出し位置情報を格納したタイムテーブルＴＭＳを示している。
この例では、タイムテーブルＴＭＳに、当該タイムテーブルＴＭＳの各時刻に対応するスライスセグメントの読み出し位置の情報を格納している。例えば、タイムテーブルＴＭＳにおいて、ＧＯＰ（０１）およびＧＯＰ（０５）に対応する行には、スライスセグメント＃１の読み出し位置情報が格納されている。図２４では、例えば、ＧＯＰ（０１）の情報はタイムテーブルＴＭＳの１行目に記載されている。また、ＧＯＰ（０５）の情報はタイムテーブルＴＭＳの５行目に記載されている。
ストリームを記録する際に、記録するＧＯＰを順次カウントする。そして、このＧＯＰのカウント値を１つの画像Ｇｐにおけるスライスセグメント数で割った余りである剰余を求める。図２４では、１つの画像Ｇｐにおけるスライスセグメント数は４である。この剰余としての値に１を足した値をスライスセグメントの値とする。そして、当該スライスセグメントの位置をタイムテーブルＴＭＳに記録する。
この例では、各時刻のスライス開始位置とスライス終了位置とには情報が記載されている。スライスの順番は、スライス＃１、スライス＃２、スライス＃３、スライス＃４の順番である。図２４では記載を省略しているが、ＩＲＡＰ開始位置およびＩＲＡＰ終了位置などもタイムテーブルＴＭＳに記録される。これは、他の特殊再生または従来のＩＲＡＰ画像全体の表示との互換のためである。
このタイムテーブルＴＭＳを用いて早送り再生などの特殊再生を行う場合には、ＧＯＰを飛ばさずに早送り再生を行うと、画像Ｇｐ全体が更新される。また、例えば、ＧＯＰを１つずつ飛ばして再生すると、スライス＃１とスライス＃３とが更新される。また、例えば、ＧＯＰを３つずつ飛ばしで再生すると、スライス＃１が更新される。
早送り再生の倍速にかかわらず、画像Ｇｐ全体を更新するためには、タイムテーブルＴＭＳに読み出し位置情報を格納する際に、乱数、疑似乱数などを用いてスライスセグメントを選択することもできる。この場合には、画像Ｇｐにおいて更新されるスライスセグメントは不規則である。しかし、早送り再生の倍数などによらず、画像Ｇｐ全体を更新することができる。
疑似乱数の生成手段としては、例えば、Ｍ系列を用いた線形帰還シフトレジスタなどが挙げられる。
Ｍ系列を用いた疑似乱数生成では、値数および回数を指定して、各値の出現確率が一様で指定回数の間に周期性の無いデータ列を生成することができる。値数は、例えば、１から４の４値である。回数は、例えば、１０００回である。
例えば、これらの疑似乱数の生成手段を用いてタイムテーブルＴＭＳを作成すれば、タイムテーブルＴＭＳの中で同じパターンの繰り返しが発生しないように、スライスセグメントを選択することができる。これによって、早送り再生の倍速を変更した場合でも、特定のスライスセグメントだけが更新されることを防ぐことができる。必ずしも、タイムテーブルＴＭＳの全体で同じパターンの繰り返しを無くす必要はない。十分に長い周期で同じパターンを繰り返せば、実用上問題は無い。十分に長い周期は、例えば、１０００行程度である。
タイムテーブルＴＭＳ全体で周期性が発生しないように、この疑似乱数の回数を選択する。しかし、疑似乱数の周期性を長く設定すると演算量が多くなる。そして、乱数のデータ列として予め与える場合でも、データ量が多くなる。
早送り再生の操作または巻き戻し再生の操作の際には、主にスキップ量の少ない早送り再生または巻き戻し再生が利用される。例えば、ＧＯＰのスキップを行わない処理、１から数十程度のＧＯＰのスキップを行う処理等が行われる。そのため、疑似乱数の周期を短く設定することができる。
一例として、１０００行程度の周期性を持つタイムテーブルＴＭＳを使用する場合を考える。このタイムテーブルＴＭＳでは、９９９のＧＯＰをスキップした時に、一部の画像Ｇｓのみが更新されるという問題が発生する。しかし、９９９のＧＯＰをスキップした時の早送り再生と巻き戻し再生とは、周期性を持つタイムテーブルＴＭＳはあまり利用されない。また、９９９のＧＯＰをスキップする場合に代わって、１０００のＧＯＰをスキップすることを採用しても、利用者から見た早送り再生の倍速は、ほとんど変わらない。このため、上記の問題を容易に回避できる。
ＧＯＰの長さの平均を０．５秒とすると、２時間の映像は１４４００個のＧＯＰで構成される。そして、１０００行の周期性は、２時間の映像で１５回程度発生することになる。周期性が問題になるのは、２時間の映像を１５コマで再生する早送り再生の時である。通常は、このような高速の早送り再生の操作は行われない。
この場合の疑似乱数列を事前に、計算済み乱数表として制御プログラムに与える場合の乱数表のサイズを見積もる。値数が４値で、回数が１０００回の乱数列において、各乱数を２ビットで表現する。この場合には、乱数表のサイズは、２５０バイトのサイズとなる。疑似乱数の周期性の長さは、操作性と装置実装との関係で設定することができる。
＜変形例３＞
これまでの例では、スライスセグメントの表示位置を変更する場合には、タイムテーブルＴＭＳにスライスセグメントの読み出し位置および終了位置を格納していた。また、必要な場合には、タイムテーブルＴＭＳにパラメータセット（ＰＳ）を格納していた。そのため、タイムテーブルＴＭＳのデータが大きくなる。また、パラメータセット（ＰＳ）およびスライスセグメントの読み出しという、２回の読み出しが発生する。
映像ストリームの記録の際に、スライスセグメントの順序を入れ替えることによって、これらの余分な作業を回避し、効率のよい特殊再生を行うことができる。
図２５は、変形例３に係る早送り再生を説明するための図である。図２０と同様にＧＯＰ（０１）からＧＯＰ（０６）により、ストリームデータが構成される。本来、ストリームデータは一続きのデータファイルである。図２５では、説明を容易にするために、ＧＯＰ単位で行を変えて当該ＧＯＰを表わしている。図２５では、タイムテーブルＴＭＳの一部が示される。
図２５のストリームでは、ＧＯＰの先頭にあるＩＲＡＰピクチャごとに、スライスセグメントの格納順を変更している。ここで、スライスセグメントの番号（例えば、＃１）は、画像Ｇｐの表示位置を示している。この表示位置に表示されるスライスセグメントの番号を、ストリームデータ上の番号として示している。
図２５では、一例として、次のようにデータを配置している。ＧＯＰ（０１）には、ＩＲＡＰピクチャの先頭にスライスセグメント＃１を配置している。ＧＯＰ（０２）には、ＩＲＡＰピクチャの先頭にスライスセグメント＃２を配置している。ＧＯＰ（０３）には、ＩＲＡＰピクチャの先頭にスライスセグメント＃３を配置している。ＧＯＰ（０４）には、ＩＲＡＰピクチャの先頭にスライスセグメント＃４を配置している。ＧＯＰ（０５）には、ＩＲＡＰピクチャの先頭にスライスセグメント＃１を配置している。ＧＯＰ（０６）には、ＩＲＡＰピクチャの先頭にスライスセグメント＃２を配置している。
これまでの説明では、データ分割の観点から、単にスライスセグメントを使用して説明してきた。しかし、表示位置も含めた管理は、ＨＥＶＣ規格のスライスセグメントの他に、タイルを用いて実現されている。そのため、タイムテーブルのスライスセグメントの格納位置を入れ替える場合には、必要に応じて、各スライスセグメントのスライスヘッダ情報、タイル情報などを修正して、整合性を取る必要がある。タイル情報は、パラメータセットに含まれている。
早送り再生が行われる場合の処理は、図２０を用いて説明した処理と同一である。図２０を用いて説明した処理は、スライスセグメント＃１のみの再生を行う処理である。ただし、図２５の例では、各ＧＯＰのＩＲＡＰピクチャの先頭に置かれるスライスセグメントが入れ替えられている。このため、画像Ｇｓの更新のためにスライスセグメントが変化し、画像Ｇｐ全体が更新される。
単純な順序で先頭に配置されたスライスセグメントを選択する場合には、早送り再生によって一部のスライスセグメントの画像Ｇｓだけが更新される。そこで、前述の乱数、疑似乱数などを用いる方式で、先頭に配置するスライスセグメントを決定することができる。
このように、記録時のスライスセグメントの順番を入れ替える事によって、早送り再生、巻き戻し再生等の特殊再生によるシーンサーチの操作性を向上する事が可能である。
これまで、スライスセグメントの分割形態として４分割を例にして説明をしてきた。これは、日本の４Ｋ／８Ｋ放送で採用されているためである。
実際には、放送の録画時または光ディスクへの記録時に、再圧縮またはフォーマット変換などを行うこともある。この場合には、４分割だけでなく、スライスセグメントの分割の形式を自由に変更することができる。
例えば、１つの画像Ｇｐを３×３の９分割にすることもできる。この場合には、中心のセグメントのみを特殊再生で更新することも考えられる。なぜなら、中心のセグメントには重要な情報が含まれる可能性が高いからである。また、単純に２分割のスライスセグメントとすることができる。２つのセグメントを交互に更新することで特殊再生を行うこともできる。
また、これまでの説明では、記憶デバイスとして光ディスクを使用した例で説明したが、ハードディスクドライブ（ＨＤＤ）、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）など、他の記憶デバイスを使用しても、同様の効果が得られる。
ネットワークなど伝送帯域で制限があり、データ転送の遅延が大きい場合でも、特殊再生の実行時のデータ転送量を抑制し、操作性を向上させることも可能である。
実施の形態４．
実施の形態４の課題は、実施の形態３の課題と同様である。つまり、実施の形態４は、８Ｋ放送を録画したディスクで早送り再生などの特殊再生を行うと、１コマ分の画像Ｇｐを表示するのに時間がかかってしまうという課題に対応する。以下においては、画像Ｇｐを、「画面」ともいう。また、以下においては、表示するための画像を、「表示画面」ともいう。表示画面は、画像Ｇｓまたは画面である。
例えば、特開２００６－２４５７４４号公報（段落００１６－００２０、第２図）には、情報記録媒体に保存されたＩピクチャのアドレスと、算出されたＩピクチャの再生予定時刻を含むアクセスタイムテーブルを作成することが記載されている。そして、特殊再生の実行時に、アクセスタイムテーブルの再生予定時間を参照して、Iピクチャの再生が行われる。もしIピクチャの復号に時間がかかれば再生予定時間に再生が行えなくなってしまう。
実施の形態３では、画面としての画像Ｇｐを複数のスライスセグメントに分割する。そして、特殊再生の実行時にはスライスセグメント単位で部分的に表示画面を更新する。これによって、画像としてのＩピクチャの更新間隔を短くし、特殊再生の実行時の応答性を向上させている。以下においては、映像のシーンを、「映像シーン」ともいう。
しかしながら、画面としての画像Ｇｐの一部を更新する場合には、映像シーンの視認性が低下する場合がある。例えば、異なるシーンの画像が画面に混在する場合である。
実施の形態４では、実施の形態３の方法を利用しつつ、表示されている映像シーンを把握しやすいように構成した。実施の形態４に係る映像再生装置は、特殊再生が行われる際にスライスセグメント単位で表示画面の更新をする場合でも、映像シーンの視認性の低下を抑えることができる。以下においては、表示画面の更新を、「表示更新」ともいう。
また、実施の形態４では、タイムテーブルＴＭＳに「映像シーンの連続性」の情報を付与する。「映像シーンの連続性」の情報は、図２６の「シーン連続性番号」である。また、タイムテーブルＴＭＳに「画面表示更新すべき優先スライスセグメント」の情報を付与する。「画面表示更新すべき優先スライスセグメント」の情報は、図２６の「優先スライス情報」である。
以下においては、実施の形態４において使用するタイムテーブルＴＭＳを、「タイムテーブルＴＭＳＮ」ともいう。「タイムテーブルＴＭＳＮ」は、図１８のタイムテーブルＴＭＳに対して、「シーン連続性番号２６０１」および「優先スライス情報２６０２」を付与した当該タイムテーブルＴＭＳである。
実施の形態４では、目の字型分割スライスセグメント構成を使用する処理について説明する。なお、本実施の形態は、田の字型分割スライスセグメント構成にも適用可能である。また、本実施の形態は、画像が縦方向に８分割された構成のように、５つ以上の分割スライスセグメントを使用した構成にも適用可能である。ここで、分割の構成を「行列」で説明すると、目の字型分割スライスセグメント構成は画像Ｇｐを４行に分割した構成である。同様に、田の字型分割スライスセグメント構成は画像Ｇｐを２行２列に分割した構成である。
図２６は、実施の形態４に係るタイムテーブルＴＭＳＮの一例を示す図である。タイムテーブルＴＭＳＮにおける「シーン連続性番号２６０１」および「優先スライス情報２６０２」以外の構成要素については、図１８と同様のため説明を省略する。タイムテーブルＴＭＳＮは、複数のエントリーを示す。各エントリーはランダムアクセス可能なＩピクチャの情報を示す。また、各エントリーには当該Ｉピクチャが関連付けられている。
シーン連続性番号２６０１は、「映像シーンの連続性」を示す指標となる情報である。シーン連続性番号２６０１は、数値情報でもよく、フラグなどの情報でもよい。実施の形態４では、シーン連続性番号２６０１に０から２５５までの数値が設定されるものとして説明する。この指標となる情報を作成する場合には、まず、各エントリーに対応するＩピクチャの画像毎にヒストグラムを作成する。ヒストグラムは画像中の各色のピクセル数を測定した色分布情報である。各画像のヒストグラムを比較することによって、容易に類似画像か否かを判別できる。
このような比較を用いて、前のエントリーの画像と現在のエントリーの画像とが類似画像であるか否かを判別する。類似画像である場合、前のエントリーおよび現在のエントリーの各々のシーン連続性番号２６０１を同じ値に設定する。類似画像でない場合には、前のエントリーのシーン連続性番号２６０１の値をインクリメントして値を設定する。つまり、シーン連続性番号２６０１の値を１増やす演算を行う。
本実施の形態４では、シーン連続性番号２６０１の値を０から２５５の範囲で設定している。このため、最大値である２５５をインクリメントする場合には、巡回して０の値がシーン連続性番号２６０１に設定されるものとする。本実施の形態ではシーン連続性番号２６０１の値を０から２５５までの範囲の値としている。しかし、シーン連続性番号２６０１の値の範囲は０から２５５までの範囲より狭くてもよい。また、シーン連続性番号２６０１の値の範囲は０から２５５までの範囲より広くてもよい。
実施の形態４では、比較的簡単で処理負荷が少ないヒストグラムによる類似画像の比較を行っている。なお、画像内のオブジェクト形状、テクスチャまたは特徴量を用いて類似画像か否かを判別してもよい。
優先スライス情報２６０２は、画面の把握に重要な情報が当該画面のどの部分に集中しているかを示す。そのため、優先スライス情報２６０２は、特殊再生の実行時にどのスライスセグメントを更新させるかを決定する際に用いられる。以下においては、更新の対象となる、スライスセグメントの表示画面を、「優先スライスセグメント」または「優先スライス」ともいう。優先スライス情報２６０２は、「画面表示更新すべき優先スライスセグメント」を示す情報である。以下においては、画面の中央を、「画面中央」ともいう。
優先スライス情報は、画面中央が重要であることを示す１ビットのフラグ情報としてもよい。また、優先スライス情報は、画面を複数に分割して、分割された画面毎に重要性を示す数値情報でもよい。
実施の形態４では、優先スライス情報２６０２が、画面中央が重要であることを示す１ビットフラグであるとして説明する。ここで、目の字型分割スライスセグメント構成を使用するとする。例えば、映画のように、画面の上部および下部に黒帯が存在するコンテンツの場合には、画面の最上部のスライスセグメント＃１と画面の最下部のスライスセグメント＃４は、黒帯を含む。そのため、スライスセグメント＃１とスライスセグメント＃４とは、ユーザーが画像を認識するための有用な映像情報が少ない。また一般的な番組でもユーザーに提示したい情報を画面の中央部に配置することが多い。
このような番組の場合には、表示画面の更新を行う箇所を、画面の中央部に制限した方が、ユーザーは映像シーンを認識しやすくなる。
実施の形態４では、図２３の目の字型分割スライスセグメント構成を使用する処理について説明する。また、タイムテーブルＴＭＳＮのエントリー毎に１ビットの優先スライス情報２６０２を持つものとして説明する。以下においては、ビット値が「１」である当該ビット値を「１ｂ」と表現する。また、以下においては、ビット値が「０」である当該ビット値を「０ｂ」と表現する。
例えば、優先スライス情報２６０２の値が「１ｂ」である場合には、更新対象を、画面中央のスライスセグメントであるスライスセグメント＃２およびスライスセグメント＃３に限定して、順番に表示画面を更新する。一方、優先スライス情報２６０２の値が「０ｂ」である場合には、表示画面の更新の制限を行わない。つまり、スライスセグメント＃１からスライスセグメント＃４までの表示画面を順番に更新する。
優先スライス情報２６０２を生成する際には、スライスセグメントの表示画面毎にヒストグラムを作成する。例えば、スライスセグメント＃１の表示画面およびスライスセグメント＃４の表示画面に黒色のピクセルが多く含まれている場合には、画面が示す番組は、当該画面の上部および下部に黒帯がある映画であると判定できる。その場合には、優先スライス情報２６０２に「１ｂ」を設定する。
実施の形態４では、優先スライス情報２６０２として１ビット情報を持つものとして説明する。なお、優先スライス情報２６０２は、画像が４分割された状況において、スライスセグメント毎に当該スライスセグメントの表示画面の更新の有無を設定するための４ビット情報であっても良い。また、優先スライス情報２６０２は、２ビット情報であってもよい。この場合、例えば、「００」を示す優先スライス情報２６０２は優先スライスがないことを示す。「０１」を示す優先スライス情報２６０２は画像の縦方向の中央部分が優先スライスであることを示す。「１０」を示す優先スライス情報２６０２は画像の横方向の中央部分が優先スライスであることを示す。「１１」を示す優先スライス情報２６０２は画像の縦方向および横方向の中央部分が優先スライスであることを示す。
また、実施の形態４では、目の字型分割スライスセグメント構成において中央部分のスライスセグメント＃２，＃３が重要であることをフラグ情報として記録する例を示す。なお、別の例として、画像が横方向に４分割された構成における４つのスライスセグメントのうち中央部分のスライスセグメントが重要であることをフラグ情報として記録させても良い。さらに、画面を縦３×横３（すなわち、３行３列）の９つの部分にスライスセグメントを分割する場合には、当該画面の中央部分だけが重要であることをフラグ情報が示しても良い。
また、実施の形態４では、タイムテーブルＴＭＳＮにおいてエントリー毎に優先スライス情報２６０２を持つ例を示している。なお、タイムテーブルＴＭＳＮの全てのエントリーに対して１つの優先スライス情報２６０２を設定しても良い。
図２７は、シーン連続性番号を使用した処理の効果を説明するための図である。図２７は、特殊再生の実行時の映像シーンを示す。映像シーン２７００は、オリジナル画像である。特殊再生の実行時の映像シーン２７００は、映像シーン＃０１から映像シーン＃０５に順番に切り換わる。映像シーン＃０１から映像シーン＃０３までは類似の映像シーンである。映像シーン＃０１から映像シーン＃０３まででは、一例として、数字の「１」が右側に移動している。同様に、映像シーン＃０４から映像シーン＃０５は類似の映像シーンである。映像シーン＃０４から映像シーン＃０５まででは、一例として、数字の「２」が右側に移動している。また、表示画面の更新対象となる、スライスセグメントの位置を更新スライス箇所２７１０として、矢印で示している。
シーンの連続性制御を行わない場合の映像シーンの表示例を映像シーン２７０１に示す。映像シーン＃１１は、映像シーン＃０１と同じである。映像シーン＃１２では、映像シーン＃１１に対して、スライスセグメント＃２のみが映像シーン＃０２のスライスセグメント＃２に切り換わっている。映像シーン＃１３では、映像シーン＃１２に対して、スライスセグメント＃３のみが映像シーン＃０３のスライスセグメント＃３に切り換わっている。映像シーン＃１４では、映像シーン＃１３に対して、スライスセグメント＃４のみが映像シーン＃０４のスライスセグメント＃４に切り換わっている。映像シーン＃１５では、映像シーン＃１４に対して、スライスセグメント＃１のみが映像シーン＃０５のスライスセグメント＃１に切り換わっている。
映像シーン＃１３に対し類似の映像シーンでなくなった映像シーン＃１４は、オリジナルの映像シーン＃０４とかなり異なる映像になる。類似の映像シーンでないとは、つまりシーンが連続でなくなったことである。同様に、映像シーン＃１５もオリジナルの映像シーン＃０５とかなり異なる映像になる。
また、映像シーン＃１４および映像シーン＃１５には、オリジナル画像の類似映像である映像シーン＃０１から＃０３までの画像と、全く別の映像シーン＃０４から＃０５のスライスセグメントの表示画面が混在して表示されている。そのため、ユーザーは映像シーンの把握が困難となる。
シーンの連続性制御を行う場合の映像シーンの表示例を映像シーン２７０２に示す。映像シーン＃２１は、映像シーン＃０１と同じである。映像シーン＃２２では、映像シーン＃２１に対して、スライスセグメント＃２のみが映像シーン＃０２のスライスセグメント＃２に切り換わっている。つまり、映像シーン＃２２は、映像シーン＃１２と同じである。映像シーン＃２３では、映像シーン＃２２に対して、スライスセグメント＃３のみが映像シーン＃０３のスライスセグメント＃３に切り換わっている。つまり、映像シーン＃２３は、映像シーン＃１３と同じである。映像シーン＃２４では、スライスセグメント＃１から＃４までの全てが映像シーン＃０４に切り換わっている。つまり、映像シーン＃２４は、映像シーン＃０４と同じである。映像シーン＃２５では、映像シーン＃２４に対して、スライスセグメント＃２のみが映像シーン＃０５のスライスセグメント＃２に切り換わっている。
シーンの連続性制御を行う場合には、類似の映像シーンが切り換わった後の映像シーン＃２４では、スライスセグメント＃１から＃４に対して表示画面の更新を行う。このように構成することによって、ユーザーは、類似の映像シーンが切り換わっても映像シーンを把握しやすくなる。
図２８は、シーン連続性番号２６０１を用いた表示画面の更新を行うシーケンスを示すフローチャートである。
特殊再生の実行が指示されると、まず、タイムテーブルＴＭＳＮから、表示画面に対応するエントリーのシーン連続性番号２６０１を読み込む。その後、Ｉピクチャの全てのスライスセグメントに対して表示画面を更新する（Ｓ２８０１）。
次に、特殊再生の停止の指示の有無を確認する（Ｓ２８０２）。特殊再生の停止の指示があれば（Ｓ２８０２：ｙｅｓ）、特殊再生の処理を停止する（Ｓ２８０９）。特殊再生の停止の指示がない場合には（Ｓ２８０２：ｎｏ）、ステップＳ２８０３に移る。
ステップＳ２８０３では、タイムテーブルＴＭＳＮから再生位置のエントリーの読み込みを行う（Ｓ２８０３）。再生位置とは、タイムテーブルＴＭＳＮにおける、「時刻」に対応する位置である。エントリーの読み込みの際、特殊再生の再生速度に応じて、エントリーの読み込み方法を決める。例えば、全てのエントリーを読み込むか、一部のエントリーを読み込むか等を決定する。一部のエントリーとは、再生速度に応じて、エントリーを１つおきに読み込んだり、２つおきに読み込んだりすることで、間引かれたエントリーを示す。
そして、読込んだエントリーのシーン連続性番号２６０１の読込みを行う。そして、読込んだシーン連続性番号２６０１と、１つ前の再生位置のシーン連続性番号２６０１とを比較する（Ｓ２８０４）。１つ前の再生位置のシーン連続性番号２６０１とは、当該読込んだエントリーの１つ前のエントリーのシーン連続性番号２６０１である。
そして、２つのシーン連続性番号２６０１を比較して、当該２つのシーン連続性番号２６０１に対応する２つの映像シーンが同じであるか否かを判定する（Ｓ２８０５）。比較対象の２つのシーン連続性番号２６０１の値が同じである場合、映像シーンが同じであると判定する。一方、比較対象の２つのシーン連続性番号２６０１の値が異なる場合、映像シーンが異なると判定する。
ステップＳ２８０５で映像シーンが同じであると判定した場合には、次のスライスセグメントだけを読み出す。そして、読み出したスライスセグメントの表示画面の更新を行う（Ｓ２８０６）。
ステップＳ２８０５で映像シーンが異なると判定した場合には、特殊再生の再生速度が低速か否かを判定する（Ｓ２８０７）。例えば、特殊再生の速度が１０倍速以下の速度を低速とする。同様に、特殊再生の速度が１０倍速を超える場合の当該速度を高速とする。なお、高速と低速の境は１０倍速に限定しない。
ステップＳ２８０７で特殊再生の再生速度が高速であると判定された場合には、映像シーンを飛ばす幅が大きくなる。この場合には、比較の対象となる２つのシーン連続性番号２６０１の値が異なる可能性が高くなる。このような場合には、表示更新の応答性を重視して、ステップＳ２８０６に移動する。そして、次のスライスセグメントの表示画面の更新を行う。ステップＳ２８０６の処理の後は、ステップＳ２８０２に戻る。
ステップＳ２８０７で特殊再生の再生速度が低速であると判定された場合には、全てのスライスセグメントに対して表示画面を更新する（Ｓ２８０８）。特殊再生の速度が低速である場合には、ユーザーは所望の映像シーンを探している可能性が高い。そのため、応答性よりも画面の把握性を重視する。
なお、ステップＳ２８０７の特殊再生の再生速度に基づいた処理を行わず、ステップＳ２８０８へ移動してもよい。この場合、ステップＳ２８０８の処理の後は、ステップＳ２８０２に戻る。
図２９は、優先スライス情報を使用した処理の効果を説明するための図である。図２９は、優先スライス情報２６０２を用いた処理における映像シーンの表示例を示す。映像シーン２９００は、オリジナル画像である。特殊再生の実行時の映像シーン２９００は、映像シーン＃Ａ１から映像シーン＃Ａ５に順番に切り換わる。映像シーン＃Ａ１から映像シーン＃Ａ３は類似の映像シーンである。映像シーン＃Ａ１から映像シーン＃Ａ３まででは、一例として、アルファベットの「Ａ」が右側に移動している。同様に、映像シーン＃Ａ４から映像シーン＃Ａ５は類似の映像シーンである。映像シーン＃Ａ４から映像シーン＃Ａ５まででは、一例として、アルファベットの「Ｂ」が右側に移動している。また、図２９における映像シーン＃Ａ１から映像シーン＃Ａ５には、画面の上下に黒帯が付与されている。また、表示画面の更新対象となる、スライスセグメントの位置を更新スライス箇所２７１０として、矢印で示している。
優先スライス制御を行わない場合の映像シーンの表示例を映像シーン２９０１に示す。映像シーン＃Ｂ１は、映像シーン＃Ａ１と同じである。映像シーン＃Ｂ２では、映像シーン＃Ｂ１に対して、スライスセグメント＃２のみが映像シーン＃Ａ２のスライスセグメント＃２に切り換わっている。映像シーン＃Ｂ３では、映像シーン＃Ｂ２に対して、スライスセグメント＃３のみが映像シーン＃Ａ３のスライスセグメント＃３に切り換わっている。映像シーン＃Ｂ４では、映像シーン＃Ｂ３に対して、スライスセグメント＃４のみが映像シーン＃Ａ４のスライスセグメント＃４に切り換わっている。映像シーン＃Ｂ５では、映像シーン＃Ｂ４に対して、スライスセグメント＃１のみが映像シーン＃Ａ５のスライスセグメント＃１に切り換わっている。
映像シーン＃Ｂ３に対し類似の映像シーンでなくなった映像シーン＃Ｂ４は、オリジナルの映像シーン＃Ａ４とかなり異なる映像になる。類似の映像シーンでないとは、つまりシーンが連続でなくなったことである。同様に、映像シーン＃Ｂ５もオリジナルの映像シーン＃Ａ５とかなり異なる映像になる。
異なる映像になる理由として、映像シーン＃Ｂ４および映像シーン＃Ｂ５において、画面の上下に存在する黒帯部分の表示領域の更新を行っていることが挙げられる。ユーザーが画面を把握するための領域は黒帯部分以外の表示領域である。このため、黒帯部分の更新だけでは、ユーザーは画面の更新を認識できない。その結果、映像シーン＃Ｂ４および映像シーン＃Ｂ５には、オリジナル画像である映像シーン＃Ａ４および映像シーン＃Ａ５の画面情報がほとんど表示されない。このため、ユーザーがオリジナルの画像を認識することは困難となる。
優先スライス制御を行う場合の映像シーンの表示例を映像シーン２９０２に示す。映像シーン＃Ｃ１は、映像シーン＃Ａ１と同じである。映像シーン＃Ｃ２では、映像シーン＃Ｃ１に対して、スライスセグメント＃３のみが映像シーン＃Ａ２のスライスセグメント＃３に切り換わっている。映像シーン＃Ｃ３では、映像シーン＃Ｃ２に対して、スライスセグメント＃２のみが映像シーン＃Ａ３のスライスセグメント＃２に切り換わっている。映像シーン＃Ｃ４では、映像シーン＃Ｃ３に対して、スライスセグメント＃３のみが映像シーン＃Ａ４のスライスセグメント＃３に切り換わっている。映像シーン＃Ｃ５では、映像シーン＃Ｃ４に対して、スライスセグメント＃２のみが映像シーン＃Ａ５のスライスセグメント＃２に切り換わっている。
この例では、画面の把握に不要なスライスセグメントの表示画面の更新を行わない。これによって、画面の更新頻度と画面の認識性とを両立した特殊再生の表示方式となる。この例の映像シーン＃Ｃ５部分では、オリジナル画像である映像シーン＃Ａ５に近い画像が表示されている。
図３０は、優先スライス情報２６０２を用いた表示画面の更新を行うシーケンスを示すフローチャートである。
特殊再生の実行が指示されると、表示画面に対応するエントリーの優先スライス情報２６０２を読み込む。
優先スライス情報２６０２が「０ｂ」の場合には、全てのスライスセグメントに対して表示画面を更新する。一方、優先スライス情報２６０２が「１ｂ」の場合には、画面の中央部分にあるスライスセグメント＃２およびスライスセグメント＃３に限定して表示画面を更新する（Ｓ３００１）。
次に、特殊再生の停止の指示の有無を確認する（Ｓ３００２）。特殊再生の停止の指示があった場合には（Ｓ３００２：ｙｅｓ）、特殊再生の処理を終了する（Ｓ３００８）。特殊再生の停止の指示がない場合には（Ｓ３００２：ｎｏ）、ステップＳ３００３に移る。
ステップＳ３００３では、ステップＳ２８０３と同様に、タイムテーブルＴＭＳＮから再生位置のエントリーの読込みを行う（Ｓ３００３）。エントリーの読み込みの際、特殊再生の再生速度に応じて、エントリーの読み込み方法を決める。例えば、全てのエントリーを読み込むか、一部のエントリーを読み込むか等を決定する。一部のエントリーとは、再生速度に応じて、エントリーを１つおきに読み込んだり、２つおきに読み込んだりすることで、間引かれたエントリーを示す。
そして、読込んだエントリーに優先スライス情報２６０２があるか否かを判定する（Ｓ３００４）。エントリーに優先スライス情報２６０２がある場合、当該優先スライス情報２６０２の設定値に基づく、表示領域の制限が確認される。
ステップＳ３００４で優先スライス情報２６０２の値が「１ｂ」であれば、スライスセグメント＃１およびスライスセグメント＃４の画面の表示領域を黒塗りする（Ｓ３００５）。
上述のように、例えば、優先スライス情報２６０２の値が「１ｂ」である場合には、画面中央のスライスセグメントであるスライスセグメント＃２およびスライスセグメント＃３に限定して、順番に表示画面を更新する。一方、優先スライス情報２６０２の値が「０ｂ」である場合には、スライスセグメント＃１からスライスセグメント＃４までの表示画面を順番に更新する。
実施の形態４では、優先スライス情報が設定されていれば画面の中央部に限定して表示画面の更新を行う。このため、画面の最上部および最下部のスライスセグメントの表示領域を黒塗りする。なお、ステップＳ３００５の画面の黒塗り処理を行わなくてもよい。この場合には、例えば、以前のスライスセグメントの画像がそのまま表示される。
そして、画面の中央部であるスライスセグメント＃２およびスライスセグメント＃３に限定して、順次、スライスセグメントの表示画面の更新を行う（Ｓ３００６）。
一方、ステップＳ３００４で優先スライス情報２６０２の値が「０ｂ」であれば、全てのスライスセグメントに対し、順次、スライスセグメントの表示画面の更新を行う（Ｓ３００７）。つまり、この場合には、特に画面の表示制限はない。
実施の形態４のように構成することで、特殊再生の実行時にスライスセグメント単位で表示画面の更新を実施する際でも、表示画面の更新の応答性に優れ、表示画面の映像シーンが把握しやすい映像再生装置を提供することができる。
また、シーン連続性番号２６０１と優先スライス情報２６０２との両方を用いて特殊再生の実行時の表示制御を行ってもよい。この場合、ステップＳ３００６の処理時にシーンが連続でなければ、すべての優先スライスが更新される。同様に、ステップＳ３００７の処理時にシーンが連続でなければ、全てのスライスが更新される。
なお、タイムテーブルＴＭとタイムテーブルＴＭＳＮとを同一のテーブル情報として記録してもよい。また、タイムテーブルＴＭとタイムテーブルＴＭＳＮとを別テーブルとして管理し、別ファイルとして記録してもよい。
タイムテーブルＴＭとタイムテーブルＴＭＳＮとを別ファイルとして記録した場合には、タイムテーブルＴＭを構成しているエントリーとタイムテーブルＴＭＳＮとを同一のエントリーとして関連付けて記録する。タイムテーブルＴＭが編集されるとタイムテーブルＴＭＳＮとの情報のマッチングがとれなくなる。このため、タイムテーブルＴＭＳＮにタイムテーブルＴＭのハッシュ情報を記録しておき、再生前にタイムテーブルＴＭＳＮとタイムテーブルＴＭとの関連付けが正常であるか否かを確認するよう構成しても良い。
優先スライス情報２６０２が、タイムテーブルＴＭＳＮに存在する例を示したが、優先スライス情報２６０２は、タイムテーブルＴＭＳＮの外に保持されてもよい。この場合、エントリー毎に優先スライスを設定できないため、関連するすべてのエントリーで同一の設定が行われる。
実施の形態５．
実施の形態５の課題は、実施の形態４の課題と同様である。つまり、実施の形態５は、８Ｋ放送等を録画したディスクで早送り再生などの特殊再生を行うと、１コマ分の画像を表示するのに時間がかかってしまうという課題に対応する。
以下においては、放送ストリームの再生により表現される映像シーンを把握するための、意味的な重要度を、「意味的重要度」ともいう。また、以下においては、意味的重要度を示す情報を、「スライス重要度情報」ともいう。また、以下においては、意味的重要度を、簡略化して、「重要度」ともいう。スライス重要度情報は、映像シーン毎に当該映像シーンを構成する複数のスライスセグメントの各々の意味的重要度を示す。
実施の形態５では、実施の形態４の方法を利用しつつ、表示されている映像シーンを把握しやすいように構成した。実施の形態５に係る映像再生装置１００は、特殊再生を行う際にスライスセグメント単位で表示画面の更新を行う場合でも、映像シーンの意味的重要度が高いスライスセグメントを優先して再生し、当該スライスセグメントを表示する。そのため、映像シーンの検索性を上げることができる。
実施の形態４では、画面の上部から画面の下部に向けて、順番に、スライスセグメントの表示更新を行う。そのため、各スライスセグメントにおいて、表示更新が行われる確率が均一の確率となるよう構成されている。例えば画面の特定箇所に、映像シーンを把握するための重要な情報が配置されている場合であっても、表示するスライスセグメントの表示画面は所定の均一な割合で更新される。画面の特定箇所は、例えば、画面における最上部のスライスセグメントである。
例えば、野球、サッカーなどを示す画面の最上部には、得点、時間等の表示が行われる。そのため、画面の最上部の表示更新が多くなるほど映像シーンの把握が容易となる。また、ドラマ、映画などでは、画面中央のスライスセグメントに演者が配置される可能性が高いため、画面中央が重要となる。また、ニュースなどの、字幕表示が多い番組であれば、画面下部の情報が映像シーンの把握には重要となる。
実施の形態５では、映像シーンにおける、当該映像シーンの把握に重要なスライスセグメントを優先して再生して表示するとともに、他のスライスセグメントと比較して、表示頻度を高くするよう構成する。その結果、ユーザーは映像シーンを把握することが容易となり、映像シーンの検索性を上げることができる。
実施の形態５では、タイムテーブルＴＭＳに「スライスセグメントの意味的な重要度」の情報を付与する。「スライスセグメントの意味的な重要度」の情報は、図３１の「スライス重要度情報」である。
以下においては、実施の形態５において使用するタイムテーブルＴＭＳを、「タイムテーブルＴＭＳＮ２」ともいう。「タイムテーブルＴＭＳＮ２」は、図１８のタイムテーブルＴＭＳに対して、「スライス重要度情報３１０１」を付与した当該タイムテーブルＴＭＳである。
実施の形態５では、目の字型分割スライスセグメント構成を使用する処理について説明する。なお、本実施の形態は、田の字型分割スライスセグメント構成にも適用可能である。また、本実施の形態は、画像が縦方向に８分割された構成のように、５つ以上の分割スライスセグメントを使用した構成にも適用可能である。ここで、分割の構成を「行列」で説明すると、目の字型分割スライスセグメント構成は画像Ｇｐを４行に分割した構成である。同様に、田の字型分割スライスセグメント構成は画像Ｇｐを２行２列に分割した構成である。
図３１は、実施の形態５に係るタイムテーブルＴＭＳＮ２を示す図である。タイムテーブルＴＭＳＮ２におけるスライス重要度情報３１０１以外の構成要素については、図１８と同様のため説明を省略する。タイムテーブルＴＭＳＮ２は、複数のエントリーを示す。各エントリーはランダムアクセス可能なＩピクチャの情報を示す。また、各エントリーには当該Ｉピクチャが関連付けられている。
スライス重要度情報３１０１は、映像シーンを把握するための重要度を示す情報である。スライス重要度情報３１０１の重要度は、数値、フラグなどの情報で表現される。実施の形態５では、スライス重要度情報３１０１の重要度は、０から９９までの数値で表現されるものとして説明する。スライス重要度情報３１０１の重要度が数値で表現される場合、当該数値が大きいほど、当該スライス重要度情報３１０１に対応する映像シーンの重要度は高い。
なお、重要度を表現する数値の範囲は、０から９９までの範囲に限定されず、０から９９までの範囲よりも狭い範囲または広い範囲であってもよい。
スライス重要度情報３１０１の重要度は、例えば、各映像シーンを画像解析することにより、当該映像シーンごとに算出される。なお、重要度は、録画する番組のジャンル情報に基づいて、決定されてもよい。また、番組のジャンルが、例えば、スポーツである場合、得点、時間等が、画面の最上部のスライスセグメントに示される可能性が高い。そのため、最上部のスライスセグメントに対応する、スライス重要度情報３１０１の重要度に対して、高い数値が設定される。
図３２は、実施の形態５に係るスライス重要度情報３１０１のシンタックスを示す図である。“num_of_slice３２０１”は、映像シーンを構成するスライスセグメントの数を示す。本実施の形態では、目の字型分割スライスセグメント構成が使用されるため、“num_of_slice３２０１”には、「４」が設定される。
slicesegment_type３２０２”は、分割スライスセグメント構成の種類である分割タイプが、目の字型または田の字型であるかを示す情報である。“slicesegment_type３２０２”の次のループ文（すなわち、ｆｏｒ以降の文）は、“num_of_slice３２０１”の数だけ繰り返される。スライスセグメントごとに、“implevel３２０３”が記録される。
“implevel３２０３”は、スライス重要度情報３１０１の重要度である。“implevel３２０３”は、スライスセグメント毎の意味的な重要度である。本実施の形態では、“implevel３２０３”には、０から９９までの数値が設定される。
“implevel３２０３”は、４つの配列で表現される。当該４つの配列は、図３３のimplevel[0]、implevel[1]、implevel[2]およびimplevel[3]である。
本実施の形態では、分割スライスセグメント構成の種類である分割タイプは、目の字型である。そのため、スライスセグメント＃１、スライスセグメント＃２、スライスセグメント＃３およびスライスセグメント＃４は、例えば、図２３（ａ）のように、配置される。スライスセグメント＃１は、画面の最上部のスライスセグメントである。スライスセグメント＃４は、画面の最下部のスライスセグメントである。
implevel[0]は、スライスセグメント＃１の重要度である。implevel[1]は、スライスセグメント＃２の重要度である。implevel[2]は、スライスセグメント＃３の重要度である。implevel[3]は、スライスセグメント＃４の重要度である。スライス重要度情報３１０１は、映像シーン毎に、重要度としての、implevel[0]、implevel[1]、implevel[2]およびimplevel[3]を示す。すなわち、スライス重要度情報３１０１は、映像シーン毎に、４つの重要度を示す。
実施の形態５では、タイムテーブルＴＭＳＮ２において、エントリー毎にスライス重要度情報３１０１を持つ例を示している。なお、タイムテーブルＴＭＳＮ２の全てのエントリーに対して１つのスライス重要度情報３１０１を設定しても良い。
図３３は、実施の形態５に係る、スライスセグメントの更新順序の例を示す図である。以下においては、実施の形態５に係る処理を説明するための画面を、「表示更新画面３３０１」ともいう。表示更新画面３３０１は、映像シーンである。映像シーンである表示更新画面３３０１は、当該映像シーンを構成する４つのスライスセグメントの内、どのスライスセグメントが表示更新されているかを示す。
本実施の形態では、映像シーンである６つの表示更新画面３３０１を使用して、処理の一例を説明する。以下においては、６つの表示更新画面３３０１を、表示更新画面３３０１（＃１）、表示更新画面３３０１（＃２）、表示更新画面３３０１（＃３）、表示更新画面３３０１（＃４）、表示更新画面３３０１（＃５）および表示更新画面３３０１（＃６）と表記する。
例えば、表示更新画面３３０１（＃１）は、最上部のスライスセグメントであるスライスセグメント＃１が更新されることを示す。また、表示更新画面３３０１（＃６）は、スライスセグメント＃３が表示更新されることを示している。
図３３には、説明を分かりやすくするために、映像シーンである６つの表示更新画面３３０１の各々に対し、重要度としての、implevel[0]、implevel[1]、implevel[2]およびimplevel[3]が対応づけて示されている。重要度としての、implevel[0]、implevel[1]、implevel[2]およびimplevel[3]の各々には、一例として、０から９９までの数値が設定される。
以下においては、スライスセグメントの更新順の形態を、「表示更新モード」ともいう。表示更新モードは、スライスセグメントを更新するための更新処理の種類である。映像シーン毎の４つの重要度の値により、表示更新モードが規定される。
本実施の形態
では、表示更新の対象ではないスライスセグメントは、実施の形態４の図２７を使用して説明した処理のように、過去に表示したスライスセグメントの画像を引き継いで表示するものとする。
特殊再生の実行時には、映像シーンである表示更新画面３３０１（＃１）から表示更新画面３３０１（＃６）まで、順番に表示される。
図３４は、実施の形態５に係る、スライス重要度情報３１０１を用いた表示画面の更新を行うシーケンスを示すメインフローチャートである。以下においては、図３４に示される処理を、「特殊再生制御処理」ともいう。すなわち、図３４は、特殊再生制御処理のフローチャートである。
特殊再生の実行が指示されると、記録再生制御部４１は、タイムテーブルＴＭＳＮ２から、表示画面に対応するエントリーのスライス重要度情報３１０１を読み込む。記録再生制御部４１は、スライス重要度情報３１０１が示す重要度に基づいて、更新処理の初期の形態として、表示更新モードを設定する（Ｓ４００１）。なお、ステップＳ４００１の処理は行われなくてもよい。
次に、記録再生制御部４１が、特殊再生の停止の指示の有無を確認する（Ｓ４００２）。特殊再生の停止の指示があった場合（Ｓ４００２：ｙｅｓ）、特殊再生の処理を終了する（Ｓ４００７）。特殊再生の停止の指示がない場合（Ｓ４００２：ｎｏ）、ステップＳ４００３に移る。
ステップＳ４００３では、記録再生制御部４１が、タイムテーブルＴＭＳＮ２から再生位置のエントリーの読込みを行う（Ｓ４００３）。再生位置とは、タイムテーブルＴＭＳＮ２における、「時刻」に対応する位置である。エントリーの読み込みの際、特殊再生の再生速度に応じて、エントリーの読み込み方法を決める。例えば、全てのエントリーを読み込むか、一部のエントリーを読み込むか等を決定する。一部のエントリーとは、再生速度に応じて、エントリーを１つおきに読み込んだり、２つおきに読み込んだりすることで、間引かれたエントリーを示す。
そして、記録再生制御部４１が、読込んだエントリーに、スライス重要度情報３１０１があるか否かを判定する（Ｓ４００４）。
ステップＳ４００４でエントリーにスライス重要度情報３１０１が存在しない場合には、映像再生装置１００は、実施の形態３の図２３（ａ）に示すような通常の順番でスライスセグメントの表示更新処理を行う（Ｓ４００６）。
一方、ステップＳ４００４でエントリーにスライス重要度情報３１０１が存在する場合には、選択スライス更新処理が行われる（Ｓ４００５）。選択スライス更新処理は、スライス重要度情報３１０１に基づいたスライスセグメントの更新処理である。選択スライス更新処理は、スライス重要度情報３１０１が示す、映像シーン毎の４つの重要度により規定される表示更新モードに基づいた更新処理を行う処理である。
図３５は、実施の形態５に係る選択スライス更新処理のフローチャートを示す図である。ここでは、選択スライス更新処理における処理の流れを簡略的に説明し、選択スライス更新処理の具体的な例は、後述する。
以下においては、選択スライス更新処理において、同一のスライスセグメントが選択された回数を、「選択総数」または「選択総数３３０２」ともいう。選択総数は、映像シーンを構成する複数のスライスセグメントのいずれかのスライスセグメントが選択された回数である。
本実施の形態では、選択総数は、４つの配列で表現される。当該４つの配列は、SEL_Cnt[0]、SEL_Cnt[1]、SEL_Cnt[2]およびSEL_Cnt[3]である。
SEL_Cnt[0]は、スライスセグメント＃１の選択総数である。SEL_Cnt[1]は、スライスセグメント＃２の選択総数である。SEL_Cnt[2]は、スライスセグメント＃３の選択総数である。SEL_Cnt[3]は、スライスセグメント＃４の選択総数である。SEL_Cnt[0]、SEL_Cnt[1]、SEL_Cnt[2]およびSEL_Cnt[3]の初期値は、「０」である。
図３３には、説明を分かりやすくするために、映像シーンである６つの表示更新画面３３０１の各々に対し、選択総数３３０２としての、SEL_Cnt[0]、SEL_Cnt[1]、SEL_Cnt[2]およびSEL_Cnt[3]が対応づけて示されている。選択総数３３０２としての、SEL_Cnt[0]、SEL_Cnt[1]、SEL_Cnt[2]およびSEL_Cnt[3]の値は、例えば、図３３のように設定される。
以下においては、選択スライス更新処理において、同一のスライスセグメントを選択する回数の上限値を、「最大規定数」ともいう。最大規定数は、例えば、「３」である。
図３５の選択スライス更新処理では、まず、ステップＳ５００１が行われる。ステップＳ５００１では、記録再生制御部４１が、選択総数が最大規定数以上であるか否かを判定する（Ｓ５００１）。選択総数が最大規定数以上であると判定された場合、ステップＳ５００４に遷移する。一方、選択総数が最大規定数未満であると判定された場合、ステップＳ５００２に遷移する。
以下においては、映像シーンを構成する複数のスライスセグメントのうち、重要度が最も高いスライスセグメントを、「最重要スライスセグメント」ともいう。また、以下においては、映像シーンを構成する複数のスライスセグメントのうち、最重要スライスセグメント以外のスライスセグメントを、「非最重要スライスセグメント」ともいう。最重要スライスセグメントは、映像シーンを構成する複数のスライスセグメントのうち、ユーザーが当該映像シーンを把握するために最も重要なスライスセグメントである。
ステップＳ５００２では、最重要スライス更新処理が行われる。最重要スライス更新処理では、映像再生装置１００が、最重要スライスセグメントを再生する。具体的には、まず、記録再生制御部４１が、映像シーンを構成する複数のスライスセグメントから、最重要スライスセグメントを選択する。記録再生制御部４１は、実施の形態４と同様に、選択した最重要スライスセグメントを、オリジナル画像のスライスセグメントに更新する。すなわち、映像再生装置１００は、最重要スライスセグメントを再生する。
ステップＳ５００３では、選択総数インクリメント処理が行われる。選択総数インクリメント処理では、記録再生制御部４１が、選択した最重要スライスセグメントの選択総数を１インクリメントする。
次に、この選択スライス更新処理は終了し、再度、図３４のステップＳ４００２へ戻る。
図３５の前述のステップＳ５００１で、選択総数が最大規定数以上であると判定された場合、ステップＳ５００４に遷移する。
以下においては、映像シーンを構成する複数のスライスセグメントのうち、最重要スライスセグメント以外の、１度も選択されていないスライスセグメントであって、かつ、最も重要度が高いスライスセグメントを、「重要スライスセグメント」ともいう。重要スライスセグメントは、非最重要スライスセグメントである。
ステップＳ５００４では、スライス更新処理が行われる。スライス更新処理では、映像再生装置１００が、非最重要スライスセグメントである重要スライスセグメントを再生する。具体的には、まず、記録再生制御部４１が、重要スライスセグメントを選択する。記録再生制御部４１は、実施の形態４と同様に、選択した重要スライスセグメントを、オリジナル画像のスライスセグメントに更新する。すなわち、映像再生装置１００は、非最重要スライスセグメントである重要スライスセグメントを再生する。
次に、ステップＳ５００５では、選択総数インクリメント処理が行われる。選択総数インクリメント処理では、記録再生制御部４１が、選択した重要スライスセグメントの選択総数を１インクリメントする。
次に、ステップＳ５００６では、記録再生制御部４１が、全ての選択総数が１以上であるか否かを判定する。全ての選択総数は、SEL_Cnt[0]、SEL_Cnt[1]、SEL_Cnt[2]およびSEL_Cnt[3]である。全ての選択総数が１以上である場合（Ｓ５００６：ｙｅｓ）、ステップＳ５００７に遷移する。一方、全ての選択総数が１以上でない場合（Ｓ５００６：ｎｏ）、この選択スライス更新処理は終了し、再度、図３４のステップＳ４００２へ戻る。ステップＳ４００３では、次のエントリーの読み込みが行われる。
ステップＳ５００７では、選択総数リセット処理が行われる。選択総数リセット処理では、記録再生制御部４１が、全ての選択総数をリセットする。具体的には、記録再生制御部４１が、全ての選択総数に「０」を設定する。そして、この選択スライス更新処理は終了し、再度、図３４のステップＳ４００２へ戻る。
次に、選択スライス更新処理の具体的な例について説明する。ここで、選択スライス更新処理の一例を分かりやすくするために、以下の前提Ｐｍ１のもとで行われる特殊再生制御処理および選択スライス更新処理について説明する。
以下においては、光ディスク５３に記録されているデータを、「記録データ」ともいう。映像記録媒体である光ディスク５３は、映像再生装置１００により再生される放送ストリームを記録するための媒体である。
前提Ｐｍ１では、映像記録媒体である光ディスク５３に、記録データが記録されている。記録データは、放送ストリームと、図１２のタイムテーブルＴＭと、図３１のタイムテーブルＴＭＳＮ２とを含む。当該放送ストリームは、映像シーンであるＩピクチャを有する映像ストリームを含む。タイムテーブルＴＭは、Ｉピクチャの開始位置を示す情報である。Ｉピクチャである映像シーンは、放送ストリームの再生により表現される。
すなわち、映像記録媒体である光ディスク５３には、放送ストリームと、Ｉピクチャの開始位置を示す情報と、Ｉピクチャを構成する複数のスライスセグメントの開始位置を示す情報と、スライス重要度情報３１０１とが記録されている。
また、前提Ｐｍ１では、映像再生装置１００は、映像記録媒体である光ディスク５３に記録されている放送ストリームの特殊再生を行う。特殊再生は、早送り再生である。なお、特殊再生は、巻き戻し再生であってもよい。以下においては、映像再生装置１００が放送ストリームの特殊再生を行っている期間を、「特殊再生期間」ともいう。特殊再生期間において、前提Ｐｍ１における特殊再生制御処理、および、前提Ｐｍ１における選択スライス更新処理は行われる。
また、前提Ｐｍ１では、映像シーンは、図２３（ａ）のように、目の字型に分割されている。すなわち、映像シーンは、４分割されている。前提Ｐｍ１では、映像シーンは、スライスセグメント＃１、スライスセグメント＃２、スライスセグメント＃３およびスライスセグメント＃４で構成される。
タイムテーブルＴＭＳＮ２は、Ｉピクチャである映像シーンを構成するスライスセグメント＃１、スライスセグメント＃２、スライスセグメント＃３およびスライスセグメント＃４の開始位置を示す情報と、スライス重要度情報３１０１とを含む。
スライス重要度情報３１０１は、映像シーン毎に当該映像シーンを構成するスライスセグメント＃１、スライスセグメント＃２、スライスセグメント＃３およびスライスセグメント＃４の各々の意味的重要度を示す。
また、前提Ｐｍ１では、特殊再生期間において、図３３のように、映像シーンである表示更新画面３３０１（＃１）から表示更新画面３３０１（＃６）まで、順番に遷移する。また、前提Ｐｍ１では、スライス重要度情報３１０１が示す映像シーン毎のimplevel[0]、implevel[1]、implevel[2]およびimplevel[3]は、一例として、図３３のように設定されている。
以下においては、ユーザーによる映像シーンの把握の容易さの度合いを、「シーン把握度」ともいう。シーン把握度が高い程、ユーザーは、映像シーンの把握が容易になる。また、意味的重要度の値が大きい程、映像シーンに含まれるスライスセグメントであって、かつ、当該意味的重要度に対応するスライスセグメントの重要度は高い。また、映像シーンに含まれるスライスセグメントの重要度が高い程、当該スライスセグメントが再生された状況におけるシーン把握度は高い。
また、前提Ｐｍ１では、前述の最大規定数は、「３」である。最大規定数が大きいほど、選択スライス更新処理により選択されたスライスセグメントが、他のスライスセグメントよりも、高い頻度で表示更新が行われる。
図３３、図３４および図３５を参照して、前提Ｐｍ１における特殊再生制御処理では、記録再生制御部４１が、図３１のタイムテーブルＴＭＳＮ２から、映像シーンである表示更新画面３３０１（＃１）に対応する１番目のエントリーを読み込み（Ｓ４００３）、図３５のステップＳ５００２が行われる。
ステップＳ５００２の最重要スライス更新処理では、映像再生装置１００が、読み込まれたエントリーに含まれるスライス重要度情報３１０１に基づいて、最重要スライスセグメントを再生する。
具体的には、まず、記録再生制御部４１が、スライス重要度情報３１０１が示す、重要度としてのimplevel[0]、implevel[1]、implevel[2]およびimplevel[3]に基づいて、映像シーンである表示更新画面３３０１（＃１）を構成するスライスセグメント＃１，＃２，＃３，＃４から、最重要スライスセグメントを選択する。選択された当該最重要スライスセグメントは、重要度であるimplevel[0]が最も高いスライスセグメント＃１である。この場合、スライスセグメント＃２，＃３，＃４は、非最重要スライスセグメンである。
そして、記録再生制御部４１は、実施の形態４と同様に、選択した最重要スライスセグメントを、オリジナル画像のスライスセグメントに更新する。例えば、表示更新画面３３０１（＃１）のスライスセグメント＃１を、オリジナル画像である映像シーンのスライスセグメント＃１に更新する。すなわち、映像再生装置１００は、最重要スライスセグメントを再生する。つまり、特殊再生期間において、映像再生装置１００は、スライス重要度情報３１０１に基づいて、非最重要スライスセグメンより最重要スライスセグメントを優先して再生する。
次に、記録再生制御部４１は、スライスセグメント＃１の選択総数であるSEL_Cnt[0]を、１インクリメントする（Ｓ５００３）。これにより、SEL_Cnt[0]は、「１」となる。
表示更新画面３３０１（＃２）についても、表示更新画面３３０１（＃１）に対する上記の処理と同様な処理が行われる。この場合、表示更新画面３３０１（＃２）に対応する、implevel[0]が最も高いため、表示更新画面３３０１（＃２）のスライスセグメント＃１が選択されて、更新される（Ｓ５００２）。そして、記録再生制御部４１は、スライスセグメント＃１の選択総数であるSEL_Cnt[0]を、１インクリメントする（Ｓ５００３）。これにより、SEL_Cnt[0]は、「２」となる。
表示更新画面３３０１（＃３）についても、表示更新画面３３０１（＃１）に対する上記の処理と同様な処理が行われる。この場合、表示更新画面３３０１（＃３）に対応する、implevel[3]が最も高いため、表示更新画面３３０１（＃３）のスライスセグメント＃３が選択されて、更新される（Ｓ５００２）。そして、記録再生制御部４１は、スライスセグメント＃３の選択総数であるSEL_Cnt[3]を、１インクリメントする（Ｓ５００３）。これにより、SEL_Cnt[3]は、「１」となる。
表示更新画面３３０１（＃４）についても、表示更新画面３３０１（＃１）に対する上記の処理と同様な処理が行われる。この場合、表示更新画面３３０１（＃４）に対応する、implevel[0]が最も高いため、表示更新画面３３０１（＃４）のスライスセグメント＃１が選択されて、更新される（Ｓ５００２）。そして、記録再生制御部４１は、スライスセグメント＃１の選択総数であるSEL_Cnt[0]を、１インクリメントする（Ｓ５００３）。これにより、SEL_Cnt[0]は、「３」となる。
表示更新画面３３０１（＃５）については、以下の処理が行われる。選択総数であるSEL_Cnt[0]が、最大規定数である「３」以上であるため、ステップＳ５００１の処理により、ステップＳ５００４に遷移する。
ステップＳ５００４のスライス更新処理では、映像再生装置１００が、スライス重要度情報３１０１に基づいて、重要スライスセグメントを再生する。重要スライスセグメントは、映像シーンを構成する複数のスライスセグメントのうち、最重要スライスセグメント以外の、１度も選択されていないスライスセグメントであって、かつ、最も重要度が高いスライスセグメントである。
以下においては、映像シーンを構成する複数のスライスセグメントのうち、選択総数が最大規定数以上であるスライスセグメントを、「多選択スライスセグメント」ともいう。
重要スライスセグメントは、映像シーンを構成する複数のスライスセグメントのうち、多選択スライスセグメント以外のスライスセグメントである。また、重要スライスセグメントは、非最重要スライスセグメントでもある。
具体的には、スライス更新処理では、まず、記録再生制御部４１が、スライス重要度情報３１０１が示す、重要度としてのimplevel[0]、implevel[1]、implevel[2]およびimplevel[3]に基づいて、表示更新画面３３０１（＃５）における重要スライスセグメントを選択する。選択された重要スライスセグメントは、選択総数が「０」であるスライスセグメント＃２，３のうち、最も重要度が高いスライスセグメント＃２である。スライスセグメント＃２，３の重要度は、それぞれ、「５０」および「４０」である。
記録再生制御部４１は、実施の形態４と同様に、選択したスライスセグメント＃２を、オリジナル画像のスライスセグメント＃２に更新する。例えば、記録再生制御部４１は、表示更新画面３３０１（＃５）のスライスセグメント＃２を、オリジナル画像である映像シーンのスライスセグメント＃２に更新する。すなわち、映像再生装置１００は、非最重要スライスセグメントである重要スライスセグメントを再生する。そして、記録再生制御部４１は、スライスセグメント＃２の選択総数であるSEL_Cnt[1]を、１インクリメントする（Ｓ５００５）。これにより、SEL_Cnt[1]は、「１」となる。
この段階では、全ての選択総数が１以上でないため、ステップＳ５００６の判定により、選択スライス更新処理は終了し、再度、図３４のステップＳ４００２へ戻る。
表示更新画面３３０１（＃６）については、以下の処理が行われる。選択総数であるSEL_Cnt[0]が、最大規定数である「３」以上であるため、ステップＳ５００１の処理により、ステップＳ５００４に遷移する。
ステップＳ５００４のスライス更新処理では、記録再生制御部４１は、表示更新画面３３０１（＃６）における重要スライスセグメントを選択する。選択された重要スライスセグメントは、スライスセグメント＃３である。そして、スライスセグメント＃３が更新される。そして、記録再生制御部４１は、スライスセグメント＃３の選択総数であるSEL_Cnt[2]を、１インクリメントする（Ｓ５００５）。これにより、SEL_Cnt[2]は、「１」となる。
この段階では、全ての選択総数が１以上であるため、ステップＳ５００６の判定により、ステップＳ５００７へ遷移する。全ての選択総数が１以上である場合は、スライスセグメント＃１、スライスセグメント＃２、スライスセグメント＃３およびスライスセグメント＃４の全てが再生された場合である。
ステップＳ５００７の選択総数リセット処理では、記録再生制御部４１が、全ての選択総数をリセットする。具体的には、記録再生制御部４１が、全ての選択総数である、SEL_Cnt[0]、SEL_Cnt[1]、SEL_Cnt[2]およびSEL_Cnt[3]に「０」を設定する。
上記のように、スライスセグメントの選択、および、スライスセグメントの更新処理が行われる。前提Ｐｍ１における特殊再生制御処理、および、前提Ｐｍ１における選択スライス更新処理により、以下の処理が行われる。
特殊再生期間において、映像再生装置１００は、スライス重要度情報３１０１に基づいて、映像シーンを構成する複数のスライスセグメントのいずれかのスライスセグメントを選択して、選択された当該スライスセグメントを再生する処理を繰り返して行う。また、特殊再生期間において、選択総数が最大規定数以上になった場合、映像再生装置１００は、映像シーンを構成する複数のスライスセグメントのうち、多選択スライスセグメント以外のスライスセグメントである重要スライスセグメントを再生する。また、特殊再生期間において、映像シーンを構成する複数のスライスセグメントの全てが再生された場合、記録再生制御部４１が、当該複数のスライスセグメントの各々の選択総数をリセットする。
また、本実施の形態に係る光ディスク５３は、特殊再生期間において、映像再生装置１００が、スライス重要度情報３１０１に基づいて、非最重要スライスセグメンより最重要スライスセグメントを優先して再生する処理に用いられる。
以上説明したように、本実施の形態によれば、映像シーンを構成する複数のスライスセグメントは、最重要スライスセグメントを含む。最重要スライスセグメントは、複数のスライスセグメントのうち、重要度が最も高いスライスセグメントである。映像再生装置１００が放送ストリームの特殊再生を行っている期間において、当該映像再生装置１００は、複数のスライスセグメントのうち、最重要スライスセグメント以外のスライスセグメントより当該最重要スライスセグメントを優先して再生する。
これにより、放送ストリームの特殊再生が行われている期間における、映像シーンの把握が困難である状況の発生を抑制することができる。
また、本実施の形態によれば、特殊再生の実行時の応答性を向上させるとともに、映像シーンの視認性を高くすることができる。そのため、特殊再生の実行時にスライスセグメント単位で表示画面を更新する際に、表示画面の更新の応答性に優れ、画面の映像シーンが把握しやすい映像再生装置を提供することができる。
また、本実施の形態によれば、スライス重要度情報３１０１を用いて、最重要スライスセグメントを優先的に選択し、再生する。そのため、最重要スライスセグメントの表示頻度を上げることができる。したがって、映像シーンの把握が行いやすい表示制御を行うことができる。
なお、本実施の形態では、特殊再生が早送り再生である場合の処理を説明したが、本実施の形態は、特殊再生が巻き戻し再生である場合にも適用可能である。特殊再生が巻き戻し再生である場合、特殊再生が早送り再生である場合における前述した処理と同様な処理が行われる。
また、タイムテーブルＴＭとタイムテーブルＴＭＳＮ２とを同一のテーブル情報として記録してもよい。また、タイムテーブルＴＭとタイムテーブルＴＭＳＮ２とを別テーブルとして管理し、別ファイルとして記録してもよい。
また、本実施の形態では、スライス重要度情報３１０１が、タイムテーブルＴＭＳＮ２に存在する例を示したが、スライス重要度情報３１０１は、タイムテーブルＴＭＳＮ２の外に保持されてもよい。この場合、エントリー毎に優先スライスを設定できないため、関連するすべてのエントリーで同一の設定が行われる。
なお、各実施の形態、各変形例を自由に組み合わせたり、各実施の形態、各変形例を適宜、変形、省略することが可能である。
４１ 記録再生制御部、５３ 光ディスク、１００ 映像再生装置。

Claims (4)

  1. 映像ストリームを含む放送ストリームを含む記録データの当該放送ストリームの特殊再生を行う映像再生装置であって、
    前記特殊再生は、早送り再生または巻き戻し再生であり、
    前記記録データは、
    Ｉピクチャを有する前記映像ストリームと、
    前記Ｉピクチャの開始位置を示す情報と、
    前記Ｉピクチャを構成する複数のスライスセグメントの開始位置を示す情報と、
    前記放送ストリームの再生により表現される映像シーンを構成する前記複数のスライスセグメントの各々の意味的な重要度を示すスライス重要度情報とを含み、
    前記複数のスライスセグメントは、最重要スライスセグメントを含み、
    前記最重要スライスセグメントは、前記複数のスライスセグメントのうち、前記重要度が最も高いスライスセグメントであり、
    前記映像再生装置が前記放送ストリームの前記特殊再生を行っている期間である特殊再生期間において、当該映像再生装置は、前記スライス重要度情報に基づいて、前記複数のスライスセグメントのうち、前記最重要スライスセグメント以外のスライスセグメントより当該最重要スライスセグメントを優先して再生する、
    映像再生装置。
  2. 前記特殊再生期間において、前記映像再生装置は、前記スライス重要度情報に基づいて、前記複数のスライスセグメントのいずれかのスライスセグメントを選択して、選択された当該スライスセグメントを再生する処理を繰り返して行い、
    前記特殊再生期間において、前記複数のスライスセグメントのいずれかのスライスセグメントが選択された回数である選択総数が最大規定数以上になった場合、前記映像再生装置は、前記複数のスライスセグメントのうち、前記選択総数が前記最大規定数以上であるスライスセグメント以外のスライスセグメントを再生する、
    請求項１に記載の映像再生装置。
  3. 前記映像再生装置は、
    前記特殊再生期間において、前記複数のスライスセグメントの全てが再生された場合、当該複数のスライスセグメントの各々の前記選択総数をリセットする制御部を備える、
    請求項２に記載の映像再生装置。
  4. 放送ストリームの特殊再生を行う映像再生装置により再生される当該放送ストリームを記録するための映像記録媒体であって、
    前記特殊再生は、早送り再生または巻き戻し再生であり、
    前記映像記録媒体には、
    Ｉピクチャを有する映像ストリームを含む前記放送ストリームと、
    前記Ｉピクチャの開始位置を示す情報と、
    前記Ｉピクチャを構成する複数のスライスセグメントの開始位置を示す情報と、
    前記放送ストリームの再生により表現される映像シーンを構成する前記複数のスライスセグメントの各々の意味的な重要度を示すスライス重要度情報とが記録されており、
    前記複数のスライスセグメントは、最重要スライスセグメントを含み、
    前記最重要スライスセグメントは、前記複数のスライスセグメントのうち、前記重要度が最も高いスライスセグメントであり、
    前記映像記録媒体は、前記映像再生装置が前記放送ストリームの前記特殊再生を行っている期間である特殊再生期間において、当該映像再生装置が、前記スライス重要度情報に基づいて、前記複数のスライスセグメントのうち、前記最重要スライスセグメント以外のスライスセグメントより当該最重要スライスセグメントを優先して再生する処理に用いられる、
    映像記録媒体。
JP2021060565A 2021-03-31 2021-03-31 映像再生装置および映像記録媒体 Pending JP2022156728A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021060565A JP2022156728A (ja) 2021-03-31 2021-03-31 映像再生装置および映像記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021060565A JP2022156728A (ja) 2021-03-31 2021-03-31 映像再生装置および映像記録媒体

Publications (1)

Publication Number Publication Date
JP2022156728A true JP2022156728A (ja) 2022-10-14

Family

ID=83559018

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021060565A Pending JP2022156728A (ja) 2021-03-31 2021-03-31 映像再生装置および映像記録媒体

Country Status (1)

Country Link
JP (1) JP2022156728A (ja)

Similar Documents

Publication Publication Date Title
JP4270379B2 (ja) デジタル情報の効率的な伝送および再生
US8676038B2 (en) Recording/reproducing apparatus, recording apparatus, reproducing apparatus, recording method, reproducing method and computer program
US20080181583A1 (en) Method and apparatus for recording and reproducing video data, and information storage medium in which video data is recorded by the same
US20060165375A1 (en) Recordable PVR using metadata and recording control method thereof
JP2000041066A (ja) マルチメディア蓄積装置
US20130209063A1 (en) Digital receiver and content processing method in digital receiver
KR100770908B1 (ko) 디지털 방송 스트림의 변속 재생 장치 및 방법
KR101181777B1 (ko) 방송 시스템 및 방법
KR100405975B1 (ko) Ｐｖｒ에서의 스트림 점프 방법
WO2013011696A1 (ja) 送信装置、受信再生装置、送信方法及び受信再生方法
US7778526B2 (en) System and method for maintaining DVD-subpicture streams upon conversion to higher compressed data format
JP6964436B2 (ja) 映像記録装置及び映像再生装置
JP6415652B1 (ja) 映像再生装置、映像記録装置および映像記録方法
JP2004536480A (ja) 多視点即時リプレイ機能を実現するシステムと方法
JP6600059B2 (ja) 映像再生装置および映像記録装置
KR101731829B1 (ko) 디지털 영상 수신기의 디지털 콘텐츠 처리 장치 및 방법
JP2005018925A (ja) 録画再生装置及び録画再生方法
JP6991185B2 (ja) 映像再生装置および映像記録装置
JP2022156728A (ja) 映像再生装置および映像記録媒体
RU2525482C2 (ru) Устройство воспроизведения, способ воспроизведения, устройство записи, способ записи, программа и структура данных
US20030091331A1 (en) Method for implementing low-speed playback of a digital broadcast program
JP6982829B2 (ja) 記録装置、記録方法および記録媒体
JPH11312381A (ja) 記録装置および方法、再生装置および方法、記録再生装置および方法、記録媒体、並びに提供媒体
KR100846794B1 (ko) 양방향 디지털 방송 신호의 저장방법, 재생방법, 그 장치 및 기록매체
CN1993762A (zh) 改善特技播放期间和之后的图形可访问性