JP2021122144A - 再生装置およびコンテンツ送信装置 - Google Patents

再生装置およびコンテンツ送信装置 Download PDF

Info

Publication number
JP2021122144A
JP2021122144A JP2021082805A JP2021082805A JP2021122144A JP 2021122144 A JP2021122144 A JP 2021122144A JP 2021082805 A JP2021082805 A JP 2021082805A JP 2021082805 A JP2021082805 A JP 2021082805A JP 2021122144 A JP2021122144 A JP 2021122144A
Authority
JP
Japan
Prior art keywords
file
control information
information
media
files
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021082805A
Other languages
English (en)
Inventor
賀敬 井口
Yoshitaka Iguchi
賀敬 井口
正真 遠間
Tadamasa Toma
正真 遠間
孝啓 西
Takahiro Nishi
孝啓 西
久也 加藤
Hisaya Kato
久也 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of JP2021122144A publication Critical patent/JP2021122144A/ja
Priority to JP2023067850A priority Critical patent/JP7483091B2/ja
Priority to JP2024073918A priority patent/JP2024096289A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】符号化ストリームが複数のファイルに分割されたデータを受信し蓄積したデータの再生装置などを提供する。【解決手段】再生装置は、MPEG−DASH規格に定義されたデータユニットに対応し且つ複数のビデオセグメント及び複数のオーディオセグメントを含む複数のセグメントを再生するために、コンテンツ送信装置に保存された制御情報を、コンテンツ送信装置から受信する第1受信部と、複数のビデオセグメントのうちの第1ビデオセグメントと、複数のオーディオセグメントのうちの第1オーディオセグメントとを対応付けた再生開始タイミングを、制御情報から抽出する抽出部と、第1ビデオセグメント及び第1オーディオセグメントをコンテンツ送信装置から受信する第2受信部と、再生開始タイミングに基づいて、第1ビデオセグメント及び第1オーディオセグメントを同時再生する再生部と、制御情報は、制御情報が更新可能か否かを示すフラグを有する。【選択図】図4

Description

本発明は、再再生装置およびコンテンツ送信装置に関する。
従来、符号化データを所定の伝送フォーマットで伝送する技術が知られている。符号化データは、映像データ及び音声データを含むコンテンツを、HEVC(High Efficiency Video Coding)などの動画像符号化規格に基づいて符号化することで生成される。
所定の伝送フォーマットには、例えば、MPEG−2 TS(Moving Picture Experts Group−2 Transport Stream)、又は、MMT(MPEG Media Transport)などがある(非特許文献1参照)。例えば、特許文献1には、MMTに従って、符号化されたメディアデータをパケット毎に送信する技術が開示されている。
Information technology − High efficiency coding and media delivery in heterogeneous environment − Part1:MPEG media transport(MMT)、ISO/IEC DIS 23008−1
しかしながら、MMT方式などのような1つストリームを複数のファイルに分割されたデータを受信し蓄積したデータの再生装置などについては考慮されていない。
そこで、本発明の目的は、1つの符号化ストリームが複数のファイルに分割されたデータを受信し蓄積したデータの再生装置などを提供することにある。
上記課題を解決するため、本発明の一態様に係る再生装置は、MPEG−DASH規格に定義されたデータユニットに対応し且つ複数のビデオセグメント及び複数のオーディオセグメントを含む複数のセグメントを再生するために、コンテンツ送信装置に保存された制御情報を前記コンテンツ送信装置から受信する第1受信部と、前記複数のビデオセグメントのうちの第1ビデオセグメントと、前記複数のオーディオセグメントのうちの第1オーディオセグメントとを対応付けた再生開始タイミング、を前記制御情報から抽出する抽出部と、前記第1ビデオセグメント及び前記第1オーディオセグメントを前記コンテンツ送信装置から受信する第2受信部と、前記再生開始タイミングに基づいて、前記第1ビデオセグメント及び前記第1オーディオセグメントを同時再生する再生部と、を備え、前記制御情報は、前記制御情報が更新可能か否かを示すフラグを有する。
また、本発明の一態様に係るコンテンツ送信装置は、MPEG−DASH規格に定義されたデータユニットに対応し且つ複数のビデオセグメント及び複数のオーディオセグメントを含む複数のセグメント、を有する符号化ストリームを取得する取得部と、 前記複数のセグメントを保存するストレージと、送信部と、を備え、前記ストレージは、前記複数のビデオセグメントのうちの第1ビデオセグメントと前記複数のオーディオセグメントのうちの第1オーディオセグメントとを対応付けた再生開始タイミングを含む制御情報、を保存し、前記ストレージは、前記制御情報が更新可能か否かを示し且つ前記制御情報に含められるフラグ、を保存し、前記送信部は、前記再生開始タイミングに基づいて前記第1ビデオセグメント及び前記第1オーディオセグメントを再生装置が同時再生するように、前記制御情報を前記再生装置へ送信し、前記送信部は、前記第1ビデオセグメント及び前記第1オーディオセグメントを前記再生装置へ送信する。
上記課題を解決するため、本発明の一態様に係る再生方法は、MPEG−DASH規格に定義されたデータユニットに対応し且つ複数のビデオセグメント及び複数のオーディオセグメントを含む複数のセグメントを再生するために、コンテンツ送信装置に保存された制御情報を、前記コンテンツ送信装置から受信し、前記複数のビデオセグメントのうちの第1ビデオセグメントと、前記複数のオーディオセグメントのうちの第1オーディオセグメントとを対応付けた再生開始タイミングを、前記制御情報から抽出し、前記第1ビデオセグメント及び前記第1オーディオセグメントを前記コンテンツ送信装置から受信し、前記再生開始タイミングに基づいて、前記第1ビデオセグメント及び前記第1オーディオセグメントを同時再生し、前記制御情報は、更新されるか否かを示す更新情報を有する。
また、本発明の他の一態様に係るコンテンツ送信方法は、MPEG−DASH規格に定義されたデータユニットに対応し且つ複数のビデオセグメント及び複数のオーディオセグメントを含む複数のセグメント、を有する符号化ストリームを取得し、前記複数のセグメントをストレージに保存し、前記複数のビデオセグメントのうちの第1ビデオセグメントと前記複数のオーディオセグメントのうちの第1オーディオセグメントとを対応付けた再生開始タイミング、を含む制御情報を前記ストレージに保存し、前記制御情報が更新されるか否かを示し且つ前記制御情報に含められる更新情報、を前記ストレージに保存し、前記再生開始タイミングに基づいて前記第1ビデオセグメント及び前記第1オーディオセグメントを再生装置が同時再生するように、前記制御情報を前記再生装置へ送信し、前記第1ビデオセグメント及び前記第1オーディオセグメントを前記再生装置へ送信する。
上記課題を解決するため、本発明の一態様に係る蓄積方法は、所定のファイル形式のデータ単位でスケーラブル符号化されたファイルを複数含む、符号化ストリームを受信する受信ステップと、前記符号化ストリームのうちの受信した前記複数のファイルを記憶部に蓄積する蓄積ステップと、蓄積した前記複数のファイルを再生するために用いる制御情報であって、前記複数のファイルを関連付ける制御情報を生成する生成ステップと、を含み、前記複数のファイルは順番に再生され、前記制御情報は、前記複数のファイルを再生する順番を示す情報と、前記複数のファイルのそれぞれの再生開始時刻の導出に用いる値を示す情報とを含む。
また、本発明の他の一態様に係る再生方法は、所定のファイル形式のデータ単位でスケーラブル符号化されたファイルであって、複数の前記ファイルを再生する再生方法であって、前記複数のファイルを再生するための制御情報であって、前記複数のファイルを関連付ける制御情報であって、前記複数のファイルを再生する順番を示す情報と、前記複数のファイルのそれぞれの再生開始時刻の導出に用いる値を示す情報とを含む制御情報を取得する第1取得ステップと、取得した前記制御情報を解析する解析ステップと、前記解析ステップの結果に基づいて、前記複数のファイルのうちの所定のファイルを順次取得する第2取得ステップと、取得した前記所定のファイルを順次再生することで前記複数のファイルを順番に再生する再生ステップと、を含む。
上記課題を解決するため、本発明の一態様に係る蓄積方法は、所定のファイル形式のデータ単位であるファイルを複数含む符号化ストリームを受信する受信ステップと、前記符号化ストリームのうちの受信した複数のファイルを記憶部に蓄積する蓄積ステップと、蓄積した前記複数のファイルを再生するために用いる第1制御情報であって、前記複数のファイルを関連付ける第1制御情報を生成する生成ステップと、を含む。
なお、これらの全般的または具体的な態様は、再生方法、蓄積装置、再生装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、蓄積方法、再生方法、蓄積装置、再生装置、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明の再生装置などは、蓄積した符号化データを再生できる。
MMTにおける符号化ストリームのデータ構造を説明するための図である。 MMTにおける符号化ストリームのデータ構造を説明するための図である。 実施の形態に係る蓄積装置の構成を示すブロック図である。 実施の形態に係る蓄積方法のフローチャートである。 MMT方式を用いて符号化されたデータを受信し、MMTパケットからメディア毎のMPUを取得したデータを示す図である。 メディアA(映像)のファイルを蓄積してメディアファイルA21を構成したときのメディアファイルA21の構成を示す図である。 受信したファイルおよび第2制御情報に基づいて、ファイルを蓄積し、かつ、制御情報を生成する具体例について説明するための図である。 ランダムアクセステーブルの一例を示す図である。 実施の形態に係る再生装置の構成を示すブロック図である。 実施の形態に係る再生方法のフローチャートである。 メディアファイル内のデータを並べ替えた場合のメディアファイル内のデータについて説明するための図である。
(本発明の基礎となった知見)
本発明は、MPEGで規格化中のMMT方式を用いて送信されたデータを受信し、受信データを蓄積するための蓄積方法もしくは蓄積装置、または、蓄積したデータを再生するための再生方法もしくは再生装置に関する。MMT方式は、映像および音声を多重化しつつパケット化し、放送や通信などの一つ以上の伝送路で送信するための多重化方式である。
多重化方式としてMPEG−2 TS方式を用いた従来のシステムでは、TSパケットを直接蓄積する方法がある。しかし、MMT方式でパケット化されたデータを受信し、蓄積する方法または蓄積したデータを再生する方法については十分に考慮されていない。
MMT方式で生成されたMPU(Media Processing Unit)は、映像、音声などをメディア毎に、適切なサイズに分割し、MP4フォーマットに格納したデータである。
従来のMP4ファイルは、映像、音声などのトラックを一つのMP4ファイルの中に格納し、MP4内部のヘッダにトラックの関係を示す情報を格納している。これに対して、MPUはプログラムをメディア毎にセグメント化したMP4ファイルであり、MPUそのものには、メディア間の関係を示す情報がない。このため、関連する映像と音声とを一緒に再生することができない。
また、MPUを複数のMP4ファイルとして蓄積すると、ファイル数が増大し、ファイル管理や再生する際のファイルのアクセスが煩雑であり、再生処理にかかる処理量が増加するという課題がある。
このような問題を解決するために、本発明の一態様に係る蓄積方法は、所定のファイル形式のデータ単位であるファイルを複数含む符号化ストリームを受信する受信ステップと、前記符号化ストリームのうちの受信した複数のファイルを記憶部に蓄積する蓄積ステップと、蓄積した前記複数のファイルを再生するために用いる第1制御情報であって、前記複数のファイルを関連付ける第1制御情報を生成する生成ステップと、を含む。
これによれば、複数のファイルとして蓄積したデータであっても、複数のファイルを関連付けて蓄積できるため、再生処理に係る処理量を低減することができる。
例えば、前記符号化ストリームは、第2制御情報を含み、前記生成ステップでは、前記第2情報を解析することで、前記複数のファイルを再生する順番を示す情報を前記第1制御情報として生成してもよい。
例えば、前記複数のファイルは、第1メディアに属する第1ファイルと、第2メディアに属する第2ファイルとを含み、前記生成ステップでは、さらに、前記第2制御情報を解析することで、前記第1ファイルおよび前記第2ファイルを関連付ける情報を前記第1制御情報として生成してもよい。
例えば、前記複数のファイルのそれぞれは、ランダムアクセス可能なランダムアクセス単位のファイルであり、前記生成ステップでは、前記第2制御情報を解析することで、前記複数のファイルのそれぞれの再生開始時刻を示す時刻情報を前記第1制御情報として生成してもよい。
例えば、前記生成ステップでは、再生開始時刻が同じである、前記第1ファイルおよび前記第2ファイルを関連付ける情報を前記第1制御情報として生成してもよい。
例えば、前記生成ステップでは、さらに、前記蓄積ステップにおいて前記複数のファイルを前記記憶部に蓄積したときの、前記複数のファイルの前記記憶部における記録位置を示す情報を前記第1制御情報として生成してもよい。
また、所定のファイル形式のデータ単位であるファイルであって、記憶部に記憶されている複数の前記ファイルを再生する再生方法であって、前記複数のファイルを再生するための制御情報であって、前記複数のファイルを関連付ける制御情報を取得する第1取得ステップと、取得した前記制御情報を解析する解析ステップと、前記解析ステップの結果により、前記記憶部から前記複数のファイルのうちの所定のファイルを取得する第2取得ステップと、取得した前記所定のファイルを再生する再生ステップと、を含む再生方法で実現してもよい。
なお、これらの全般的または具体的な態様は、蓄積装置、再生装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体記録媒体で実現されてもよく、蓄積装置、再生装置、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、本発明の一態様に係る送信方法および受信方法について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態)
以下、実施の形態に係る蓄積方法(蓄積装置)および再生方法(再生装置)について図面を参照しながら説明する。実施の形態では、一例としてMMTにしたがって符号化データを受信し、受信した符号化データを蓄積する蓄積方法、および、蓄積した符号化データを再生する再生方法について説明する。
まず、MMTにおける符号化ストリームのデータ構造について説明する。図1および図2は、MMTにおける符号化ストリームのデータ構造を説明するための図である。
図1に示されるように、符号化データは、複数のアクセスユニット(AU:Access Unit)からなる。符号化データは、例えば、HEVCなどの動画像符号化規格に基づいて符号化されたAVデータである。符号化データは、具体的には、映像データ、音声データ、並びに、これらに付随する字幕、文字スーパー、メタデータ、静止画およびファイルなどを含む。符号化データが映像データである場合、1つのAUは、1つのピクチャ(1フレーム)に相当する単位である。
MMTでは、符号化データは、GOP(Group Of Picture)単位でMP4のファイルフォーマット(ISOベースメディアデータフォーマット)にしたがって、MP4データ化される(MP4ヘッダが付与される)。つまり、符号化データは、それぞれが複数のアクセスユニットから構成される複数の集合(GOP)を有する。GOPは符号化データにおけるランダムアクセスポイントであって、GOPにおける復号順で先頭のアクセスユニットは、HEVCやAVCのIDRピクチャ、あるいは、non−IDRのIピクチャに相当する。
MP4データに含まれるMP4ヘッダには、アクセスユニットの提示時刻(上述のPTS)や復号時刻(上述のDTS)の相対値が記述される。また、MP4ヘッダには、MP4データのシーケンス番号が記述される。なお、MP4データ(MP4ファイル)は、MMT規格において定義されるデータ単位であるMPUの一例である。MPUにおいては、MP4のヘッダを送信せずに、MPUにおけるサンプルデータのみを送信するなどしてもよい。この場合も、MPUはランダムアクセス単位に相当し、MPUを構成するサンプルとMPUとは対応付けられる。また、MPUには、ランダムアクセスユニットの先頭のアクセスユニットであるランダムアクセスポイントが先頭に配置されている。また、MPUは複数のGOPから構成されてもよい。また、MPUは、映像や音声の単一メディアのアクセスユニットの集合であり、メディア毎にMP4ファイルの形式でカプセル化されている。なお、ここで言う、「メディア」とは、映像、音声、字幕などのコンテンツの種類を示す。
そして、図2に示されるように、MMTにおける符号化ストリーム10は、シグナリング情報11と、複数のMMTパケット12とを含む。言い換えると、符号化ストリーム10は、MMTパケット12のパケット列である。
符号化ストリーム10(MMTストリーム)は、1つのMMTパッケージを構成する1以上のストリームの1つである。MMTパッケージは、例えば、1つの放送番組コンテンツに相当する。
シグナリング情報11は、例えば、複数のアセットと、パケットIDとの対応関係を示す情報などを含む。なお、アセットは、同一のトランスポート特性のデータを含むデータエンティティであり、例えば、映像データおよび音声データなどのいずれか1つである。
シグナリング情報11は、具体的には、例えば、MMTにおけるCI(Composition Information)およびMPT(MMT Package Table)である。なお、シグナリング情報11は、MPEG2−TSでは、PMT(Program Map Table)やPAT(Program Association Table)であり、MPEG−DASHではMPD(Media Presentation Description)などである。
また、シグナリング情報11には、時刻情報が含まれていてもよい。時刻情報は、アクセスユニットのPTSまたはDTSを決定するための情報である。時刻情報は、具体的には、例えば、MPUにおける先頭のアクセスユニットの絶対時刻としてのPTSまたはDTSである。時刻情報は、さらに具体的には、PTSの場合は、MPUにおいて提示順で先頭のアクセスユニットのPTSの絶対値を、DTSの場合は、MPUにおいて復号順で先頭のアクセスユニットのDTSの絶対値を、それぞれ示すことができる。また、時刻情報は、シグナリング情報11に格納されていなくてもよい。
例えば、複数のピクチャが1つの集合を構成していると仮定すれば、当該集合の復号順で最初に復号される先頭のアクセスユニットは、DTSで示される時刻において復号される。このとき、当該集合の先頭のアクセスユニットに対して行われる復号を行う、基準クロックを基準とする時刻(DTS)を示す時刻情報は、符号化ストリーム10の時刻情報として格納されていてもよい。
なお、基準クロックとは、MMT方式で符号化ストリームを送信する場合には、NTP(Network Time Protocol)であり、MPEG2−TS方式で符号化ストリームを送信する場合には、PCR(Program Clock Reference)である。ここで、NTPは、送信装置が設定する基準クロックであればよく、必ずしも、インターネットで一般的に使用されるNTPサーバーにおけるNTP値とは一致しなくてもよい。
MMTパケット12は、MP4データがパケット化されたデータである。実施の形態では、1つのMMTパケット12には、1つのMP4データ(MPU)が含まれる。図2に示されるように、MMTパケット12は、ヘッダ12a(MTTパケットヘッダ(MPEG2−TSの場合はTSパケットヘッダに相当))と、ペイロード12bとを含む。
ペイロード12bには、MP4データが格納される。なお、ペイロード12bには、MP4を分割したものが格納される場合がある。
ヘッダ12aは、ペイロード12bに関する付属情報である。例えば、ヘッダ12aには、パケットIDと、時刻情報とが含まれる。ここでの時刻情報は、MP4データの提示時刻(PTS)または復号時刻(DTS)の相対値である。
パケットIDは、MMTパケット12(ペイロード12b)に含まれるデータのアセットを示す識別番号である。パケットIDは、MMTパッケージを構成するアセットごとに固有の識別番号である。
このように、符号化ストリームは、符号化データの復号または提示の処理を行う時刻を示す時刻情報(DTSまたはPTS)と、符号化データ(図2のID1_#0、ID2_#0、ID1_#1、ID1_#2、ID2_#1、ID2_#2、・・・)とを含む。
[蓄積方法]
図3は、実施の形態に係る蓄積装置の構成を示すブロック図である。図4は、実施の形態に係る蓄積方法のフローチャートである。
図3に示されるように、蓄積装置100は、受信部110と、蓄積部120と、生成部130と、記憶部140とを備える。なお、蓄積装置100の構成要素は、具体的には、マイクロコンピュータ、プロセッサ、または専用回路などによって実現される。なお、記憶部140は、蓄積装置100に含まれていなくてもよく、蓄積装置100とは別の装置であってもよい。
実施の形態に係る蓄積方法においては、図4に示すように、蓄積装置100の受信部110は、所定のファイル形式のデータ単位であるファイルを複数含む符号化ストリームを受信する(S11:受信ステップ)。
次に、蓄積装置の蓄積部120は、符号化ストリームのうちの受信した複数のファイルを記憶部140に蓄積する(S12:蓄積ステップ)。具体的には、受信した符号化ストリーム10を構成している受信パケットから、複数のMP4ファイル形式のデータ単位(つまり、MP4ファイル)を取得する。
次に、蓄積装置の生成部130は、蓄積した複数のMP4ファイルを再生するために用いる制御情報であって、複数のMP4ファイルを関連付ける第1制御情報を生成する(S13:生成ステップ)。ステップS13で生成される第1制御情報には、次の3つの制御情報が含まれる。
3種類の制御情報は、記憶部140における複数のMP4ファイルの記録位置を示す情報(後述する制御ファイルA31)と、プログラム情報(後述する制御ファイルB32)と、ランダムアクセステーブルを示す情報(制御ファイルC33)とである。つまり、ステップS13では、制御ファイルA31を生成するステップと、制御ファイルB32を生成するステップと、制御ファイルC33を生成するステップとの3つのステップが行われる。
つまり、例えば、生成ステップでは、シグナリング情報(第2制御情報)を解析することで、複数のMP4ファイルを再生する順番を示す情報を第1制御情報として生成してもよい。
また、例えば、生成ステップでは、シグナリング情報を解析することで、メディアが映像である第1ファイルと、メディアが音声である第2ファイルとを関連付ける情報を第1制御情報として生成してもよい。より具体的には、複数のMP4ファイルのそれぞれは、ランダムアクセス可能なランダムアクセス単位のファイルであり、生成ステップでは、シグナリング情報を解析することで、複数のMP4ファイルのそれぞれの再生開始時刻を示す時刻情報を第1制御情報(制御ファイルB32)として生成してもよい。また、生成ステップでは、再生開始時刻が同じである、第1ファイルおよび第2ファイルを関連付ける情報を第1制御情報(制御ファイルC33)として生成してもよい。
また、生成ステップでは、さらに、蓄積ステップにおいて複数のMP4ファイルを記憶部140に蓄積したときの、複数のMP4ファイルの記憶部140における記録位置を示す情報を第1制御情報(制御ファイルA31)として生成してもよい。
そして、ステップS13で生成された制御情報は、記憶部140に複数のMP4ファイルとともに記憶され、予め定められた時間の符号化ストリームの受信が終了すれば、蓄積を終了する。
なお、第1制御情報と、第2制御情報とは、異なる制御情報である。第1制御情報は、蓄積された複数のMP4ファイルを再生するために利用される制御情報である。第2制御情報は、符号化ストリームを受信したときに、リアルタイムに再生するときに利用される制御情報である。つまり、第1制御情報は、例えば、放送されたコンテンツを録画(蓄積)して、録画したコンテンツを再生するときに利用される制御情報である。また、第2制御情報は、例えば、放送または通信によりリアルタイムに受信したコンテンツを再生するときに利用される制御情報である。
次に、蓄積方法の各ステップの詳細について、図を用いて、具体的に説明する。
図5は、MMT方式を用いて符号化されたデータを受信し、MMTパケットからメディア毎のMPUを取得したデータを示す図である。図6は、メディアA(映像)のファイルを蓄積してメディアファイルA21を構成したときのメディアファイルA21の構成を示す図である。
受信された符号化ストリーム10のうちのMMTパケット12は、パケットIDによってフィルタリングされる。フィルタリングされたMMTパケット12は、MMTパケットヘッダやペイロードヘッダなどのヘッダ12aを取り除いた後に、メディア毎の複数のMP4ファイルの集合となる。MP4ファイルのヘッダには、メディア毎の識別子や、同じメディアを構成するMP4ファイルのシーケンス番号などが記述される。
また、MP4ファイルとは別に、複数の種類のシグナリング情報が受信される。シグナリング情報には、例えば、メディア間の関係を示すテーブルや、MP4の先頭のアクセスユニットの再生時間、アプリケーションの起動に係る情報などが含まれ、シグナリング情報は1回だけ受信されるものや1回以上繰り返して受信されるものがある。
図7は、受信したファイルおよび第2制御情報に基づいて、ファイルを蓄積し、かつ、制御情報を生成する具体例について説明するための図である。
本実施の形態の蓄積方法では、取得したMP4ファイルを、メディア毎にファイルに直接蓄積する。同時に、メディア間の関係を示す制御情報や、その他プログラムを再生するために必要な情報を制御ファイルA31〜C33(第1制御情報)として生成する。プログラムを再生する際は、制御情報を参照しながら、メディア毎のファイルのMP4を解析し、映像および音声を再生する。
まず、一つのプログラムを、MMT方式を用いて単一の伝送路で送信し、受信機において受信および蓄積する動作を例に説明する。プログラムは、メディアAおよびメディアBで構成され、プログラムを構成する情報(メディア間の関係を示す情報)がシグナリング情報に格納されているとする。
受信ステップおいて取得したMP4ファイルを、メディア毎にメディアファイルに格納することで記憶部140に蓄積する。例えば、シーケンス番号が#1〜#MまでM個のメディアAのMP4ファイルをメディアファイルA21に順番に格納し、シーケンス番号が#1〜#NまでN個のメディアBのMP4ファイルをメディアB用のメディアファイルB22に順番に格納する。
メディアファイルは、メディアが特定できるような予め定められたファイル名が設定されていてもよい。また、メディアファイルは、メディアファイルに格納されているファイルのメディアの種類を識別する識別子をメディアファイル内に格納してもよい。メディアの種類を識別する識別子としては、例えば、MMT方法で複数のメディア毎に付与されているアセットIDを用いてもよいし、アセットIDに対応した識別子を用いてもよい。メディアファイル内に識別子を格納する場合は、新たにmp4のboxを設けその中に格納してもよい。
生成ステップでは、MP4ファイルをメディアファイルに格納する際、MP4毎の記録された位置を特定するための情報を生成し、制御ファイル(図7の制御ファイルA31)へ格納する。MP4ファイル毎の記録された位置を特定するための位置特定情報とは、例えば、メディア識別子に対する、メディアファイルの先頭からそれぞれのシーケンス番号のMP4ファイルの先頭バイトまでのバイト数によるオフセット量により示される。位置特定情報は、MMT方式を用いる場合、アセットIDに対するMP4ファイルの記録位置を示す。
受信ステップでは、プログラムを構成するメディアの情報が記述されたシグナリング情報を受信し、取得したシグナリング情報を制御ファイル(例えば図2の制御ファイルB32)に蓄積する。シグナリング情報は、プログラムを構成するメディアのMP4ファイルを蓄積したメディアファイルのファイル名を格納する。シグナリング情報は、1度だけ送信されてくるシグナリング情報や、繰り返し送信されてくるシグナリング情報、または複数に分割して送信されるシグナリング情報がある。生成ステップでは、いずれの場合も取得したシグナリング情報からプログラムの再生に必要な情報を取得(生成)し、ファイルに蓄積する。
生成ステップでは、再生の際、ランダムアクセスが可能となるようにランダムアクセステーブルを作成してもよい。ランダムアクセステーブルは、ランダムアクセス可能なポイントのリストであり、例えばランダムアクセスポイントに対応するメディアAおよびメディアBのそれぞれのMP4シーケンス番号を示す。
図8は、ランダムアクセステーブルの一例を示す図である。
メディアAを映像、メディアBを音声とした場合、ランダムアクセステーブルは、映像のMP4ファイルのMP4シーケンス番号と、当該映像のMP4ファイルのランダムアクセスポイントと同じ時間でアクセス(再生)する音声のMP4ファイルのMP4シーケンス番号とが対応付けられたテーブルである。
ランダムアクセステーブルは、具体的には、次のような処理手順で生成される。まず、映像のMP4ファイルのランダムアクセスポイントは、映像のMP4ファイルの先頭のアクセスユニットの時刻情報がシグナリング情報として送信されている場合、当該時刻情報を基に、生成される。そして、生成した映像のMP4ファイルのランダムアクセスポイントの時刻と同じ時刻情報の音声のMP4ファイルのMP4シーケンス番号を探索し、探索した音声のMP4ファイルのMP4シーケンス番号と、探索に用いた映像のMP4ファイルのMP4シーケンス番号とを対応付けることで、ランダムアクセステーブルを生成する。つまり、生成ステップでは、このように生成したランダムアクセステーブルを制御ファイル(例えば図7の制御ファイルC33)に格納する。
なお、ランダムアクセステーブルはランダムアクセス可能なポイントをすべてのリストである必要はなく、一定間隔のランダムアクセスポイント(つまり、一定間隔となるように間引いた一部のランダムアクセスポイント)で構成してもよい。
また、ランダムアクセステーブルは、各ランダムアクセスポイントに対応する時刻情報がさらに対応付けられていてもよい。なお、この場合の時刻情報は、メディアの先頭時刻(プログラムの再生開始時刻)からの相対時間である。より具体的には、時刻情報は、MP4ファイルの先頭のアクセスユニットの時刻情報がNTPやSTCを基に付与されたタイムスタンプである場合、メディアの先頭時刻から算出された当該MP4ファイルの相対時刻である。
また、プログラムの途中から蓄積を開始する場合、蓄積開始のデータの時刻を基準として複数のMP4ファイルのそれぞれに対応する相対時刻が算出され、当該相対時刻がランダムアクセステーブルに格納される。また、この時刻情報は、MP4ファイルヘッダに記述されているタイムスタンプを基に生成してもよい。
レイアウト情報や、アプリケーション情報がシグナリングされている場合、シグナリング情報をファイルに蓄積してもよい。
シグナリング情報にタイムスタンプが付与されている場合、メディアの先頭時刻からの相対時刻に変換し、シグナリング情報とともに蓄積してもよい。
生成ステップでは、プログラム情報やランダムアクセステーブルに、レイアウト情報やアプリケーションの起動情報などのイベント情報を格納してもよい。この場合、再生時にタイムスタンプ情報を基に提示してもよい。
音声のMP4ファイルの時間間隔が、映像のMP4ファイルの時間間隔(GOP単位)と一致しない場合であっても、映像のランダムアクセスポイントに対する音声のMP4シーケンス番号を探索して、ランダムアクセステーブルを生成するため、再生時に映像のMP4ファイルと、当該映像のMP4ファイルと同時に再生されるべき音声のMP4ファイルとに対して、容易にランダムアクセスできる。
映像のMP4ファイルの中に、複数のランダムアクセスポイントがある場合、当該MP4ファイルに含まれるランダムアクセスポイントの数をヘッダ情報に格納し送信しておいてもよい。この場合、ランダムアクセステーブルは、映像のMP4ファイルの複数のランダムアクセスポイントのそれぞれと、音声のMP4ファイルのMP4シーケンス番号とが対応付けられておいる。そして、音声のMP4ファイルは、ランダムアクセステーブルにおいて、映像のMP4ファイルの複数のランダムアクセスポイントのうちの何番目のランダムアクセスポイントであるかを示す情報ともさらに対応付けられている。
[再生方法]
次に、記憶部140に記憶されている複数のMP4ファイルを再生する再生方法について説明する。
図9は、実施の形態に係る再生装置の構成を示すブロック図である。図10は、実施の形態に係る再生方法のフローチャートである。
図9に示されるように、再生装置200は、第1取得部210と、解析部220と、第2取得部230と、再生部240とを備える。なお、再生装置200の構成要素は、具体的には、マイクロコンピュータ、プロセッサ、または専用回路などによって実現される。
まず、再生装置200では、再生する対象のファイルが複数のMP4ファイルを含むファイル(メディアファイル)であるか、1つのMP4ファイルであるかを判定する(S21)。
対象のファイルがメディアファイルであると判定された場合(S21:メディアファイル)、再生装置200の第1取得部210は、複数のMP4ファイルを再生するための制御情報であって、複数のMP4ファイルを関連付ける第1制御情報を取得する(S22:第1取得ステップ)。具体的には、第1取得部210は、記憶部140に記憶されている第1制御情報を取得する。
次に、再生装置200の解析部220は、ステップS22の次のステップS23〜S25において、ステップS22で取得した第1制御情報を解析する(解析ステップ)。
より具体的には、解析部220は、プログラム情報解析部221と、ランダムアクセステーブル解析部222と、記録位置解析部223とを有しており、これらの解析部221〜223がそれぞれステップS23〜S25の処理を行う。
プログラム情報解析部221は、第1制御情報のうちの制御ファイルB32を解析し、プログラムを構成するメディアファイルを特定する(S23)。
次に、ランダムアクセステーブル解析部222は、第1制御情報のうちの制御ファイルC33を解析し、メディア毎のランダムアクセスポイントのMP4シーケンス番号を取得する(S24)。
次に、記録位置解析部223は、第1制御情報のうちの制御ファイルA31を解析し、ステップS24で取得されたMP4ファイルのMP4シーケンス番号に対応付けられている、当該MP4ファイルの記憶部140における記録位置を示す位置情報を取得する(S25)。
次に、第2取得部230は、解析ステップの結果(MP4ファイルの位置情報)により、記憶部140から複数のMP4ファイルのうち所定のMP4ファイルを取得する(S26:第2取得ステップ)。
次に、再生装置200の再生部240は、取得されたMP4ファイルを再生する(S27:再生ステップ)。より具体的には、再生部240は、MP4ファイル解析部241と、メディア復号・提示部242とを有する。ステップS27では、まず、MP4ファイル解析部241が、メディア毎に、順番に複数のMP4ファイルを解析する。そして、メディア復号・提示部242が、MP4ファイル解析部241により解析されたタイムスタンプ情報に基づいて、複数のMP4ファイルを復号および提示することにより再生する。
一方で、対象のファイルが1つのMP4ファイルであると判定された場合(S21:MP4ファイル)、当該MP4ファイルを解析し、当該MP4のタイムスタンプ情報に基づいて、復号および提示をすることにより、当該MP4ファイルを再生する(S28)。なお、ステップS21は、必ずしもなくてもよい。また、ステップS28もなくてもよい。
(特徴)
本実施の形態に係る蓄積方法および再生方法によれば、MMT方式で符号化されたプログラムを蓄積、再生することができる。
また、本実施の形態に係る蓄積方法によれば、受信した複数のMP4ファイルを、MP4ファイルの構成を変更することなく、まとめてファイルに格納できる。
また、本実施の形態に係る蓄積方法によれば、プログラム情報などの制御情報を生成し、蓄積することにより、蓄積した複数のMP4ファイルの再生が可能となる。
また、本実施の形態に係る蓄積方法によれば、ランダムアクセステーブルを生成することにより容易にランダムアクセス再生が可能となる。
また、本実施の形態に係る蓄積方法によれば、レイアウト情報やアプリケーション起動情報などを再生時に提示できる。
(変形例)
以上説明した蓄積方法は、一例であり、これに限るものではない。
第1制御情報は、それぞれの機能毎に複数のファイルに格納してもよいし、2つ以上の機能の制御情報をまとめて1つのファイルに格納してもよい。また、単一メディアに係る制御情報は、メディアファイルにメディアとともに格納されてもよい。
また、メディアファイルや制御ファイルは、予め定められたファイル名で特定できるようにしてもよい。また、メディアファイルや制御ファイルは、ファイル内に格納されているメディアまたは制御情報の内容を識別する識別子がファイル内に格納されてもよい。
また、再生方法では、プログラム情報が格納された制御ファイルをエントリーポイントとしたが、別途エントリーポイントとなるファイルを規定し、エントリーポイントファイルにプログラム情報か格納された制御ファイルを指定してもよい。
また、MP4ファイルの記録位置を示すオフセット量はバイト数で示すと説明したが他の方法でもよい。オフセット量は、例えば、所定のデータ単位を規定し、データ単位のインデックス番号を示してもよい。また、MP4ファイルの記録位置は、メディアファイルの先頭バイトからMP4ファイルの先頭バイトまでのオフセット量であってもよい。また、MP4ファイルの記録位置は、前後のMP4ファイルの先頭バイトとの記録位置の差分情報であってもよい。
なお、MMT方式で符号化されたデータを例に説明したが、MPEG−DASHなど、セグメント化された複数のMP4ファイルで構成されるプログラムを蓄積する場合も本実施の形態の方法を用いて蓄積および再生を行うことが可能である。また、MMT方式やMPEG−DASH方式で符号化されたMP4ファイルが、MMT方式のプロトコルにおけ
るMPUモードやGFDモード、或いはFLUTEなど他のプロトコルで伝送される場合も本実施の形態の方法を用いて蓄積および再生を行うことができる。
また、複数のMP4ファイルをメディアファイルに受信順に蓄積した後、メディアファイル内のデータ(MP4ファイル)の並びを変更してもよい。メディアファイル内のデータを並べ替えた場合は、並べ替えに伴い適切に第1制御情報やMP4ファイルヘッダを修正し、並べ替えたことを示す情報を、メディアファイル内、または、メディアファイルとは別の制御ファイルに格納する。また、蓄積後にメディアファイル内のデータを並べ替えなくてもよく、複数のMP4ファイルの受信時に一時的にメモリにデータを保存し、並べ替えながら蓄積してもよい。
例えば、複数のMP4ファイルのヘッダ部分とファイルの前半部分に集め、複数のMP4ファイルのデータ部分をファイルの後半部分に集めるよう並べ替えてもよい。また、図11に示すように、複数のMP4ファイルで共通するヘッダ情報や、蓄積・再生に不要なヘッダ情報(例えば、‘ftyp’, ‘mmpu’ box等)がある場合、重複するヘッダ情報を削除してもよい。なお、図11は、メディアファイル内のデータを並べ替えた場合のメディアファイル内のデータについて説明するための図である。図11の(a)は、データを並べ替える前のメディアファイル内のデータの構成を示す図である。図11の(b)は、データを並べ替えた後のメディアファイル内のデータの構成を示す図である。
また、例えば、MP4ファイルごとに初期化情報が異なる場合、ヘッダの修正が必要となる。つまり、N番目のMP4ファイルの初期化情報と1番目のMP4ファイルの初期化情報とを比較して、N番目のMP4ファイルの初期化情報と1番目のMP4ファイルの初期化情報とが異なる場合にはN番目のMP4ファイルの初期か情報を1番目のMP4ファイルの初期化情報に追加し、N番目のMP4ファイルに対する処理を行うときに、1番目のMP4ファイルの初期化情報に対して追加した初期化情報を参照できるようにN番目のMP4ファイルの‘moof’内の参照先を変更してもよい。
また、一つのメディアファイルに複数のメディアのMP4ファイルを格納してもよい。例えば、映像のMP4ファイルと音声のMP4ファイルとをランダムアクセス単位で交互に蓄積する構成としてもよい。
また、再生時間が大きい場合は、メディアファイルを複数のファイルに分割して蓄積してもよい。その場合、音声ファイルの分割ファイルは映像ファイルの分割時間間隔に合わせて分割してもよい。
また、複数の伝送路を用いて伝送されたMP4ファイルを受信して蓄積する場合、伝送路間の遅延時間の同期をせずに蓄積し、蓄積された後のMP4ファイルを、MP4シーケンス番号を基に並べ替えるなどの同期処理をしてもよい。
また、あらかじめ送出サーバーに、本実施の形態で示したメディアファイルや制御ファイルの形式を用いて複数のMP4ファイルを格納しておき、受信機(蓄積装置100)は、送出サーバーから放送伝送路または通信伝送路経由でファイルをダウンロードし、蓄積してもよい。
また、放送伝送路や通信伝送路からダウンロードによって取得されたMP4ファイルと、ストリーミングによって取得されたMP4ファイルをそれぞれ蓄積し蓄積後にMP4ファイルを並べ替えてもよい。
また、スケーラブル符号化された符号化データを含むMP4ファイルを蓄積する場合、拡張レイヤと基本レイヤとにおける各メディアIDが異なる場合であってもそれぞれのレイヤのMP4ファイルを一つのメディアファイルに蓄積してもよいし、レイヤ毎に別のメディアファイルに蓄積してもよい。基本レイヤと拡張レイヤとのMP4ファイルを一つのメディアファイルに蓄積する場合は、対応する基本レイヤと拡張レイヤとのそれぞれのMP4ファイルを交互に蓄積してもよい。また、基本レイヤのみのメディアを蓄積してもよい。プログラム情報を記述する制御ファイルには、メディアファイルがスケーラブル符号化されたデータであることや、階層レベルの識別が可能となる識別子を格納する。
また、受信した複数のMP4ファイルを蓄積する時に、蓄積されたメディアファイルに対して蓄積されたメディアの状態を示す識別子やフラグを設けてもよい。例えば、メディアファイル内または制御ファイルに、蓄積されたメディアに対応する、当該蓄積されたメディアが不足なく揃っている状態であるかを示す識別子またはフラグを設けてもよい。フラグはメディアファイルまたは制御ファイルに格納される。メディアが不足なく揃っている状態であるか否かは、例えばメディアの識別子のメディアのシーケンス番号から判断することができる。メディアのシーケンス番号とは、例えば、アセット内のMPUの順番を示すMPUシーケンス番号や、アセット内のパケットの順番を示すシーケンス番号、MMTパケットの順番を示すシーケンス番号、フラグメントされたペイロードのシーケンス番号であり、データユニットやMMTパケットあるいはMMTペイロードのヘッダで示される。このため、判断の結果に応じて、フラグを設けることができる。また、蓄積されたメディアに誤りがないことを示す識別子やフラグを設けてもよい。蓄積されたメディアの一部のMP4ファイルに誤りがある場合や、パケットロスなどにより取得できていないMP4ファイルがある場合は、特定のMP4ファイルのみをサーバーからダウンロードして蓄積してもよいし、メディアファイルごとダウンロードしてメディアを補完してもよい。
また、蓄積されたメディアが並べ替え可能な状態であることや並べ替えが完了したことを示す識別子やフラグを設けてもよい。また、蓄積されたメディアの再生視聴が可能であることを示す識別子やフラグを設けてもよい。
例えば、メディアが誤りや不足ない状態である場合に並べ替え可能な状態であると判断してもよいし、例えば並べ替えが必要なプログラムの場合、並べ替えが完了している場合にのみ再生視聴可能な状態であるとしてもよい。
また、コンテンツ製作者が、プログラムに対する蓄積、並べ替え、再生視聴に対する条件や、許可する蓄積フォーマットに係るシグナリング情報などを送信し、蓄積状態を示す識別子やフラグなどと併用することにより、蓄積コンテンツの動作の指定や制限をしてもよい。
またコンテンツ製作者がプログラムやメディアを一意に指定できる固有のIDをあらかじめ付与し、受信側ではプログラムやメディアとともに固有のIDをしてもよい。例えば、データ放送やWEBコンテンツ、アプリケーションから、固有のIDを指定することにより、蓄積されたプログラムの再生が可能となる。
また、例えば、放送で伝送されるメディアAと、蓄積されているメディアBとからプログラムを構成する場合、プログラム情報にはメディアBの伝送路情報(ロケーション情報)として蓄積装置を示し、メディアIDとして付与された固有のIDを指定する。受信機ではロケーション情報として蓄積装置が示された場合には、あらかじめ登録した蓄積装置の中のプログラム情報からメディア固有のIDを検索し、放送で伝送されるメディアAとともに同期して再生する。
また、複数のMP4ファイルを解析し、エレメンタリーストリームを再構築した後、一つのMP4ファイルに変換してもよい。複数のメディアは複数のトラックとしてMP4ファイルに蓄積される。MP4ヘッダを解析した結果を基にランダムアクセステーブルやプログラム情報や記録位置を示す制御情報などを生成してもよい。
また、MMTパケットを直接蓄積することも可能である。MMTパケットを直接蓄積する場合、蓄積時にMMTパケットの到着時刻を示すタイムスタンプを付与する。タイムスタンプはMMTパケットヘッダの前に付与してもよいし、MMTパケットヘッダ内部(例えば、NTPタイムスタンプ領域)に格納してもよい。また、複数の伝送路から伝送されたMMTパケットをシーケンス順に並べ替える場合、並べ替えた後にタイムスタンプを付与する。MMTパケットヘッダ、MMTペイロードヘッダ、MFUヘッダなどの中に不要なヘッダ情報がある場合、不要なヘッダを削除した後に蓄積してもよい。ヘッダを削除した場合はヘッダを削除したことを示す情報を格納する。蓄積したデータを再生する時は、タイムスタンプを基にデータを再生する。また、プログラム情報やランダムアクセステーブルを生成してもよい。
また、MMT方式は、複数の蓄積フォーマット(MMTパケット、MP4ファイルフォーマット)で蓄積することが可能であり、複数の蓄積方法から選択できる構成としてもよい。複数の蓄積方法を用いて蓄積してもよい。
それぞれの蓄積方法は、蓄積データ量やデータ構成、再生処理量などにそれぞれ特徴を持つ。蓄積方法の選択はユーザーが複数の選択方法の中から選択できるようにしてもよい。受信機が再生用途によって自動的に選択してもよい。例えば、蓄積したプログラムを他のデバイスに転送するような場合、MMTパケットをそのまま転送可能なMMTパケットを直接蓄積する方法を選択する。
送信側で蓄積フォーマットや蓄積方法を指定するシグナリング情報を送信し、受信機では指定された蓄積フォーマットおよび蓄積方法で蓄積するとしてもよい。
(その他)
MMT方式を用いて伝送されたデータの蓄積方法を示したが、一つのプログラムを構成するメディアが複数の伝送路でかつ異なる多重化方式又はフォーマットで送信された信号を受信し、蓄積することもできる。この場合、プログラム情報を含む制御ファイルには、多重化方式や多重フォーマットを特定できる識別子を格納する。
また、ランダムアクセステーブルには、あるランダムアクセスポイントに対して、ランダムアクセス可能なポイントをそれぞれの多重化方式で識別可能な識別子で示す。例えば、プログラムがMMT方式でパケット化されたMP4ファイル(MPU)と、DASH方式を用いてパケット化されたMP4ファイル(セグメント)で構成されている場合、あるランダムアクセスポイントに対するMPUシーケンス番号およびセグメントシーケンス番号のテーブルを作成する。ランダムアクセステーブルは、送信側であらかじめ生成して放送または通信で伝送してもよいし、受信後のデータを解析しながら作成してもよい。
メディア毎に異なる多重化方式を用いて複数の伝送路で送信する場合、メディアを分割する時間を同一にしてもよい。分割する時間を同一にして伝送することにより、ランダムアクセスポイントが容易に作成できる。
また、蓄積後にいずれかのフォーマットにフォーマット変換してもよい。送信側がどのフォーマットで蓄積するかを指定してもよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の送信装置、受信装置などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、所定のファイル形式のデータ単位であるファイルを複数含む符号化ストリームを受信する受信ステップと、前記符号化ストリームのうちの受信した複数のファイルを記憶部に蓄積する蓄積ステップと、蓄積した前記複数のファイルを再生するために用いる第1制御情報であって、前記複数のファイルを関連付ける第1制御情報を生成する生成ステップと、を含む蓄積方法を実行させる。
また、このプログラムは、コンピュータに、所定のファイル形式のデータ単位であるファイルであって、記憶部に記憶されている複数の前記ファイルを再生する再生方法であって、前記複数のファイルを再生するための制御情報であって、前記複数のファイルを関連付ける制御情報を取得する第1取得ステップと、取得した前記制御情報を解析する解析ステップと、前記解析ステップの結果により、前記記憶部から前記複数のファイルのうちの所定のファイルを取得する第2取得ステップと、取得した前記所定のファイルを再生する再生ステップと、を含む再生方法を実行させてもよい。
また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
なお、本発明の包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよい。また、本発明の包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以上、本発明の一つまたは複数の態様に係る送信方法および受信方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
本発明は、蓄積した符号化データを再生できる再生装置等として有用である。
10 符号化ストリーム
11 シグナリング情報
12 MMTパケット
12a ヘッダ
12b ペイロード
21 メディアファイルA
22 メディアファイルB
31 制御ファイルA
32 制御ファイルB
33 制御ファイルC
100 蓄積装置
110 受信部
120 蓄積部
130 生成部
140 記憶部
200 再生装置
210 第1取得部
220 解析部
221 プログラム情報解析部
222 ランダムアクセステーブル解析部
223 記録位置解析部
230 取得部
240 再生部
241 MP4ファイル解析部
242 メディア復号・提示部

Claims (4)

  1. MPEG−DASH規格に定義されたデータユニットに対応し且つ複数のビデオセグメント及び複数のオーディオセグメントを含む複数のセグメントを再生するために、コンテンツ送信装置に保存された制御情報を前記コンテンツ送信装置から受信する第1受信部と、
    前記複数のビデオセグメントのうちの第1ビデオセグメントと、前記複数のオーディオセグメントのうちの第1オーディオセグメントとを対応付けた再生開始タイミング、を前記制御情報から抽出する抽出部と、
    前記第1ビデオセグメント及び前記第1オーディオセグメントを前記コンテンツ送信装置から受信する第2受信部と、
    前記再生開始タイミングに基づいて、前記第1ビデオセグメント及び前記第1オーディオセグメントを同時再生する再生部と、を備え、
    前記制御情報は、前記制御情報が更新可能か否かを示すフラグを有する
    再生装置。
  2. 前記フラグは、再生順序が変更可能か否かを示す
    請求項1に記載の再生装置。
  3. MPEG−DASH規格に定義されたデータユニットに対応し且つ複数のビデオセグメント及び複数のオーディオセグメントを含む複数のセグメント、を有する符号化ストリームを取得する取得部と、
    前記複数のセグメントを保存するストレージと、
    送信部と、を備え、
    前記ストレージは、前記複数のビデオセグメントのうちの第1ビデオセグメントと前記複数のオーディオセグメントのうちの第1オーディオセグメントとを対応付けた再生開始タイミングを含む制御情報、を保存し、
    前記ストレージは、前記制御情報が更新可能か否かを示し且つ前記制御情報に含められるフラグ、を保存し、
    前記送信部は、前記再生開始タイミングに基づいて前記第1ビデオセグメント及び前記第1オーディオセグメントを再生装置が同時再生するように、前記制御情報を前記再生装置へ送信し、
    前記送信部は、前記第1ビデオセグメント及び前記第1オーディオセグメントを前記再生装置へ送信する
    コンテンツ送信装置。
  4. 前記フラグは、再生順序が変更可能か否かを示す
    請求項3に記載のコンテンツ送信装置。
JP2021082805A 2013-07-22 2021-05-14 再生装置およびコンテンツ送信装置 Pending JP2021122144A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023067850A JP7483091B2 (ja) 2013-07-22 2023-04-18 再生方法および再生装置
JP2024073918A JP2024096289A (ja) 2013-07-22 2024-04-30 再生方法および再生装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361856784P 2013-07-22 2013-07-22
US61/856,784 2013-07-22
JP2019085018A JP6886488B2 (ja) 2013-07-22 2019-04-26 再生方法、コンテンツ送信方法、再生装置、およびコンテンツ送信装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019085018A Division JP6886488B2 (ja) 2013-07-22 2019-04-26 再生方法、コンテンツ送信方法、再生装置、およびコンテンツ送信装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023067850A Division JP7483091B2 (ja) 2013-07-22 2023-04-18 再生方法および再生装置

Publications (1)

Publication Number Publication Date
JP2021122144A true JP2021122144A (ja) 2021-08-26

Family

ID=52487636

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2014136938A Active JP6498882B2 (ja) 2013-07-22 2014-07-02 蓄積方法、再生方法、蓄積装置、および再生装置
JP2019047513A Active JP6524362B1 (ja) 2013-07-22 2019-03-14 蓄積方法、再生方法、蓄積装置、および再生装置
JP2019085018A Active JP6886488B2 (ja) 2013-07-22 2019-04-26 再生方法、コンテンツ送信方法、再生装置、およびコンテンツ送信装置
JP2021082805A Pending JP2021122144A (ja) 2013-07-22 2021-05-14 再生装置およびコンテンツ送信装置
JP2023067850A Active JP7483091B2 (ja) 2013-07-22 2023-04-18 再生方法および再生装置
JP2024073918A Pending JP2024096289A (ja) 2013-07-22 2024-04-30 再生方法および再生装置

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2014136938A Active JP6498882B2 (ja) 2013-07-22 2014-07-02 蓄積方法、再生方法、蓄積装置、および再生装置
JP2019047513A Active JP6524362B1 (ja) 2013-07-22 2019-03-14 蓄積方法、再生方法、蓄積装置、および再生装置
JP2019085018A Active JP6886488B2 (ja) 2013-07-22 2019-04-26 再生方法、コンテンツ送信方法、再生装置、およびコンテンツ送信装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2023067850A Active JP7483091B2 (ja) 2013-07-22 2023-04-18 再生方法および再生装置
JP2024073918A Pending JP2024096289A (ja) 2013-07-22 2024-04-30 再生方法および再生装置

Country Status (5)

Country Link
US (1) US11019320B2 (ja)
EP (2) EP3026898B1 (ja)
JP (6) JP6498882B2 (ja)
CN (3) CN110266985B (ja)
WO (1) WO2015011905A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017033764A1 (ja) * 2015-08-26 2017-03-02 ソニー株式会社 記録装置、および記録方法、並びにプログラム
CN108141636B (zh) * 2015-10-07 2021-03-23 松下知识产权经营株式会社 接收装置以及接收方法
GB2549472B (en) 2016-04-15 2021-12-29 Grass Valley Ltd Methods of storing media files and returning file data for media files and media file systems
JP6964436B2 (ja) * 2016-07-08 2021-11-10 三菱電機株式会社 映像記録装置及び映像再生装置
WO2018047558A1 (ja) * 2016-09-08 2018-03-15 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
MX2019005225A (es) * 2016-11-10 2019-08-05 Sony Corp Dispositivo de procesamiento de informacion, medio de grabacion de informacion y metodo de procesamiento de informacion y programa.
JP7070433B2 (ja) * 2017-01-17 2022-05-18 ソニーグループ株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP7070432B2 (ja) * 2017-01-17 2022-05-18 ソニーグループ株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
WO2018142985A1 (ja) * 2017-02-01 2018-08-09 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP6982829B2 (ja) * 2017-02-15 2021-12-17 パナソニックIpマネジメント株式会社 記録装置、記録方法および記録媒体
JP7017029B2 (ja) * 2017-05-08 2022-02-08 ソニーグループ株式会社 送信装置、及び送信方法
KR20200014284A (ko) * 2017-06-01 2020-02-10 소니 주식회사 정보 처리 장치, 정보 기록 매체 및 정보 처리 방법, 그리고 프로그램
WO2020032004A1 (ja) * 2018-08-06 2020-02-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ格納方法、三次元データ取得方法、三次元データ格納装置、及び三次元データ取得装置
US10974728B2 (en) * 2018-09-11 2021-04-13 Lightmetrics Technologies Pvt. Ltd. Methods and systems for facilitating drive related data for driver monitoring
JP6825075B2 (ja) * 2019-12-27 2021-02-03 三菱電機株式会社 復号装置
JP2020145682A (ja) * 2020-04-15 2020-09-10 松野 桂子 信号処理装置
JP7003308B2 (ja) * 2021-01-13 2022-01-20 三菱電機株式会社 復号装置
CN115359810A (zh) * 2022-08-11 2022-11-18 维沃移动通信有限公司 数据处理方法、设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009090A (ja) * 1998-03-13 2003-01-10 Matsushita Electric Ind Co Ltd 光ディスク、再生装置および再生方法
WO2009128197A1 (ja) * 2008-04-17 2009-10-22 パナソニック株式会社 デジタルテレビ信号処理装置及び字幕表示方法
JP2009302975A (ja) * 2008-06-13 2009-12-24 Nippon Hoso Kyokai <Nhk> コンテンツ配信装置、端末装置、およびコンピュータプログラム。
JP2010028726A (ja) * 2008-07-24 2010-02-04 Nippon Hoso Kyokai <Nhk> 送信装置及び受信装置
WO2011159140A2 (en) * 2010-06-18 2011-12-22 Samsung Electronics Co., Ltd. Storage file format for multimedia streaming file, and storage method and client apparatus using the same
WO2012099359A2 (ko) * 2011-01-19 2012-07-26 삼성전자 주식회사 복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3493822B2 (ja) * 1995-08-04 2004-02-03 ソニー株式会社 データ記録方法及び装置、並びに、データ再生方法及び装置
KR100246762B1 (ko) * 1997-07-19 2000-03-15 윤종용 비디오데이터 디코딩방법
US7162147B2 (en) * 1998-03-13 2007-01-09 Matsushita Electric Industrial Co., Ltd. Data storage medium and apparatus and method for reproducing the data from the same
JP4292654B2 (ja) * 1999-03-19 2009-07-08 ソニー株式会社 記録装置および方法、再生装置および方法、並びに記録媒体
JP4169890B2 (ja) * 1999-11-12 2008-10-22 松下電器産業株式会社 記録装置及びプログラム記録媒体
JP4467737B2 (ja) * 2000-08-16 2010-05-26 パイオニア株式会社 情報記録装置、情報記録方法及び記録制御プログラムが記録された情報記録媒体
EP1508245A1 (en) * 2002-05-28 2005-02-23 Matsushita Electric Industrial Co., Ltd. Moving picture data reproducing device with improved random access
CN101350215B (zh) * 2002-06-24 2012-08-29 Lg电子株式会社 记录和再现用于视频数据的再现的数据结构的方法及装置
JP2004112503A (ja) * 2002-09-19 2004-04-08 Toshiba Corp Pcr検出回路及びpcr検出方法とマルチメディア受信端末装置
JP2004289374A (ja) 2003-03-20 2004-10-14 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラム、及び記録媒体
KR20060011937A (ko) * 2003-03-25 2006-02-06 마쯔시다덴기산교 가부시키가이샤 데이터 송신 장치
JP2005166111A (ja) * 2003-11-28 2005-06-23 Pioneer Electronic Corp 記録媒体、情報記録装置、情報記録方法及び情報記録用プログラム並びに情報記録媒体
EP1791367B1 (en) * 2004-08-31 2011-12-14 Panasonic Corporation Information recording medium, multiplexer, and decoder
JP4580929B2 (ja) * 2004-10-14 2010-11-17 パナソニック株式会社 記録装置、編集装置、およびデジタルビデオ記録システム
GB2419975A (en) 2004-11-09 2006-05-10 Nokia Corp Auxiliary content handling
US8065604B2 (en) * 2004-12-30 2011-11-22 Massachusetts Institute Of Technology Techniques for relating arbitrary metadata to media files
US7499462B2 (en) * 2005-03-15 2009-03-03 Radiospire Networks, Inc. System, method and apparatus for wireless delivery of content from a generalized content source to a generalized content sink
CN102780931B (zh) * 2005-04-25 2015-02-11 夏普株式会社 记录装置、再现装置、记录再现装置
JP4564464B2 (ja) * 2006-01-05 2010-10-20 株式会社東芝 デジタルコンテンツ再生装置、方法およびプログラム
JP2007317264A (ja) * 2006-05-24 2007-12-06 Sony Corp 再生システム、情報処理装置および方法、プログラム、並びに提供装置および方法
JP4285512B2 (ja) * 2006-07-31 2009-06-24 ソニー株式会社 記録装置、記録方法、再生装置、再生方法、記録再生装置、記録再生方法、撮像記録装置及び撮像記録方法
JP4967572B2 (ja) * 2006-09-29 2012-07-04 ソニー株式会社 記録再生装置及び記録再生方法
CN100542250C (zh) * 2006-12-05 2009-09-16 北京九华互联科技有限公司 实现数字媒体组合播放的方法、装置及系统
CN101202873B (zh) * 2006-12-13 2012-07-25 株式会社日立制作所 信息记录再现装置和信息记录再现方法
US7881744B2 (en) * 2007-04-10 2011-02-01 Research In Motion Limited Media transfer and control system
WO2010013456A1 (ja) * 2008-07-30 2010-02-04 パナソニック株式会社 コンテンツ再生システム、コンテンツ再生方法、コンテンツ再生装置、および、サーバ
CN101771869B (zh) * 2008-12-30 2011-09-28 深圳市万兴软件有限公司 一种音视频编解码装置及方法
CN101740082A (zh) * 2009-11-30 2010-06-16 孟智平 一种基于浏览器的视频剪辑方法及系统
EP2597870B1 (en) * 2010-07-19 2019-05-22 LG Electronics Inc. Method for transmitting media files
KR20120083747A (ko) * 2011-01-18 2012-07-26 삼성전자주식회사 방송통신 융합형 서비스를 위한 전송 방법 및 장치
JP5897603B2 (ja) * 2011-01-19 2016-03-30 サムスン エレクトロニクス カンパニー リミテッド 放送システムにおける制御メッセージ構成装置及び方法
JP5879697B2 (ja) * 2011-02-25 2016-03-08 ソニー株式会社 プログラム、情報処理装置および情報処理方法
US8489760B2 (en) * 2011-03-31 2013-07-16 Juniper Networks, Inc. Media file storage format and adaptive delivery system
KR20120138604A (ko) * 2011-06-14 2012-12-26 삼성전자주식회사 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
EP2547062B1 (en) * 2011-07-14 2016-03-16 Nxp B.V. Media streaming with adaptation
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
JP5814739B2 (ja) * 2011-10-18 2015-11-17 キヤノン株式会社 記録装置
JP5143295B1 (ja) * 2012-01-27 2013-02-13 株式会社東芝 電子機器及びインデックス生成方法
JP2013157820A (ja) * 2012-01-30 2013-08-15 Sharp Corp 生成装置、再生装置、生成方法、再生方法、データ構造、制御プログラム、および記録媒体
JP2013157948A (ja) * 2012-01-31 2013-08-15 Sharp Corp 再生装置、再生方法、配信システム、再生プログラムおよび記録媒体
JP2013229690A (ja) * 2012-04-24 2013-11-07 Sharp Corp 配信装置、配信方法、再生装置、再生方法、配信システム、プログラム、記録媒体およびメタデータ
JP2014033423A (ja) * 2012-04-24 2014-02-20 Sharp Corp コンテンツ再生装置、コンテンツ送信装置、コンテンツ再生システム、コンテンツ再生方法、コンテンツ送信方法、制御プログラムおよび記録媒体
JP5941760B2 (ja) * 2012-06-08 2016-06-29 シャープ株式会社 表示制御装置、表示制御方法、表示システム、プログラム、および記録媒体
KR20140002447A (ko) * 2012-06-29 2014-01-08 삼성전자주식회사 멀티미디어 시스템에서 적응적 미디어 구조 송수신 방법 및 장치
WO2014010501A1 (ja) * 2012-07-10 2014-01-16 シャープ株式会社 再生装置、再生方法、配信装置、配信方法、配信プログラム、再生プログラム、記録媒体およびメタデータ
JP6122626B2 (ja) * 2012-12-06 2017-04-26 日本放送協会 復号装置およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009090A (ja) * 1998-03-13 2003-01-10 Matsushita Electric Ind Co Ltd 光ディスク、再生装置および再生方法
WO2009128197A1 (ja) * 2008-04-17 2009-10-22 パナソニック株式会社 デジタルテレビ信号処理装置及び字幕表示方法
JP2009302975A (ja) * 2008-06-13 2009-12-24 Nippon Hoso Kyokai <Nhk> コンテンツ配信装置、端末装置、およびコンピュータプログラム。
JP2010028726A (ja) * 2008-07-24 2010-02-04 Nippon Hoso Kyokai <Nhk> 送信装置及び受信装置
WO2011159140A2 (en) * 2010-06-18 2011-12-22 Samsung Electronics Co., Ltd. Storage file format for multimedia streaming file, and storage method and client apparatus using the same
WO2012099359A2 (ko) * 2011-01-19 2012-07-26 삼성전자 주식회사 복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법

Also Published As

Publication number Publication date
CN110266985B (zh) 2021-11-16
CN105230006B (zh) 2019-12-03
EP3570538B1 (en) 2022-04-13
JP6498882B2 (ja) 2019-04-10
JP6524362B1 (ja) 2019-06-05
EP3026898A4 (en) 2016-07-20
EP3026898A1 (en) 2016-06-01
CN110691211A (zh) 2020-01-14
JP2015023574A (ja) 2015-02-02
CN105230006A (zh) 2016-01-06
US20160099026A1 (en) 2016-04-07
WO2015011905A1 (ja) 2015-01-29
JP2024096289A (ja) 2024-07-12
CN110691211B (zh) 2022-03-25
JP2023090754A (ja) 2023-06-29
EP3570538A1 (en) 2019-11-20
JP2019126081A (ja) 2019-07-25
JP2019134489A (ja) 2019-08-08
US11019320B2 (en) 2021-05-25
JP7483091B2 (ja) 2024-05-14
EP3026898B1 (en) 2019-09-04
CN110266985A (zh) 2019-09-20
JP6886488B2 (ja) 2021-06-16

Similar Documents

Publication Publication Date Title
JP6886488B2 (ja) 再生方法、コンテンツ送信方法、再生装置、およびコンテンツ送信装置
JP6839257B2 (ja) 送信方法、受信方法、送信装置および受信装置
JP6793231B2 (ja) 受信方法
JP6935552B2 (ja) 送信方法、受信方法、送信装置および受信装置
JP7275212B2 (ja) 送信方法、受信方法、送信装置および受信装置
JPWO2017199743A1 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210514

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220614

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230110

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240405