JP2005229587A - Multiplex system conversion device - Google Patents

Multiplex system conversion device

Info

Publication number
JP2005229587A
JP2005229587A JP2005005731A JP2005005731A JP2005229587A JP 2005229587 A JP2005229587 A JP 2005229587A JP 2005005731 A JP2005005731 A JP 2005005731A JP 2005005731 A JP2005005731 A JP 2005005731A JP 2005229587 A JP2005229587 A JP 2005229587A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
data
packet
unit
conversion
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005005731A
Other languages
Japanese (ja)
Other versions
JP2005229587A5 (en )
Inventor
Yoshinori Matsui
Tadamasa Toma
義徳 松井
正真 遠間
Original Assignee
Matsushita Electric Ind Co Ltd
松下電器産業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a multiplex system conversion device capable of preventing motion picture data which cannot be correctly decoded from being displayed to a user. <P>SOLUTION: A converting unit 103 of the multiplex system conversion device comprises a packet loss deciding unit 202 for deciding the packet loss of a TS packet, performing error processing when the packet loss is detected, and outputting pay load data after performing the error processing, and a Box creating unit 206 for creating 'moov' data and 'mdat' data including error information based on a displaying time in inputted AU data and a PES header. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、動画像、音声などの符号化メディアデータの多重化方式を変換して出力する多重化方式変換装置に関する。 The present invention is a moving image, on Multiplexing standards converter for converting the multiplexing scheme of coded media data such as voice.

近年、蓄積メディアや通信ネットワークの大容量化、あるいは伝送技術の進歩にともない、動画や音声などの符号化マルチメディアデータを扱う機器や、サービスが普及してきた。 Recently, the capacity of the storage media and communication network, or with the advanced transmission techniques, and equipment for handling the encoded multimedia data such as video and voice services have become popular. 例えば、放送分野においては、従来のアナログ放送に代わり、デジタル符号化されたメディアデータの放送が開始された。 For example, in the broadcasting field, instead of the conventional analog broadcasting, broadcasting digitally encoded media data is started. 現在のデジタル放送は、固定受信のみを対象としているが、将来的には携帯電話などの移動体向けの放送も予定されている。 Current digital broadcasting, although intended only for fixed reception, are also scheduled broadcast for mobile, such as the future in mobile phone. また、通信分野においても、第3世代の携帯電話向けの動画配信サービスが立ち上がるなど、固定端末と携帯端末の双方でマルチメディアデータを扱う環境が整ってきている。 Also in the field of communications, such as video distribution service of the third generation of mobile phones rises, environment dealing with a multi-media data is becoming well-equipped in both the fixed terminal and the mobile terminal. これらの背景を鑑みると、SD(Secure Digital)カードなどのメモリカード、あるいはDVD-RAM(Digital Versatile Disk-Rewritable)などの光ディスクに、放送や、インターネット経由で受信したコンテンツデータを記録し、機器間でコンテンツデータを共有するといった使用方法の普及が見込まれる。 In view of these background, the optical disk such as an SD (Secure Digital) card such as a memory card or DVD-RAM, (Digital Versatile Disk-Rewritable), to record the content data received broadcast and, over the Internet, between devices in the spread of how to use such as to share content data is expected.

メディアデータを放送、蓄積、あるいはネットワーク経由で配信する際には、メディアデータの再生に必要なヘッダ情報とメディアデータとが多重化される。 Broadcast media data, storage, or when delivering via a network, header information and media data necessary for reproduction of the media data are multiplexed. 多重化にあたっては、放送やDVDなどの蓄積機器向け、および移動体向けに、それぞれ標準の多重化方式が規格化されている。 In multiplexing, and storage devices for such broadcast and DVD, and a mobile object, the multiplexing scheme of each standard have been standardized. まず、デジタル放送やDVDにおいては、ISO/IEC JTC1/SC29/WG 11 (International Standardisation Organization/International Engineering Consortium)において標準化されたMPEG−2(Moving Picture Expert Group)システム規格が使用される。 First, in the digital broadcasting and DVD, ISO / IEC JTC1 / SC29 / WG 11 (International Standardisation Organization / International Engineering Consortium) standardized in the MPEG-2 (Moving Picture Expert Group) system standard is used. また、携帯端末では、第3世代の移動体通信システムの規格化を目的とする国際標準化団体である3GPP(Third Generation Partnership Project)で、無線による動画配信規格として定められたTS26.234(Transparent end-to-end packet switched streaming service)において、ISO/IEC JTC1/SC29/WG 11で標準化されたMP4ファイルフォーマットが採用されている。 Further, in the mobile terminal, in 3GPP, an international standardization organization for the purpose of standardization of the third generation mobile communication system (Third Generation Partnership Project), TS26.234 defined as video distribution standard wireless (Transparent end The in -to-end packet switched streaming service), standardized MP4 file format in ISO / IEC JTC1 / SC29 / WG 11 is employed.

また、動画の符号化方式としては、現在普及しているMPEG−2 VisualやMPEG−4 Visualの後継規格としてMPEG−4 AVC(Advanced Video Coding)が標準化されたことから、今後MPEG−4 AVCの符号化ビデオデータをMPEG−2システム規格やMP4ファイルフォーマット(以降、MP4と呼ぶ)により多重化し、放送、蓄積あるいは配信することが予想される。 As the coding method of moving image, since the currently widespread MPEG-2 Visual and MPEG-4 Visual successor standard as MPEG-4 AVC (Advanced Video Coding) is standardized, future MPEG-4 AVC coded video data MPEG-2 system standard and the MP4 file format (hereinafter, referred to as MP4) was multiplexed by broadcast, it is expected to accumulate or deliver.

以下に、MPEG−2システム、およびMP4における符号化データ多重化方法の概要について説明する。 Hereinafter, MPEG-2 system, and an overview of the coded data multiplexing method in MP4 will be described. MPEG−2システム、およびMP4では、符号化データを扱う際の基本単位としてアクセスユニット(AU)を使用するため、まずAUの構造について説明する。 MPEG-2 system, and the MP4, to use the access unit (AU) as a basic unit in handling a coded data, first the structure of the AU will be described. AUとは、1ピクチャ分の符号化データを含む単位であり、MPEG−4 AVCにおけるAUデータは、図24に示す構造をもつ。 The AU, a unit comprising one picture of encoded data, AU data in the MPEG-4 AVC has a structure shown in FIG. 24. MPEG−4 AVCでは、ピクチャの復号に必須のデータに加えて、復号に必須でないSEI(Supplemental Enhancement Information)と呼ばれる補助情報や、AUの境界情報などをAUデータに含めることができ、これらのデータは全てNAL(Network Adaptation Layer)ユニットに格納される。 In the MPEG-4 AVC, the addition to the required data to the decoding of the picture, and the auxiliary information called SEI (Supplemental Enhancement Information) is not essential for decoding, can be included such as AU data boundary information of AU, these data all is stored in the NAL (Network Adaptation Layer) unit. なお、MPEG−2システムでは、Access Unit Delimiterと呼ばれるAUの開始を示すNALユニットが、必ずAUの先頭に付加される。 In the MPEG-2 system, NAL unit indicating the start of AU called Access Unit Delimiter is always added to the beginning of the AU. NALユニットは、図24(a)に示すようにヘッダとペイロードから構成され、ヘッダのサイズは1バイトであり、ペイロードに格納されるデータのタイプ(以降、NALユニットタイプと呼ぶ)を示すフィールドなどが含まれる。 NAL unit is composed of a header and a payload as shown in FIG. 24 (a), the header size is 1 byte, the type (hereinafter, referred to as NAL unit type) of data stored in the payload, such as field indicating the included. NALユニットタイプは、スライスやSEIなどデータの種類別に値が定義されており、NALユニットに格納されたデータの種類を取得する際にはNALユニットタイプを参照する。 NAL unit type, the value for each type of data such as a slice and SEI are defined, when obtaining the type of data stored in the NAL unit refers to the NAL unit type. AUには、図24(b)および(c)に示すように、1ピクチャ分のスライスデータに加えて、ヘッダ情報やSEIなどのNALユニットが格納されるが、NALユニットにはNALユニットデータの境界を識別するための情報が存在しないため、AU格納時には、各NALユニットの先頭に境界情報が付加することができる。 The AU, as shown in FIG. 24 (b) and (c), in addition to one picture slice data and the NAL unit such as header information and SEI are stored, the NAL unit of the NAL unit data since the information for identifying the boundaries do not exist, at the time of AU stores can boundary information to the top of each NAL unit is added. 境界情報としては、図24(b)のように0x000001の3バイトで示されるスタートコードプレフィックスを付加する方法(以降、バイトストリームフォーマットと呼ぶ)と、図24(c)のようにNALユニットのサイズを付加する方法(以降、NALサイズフォーマットと呼ぶ)の2種類がある。 The boundary information, Figure 24 a method for adding a start code prefix indicated in 3 bytes of 0x000001 as (b) (hereinafter, referred to as the byte stream format), the size of the NAL unit as shown in FIG. 24 (c) there are two methods of adding (hereinafter referred to as NAL size format). なお、AUの先頭NALユニット、および特定のNALユニットタイプ値をもつNALユニットに対しては、スタートコードプレフィックスの前に、zero_byte(値が0x00である1バイト)を1つ以上付加することが規定されている。 Incidentally, for the NAL units with top NAL unit AU, and the particular NAL unit type values, before the start code prefix, it is defined that zero_byte adding one or more (a value of 1 byte is 0x00) ing. MPEG−2システムでは、バイトストリームフォーマットが使用され、MP4ではNALサイズフォーマットが使用される。 The MPEG-2 system, byte stream format is used, MP4 in NAL size format is used.

次に、スライス、およびヘッダ情報について詳しく説明する。 Next, slice, and will be described in detail header information. スライスは、IDR(Instantaneous Decoder Refresh)スライスとそれ以外のスライスの2種類に分けられる。 Slices are divided into two types of IDR (Instantaneous Decoder Refresh) slices and other slice. IDRスライスとは、画面内符号化されたスライスデータであり、後述するSPS(Sequence Parameter Set)などのヘッダ情報はIDRスライスにおいてのみ切り替えることができる。 The IDR slices are intra-coded slice data, header information such as SPS (Sequence Parameter Set) to be described later can be switched only in IDR slice. ピクチャにIDRスライスが含まれる際には、同一ピクチャ内の他のスライスも全てIDRスライスであるため、以降、IDRスライスを含むAUをIDR AUと呼ぶことにする。 When containing the IDR slice in the picture, because all are other slices in the same picture is an IDR slice, and later, it will be referred to as AU including the IDR slice and IDR AU. また、IDR AUから、次のIDR AUの直前AUにより構成される単位をシーケンスと呼び、AUのスライスデータを復号する際には、シーケンス内のAUのみが参照されるため、シーケンス単位でランダムアクセスすることができる。 Moreover, the IDR AU, referred to as a sequence of units composed of just before AU of the next IDR AU, in decoding the slice data of the AU, only AU in the sequence is referenced, a random access sequence unit can do. 次に、ヘッダ情報にはSPSとPPS(Picture Parameter Set)の2種類があり、SPSはシーケンス単位で固定のヘッダ情報であり、PPSはピクチャ単位で切り替えることのできるヘッダ情報である。 Then, the header information has two types of SPS and PPS (Picture Parameter Set), SPS is header information of the fixed sequence unit, PPS is a header information that can be switched on a picture-by-picture basis. SPSとPPSは、ともに複数もつことができ、個々のSPS、あるいはPPSはインデックス番号により区別される。 SPS and PPS are both able to more with the individual SPS or PPS, are distinguished by an index number. また、1NALユニットには1つのSPS、あるいはPPSが格納される。 Further, the 1NAL unit one SPS, or PPS is stored. 各ピクチャが参照するSPS、およびPPSのインデックス番号は次のように取得される。 Index number of SPS, and PPS each picture to see is obtained as follows. まず、ピクチャが参照するPPSのインデックス番号は、スライスデータのヘッダ部に示される。 First, the index number of PPS that picture refers is shown in the header portion of the slice data. 次に、PPSには、PPSが参照するSPSのインデックス番号が示されるため、ピクチャが参照するPPSを解析することにより、ピクチャが参照するSPSのインデックス番号を取得する。 Next, the PPS, since the SPS index number of the PPS referenced is indicated, by analyzing the PPS which picture refers obtains the index number of the SPS that picture refers. ピクチャが参照するSPSおよびPPSは、ピクチャのスライスデータ復号時に必須となる。 SPS and PPS referenced picture becomes essential when slice data decoding of the picture.

次に、放送において、MPEG−2システムによりAUデータを多重化する際の方法について説明する。 Next, the broadcast will be described how when multiplexing the AU data by MPEG-2 system. MPEG−2システムでは、符号化データは、まずPES(Packetized Elementary Stream)パケットに多重化され、さらにPESパケットがTS(Transport Stream)パケットに多重化される。 The MPEG-2 system, coded data is first multiplexed into PES (Packetized Elementary Stream) packet, further PES packets are multiplexed into TS (Transport Stream) packets. 図25の(a)と(b)に、それぞれPESパケットとTSパケットの構造を示す。 Figure 25 and (a) (b), respectively show the structure of a PES packet and a TS packet. PESパケットのペイロードには、アクセスユニット(AU)データが格納される。 The payload of the PES packet, the access unit (AU) data is stored. 図25(a)の(1)から(3)は、PESパケットのペイロードへのAUデータの格納例を示すものであり、(1)、(2)に示すように1以上のAUをまとめて格納してもよいし、(3)に示すようにAUデータを分割して格納してもよい。 Figures 25 (a) (1) (3) shows a storage example of AU data to the payload of the PES packet, (1), are collectively one or more AU as shown in (2) may be stored, it may be stored by dividing the AU data as shown in (3). さらに、ペイロードには、AUデータとは別に、スタッフィングデータを含めることもできる。 In addition, the payload, the AU data separately, can also be included in the stuffing data. PESパケットのヘッダは、0x000001の3バイトで示されるスタートコードプレフィックス、および1バイトのストリームIDから構成される計4バイトのスタートコードから開始する。 Header of the PES packet starts from the start code prefix four-byte start code consisting of, and 1-byte stream ID indicated by 3 bytes of 0x000001. ストリームIDとは、PESパケットのペイロードデータに含まれる符号化データの種類を示す識別番号であり、MPEG−4AVCでは、0xE0以上0xEF以下の任意の値をとることができる。 The stream ID, an identification number indicating the type of the encoded data included in the payload data of the PES packet, the MPEG-4AVC, may take any value 0xE0 more 0xEF less. ヘッダには、ペイロード内で開始する先頭AUの復号時間、および表示時間を格納することができるが、全てのPESパケットに必ずこれらの時間情報が格納されるわけではなく、時間情報が格納されないPESパケットも存在する。 The header decoding time of the top AU starting in the payload, and can store display time, not does not mean necessarily time this information to all the PES packet is stored, the time information is stored PES packet is also present. PESパケットのヘッダにより復号時間、あるいは表示時間が示されないAUの時間情報が必要である際には、AUデータを解析して、直前AUとの復号時間、あるいは表示時間の差分値を取得する。 Decoding time by the header of the PES packet, or when the display time is required time information of AU not shown, it analyzes the AU data, decoding time of the previous AU, or obtains a difference value between the display time. なお、PESパケットの開始位置は、TSパケットのペイロードデータ内で、4バイトのスタートコードをサーチすることにより検出する。 The start position of the PES packet in the payload data of the TS packet is detected by searching the start code of 4 bytes. 一方、PESパケットのデータは、図25の(b)に示すように、TSパケットのペイロードに分割して格納される。 On the other hand, the data of the PES packet, as shown in (b) of FIG. 25, are stored divided into payloads of TS packets. TSパケットは、サイズが188バイトである固定長のパケットであり、4バイトのヘッダ、アダプテーションフィールド、ペイロードデータから構成される。 TS packet is a packet of a fixed length size is 188 bytes, 4 bytes of header, adaptation field, and a payload data. なお、アダプテーションフィールドは、ヘッダ内の特定のフラグがセットされている場合にのみ存在する。 Incidentally, the adaptation field is present only if the particular flag in the header is set. ヘッダには、TSパケットが伝送するデータの種類を示すPIDと呼ばれる識別番号と、continuity_counterと呼ばれるカウンタが含まれる。 The header, the identification number TS packets called PID indicating the type of data to be transmitted, include counter called continuity_counter. continuity_counterは、4ビットのフィールドであり、同一PIDのTSパケットにおいては、送信順に1ずつ増加し、最大値に達すると循環する。 continuity_counter is a 4-bit field, in the TS packets of the same PID, increased by one order sent circulates and reaches the maximum value. TSパケットのPIDと、TSパケットが伝送するデータの種類との対応関係は、別途TSパケットにより送信されるプログラム情報によって提供される。 Correspondence between the PID of the TS packet, the type of data that the TS packet is transmitted is provided by the program information transmitted by a separate TS packets. このため、TSパケット受信時には、まず、TSパケットのPIDを取得し、PIDの値に応じてパケットを振り分ける。 Therefore, at the time TS packets received, first, it obtains the PID of the TS packet, distributes the packet according to the value of PID. 例えば、受信開始時に取得したプログラム情報により、MPEG−4 AVCのデータはPIDが32であるTSパケットにより伝送されることが示される際には、PIDが32であるTSパケットを取得することにより、MPEG−4 AVCのAUデータを取得することができる。 For example, the obtained program information at the start of reception, when the MPEG-4 AVC data are shown to be transmitted by the TS packet with a PID of 32, by acquiring the TS packet with a PID of 32, it is possible to acquire the AU data of MPEG-4 AVC. ここで、受信したTSパケットのcontinuity_counter値にギャップが発生している際には、伝送路においてパケットロスが発生したことを示す。 Here, when the gap is generated in the continuity_counter values ​​of the received TS packet indicates that the packet loss occurs in transmission path. また、TSパケットからAUデータを分離する際には、TSパケットのペイロードデータからPESパケットを分離し、分離されたPESパケットからAUのデータを分離する。 Further, when separating the AU data from the TS packets, separates PES packet from the payload data of the TS packets, separates the data AU from the separated PES packets.

最後に、MP4におけるAUデータの多重化方法について説明する。 Finally, it described multiplexing method of AU data in the MP4. MP4では、サンプル単位のヘッダ情報やメディアデータは、Boxと呼ばれるオブジェクト単位で管理する。 In MP4, header information and media data sample units are managed in units of objects called Box. ここで、サンプルとは、MP4においてメディアデータを扱う際の基本単位であり、1サンプルは1AUに相当する。 Here, the sample and is the basic unit in handling media data in MP4, 1 sample is equivalent to 1 AU. 各サンプルには、復号時間順で昇順となるようにサンプル番号が振られ、サンプル番号は、サンプル毎に1ずつ増加する。 Each sample, sample number so that the ascending swung by the decoding time order, sample number increases by one for each sample. 図26(a)はBoxの構造を示し、以下のフィールドから構成される。 Figure 26 (a) shows the structure of Box, composed of the following fields.
size:sizeフィールドも含めたBox全体のサイズ size: size field was also included Box overall size
type:Boxの識別子であり、通常はアルファベット4文字で表される。 type: the identifier of the Box, usually expressed in alphabetic 4 characters. フィールド長は4バイトであり、MP4ファイル内でBoxを検索する際には、連続する4バイト分のデータがtypeフィールドの識別子と一致するかどうかを判定することにより行う。 Field length is 4 bytes, when searching for Box in MP4 file is carried out by 4 bytes of contiguous data to determine if it matches the identifier of the type field.
version:Boxのバージョン番号 version: Box version number of
flags:Box毎に設定されるフラグ情報データ:ヘッダ情報やメディアデータが格納される。 flags: flag information data is set for each Box: header information and media data are stored.

なお、versionとflagsは必須でないため、Boxによってはこれらのフィールドは存在しない。 Since version and flags is not essential, absent these fields by Box. 以後、Boxの参照にはtypeフィールドの識別子を使用することとし、例えばtypeが'moov'であるBoxは、moovと呼ぶ。 Thereafter, Box in the reference of the Box and the use of identifier type field, for example, the type is 'moov' is referred to as the moov. MP4ファイルにおけるBox構造を図26(b)に示す。 The Box structure in the MP4 file shown in FIG. 26 (b). MP4ファイルは、ftyp、moov、mdat、あるいはmoofから構成され、ftypがファイルの先頭に配置される。 MP4 file, ftyp, moov, consists mdat or moof,, ftyp is placed at the beginning of the file. ftypは、MP4ファイルを識別するための情報を含み、mdatには、メディアデータが格納される。 ftyp includes information for identifying the MP4 file, the mdat, the media data is stored. mdatに含まれる各メディアデータはトラックと呼ばれ、各トラックはトラックIDにより識別される。 Each media data included in the mdat is called a track, each track is identified by the track ID. 次に、moovにはmdatの各トラックに含まれるサンプルについてのヘッダ情報が格納される。 Then, the moov is stored header information for a sample contained in each track of the mdat. moov内では、図27(a)に示すように、Boxが階層的に配置され、オーディオ、ビデオなどの各メディアトラックにヘッダ情報は、それぞれ別々のtrakに格納される。 Within moov, as shown in FIG. 27 (a), Box is arranged hierarchically, audio, header information for each media track, such as video, are stored respectively in separate trak. trak内においても、Boxが階層的に配置され、サンプルのサイズや復号時間、表示開始時間、あるいはランダムアクセス可能なサンプルの情報などがstbl内の各Boxに格納される(図27(b))。 Also in the trak, Box is arranged hierarchically, the size and the decoding time of the sample, display start time, or the like capable of random access sample information is stored in the Box in stbl (Fig 27 (b)) . ランダムアクセス可能なサンプルはシンクサンプルと呼ばれ、シンクサンプルのサンプル番号の一覧は、stbl内のstssにより示される。 Random accessible sample is referred to as the sync sample, the list of sync sample of the sample number is indicated by stss in stbl. 上記では、トラック内の全サンプルのヘッダ情報をmoovに格納していたが、トラックを分割してフラグメント化し、フラグメント単位でヘッダ情報を格納することもできる。 In the above, although not store all samples of the header information in the track moov, fragmented by dividing the track, it is also possible to store the header information on a fragment-by-fragment basis. トラックを分割した単位に対するヘッダ情報は、moofにより示され、図28の例では、mdat #1に格納されるサンプルのヘッダ情報を、moof #1に格納することができる。 Header information for the unit obtained by dividing a track is indicated by moof, in the example of FIG. 28, the header information of the sample stored in the mdat # 1, may be stored in moof # 1.

ここで、携帯端末において受信した放送データを、携帯電話から電子メールに添付して送信するケースを考えてみる。 Here, the broadcast data received in the mobile terminal, consider the case to be sent as an attachment to an e-mail from a mobile phone. 3GPPでは、電子メールにおいて動画像や音声などを扱う際には、メディアデータをMP4で多重化することが規定されている。 In 3GPP, when dealing with such moving images and sound in an electronic mail, it is prescribed for multiplexing the media data in MP4. このため、電子メール送信時には、多重化方式をTSからMP4へ変換する必要がある。 Therefore, at the time of e-mail transmission, it is necessary to convert the multiplexing scheme from the TS to MP4. 以下に、従来の多重化方式変換装置において、MPEG−4 AVCの符号化データが多重化されたTSパケットのパケット列を、MP4ファイルに変換する際の動作について説明する(例えば特許文献1参照)。 Below, in the conventional multiplex scheme conversion apparatus, encoded data of MPEG-4 AVC is a packet sequence of TS packets multiplexed, operation will be described in converting the MP4 file (for example, see Patent Document 1) . なお、変換後のMP4においては、フラグメントは使用しないものとする。 In the MP4 converted, fragment shall not be used. 図29は、変換動作を示すフローチャートである。 Figure 29 is a flow chart showing a conversion operation. ステップ101では、入力されたTSパケットのペイロードからPESパケットの開始位置を検出することにより、PESパケットのデータを分離する。 In step 101, by detecting the start position of the PES packet from the payload of the inputted TS packets, it separates the data of the PES packet. 次に、ステップ102では、分離されたPESパケットのペイロードデータから、AUの開始位置を検出する。 Next, in step 102, the payload data of the separated PES packet, detects the start position of the AU. AUの開始位置が検出されるまでステップ101とステップ102を繰り返し(ループA)、検出された時点で、1AU分のAUデータを分離する。 To the start of the AU is detected repeatedly steps 101 and step 102 (loop A), when it is detected, it separates the AU data of 1AU minute. ステップ103では、PESヘッダに示される表示時間情報を取得し、ステップ104では、moov、およびmdatを作成する。 In step 103, it acquires the display time information shown in the PES header, in step 104, creates moov, and mdat. 最終TSパケットの処理が完了するまでステップ101からステップ104(ループB)の処理を繰り返し、メディアデータの全AUを処理した時点で、ループBを終了し、ステップ105において、moov、およびmdatのデータを連結し、MP4ファイルの作成を完了する。 The final steps 101 to process the TS packet is completed repeats the processing in step 104 (loop B), at the time of processing the total AU of media data, exit the loop B, in step 105, moov, and mdat data was ligated, complete the creation of the MP4 file. 図30は、ステップ104の処理の詳細を示すフローチャートである。 Figure 30 is a flowchart showing details of processing in step 104. ステップ201において、AUデータを解析し、moov内のBoxを作成するために必要なヘッダ情報を取得する。 In step 201, it analyzes the AU data, acquires the header information needed to create a Box in moov. ステップ202では、AUを構成するNALユニットの格納形式を、バイトストリームフォーマットからNALサイズフォーマットに変換する。 In step 202, the storage format of the NAL units constituting the AU, into a NAL size format from the byte stream format. ステップ203では、ステップ201において取得したAUのヘッダ情報をもとに、moov内のBoxデータを作成し、ステップ204ではmdatデータを作成する。 In step 203, based on the acquired header information in AU in step 201, to create a Box data in moov, creating the mdat data at step 204. なお、サンプルのサイズ、および復号時間情報など、サンプル毎のヘッダ情報を格納するBoxは、トラック内の全AUの処理が完了した時点で作成が完了する。 The size of the sample, and the like decoding time information, Box for storing header information for each sample is completed is created when the processing of all the AU in the track has been completed.
特開2003−114845号公報 JP 2003-114845 JP

放送されるTSパケットを受信する際には、天候や受信条件によってはパケットロスが発生する。 When receiving TS packets to be broadcast, a packet loss occurs depending on the weather and the reception conditions. 特に、携帯電話などの移動体端末によって移動しながら受信するようなケースでは、パケットロスが頻発することがある。 In particular, in the case such that the received while being moved by the mobile terminal such as a mobile phone, there is a packet loss occurs frequently. TSパケットでは、continuity_counter値が不連続となっていないかどうかを調べることにより、パケットロスによりAUデータが欠落していることを検出できるが、MP4においてはサンプルデータの欠落を示すことができない。 The TS packet, by checking whether continuity_counter value is not discontinuous, can detect that the AU data is lost due to packet loss, can not show a loss of sample data in the MP4. そのため、MP4ファイルを再生する際に、データが欠落していて正常に復号することができないサンプルデータを復号し、結果として、画質の低い動画像データを表示してしまうという第1の課題があった。 Therefore, when reproducing the MP4 file, it decrypts the sample data that can not be successfully decoded the data is missing, as a result, there is a first problem that display the low moving image data having image quality It was.

さらに、多重化方式をTSからMP4に変換する際には、NALユニットの格納形式をバイトストリームフォーマットからNALサイズフォーマットに変換する必要がある。 Furthermore, when converting a multiplexing scheme to MP4 from the TS, it is necessary to convert the storage format of the NAL units from the byte stream format in the NAL size format. バイトストリームフォーマットでは、NALユニットの先頭に付加されたスタートコードを検出することによりNALユニットの境界を検出するが、パケットロスにより境界部分がロストした際には、境界が検出できず、NALユニットのデータを正確に分離することができない。 The byte stream format, but detects the boundaries of NAL units by detecting the added start code at the beginning of the NAL unit, when the boundary is lost by packet loss, can not be detected boundaries, the NAL unit it is impossible to accurately separate the data. 従来は、NALユニットデータが正確に分離できなかった際に、NALユニットのデータをMP4のサンプルとして格納する方法が規定されていなかったため、変換後のNALユニットに格納するデータを決定できないという第2の課題があった。 Conventionally, when the NAL unit data can not be accurately separated, for a method of storing the data of the NAL unit as MP4 sample has not been defined, the second can not determine the data to be stored in the NAL unit of the converted there was a problem.

そこで、本発明は上記の事情に鑑みてなされたものであり、ユーザに対して正しく復号できない動画像データを表示してしまうことを防止することができる多重化方式変換装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, it aims to provide a multiplexing scheme conversion apparatus capable to prevent that displays the moving image data can not be decoded correctly for the user to.

上記目的を達成するために、本発明に係る多重化方式変換装置は、第1の方式によりパケット多重化された符号化メディアデータを前記第1の方式と異なる第2の方式によりパケット多重化して出力する多重化方式変換装置であって、前記第1の方式によりパケット多重化された符号化メディアデータにおけるパケットロスの有無を判定するパケットロス判定手段と、前記パケットロス判定手段でパケットロスが有と判定された場合に、前記符号化メディアデータにおけるデータが欠落した位置に基づいて、データ欠落に関する欠落情報を生成する欠落情報生成手段と、前記欠落情報生成手段で生成された欠落情報を前記第2の方式のパケットに格納するとともに、前記符号化メディアデータを前記第2の方式によりパケット多重化する多重 To achieve the above object, the multiplexing system conversion apparatus according to the present invention, the encoded media data packets multiplexed by the first scheme and the packet multiplexed by the first method and the second scheme different a multiplexing scheme conversion apparatus that outputs the packet loss determining means for determining whether a packet loss in a packet multiplexed coded media data by a first method, a packet loss by the packet loss determining means Yes and when it is determined, on the basis of the position data is missing in the encoded media data, the missing information generating means for generating the missing information about the missing data, the missing information generated by said missing information generating means the stores the packets in the second scheme, multiple of packets multiplexed by the encoded media data and the second type 手段とを備えることを特徴とする。 Characterized in that it comprises a means.

これによって、例えばMP4である第2の方式のファイルでは、サンプルデータを復号することなく、例えばMPEG−2システムのTSである第1の方式のTSパケットのパケットロスによりデータが欠落したサンプルについての情報が得られるため、例えばオーディオやビデオの復号手段よりも上位のシステムレイヤにおいて、サンプルの復号、あるいは表示動作を決定することができる。 Thus, in the file of the second type is a MP4 example, without decoding the sample data, for example for samples by the packet loss data is missing in the first scheme of TS packet is a TS of MPEG-2 system because information is obtained, for example, in the upper system layer than decoding means for audio or video, it can be determined a sample of decoding or displaying operation.

また、前記多重化方式変換装置は、さらに、前記第1の方式によりパケット多重化された符号化メディアデータのパケットからヘッダとペイロードを分離するパケット分離手段を備えてもよい。 Further, the multiplex scheme conversion apparatus may further include a packet separating means for separating a header and a payload from the packet multiplexed coded media data packet by using the first method.

また、前記多重化方式変換装置は、さらに、前記パケット分離手段で分離された前記ペイロードから前記符号化メディアデータのフレーム境界を検出してフレームを分離するフレーム分離手段を備え、前記欠落情報生成手段は、前記パケットロス判定手段でパケットロスが有と判定された場合に、前記符号化メディアデータにおけるデータが欠落した位置に基づいて、データ欠落に関する欠落情報をフレーム単位で生成し、前記多重化手段は、前記欠落情報生成手段で生成された前記フレーム単位の欠落情報を前記第2の方式のパケットに格納してもよい。 Further, the multiplex scheme conversion apparatus further includes a frame separation means for separating the frame by detecting the frame boundary of the encoded media data from the separated the payload by the packet separating means, said missing information generating means , when a packet loss by the packet loss determining means determines that Yes, on the basis of the position data is missing in the encoded media data, to generate the missing information about the missing data in frame units, said multiplexing means may store the missing information of the frame generated by said missing information generating means to the packet of the second type. ここで、前記欠落情報生成手段は、復号に必須なデータが欠落していないフレームが復号順で1枚以上連続する区間を示す情報を前記欠落情報として生成してもよい。 Here, the missing information generating means, the information indicating a section frame mandatory data to decoding is not missing or more consecutive one in decoding order may be generated as the missing information.

これによって、例えばMP4である第2の方式のファイルでは、サンプルが正しく復号できる区間をシステムレイヤにおいて特定できるため、データが欠落したサンプルを復号して、乱れた表示画像を出力することによる再生品質の低下を防ぐことができる。 Thus, in the file of the second type is a MP4 example, for a section sample can decrypt correctly be identified in the system layer, reproduction by the decoding the sample data is missing, and outputs the display image disordered quality it is possible to prevent the deterioration of.

また、前記多重化方式変換装置は、さらに、ランダムアクセス可能であるフレームを登録するためのテーブルを作成する作成手段を備え、前記多重化手段は、前記符号化メディアデータのランダムアクセス可能であるフレームを前記テーブルへ登録する際に、前記符号化メディアデータにおけるデータが欠落した位置に基づいて、前記フレームにおいて復号に必須なデータが欠落しているか否かを判定し、前記フレームにおいて復号に必須なデータが欠落していれば、前記フレームをランダムアクセス可能なフレームとして前記テーブルへ登録しなくてもよい。 Further, the multiplex scheme conversion apparatus may further include a creating means for creating a table for registering the random access possible is frame, the multiplexing means is capable random access of the encoded media data frames when registering to said table, on the basis of the position data is missing in the encoded media data, it determines whether the mandatory data to the decoding in the frame is missing, essential to the decoding in the frame if data is missing, the frame may not be registered into the table as a random-accessible frame.

これによって、例えばMP4である第2の方式のファイルでは、シンクサンプルが正しく復号できることが保証されるため、ランダムアクセス時の再生品質の低下を防ぐことができる。 Thus, in the file of the second type is a MP4 example, because it ensures that the sync sample can correctly decoded, it is possible to prevent deterioration of the reproduction quality at the time of random access.

また、前記多重化方式変換装置は、さらに、前記符号化メディアデータの格納形式を変換する変換手段を備えてもよい。 Further, the multiplex scheme conversion apparatus may further comprise a converting means for converting the storage format of the coded media data. ここで、格納形式とは、多重化方式より狭い意味で用い、例えばフレームデータの格納方式等である。 Here, the storage format, used in a narrow sense than multiplexing scheme, such as storage system or the like of the frame data.

また、前記フレームが1以上のサブフレーム単位から構成され、前記変換手段は、サブフレーム単位の先頭に前記サブフレームのサイズ情報を付加して前記格納形式を変換する際には、前記符号化メディアデータにおけるデータが欠落した位置に基づいて、前記第2の方式のパケットに格納するサブフレームデータ、およびサブフレームデータのサイズを決定してもよい。 Further, the frame is composed of one or more sub-frames, said converting means when converting the storage format by adding the size information of the sub-frame at the head of the subframe, the coded media based on the position data is missing in the data, the sub-frame data stored in the packet of the second type, and the size of the sub-frame data may be determined.

これによって、例えばMP4である第2の方式のファイルでは、パケットロスによりデータが欠落している際にも、MPEG−4 AVCのAUデータを、NALサイズフォーマットに変換することができる。 Thus, in the file of the second type is a MP4 example, even when data is missing by packet loss, the AU data of MPEG-4 AVC, it is possible to convert the NAL size format.

また、前記フレームが1以上のサブフレーム単位から構成され、前記変換手段は、前記符号化メディアデータにおけるデータが欠落した位置に、データの欠落を示すサブフレーム単位を挿入した上で、前記符号化メディアデータを前記第2の方式によりパケット多重化してもよい。 Further, the frame is composed of one or more sub-frames, said converting means, a position data is missing in the encoded media data, after inserting the sub-frame unit indicating the lack of data, the encoding the media data may be packet multiplexed by the second method.

これによって、例えばMP4である第2の方式のファイルでは、サンプルデータに挿入された、パケットロス情報を通知するためのNALユニットを検出することにより、復号手段においてもAUデータの欠落位置を特定でき、適切なエラー隠匿処理を行うことができる。 Thus, in the file of the second type is a MP4 example, is inserted into the sample data, by detecting the NAL unit for notifying the packet loss information, you can also identify the missing position of AU data in the decoding unit , it is possible to perform appropriate error concealment processing.

また、前記欠落情報生成手段は、所定単位の復号に必須なデータが欠落しているか否かを示す情報を前記欠落情報として生成してもよい。 Further, the missing information generating means, the information indicating whether mandatory data to the decoding of a predetermined unit is missing may be generated as the missing information.

これによって、例えばMP4である第2の方式のファイルでは、復号に必須な例えばSPS(Sequence Parameter Set)やPPS(Picture Parameter Set)、あるいはスライス等のデータが欠落したサンプルをシステムレイヤにおいて特定できるため、データが欠落したサンプルを復号して、乱れた表示画像を出力することによる再生品質の低下を防ぐことができる。 Thus, in the second scheme file is MP4 example, essential e.g. SPS to decoding (Sequence Parameter Set) or PPS (Picture Parameter Set), or because the sample data is missing, such as a slice can be identified in the system layer decrypts the sample data is lost, it is possible to prevent deterioration of the reproduction quality due to output the display image disordered.

また、本発明に係る逆多重化装置は、符号化メディアデータがパケット多重化された多重化データを復号する逆多重化装置であって、前記多重化データからデータ欠落に関する欠落情報を抽出する欠落情報抽出手段と、前記欠落情報抽出手段で抽出された前記欠落情報に基づいて前記符号化メディアデータの中で復号するデータを決定する欠落情報解析手段と、前記欠落情報解析手段で復号すると決定された前記データを復号する復号手段とを備えることを特徴とする。 The inverse multiplexing device according to the present invention, there is provided a demultiplexer for encoded media data to decode the multiplexed data packet multiplexing, missing for extracting the missing information about the missing data from the multiplexed data an information extracting unit, and the loss information analyzing means for determining the data to be decoded in the coded media data based on said missing information extracted by said missing information extracting means is determined to be decoded by said missing information analyzer characterized in that it comprises a decoding means for decoding the data.

これによって、例えばMP4である多重化データでは、サンプルの欠落情報を示すBoxを参照して、サンプルの復号、表示動作を決定することができるため、データが欠落したサンプルを復号して、乱れた表示画像を出力することによる再生品質の低下を防ぐことができるとともに、エラー隠匿方法が異なる復号表示手段を使用した際にも、同一の出力結果を得ることができる。 Thus, in the multiplexed data is MP4 example refers to the Box indicating the missing information of the sample, the sample of the decoding, it is possible to determine the display operation, and decodes the samples data is missing, disordered it is possible to prevent deterioration of reproduction quality due to output a display image, even when using the decoded display means error concealment methods are different, it is possible to obtain the same output.

また、前記逆多重化装置は、さらに、前記欠落情報抽出手段で抽出された前記欠落情報に基づいて再生品質をユーザに通知する欠落情報通知手段を備えてもよい。 Further, the demultiplexer may further include the missing information notifying means for notifying the reproduction quality to the user based on said missing information extracted by said missing information extracting means.

これによって、例えばMP4である多重化データでは、例えばサンプルデータの欠落率(欠落データ/全データ)等の再生品質をユーザに通知することができる。 Thus, the multiplexed data is MP4 example, such missing of the sample data reproduction quality, such as (missing data / total data) can notify the user.

さらに、本発明は、このような多重化方式変換装置および逆多重化装置として実現することができるだけでなく、このような多重化方式変換装置および逆多重化装置が含む特徴的な手段をステップとして含む多重化方式変換方法および逆多重化方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。 Furthermore, the present invention not only can be realized as such a multiplex scheme conversion apparatus and demultiplexing apparatus, the characteristic units of such multiplex scheme conversion apparatus and demultiplexing device includes a step but also as a multiplexing scheme conversion method and demultiplexing method comprising, it may be a program causing a computer to execute these steps. そして、そのようなプログラムは、CD−ROM等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。 Then, it goes without saying that such a program can be distributed via a transmission medium such as a recording medium or the Internet, such as a CD-ROM.

以上の説明から明らかなように、本発明に係る多重化方式変換装置によれば、正しく復号できない動画像データを示すことにより、再生品質の低下を示すことができる。 As apparent from the above description, according to the multiplexing scheme conversion apparatus according to the present invention, by showing the moving image data can not be decoded correctly, it is possible to show a reduction in reproduction quality.

以下、本発明の実施の形態について、図面を参照しながら説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(実施の形態1) (Embodiment 1)
まず、本発明の実施の形態1に係る多重化方式変換装置について図1から図12を参照して説明する。 First, a description will be given multiplexing scheme conversion apparatus according to a first embodiment of the present invention with reference to FIGS. 1 to 12. ここでは、MPEG−4 AVCの符号化ビデオデータが多重化されたTSパケットを入力して、TSパケットからAUデータを分離し、MP4に多重化して出力するものとする。 Here, encoded video data of the MPEG-4 AVC has to input TS packets multiplexed, separates the AU data from the TS packet, and outputs the multiplexed to MP4. なお、パケット多重化される符号化データは、MPEG−4 AVCに限定されるものではなく、MPEG−4 VisualやH. Incidentally, the encoded data is packetized multiplexed is not limited to MPEG-4 AVC, MPEG-4 Visual or H. 263、あるいはSMPTE(Society of Motion Picture and Television Engineers)で規格化中のVC−1などのビデオ符号化データ、あるいはMPEG−4 AACやAMRなどのオーディオ符号化データであってもよい。 263, or SMPTE (Society of Motion Picture and Television Engineers) in may be audio encoded data such as video encoded data or MPEG-4 AAC or AMR, such as VC-1 in standardization. さらに、入力されるTSパケットには、ビデオの符号化データを伝送するTSパケットだけでなく、オーディオ、あるいはプログラム情報が含まれていてもよい。 In addition, the TS packet input, not only the TS packet that transmits video encoded data may include audio or program information, is. この場合は、まずプログラム情報を含むTSパケットを取得して、ビデオ、およびオーディオの符号化データを伝送するTSパケットのPIDを決定する。 In this case, first acquires the TS packet including the program information to determine the PID of the TS packet that transmits video, and audio encoded data. その後、PIDの値に基づいて、ビデオとオーディオのTSパケットを振り分け、それぞれ処理を行う。 Then, based on the value of the PID, sorting the TS packets of video and audio, performs each process.

図1は、多重化方式変換装置の全体構成を示す図である。 Figure 1 is a diagram showing the overall configuration of a multiplex scheme conversion apparatus. 本装置は、TSパケットデータを入力してメモリ102に格納するとともに、多重化方式変換後のMP4ファイルを出力するデータI/O部101と、メモリ102からTSパケットデータを取得してAUデータ、およびPESパケットのヘッダを分離、解析し、解析結果をメモリ102に記憶させ、前記分離したAUデータを、前記解析結果を用いてMP4に変換し、変換処理結果をメモリ102に出力する変換部103とから構成される。 The apparatus stores to input TS packet data in the memory 102, a data I / O unit 101 for outputting the MP4 file after multiplexing method conversion, AU data from the memory 102 acquires the TS packet data, and the header of the PES packet separation, and analysis, the analysis results stored in the memory 102, the AU data wherein the separation is converted into MP4 using the analysis result, the conversion unit 103 for outputting a conversion result to the memory 102 composed of a. ここで、メモリ102には、入出力データの保存領域、および変換処理結果やAUデータを一時的に格納するワーク領域が存在し、各領域のサイズは可変とできる。 Here, the memory 102, storage area for input and output data, and the work area is present to store conversion results and AU data temporarily, the size of each region can be varied. また、再構成部103は、ここではCPUであるとするが、専用のハードウェアであってもよい。 Furthermore, the reconstruction unit 103 is a here a CPU, it may be a dedicated hardware. 以下に、変換部103の動作を詳細に説明する。 Hereinafter, the operation of the conversion unit 103 in detail.

図2は、変換部103の構成を示すブロック図である。 Figure 2 is a block diagram showing the configuration of the conversion unit 103. 変換部103は、TSペイロード分離部201、パケットロス判定部202、PES分離解析部203、AU分離部204、PESヘッダ解析部205、Box作成部206、および連結部207とを備える。 Conversion unit 103 includes TS payload separation section 201, the packet loss determining unit 202, PES separation analysis unit 203, AU separation unit 204, PES header analyzer 205, Box creating unit 206, and a connecting portion 207. TSペイロード分離部201は、TSパケットのヘッダ、およびペイロードを分離して、パケットロス判定部202に出力する。 TS payload separation section 201 separates the header and the payload of the TS packet and outputs the packet loss determining unit 202. パケットロス判定部202は、TSパケットのパケットロスを判定し、パケットロスが検出された際には、エラー処理を行い、エラー処理後のペイロードデータをPES分離解析部に出力する。 Packet loss determining unit 202 determines the packet loss of the TS packet, when the packet loss is detected, an error process is executed to output the payload data after error handling PES separation analysis unit. パケットロスを判定する際は、TSヘッダからcontinuity_counter値を取得して、直前に入力されたTSパケットのcontinuity_counter値と比較し、値が不連続である際には、パケットがロスしたと判定する。 In determining the packet loss obtains the continuity_counter values ​​from the TS header, compared with the continuity_counter values ​​of the TS packets input immediately before, it is determined that the time value is discontinuous, the packet is lost. ここで、continuity_counterの最大値は15であるため、直前TSパケットのcontinuity_counter値が15で、現TSパケットのcontinuity_counter値が0である際には、continuity_counterが循環したとみなし、パケットロスとは判定しない。 Here, since the maximum value of the continuity_counter is 15, in continuity_counter value immediately before the TS packet is 15, when continuity_counter values ​​of the current TS packet is zero, it is considered that continuity_counter is circulated, it does not determine the packet loss . パケットロスを検出した際には、パケットロス通知用の情報として、NALユニットタイプが25であり、ペイロードが空であるNALユニットを、バイトストリームフォーマット形式として、現TSパケットのペイロードデータの先頭に挿入する。 Upon detection of packet loss, as the information for the packet loss notification, NAL unit type is 25, the NAL unit payload is empty, as a byte stream format is inserted into the head of the payload data of the current TS packet . なお、挿入するNALユニットのNALユニットタイプは、当該NALユニットタイプが他の目的で使用されていなければ、24以上31以下の任意の値をとることができる。 Incidentally, NAL unit type of the NAL unit to be inserted, the NAL unit type if it is not used for other purposes, may take any value 24 to 31. ここで、0、および24以上31以下のNALユニットタイプは、AVC規格において、アプリケーションが任意に使用できる領域として定義されている。 Here, 0, and 24 to 31 of the NAL unit type, in the AVC standard, the application is defined as any space available. また、パケットロス通知用の情報としては、AVCストリーム内で現われることのないコードパターンを挿入してもよいし、ストリームとは別にパケットロス情報を管理してもよい。 Further, as the information for the packet loss notification may be inserted without code patterns appearing in the AVC stream, it may be managed separately from the packet loss information to the stream. 次に、PES分離解析部では、パケットロス通知用のNALユニットが挿入されたTSパケットのペイロードデータから、MPEG−4 AVCにおけるPESパケットのスタートコード(0x000001E0以上、0x000001EF以下の値)をサーチすることによりPESパケットの開始位置を検出する。 Next, the PES separation analysis unit, from the payload data of the TS packet NAL unit packet loss notification is inserted, MPEG-4 start code of the PES packets in AVC (0x000001E0 above, the following values ​​0X000001EF) searching the detecting the start position of the PES packet by. ここで、PESパケットのヘッダには、PESパケットのサイズを示すフィールドが存在する場合には、当該サイズを用いてペイロードを分離してもよい。 Here, the header of the PES packet, if there is a field indicating the size of the PES packet may separate the payload using the size. PESパケットを分離した後、PESパケットのヘッダとペイロードを分離し、ヘッダデータをPESヘッダ解析部205に出力し、ペイロードデータをAU分離部204に出力する。 After separation of the PES packet, it separates the header and the payload of the PES packet, and outputs the header data to the PES header analyzing unit 205, and outputs the payload data to the AU separation unit 204. なお、PESパケットにおけるスタッフィングデータは、ペイロードデータには含めない。 Incidentally, stuffing data in the PES packet is not included in the payload data. AU分離部204では、PESパケットのペイロードデータから、AUの境界を検出してAUデータを分離し、分離したAUデータをBox作成部206に出力する。 The AU separation unit 204, the payload data of the PES packet, separates the AU data by detecting the boundaries of the AU, and outputs the separated AU data in Box creation section 206. ここで、パケットロス判定部によりパケットロス通知用のNALユニットが挿入された際には、Box作成部206に出力されるAUデータにも、パケットロス通知用NALユニットが含まれる。 Here, when the NAL unit of packet loss notification is inserted by the packet loss determining unit, also AU data output to Box creating unit 206 includes a packet loss notification NAL unit. PESヘッダ解析部205では、入力されたPESヘッダのデータに、PESペイロード内で開始する先頭AUの表示時間が含まれるか判定し、含まれる際には、AUの表示時間をBox作成部206に出力する。 In PES header analyzer 205, the data of the input PES header, determines whether either of the display time of the top AU starting in PES payload, before you are included, the Box creation unit 206 the display time of AU Output. 次に、Box作成部206は、入力されたAUのデータ、およびPESヘッダにおける表示時間に基づいて、パケットロス情報を含むmoov、およびmdatを作成し、連結部207に出力する。 Next, Box generator 206, input AU data, and based on the display time in the PES header, create moov, and mdat including packet loss information, and outputs the coupling portion 207. なお、Box作成部206は、moov、mdatに加えて、moofやmfraを作成してもよい。 Incidentally, Box generator 206, moov, in addition to the mdat, may create a moof and Mfra. 最後に、連結部207は、moovとmdatを連結してMP4ファイルのデータとして出力する。 Finally, the connecting portion 207 connects the moov and mdat output as MP4 file data.

図3は、変換部103の動作を示すフローチャートである。 Figure 3 is a flowchart showing the operation of the conversion unit 103. まず、ステップ301において、TSパケットのロスが発生したかどうか判定し、パケットロスの発生を検出した際には、パケットロス検出位置に、パケットロス通知用のNALユニットを挿入する。 First, in step 301, it is determined whether the loss of the TS packet has occurred, when detecting the occurrence of a packet loss, the packet loss detection position, to insert the NAL unit for packet loss notification. 続いて、ステップ302において、PESパケットのヘッダとペイロードを分離し、ステップ303において、分離したPESパケットのペイロードからAUの境界を検出し、AUデータを分離する。 Subsequently, in step 302, it separates the header and the payload of the PES packet, at step 303, and detects a boundary of an AU from the payload of the separated PES packet, separates the AU data. 図3のループAに示すように、ステップ301からステップ303の動作を、1AU分のデータが分離できるまで繰り返す。 As shown in the loop A in FIG. 3 are repeated from step 301 the operations of step 303, until the data of 1AU fraction can be separated. 1AU分のデータを分離した後、ステップ304では、PESパケットのヘッダを解析して、PESペイロード内で開始する先頭AUの表示時間が含まれるか判定し、含まれる際には、AUの表示時間を取得する。 After separating the data of 1AU content, in step 304, it analyzes the header of the PES packet, and determines whether either of the display time of the top AU starting in PES payload, as they are Included, the display time of AU to get. なお、ステップ304の処理は、ループA内の処理で行ってもよい。 The processing in step 304 may be performed in the processing of the loop A. 次に、ステップ305において、ループAにおいて分離したAUデータ、およびステップ304において取得した表示時間情報をもとに、MP4ファイル内のBoxデータを作成する。 Next, in step 305, AU data separated in the loop A, and based on the acquired display time information at step 304, to create a Box data MP4 file. 入力されるTSパケットに含まれる全AUデータの処理が完了するまで、ループBの処理を繰り返し、全AUデータの処理を完了した時点で、moov、およびmdatを完成し、ステップ306において、moov、およびmdatを連結してMP4ファイルを出力する。 Until the processing of all the AU data included in the TS packet input is completed, repeats the processing of the loop B, and upon completion of the processing of all the AU data, moov, and completed the mdat, in step 306, moov, and by connecting the mdat to output the MP4 file. ここで、ループBは、ループA、ステップ304、およびステップ305の処理を含む。 Here, the loop B includes a processing loop A, step 304, and step 305. なお、ftypについては、ステップ305において作成し、moovに付加して出力する、あるいは、ステップ306においてmoovに付加することとする。 Note that the ftyp, creates in step 305, additional and outputs the moov, or to be added to the moov in step 306. なお、フラグメントを使用したMP4ファイルを出力することとしてもよい。 Incidentally, it is also possible to output the MP4 file using fragments. この際は、ステップ305において、1フラグメント分のmoofとmdatが決定した時点でmoofとmdatを出力してループBを抜け、ステップ306において、出力されたmoofとmdatを順次連結する。 In this case, in step 305, out of the loop B outputs a moof and mdat when 1 fragment content of moof and mdat is determined, in step 306, sequentially connecting the outputted moof and mdat. さらに、フラグメント使用時には、メディアトラックの全サンプルのヘッダ情報をmoofに格納してもよいし、トラックの先頭部分のサンプルについては、ヘッダ情報をmoovに格納してもよい。 Further, when the fragment using the header information of all samples of the media tracks may be stored in moof, for a sample of the top portion of the track may store the header information to the moov.

Box作成部205の構成、および動作について、詳しく説明する。 Configuration of the Box creating unit 205, and the operation will be described in detail. なお、以下では、単にNALユニットと記述する場合には、TSパケットのペイロードに含まれていたNALユニットを指し、パケットロス通知用のNALユニットは含めないものとする。 In the following, in the case of simply writing the NAL unit refers to NAL units contained in the payload of the TS packet, the NAL unit of packet loss notification shall not include. 図4は、Box作成部205の構成を示すブロック図である。 Figure 4 is a block diagram showing the structure of Box creation unit 205. Box作成部205は、AU解析部301、エラー情報生成部302、AU形式変換部303、およびBoxデータ決定部304とから構成される。 Box creating unit 205 is composed of AU analyzer 301, the error information generating unit 302, AU format conversion unit 303, and Box data determination unit 304.. まず、AU解析部301は、AUデータを解析し、AUの表示時間、あるいは、AU IDRであるかどうかなど、従来のMP4ファイルを構成するBoxの作成に必要な情報を取得し、解析結果をBoxデータ決定部304に出力する。 First, AU analyzer 301 analyzes the AU data, the display time of AU, or, for example, whether it is AU IDR, obtains information needed to create a Box constituting the conventional MP4 file, the analysis results and it outputs the Box data determination unit 304. ここで、AU解析部301が出力する解析結果には、AUのサイズは含めない。 Here, the analysis result AU analysis unit 301 outputs the size of the AU is not included. また、従来のMP4ファイルを構成するBoxには、エラー情報(欠落情報)を示すBox、あるいは、mdat内でエラー情報を示すための識別情報は含まれない。 Further, the Box constituting the conventional MP4 file, Box indicating error information (loss information), or does not include identification information for indicating the error information in the mdat.

以下に、パケットロスのために、AUの時間情報、あるいはAUデータを復号する際に参照するSPS、あるいはPPSのデータが欠落している際の動作について説明する。 Hereinafter, for the packet loss, time information of AU, or SPS referred to when decoding the AU data, or operation when the PPS data is missing will be described. PESパケットのヘッダ情報から復号時間、あるいは表示時間が取得できないAUについては、AU内のデータを解析して時間情報を取得する。 Decoding time from the header information of the PES packet, or the AU to display time can not be acquired, it acquires time information by analyzing the data in the AU. 具体的には、Picture Order Countと呼ばれるピクチャの表示順序を示すパラメータ、あるいはPicture Timing SEI, Buffering Period SEIなどのSEIを解析する。 Specifically, the parameter indicating the display order of pictures called Picture Order Count or Picture Timing SEI,, analyzes the SEI such Buffering Period SEI. これらの時間情報を示す情報がパケットロスにより欠落していた際には、予め定めた方法により、AUの復号時間、あるいは表示時間を計算する。 When information indicating these time information was missing by packet loss, the predetermined method, a decoding time of AU, or compute the display time. SPSや、符号化メディアデータとは別のPIDをもつTSパケットにより伝送されるデスクリプタの情報により、フレームレートが固定であることが示される際には、当該フレームレートに基づいて復号時間、あるいは表示時間を決定してもよい。 SPS and by information descriptor from the coded media data to be transmitted by the TS packet with a different PID, when the frame rate is shown to be fixed, decoding time or display on the basis of the frame rate it may determine the time. なお、デスクリプタとは、MPEG−2システム規格において規定される、符号化メディアデータの補助情報である。 Note that the descriptor, defined in MPEG-2 system standard, an auxiliary information of the encoded media data. 次に、MP4においては、SPSおよびPPSは、サンプルデスクリプションボックス('stsd')内のサンプルエントリ、あるいは、パラメータセット用のトラックに格納される。 Next, the MP4 is SPS and PPS are sample entries in the sample description box ( 'stsd'), or is stored in the track of the parameter set. さらに、MPEG−4 AVCの符号化データのトラックにおけるサンプルと、サンプルが参照するSPS、およびPPSを格納するサンプルエントリ、あるいはパラメータセットのトラックのサンプルとは一対一に関連付けられる。 Furthermore, a sample in the track of the encoded data of the MPEG-4 AVC, sample entries stored SPS, and the PPS sample references, or are associated one-to-one with the sample track parameter set. 従って、サンプルを復号する際に参照するSPS、あるいはPPSのデータが欠落した際には、直前サンプルと同一のSPS、あるいはPPSを参照することとする。 Thus, when the SPS referred to when decoding the sample, or PPS data is missing, reference will be made to last samples of the same SPS or PPS,. なお、予め設定したデフォルトのSPS、あるいはPPSを使用してもよい。 It is also possible to use the default SPS or PPS, which is set in advance.

エラー情報生成部302では、AUデータから、パケットロス通知用のNALユニットを検索し、パケットロス通知用のNALユニットを検出した際には、エラー情報を示すBoxのデータを作成する。 The error information generation unit 302, from the AU data, searching the NAL unit of packet loss notification, upon detecting the NAL unit for packet loss notification, generating data Box indicating error information. さらに、AUを構成するNALユニットのデータにおけるパケットロスの有無に基づいて、mdatに格納するNALユニットデータを決定し、mdatにサンプルデータとして格納すると決定したNALユニットデータから構成されるAUデータのサイズを決定して、エラー情報を示すBoxのデータとともに、Boxデータ決定部304に出力する。 Furthermore, based on the presence or absence of packet loss in the data of the NAL unit that constitutes an AU, and determines the NAL unit data to be stored in the mdat, the size of the AU data composed of NAL unit data determined to be stored as sample data mdat to determine, together with the Box data indicating error information, and outputs the Box data determination unit 304. AU形式変換部303では、エラー情報生成部において、サンプルデータとして格納すると決定されたAU内のNALユニットのデータを、バイトストリームフォーマットからNALサイズフォーマット変換し、変換後のAUデータをBox決定部304に出力する。 In AU format conversion unit 303, the error information generating unit, the data of the NAL unit in the AU that is determined to be stored as sample data, converts NAL size format from the byte stream format, converted the AU data Box determiner 304 and outputs it to. ここでBox決定部304に出力された、変換後のAUデータが、MP4におけるサンプルデータとなる。 Output wherein the Box determining unit 304, AU data after conversion, the sample data in the MP4.

図5は、Box作成部205の動作を示すフローチャートである。 Figure 5 is a flowchart showing the operation of Box creating unit 205. まず、ステップ401において、入力されたAUデータから、従来のMP4ファイルを構成するBoxの作成に必要な情報を取得する。 First, in step 401, from the input AU data, to obtain information needed to create a Box constituting a conventional MP4 file. ステップ402では、AUデータからパケットロス通知用のNALユニットを検出することにより、エラー情報を示すBoxのデータ作成し、さらに、ステップ403において、MP4ファイル内でサンプルデータとして格納するNALユニットデータを決定する。 In step 402, by detecting the NAL unit for packet loss notification from the AU data, and data creation of Box indicating error information, further, in step 403, determines the NAL unit data to be stored as sample data in MP4 file to. ステップ404では、ステップ403においてサンプルデータとして格納すると決定されたNALユニットデータをNALサイズフォーマットに変換し、変換後のNALユニットデータから構成されるサンプルデータを作成する。 In step 404, the NAL unit data is determined to be stored as sample data into a NAL size format in step 403, creating a composed sample data from the NAL unit data after the conversion. 続いて、ステップ405では、ステップ402において作成された、エラー情報を示すBoxを含むmoovのデータを作成する。 Then, in step 405, is created in step 402, it creates a data moov including Box indicating error information. ステップ406では、ステップ404において作成されたサンプルデータを格納するmdatデータを作成する。 In step 406, creating a mdat data for storing sample data created in step 404. 図6は、ステップ405の動作を示すフローチャートである。 Figure 6 is a flow chart illustrating the operation of step 405. ステップ404においては、まず、ステップ501において、従来のMP4ファイルを構成するBoxを作成し、次に、ステップ502において、エラー情報を格納するBoxを作成する。 In step 404, first, in step 501, to create a Box that constitutes the conventional MP4 file, then at step 502, to create a Box for storing error information.

次に、ステップ402において、エラー情報を示すBoxのデータを作成する際の手順について説明する。 Next, in step 402, a description will be given of a procedure for creating a data Box indicating error information. 図7は、ステップ402の動作を示すフローチャートである。 Figure 7 is a flow chart illustrating the operation of step 402. ここでは、MP4ファイルにおけるBoxデータ作成方法について説明するため、サンプルという用語を用いるが、1サンプルは1AUと同一である。 Here, in order to describe Box data creation method in MP4 file, but use the term sample, one sample is the same as 1 AU. まず、ステップ601において、AUデータにパケットロス通知用のNALユニットが含まれるかどうか検索する。 First, in step 601, it searches whether included NAL unit packet loss notification to AU data. 検索時には、AUの先頭データから順に、バイトアライン位置において、バイトストリームフォーマットのスタートコードプレフィックス(0x000001から成る3バイト)を調べることにより、NALユニットの開始位置を検出する。 During the search, in order from the head data of AU, the byte-aligned position, by examining the start code prefix (3 bytes consisting 0x000001) byte stream format to detect the start position of a NAL unit. 続いて、検出したNALユニットのNALユニットタイプを取得して、NALユニットタイプの値が所定の値であれば、パケットロス通知用のNALユニットであると判定する。 Then, the acquired the NAL unit type of a NAL unit is detected, if the value of the value given NAL unit type is a NAL unit for packet loss notification judges. AUの最終NALユニットまでのNALユニットタイプを調べた後に、ステップ602において、サンプル内にパケットロス通知用NALユニットが検出されたかどうかを判定する。 After examining the NAL unit type to the last NAL unit AU, and determines in step 602, whether the packet loss notification NAL unit is detected in the sample. パケットロス通知用NALユニットが検出された際にはステップ603の処理を行い、検出されなかった際には、Boxデータの作成処理を終了する。 When a packet loss notification NAL unit is detected performs the process of step 603, when not detected, ends the process of creating the Box data. ステップ603では、当該サンプルのサンプル番号を、エラーを含むサンプルの一覧を示すテーブルに追加する。 In step 603, the sample number of the sample, is added to the table showing a list of samples that contain errors. 以下、図8に具体例を挙げて、ステップ601からステップ603までの動作について説明する。 Hereinafter, a specific example in FIG. 8, the operation from step 601 to step 603. 図8(a)は、AVCの符号化データにおけるサンプルデータを復号順に並べたものであり、図中の番号は、サンプル番号を示す。 8 (a) is intended arranged sample data in AVC encoded data in decoding order, the numbers in the figure indicates the sample number. この例では、サンプル番号が7、9、および15であるサンプルにおいて、サンプル内のNALユニットデータにパケットロス通知用のNALユニットが検出されたとする。 In this example, sample numbers 7, 9, and the sample is 15, the NAL unit of packet loss notification to the NAL unit data in the sample and is detected. サンプル番号が1から15までのサンプルについて、エラー情報を示すBoxを作成する際の手順は、次のようになる。 Sample numbers for samples 1 through 15, the procedure for creating a Box indicating error information is as follows. なお、エラー情報を示すBoxの名称は、Error Sample Boxとする。 Incidentally, the name of the Box indicating error information, and Error Sample Box. まず、1から6番目のサンプルについては、ステップ601においてパケットロス通知用のNALユニットが検出されないため、ステップ602では、サンプル内にパケットロス通知用のNALユニットは存在しないと判定され、Error Sample Boxのテーブルデータを更新せずに処理を終了する。 First, 6 th sample 1, since in step 601 does not detect a NAL unit for packet loss notification, in step 602, the NAL unit of packet loss notification in the sample is determined not to exist, Error Sample Box and it ends the processing of table data without updating. 7番目のサンプルについては、ステップ601においてパケットロス通知用のNALユニットが検出されるため、ステップ602において、Error Sample Boxのテーブルデータを更新すると判定され、ステップ603で更新処理を行う。 The seventh sample, for NAL units of packet loss notification is detected at step 601, in step 602, it is determined to update the table data of Error Sample Box, it performs update processing in step 603. ステップ603では、7番目のサンプルにパケットロスが含まれることを示すために、テーブルのエントリを追加してサンプル番号7を格納する。 In step 603, to indicate that includes packet loss 7 th sample, storing the sample number 7 by adding an entry in the table. 後続サンプルについても同様の処理を行い、サンプル番号9とサンプル番号15をテーブルに追加する。 The same process applies to subsequent samples, adding a sample number 9 and the sample number 15 in the table. 結果として、Error Sample Boxのテーブルには、図8(b)に示すように、パケットロスを含むサンプルの番号として、7、9、15が格納される。 As a result, the table of Error Sample Box, as shown in FIG. 8 (b), as the number of samples containing packet loss, 7,9,15 is stored. 図8(c)は、Error Sample Boxのシンタックス例であり、error_sample_numberは、サンプル内のNALユニットデータがパケットロスにより欠落しているサンプルのサンプル番号を示す。 Figure 8 (c) is a syntax example of Error Sample Box, error_sample_number shows sample numbers of samples NAL unit data in the sample is missing by packet loss. Error Sample Boxは、moovにおいては、trak内のstbl直下に配置することとし、moofにおいては、トラックフラグメントランボックス('traf')直下に配置するが、他のBoxの直下に配置することとしてもよい。 Error Sample Box, in the moov, and be placed directly under stbl in trak, in moof, although disposed directly below the track fragment run box ( 'traf'), as can be disposed immediately below the other Box good. ここで、Error Sample Boxは、メディアトラックにおいて、データが欠落したサンプルが存在する場合にのみ作成することとするが、データが欠落したサンプルが存在しない場合にも、エントリが空であるError Sample Boxを作成してもよい。 Here, Error Sample Box, in media tracks, but only to be created when the sample data is missing is present, even when the sample data is missing does not exist, the entry is empty Error Sample Box it may be created. なお、traf内に配置する際には、error_sample_numberは、traf内の先頭サンプルの番号を1として、順にサンプルをカウントした際の番号を示す。 It should be noted that when placed within the traf is Error_sample_number as 1 the number of the first sample in traf, sequentially showing the number at the time of counting the samples. 例えば、traf内に10個のサンプルが含まれ、3番目と5番目のサンプルのデータがパケットロスにより欠落していることを示す際には、error_sample_numberが3、および5である2つのエントリを作成する。 For example, it contains 10 samples in traf, when indicating that the data of the third and fifth sample is missing by packet loss, creates two entries error_sample_number is 3, and 5 to. あるいはまた、トラックフラグメントランボックス('trun')において、各サンプルのヘッダ情報についてのフラグ情報を示すフィールドであるtr_flagsにおいて、サンプル内のデータがパケットロスにより欠落していることを示すフラグを追加することとしてもよい。 Alternatively, in the track fragment run box ( 'trun'), in tr_flags a field indicating flag information about the header information of each sample data in the sample is added a flag indicating that missing by packet loss it is also possible.

さらに、上記では、サンプル内のデータがパケットロスにより欠落しているかを示すこととしたが、サンプル内の特定NALユニットにおいてデータが欠落しているかどうかを示すこととしてもよい。 Furthermore, in the above, the data in the sample was to show whether the missing by packet loss, it is also possible to indicate whether data is missing in certain NAL units in the sample. 例えば、MPEG−4 AVCにおいては、スライス、あるいは、SPS、PPSのNALユニットのデータにおいて、データが欠落しているかどうかを示す。 For example, in the MPEG-4 AVC, indicates a slice, or, SPS, the data of the NAL unit of PPS, whether data is missing. これは、スライス、およびスライスが参照するパラメータセットが揃っていれば、正しい復号結果が得られるためである。 This slice, and if uniform parameter set slice refers, because the correct decoding result is obtained. より具体的には、パラメータセットのNALユニットについては、サンプル内のスライスデータを復号するために必要なSPS、あるいはPPSのデータが欠落しているかどうかを示してもよい。 More specifically, for the NAL units of parameter sets, SPS required for decoding the slice data in the sample, or PPS data may indicate whether missing. また、図8(d)に示すようなシンタックスとして、データが欠落しているNALユニットを特定するための情報を格納してもよい。 Further, as the syntax as shown in FIG. 8 (d), it may store information for specifying a NAL unit in which data is missing. 図中のerror_nal_unit_numberは、データが欠落しているNALユニットを特定するための番号であり、例えば、サンプル内の2番目、および4番目のNALユニットがロストした際には、error_nal_unit_numberが2、および4である2つのエントリを作成する。 Error_nal_unit_number in the figure, a number for specifying a NAL unit in which data is missing, for example, the second in the sample, and when the fourth NAL unit has lost the Error_nal_unit_number 2, and 4 to create two of the entry is. エントリ内において、NALユニットタイプを示すこととしてもよい。 In the entry, it may exhibit NAL unit type. さらに、error_nal_unit_numberは、MPEG−4 Visualにおけるビデオパケット、あるいはH. Furthermore, Error_nal_unit_number a video packet in MPEG-4 Visual, or H. 263におけるスライスを特定することとしてもよい。 It is also possible to identify the slices in 263.

また、パケットロスだけでなく、ビット誤りについての情報を取得できる際には、サンプルデータにおいてビット誤りが含まれるサンプル、あるいはNALユニットを特定するための情報を格納してもよい。 In addition to packet loss, when able to obtain information on the bit error, the sample in the sample data includes a bit error, or the information for specifying a NAL unit may be stored.

次に、ステップ403、およびステップ404において、MP4ファイル内でサンプルデータとして格納するNALユニットデータを決定し、NALユニットの格納形式をNALサイズフォーマットに変換する際の動作について、図9のフローチャートを参照して説明する。 Next, in step 403, and step 404 determines NAL unit data to be stored as sample data in MP4 file, the operation for converting the storage format of the NAL unit in the NAL size format, referring to the flowchart of FIG. 9 and it will be described. まず、ステップ701において、AU内の各NALユニットにおいて有効なデータを決定し、分離する。 First, in step 701, to determine the valid data in each NAL unit in AU, separated. ここで、パケットロス通知用のNALユニットが検出された際には、直前にNALユニットの開始位置が検出されたNALユニットにおいて有効なデータは、パケットロス通知用のNALユニットの直前までのデータとする。 Here, when the NAL unit of packet loss notification is detected, valid data in the NAL unit start position of a NAL unit is detected immediately before, the data up to immediately before the NAL unit for packet loss notification to. パケットロス通知用のNALユニット以降で、次にNALユニットの開始位置が検出されるまでのデータは無効となるが、これは、前記無効部分のデータが属するNALユニットが特定できない場合がある、あるいは、特定できたとしても、欠落したデータサイズが不明であるため、復号時に使用できないためである。 In subsequent NAL unit for packet loss notification, then the start position of a NAL unit is becomes invalid data until it is detected, this may data of the invalid portion NAL units belonging can not be identified, or , even it is identified, since missing data size is unknown, it can not be used at the time of decoding. パケットロス通知用のNALユニットが検出されなければ、NALユニットデータは全て有効なデータとみなす。 If the NAL unit for packet loss notification is detected, the NAL unit data is considered that all valid data. なお、有効なデータとして分離されるNALユニットデータには、zero_byte、およびスタートコードプレフィックスは含めない。 Incidentally, the NAL unit data is separated as valid data, Zero_byte, and the start code prefix is ​​not included. 次に、ステップ702では、ステップ701において分離した有効なデータのサイズを取得する。 Next, in step 702, to get the size of the valid data separated in step 701. ステップ703では、ステップ703において取得したサイズをもとに、前記有効なデータを含むNALユニットデータを、NALサイズフォーマットに変換する。 In step 703, based on the size acquired in step 703, the NAL unit data including the valid data into NAL size format. ここで、NALサイズフォーマットにおいて、NALユニットのサイズを示すフィールドのサイズは、1から4バイトの間で可変であるが、フィールドサイズは予め与えられるものとする。 Here, in the NAL size format, field size indicating the size of the NAL unit is a variable between 1 and 4 bytes, field size is assumed to be given in advance. 次に、ステップ704において、当該NALユニットのデータが欠落していたかどうかを判定し、欠落していた際には、エラー通知用のNALユニットをNALサイズフォーマットとして挿入する。 Next, in step 704, it is determined whether the data of the NAL unit is missing, when the missing inserts NAL unit for error notification as NAL size format. 上記ステップ701からステップ705までの処理(ループA)を、サンプルの最終NALユニットの処理が終了するまで繰り返す。 Processing from step 701 to step 705 (loop A), repeated until the processing of the last NAL unit of the sample is completed. なお、サンプルのサイズは、サンプルの最終NALユニットのサイズが決定した時点で決定される。 The size of the sample, size of the final NAL unit of the sample is determined at the time of the decision.

また、サンプルのデータが欠落しているかどうかは、moov、あるいはmoof内に格納されたエラー情報を示すBoxにおいてのみ示すこととし、mdatに格納されるサンプルデータには、パケットロス通知用のNALユニットは挿入しないこととしてもよい。 Also, whether a sample of data is missing, moov or a be shown only in the Box indicating error information stored in the moof, the sample data stored in the mdat, NAL unit packet loss notification, it may be that you do not inserted. このとき、ステップ704、およびステップ705は不要となる。 At this time, step 704, and step 705 is unnecessary.

また、上記で無効とされたデータを破棄せずに、TSパケットのペイロードに含まれていたNALユニットデータを全て格納してもよい。 Further, without destroying the invalidated data above, it may store all the NAL unit data contained in the payload of the TS packet. さらに、パケットロスにより欠落したデータのサイズが特定できる際には、欠落部分をスタッフィングする目的の特別なNALユニット(以後、パケットロス補完用のNALユニットと呼ぶ。)を挿入してもよい。 Further, when the size of the data lost due to packet loss can be identified, a special NAL unit purpose of stuffing the missing part (hereinafter referred to as NAL unit for packet loss supplement.) May be inserted. パケットロス補完用のNALユニットでは、Unspecified領域であり、かつパケットロス通知用とは異なるNALユニットタイプを使用する。 The NAL unit for packet loss supplement, a Unspecified region, and uses a different NAL unit type is a packet loss notification. また、エラー情報はエラー通知用のNALユニットにおいてのみ示すこととして、Error Sample Boxは作成しないこととしてもよい。 Also, the error information as to show only the NAL unit for error notification, Error Sample Box may be adapted not created.

また、パケットロス通知用のNALユニットではなく、AU内のNALユニットデータにおけるパケットロス情報が別途提供される際には、ステップ701では、別途示される情報に基づいて、NALユニットにおいて有効なデータを決定する。 Further, instead of the NAL unit for packet loss notification, when the packet loss information in the NAL unit data in the AU are provided separately, in step 701, based on the additional information indicated, the valid data in the NAL unit decide.

図10から図12は、有効なNALユニットデータを決定し、NALサイズフォーマットに変換する際の具体例を示すものである。 Figure 12 Figure 10 determines the valid NAL unit data shows a specific example when converting the NAL size format. 各図において、SCP、Nal_len、ERR_NALUは、それぞれ、バイトストリームフォーマットにおけるスタートコードプレフィックス、NALサイズフォーマットにおいてNALユニットのサイズを示すフィールドのサイズ、エラー通知用のNALユニットを示すものとする。 In each figure, SCP, Nal_len, ERR_NALU, respectively, and indicates the start code prefix in the byte stream format, the size field indicating the size of a NAL unit in NAL size format, the NAL unit for error notification. 図10は、パケットロスによるNALユニットデータの欠落が、NALユニットの境界をまたがない例である。 Figure 10 is missing NAL unit data by packet loss, an example not cross the boundaries of the NAL unit. 図10(a)は、変換前のAUデータを示す。 10 (a) shows the AU data before conversion. AUは、NALU#1からNALU#4までの4つのNALユニットから構成され、3番目のNALユニットにおいてパケットロスが発生している。 AU is composed of four NAL units from NALU # 1 to NALU # 4, the packet loss has occurred in the third NAL unit. NALU#3は、本来、図中の受信1、ロスト、および受信2と示された領域のデータから構成されるが、パケットロスによりロスト領域が欠落しているため、受信1部分のデータ直後にERR_NALUが挿入されている。 NALU # 3 is originally received 1 in FIG, lost, and a receiving 2 and the indicated area of ​​data, the packet loss because the lost region is missing, immediately after data reception 1 part ERR_NALU is inserted. このとき、NALU#3において有効なデータと判定されるのは、受信1部分のデータのみであるため、mdatのサンプルデータとして格納されるのは、受信1部分のデータのみとなる。 In this case, what is determined to be valid data in the NALU # 3, since only data of the received first portion, being stored as sample data mdat is only the data of the received first portion. 受信1部分のデータサイズは、size3_1であるため、NALU#3のデータをNALサイズフォーマットに変換する際には、Nal_lenフィールド値はsize3_1となる。 Data size of the received first portion are the Size3_1, when converting the data of the NALU # 3 in the NAL size format, Nal_len field value is Size3_1. 次に、NALU#3の直後には、NALサイズフォーマットのERR_NALUが挿入される。 Then, immediately after the NALU # 3, ERR_NALU of NAL size format is inserted. 図10(b)は、変換後に出力されるAUデータの構造を示す。 10 (b) shows the structure of the AU data output after conversion. なお、エラー通知用のNALユニットを挿入せずに、TSパケットのペイロードに含まれていたNALユニットデータを全て格納する際のAUのデータ構造は図10(c)に示すようになり、NALU#3のサイズは、size3_1とsize3_2(受信2部分のサイズ)との和になる。 Incidentally, without inserting the NAL unit for error notification, the data structure of the AU at the time of storing all the NAL unit data contained in the payload of the TS packets is as shown in FIG. 10 (c), NALU # 3 of size is the sum of the size3_1 and Size3_2 (size of the received second portion).

図11は、パケットロスによるNALユニットデータの欠落が、NALユニットの境界をまたぐ例である。 Figure 11 is missing NAL unit data by packet loss, an example in which cross the boundaries of the NAL unit. 図11(a)は、変換前のAUデータを示す。 11 (a) shows the AU data before conversion. AUは、NALU#1からNALU#4までの4つのNALユニットから構成され、NALU#2の終端部分から、NALU#3の先頭部分にかけて、NALユニットをまたいでデータが欠落している(図中に、ロストと示した領域のデータ)。 AU is composed of four NAL units from NALU # 1 to NALU # 4, NALU # 2 end portion, toward the head portion of the NALU # 3, the data across the NAL unit is missing (figure , the data in the area indicated as lost). このとき、NALU#2において有効となるのは、図中の受信1部分のデータとなる。 At this time, become effective in the NALU # 2 becomes the data receiving a portion of FIG. 次に、NALU#3については、NALユニット開始位置が検出できなかったため、ERROR_NALUの直後から、NAUL#4の開始位置までのデータは無効となり、結果として、NALU#3のデータは、サンプルデータには格納されない。 Next, the NALU # 3, since the NAL unit start position can not be detected, immediately after ERROR_NALU, NAUL data to the start position of # 4 is disabled, as a result, the data of the NALU # 3 is the sample data It not stored. つまり、図中の受信2部分のデータが無効となる。 That is, data of the received second portion in the figure becomes invalid. 図11(b)は、変換後に出力されるAUデータの構造を示す。 Figure 11 (b) shows the structure of the AU data output after conversion.

図12は、パケットロスによるNALユニットデータの欠落が、AUの境界をまたぐ例である。 Figure 12 is missing NAL unit data by packet loss, an example in which cross the boundary of the AU. 図12(a)は、変換前のAUデータを示す。 12 (a) shows the AU data before conversion. AU#1からAU#3までの3つのAUデータは、それぞれ、NALU#1からNALU#4、NALU#5からNALU#8、およびNALU#9からNALU#12から構成されるが、NALU#4の途中からNALU#9の先頭部分にかけて、AU#2をまたいでデータが欠落している(図中に、ロストと示した領域のデータ)。 AU 3 single AU data from # 1 to AU # 3, respectively, is constituted NALU NALU # 1 # 4, NALU # NALU # 8 from 5, and NALU # 9 from NALU # 12, NALU # 4 toward the top portion of the NALU # 9 in the middle, the data across the AU # 2 is missing (data in the figure, the region indicated as lost). AU#1からAU#3において有効なデータは、次のようになる。 Valid data in the AU # 3 from AU # 1 is as follows. AU#1では、NALU#1からNALU#3までの全データ、およびNALU#4において取得したnal4_size分のデータが有効となる。 In AU # 1, all data from NALU # 1 to NALU # 3, and NALU # of nal4_size fraction obtained in 4 data is valid. AU#2のデータは全てロストしたため、有効となるデータは存在しない。 Since the all data of AU # 2 is lost, the data is valid is absent. このため、MP4ファイルにおいては、AU#1を格納するサンプルの次に、AU#3を格納するサンプルが格納される。 Therefore, in MP4 file, the next sample for storing AU # 1, sample for storing AU # 3 is stored. このとき、AU#1を格納するサンプルの再生時間長としては、AU#1とAU#2の再生時間長の和を格納する。 At this time, the reproduction time length of the sample storing AU # 1, and stores the sum of the reproduction time length of AU # 1 and AU # 2. 最後に、AU#3では、NALU#10からNALU#12までのデータが有効となる。 Finally, in AU # 3, data from NALU # 10 to NALU # 12 is effective. ここで、NALU#10が、AU#3における先頭NALユニットでないことが特定できる際には、NALU#10の先頭にERR_NALUを挿入することとしてもよい。 Here, NALU # 10 is, when the identifiable may not be the top NAL unit in AU # 3 may be to insert a ERR_NALU the beginning of the NALU # 10. 例えば、MPEG−2システム規格においては、AUの先頭に、Access Unit Delimiterと呼ばれるAU境界判別用のNALユニットを挿入することが規定されているため、NALU#10がAccess Unit DelimiterのNALユニットでなければ、AU#3の先頭NALユニットがロストしたと判定できる。 For example, in the MPEG-2 system standard, the beginning of the AU, for the insertion of NAL units for AU boundary determination called Access Unit Delimiter is defined, not the NAL unit of NALU # 10 is Access Unit Delimiter if, beginning NAL unit AU # 3 it can be determined that the lost. 図12(b)は、変換後に出力されるAUデータの構造を示す。 Figure 12 (b) shows the structure of the AU data output after conversion. 図12(c)は、パケットロス補完用のNALユニットを使用する際に出力されるAUデータの構造例を示す。 Figure 12 (c) shows an example of the structure of AU data output when using NAL unit for packet loss supplement. AU#1とAU#3の出力データは、図12(b)と同一であるが、この例では、AU#2のデータも出力することとしている。 Output data of AU # 1 and AU # 3 is the same as FIG. 12 (b), the in this example, is set to be also output data of AU # 2. AU#2のデータには、パケットロス補完用のNALユニットのみが含まれ、パケットロス補完用のNALユニットのサイズは、MPEG‐4 AVCデータの符号化ビットレート、および、固定フレームレートであるかどうかの情報をもとに推定することができる。 Or AU # 2 data only NAL unit for packet loss supplement is included, the size of the NAL unit for packet loss supplement is MPEG-4 AVC data coding bit rate, and a fixed frame rate the assimilation of information can be estimated on the basis of. このように、パケットロス補完用のNALユニットを挿入することにより、ビデオデータが固定ビットレートで符号化されている際には、パケットロスによりデータが欠落した際にも、MP4におけるサンプルデータを、なるべく元の固定ビットレートを保持して格納することができる。 Thus, by inserting the NAL unit for packet loss supplement, when the video data is encoded at a fixed bit rate, even when data is missing by packet loss, the sample data in MP4, it can be as much as possible store holds the original constant bit rate. また、ストリームが固定フレームレートである際には、パケットロス補完用のNALユニットから構成されるサンプルを作成することにより、サンプルの再生時間長が一定となり、結果として、サンプルの再生時間長を格納するテーブルのサイズを低減できる。 The storage in the stream is a fixed frame rate by creating a sample composed of NAL unit for packet loss supplement, reproduction time length of the sample is constant, as a result, the reproduction time length of the sample the size of the table that can be reduced.

また、AUのスライスデータが欠落している際には、復号順または表示順で直前のAUと同一のデータを格納する、あるいは、スライスなどの単位でエラー隠匿処理を行うことによりAUデータを再構成して記録してもよい。 Further, when the AU of slice data is missing, it stores the previous same data with AU in decoding order or display order, or the AU data by performing error concealment processing in units such slices re configured and may be recorded. さらに、AUデータが再構成されていることを示す情報を別途示してもよい。 Furthermore, it may be separately shows the information indicating that the AU data is reconstructed.

なお、SEIメッセージ(Supplemental Enhancement Information)により、パケットロスに関する情報を格納してもよい。 Note that the SEI message (Supplemental Enhancement Information), may store information about packet loss. 例えば、ユーザーデータ格納用のSEIメッセージが使用できる。 For example, SEI messages for user data storage can be used.

なお、パケットロスにより欠落したデータの割合や、AU内のスライスのうち、データが欠落したスライスの割合、あるいはビット誤りの発生頻度などのエラー情報を、エラー通知用のNALユニットのペイロードやError Sample Boxに格納してもよい。 Incidentally, and the percentage of data lost due to packet loss, among slices in AU, the proportion of the slice data is missing, or the error information such as the frequency of occurrence of bit errors, the NAL unit for error notification payload and Error Sample it may be stored in the Box. また、エラー通知用のNALユニットのNALユニットタイプ、サイズ、あるいは、エラー通知用NALユニットのペイロードにエラー情報を記述する際には、記述するエラー情報の種類などを示すBoxを、moov、あるいはmoof内に格納してもよい。 Also, or NAL unit type, size, of the NAL unit for error notification, when describing the error information in the payload of the error notification NAL unit, a Box indicating the kind of describing the error information, moov, or in moof it may be stored in.

なお、上記各動作は、サンプルデスクリプションボックス(stsd)内のサンプルエントリにおけるfrme_countフィールドを使用することにより、複数のAUを1サンプルとして格納する際にも適用できる。 Each of the above operations, by using a frme_count fields in the sample entries in a sample description box (stsd), can also be applied when storing a plurality of AU as one sample.

さらに、エラー通知用のBoxを作成する、あるいはエラー通知用のNALユニットをサンプルデータ内に挿入する方法は、RTP(Real-time Transmission Protocol)パケットにより多重化しされた符号化メディアデータをMP4ファイルに変換する際にも適用できる。 Furthermore, to create a Box for error notification, or a NAL unit for error notification method of inserting into the sample data, the RTP (Real-time Transmission Protocol) multiplexed turned into encoded media data MP4 file by the packet It can also be applied at the time of conversion. RTPパケットにおいては、RTPパケットのヘッダに付加されたシーケンス番号の連続性を調べることにより、パケットロスを判定できる。 In RTP packet by examining the continuity of the sequence number added to the header of the RTP packet, it can determine a packet loss.

また、本実施の形態では、トラック毎にError Sample Box等のエラー情報を付加しているが、これに限られるものではない。 Further, in this embodiment, are added the error information such as Error Sample Box for each track is not limited thereto. 例えば、MP4ファイル単位にエラー情報を付加しても構わない。 For example, it is also possible to add the error information to the MP4 file-by-file basis. この場合、エラー情報は、moov直下に配置することができる。 In this case, error information can be placed directly under moov. また、フラグメント使用時には、最終フラグメントのmoof、またはmfra内のBoxなどに配置することとしてもよい。 Further, when the fragment used, it may be arranged in the last fragment moof or like Box in Mfra,. これによって、再生時にMP4ファイル全体として、例えばサンプルデータの欠落率(欠落データ/全データ)や、全再生時間長のうちオーディオとビデオが共に再生できる時間長の割合等の情報をユーザに通知することが可能になる。 Thus, as a whole MP4 file during playback, and notifies e.g. loss rate of the sample data and (missing data / total data), information rate, etc. of the length of time the audio and video can be played both of the total reproduction time length to the user it becomes possible.

また、例えば所定の再生区間が指定されるアイテムをリスト形式に複数有し、このアイテムを順に再生するプレイリストおいては、アイテム毎にエラー情報を付加しても構わない。 Further, for example, have a plurality of items predetermined reproduction interval is specified in the list format, the Keep playlist for reproducing the item in the order, may be added to the error information for each item. このプレイリストとは、例えばオーディオデータであれば1つの曲をアイテムとして、ユーザによって選択された曲が選択された順に記載されるリストである。 The play list, for example, a single song if audio data as an item, a list of songs selected by the user is described in the selected order. ここで、各再生区間は、同一ファイル内の異なる区間であってもよいし、異なるファイル、または異なるファイルの特定区間であってもよい。 Wherein each playback section may be a different section of the same file may be a specific section of a different file or different files. この場合、再生時には、プレイリスト参照するだけでアイテム毎の例えばサンプルデータの欠落率等の情報を取得することが可能になる。 In this case, at the time of reproduction, it is possible to obtain information loss rate, etc. For example the sample data for each item simply by referring playlist.

(実施の形態2) (Embodiment 2)
本発明の実施の形態2に係る多重化方式変換装置について図13、および図14を参照して説明する。 For multiplexing scheme conversion apparatus according to a second embodiment of the present invention 13, and will be described with reference to FIG. 14. 多重化方式変換装置の構成は、実施の形態1に係る多重化方式変換装置と同一であり、Boxデータ決定部304において、シンクサンプルのテーブルであるstssを作成する際の動作のみが異なることから、stssの作成方法についてのみ説明する。 Configuration of multiplex scheme conversion apparatus is identical to the multiplex scheme conversion apparatus according to the first embodiment, in Box data determination unit 304, since only the operation of creating a stss a sync sample table is different , only describes how to create a stss.

実施の形態1の多重化方式変換装置においては、サンプル内のデータが欠落しているかどうかに関わらず、IDR AUをシンクサンプルとしていた。 In the multiplexing method conversion apparatus of the first embodiment, regardless of whether the data in the sample is missing, it had a IDR AU and sync sample. しかしながら、シンクサンプルはランダムアクセスする際に復号を開始するサンプルとなるため、シンクサンプルが正常に復号化できないと、シーケンス内の以降のサンプルについても正常な復号結果が得られないことがあるという問題があった。 However, since the sample sync sample starts to decode the time of random access, the sync sample can not be normally decoded, that may not normal decoding result obtained for subsequent samples in the sequence problems was there. そこで、本実施の形態の多重化方式変換装置では、データが欠落していないIDR AUのみをシンクサンプルとすることで、シンクサンプルから復号を開始した際に、少なくともシンクサンプルにおいては乱れのない復号結果を得ることができる。 Accordingly, in the multiplexing method conversion apparatus of the present embodiment, by only IDR AU data is not missing the sync sample, upon starting decoding from the sink sample, undisturbed, at least in sync sample decoded the results can be obtained.

図13は、Boxデータ決定部304において、stssを作成する際の動作を示すフローチャートである。 13, in Box data determination unit 304 is a flowchart illustrating an operation for creating a stss. まず、ステップ801において、サンプルデータ内にIDRスライスのNALユニットが含まれているかどうか判定する。 First, in step 801, whether in the sample data NAL units IDR slice contains. ここで、IDRスライスのNALユニットであるかどうかは、NALユニットタイプにより識別する。 Here, whether the NAL unit of an IDR slice is identified by a NAL unit type. IDRスライスのNALユニットが含まれていない場合には、処理を終了し、含まれている際には、ステップ802の処理を行う。 If an IDR slice NAL unit is not included, the process is terminated when so, it performs the process of step 802. ステップ802において、サンプルデータ内に、パケットロスのためにデータが欠落したNALユニットが含まれるかどうかを、エラー情報生成部302において取得したサンプル毎のエラー情報に基づいて判定する。 In step 802, in the sample data, whether the data for the packet loss include missing NAL units, based on the obtained error information for each sample in the error information generating unit 302 judges. サンプルデータが欠落していると判定された際には、処理を終了し、欠落していないと判定された際には、ステップ803において、シンクサンプルの一覧を示すstssのテーブルに、当該サンプルのサンプル番号を追加する。 When the sample data is determined to be missing, the process is terminated when it is determined not to be missing, in step 803, the stss table showing a list of sync sample, of the sample to add a sample number. 以上、ステップ801からステップ803までの処理を、トラック内の最終サンプルまで繰り返すことにより、stssを作成する。 Above, the processing from step 801 to step 803, repeating until the last sample in a track, create a stss. なお、IDRスライスのNALユニットを含み、データが欠落していないサンプルを全てシンクサンプルとせずに、例えば、シンクサンプル間の再生開始時間の差分値がなるべく一定となるようにシンクサンプルを決定してもよい。 Incidentally, include NAL unit of an IDR slice, all sample data is not lost without sync sample, for example, the difference value of the reproduction start time between the sync samples to determine the sync sample as possible constant it may be. また、IDRスライスを含むAUにおいて、スライス、あるいは、SPS、PPSのNALユニットにおいてデータが欠落していなければ、シンクサンプルとしてもよい。 Further, in the AU containing IDR slice, slice, or, SPS, if data is missing in the NAL unit of PPS, or as a sink sample. より具体的には、サンプル内のスライスデータを復号するために必要なSPS、あるいはPPSのデータが当該サンプル内、あるいは復号時刻が前のサンプルから取得できる場合にのみシンクサンプルとしてもよい。 More specifically, it may be a sync sample only if the SPS required for decoding the slice data in the sample or in PPS data the sample, or the decoding time can be obtained from the previous sample.

図14は、図13のフローチャートに示した動作によりstssを作成する際の具体例を示す。 Figure 14 shows a specific example for creating stss by the operation shown in the flowchart of FIG. 13. 図14(a)は、サンプル番号順にサンプルを並べたものであり、サンプル番号が1、11、21、および31のサンプルが、IDRスライスのNALユニットを含むが、21番目のサンプルにおいては、サンプルデータ内のデータが欠落している。 FIG. 14 (a), which was arranged Sample Sample numerical order, sample numbers 1, 11, 21, and 31 samples of, including NAL unit of an IDR slice, the 21 th sample, sample data in the data is missing. このとき、ステップ801では、1、11、21、および31番目のサンプルがシンクサンプルの候補とされるが、ステップ802において、21番目のサンプルはシンクサンプルとしないと決定されるため、結果として、ステップ803において1、11、および31番目のサンプルがstssのテーブルに追加される(図14(b))。 At this time, in step 801, 1, 11, 21, and 31-th sample is a candidate for sync sample, since in step 802, 21-th sample is determined to not sync sample, as a result, in step 803 1, 11 and 31-th sample is added to the stss table (FIG. 14 (b)).

なお、mfraに登録するランダムアクセス可能なサンプルも、同様の方法で決定できる。 Incidentally, random-accessible sample to be registered in mfra can also be determined in a similar manner.
なお、stssを上記の方法により作成することと、Error Sample Boxを作成するとは独立に選択できるとし、例えば、上記の方法でstssを作成し、Error Sample Boxは作成しなくてもよい。 Incidentally, the method comprising creating a stss by the above method, the Error and create a Sample Box can be independently selected, for example, to create a stss the above method, Error Sample Box need not be created.

(実施の形態3) (Embodiment 3)
本発明の実施の形態3に係る多重化方式変換装置について図15から図17を参照して説明する。 Referring to FIGS. 15-17 will be described multiplex scheme conversion apparatus according to a third embodiment of the present invention. 多重化方式変換装置の構成は、実施の形態1に係る多重化方式変換装置と同一であり、エラー情報生成部302において、図5のステップ402の動作によりサンプルのエラー情報を示すBoxを作成する際の動作のみが異なるため、この部分の動作について説明する。 Configuration of multiplex scheme conversion apparatus is identical to the multiplex scheme conversion apparatus according to the first embodiment, the error information generating unit 302, to create a Box indicating error information of the sample by the operation of step 402 in FIG. 5 since only the operation at the time are different, the operation of this part. 本多重化方式変換装置では、シンクサンプルから復号を開始した際に、シンクサンプル以降の何番目のサンプルまでが正しく復号できるかどうかを示すBoxを作成する。 In this multiplexing scheme conversion apparatus, upon starting decoding from the sink sample, until what number samples after sync sample to create a Box that indicates whether correctly decoded. 本多重化方式変換装置で作成したMP4ファイルを再生する際には、このBoxを参照することにより、正しく復号できることが保証されるサンプルを特定した後に、表示するサンプルを決定できる。 When reproducing the MP4 file created by the multiplexing scheme conversion apparatus, by referring to the Box, after identifying the sample that is guaranteed to be decoded correctly, it can determine the sample to be displayed.

図15は、エラー情報を示すBoxを作成する際の動作を示すフローチャートである。 Figure 15 is a flowchart illustrating an operation for creating a Box indicating error information. err_free_flagは、シーケンスの開始するサンプルから、当該サンプルまでのサンプルにおいて、データの欠落が発生していないことを示すフラグであり、初期値は0とする。 err_free_flag from the sample to start the sequence, in the sample to the sample, a flag indicating that the data loss has not occurred, the initial value is set to 0. ステップ901では、サンプル内にIDRスライスのNALユニットが含まれるかどうかを判定し、含まれる際には、ステップ902においてerr_free_flagを1にセットする。 At step 901, it is determined whether the included NAL units IDR slices in the sample, when they are included are set to 1 err_free_flag in step 902. ステップ903では、err_free_flagが1であるかどうか判定し、1である際にはステップ904の処理を行い、0である際には以降の処理ステップをスキップし、次サンプルの処理を行う。 In step 903, Err_free_flag it is determined whether 1, in a 1 performs the process of step 904, when it is 0 skips the subsequent processing steps to process the next sample. ステップ904では、サンプルを構成するNALユニットのデータが欠落しているかどうかを判定する。 In step 904, it is determined whether data of the NAL units constituting the sample is missing. なお、スライス、あるいは、SPS、PPSのNALユニットデータが欠落していなければ、ステップ904において、データが欠落していないと判定してもよい。 Incidentally, slice, or, SPS, if PPS NAL unit data missing, in step 904, may determine that the data is not missing. データの欠落したNALユニットが存在する際には、ステップ905において、エラーフリー区間の最終サンプルの一覧を示すテーブルに、直前サンプルのサンプル番号を追加する。 When missing NAL unit of data is present, in step 905, a table showing a list of the last sample of the error-free interval, adding the sample number of the immediately preceding sample. ここで、エラーフリー区間とは、復号順で配置される当該区間のサンプルにおいて、データの欠落が発生しないことが保証される区間である。 Here, the error-free interval, in a sample of the section arranged in decoding order, is a section in which data loss is guaranteed not to occur. ランダムアクセスする際には、シンクサンプルから復号が開始され、さらに、シンクサンプルはIDRスライスのNALユニットを含むサンプルであるため、エラーフリー区間の開始サンプルはシンクサンプルとなる。 When random access is decoded from the sink sample is started, further, sinks sample for a sample containing a NAL unit of an IDR slice, the start sample of the error-free interval becomes sync sample. なお、IDRスライスのNALユニットを含むサンプルにおいてデータが欠落している際には、当該サンプルに対するエラーフリー区間は定義されない。 Note that when the data is missing in the samples containing the NAL unit of an IDR slice, the error-free interval for the sample is not defined. したがって、ステップ905はスキップされる。 Therefore, step 905 is skipped. 以上、ステップ901からステップ905までの処理をトラックの最終サンプルの処理が完了するまで繰り返す。 Above it is repeated from step 901 the process up to step 905 until the processing of the last sample of the track is completed. ここで、データの欠落が発生しないことを保証するというのは、TSパケットのcontinuity_counter値からはエラーが検出できなかったことを示すものであり、必ずしも、データの欠落が全く発生していないことを保証するものではない。 Here, because to ensure that data loss does not occur, from continuity_counter value of the TS packet is indicative that an error can not be detected, not necessarily, that the missing data is not generated at all It does not guaranteed. なお、continuity_counter以外のパケットロス情報により、より正確にパケットロスを検出できる際には、当該情報を利用してエラーを検出してもよい。 Incidentally, the packet loss information other than continuity_counter, when can detect more precisely the packet loss may detect an error by using the information.

なお、エラーフリー区間を示すことができれば、エラーフリー区間に含まれるサンプル数を示すなど、最終サンプル以外の情報を用いてもよい。 Incidentally, if it is possible to indicate an error-free interval, such as indicating the number of samples included in the error-free interval may be used information other than the final sample.

図16は、図15のフローチャートに示した動作により、エラー情報を格納するBoxを作成する際の具体例を示す。 16, by the operation shown in the flowchart of FIG. 15 shows a specific example for creating a Box for storing error information. 図16(a)は、それぞれ10個のサンプルから構成される、連続する2つのシーケンスを示す。 16 (a) is composed of 10 samples, respectively, showing the two sequences to be continuous. シーケンス#1は、1番目のサンプルから開始し、7番目、および9番目のサンプルのデータが欠落しており、シーケンス#2は、11番目のサンプルから開始し、16番目のサンプルのデータが欠落している。 Sequence # 1 starts from the first sample, seventh, and ninth and data missing samples, sequence # 2, starting from 11-th sample, missing 16 th sample data are doing. エラーフリー区間を決定する際の手順を以下に説明する。 The procedure for determining the error-free interval will be described below. まず、1番目のサンプルにおいて、err_free_flagが1にセットされる。 First, in the first sample, Err_free_flag is set to 1. 6番目のサンプルまでは、ステップ904において、サンプルデータが欠落していないと判定されるため、ステップ905、およびステップ906の処理はスキップされ、err_free_flagの値は1のまま保持される。 Until 6 th sample, in step 904, since the sample data is determined not to be missing, the processing in step 905, and step 906 is skipped and the value of err_free_flag is held at 1. 次に、7番目のサンプルでは、ステップ904において、サンプルデータが欠落していると判定されるため、ステップ905において、エラーフリー区間の最終サンプルを格納するテーブルにエントリが追加され、1つ手前のサンプルである6番目のサンプルを示すサンプル番号が格納される。 Next, in the seventh sample, in step 904, since the sample data is determined to be missing, in step 905, an entry is added to the table which stores the last sample of the error-free interval immediately preceding the sample number indicating the 6 th sample is the sample is stored. 10番目のサンプルまでは、err_free_flagの値は0のままである。 Until the 10 th sample, the value of err_free_flag remains 0. 続いて、11番目のサンプルにおいて、再びerr_free_flagが1にセットされ、シーケンス#1と同様にして、15番目のサンプルが、エラーフリー区間の最終サンプルとしてテーブルに追加される。 Subsequently, in 11 th sample, is set to 1 again Err_free_flag, in the same manner as sequence # 1, 15-th sample is added to the table as the last sample of the error-free interval. 図16(b)は、シンクサンプルテーブルを示す。 Figure 16 (b) shows a sync sample table. 図16(b)は、エラーフリー区間の最終サンプルのテーブルを示す。 Figure 16 (b) shows a table of final samples of error-free intervals. 図16(b)、および図16(c)の2つのテーブルから、シーケンス#1におけるエラーフリー区間は、サンプル番号が1から6までのサンプルであり、シーケンス#2におけるエラーフリー区間は、サンプル番号が11から15までのサンプルであることが示される。 FIG. 16 (b), the and the two tables of FIG. 16 (c), the error-free interval in the sequence # 1, a sample of the sample number from 1 to 6, error-free interval in the sequence # 2, Sample No. There is shown that a sample from 11 to 15. 図16(d)は、エラーフリー区間の最終サンプルの一覧を示すBoxであるError Free End Sample Boxのシンタックス例であり、end_sample_numberは、エラーフリー区間の最終サンプルのサンプル番号を示す。 Figure 16 (d) is a syntax example of the Error the Free End Sample Box is a Box showing a list of the last sample of the error-free interval, End_sample_number shows sample number of the last sample of the error-free interval. Error Free End Sample Boxは、moovにおいては、trak内のstbl直下に配置することとし、moofにおいては、トラックフラグメントランボックス('traf')直下に配置するが、他のBoxの直下に配置してもよい。 Error the Free End Sample Box, in the moov, and be placed directly under stbl in trak, in moof, although disposed directly below the track fragment run box ( 'traf'), and directly under the other Box it may be.

なお、ステップ901では、サンプル内にIDRスライスのNALユニットが含まれるかどうかを判定し、err_free_flagをセットすることとしたが、IDRスライスのNALユニットが含まれるサンプルを必ずしもシンクサンプルとはしない場合には、stssに示されるシンクサンプル一覧とError Free End Sample Boxを用いてエラーフリー区間を特定することができない。 In step 901, it is determined whether the included NAL units IDR slices in the sample, but it was decided to set the Err_free_flag, if it does not necessarily sync sample the sample containing the NAL unit of an IDR slice it is, it is not possible to identify the error-free interval by using the sink sample list and error free End sample Box shown in stss. そこで、ステップ901において、当該サンプルがシンクサンプルであるかどうかを判定し、シンクサンプルであればerr_free_flagをセットすることとしてもよい。 Therefore, in step 901, to determine whether the sample is a sync sample, Err_free_flag may be set if sync sample. また、エラーフリー区間の最終サンプルではなく、先頭サンプルを示すこととしてもよい。 Further, instead of the last sample of the error-free interval, it may indicate the start samples. 例えば、図16(a)において、シーケンス#1の6番目から10番目までのサンプルのデータが完全に揃っている際には、エラーフリー区間の先頭サンプルを6とすることにより、6番目のサンプルから、シーケンス2の先頭サンプルである11番目のサンプルまでがエラーフリー区間であると示すことができる。 For example, in FIG. 16 (a), when the data samples from the sixth sequence # 1 until 10 th is fully aligned, by the 6 top Sample error-free interval, 6 th sample from up to 11-th sample is the first sample of the sequence 2 it can be shown to be error-free interval.

なお、MP4では、ランダムアクセス可能なサンプルとして、シンクサンプルの他に、Gradual Decoder Refreshポイントを指定することができる。 In MP4, as a random-accessible sample, in addition to the sync sample, it is possible to specify Gradual Decoder Refresh point. Gradual Decoder Refreshポイントとは、当該サンプルにおいては正しい復号結果が得られないものの、復号順で後続のサンプルを指定された個数だけ復号すれば、正しい復号結果が得られるようになるサンプルを指す。 The Gradual Decoder Refresh point, although not correct decoding result in the sample is obtained, if the decoding only a specified number of subsequent samples in decoding order, refers to a sample of the correct decoding result is obtained. あるいは、あるサンプルにおいて正しい復号結果を得るためには、復号順で指定された個数だけ前のサンプルから復号を開始する必要がある際の、復号開始サンプルを指すこともできる。 Alternatively, in order to obtain a correct decoding result in one sample, when it is necessary to start decoding from just before the sample number designated by the decoding order may refer to a decoding start sample. 例えば、復号順でM番目のサンプルから復号を開始した際に、正しい復号結果が得られるのはN番目(N>M)のサンプルからである場合に、MP4ファイルにおいては、NとMの差分値を示す情報が示される。 For example, upon starting decoding from M th sample in decoding order, if the correct decoding result is obtained is from a sample of N-th (N> M), in MP4 file, the difference between N and M information indicating the value is shown. そのため、エラーフリー区間の先頭サンプルとして、Gradual Decoder Refreshポイントに相当するサンプルも使用してよい。 Therefore, as the top Sample error-free interval, it may also be used samples corresponding to Gradual Decoder Refresh point.

なお、シンクサンプルと対応付けることなしにエラーフリー区間を特定できるように、エラーフリー区間の先頭サンプルと最終サンプルを共に示すこととしてもよい。 In addition, as can be identified an error-free interval without associating a sync sample, it may indicate both the top samples and the last samples of the error-free interval.

上記では、エラーフリー区間の最終サンプルの一覧を示すこととしたが、データの欠落したサンプルがシーケンス内に含まれるかどうかを示すこととしてもよい。 In the above, it is assumed that a list of the last sample of the error-free interval, it is also possible to indicate whether missing data sample is included in the sequence. 以下、図17に例を示して説明する。 Hereinafter will be described an example in Figure 17. 図17(a)は、それぞれが10個のサンプルから構成される、連続する6つのシーケンスを示す。 FIG. 17 (a), each of which consists of 10 samples, it shows six sequences contiguous. ここで、シーケンス#1、シーケンス#3、シーケンス#4、およびシーケンス#6の4つのシーケンスについては、シーケンス内の全てのサンプルデータが完全に揃っており、シーケンス#2、およびシーケンス#5においては、データの欠落したサンプルが含まれるものとする。 Here, sequence # 1, for the four sequences of sequence # 3, sequence # 4, and sequence # 6, all the sample data are fully aligned in the sequence, sequence # 2, and in the sequence # 5 It is intended to include missing data samples. 図17(c)は、シーケンス内の全てのサンプルデータが完全に揃っているシーケンスにおける先頭サンプルの一覧である。 Figure 17 (c) is a list of the top samples in sequence all the sample data in the sequence are completely aligned. 図17(b)は、各シーケンスの先頭サンプルをシンクサンプルとした際のシンクサンプルの一覧であり、図17(b)と図17(c)の2つのテーブルを参照することにより、シーケンス内でデータの欠落が発生しているシーケンスは、サンプル番号が11、および41のシンクサンプルから開始するシーケンスであり、発生していないシーケンスはサンプル番号が1、21、31、51のシンクサンプルから開始するシーケンスであることが分かる。 17 (b) is a list of sync sample at the time of the beginning samples of each sequence and sync sample, by reference to two tables shown in FIG. 17 (c) 17 and (b), in a sequence sequence data loss has occurred is a sequence sample numbers starting with 11, and 41 of the sync sample, sequences that do not occur sample numbers starts from the sync sample of 1,21,31,51 it can be seen that a sequence. なお、IDRスライスのNALユニットが含まれるサンプルを必ずしもシンクサンプルとはしない場合には、連続する2つのシンクサンプル間のサンプルデータに欠落が発生しているかどうかを示してもよい。 When not necessarily sync sample sample containing the NAL unit of an IDR slice, it may indicate whether missing sample data between two sinks consecutive samples has occurred. 図17(d)は、シーケンス内でデータの欠落が発生していないシーケンスの先頭サンプルの一覧を示すError Free Sequence Boxのシンタックス例である。 Figure 17 (d) is a syntax example of the Error the Free Sequence Box showing a list of the top Sample sequence of missing data in the sequence has not occurred. シンタックス内のsequence_start_sample_numberは、シーケンスの先頭サンプルのサンプル番号を示す。 sequence_start_sample_number in the syntax indicates the sample number of the first sample of the sequence. なお、シーケンスの先頭サンプル番号以外にも、シーケンスにおける欠落データの割合などに応じて、シーケンスを再生した際の再生画像の品質を示すパラメータとして、Good、Medium、Badなどの指標を示すこととしてもよい。 Incidentally, in addition to the top Sample number sequence, depending on the proportion of missing data in the sequence, as a parameter indicating the quality of a reproduced image at the time of reproducing the sequence, Good, Medium, even to show indicators such as Bad good. 例えば、欠落データの割合、画面内符号化されたAUの頻度、イントラマクロブロックの割合などに応じて品質を決定することができる。 For example, the proportion of missing data, the frequency of intra coded AU, depending on the ratio of the intra-macro block can determine the quality. さらに、シーケンス内で正しく復号できるサンプルを示すための情報を格納することとしてもよい。 Furthermore, it is also possible to store the information for indicating a sample that can be correctly decoded in the sequence. 具体的には、サンプル間の参照関係と、各サンプルにおけるスライスデータ、SPS、あるいはPPSのNALユニットにおいてデータの欠落しているどうか、を示すことにより、サンプルを復号する際に、参照先サンプルのデータが欠落しているかが分かるため、当該サンプルを正しく復号できるかどうか判定することができる。 Specifically, a reference relationship between the sample, the slice data in each sample, SPS, or if is missing data in the NAL unit of PPS, by showing, in decoding the sample, referenced Sample either because the data is missing are known, it is possible to determine whether the samples can be correctly decoded. Error Free Sequence Boxは、moovにおいては、trak内のstbl直下に配置することとし、moofにおいては、トラックフラグメントランボックス('traf')直下に配置することするが、他のBoxの直下に配置してもよい。 Error the Free Sequence Box, in the moov, and be placed directly under stbl in trak, in moof, although it is disposed immediately below the track fragment run box ( 'traf'), directly under the other Box it may be.

また、実施の形態1から実施の形態3において説明したError Sample Box、Error Free End Sample Box、およびError Free Sequence Boxの各Boxは、組み合わせて使用してもよい。 Further, Error Sample Box described in the third embodiment from the first embodiment, each Box of Error the Free End Sample Box, and Error the Free Sequence Box may be used in combination. 例えば、Error Sample BoxとError Free End Sample Boxを組み合わせることにより、エラーフリー区間に含まれないサンプルにおいて、どのサンプルのデータが欠落しているかを特定し、復号するサンプルを決定することができる。 For example, by combining Error Sample Box and Error Free End Sample Box, a sample can be determined in a sample which is not included in the error-free interval, which identify which sample data is missing, decodes.

また、正しく復号できるサンプル、あるいは、データが欠落したサンプルの割合などからトラックの再生品質を決定し、再生品質を示す情報を格納したBoxを、trak直下に配置してもよいし、オーディオ、ビデオ、あるいはテキストデータのトラックを同時に再生した際の再生品質を示すBoxをmoov直下に配置してもよい。 Further, the sample can be correctly decoded or, data to determine the reproduction quality of the track from such as the percentage of samples missing a Box for storing information indicating the reproduction quality may be arranged immediately below trak, audio, video , or Box may be located directly below moov a indicating the reproduction quality at the time of reproducing the tracks of the text data at the same time.

なお、上記各実施の形態において、バイトストリームフォーマットからNALサイズフォーマットに変換する部分と、データの欠落を示す情報を付加する処理とは別々に実施してもよい。 In the above embodiments, a portion for converting the byte stream format in the NAL size format, may be performed separately from the process of adding information indicating the missing data. 例えば、NALサイズフォーマットや、RTP(Real Time Transmission Protocol)などインターネットの動画配信で使用されるフォーマットにより伝送されたNALユニットのデータに対して、データの欠落情報を付加できる。 For example, NAL size format, for the data of the NAL units transmitted by the format used by the RTP (Real Time Transmission Protocol) Internet video distribution such as can be added to the missing information of the data.

また、MPEG−4 AVCの符号化データを多重化する際にも、AU形式変換部303を使用できる。 Further, even when multiplexing the coded data of MPEG-4 AVC, may be used AU format conversion unit 303. 例えば、MPEG−4 AVCの符号化処理を簡略化するために符号化データのフォーマットをバイトストリームフォーマットに統一できるが、このとき、当該符号化部から出力された符号化データをTSやMP4など、符号化データの格納形式が異なる多重化方式で多重化する際に、AU形式変換部303の処理を適用できる。 For example, although the format of the encoded data in order to simplify the encoding process of MPEG-4 AVC can be unified into a byte stream format, this time, the encoded data output from the encoding unit such as TS and MP4, when storage format of the encoded data is multiplexed in a different multiplexing scheme can be applied to processing of AU format conversion unit 303. ここで、符号化時はストリームにエラーが存在しないため、データの欠落を補償する処理は省略できる。 Since the time of encoding is no error in the stream, processing for compensating the missing data can be omitted. なお、AU形式変換部303では、バイトストリームフォーマットからNALサイズフォーマットへ変換したが、符号化時の出力がNALサイズフォーマットに統一される際には、NALサイズフォーマットからバイトストリームフォーマットへ変換してもよい。 In AU format conversion unit 303 has been converted into NAL size format from the byte stream format, when the output at the time of encoding is unified to NAL size format, be converted from NAL size format to a byte stream format good.

(実施の形態4) (Embodiment 4)
本発明の実施の形態4に係る逆多重化装置について図18から図20を参照して説明する。 Referring to FIGS. 18 to 20 will be described demultiplexing apparatus according to a fourth embodiment of the present invention. 本逆多重化装置は、実施の形態1から実施の形態3に係る多重化方式変換装置により作成されたMP4ファイルを入力して、AUデータを分離して、復号、表示するものであるが、Error Sample Boxなどに示されるエラー情報を参照することにより、復号、あるいは表示動作を決定する。 This demultiplexer inputs the MP4 file created by the multiplexing system conversion apparatus according to the third embodiment from the first embodiment, separates the AU data, decoding, but is intended to be displayed, by referring to the error information shown like error Sample Box, decoding, or determines a display operation. このため、シーケンス内に正しく復号できないサンプルが多数含まれる際には、次のシーケンスまでスキップするなどの動作をファイルフォーマットレベルの情報から決定することができ、結果として、正しく復号できないサンプルを復号、表示することによる再生品質の低下を防ぐことができる。 Therefore, when the sample can not be correctly decoded sequence are included a large number, the operation such as skipping to the next sequence can be determined from the file format level of the information, as a result, decrypts the sample that can not be decoded correctly, it is possible to prevent deterioration of the reproduction quality due to the display. また、ファイルフォーマットレベルの情報により復号、表示動作を決定することにより、エラー隠匿処理の異なる復号部、あるいは表示部を用いた際にも、同一の出力結果を得ることができる。 Further, decoding the file format level information, by determining a display operation, different decoder error concealment processing, or even when using the display unit, it is possible to obtain the same output. なお、逆多重化装置に入力されるMP4ファイルでは、サンプルにおけるデータの欠落を示す際には、エラー情報(欠落情報)を示すBoxが必ず付加されているものとする。 In the MP4 file to be input to the demultiplexer, when indicating the missing data in the sample shall Box indicating error information (loss information) is always added. 以下では、MPEG−4 AVCのトラックを再生する際の動作について説明するが、再生するトラックはMPEG−4 AVCに限定されるものではなく、H. The following is a description of the operation in reproducing a track of MPEG-4 AVC, a track to be reproduced is not limited to MPEG-4 AVC, H. 263やMPEG−4 Visualなどのビデオ符号化データ、あるいはMPEG−4 AACやAMRなどのオーディオ符号化データであってもよいし、ビデオとオーディオのトラックを同時に再生するものであってもよい。 263 and MPEG-4 video coded data, such as Visual, or may be a audio encoded data, such as MPEG-4 AAC or AMR, it may be configured to play the video and audio tracks simultaneously.

図18は、逆多重化装置の構成を示すブロック図である。 Figure 18 is a block diagram showing the configuration of a demultiplexer. 本装置は、ヘッダ分離部401、ヘッダメモリ402、mdatメモリ403、サンプル取得部404、エラー情報解析部405、および復号再生部406とから構成され、外部から入力される再生開始時間をトリガとして再生処理を開始する。 The apparatus reproducing a header separating portion 401, a header memory 402, mdat memory 403, the sample acquiring unit 404 is composed of the error information analyzing unit 405, and decoding and reproducing unit 406. The playback start time inputted from the outside as a trigger to start the process. ファイル先頭から開始する際には、再生開始時間は0秒となり、先頭から10秒の位置から開始する際には、10秒となる。 When you start from the beginning of the file, the playback start time is 0 seconds, when starting from the beginning from the 10-second position is 10 seconds. ただし、シンクサンプルから復号・再生を開始する際には、入力された再生開始時間に一致する再生開始時間をもつシンクサンプルが存在しないことがあり、この場合は、入力された再生開始時間より前、あるいは後で最も再生開始時間が近いシンクサンプルから復号・再生を開始する。 However, when starting the decoding and reproduction from the sink sample may sync sample having a playback start time matching the entered playback start time is not present, in this case, before the playback start time entered , or most playback start time is later starts decoding and reproduction from near the sink sample. なお、シンクサンプルではなく、Gradual Decoder Refreshポイントとして示されるサンプルから再生を開始することとしてもよい。 Instead of the sync sample, it is also possible to start playback from a sample, shown as Gradual Decoder Refresh point.

ヘッダ分離部401は、MP4ファイルからmoov、およびmoofを含むヘッダ部と、mdatから成るデータ部を分離し、ヘッダ部のデータをヘッダメモリ402に出力し、mdatのデータをmdatメモリ403に出力する。 Header separating portion 401 includes a header portion containing moov, and moof from MP4 file, separates data portion consisting mdat, outputs the data of the header portion in the header memory 402, and outputs the data of the mdat in mdat memory 403 . サンプル取得部404は、外部から入力された再生開始時間に基づいて、復号を開始するシンクサンプルを決定する。 Sample acquisition unit 404, based on the reproduction start time input from the outside, determines the sync sample to start decoding. 以降のサンプルについては、シンクサンプルについてのヘッダ情報を取得する際に、当該シンクサンプルのサンプル番号をエラー情報解析部405に出力する。 The subsequent sample, when acquiring the header information about the sync sample, and outputs the sample number of the sync sample to the error information analyzing unit 405. エラー情報解析部405では、サンプル取得部404から入力されたシンクサンプル番号から開始するシーケンスにおけるエラー情報を、Error Sample Box、Error Free End Sample Box、あるいはError Free Sequence Boxから取得して、解析し、シーケンス内で復号するサンプルを決定した後に、復号すると決定したサンプルの一覧をサンプル取得部404に出力する。 The error information analyzing unit 405, the error information in the sequence starting from sync sample number input from the sample acquisition unit 404, Error Sample Box, acquires Error Free End Sample Box or from Error the Free Sequence Box,, analyzed, after determining the sample to be decoded in the sequence, and outputs a list of the samples was determined to be decoded at the sample acquisition unit 404. また、エラー情報解析部405は、取得した欠落情報を復号表示部406の欠落情報通知部406cに出力する。 The error information analyzing unit 405 outputs the acquired missing information to the missing information notification unit 406c of the decoding display unit 406. また、スライスのNALユニット毎の欠落情報が取得できる際には、サンプルにおいて復号するスライスを示す情報を出力してもよい。 Further, when the missing information for each NAL unit of a slice can be acquired may output information indicating a slice to be decoded in the sample. なお、復号するサンプルの決定をシンクサンプル毎に行わずに、予め決められた個数のサンプル毎に行うこととしてもよい。 Incidentally, without determination of the sample to be decoded for each sync sample may be performed for each sample of a predetermined number. サンプル取得部404は、moovあるいはmoofを解析して、エラー情報解析部により復号すると決定されたサンプルのデータ、および表示時間を取得して、復号表示部406に出力する。 Sample acquisition unit 404 analyzes the moov or moof, data sample is determined to decode the error information analyzing unit, and acquires the display time, and outputs the decoded display unit 406. ここで、moovあるいはmoofはヘッダメモリ402から取得し、サンプルのデータは、mdatメモリ403から取得する。 Here, moov or moof is obtained from the header memory 402, data samples are obtained from mdat memory 403. なお、復号時間と表示時間とが異なる際には、両者をともに復号表示部406に出力してもよい。 Note that when the decoding time and display time are different, may output both together in decoding the display unit 406.

最後に、復号表示部406は、復号部406a、サンプル表示部406b、および欠落情報通知部406cを備えている。 Finally, decoding the display unit 406 includes the decoding unit 406a, sample display unit 406b, and the missing information notification unit 406c. 復号部406aは、サンプルデータを復号する。 Decoding unit 406a decodes the sample data. サンプル表示部406bは、復号されたサンプルデータを表示時間に従って表示する。 Sample display unit 406b displays according to the display time decoded sample data. 欠落情報通知部406cは、欠落情報に基づいて例えばサンプルデータの欠落率(欠落データ/全データ)等の情報をユーザに通知し、MP4ファイルを再生するか否かの問い合わせを行う。 Loss information notification unit 406c, based on the loss information notified example loss rate of the sample data (missing data / total data) such information to the user, whether or not the inquiry to play MP4 file. また、欠落情報通知部406cは、サンプルデータの欠落率等の情報によりユーザが再生を許可した場合の再生許可信号を受け付けると、サンプル取得部404に再生指示信号を出力する。 Further, the missing information notification unit 406c is the information loss rate, etc. of sample data user accepts the reproduction permission signal when the reproduction is permitted, and outputs a reproduction instruction signal to the sample acquiring unit 404. なお、エラー情報解析部405においては復号するサンプルを決定せずに、データが欠落しているサンプル、あるいはエラーフリー区間の情報などのエラー情報を、復号表示部406に出力し、復号表示部において、入力されたエラー情報、あるいはサンプルデータに挿入されたエラー通知用のNALユニットにより示される情報に基づいて、復号するサンプル、あるいはスライスデータを決定してもよい。 Incidentally, without determining the sample to be decoded in the error information analyzing unit 405, the sample data is missing, or the error information such as information of error-free intervals, and outputs the decoded display unit 406, the decoding display unit , based on the information indicated by the NAL unit for the inserted error notification input error information or the sample data, the sample to decode or may determine the slice data. このとき、復号サンプルの一覧はサンプル取得部404には出力しない。 At this time, a list of decoded samples does not output the sample acquisition unit 404.

次に、上記のように構成された逆多重化装置において、MP4ファイルを再生する際の動作について説明する。 Then, the demultiplexing apparatus configured as described above, the operation in reproducing MP4 file. 図19は、MP4ファイルを再生する際の動作を示すフローチャートである。 Figure 19 is a flowchart showing the operation in reproducing MP4 file.

欠落情報通知部406cは、エラー情報解析部405によってヘッダ情報(moov)から取得されたMP4ファイルまたはトラック単位の欠落情報をユーザに通知するとともに、ユーザに対してMP4ファイルを再生するか否かの問い合わせを行う(ステップ1001)。 Loss information notification unit 406c is configured to notify the missing information of the MP4 file or track unit acquired from the header information (moov) by the error information analyzing unit 405 to the user, whether to play the MP4 file to the user perform a query (step 1001). 次に、問い合わせに対してユーザが再生を指示したか否かを判定する(ステップ1002)。 Next, it is determined whether the user has instructed reproduction to the inquiry (step 1002). この結果、再生が指示されていれば(ステップ1002でyes)、欠落情報通知部406cは、サンプル取得部404に再生指示信号を出力することで、再生を指示する(ステップ1004)。 Consequently, if reproduction is instructed (yes in step 1002), the missing information notification unit 406c, by outputting a reproduction instruction signal to the sample acquiring unit 404, designates the reproduction (step 1004). 入力された再生開始時間から再生を開始し、最終サンプルまたはユーザから再生終了が指示されるまでサンプルを復号し、再生する(ステップ1005)。 Start playback from the inputted reproduction start time, decode the sample from the last sample or user to the playback end is instructed, the reproduction (step 1005). 一方、再生が指示されていなければ(ステップ1002でno)、MP4ファイルを再生しない旨をユーザに通知する(ステップ1003)。 If it has not been reproduced instruction (no at step 1002), and notifies the user that not play MP4 file (step 1003).

次に、ステップ1005において、サンプルを再生する際の手順について説明する。 Next, in step 1005, the procedure for reproducing the samples will be described. 図20は、ステップ1005の動作を示すフローチャートである。 Figure 20 is a flow chart illustrating the operation of step 1005. まず、ステップ1101において、入力された再生開始時間に基づいて、復号を開始するシンクサンプルを決定する。 First, in step 1101, based on the input reproduction start time, it determines the sync sample to start decoding. ステップ1101の処理終了後、ループBの処理を行う。 After the processing of step 1101 performs the processing of the loop B. ループBは、ステップ1102からステップ1106までの処理を繰り返すループ処理であり、復号時に新規のシンクサンプルを検出する度に繰り返される。 Loop B is a loop process for repeating the processing from step 1102 to step 1106 is repeated every time of detecting a new sync sample at the time of decoding. ステップ1102では、Error Sample Box、Error Free End Sample Box、あるいはError Free Sequence Boxから、次シンクサンプルまでの間のサンプルにおいて、データが欠落しているかどうかなどのエラー情報を取得する。 In step 1102, Error Sample Box, Error Free End Sample Box or from Error the Free Sequence Box,, in a sample of until the next sync sample, to obtain the error information such as whether the data is missing. ステップ1103では、ステップ1102において取得したエラー情報に基づいて、当該シーケンス内で復号するサンプルを決定し、復号するサンプルのサンプル番号の一覧をテーブルに格納する。 In step 1103, based on the obtained error information in step 1102, it determines a sample to be decoded in the sequence, and stores a list of sample numbers of samples to be decoded to a table. ステップ1103の終了後、ループAの処理において、ステップ1103において作成されたテーブルにより、復号すると決定されたサンプルを順に復号し、表示する。 After step 1103, the process of the loop A, the table created in step 1103, decodes the samples was determined to be decoded in order to display. ループAは、ステップ1104からステップ1106までの処理から構成され、再生時に復号する最終サンプルの処理が終了するまで繰り返す。 Loop A is composed of the process from step 1104 to step 1106 is repeated until the processing of the last sample to be decoded at the time of reproduction is completed. ステップ1104では、moovあるいはmoofを解析してサンプルデータ、およびサンプルの表示時間を取得する。 In step 1104, to acquire the sample data, and sample display time analyzes the moov or moof. ステップ1105では、ステップ1104において取得したサンプルデータを復号し、ステップ1106では、ステップ1104において取得した表示時間に基づいて、ステップ1105で復号されたサンプルデータを表示する。 In step 1105, it decodes the obtained sample data in step 1104, in step 1106, based on the display time obtained in step 1104, displays the sample data decoded in step 1105.

以下に、ステップ1102において、Error Sample Box、Error Free End Sample Box、およびError Free Sequence Boxの各Boxを参照して、復号するサンプルを決定する際の手順について順に説明する。 Hereinafter, in step 1102, Error Sample Box, with reference to the Error the Free End Sample Box, and each Box of Error the Free Sequence Box, will be sequentially described procedure for determining the samples to be decoded.

まず、Error Sample Boxを参照する際は、データが欠落していることが示されるサンプルは復号しないと決定する。 First, when referring to the Error Sample Box is a sample that data is missing is indicated decides not to decode. なお、スライスのNALユニット単位でのデータ欠落情報が取得できる際には、サンプル内のスライスNALユニット単位で復号するかどうかを決定してもよい。 Incidentally, when the can acquire data loss information is in NAL units units of slice, whether to decode a slice NAL unit basis in the sample may be determined. また、サンプル内のスライスNALユニットを復号する際に参照するスライスNALユニットのデータが欠落しているかどうかが示される際には、参照先のスライスNALユニットのデータが完全に揃っている場合にのみ、当該スライスNALユニットのデータを復号するとしてもよい。 Also, when whether the data of the slice NAL units to be referred to when decoding the slice NAL units in the sample is missing is indicated only if the data referenced in the slice NAL units are fully aligned , it may decode the data of the slice NAL units. 例えば、各サンプルを構成するスライスNALユニットの符号化タイプが周期的に変化する際には、周期構造が既知であれば、スライスNALユニットが参照するサンプルのデータを特定することができる。 For example, when the coding type of the slice NAL units constituting each sample is periodically changed, if the periodic structure is known, it is possible to identify the data sample slice NAL unit refers. 一例として、符合化タイプの周期が15サンプルであり、周期内の各サンプルにおけるスライスNALユニットの符号化タイプが、復号順でIBBPBBPBBPBBPBBであるとする。 As an example, the period of coding type is 15 samples, the coding type of the slice NAL units in each sample period is assumed to be the IBBPBBPBBPBBPBB in decoding order. ここで、Iはイントラスライス、あるいはIDRスライスから構成されるサンプル、Bは双予測のスライスから構成されるサンプル、Pは一方向予測のスライスから構成されるサンプルを示す。 Here, I is the sample consists of intra-slice or IDR slice,, B is a sample composed of slices of bi-prediction, P is illustrates a sample composed of a slice of single prediction. このとき、Bサンプルは、復号順で直前にあるBサンプル以外の2つのサンプル、Pサンプルは、復号順で直前にあるBサンプル以外のサンプルを参照すると、Bサンプル、およびPサンプルのスライスデータが参照するサンプルを特定することができる。 In this case, B samples, two samples except B samples immediately preceding in decoding order, P samples, referring to samples other than B samples immediately preceding in decoding order, B sample, and P samples of slice data it is possible to identify the sample reference.

次に、Error Free End Sample Boxを参照して復号するサンプルを決定する際には、エラーフリー区間に含まれないサンプルは復号しないと決定する。 Then, when determining the sample to be decoded by referring to the Error Free End Sample Box is a sample that is not included in the error-free interval is determined not to decode.

最後に、Error Free Sequence Boxを参照して復号するサンプルを決定する際には、連続した2つのシンクサンプル間にデータの欠落したサンプルが含まれる際には、最初のシンクサンプルのみ復号する。 Finally, Error the Free in determining the sample to be decoded by referring to the Sequence Box, when containing the missing data sample between two sinks consecutive samples decodes only the first sync sample.

なお、Error Sample Box、Error Free End Sample Box、およびError Free Sequence Boxが2つ以上同時に使用されている際には、使用されているBoxに応じて、復号するサンプルの決定方法を変更することとしてもよい。 Incidentally, Error Sample Box, Error the Free End Sample Box, and Error in the Free Sequence Box is used two or more at the same time, as it in accordance with the Box being used to change the method of determining the samples to be decoded it may be. 例えば、Error Sample BoxとError Free End Sample Boxが同時に使用されている際には、エラーフリー区間に含まれないサンプルについても、Error Sample Boxの情報により、正しく復号できるサンプルが示される。 For example, Error in Sample Box and Error Free End Sample Box is used at the same time, for the samples which are not included in the error-free interval, the information of Error Sample Box, samples are shown that can be decoded correctly. このときは、エラーフリー区間外のサンプルを復号することとしてもよい。 At this time, it is also possible to decode the samples outside the error-free interval. Error Sample BoxとError Free Sequence Boxが同時に使用されている際も、同様である。 When Error Sample Box and Error the Free Sequence Box is used at the same time also the same.

また、本実施の形態では、欠落情報通知部406cは、ユーザに対してMP4ファイルを再生するか否かの問い合わせを行っているが、これに限られるものではない。 Further, in the present embodiment, the missing information notifying unit 406c is doing whether queries to play MP4 file to the user, not limited to this. 例えば、欠落情報通知部406cは、ユーザに対してMP4ファイルを再生するか否かの問い合わせを行わずに、単にサンプルデータの欠落率等の情報をユーザに通知するだけであっても構わない。 For example, the missing information notification unit 406c does not perform a query of whether to play the MP4 file to the user, but may be simply notified of the information of the loss rate, etc. of the sample data to the user. また、欠落情報通知部406cは、例えばサンプルデータの欠落率等の情報を所定の閾値で判定し、条件を満たした場合にサンプル取得部404に再生指示信号を出力するようにしても構わない。 Further, the missing information notification unit 406c, for example the information loss rate, etc. of sample data determined in a predetermined threshold value, may be output a reproduction instruction signal to the sample acquiring unit 404 when the condition is met. さらに、欠落情報通知部406cは、例えばサンプルデータの欠落率等の情報を所定の閾値で判定し、条件を満たさない場合にだけユーザに対してMP4ファイルを再生するか否かの問い合わせを行っても構わない。 Furthermore, loss information notification unit 406c, for example a sample information loss rate of data determined by a predetermined threshold value, performs whether queries to play MP4 file to the user only if the condition is not satisfied it may be.

なお、本多重化装置は、従来のMP4ファイルも再生できる。 The present multiplexing device also can play a conventional MP4 file.

(実施の形態5) (Embodiment 5)
本発明の実施の形態5に係る逆多重化装置について図21を参照して説明する。 Referring to FIG. 21 will be described demultiplexing apparatus according to a fifth embodiment of the present invention. 本逆多重化装置は、実施の形態1から実施の形態3に係る多重化方式変換装置により作成されたMP4ファイルを入力して、AUデータを分離して、復号、表示するものであるが、サンプルデータに挿入されたエラー通知用のNALユニットに示されるエラー情報を参照することにより、復号、あるいは表示動作を決定する。 This demultiplexer inputs the MP4 file created by the multiplexing system conversion apparatus according to the third embodiment from the first embodiment, separates the AU data, decoding, but is intended to be displayed, by referring to the error information shown in the inserted NAL unit for error notification to the sample data, decoding, or determines a display operation. なお、逆多重化装置に入力されるMP4ファイルにおいては、エラー情報を示すBoxは付加されていなくてもよい。 In the MP4 file to be input to the demultiplexer, Box indicating error information may not be added. 以下では、MPEG−4 AVCのトラックを再生する際の動作について説明するが、再生するトラックはMPEG−4 AVCに限定されるものではなく、H. The following is a description of the operation in reproducing a track of MPEG-4 AVC, a track to be reproduced is not limited to MPEG-4 AVC, H. 263やMPEG−4 Visualなどのビデオ符号化データ、あるいはMPEG−4 AACやAMRなどのオーディオ符号化データであってもよいし、ビデオとオーディオのトラックを同時に再生するものであってもよい。 263 and MPEG-4 video coded data, such as Visual, or may be a audio encoded data, such as MPEG-4 AAC or AMR, it may be configured to play the video and audio tracks simultaneously.

本逆多重化装置の構成は、図18に示した実施の形態4の逆多重化装置においてエラー情報解析部405を除いた構成と同一であるため、説明を省略する。 Construction of the demultiplexer is the same as the configuration excluding the error information analyzing unit 405 in the demultiplexer of the fourth embodiment shown in FIG. 18, the description thereof is omitted. 図21は、本逆多重化装置の動作を示すフローチャートである。 Figure 21 is a flowchart showing the operation of the demultiplexer. まず、ステップ1101において、入力された再生開始時間に基づいて、復号を開始するシンクサンプルを決定する。 First, in step 1101, based on the input reproduction start time, it determines the sync sample to start decoding. ステップ1101の処理終了後、ループAの処理を行う。 After the processing in step 1101, it performs processing of loop A. ループAは、ステップ1102からステップ1005までの処理を繰り返すループ処理であり、再生時に復号する最終サンプルの処理が終了するまで繰り返す。 Loop A is a loop process for repeating the processing from step 1102 to step 1005 is repeated until the processing of the last sample to be decoded at the time of reproduction is completed. ステップ1102では、復号するサンプルのデータを取得する。 In step 1102, to acquire the data samples to be decoded. 以降、ステップ1103からステップ1105までの処理は、復号表示部406における処理となる。 Thereafter, the processes from step 1103 to step 1105, the processing in the decoder display unit 406. ステップ1103では、ステップ1102において取得したサンプルデータにおいて、エラー通知用のNALユニット、あるいはサンプルを特定し、サンプルが正しく復号できないと示される際には、サンプルの復号を行わない。 In step 1103, the sample data acquired at step 1102, identifies the NAL unit or sample, for error notification, when a sample is indicated that it can not decode correctly, does not perform decoding of the samples. 続いて、ステップ1104では、ステップ1103において復号すると決定されたスライスNALユニットのデータを復号し、ステップ1105では、復号されたサンプルデータを表示時間に基づいて表示する。 Then, in step 1104, it decodes the data of the slice NAL units determined to be decoded in step 1103, in step 1105, is displayed based on the display time decoded sample data.

(実施の形態6) (Embodiment 6)
ここで、上記実施の形態1から実施の形態5で示した多重化方式変換装置、および逆多重化装置を用いたシステムを説明する。 Here will be described a system using multiplexing scheme conversion apparatus, and a demultiplexing apparatus shown in Embodiment 5 from the first embodiment.

図22は、放送、および通信によるコンテンツ配信サービスを実現するシステムの全体構成を示すブロック図である。 Figure 22 is a broadcast, and a block diagram showing an overall configuration of a system for implementing content distribution services communications. まず、放送データを受信するケースについて述べる。 First, we describe a case of receiving the broadcast data. 携帯電話ex105、あるいはDVDレコーダなどのディスクレコーダex104は、デジタル化された符号化メディアデータが多重化されたTSパケット列を受信する。 Mobile phone ex105 or a disk recorder ex104 such as a DVD recorder, is digitized encoded media data receives a TS packet sequence multiplexed. 携帯電話ex105では、受信したTSパケット列を、本発明に係る多重化方式変換装置によってMP4に変換してからSDカードex106に記録する。 In the mobile phone Ex105, a TS packet string received by the multiplexing system conversion apparatus according to the present invention is recorded in the SD card ex106 after converting to MP4. 記録したMP4ファイルは、本発明に係る逆多重化装置を備えた携帯電話ex105、ディスクレコーダex104、あるいは図示しないパーソナルコンピュータなどで視聴することができる。 Recorded MP4 file, mobile phone ex105 having a demultiplexer according to the present invention, it is possible to watch such a disk recorder ex104 or a personal computer (not shown). また、MP4ファイルを電子メールに添付して、携帯電話ex105から無線基地局ex107を経由して、本発明に係る逆多重化装置を備えた別の携帯電話ex108に送信し、携帯電話ex108においてMP4ファイルを視聴することもできる。 Further, by attaching the MP4 file to an email, via the wireless base station ex107 mobile phone Ex105, and sent to another mobile phone Ex108 having a demultiplexer according to the present invention, in the mobile phone Ex108 MP4 it is also possible to view the file. さらに、メール添付ではなく、HTTP(Hyper Text Transport Protocol)およびTCP(Transmission Control Protocol)などのプロトコルを使用して、携帯電話ex105から携帯電話ex108にダウンロード、あるいは擬似ストリーミング配信してもよい。 In addition, rather than e-mail attachments, using protocols such as HTTP (Hyper Text Transport Protocol) and TCP (Transmission Control Protocol), downloaded from the mobile phone ex105 to the mobile phone ex108 or it may be a pseudo-streaming,.

ディスクレコーダex104においても、受信したTSパケット列を本発明に係る多重化方式変換装置によってMP4に変換し、SDカード、DVDなどの光ディスク、あるいはハードディスクに記録することができる。 Also in the disc recorder ex104, converts the TS packet sequence received to MP4 by the multiplexing system conversion apparatus according to the present invention, it can be recorded on an SD card, an optical disc such as a DVD or hard disk. また、記録したMP4ファイルを、携帯電話や図示しないパーソナルコンピュータに対してダウンロード、あるいは擬似ストリーミング配信してもよい。 In addition, the recorded MP4 file, downloaded to the mobile phone and a personal computer (not shown) or may be a pseudo-streaming,. なお、SDカードにはTSパケット列を記録し、配信時にMP4に変換することとしてもよい。 It should be noted that, to record the TS packet sequence in the SD card, it may be converted to MP4 at the time of delivery.

コンテンツサーバex102からインターネット経由で配信されたTSパケット列を携帯電話ex105、あるいはディスクレコーダex104において受信する際にも、上記放送データを受信した際と同様にMP4ファイルを使用することができる。 Content server ex102 from the mobile phone the distributed TS packets via the Internet ex105, or even when receiving the disc recorder ex104, can be used similarly MP4 files and upon receiving the broadcast data.

(実施の形態7) (Embodiment 7)
上記各実施の形態で示した多重化方式変換装置における多重化方式変換方法、および逆多重化装置における逆多重化方法を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。 Multiplex scheme conversion method in the multiplex scheme conversion apparatus shown in the above-mentioned embodiments, and a program for implementing the demultiplexing process in the demultiplexer, so as to record in a storage medium such as a flexible disk by the processing shown in the above embodiments, it is possible to easily carry out in an independent computer system.

図23は、上記各実施の形態の多重化方式変換装置における多重化方式変換方法、および逆多重化装置における逆多重化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。 Figure 23 is a multiplexing scheme conversion method in the multiplex scheme conversion apparatus according to the above embodiments, and the demultiplexing method in demultiplexer, using a program recorded in a recording medium such as a flexible disk, computer it is an explanatory diagram for implementing the system.

図23(b) は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図23(a) は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。 FIG. 23 (b), a full appearance of a flexible disk, its structure at cross section and shows a flexible disk, FIG. 23 (a) shows an example of a physical format of the flexible disk as a recording medium body. フレキシブルディスクFDはケースF内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックTrが形成され、各トラックは角度方向に16のセクタSeに分割されている。 A flexible disk FD is contained in a case F, on the surface of the disc, from the periphery concentrically toward the inner periphery is formed with a plurality of tracks Tr, each track is divided into 16 sectors Se in the angular direction ing. 従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクFD上に割り当てられた領域に、上記プログラムが記録されている。 Therefore, in the flexible disk storing the above program in an area assigned for it on the flexible disk FD, the program is recorded.

また、図23(c) は、フレキシブルディスクFDに上記プログラムの記録再生を行うための構成を示す。 Further, FIG. 23 (c) shows the structure for recording and reproducing the program on the flexible disk FD. 多重化方式変換装置における多重化方式変換方法、および逆多重化装置における逆多重化方法を実現する上記プログラムをフレキシブルディスクFDに記録する場合は、コンピュータシステムCsから上記プログラムをフレキシブルディスクドライブを介して書き込む。 Multiplex scheme conversion method in the multiplex scheme conversion apparatus, and when the flexible disk FD The above program for realizing the demultiplexing method in the demultiplexer, the program from the computer system Cs via a flexible disk drive writes. また、フレキシブルディスク内のプログラムにより上記各実施の形態の多重化方式変換装置における多重化方式変換方法、および逆多重化装置における逆多重化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。 In the case of constructing multiplex scheme conversion method in the multiplex scheme conversion apparatus each of the above embodiments by the program on the flexible disk, and the demultiplexing method in the inverse multiplexer in a computer system, the flexible disk drive It reads the program from the flexible disk and transferred to the computer system.

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。 In the above description it has been described using a flexible disk as a recording medium, can be carried out in the same manner even when using an optical disk. また、記録媒体はこれに限らず、ICカード、ROMカセット等、プログラムを記録できるものであれば同様に実施することができる。 The recording medium is not limited to this, IC card, ROM cassette or the like, can be used in the same manner if a program can be recorded on them.

本発明に係る多重化方式変換装置は、TSにより送信されたMPEG−4 AVCなどの符号化データを、MP4に変換して記録、あるいは送信する機器全般に適用することができ、特にデジタル放送を受信する携帯電話などに有効である。 Multiplex scheme conversion apparatus according to the present invention, the encoded data, such as transmitted MPEG-4 AVC by TS, recording is converted to MP4, or can be applied to transmit device in general, a particular digital broadcast reception to a mobile phone which is effective, for example.

本発明の実施の形態1に係る多重化方式変換装置の全体構成を示すブロック図である。 Is a block diagram showing the overall configuration of a multiplex scheme conversion apparatus according to a first embodiment of the present invention. 本発明の実施の形態1に係る多重化方式変換装置における変換部103の構成を示すブロック図である。 It is a block diagram showing the configuration of the conversion unit 103 in the multiplexing scheme conversion apparatus according to a first embodiment of the present invention. 本発明の実施の形態1に係る多重化方式変換装置の動作を示すフローチャートである。 The operation of the multiplexing system conversion apparatus according to a first embodiment of the present invention is a flow chart showing. 本発明の実施の形態1に係る多重化方式変換装置におけるBoxデータ決定部の構成を示すブロック図である。 Is a block diagram showing the structure of Box data determination unit in the multiplex scheme conversion apparatus according to a first embodiment of the present invention. 本発明の実施の形態1に係る多重化方式変換装置におけるBox作成部205の動作を示すフローチャートである。 It is a flowchart illustrating the operation of Box creation unit 205 in the multiplexing scheme conversion apparatus according to a first embodiment of the present invention. 本発明の実施の形態1に係る多重化方式変換装置のBox作成部205においてMP4のヘッダ部の作成動作を示すフローチャートである。 In Box creation unit 205 of the multiplexing system conversion apparatus according to a first embodiment of the present invention is a flow chart showing the operation of creating the header portion of the MP4. 本発明の実施の形態1に係る多重化方式変換装置におけるError Sample Boxの作成動作を示すフローチャートである。 The Error Sample Box creation operation in multiplex scheme conversion apparatus according to a first embodiment of the present invention is a flow chart showing. 本発明の実施の形態1に係る多重化方式変換装置におけるError Sample Boxの作成動作の例である。 It is an example of a creation operation Error Sample Box in multiplex scheme conversion apparatus according to a first embodiment of the present invention. 本発明の実施の形態1に係る多重化方式変換装置におけるサンプルデータの決定方法を示すフローチャートである。 It is a flowchart showing a method of determining the sample data in the multiplex scheme conversion apparatus according to a first embodiment of the present invention. 本発明の実施の形態1に係る多重化方式変換装置において、パケットロスがNALユニットをまたがない場合のサンプルデータ変換例である。 In multiplex scheme conversion apparatus according to a first embodiment of the present invention, a sample data conversion example when packet loss does not cross the NAL unit. 本発明の実施の形態1に係る多重化方式変換装置において、パケットロスがNALユニットをまたぐ場合のサンプルデータ変換例である。 In multiplex scheme conversion apparatus according to a first embodiment of the present invention, a sample data conversion example when packet loss straddles NAL unit. 本発明の実施の形態1に係る多重化方式変換装置において、パケットロスがAU境界をまたぐ場合のサンプルデータ変換例である。 In multiplex scheme conversion apparatus according to a first embodiment of the present invention, a sample data conversion example when packet loss straddles AU boundary. 本発明の実施の形態2に係る多重化方式変換装置におけるシンクサンプルボックスの作成方法を示すフローチャートである。 It is a flow chart showing how to create a sync sample box in multiplex scheme conversion apparatus according to a second embodiment of the present invention. 本発明の実施の形態2に係る多重化方式変換装置におけるシンクサンプルボックスの作成例である。 An Example of Creating sync sample box in multiplex scheme conversion apparatus according to a second embodiment of the present invention. 本発明の実施の形態3に係る多重化方式変換装置におけるError Free End Sample Boxの作成動作を示すフローチャートである。 The operation of creating Error Free End Sample Box in multiplex scheme conversion apparatus according to a third embodiment of the present invention is a flow chart showing. 本発明の実施の形態3に係る多重化方式変換装置におけるError Free End Sample Boxの作成動作の例である。 It is an example of a creation operation Error Free End Sample Box in multiplex scheme conversion apparatus according to a third embodiment of the present invention. 本発明の実施の形態3に係る多重化方式変換装置におけるError Free Sequence Boxの作成動作の例である。 It is an example of a creation operation Error the Free Sequence Box in multiplex scheme conversion apparatus according to a third embodiment of the present invention. 本発明の実施の形態4に係る逆多重化装置の構成を示すブロック図である。 The configuration of the demultiplexer according to the fourth embodiment of the present invention is a block diagram showing. 本発明の実施の形態4に係る逆多重化装置におけるMP4ファイルを再生する際の動作を示すフローチャートである。 Is a flowchart showing the operation in reproducing MP4 file in demultiplexer according to the fourth embodiment of the present invention. 本発明の実施の形態4に係る逆多重化装置の動作を示すフローチャートである。 Is a flowchart showing the operation of the demultiplexing apparatus according to a fourth embodiment of the present invention. 本発明の実施の形態5に係る逆多重化装置の動作を示すフローチャート図である。 The operation of the demultiplexing apparatus according to a fifth embodiment of the present invention is a flow chart showing. 本実施の形態6における多重化方式変換装置の使用例を示す図である。 Is a diagram showing an example of the use of the multiplexing system conversion apparatus according to the sixth embodiment. 上記各実施の形態の多重化方式変換装置における多重化方式変換方法、および逆多重化装置における逆多重化方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図である。 It is an explanatory view of the storage medium for storing a program for implementing the multiplex scheme conversion method and demultiplexing method of a computer system in a demultiplexer, in multiplex scheme conversion apparatus of the above embodiments . MPEG−4 AVCにおけるAUのデータ構造を示す図である。 It is a diagram showing the data structure of the AU in MPEG-4 AVC. PESパケット、およびTSパケットのデータ構造を示す図である。 It illustrates a data structure of a PES packet, and TS packets. MP4のBox構造を示す図である。 Is a diagram showing an MP4 of the Box Structure. MP4におけるmoovの階層構造を示す図である。 Is a diagram showing the hierarchical structure of the moov in MP4. MP4におけるmoofの使用方法を示す図である。 Is a diagram illustrating the use of the moof in MP4. 従来の多重化方式変換装置の動作を示すフローチャートである。 Is a flowchart showing the operation of a conventional multiplexing system conversion apparatus. 従来の多重化方式変換装置におけるMP4ファイルの作成動作を示すフローチャートである。 Is a flowchart showing the operation of creating MP4 file in the conventional multiplex scheme conversion apparatus.

符号の説明 DESCRIPTION OF SYMBOLS

101 データI/O部 102 メモリ 103 変換部 201 TSペイロード分離部 202 パケットロス判定部 203 PES分離解析部 204 AU分離部 205 PESヘッダ解析部 206 Box作成部 207 連結部 301 AU解析部 302 エラー情報生成部 303 AU形式変換部 304 Boxデータ決定部 401 ヘッダ分離部 402 ヘッダメモリ 403 mdatメモリ 404 サンプル取得部 405 エラー情報解析部 406 復号再生部 406a 復号部 406b サンプル表示部 406c 欠落情報通知部 101 data I / O unit 102 memory 103 conversion unit 201 TS payload separation section 202 the packet loss determining unit 203 PES separation analysis unit 204 AU separation unit 205 PES header analyzer 206 Box creating portion 207 connection portion 301 AU analyzer 302 error information generating part 303 AU format converting unit 304 Box data determination unit 401 header separating portion 402 header memory 403 mdat memory 404 sample acquisition unit 405 the error information analyzing unit 406 decodes reproduction unit 406a decoding unit 406b sample display section 406c loss information notification unit

Claims (17)

  1. 第1の方式によりパケット多重化された符号化メディアデータを前記第1の方式と異なる第2の方式によりパケット多重化して出力する多重化方式変換装置であって、 A multiplexing scheme conversion apparatus outputting the packets multiplexed by the second method of the encoded media data packets multiplexed by the first scheme different from said first scheme,
    前記第1の方式によりパケット多重化された符号化メディアデータにおけるパケットロスの有無を判定するパケットロス判定手段と、 A packet loss determining unit determines the presence or absence of packet loss in a packet multiplexed coded media data by the first method,
    前記パケットロス判定手段でパケットロスが有と判定された場合に、前記符号化メディアデータにおけるデータが欠落した位置に基づいて、データ欠落に関する欠落情報を生成する欠落情報生成手段と、 If the packet loss by the packet loss determining means determines that Yes, on the basis of the position data is missing in the encoded media data, the missing information generating means for generating the missing information about the missing data,
    前記欠落情報生成手段で生成された欠落情報を前記第2の方式のパケットに格納するとともに、前記符号化メディアデータを前記第2の方式によりパケット多重化する多重化手段と を備えることを特徴とする多重化方式変換装置。 Stores the missing information generated by said missing information generating means to the packet of the second type, and characterized in that it comprises a multiplexing means for packet multiplexing by the encoded media data and the second type multiplex scheme conversion apparatus.
  2. 前記多重化方式変換装置は、さらに、 The multiplex scheme conversion apparatus further
    前記第1の方式によりパケット多重化された符号化メディアデータのパケットからヘッダとペイロードを分離するパケット分離手段 を備えることを特徴とする請求項1記載の多重化方式変換装置。 Multiplex scheme conversion apparatus according to claim 1, further comprising a packet separating means for separating a header and a payload from the packet of the packet multiplexed coded media data by using the first method.
  3. 前記パケットロス判定手段は、前記パケット分離手段で分離された前記ヘッダに基づいてパケットロスの有無を判定する ことを特徴とする請求項2記載の多重化方式変換装置。 The packet loss determining means, multiplexing scheme conversion apparatus according to claim 2, wherein the determining the presence or absence of a packet loss based on the header separated by the packet separating means.
  4. 前記多重化方式変換装置は、さらに、 The multiplex scheme conversion apparatus further
    前記パケット分離手段で分離された前記ペイロードから前記符号化メディアデータのフレーム境界を検出してフレームを分離するフレーム分離手段を備え、 A frame separating means for separating the frame by detecting the frame boundary of the encoded media data from the payload separated by the packet separation unit,
    前記欠落情報生成手段は、前記パケットロス判定手段でパケットロスが有と判定された場合に、前記符号化メディアデータにおけるデータが欠落した位置に基づいて、データ欠落に関する欠落情報をフレーム単位で生成し、 It said missing information generating means, when the packet loss in the packet loss determining means determines that Yes, on the basis of the position data is missing in the encoded media data, to generate the missing information on the data missing frame ,
    前記多重化手段は、前記欠落情報生成手段で生成された前記フレーム単位での欠落情報を前記第2の方式のパケットに格納する ことを特徴とする請求項2記載の多重化方式変換装置。 It said multiplexing means is multiplexing scheme conversion apparatus according to claim 2, wherein the storing the missing information in the frame generated by said missing information generating means to the packet of the second type.
  5. 前記欠落情報生成手段は、復号に必須なデータが欠落していないフレームが復号順で1枚以上連続する区間を示す情報を前記欠落情報として生成する ことを特徴とする請求項4記載の多重化方式変換装置。 Said missing information generating means, multiplexing of claim 4, wherein the generating information indicating a section frame mandatory data to decoding is not missing or more consecutive one in decoding order as the missing information system conversion apparatus.
  6. 前記欠落情報生成手段は、前記区間を示す情報として前記区間の先頭フレームの情報を生成する ことを特徴とする請求項5記載の多重化方式変換装置。 It said missing information generating means, multiplexing scheme converter according to claim 5, wherein the generating the information of the first frame of the segment as the information indicating the interval.
  7. 前記欠落情報生成手段は、前記区間を示す情報として前記区間の最終フレームの情報を生成する ことを特徴とする請求項5記載の多重化方式変換装置。 It said missing information generating means, multiplexing scheme converter according to claim 5, wherein the generating the information of the last frame of the section as the information indicating the interval.
  8. 前記多重化方式変換装置は、さらに、 The multiplex scheme conversion apparatus further
    ランダムアクセス可能であるフレームを登録するためのテーブルを作成する作成手段を備え、 Comprising a creating means for creating a table for registering the random access possible is frame,
    前記多重化手段は、前記符号化メディアデータのランダムアクセス可能であるフレームを前記テーブルへ登録する際に、前記符号化メディアデータにおけるデータが欠落した位置に基づいて、前記フレームにおいて復号に必須なデータが欠落しているか否かを判定し、前記フレームにおいて復号に必須なデータが欠落していれば、前記フレームをランダムアクセス可能なフレームとして前記テーブルへ登録しない ことを特徴とする請求項4記載の多重化方式変換装置。 Said multiplexing means is a random access possible is frame of the encoded media data when registering to said table, on the basis of the position data is missing in the encoded media data, essential data to decoding at the frame There is judged whether or not missing, if mandatory data to the decoding in the frame is missing, according to claim 4, wherein the not registered to said table the frame as a random-accessible frame multiplex scheme conversion apparatus.
  9. 前記多重化方式変換装置は、さらに、 The multiplex scheme conversion apparatus further
    前記符号化メディアデータの格納形式を変換する変換手段 を備えることを特徴とする請求項4記載の多重化方式変換装置。 Multiplex scheme conversion apparatus according to claim 4, further comprising a converting means for converting the storage format of the coded media data.
  10. 前記フレームが1以上のサブフレーム単位から構成され、 The frame consists of one or more sub-frames,
    前記変換手段は、サブフレーム単位の先頭に前記サブフレームのサイズ情報を付加して前記格納形式を変換する際には、前記符号化メディアデータにおけるデータが欠落した位置に基づいて、前記第2の方式のパケットに格納するサブフレームデータ、およびサブフレームデータのサイズを決定する ことを特徴とする請求項9記載の多重化方式変換装置。 And the converting means when converting the first said sub-frame the storage format by adding the size information of the sub-frame, based on the position data is missing in the encoded media data, the second subframe data, and multiplexing standards converter according to claim 9, wherein the determining the size of the sub-frame data stored in the system packets.
  11. 前記フレームが1以上のサブフレーム単位から構成され、 The frame consists of one or more sub-frames,
    前記変換手段は、前記符号化メディアデータにおけるデータが欠落した位置に、データの欠落を示すサブフレーム単位を挿入した上で、前記符号化メディアデータを前記第2の方式によりパケット多重化する ことを特徴とする請求項9記載の多重化方式変換装置。 And the converting means, the position data is missing in the encoded media data, after inserting the sub-frame unit indicating the missing data, the said encoded media data to the packet multiplexed by the second method multiplex scheme conversion apparatus according to claim 9, wherein.
  12. 前記欠落情報生成手段は、所定単位の復号に必須なデータが欠落しているか否かを示す情報を前記欠落情報として生成する ことを特徴とする請求項1記載の多重化方式変換装置。 Said missing information generating means, multiplexing scheme conversion apparatus according to claim 1, wherein the generating the information indicating whether mandatory data to the decoding of a predetermined unit is missing as the missing information.
  13. 符号化メディアデータがパケット多重化された多重化データを復号する逆多重化装置であって、 A demultiplexer encoded media data to decode the multiplexed data packet multiplexing,
    前記多重化データからデータ欠落に関する欠落情報を抽出する欠落情報抽出手段と、 A loss information extraction means for extracting the missing information about the missing data from the multiplexed data,
    前記欠落情報抽出手段で抽出された前記欠落情報に基づいて前記符号化メディアデータの中で復号するデータを決定する欠落情報解析手段と、 And missing information analysis means for determining data to be decoded in the coded media data based on said missing information extracted by said missing information extracting means,
    前記欠落情報解析手段で復号すると決定された前記データを復号する復号手段と を備えることを特徴とする逆多重化装置。 Demultiplexing device characterized by comprising a decoding means for decoding the data determined to be decoded by said missing information analyzer.
  14. 前記逆多重化装置は、さらに、 It said demultiplexer further,
    前記欠落情報抽出手段で抽出された前記欠落情報に基づいて再生品質をユーザに通知する欠落情報通知手段 を備えることを特徴とする請求項13記載の逆多重化装置。 Demultiplexing device according to claim 13, characterized in that it comprises the missing information notifying means for notifying the reproduction quality to the user based on said missing information extracted by said missing information extracting means.
  15. 前記欠落情報通知手段は、前記通知に基づくユーザの指示を受け付ける ことを特徴とする請求項14記載の逆多重化装置。 It said missing information notification means, demultiplexing apparatus according to claim 14, wherein the receiving a user instruction based on the notification.
  16. 第1の方式によりパケット多重化された符号化メディアデータを前記第1の方式と異なる第2の方式によりパケット多重化して出力する多重化方式変換方法であって、 A multiplexing scheme conversion method and outputting the packets multiplexed by the second method of the encoded media data packets multiplexed by the first scheme different from said first scheme,
    前記第1の方式によりパケット多重化された符号化メディアデータにおけるパケットロスの有無を判定するパケットロス判定ステップと、 A packet loss determining step determines the presence or absence of packet loss in a packet multiplexed coded media data by the first method,
    前記パケットロス判定ステップにおいてパケットロスが有と判定された場合に、前記符号化メディアデータにおけるデータが欠落した位置に基づいて、データ欠落に関する欠落情報を生成する欠落情報生成ステップと、 If the packet loss in the packet loss determining step is determined to Yes, on the basis of the position data is missing in the encoded media data, the missing information generating step of generating the missing information about the missing data,
    前記欠落情報生成ステップにおいて生成された欠落情報を前記第2の方式のパケットに格納するとともに、前記符号化メディアデータを前記第2の方式によりパケット多重化する多重化ステップと を含むことを特徴とする多重化方式変換方法。 Stores the missing information generated in the missing information generating step to the packet of the second type, and characterized in that it comprises a multiplexing step of packets multiplexed by the encoded media data and the second type multiplexing scheme conversion method for.
  17. 第1の方式によりパケット多重化された符号化メディアデータを前記第1の方式と異なる第2の方式によりパケット多重化して出力するためのプログラムであって、 The second scheme different encoded media data packets multiplexed by the first method and the first method a program for outputting the packet multiplexing,
    前記第1の方式によりパケット多重化された符号化メディアデータにおけるパケットロスの有無を判定するパケットロス判定ステップと、 A packet loss determining step determines the presence or absence of packet loss in a packet multiplexed coded media data by the first method,
    前記パケットロス判定ステップにおいてパケットロスが有と判定された場合に、前記符号化メディアデータにおけるデータが欠落した位置に基づいて、データ欠落に関する欠落情報を生成する欠落情報生成ステップと、 If the packet loss in the packet loss determining step is determined to Yes, on the basis of the position data is missing in the encoded media data, the missing information generating step of generating the missing information about the missing data,
    前記欠落情報生成ステップにおいて生成された欠落情報を前記第2の方式のパケットに格納するとともに、前記符号化メディアデータを前記第2の方式によりパケット多重化する多重化ステップとをコンピュータに実行させる ことを特徴とするプログラム。 Stores the missing information generated in the missing information generating step to the packet of the second type, thereby executing a multiplexing step of packets multiplexed into a computer the encoded media data by the second protocol program characterized.
JP2005005731A 2005-01-12 Pending JP2005229587A5 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004007817 2004-01-15
JP2005005731A JP2005229587A5 (en) 2005-01-12

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005005731A JP2005229587A5 (en) 2005-01-12

Publications (2)

Publication Number Publication Date
JP2005229587A true true JP2005229587A (en) 2005-08-25
JP2005229587A5 true JP2005229587A5 (en) 2008-01-17

Family

ID=

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007034634A1 (en) * 2005-09-20 2007-03-29 Pioneer Corporation Digital broadcast receiver
WO2008085013A1 (en) * 2007-01-12 2008-07-17 University-Industry Cooperation Group Of Kyung Hee University Packet format of network abstraction layer unit, and algorithm and apparatus for video encoding and decoding using the format, qos control algorithm and apparatus for ipv6 label switching using the format
JP2009010934A (en) * 2007-06-27 2009-01-15 Lianfa Science & Technology Co Ltd Apparatus and method for processing bitstream
JP2009509390A (en) * 2005-09-19 2009-03-05 エヌエックスピー ビー ヴィ Apparatus and method for error correction in mobile wireless applications incorporating lost data adaptive multilevel
JP2009530881A (en) * 2006-03-17 2009-08-27 テールズ The method of protecting multimedia data using additional network abstraction layer (nal)
JP2009534892A (en) * 2006-04-18 2009-09-24 フランス テレコム ソシエテ アノニムFrance Telecom SA Notification method of transfer defects of the speech signal
JP2010539834A (en) * 2007-09-19 2010-12-16 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン Apparatus and method for reading and storing a file having a media data container and a metadata container
JP2012175608A (en) * 2011-02-24 2012-09-10 Nec Personal Computers Ltd Converter, information distribution device, communication system, control method, and program
WO2014002618A1 (en) * 2012-06-27 2014-01-03 ソニー株式会社 Image decoding device, image decoding method, image encoding device, and image encoding method
JP2015515192A (en) * 2012-03-16 2015-05-21 アルカテル−ルーセント Enabling delivery of protected content using a delivery service that is not protected
WO2015072127A1 (en) * 2013-11-15 2015-05-21 パナソニック株式会社 File generation method and file generation apparatus
WO2015178112A1 (en) * 2014-05-19 2015-11-26 ソニー株式会社 Information processing device, information generation device, information recording medium, information processing method, and program
WO2016031589A1 (en) * 2014-08-29 2016-03-03 ソニー株式会社 Reception device and reception method
EP3094083A4 (en) * 2014-01-10 2016-11-16 Panasonic Ip Man Co Ltd File generation method, file generation device and recording medium
WO2017090463A1 (en) * 2015-11-27 2017-06-01 ソニー株式会社 Receiving device and method, and communication system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148853A (en) * 1999-03-12 2001-05-29 Toshiba Corp Moving picture encoder and decoder
JP2003319389A (en) * 2002-04-26 2003-11-07 Matsushita Electric Ind Co Ltd Image data decoding apparatus and structure of image data
JP2004032225A (en) * 2002-06-25 2004-01-29 Hitachi Ltd Two-way communication system
JP2004159015A (en) * 2002-11-05 2004-06-03 Matsushita Electric Ind Co Ltd Data multiplexing method and demultiplexing method
JP2004297710A (en) * 2003-03-28 2004-10-21 Sony Corp Signal processing apparatus and method, recording medium, and program
JP2005123907A (en) * 2003-10-16 2005-05-12 Matsushita Electric Ind Co Ltd Data reconstruction apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148853A (en) * 1999-03-12 2001-05-29 Toshiba Corp Moving picture encoder and decoder
JP2003319389A (en) * 2002-04-26 2003-11-07 Matsushita Electric Ind Co Ltd Image data decoding apparatus and structure of image data
JP2004032225A (en) * 2002-06-25 2004-01-29 Hitachi Ltd Two-way communication system
JP2004159015A (en) * 2002-11-05 2004-06-03 Matsushita Electric Ind Co Ltd Data multiplexing method and demultiplexing method
JP2004297710A (en) * 2003-03-28 2004-10-21 Sony Corp Signal processing apparatus and method, recording medium, and program
JP2005123907A (en) * 2003-10-16 2005-05-12 Matsushita Electric Ind Co Ltd Data reconstruction apparatus

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009509390A (en) * 2005-09-19 2009-03-05 エヌエックスピー ビー ヴィ Apparatus and method for error correction in mobile wireless applications incorporating lost data adaptive multilevel
WO2007034634A1 (en) * 2005-09-20 2007-03-29 Pioneer Corporation Digital broadcast receiver
JPWO2007034634A1 (en) * 2005-09-20 2009-03-19 パイオニア株式会社 Digital broadcast receiver
JP2009530881A (en) * 2006-03-17 2009-08-27 テールズ The method of protecting multimedia data using additional network abstraction layer (nal)
JP2009534892A (en) * 2006-04-18 2009-09-24 フランス テレコム ソシエテ アノニムFrance Telecom SA Notification method of transfer defects of the speech signal
WO2008085013A1 (en) * 2007-01-12 2008-07-17 University-Industry Cooperation Group Of Kyung Hee University Packet format of network abstraction layer unit, and algorithm and apparatus for video encoding and decoding using the format, qos control algorithm and apparatus for ipv6 label switching using the format
US9853893B2 (en) 2007-01-12 2017-12-26 University-Industry Cooperation Group of Kyung Hee University Kyunghee Univ. (Suwon Campus) Packet format of network abstraction layer unit, and algorithm and apparatus for video encoding and decoding using the format, QoS control algorithm and apparatus for IPv6 label switching using the format
US9344362B2 (en) 2007-01-12 2016-05-17 University-Industry Cooperation Group Of Kyung Hee University Packet format of network abstraction layer unit, and algorithm and apparatus for video encoding and decoding using the format, QOS control algorithm and apparatus for IPV6 label switching using the format
JP2009010934A (en) * 2007-06-27 2009-01-15 Lianfa Science & Technology Co Ltd Apparatus and method for processing bitstream
JP2010539834A (en) * 2007-09-19 2010-12-16 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン Apparatus and method for reading and storing a file having a media data container and a metadata container
US8849778B2 (en) 2007-09-19 2014-09-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for storing and reading a file having a media data container and a metadata container
JP2012175608A (en) * 2011-02-24 2012-09-10 Nec Personal Computers Ltd Converter, information distribution device, communication system, control method, and program
JP2015515192A (en) * 2012-03-16 2015-05-21 アルカテル−ルーセント Enabling delivery of protected content using a delivery service that is not protected
US9948695B2 (en) 2012-03-16 2018-04-17 Alcatel Lucent Enabling delivery of protected content using unprotected delivery services
WO2014002618A1 (en) * 2012-06-27 2014-01-03 ソニー株式会社 Image decoding device, image decoding method, image encoding device, and image encoding method
WO2015072127A1 (en) * 2013-11-15 2015-05-21 パナソニック株式会社 File generation method and file generation apparatus
EP3094083A4 (en) * 2014-01-10 2016-11-16 Panasonic Ip Man Co Ltd File generation method, file generation device and recording medium
WO2015178112A1 (en) * 2014-05-19 2015-11-26 ソニー株式会社 Information processing device, information generation device, information recording medium, information processing method, and program
WO2016031589A1 (en) * 2014-08-29 2016-03-03 ソニー株式会社 Reception device and reception method
WO2017090463A1 (en) * 2015-11-27 2017-06-01 ソニー株式会社 Receiving device and method, and communication system

Similar Documents

Publication Publication Date Title
US7889788B2 (en) Stream generation apparatus, stream generation method, coding apparatus, coding method, recording medium and program thereof
US20120023249A1 (en) Providing sequence data sets for streaming video data
US20120185570A1 (en) Method and Apparatus for Indicating Switching Points in a Streaming Session
US20110119396A1 (en) Method and apparatus for transmitting and receiving data
US20110119395A1 (en) Method and apparatus for adaptive streaming using segmentation
US20120042090A1 (en) Manifest file updates for network streaming of coded multimedia data
US20050022245A1 (en) Seamless transition between video play-back modes
US20040006575A1 (en) Method and apparatus for supporting advanced coding formats in media files
US20120016965A1 (en) Video switching for streaming video data
US8254446B2 (en) Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus
US20020016970A1 (en) Data conversion apparatus and method, data distribution apparatus and method, and data distribution system
US20090055417A1 (en) Segmented metadata and indexes for streamed multimedia data
US20120233345A1 (en) Method and apparatus for adaptive streaming
US20030061369A1 (en) Processing of multimedia data
US20090310934A1 (en) Picture interdependencies signals in context of mmco to assist stream manipulation
US20120016917A1 (en) Media container file management
US20130060911A1 (en) Streaming of multimedia data from multiple sources
US20090220012A1 (en) Signalling picture encoding schemes and associated picture properties
US20080260045A1 (en) Signalling and Extraction in Compressed Video of Pictures Belonging to Interdependency Tiers
US20110208829A1 (en) Method and apparatus for transmitting and receiving data
US20090148056A1 (en) Video Processing With Tiered Interdependencies of Pictures
US20060136981A1 (en) Transport stream demultiplexor with content indexing capability
JP2011087103A (en) Provision of content reproduction system, content reproduction device, program, content reproduction method, and content server
US20070130498A1 (en) Time-shifted presentation of media streams
US20110317771A1 (en) Signaling random access points for streaming video data

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071121

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100921

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110308

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110628