JP2011155538A - メディア符号化装置及びメディア符号化方法 - Google Patents
メディア符号化装置及びメディア符号化方法 Download PDFInfo
- Publication number
- JP2011155538A JP2011155538A JP2010016228A JP2010016228A JP2011155538A JP 2011155538 A JP2011155538 A JP 2011155538A JP 2010016228 A JP2010016228 A JP 2010016228A JP 2010016228 A JP2010016228 A JP 2010016228A JP 2011155538 A JP2011155538 A JP 2011155538A
- Authority
- JP
- Japan
- Prior art keywords
- media
- encoding
- multiplexing
- data
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000003111 delayed effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23611—Insertion of stuffing data into a multiplex stream, e.g. to obtain a constant bitrate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
Abstract
【解決手段】入力される複数のメディアのそれぞれを符号化する複数の符号化手段と、該符号化されたメディアをこれらメディア相互の再生タイミングを合わせながら多重化する多重化手段とを備え、前記多重化手段は、前記符号化手段により符号化された複数のメディアのうち先頭タイミングが遅延している方のメディアに対し、前記遅延分の時間長のダミーデータを挿入して多重化することを特徴とするメディア符号化装置。
【選択図】 図2
Description
図1は、本発明を適用した場合のマルチメディアファイル処理システムの概略構成を示す図である。
図1に示すように、このシステムでは、MP4ファイルフォーマットによる動画像データを送信する送信装置100と、有線或いは無線回線、交換局等から成る通信網200と、上記送信装置100から送信されてきた動画像データを受信し、表示部等に動画像を再生表示する受信装置300とを具えて構成される。
図2は、実施形態の装置を示す概略ブロック構成図である。図2は、上記エンコーダ111に相当する機能ブロック図であり、ビデオ符号化部1、オーディオ符号化部2、ストリーム多重部3を備えている。
オーディオ符号化部2は、入力オーディオ信号を所定のオーディオ符号化方式のオーディオストリームに符号化し、ストリーム多重部3へ出力する。
ストリーム多重部3は、入力されたオーディオストリームとビデオストリームをMP4ファイルフォーマットの多重ストリームに変換し、出力する。ストリーム多重部3は、後述のようにダミーサンプルを挿入して多重化処理を行なうよう構成されている。
ムーブボックスmoov boxは、全てのメタデータを含むコンテナであり、ファイル中にただ一つだけ含まれる。メタデータとして含まれる情報としては、各トラック(動画、音声など)のヘッダ情報やコンテンツの内容のメタ記述、時刻情報などが含まれる。
MP4多重処理は,ビデオやオーディオなど複数メディアをトラックとして多重する。このときMP4には、タイムスタンプに起因する同期ずれの問題が基本的にある。先頭データ即ち先頭サンプルのタイムスタンプが異なる複数のトラックを本実施形態のような工夫なしに単純にMP4に多重化してしまうと、再生時に同期ずれが発生する。
ビデオの場合は、単一色フレームや先頭フレームへのフェードイン画像が考えられ、ビデオ符号化方式がH.264/AVCの場合、イントラDC予測のみで符号化されたフレームとすればグレーフレーム(黒一色フレームでも可)を生成・活用でき、先頭フレームを参照フレームとし重みづけ予測を使用することでフェードイン画像が生成できる。オーディオの場合は、無音フレームが好適である。
マルチメディアの記録フォーマットとしてMP4がある。
MP4は、ビデオやオーディオなど複数メディアをトラックとして多重する。各トラックは、ビデオやオーディオのフレームに相当するサンプルという単位のデータをもつ。
このうち、タイムスタンプはサンプルごとの値が符号化されるのではなく、連続したサンプルのタイムスタンプの差分の値を符号化する。そして先頭のサンプルのタイムスタンプを0として取り扱う。
<解決手段>
トラックの先頭にダミーサンプルを挿入する。
ダミーサンプルは再生障害の起因とならないもの、ビデオであれば黒フレーム、オーディオであれば無音、またはトラック先頭サンプルへのフェードインなどが好適である。
MP4ストリームのみで、同期のとれた複数トラックのコンテンツを再生できる。MP4規格準拠のプレーヤーで再生可能である。
実施形態の効果として、複数トラックを含むMP4ストリームを再生する際に、ストリーム以外の情報なしに、複数トラックで同期のとれた再生が可能となる。
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
2 オーディオ符号化部
3 ストリーム多重部
100 送信装置
110 制御部
111 エンコーダ
200 通信網
300 受信装置
310 表示部
320 制御部
321 デコーダ
330 操作部
Claims (5)
- 入力される複数のメディアのそれぞれを符号化する符号化手段と、
該符号化されたメディアをこれらメディア相互の再生タイミングを合わせながら多重化する多重化手段とを備え、
前記多重化手段は、前記符号化手段により符号化された複数のメディアのうち先頭タイミングが遅延している方のメディアに対し、前記遅延分の時間長のダミーデータを挿入して多重化することを特徴とするメディア符号化装置。 - 前記多重化手段による多重化は、MP4(ISO/IEC Part 12 ISO Base Media File Format)ファイル形式によることを特徴とする請求項1記載のメディア符号化装置。
- 前記符号化がビデオ符号化である場合このビデオ符号化で用いられる符号化処理は、H.264/AVC方式によることを特徴とする請求項1記載のメディア符号化装置。
- 更に放送信号を受信し選局をおこなうチューナを備え、このチューナの出力を前記入力される複数のメディアとして用いることを特徴とする請求項1記載のメディア符号化装置。
- 入力される複数のメディアのそれぞれを符号化し、
該符号化されたメディアをこれらメディア相互の再生タイミングを合わせながら多重化し、
前記符号化された複数のメディアのうち先頭タイミングが遅延している方のメディアに対し、前記遅延分の時間長のダミーデータを挿入して多重化することを特徴とするメディア符号化方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010016228A JP2011155538A (ja) | 2010-01-28 | 2010-01-28 | メディア符号化装置及びメディア符号化方法 |
US12/981,166 US20110182367A1 (en) | 2010-01-28 | 2010-12-29 | Media coding apparatus and media coding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010016228A JP2011155538A (ja) | 2010-01-28 | 2010-01-28 | メディア符号化装置及びメディア符号化方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011155538A true JP2011155538A (ja) | 2011-08-11 |
Family
ID=44308914
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010016228A Pending JP2011155538A (ja) | 2010-01-28 | 2010-01-28 | メディア符号化装置及びメディア符号化方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20110182367A1 (ja) |
JP (1) | JP2011155538A (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000078531A (ja) * | 1998-04-28 | 2000-03-14 | Hitachi Ltd | オ―ディオデ―タ編集方法、編集システム |
JP2002094950A (ja) * | 2000-09-13 | 2002-03-29 | Matsushita Electric Ind Co Ltd | 映像音声伝送装置および映像符号化装置および音声符号化装置および多重伝送装置 |
JP2003179863A (ja) * | 2001-09-27 | 2003-06-27 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
WO2007043256A1 (ja) * | 2005-10-12 | 2007-04-19 | Nec Corporation | 動画像変換方法、動画像変換装置、動画像変換システムおよびサーバ装置並びにプログラム |
JP2009100303A (ja) * | 2007-10-17 | 2009-05-07 | Victor Co Of Japan Ltd | 動画像符号化装置およびそのデータ処理方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4948147B2 (ja) * | 2006-12-15 | 2012-06-06 | 富士通株式会社 | 複合コンテンツファイルの編集方法および装置 |
-
2010
- 2010-01-28 JP JP2010016228A patent/JP2011155538A/ja active Pending
- 2010-12-29 US US12/981,166 patent/US20110182367A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000078531A (ja) * | 1998-04-28 | 2000-03-14 | Hitachi Ltd | オ―ディオデ―タ編集方法、編集システム |
JP2002094950A (ja) * | 2000-09-13 | 2002-03-29 | Matsushita Electric Ind Co Ltd | 映像音声伝送装置および映像符号化装置および音声符号化装置および多重伝送装置 |
JP2003179863A (ja) * | 2001-09-27 | 2003-06-27 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
WO2007043256A1 (ja) * | 2005-10-12 | 2007-04-19 | Nec Corporation | 動画像変換方法、動画像変換装置、動画像変換システムおよびサーバ装置並びにプログラム |
JP2009100303A (ja) * | 2007-10-17 | 2009-05-07 | Victor Co Of Japan Ltd | 動画像符号化装置およびそのデータ処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US20110182367A1 (en) | 2011-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6184408B2 (ja) | 受信装置及びその受信方法 | |
US20130271657A1 (en) | Receiving apparatus for providing hybrid service, and hybrid service providing method thereof | |
JP2007012218A (ja) | 再生装置、ビデオ復号装置および同期再生方法 | |
JP2005504480A (ja) | メタデータ及びメディアデータを含むマルチメディアファイルのストリーミング | |
KR20160136343A (ko) | 연속적인 멀티-주기 콘텐츠의 프로세싱 | |
JP4362734B2 (ja) | 同期再生システム | |
JP2022141686A (ja) | 受信装置および受信方法 | |
JP4718275B2 (ja) | 複数メディアの同期再生システム及び同期再生方法 | |
EP1162845B1 (en) | Apparatus and method for information processing, and recording medium | |
US7894704B2 (en) | Reproducing apparatus and method, and recording medium | |
WO2004086765A1 (ja) | データ送信装置 | |
WO2005055230A1 (en) | Method and apparatus for transcoding digital audio/video streams | |
KR20080076329A (ko) | 디지털 방송 재생 방법 및 장치 | |
CA2490879C (en) | Reproducing apparatus and method, and recording medium | |
JP2011155538A (ja) | メディア符号化装置及びメディア符号化方法 | |
JP2021197584A (ja) | 多重信号変換装置及びそのプログラム、並びに、受信機 | |
KR20130056829A (ko) | 3dtv 방송을 위한 송수신 장치 및 그 제어 방법 | |
CN108702533B (zh) | 发送装置、发送方法、接收装置和接收方法 | |
KR102016674B1 (ko) | 하이브리드 서비스를 제공하는 수신 장치 및 하이브리드 서비스 제공 방법 | |
CA2725177C (en) | Reproducing apparatus and method, and recording medium | |
WO2016047475A1 (ja) | 情報処理装置および情報処理方法 | |
KR100539731B1 (ko) | 전송스트림저장장치및방법 | |
KR100881312B1 (ko) | 멀티 채널 오디오 신호의 부호화/복호화 방법 및 장치,그를 이용한 인터넷 프로토콜 디스플레이 장치 | |
WO2016208417A1 (ja) | データ処理装置、データ処理方法、並びに、プログラム | |
JPH10242928A (ja) | 多重化伝送システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110401 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20110401 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110401 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20110511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110816 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111101 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120228 |