JP2005348347A - 映像音声復号方法、映像音声復号装置、映像音声復号プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
映像音声復号方法、映像音声復号装置、映像音声復号プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP2005348347A JP2005348347A JP2004168796A JP2004168796A JP2005348347A JP 2005348347 A JP2005348347 A JP 2005348347A JP 2004168796 A JP2004168796 A JP 2004168796A JP 2004168796 A JP2004168796 A JP 2004168796A JP 2005348347 A JP2005348347 A JP 2005348347A
- Authority
- JP
- Japan
- Prior art keywords
- video
- audio
- buffer
- decoding
- received
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Receiver Circuits (AREA)
- Television Systems (AREA)
Abstract
【解決手段】映像と音声のフレームがキャプチャされると同時に符号化されることで生成された符号化データのビットストリームを受信して、映像用バッファに空きがある場合には格納し、空きがない場合には破棄する。一方、音声用バッファに空きがある場合には格納し、空きがない場合には破棄する。そして、送信側におけるキャプチャのフレームレートよりも速い復号速度でもって、映像用バッファから映像を連続的に読み出して復号するとともに、そのフレームレートよりも速い復号速度でもって、映像の符号化遅延分遅らせる形で音声用バッファから音声を連続的に読み出して復号する。これにより、タイプスタンプを用いずに映像と音声の同期再生を実現できるようになる。
【選択図】図2
Description
Information Technology-Generic Coding of Moving Pictures and Associated Audio: Systems-, ISO/IEC 13818-1 International Standard, November 1994.
上記の目的を達成するために、本発明では、本発明の映像音声復号装置に対して伝送路を介して映像音声の符号化データのビットストリームを送信してくる装置が、映像と音声のフレームが入力されると、その映像と音声のフレームをキャプチャすると同時に符号化して、タイムスタンプを付加することなく、その符号化データのビットストリームを送信してくるという構成を採ることを前提としている。
上記の目的を達成するために、上記の前提の下、本発明の映像音声復号装置は、第2の構成に従う場合には、(1)規定のフレーム数分の映像を格納する映像用バッファと、(2)規定のフレーム数分の音声を格納する音声用バッファと、(3)映像と音声のフレームがキャプチャされると同時に符号化されることで生成された符号化データのビットストリームを受信する受信手段と、(4)映像用バッファに格納される映像のフレーム数が規定の閾値を超えていない場合には、受信手段の受信した映像を映像用バッファに格納し、超えている場合には、その受信した映像のピクチャ種別に応じて、その受信した映像を映像用バッファに格納するか破棄し、一方、映像用バッファに空きがない場合には、その受信した映像を破棄する映像格納破棄実行手段と、(5)音声用バッファに空きがある場合には、受信手段の受信した音声を音声用バッファに格納し、音声用バッファに空きがない場合には、その受信した音声を破棄する音声格納破棄実行手段と、(6)送信側におけるキャプチャのフレームレートよりも速い復号速度を有して、映像用バッファから映像を連続的に読み出して復号する映像復号手段と、(7)送信側におけるキャプチャのフレームレートよりも速い復号速度を有して、映像の符号化遅延分遅らせる形で音声用バッファから音声を連続的に読み出して復号する音声復号手段と、(8)映像復号手段の復号した映像を出力するとともに、出力した映像に続く映像が復号されない場合には、その出力した映像を出力し続ける映像出力手段と、(9)音声復号手段の復号した音声を出力するとともに、出力した音声に続く音声が復号されない場合には、特定のフレーム数分の間その出力した音声を出力し、その後無音を出力する音声出力手段とを備えるように構成する。
図3ないし図6に、このように構成される本発明の映像音声受信復号装置2の実行する処理フローの一例を図示する。
先ず最初に、図3の処理フローに従って、映像符号化コードの受信時の処理について説明する。
次に、図4の処理フローに従って、音声符号化コードの受信時の処理について説明する。
次に、図5の処理フローに従って、映像符号化データの復号処理について説明する。
次に、図6の処理フローに従って、音声符号化データの復号処理について説明する。
このようにして、本実施形態例に従う場合、本発明の映像音声受信復号装置2は、映像と音声のフレームがキャプチャされると同時に符号化されることで生成された符号化データのビットストリームを受信すると、その受信した映像符号化データを映像用バッファ21に格納していくとともに、その受信した音声符号化データを音声用バッファ22に格納していく。
第1の実施形態例では、映像用バッファ21が満杯になるときに、映像音声符号化送信装置1から送られてくる映像符号化データを破棄するようにした。
本発明の映像音声受信復号装置2は、第2の実施形態例に従う場合には、映像音声符号化送信装置1から映像符号化コードを受信すると、図8及び図9の処理フローに示すように、先ず最初に、ステップ60で、映像用バッファ21に空きがあるのか否かを判断して、映像用バッファ21に空きがないことを判断するときには、ステップ61に進んで、受信した映像符号化コードを破棄する。
このようにして、本実施形態例に従う場合、本発明の映像音声受信復号装置2は、映像と音声のフレームがキャプチャされると同時に符号化されることで生成された符号化データのビットストリームを受信すると、その受信した映像符号化データを映像用バッファ21に格納していくとともに、その受信した音声符号化データを音声用バッファ22に格納していく。
第2の実施形態例では、図7に示したように、映像用バッファ21に対して閾値Thを設定して、(i)映像用バッファ21に格納される映像符号化データが閾値Thを超えていない場合には、映像音声符号化送信装置1から送られてくる映像符号化データを無条件に映像用バッファ21に格納し、(ii)閾値Thを超えた場合には、蓄積対象ピクチャの映像符号化データのみを映像用バッファ21に格納し、それ以外のピクチャの映像符号化データについては破棄するようにした。
本発明の映像音声受信復号装置2は、第3の実施形態例に従う場合には、映像音声符号化送信装置1から映像符号化コードを受信すると、図13及び図14の処理フローに示すように、先ず最初に、ステップ80で、映像用バッファ21に空きがあるのか否かを判断して、映像用バッファ21に空きがないことを判断するときには、ステップ81に進んで、受信した映像符号化コードを破棄する。
第3の実施形態例の基本的な処理の流れは、第2の実施形態例と同様である。異なる点は、第2の実施形態例では、図7に示すような形態で映像符号化データの格納破棄を制御するのに対して、第3の実施形態例では、図12に示すような形態で映像符号化データの格納破棄を制御するという点である。
2 映像音声受信復号装置
3 ネットワーク
20 パケット受信破棄手段
21 映像用バッファ
22 音声用バッファ
23 映像復号手段
24 音声復号手段
25 映像出力手段
26 音声出力手段
Claims (16)
- 伝送路を介して送信されてくる映像及び音声の符号化データのビットストリームを受信して復号する映像音声復号方法であって、
映像と音声のフレームがキャプチャされると同時に符号化されることで生成された符号化データのビットストリームを受信する過程と、
映像用バッファに空きがある場合には、上記受信した映像を該映像用バッファに格納し、該映像用バッファに空きがない場合には、該映像を破棄する過程と、
音声用バッファに空きがある場合には、上記受信した音声を該音声用バッファに格納し、該音声用バッファに空きがない場合には、該音声を破棄する過程と、
上記キャプチャのフレームレートよりも速い復号速度を有して、上記映像用バッファから映像を連続的に読み出して復号する過程と、
上記キャプチャのフレームレートよりも速い復号速度を有して、映像の符号化遅延分遅らせる形で上記音声用バッファから音声を連続的に読み出して復号する過程とを備えることを、
特徴とする映像音声復号方法。 - 伝送路を介して送信されてくる映像及び音声の符号化データのビットストリームを受信して復号する映像音声復号方法であって、
映像と音声のフレームがキャプチャされると同時に符号化されることで生成された符号化データのビットストリームを受信する過程と、
映像用バッファに格納される映像のフレーム数が規定の閾値を超えていない場合には、上記受信した映像を該映像用バッファに格納し、超えている場合には、該映像のピクチャ種別に応じて、該映像を該映像用バッファに格納するか破棄し、一方、該映像用バッファに空きがない場合には、該映像を破棄する過程と、
音声用バッファに空きがある場合には、上記受信した音声を該音声用バッファに格納し、該音声用バッファに空きがない場合には、該音声を破棄する過程と、
上記キャプチャのフレームレートよりも速い復号速度を有して、上記映像用バッファから映像を連続的に読み出して復号する過程と、
上記キャプチャのフレームレートよりも速い復号速度を有して、映像の符号化遅延分遅らせる形で上記音声用バッファから音声を連続的に読み出して復号する過程とを備えることを、
特徴とする映像音声復号方法。 - 請求項2に記載の映像音声復号方法において、
上記映像を破棄する過程では、上記映像用バッファに格納される映像のフレーム数が規定の閾値を超えている場合にあって、上記受信した映像がフレーム内予測のピクチャである場合には、その受信した映像を上記映像用バッファに格納し、それ以外のピクチャである場合には、その受信した映像を破棄することを、
特徴とする映像音声復号方法。 - 請求項2に記載の映像音声復号方法において、
上記映像を破棄する過程では、上記閾値が複数設定される場合には、上記映像用バッファに格納される映像のフレーム数がどの閾値を超えているのかということと、上記受信した映像のピクチャ種別とに応じて、上記受信した映像を上記映像用バッファに格納するか破棄するのかを決定することを、
特徴とする映像音声復号方法。 - 請求項4に記載の映像音声復号方法において、
上記映像を破棄する過程では、他のフレームに影響を与えるピクチャほど優先順位を高く設定して、優先順位の高いピクチャほど上記映像用バッファに格納されることになるようにと、上記受信した映像を上記映像用バッファに格納するか破棄するのかを決定することを、
特徴とする映像音声復号方法。 - 請求項1ないし5のいずれか1項に記載の映像音声復号方法において、
上記映像を破棄する過程では、破棄した映像により影響を受ける後続の映像については、上記映像用バッファの格納状態に依らずに破棄することを、
特徴とする映像音声復号方法。 - 請求項1ないし6のいずれか1項に記載の映像音声復号方法において、
上記復号した映像を出力するとともに、出力した映像に続く映像が復号されない場合には、その出力した映像を出力し続ける過程と、
上記復号した音声を出力するとともに、出力した音声に続く音声が復号されない場合には、特定のフレーム数分の間その出力した音声を出力し、その後無音を出力する過程とを備えることを、
特徴とする映像音声復号方法。 - 伝送路を介して送信されてくる映像及び音声の符号化データのビットストリームを受信して復号する映像音声復号装置であって、
規定のフレーム数分の映像を格納する映像用バッファと、
規定のフレーム数分の音声を格納する音声用バッファと、
映像と音声のフレームがキャプチャされると同時に符号化されることで生成された符号化データのビットストリームを受信する手段と、
上記映像用バッファに空きがある場合には、上記受信した映像を上記映像用バッファに格納し、上記映像用バッファに空きがない場合には、該映像を破棄する手段と、
上記音声用バッファに空きがある場合には、上記受信した音声を上記音声用バッファに格納し、上記音声用バッファに空きがない場合には、該音声を破棄する手段と、
上記キャプチャのフレームレートよりも速い復号速度を有して、上記映像用バッファから映像を連続的に読み出して復号する手段と、
上記キャプチャのフレームレートよりも速い復号速度を有して、映像の符号化遅延分遅らせる形で上記音声用バッファから音声を連続的に読み出して復号する手段とを備えることを、
特徴とする映像音声復号装置。 - 伝送路を介して送信されてくる映像及び音声の符号化データのビットストリームを受信して復号する映像音声復号装置であって、
規定のフレーム数分の映像を格納する映像用バッファと、
規定のフレーム数分の音声を格納する音声用バッファと、
映像と音声のフレームがキャプチャされると同時に符号化されることで生成された符号化データのビットストリームを受信する手段と、
上記映像用バッファに格納される映像のフレーム数が規定の閾値を超えていない場合には、上記受信した映像を上記映像用バッファに格納し、超えている場合には、該映像のピクチャ種別に応じて、該映像を上記映像用バッファに格納するか破棄し、一方、上記映像用バッファに空きがない場合には、該映像を破棄する手段と、
上記音声用バッファに空きがある場合には、上記受信した音声を上記音声用バッファに格納し、上記音声用バッファに空きがない場合には、該音声を破棄する手段と、
上記キャプチャのフレームレートよりも速い復号速度を有して、上記映像用バッファから映像を連続的に読み出して復号する手段と、
上記キャプチャのフレームレートよりも速い復号速度を有して、映像の符号化遅延分遅らせる形で上記音声用バッファから音声を連続的に読み出して復号する手段とを備えることを、
特徴とする映像音声復号装置。 - 請求項9に記載の映像音声復号装置において、
上記映像を破棄する手段は、上記映像用バッファに格納される映像のフレーム数が規定の閾値を超えている場合にあって、上記受信した映像がフレーム内予測のピクチャである場合には、その受信した映像を上記映像用バッファに格納し、それ以外のピクチャである場合には、その受信した映像を破棄することを、
特徴とする映像音声復号装置。 - 請求項9に記載の映像音声復号装置において、
上記映像を破棄する手段は、上記閾値が複数設定される場合には、上記映像用バッファに格納される映像のフレーム数がどの閾値を超えているのかということと、上記受信した映像のピクチャ種別とに応じて、上記受信した映像を上記映像用バッファに格納するか破棄するのかを決定することを、
特徴とする映像音声復号装置。 - 請求項11に記載の映像音声復号装置において、
上記映像を破棄する手段は、他のフレームに影響を与えるピクチャほど優先順位を高く設定して、優先順位の高いピクチャほど上記映像用バッファに格納されることになるようにと、上記受信した映像を上記映像用バッファに格納するか破棄するのかを決定することを、
特徴とする映像音声復号装置。 - 請求項8ないし12のいずれか1項に記載の映像音声復号装置において、
上記映像を破棄する手段は、破棄した映像により影響を受ける後続の映像については、上記映像用バッファの格納状態に依らずに破棄することを、
特徴とする映像音声復号装置。 - 請求項8ないし13のいずれか1項に記載の映像音声復号装置において、
上記復号した映像を出力するとともに、出力した映像に続く映像が復号されない場合には、その出力した映像を出力し続ける手段と、
上記復号した音声を出力するとともに、出力した音声に続く音声が復号されない場合には、特定のフレーム数分の間その出力した音声を出力し、その後無音を出力する手段とを備えることを、
特徴とする映像音声復号装置。 - 請求項1ないし7のいずれか1項に記載の映像音声復号方法の実現に用いられる処理をコンピュータに実行させるための映像音声復号プログラム。
- 請求項1ないし7のいずれか1項に記載の映像音声復号方法の実現に用いられる処理をコンピュータに実行させるための映像音声復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004168796A JP4373283B2 (ja) | 2004-06-07 | 2004-06-07 | 映像音声復号方法、映像音声復号装置、映像音声復号プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004168796A JP4373283B2 (ja) | 2004-06-07 | 2004-06-07 | 映像音声復号方法、映像音声復号装置、映像音声復号プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005348347A true JP2005348347A (ja) | 2005-12-15 |
JP4373283B2 JP4373283B2 (ja) | 2009-11-25 |
Family
ID=35500262
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004168796A Active JP4373283B2 (ja) | 2004-06-07 | 2004-06-07 | 映像音声復号方法、映像音声復号装置、映像音声復号プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4373283B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112511885A (zh) * | 2020-11-20 | 2021-03-16 | 深圳乐播科技有限公司 | 音视频同步方法、装置及存储介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108712658A (zh) * | 2018-05-15 | 2018-10-26 | 安徽天卓信息技术有限公司 | 基于bs结构网络直播用户端播放音屏延时调节系统 |
-
2004
- 2004-06-07 JP JP2004168796A patent/JP4373283B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112511885A (zh) * | 2020-11-20 | 2021-03-16 | 深圳乐播科技有限公司 | 音视频同步方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP4373283B2 (ja) | 2009-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7036962B2 (ja) | 再生方法および再生装置 | |
JP5133567B2 (ja) | コーデック変更方法及び装置 | |
EP2011332B1 (en) | Method for reducing channel change times in a digital video apparatus | |
US10614824B2 (en) | Audio decoder, apparatus for generating encoded audio output data and methods permitting initializing a decoder | |
TWI606722B (zh) | 用於減少視訊編碼及解碼中之延遲的方法、系統及電腦可讀取媒體 | |
US20110002376A1 (en) | Latency Minimization Via Pipelining of Processing Blocks | |
JP2016506698A (ja) | ビデオ・スプライシングを単純化する、バッファリング情報のためのシンタックス及びセマンティックス | |
CN109168083B (zh) | 一种流媒体实时播放方法及装置 | |
US10313719B2 (en) | Video stream splicing | |
US20170055045A1 (en) | Recovering from discontinuities in time synchronization in audio/video decoder | |
WO2004066068A2 (en) | Resynchronizing drifted data streams with a minimum of noticeable artifacts | |
US9832248B2 (en) | Device and method for switching from a first data stream to a second data stream | |
KR20110065100A (ko) | 멀티미디어 스트리밍 서비스를 지원하는 방법 및 장치 | |
US8359413B2 (en) | Data stream buffer control using reference time and decoding time | |
JP5440839B2 (ja) | 情報処理装置および方法、並びにプログラム | |
JP4373283B2 (ja) | 映像音声復号方法、映像音声復号装置、映像音声復号プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP6872538B2 (ja) | メディア伝送システムにおけるビデオビットストリームのランダムアクセス及び再生方法 | |
JP2008521270A (ja) | 送信者側チャネル適応型のビデオ送信 | |
US20100076944A1 (en) | Multiprocessor systems for processing multimedia data and methods thereof | |
JP2010239433A (ja) | 映像符号化装置、方法及びプログラム | |
JP2008278323A (ja) | ネットワークカメラ | |
JP3177825B2 (ja) | メディア符号化装置 | |
JP4820877B2 (ja) | 情報データ受信装置、情報データ受信方法、情報データ受信プログラムおよび情報データ受信プログラムを格納した記録媒体 | |
JP2007282084A (ja) | デジタル再生装置または再生プログラム | |
JP2007295421A (ja) | データ受信装置およびデータ受信方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090324 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090428 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20090428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090526 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090701 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090901 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090903 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120911 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4373283 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130911 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |