CN1592392A - 使用移动通信终端中的输出缓冲的多媒体再现装置和方法 - Google Patents

使用移动通信终端中的输出缓冲的多媒体再现装置和方法 Download PDF

Info

Publication number
CN1592392A
CN1592392A CNA200410045931XA CN200410045931A CN1592392A CN 1592392 A CN1592392 A CN 1592392A CN A200410045931X A CNA200410045931X A CN A200410045931XA CN 200410045931 A CN200410045931 A CN 200410045931A CN 1592392 A CN1592392 A CN 1592392A
Authority
CN
China
Prior art keywords
data
video
frame
output
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200410045931XA
Other languages
English (en)
Other versions
CN1301016C (zh
Inventor
李承徹
李孝淳
李相范
金贤述
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1592392A publication Critical patent/CN1592392A/zh
Application granted granted Critical
Publication of CN1301016C publication Critical patent/CN1301016C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4392—Processing of audio elementary streams involving audio buffer management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种移动通信终端中的多媒体再现装置，包括：数据分析部分，用于将多媒体数据划分为视频数据和其它数据，并随后对所述视频数据和其它数据进行分析；视频数据处理部分，用于解码所分析的视频数据；媒体延迟输出控制器，用于根据所述视频数据处理部分的缓冲信息对由所述数据分析部分分析和发送的其它数据进行延迟，输出所延迟的数据，并产生同步信号；音频数据处理部分，用于解码和输出从所述媒体延迟输出控制器输出的其它数据中的音频数据；视频数据输出部分，用于读取和输出所述视频数据；和同步部分，用于同步和输出所述视频数据。

Description

使用移动通信终端中 的输出缓冲的多媒体再现装置和方法
技术领域
本发明涉及一种移动通信终端中的多媒体再现装置。
背景技术
通常，在朝着高度面向信息社会的发展中，信息和通信作为社会基础结构其重要性日益增加，并且通信服务重要性的中心正从传统有线通信移动到无线通信，无线通信将重要性注重在移动。另外，一个将因特网和移动通信联合、被称作无线互联网的新市场正以高速发展。
如上所述，随着用户对信息和通信的依赖的巨大增加，以及无线通信技术的提高，第一代模拟系统已经变成第二代数字系统，现在正在研发一种致力于数据通信的第三代移动通信(IMI-2000)。
那样的第三代移动通信系统不仅提供话音还提供诸如电视会议、因特网服务等的宽带多媒体服务。另外，第三代系统在办公环境中提供最大值达到2Mbps的数据服务，从而提供真正的无线多媒体服务。
为了在第三代移动通信系统中实现多媒体服务，以MPEG-4的类型来执行发送和接收。MPEG-4是一种减小多媒体文件大小的标准技术，以便能够向计算机、移动通信终端、TV机顶盒等以更高速度提供双向视频服务，并且对于2.5代和第三代的移动通信终端，能够应用于诸如普通广播、因特网广播、电影和包括图像的游戏的所有类型的多媒体数据。
在上述的第三代移动通信终端中，多媒体数据的再现功能是必需的。然而，多媒体服务具有数据量巨大并需要大量计算的特点。另外，因为存在各种各样的规范，例如第三代伙伴计划(3GPP)、第三代伙伴计划2(3GPP2)、韩国3代(K3G)、实时传输协议(RTP)，因此需要根据各种规范的不同的解码器。尤其是，视频数据以低速处理并且在帧之间的位数具有较大差异的情况下。因此，为了解码视频数据，多媒体服务需要比指定要求(也就是多个帧的平均处理时间)的处理容量至少两倍或三倍长的处理容量，从而可以处理瞬间增加的帧(例如内部帧)。
图1是图解说明传统移动通信终端的示例的方框图。在图1所示的该移动通信终端中，控制器100处理和控制各种各样的功能，包括简短信息服务(SMS)、电话呼叫和无线因特网连接。移动通信终端包括多媒体再现装置，该多媒体再现装置在本发明中用于执行多媒体再现操作。
存储器102包括：只读存储器(ROM)，其中存储了用于处理和控制控制器100的程序的微代码和各种参考数据；随机存取存储器(RAM)，被提供用作控制器100的工作存储器；以及闪存RAM，提供用于存储包括多媒体数据的各种可更新的存储数据的区。与控制器100连接的话音处理部分104通过麦克风和扬声器处理电话呼叫、话音记录、输入的报警输出等。显示部分106显示所接收的数据和当前显示所需要的信息。
更具体的，在本发明中，话音处理部分104和显示部分106执行话音处理和用于再现多媒体数据的话音处理。键输入部分108包括数字键“0”到“9”以及多个功能键，包括“菜单”、“发送”、“删除”、“结束”、“*”、“#”、和“音量”，并且向控制器100提供对应于由用户所按的键的键输入数据。无线电部分110通过天线向收发器基站(BTS)发送无线电信号和从收发器基站接收无线电信号。
图2图解说明了传统移动通信终端中的多媒体再现装置的实施例。这里，虽然以K3G型多媒体再现装置为例，但是描述也同样适用于对其他格式的多媒体数据进行解码的其他多媒体再现装置，例如3GPP、3GPP2等。
参考图2，移动通信终端的多媒体再现装置包括：K3G型分析器202，用于将多媒体数据201的首标文件分析为K3G格式；媒体控制器203，用于将所分析的信息划分成视频数据和音频数据，向解码器发送具有相应控制信息的划分的数据，并输出同步信号，以便使视频数据与音频数据相互同步；用于解码视频数据的MPEG4(运动图像专家组4)视频解码器204和H.263解码器205；MPEG4 AAC(高级音频编码)解码器206；EVRC(增强可变频率编码)解码器207；用于解码音频数据的MIDI解码器208；视频同步部分210，用于根据媒体控制器203的同步信号而输出解码的视频信号，从而与音频信息同步而输出解码的视频信号；以及音频同步部分211，用于根据媒体控制器203的同步信号而输出解码的音频信息，从而与视频信息同步而输出解码的音频信息。
当使用那样的多媒体再现装置进行移动通信终端的多媒体输出时，因为各个媒体数据需要彼此不同的解码时间，因此用于同步它们的方法和用于提供最佳的输出临界时间的方法正变成重要的问题。尤其是，从不具有许多资源的移动通信终端中的资源的有效使用的观点来看，考虑视频数据与音频数据之间的解码时间差来确定输出临界时间是重要的主题。
首先，参考图3和4来描述对于每一帧的处理时间与输出临界时间之间的关系。通常，因为音频帧的解码时间比视频帧的解码时间短得多，所以仅考虑视频帧的解码处理就足够了。因此，下面的描述将集中于视频帧的处理。
图3图解说明了当输出临界时间被设定为100微秒时对于每帧类别的解码定时，图4图解说明了根据视频帧的视频解码处理所需的时间分布。参考图解说明了每一帧的解码时间的图3，视频数据被分类为内部帧302和中间帧301、303和304，所述内部帧需要将被解码的整个屏幕，所述中间帧需要将被解码的变化部分屏幕。应当注意，音频帧的解码时间比视频帧的解码时间少得多。而且，在100毫秒的输出临界时间中，中间帧和音频帧的占用时间较短，而平均每10帧就产生一次的内部帧的占用时间较长。因此，在具有有限资源的移动通信终端中，必须有效地减少图3中用“a”指定的等待时间。
参考图4，通常，多个帧之间的处理时间的差大约是20毫秒。然而，在用41、42、43和44指定的场景变化部分，此刻相应帧的位数立刻大大地增加，从而它们的解码时间也大大地增加。那样的帧称作内部帧，并且显示帧处理时间之间的差大约是60～100毫秒。因此，为了处理所有帧，必须将输出临界时间设定为大约100毫秒，这是解码时间的最大值。也就是，当在图4中的每个帧的平均解码时间不大于46毫秒时，输出临界时间必须被设定为100毫秒或更多，以便处理具有大约60～100毫秒的处理时间差的内部帧。如图4所示，内部帧不是连续的，并且内部帧的特征是在瞬间峰值之后平坦部分持续一段相当长的期间。在那样的平坦部分中，解码时间是20毫秒左右。使用峰值与平坦部分之间的关系，考虑大约每10个帧出现一个峰值(一个内部帧)。因此，当对于平均每10帧出现一次的内部帧来设定输出临界时间时，在处理其他帧时会增加不必要的资源消耗。因此，需要能够有效利用资源的解决方案。
图5图解说明了在输出临界时间被设定为70毫秒的情况下每帧类别的解码定时。根据图5，可以得知，等待时间“a”与图3相比明显减少，因为输出临界时间被设定为70毫秒。然而，当部分302处理内部帧时，因为输出临界时间较短，在超过由附图标记51表示的临界时间对内部帧解码，从而可能仅有音频输出而没有视频输出。而且，视频和音频之间的同步可能失败，如附图标记52所示。
如上所述，在通过一种减少输出临界时间的方法来减少等待时间从而有效利用移动通信终端的有限资源的情况下，不能满足服务质量(QOS)，服务质量是多媒体再现中最重要的因素之一。因此，在移动通信终端的多媒体数据再现中，要求对能够有效利用资源的方法进行研究。
发明内容
因此，本发明被专门用来解决现有技术中出现的上面和其他问题，并且本发明的一方面是提供一种在移动通信终端中使用输出缓冲的多媒体再现装置和方法，能够通过输出数据的缓冲来有效地利用移动通信终端中的有限资源。
本发明的另一方面是提供一种支持移动通信终端的数据服务中的服务质量的多媒体再现装置和方法。
为了实现上面的和其他方面，提供一种在移动通信终端中使用输出缓冲的多媒体再现装置。所述装置包括：数据分析部分，用于将多媒体数据划分为视频数据和其它数据，并随后对所述视频数据和其它数据进行分析；视频数据处理部分，用于按照帧对从所述数据分析部分发送的分析视频数据进行解码，并且对预定数量的解码的数据的视频帧进行缓冲；媒体延迟输出控制器，用于根据所述视频数据处理部分的缓冲信号对由所述数据分析部分分析和发送的其它数据进行延迟，输出所延迟的数据，并产生同步信号；音频数据处理部分，用于解码和输出从所述媒体延迟输出控制器输出的其它数据中的音频数据；视频数据输出部分，用于通过使用从所述媒体延迟输出控制器输出的其它数据中的控制数据来按照帧读取和输出由所述视频数据处理部分缓冲的视频数据；和同步部分，用于根据所述媒体延迟输出控制器的同步信号，同步和输出从所述视频数据输出部分输出的视频数据和从所述音频数据处理部分输出的音频数据。
根据本发明的另一方面，提供一种在移动通信终端中使用输出缓冲来再现多媒体数据的控制方法。所述控制方法包括步骤：(1)所述移动通信终端接收所述多媒体数据，将多媒体数据划分为视频数据和其它数据，并分别分析所述视频数据和其它数据；(2)存储在步骤(1)分析的视频数据的视频帧起始地址，按照帧解码所述视频数据，并缓冲预定数量的视频帧；(3)在延迟所述其它数据与在步骤(2)缓冲的预定数量的视频帧一样多的其他数据之后，输出在步骤(1)分析的其它数据；(4)按照帧解码和输出其中音频数据包含在步骤(3)中输出的数据中的音频数据，和根据包含在步骤(3)输出的数据中的控制信息输出在步骤(2)中缓冲的视频帧；和(5)根据时间信息同步和输出在步骤(4)输出的视频帧和音频帧。
附图说明
结合附图，通过下列详细的描述，本发明的上面和其它方面、特征、和优点将变得更加明显，其中：
图1是图解说明普通移动通信终端的示例的方框图；
图2图解说明了传统移动通信终端中的多媒体再现装置的实施例；
图3图解说明了在输出临界时间被设定为100ms的情况下对于每种类别的解码定时；
图4图解说明了根据视频帧视频编码处理所需的时间的分布；
图5图解说明了在输出临界时间被设定为70ms的情况下对于每种类别的解码定时；
图6图解说明了根据本发明实施例的移动通信终端中的多媒体再现装置；
图7图解说明了根据对于视频帧的缓冲能力视频解码处理所需的时间的分布；以及
图8图解说明了根据本发明实施例的移动通信终端中的多媒体数据的再现。
具体实施方式
下面将参考附图来详细描述根据本发明优选实施例在移动通信终端中使用输出缓冲进行多媒体再现的装置和方法。注意整个附图中相同的元件使用相同的参考标记。另外，在本发明的下列描述中，当此处并入的已知功能和结构可能使本发明的主题更不清楚时将省略对其的详细描述。
本发明被专门用来解决现有技术中出现的问题，并且本发明有效地利用移动通信终端中的有限资源和对于视频输出使用输出缓冲，从而确保多媒体服务中的服务质量。
图6图解说明了根据本发明实施例的移动通信终端中的多媒体再现装置。这里，虽然以K3G型多媒体再现装置为例，但是该描述对其他多媒体再现装置也同样适用，所述其他多媒体再现装置对诸如3GPP、3GPP2等的其他格式的多媒体数据进行解码。
如图6所示，根据本发明的移动通信终端的多媒体再现装置将多媒体数据601划分为视频部分和剩余的多媒体部分，并且对划分的部分分别进行解码。也就是，根据本发明的移动通信终端的多媒体再现装置包括：视频模块，包括K3G型视频分析器602、视频控制器603、MPEG4视频解码器604、H.263解码器605、源数据缓冲器606、和视频数据输出部分609；剩余的多媒体模块，包括K3G型分析器607、媒体延迟输出控制器608、MPEG4高级音频编码(AAC)解码器610、增强可变速率编码(EVRC)解码器611、和MIDI解码器612；以及输出同步模块，包括视频同步部分613和音频同步部分614。
首先，将多媒体数据601划分为不同的部分，根据数据类型，由用于分析K3G视频型数据的K3G型视频分析器602和用于分析除了视频型数据以外的剩余的多媒体信息(即音频数据)的K3G型分析器607以不同方式对该不同的部分进行编码。
视频控制器603接收所分析的视频数据，并根据帧将所接收的数据输入到MPEG4视频解码器604和H.263解码器605。这时，视频控制器603根据源数据缓冲器606的缓冲信息来确定输入操作。而且，对音频数据的多个帧，而不是音频数据的一个帧进行解码，并且输出视频数据的每一帧，从而视频控制器603向媒体延迟输出控制器608提供视频帧输入信息，因此视频与音频同步。MPEG4视频解码器604和H.263解码器605对视频数据进行解码。
源数据缓冲器606对已经由MPEG4视频解码器604和H.263解码器605解码的预定数量的视频数据帧进行缓冲，并且根据视频数据控制部分609的控制信号按照帧输出视频数据。如上所述，根据本发明的多媒体再现装置对于输出操作之前的预定帧周期执行缓冲操作，而不象传统装置那样在解码数据时输出数据。因此，能够通过使用即使当对于各个帧的解码时间互不相同时平均解码时间也是不变的这一点来减少输出临界时间。即，通过使用每十个帧中仅存在一个需要相对长的解码时间的内部帧并且所述内部帧不连续的特性来输出对于多个帧的平均解码时间，从而因为一个内部帧，能够减少已经被设定为一个大的值的输出临界时间。用根据对于视频帧的缓冲特性的视频解码处理所需的时间的分布视图来描述这个处理，其中在图7中示出了这个分布视图。
图7图解说明了根据对于视频帧的缓冲特性的视频解码处理所需的时间的分布。参考图7，没有缓冲“A”，因为对于各个帧的解码时间之间的差达到最大值97ms，因此对应于那些差，输出临界时间必须被设定为100ms。然而，当有4帧缓冲时，平均解码时间是41ms，并且从缓冲器的输出时间也具有相同的值。因此，能够将输出临界时间减少到50ms。而且，当有6帧缓冲时，平均解码时间是38ms，并且从缓冲器的输出时间具有相同的值。因此，能够将输出临界时间减少到50ms以下。
K3G型分析器607对除了视频数据的控制数据和多媒体数据进行分析，并且媒体延迟输出控制器608输出时间同步信号，以便同步视频数据和音频数据的输出。媒体延迟输出控制器608根据视频控制器603的控制信号按照帧输入除了视频数据的控制数据和多媒体数据。在这种情况下，除了视频数据的控制数据和多媒体数据对于一帧视频数据具有更多的帧，从而一帧视频数据不需要仅一帧不同的多媒体。也就是，在移动通信终端中，视频数据以8fps(帧每秒)的速度发送，而音频数据以25～35fps的速度发送。因此，媒体延迟输出控制器608将缓冲视频数据的时间延迟预定数量的帧，从视频控制器603接收表示源数据缓冲器606已满的信息，并且对应于从缓冲器输出的视频帧的时间信息而输出控制数据和多媒体数据，所述多媒体数据将视频数据从视频源数据中排除在外。
MPEG4 AAC解码器610、EVRC解码器611、和MIDI解码器612对除了视频数据的多媒体数据(即音频数据)进行解码，并将其输出，其中多媒体数据是从媒体延迟输出控制器608提供的。视频数据输出部分609从媒体延迟输出控制器608接收控制信号，从源数据缓冲器606读取视频帧，并输出所读取的视频帧。
根据从媒体延迟输出控制器608输入的时间同步信息，视频同步部分613和音频同步部分614对从视频数据输出部分609输出的视频信息和从MPEG4AAC解码器610、EVRC解码器611、和MIDI解码器612输出的音频信息进行同步，并将其输出。
图8是图解说明在根据本发明实施例的移动通信终端中再现多媒体数据的流程图。参考图8，首先，将多媒体数据输入到根据本发明的移动通信终端的多媒体再现装置(步骤801)。在本发明的实施例中，虽然描述了输入多媒体数据是K3G型的数据情况下，但是本发明同样适用于用于解码诸如3GPP、3GPP2等的其他格式的多媒体数据的其他多媒体再现方法。
接着，分析输入多媒体数据的首标(步骤802)，以便将该数据划分为视频信息和除了视频信息的其他多媒体信息。这里，对于视频信息，存储视频帧的起始地址(步骤803)，并且根据帧对所存储的视频帧进行解码(步骤804)。
接着，缓冲所解码的视频帧(步骤805)。随后，如果缓冲的帧的数量不小于预先定义的缓冲的帧的数量n(步骤806)，则产生缓冲结束信号，并且经历一段预定时间(即输出所缓冲的帧的等待时间)的等待状态(步骤807)，并且在预定时间过后，再次执行步骤806。然而，如果缓冲的帧的数量小于预先定义的缓冲的帧的数量N(步骤806)，则在步骤808确定是否存在另一个缓冲的帧。然后，如果存在任何缓冲的帧，则执行步骤804，如果不存在缓冲的帧，则结束处理。
在分析输入视频流的首标的处理期间，通过使用下列因素来确定缓冲的帧的预先定义的数量N。首先，所编码的帧的大小越大，则确定的数量N就越大，这可以被判断为帧的首标之间的数据的实际大小。数量N可以根据技术的使用而增加，例如直流(DC)和交流(AC)的估计、4运动矢量(4MV)模式、无约束MV等，需要大量的计算，通常增加了图像的压缩比。而且，当考虑在无线环境中使用例如Resync标记器、数据划分等的误差弹性技术时，可能增加数量N，其中在无线环境中大量的误差是在视频CODEC中产生的。根据大量的试验，确定那些因素可能使数量N每个因素增加0.5。
使用除了视频信息以外的其他媒体信息，存储有关各个媒体的控制信息(步骤809)，按照帧将控制信息和数据发送到解码器610到612和视频数据输出部分609(步骤810)。
接着，解码器610到612根据时间信息按照帧对音频数据进行解码(步骤813)并且输出音频帧(步骤814)。而且，视频数据输出部分609根据时间信息从缓冲器读取视频帧(步骤811)，并且根据时间信息输出所读取的视频帧(步骤812)。
随后，根据时间信息确定在步骤812和814中执行的视频帧和音频帧的输出是否彼此同步(步骤815)。如果同步，则将视频信号和音频信息输出到每个输出部分(例如，显示部分106和声音处理部分104)(步骤816)，并且重复这个处理直到最后一帧(步骤817)。
然而，当根据时间信息确定在步骤812和814执行的视频帧和音频帧的输出不互相同步时(步骤815)，视频帧或音频帧必须等待同步(步骤818)，并且随后使视频帧或音频帧彼此同步，并将其输出(步骤816和817)。
根据上面描述的本发明，当再现移动通信终端的多媒体数据时，对输出数据进行缓冲，从而可以有效地使用移动通信终端的有限资源。而且，本发明具有支持服务质量同时使用很少的资源来提供移动通信终端的多媒体数据的效果。
可以将根据本发明的上述方法实现为程序并将其存储在记录介质(CDROM、RAM、软盘、硬盘、磁光盘等)上作为能够由计算机读取的格式。
虽然已经参考本发明的某些优选实施例示出和描述了本发明，但是本领域的技术人员应当理解，在不背离由所附权利要求定义的本发明的精神和范围的情况下，可以对其在形式和细节上做出各种变化。因此，本发明的范围不由上面的实施例所限定，而由权利要求及其等效物限定。

Claims (12)

1.一种在移动通信终端中使用输出缓冲的多媒体再现装置，所述装置包括：
数据分析部分，用于将多媒体数据划分为视频数据和其它数据，并随后对所述视频数据和其它数据进行分析；
视频数据处理部分，用于按照帧对从所述数据分析部分发送的分析视频数据进行解码，并且对预定数量的解码的数据的视频帧进行缓冲；
媒体延迟输出控制器，用于根据所述视频数据处理部分的缓冲信号对由所述数据分析部分分析和发送的其它数据进行延迟，输出所延迟的数据，并产生同步信号；
音频数据处理部分，用于解码和输出从所述媒体延迟输出控制器输出的其它数据中的音频数据；
视频数据输出部分，用于通过使用从所述媒体延迟输出控制器输出的其它数据中的控制数据来按照帧读取和输出由所述视频数据处理部分缓冲的视频数据；和
同步部分，用于根据所述媒体延迟输出控制器的同步信号，同步和输出从所述视频数据输出部分输出的视频数据和从所述音频数据处理部分输出的音频数据。
2.如权利要求1所述的多媒体再现装置，其中所述视频数据处理部分包括：
视频控制器，用于按照帧输出从所述数据分析部分接收的已分析的视频数据；
视频解码器；用于对通过所述视频控制器对按照帧接收的视频数据按照帧进行解码；和
缓冲器，用于缓冲预定数量的已解码的视频数据的视频帧，并当已经缓冲了预定数量的视频帧时，向所述视频控制器发送缓冲结束信号，所述视频控制器根据从所述缓冲器接收的缓冲结束信号向所述媒体延迟输出控制器发送缓冲信息。
3.如权利要求1所述的多媒体再现装置，其中所述媒体延迟输出控制器的同步信号是时间信息。
4.如权利要求1所述的多媒体再现装置，其中缓冲了预定数量的视频帧，从而按视频帧的预定和缓冲数量的平均解码时间来输出所述视频数据。
5.如权利要求1所述的多媒体再现装置，其中所述多媒体数据是韩国第三代类型的数据。
6.如权利要求1所述的多媒体再现装置，其中所述多媒体数据是第三代伙伴计划类型的数据。
7.如权利要求1所述的多媒体再现装置，其中所述多媒体数据是第三代伙伴计划2类型的数据。
8.如权利要求1所述的多媒体再现装置，其中所述多媒体数据是实时传输协议类型的数据。
9.一种在移动通信终端中使用输出缓冲来再现多媒体数据的控制方法，所述控制方法包括步骤：
(1)在所述移动通信终端中，接收所述多媒体数据，将多媒体数据划分为视频数据和其它数据，并分别分析所述视频数据和其它数据；
(2)存储在步骤(1)分析的视频数据的视频帧起始地址，按照帧解码所述视频数据，并缓冲预定数量的视频帧；
(3)在延迟所述其它数据与在步骤(2)缓冲的预定数量的一样多的视频帧之后，输出在步骤(1)分析的其它数据；
(4)按照帧解码和输出音频数据，其中音频数据包含在步骤(3)中输出的数据中，以及根据包含在步骤(3)输出的数据中的控制信息输出在步骤(2)中缓冲的视频帧；和
(5)根据时间信息同步和输出在步骤(4)输出的视频帧和音频帧。
10.如权利要求9所述的控制方法，还包括步骤(6)：当在步骤(2)已经缓冲了预定数量的视频帧时，产生缓冲结束控制信号，发送所述缓冲结束控制信号，并且控制要被执行的步骤(3)的延迟处理。
11.如权利要求9所述的控制方法，其中缓冲和输出所述预定数量的视频帧，从而按视频帧的预定和缓冲数量的平均解码时间来输出所述视频帧。
12.如权利要求9所述的控制方法，其中，在步骤(5)，当在步骤(4)输出的视频帧和音频帧的时间信息不互相对应时，具有先前时间信息的帧等待所述视频帧和音频帧中的其他帧，从而执行同步。
CNB200410045931XA 2003-08-26 2004-05-25 使用移动通信终端中的输出缓冲的多媒体再现装置和方法 Expired - Fee Related CN1301016C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR59037/03 2003-08-26
KR1020030059037A KR100651566B1 (ko) 2003-08-26 2003-08-26 이동통신 단말기에서 출력 버퍼링을 이용한 멀티미디어재생 장치 및 그 제어 방법
KR59037/2003 2003-08-26

Publications (2)

Publication Number Publication Date
CN1592392A true CN1592392A (zh) 2005-03-09
CN1301016C CN1301016C (zh) 2007-02-14

Family

ID=34101841

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200410045931XA Expired - Fee Related CN1301016C (zh) 2003-08-26 2004-05-25 使用移动通信终端中的输出缓冲的多媒体再现装置和方法

Country Status (4)

Country Link
US (1) US20050047417A1 (zh)
EP (1) EP1511326B1 (zh)
KR (1) KR100651566B1 (zh)
CN (1) CN1301016C (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100413339C (zh) * 2005-03-11 2008-08-20 乐金电子(中国)研究开发中心有限公司 便携终端的影像和语音信号的同步装置及其方法
CN100425075C (zh) * 2005-03-23 2008-10-08 乐金电子(中国)研究开发中心有限公司 移动通信终端的多媒体播放方法
CN104067618A (zh) * 2011-11-25 2014-09-24 三星电子株式会社 用于解码器的缓冲器管理的图像编码方法和装置、以及图像解码方法和装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201145943A (en) * 2004-05-13 2011-12-16 Qualcomm Inc Synchronization of audio and video data in a wireless communication system
KR100602954B1 (ko) * 2004-09-22 2006-07-24 주식회사 아이큐브 미디어 게이트웨이
US7532638B2 (en) * 2005-06-01 2009-05-12 Broadcom Corporation Wireless terminal baseband processor high speed turbo decoding module supporting MAC header splitting
CN101968959A (zh) * 2010-09-19 2011-02-09 北京航空航天大学 一种基于faad2 main模式的多路音频实时解码软件设计方法
KR101672253B1 (ko) * 2010-12-14 2016-11-03 삼성전자주식회사 휴대용 단말기에서 스트리밍 서비스를 제공하기 위한 장치 및 방법
CN104219509A (zh) * 2014-10-11 2014-12-17 四川九洲电器集团有限责任公司 车载智能终端及其数据传输方法
EP3013013B1 (en) * 2014-10-21 2019-09-25 Provenance Asset Group LLC Networking device and method for buffer management in video streaming over a network
US10432988B2 (en) * 2016-04-15 2019-10-01 Ati Technologies Ulc Low latency wireless virtual reality systems and methods

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5396497A (en) * 1993-02-26 1995-03-07 Sony Corporation Synchronization of audio/video information
US5543853A (en) * 1995-01-19 1996-08-06 At&T Corp. Encoder/decoder buffer control for variable bit-rate channel
US5623483A (en) * 1995-05-11 1997-04-22 Lucent Technologies Inc. Synchronization system for networked multimedia streams
JP3922592B2 (ja) * 1995-09-29 2007-05-30 松下電器産業株式会社 記録方法
TW436777B (en) * 1995-09-29 2001-05-28 Matsushita Electric Ind Co Ltd A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
US6148135A (en) * 1996-01-29 2000-11-14 Mitsubishi Denki Kabushiki Kaisha Video and audio reproducing device and video decoding device
KR20010023607A (ko) * 1997-09-05 2001-03-26 마츠시타 덴끼 산교 가부시키가이샤 복호방법 및 복호 프로그램을 기록한 기록매체
US7043749B1 (en) * 1998-02-27 2006-05-09 Tandberg Telecom As Audio-video packet synchronization at network gateway
GB9817292D0 (en) * 1998-08-07 1998-10-07 Nokia Mobile Phones Ltd Digital video coding
US6414996B1 (en) * 1998-12-08 2002-07-02 Stmicroelectronics, Inc. System, method and apparatus for an instruction driven digital video processor
AU5445000A (en) * 1999-05-26 2000-12-12 Bigband Networks, Inc. Communication management system and method
US6754279B2 (en) * 1999-12-20 2004-06-22 Texas Instruments Incorporated Digital still camera system and method
US6775267B1 (en) * 1999-12-30 2004-08-10 At&T Corp Method for billing IP broadband subscribers
US6826173B1 (en) * 1999-12-30 2004-11-30 At&T Corp. Enhanced subscriber IP alerting
US6778493B1 (en) * 2000-02-07 2004-08-17 Sharp Laboratories Of America, Inc. Real-time media content synchronization and transmission in packet network apparatus and method
US6631410B1 (en) * 2000-03-16 2003-10-07 Sharp Laboratories Of America, Inc. Multimedia wired/wireless content synchronization system and method
WO2001093052A2 (en) * 2000-05-31 2001-12-06 Broadcom Corporation Multiprotocol computer bus interface adapter and method
JP2002016917A (ja) * 2000-06-30 2002-01-18 Toshiba Corp 動画像の時間情報復号方法
US6879581B1 (en) * 2000-08-22 2005-04-12 Qualcomm Incorporated Method and apparatus for providing real-time packetized voice and data services over a wireless communication network
US7234126B2 (en) * 2000-08-23 2007-06-19 Interuniversitair Microelektronica Centrum Task concurrency management design method
US7424279B1 (en) * 2000-09-15 2008-09-09 Delphi Technologies, Inc. Method for enhancing in real-time the playback of an audio broadcast signal
US7346698B2 (en) * 2000-12-20 2008-03-18 G. W. Hannaway & Associates Webcasting method and system for time-based synchronization of multiple, independent media streams
US7154906B2 (en) * 2001-01-30 2006-12-26 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image processing program, and computer-readable storage medium storing image processing program code
FI118830B (fi) * 2001-02-08 2008-03-31 Nokia Corp Tietovirran toisto
EP1261204A2 (en) * 2001-03-29 2002-11-27 Matsushita Electric Industrial Co., Ltd. Method and apparatus for data reproduction
JP2003046949A (ja) * 2001-07-30 2003-02-14 Hitachi Ltd データ多重化方法、データ記録媒体、データ記録装置及びデータ記録プログラム
US7110416B2 (en) * 2001-09-04 2006-09-19 Nokia Corporation Method and apparatus for reducing synchronization delay in packet-based voice terminals
FI20011871A (fi) * 2001-09-24 2003-03-25 Nokia Corp Multimediadatan prosessointi
US6906755B2 (en) 2002-01-04 2005-06-14 Microsoft Corporation Method and apparatus for synchronizing audio and video data
US7124163B2 (en) * 2002-05-24 2006-10-17 Convedia Corporation Data server
US20030222843A1 (en) * 2002-05-28 2003-12-04 Birmingham Blair B.A. Systems and methods for encoding control signals initiated from remote devices
TWI265697B (en) * 2002-06-06 2006-11-01 Ibm Digital contents distribution system, digital contents distribution method, computer readable recording medium storing the program therein, and server and client therefor
RU2332705C2 (ru) * 2002-07-16 2008-08-27 Нокиа Корпорейшн Способ предоставления возможности компенсации задержки передачи пакетов при потоковой передаче мультимедийных данных
US7290057B2 (en) * 2002-08-20 2007-10-30 Microsoft Corporation Media streaming of web content data
US20040128342A1 (en) * 2002-12-31 2004-07-01 International Business Machines Corporation System and method for providing multi-modal interactive streaming media applications
US6888821B2 (en) * 2003-02-10 2005-05-03 Nokia Corporation Dynamic media authorization in mobile networks
US20050005025A1 (en) * 2003-07-04 2005-01-06 Michael Harville Method for managing a streaming media service

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100413339C (zh) * 2005-03-11 2008-08-20 乐金电子(中国)研究开发中心有限公司 便携终端的影像和语音信号的同步装置及其方法
CN100425075C (zh) * 2005-03-23 2008-10-08 乐金电子(中国)研究开发中心有限公司 移动通信终端的多媒体播放方法
CN104067618A (zh) * 2011-11-25 2014-09-24 三星电子株式会社 用于解码器的缓冲器管理的图像编码方法和装置、以及图像解码方法和装置

Also Published As

Publication number Publication date
US20050047417A1 (en) 2005-03-03
EP1511326A1 (en) 2005-03-02
KR100651566B1 (ko) 2006-11-28
CN1301016C (zh) 2007-02-14
KR20050021812A (ko) 2005-03-07
EP1511326B1 (en) 2012-04-04

Similar Documents

Publication Publication Date Title
KR101008764B1 (ko) 쌍방향 미디어 응답 시스템에서 시각 단서를 제공하는 방법
CN101394469B (zh) 一种音视频同步方法、装置及一种数字电视芯片
JP4949591B2 (ja) ビデオ誤り回復方法
CN1977516B (zh) 无线通信系统上传输数据的方法和无线通信设备
CN1301016C (zh) 使用移动通信终端中的输出缓冲的多媒体再现装置和方法
CN102595114B (zh) 一种在低端嵌入式产品上播放视频的方法及终端
CN1798383A (zh) 用于提供终端中的广播流的暂停功能的装置和方法
CN1977554A (zh) 交互式广播系统
CN102347042B (zh) 一种音轨切换方法、系统及音视频文件播放设备
CN102067551B (zh) 媒体流处理
CN101047842A (zh) 无线二进制运行环境手机播放流媒体音视频的方法
JP2003114845A (ja) メディア変換方法およびメディア変換装置
CN101051465B (zh) 用于解码被编码的有用数据的方法和解码装置
CN1992897A (zh) 视频处理方法以及计算机可读取储存媒体
US20060140591A1 (en) Systems and methods for load balancing audio/video streams
CN107438192A (zh) 音视频播放同步的方法及相关系统和多媒体播放终端
US7574169B2 (en) Contents providing system and mobile communication terminal therefor
CN1829316A (zh) 使用伪流技术来向移动终端传输运动画面数据的方法
CN114333933B (zh) 一种Linux平台上安卓应用低延迟音频输出方法
EP2405649B1 (en) Method and terminal for synchronously recording sounds and images of opposite ends based on circuit domain video telephone
CN104023260A (zh) 硬件解码实现方法、装置及播放器
CN113873176B (zh) 一种媒体文件合并方法及装置
CN1625161A (zh) 一种即时通讯中信息回放的方法和系统
CN115643424A (zh) 直播数据处理方法及系统
JPH10271482A (ja) 符号化映像の同期再生制御方法およびシステム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070214

Termination date: 20180525

CF01 Termination of patent right due to non-payment of annual fee