CN1270540C - 声音图像多路复用数据生成装置和重放装置及生成重放方法 - Google Patents

声音图像多路复用数据生成装置和重放装置及生成重放方法 Download PDF

Info

Publication number
CN1270540C
CN1270540C CNB2003101199230A CN200310119923A CN1270540C CN 1270540 C CN1270540 C CN 1270540C CN B2003101199230 A CNB2003101199230 A CN B2003101199230A CN 200310119923 A CN200310119923 A CN 200310119923A CN 1270540 C CN1270540 C CN 1270540C
Authority
CN
China
Prior art keywords
data
multiplexed
view data
preparation
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2003101199230A
Other languages
English (en)
Other versions
CN1503571A (zh
Inventor
八木顺子
舟桥和年
西村宪吾
风间裕司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1503571A publication Critical patent/CN1503571A/zh
Application granted granted Critical
Publication of CN1270540C publication Critical patent/CN1270540C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/26616—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for merging a unicast channel into a multicast channel, e.g. in a VOD application, when a client served by unicast channel catches up a multicast channel to save bandwidth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

本发明的声音图像多路复用数据生成装置以小于图像数据的帧速率，将编码的预备图像数据经预备图像编码部和预备图像数据存放部，与声音/图像数据一起多路复用。声音图像多路复用数据重放装置在图像译码处理于规定时间内没有完成的情况下，进行对预备图像数据的译码，如果图像译码处理来得及处理，则进行通常的图像数据的译码处理。这样，通过预先对帧速率小的预备图像数据进行多路复用，能够将实时重放发生困难时的图像紊乱控制在最小限度，并恢复声音/图像数据的同步确立。

Description

声音图像多路复用数据生成装置和重放装置及生成重放方法
技术领域
本发明涉及声音图像多路复用数据生成装置以及声音图像多路复用数据重放装置及生成重放方法。
背景技术
近年来，在数字AV设备中，需要实现称为声音移动图像的多媒体数据的录像/重放的多媒体数据多路复用技术，且存在ASF(前置系统格式；Advanced SystemsFormat)以及MPEG-4MP4(移动图像专家组4型；moving picture experts groupphase 4)等各种标准。
在多媒体多路复用技术中，将声音/图像数据多路复用的声音图像多路复用技术中，在声音/图像数据的每1帧中附加称为PTS(陈述时间标志；PresentationTime Stamp)的重放时刻/显示时刻作为同步信息，生成多路复用数据。另一方面，在对被多路复用的数据进行重放的情况下，将多路复用数据解多路复用为声音/图像数据以及同步信息，并且通过将同步信息的PTS复原，对声音/图像数据的重放/显示处理，实现声音图像同步重放。
图19是已有的声音图像多路复用数据生成装置，图20是已有的声音图像多路复用数据，图21是已有的声音图像多路复用数据重放装置(例如，专利文献1等)。
已有的声音图像多路复用生成装置是由以下部分构成，即对由话筒M1输入的数据进行编码的声音编码部1901、存放已被编码的声音数据的声音数据存放部1904、对摄像机CA输入的图像数据进行编码的图像编码部1903、存放已被编码的图像数据的图像数据存放部1906、制作用于使声音数据与图像数据同步的同步信息的同步信息生成部1902、存放同步信息的同步信息存放部1905、将存放在声音数据存放部1904中的声音数据、将存放在图像数据存放部1906中的图像数据以及存放在同步信息存放部1905中的同步信息多路复用的声音图像多路复用部1907。
在该已有的声音图像多路复用数据生成装置中，对被编码的声音数据、图像数据分别附加同步信息(PTS)并进行多路复用。被多路复用的数据的例子如图20所示。
而且，因多路复用数据的不同，多路复用方法有附加作为各个声音数据/图像数据的信息的首部的同步信息的方法、所有声音数据/图像数据的同步信息集中存放在一处的方法等各种方法。
另一方面，如图21所示，已有声音图像多路复用数据重放装置由以下部分构成，即将多路复用数据分离为声音数据、图像数据以及同步信息的声音图像解多路复用部2101、存放被解多路复用的声音数据的声音数据存放部2102、存放被解多路复用的图像数据的图像数据存放部2104、存放被解多路复用的同步信息的同步信息存放部2103、对声音数据进行译码的声音译码部2105、对图像数据进行译码的图像译码部2107、以声音/图像数据的同步信息为依据，起动声音译码部2105与图像译码部2107的同步控制部2106。在声音译码部2105中被译码的信号通过扬声器SP重放，在图像译码部2107中被译码的信号通过显示器DP重放。
这样，在已有的声音图像多重数据重放装置中，将通过解多路复用方法得到的同步信息复原，采用声音译码部2105、图像译码部2107，确立声音数据、图像数据的同步后进行重放。
然而，在采用全部软件处理的方法实现声音图像多路复用数据重放装置的情况下，由于CPU的处理能力有限，实时的声音与图像的同步重放困难。
又，在多个应用程序同时实施时的情况下，因转移到与声音图像多路复用数据重放装置不同的装置或者状态，解多路复用处理以及各译码处理不能在规定的时间之内完成，导致实时的声音与图像的同步重放发生困难。
特别是，在通过软件处理实现的情况下，图像译码部2107的处理量增大。一旦实时的同步重放发生困难，将采取中断图像数据译码处理，不显示其图像数据(抽帧)的对策。但是，由于基本上图像数据是前帧的图像数据的差分图像，因此不能只抽取来不及进行图像译码处理的图像数据1帧。即使已经抽帧，也会在下一帧的图像数据发生紊乱。因此，其结果是，导致对下一基准图像为止的多帧图像数据进行抽帧，移动图像重放的不连续性显著。
本发明的目的在于，提供在采用软件处理的方法进行声音图像多路复用数据的重放的情况下，能够将移动图像的译码处理在规定时间内未能完成时所发生的声音图像的同步紊乱以及移动图像重放的紊乱控制在最小限度的声音图像多路复用数据生成装置、重放装置以及移动图像译码装置。
发明内容
为了解决所述课题，本发明的声音图像多路复用数据生成装置是在已有构成的基础上，还具有
利用小于图像编码部的帧速率对输入的图像数据进行编码，生成预备图像数据的预备图像编码部、以及、存放预备图像数据的预备图像数据存放部。
又，本发明的声音图像多路复用数据重放装置是在已有的构成上，具有
利用多路复用的数据对预备图像数据进行解多路复用并存放预备图像数据的预备图像数据存放部、以及
选择对图像数据与预备图像数据中的哪一个进行译码的图像数据选择部。
该声音图像多路复用数据生成装置，对以通常的帧速率编码的图像数据与以更低帧速率编码的预备图像数据的2种图像数据多路复用。声音图像多路复用数据重放装置，对通常帧速率的图像数据进行译码时，图像译码处理因某种原因在规定时间内没有完成的情况下，作为预备图像，对多路复用的帧速率低的预备图像数据进行译码。还有，继续进行预备图像数据的译码，直到图像译码部能够在规定时间内完成为止。这样，通过预先对帧速率低的预备图像数据进行多路复用，以及通过在实时重放困难的情况下进行对预备图像数据的译码，可以防止系统出现破绽并较圆满地实现移动图像重放。
还有，本发明的声音图像多路复用数据生成装置包含：具有与所述声音编码部相同的声音输入的预备声音编码部、以及存放在所述预备声音编码部编码的预备声音数据的预备声音数据存放部。此外，本发明的声音图像多路复用数据重放装置具有：在声音图像解多路复用部中存放被解多路复用的预备声音数据的预备声音数据存放部、以及从所述声音数据与所述预备声音数据中选择对哪一个声音数据进行译码的声音选择部。
具有该构成的声音图像多路复用数据生成装置，对采用通常的编码方式编码的声音数据、以及采用处理量少的简易编码方式编码的预备声音数据的2种声音数据进行多路复用。在声音图像多路复用数据重放装置中，判定为对通常的声音数据的译码处理来不及进行时，作为预备声音，用多路复用的处理量少的简易编码对预备声音数据进行译码。还有，继续进行预备声音数据的译码，直到声音译码部在规定时间内能够完成译码处理为止。这样，通过预先对处理量少的预备声音数据进行多路复用，依次在实时重放困难的情况下进行对预备声音数据的译码，可以防止系统出现破绽。在本发明中，图像译码部通过硬件实现，替代图像译码部几乎没有迟延的现象，在声音译码部的迟延显著的系统中更为有效。
还有，本发明的移动图像译码装置具有：判定图像数据的译码处理在规定时间内是否完成的图像译码判定部、以及对应于所述图像译码判定部中的判定结果，部分省略图像译码处理、削减处理量的图像译码部。
如果采用该构成，移动图像译码装置在图像译码判别部判定图像译码处理难以在规定时间内完成的情况下，通过削减图像译码部的处理，可以实现利用软件的实时重放困难的移动图像译码处理。
附图说明
图1是本发明的(实施形态1)的声音图像多路复用数据生成重放系统的声音图像多路复用数据生成装置的结构图。
图2是实施形态1的声音图像多路复用数据重放装置的结构图。
图3是实施形态1的声音图像多路复用数据中包含的图像数据的一例的说明图。
图4是实施形态1的声音图像多路复用数据的一例的说明图。
图5是实施形态1的声音图像多路复用数据中包含的图像数据的重放例。
图6是实施形态1的声音图像多路复用数据中包含的图像数据的显示时间例。
图7是本发明的(实施形态2)的声音图像多路复用数据生成重放系统的声音图像多路复用数据生成装置的结构图。
图8是实施形态2的声音图像多路复用数据一例的说明图。
图9是实施形态2的声音图像多路复用数据重放装置的结构图。
图10是本发明的(实施形态3)的移动图像译码装置的流程图。
图11是以实施形态2的宏数据块单位有规则地削减交直流变换处理单位的一例的说明图。
图12是本发明的(实施形态4)的移动图像译码装置的流程图。
图13是在同一实施形态的宏数据块单位中有规则地省略图像译码处理的一例的说明图。
图14是本发明的(实施形态5)的移动图像译码装置的流程图。
图15是用实施形态5的宏数据块单位根据移动矢量省略图像译码处理的一例的说明图。
图16是本发明(实施形态6)的移动图像译码装置的流程图。
图17是实施形态6的图像译码部、颜色变换部以及图像显示部的实施时间的一例(图像译码处理在限定时间内完成的情况)的说明图。
图18是实施形态6的图像译码部、颜色变换部以及图像显示部的实施时间的一例(图像译码处理在限定时间内未完成的情况)的说明图。
图19是声音图像多路复用数据生成装置的已有例的结构图。
图20是已有的声音图像多路复用数据的一例的说明图。
图21是声音图像多路复用数据重放装置的已有例的结构图。
图22是本发明(实施形态1)中的声音图像多路复用数据生成装置的同步信息存放部106的同步信息的说明图。
图23是本发明(实施形态1)中的声音图像多路复用数据重放装置的同步信息存放部203的同步信息的说明图。
具体实施形态
以参考附图对本发明的声音图像多路复用数据生成装置、重放装置以及移动图像译码装置进行说明。
实施形态1
图1～图5表示本发明的实施形态1。
图1表示本发明的实施形态1的声音图像多路复用数据生成装置。
该声音图像多路复用数据生成装置具有：以每一帧长的声音数据作为输入，对声音数据编码的声音编码部101、存放声音编码部101编码的声音数据的声音数据存放部105、以1个画面份额的图像数据作为输入，以一定的帧速率进行对图像数据的编码的图像编码部103、存放图像编码部103编码的图像数据的图像数据存放部107、以不同于图像编码部103的帧速率进行对图像数据的编码的预备图像译码部104、存放预备图像编码部104编码的预备图像数据的预备图像数据存放部108、声音编码部101、图像编码部103、生成预备图像编码部104编码的声音数据、图像数据以及预备图像数据的同步信息的同步信息生成部102、存放同步信息生成部102生成的同步信息的同步信息存放部106、对存放在声音数据存放部105中的声音数据、存放在图像数据存放部107中的图像数据、存放在预备图像数据存放部108中的预备图像数据以及存放在同步信息存放部106中的同步信息进行多路复用的声音图像多路复用部109。
以下对声音图像多路复用数据生成装置的实施形态的一系列流程进行说明。
首先，每隔某一定时间tA将声音数据输入声音编码部101。声音编码部101进行对被输入的tA份额的声音数据的编码。接着，将被编码的声音数据存放在声音数据存放部105。
另一方面，每某个一定时间tV将一个画面份额的图像数据输入至图像编码部103。图像编码部103进行对被输入的一个画面份额的图像数据的编码。与声音数据相同，将被编码的图像数据存放进图像数据存放部107。
又，每一比图像数据的编码间隔tV长的编码间隔tV’，将一个画面份额的图像数据输入至预备图像编码部104。预备图像编码部104进行对输入的一个画面份额的图像数据的编码。图3是在图像编码部103与预备图像编码部104编码的图像数据以及预备图像数据的输出例。
图3是使所述图像编码部103以30fps的帧速率实施编码，且使所述预备图像编码部104以15fps帧速率实施编码的结果。首先，所述预备图像编码部104不对具有相同图像数据的基准图像(图3中用「I」表示)进行编码。另一方面，对于差分图像(图3中用「P」表示)，以比图像数据的帧速率低的帧速率对预备图像数据进行编码。图3中，以30fps的帧速率对图像数据进行编码，以其一半帧速率的15fps对预备数据进行编码，于是预备图像数据中除基准图像以外的14帧的预备图像数据在1秒钟之内被编码。这里，P2’设P2的预备图像，P4’作为P4的预备图像，P28’作为P28的预备图像。又设P2’作为I1的差分图像，表示与P2相似的图像，并且具有与P2相同的PTS。P4’以及P28’也同样如此，P4’为P2的差分图像，表示与P4相似的图像，且具有与P4相同的PTS。另一方面，P28’为P26的差分图像，表示与P28相同的图像，具有与P28相同的PTS。
接着，在同步信息生成部102生成在声音编码部101、图像编码部103以及预备图像编码部编码的声音数据、图像数据以及预备图像数据的同步信息。该同步信息表示在重放多路复用的数据时声音重放以及图像显示的时刻，被称为PTS。在对声音数据每tA、图像数据每tV，以均一的间隔进行编码的情况下，将声音数据的PTS最初设定为0，其后设定为tA、2×tA、3×tA，即tA的倍数，将图像数据PTS最初设定为0，其后设定为tV、2×tV、3×tV，即tV的倍数。将声音数据、图像数据以及预备图像数据与这样的同步信息相互联系的信息存放在同步信息存放部106。图22是同步信息存放部106的同步信息的一例。
图22中的种类是指声音/图像/预备图像中的任意一个。重放/显示时刻是指以毫秒为单位对声音/图像/预备图像数据的声音重放或者图像显示时刻加以记载。规模(size)是指声音/图像/预备图像数据的各自的规模。其值为一个帧的规模。存放地址是指存放在声音数据存放部、图像数据存放部以及预备图像数据存放部的各个数据的前头地址。这样，使同步信息与编码的声音/图像/预备图像数据相联系地存放在同步信息存放部106中。
接着，在声音图像多路复用部109中，将存放于所述同步信息存放部106的同步信息复原，并对声音/图像/预备图像数据进行多路复用。图4是多路复用的数据的例子。图4中，在各个数据的前头附加作为同步信息的PTS，对于预备图像数据，使其与具有相同PTS的图像数据相连存放。
另一方面，图2是本发明实施形态1的声音图像多路复用数据重放装置的构成图。图2的声音图像多路复用数据重放装置具有：以多路复用数据作为输入并进行解多路复用的声音图像解多路复用部201、存放在所述声音图像解多路复用部201被解多路复用的声音数据的声音数据存放部202、存放在所述声音图像解多路复用部201被解多路复用的图像数据的图像数据存放部204、存放在所述声音图像解多路复用部201被解多路复用的预备图像数据的预备图像数据存放部205、存放在所述声音图像解多路复用部201被解多路复用的同步信息的同步信息存放部203、对存放于所述声音数据存放部202的声音数据进行译码的声音译码部206、选择是对存放在所述图像数据存放部204以及所述预备图像数据存放部205中的图像数据还是预备图像数据进行译码的图像选择部208、对所述图像选择部208选择的图像数据进行译码的图像译码部209、以及将存放于所述同步信息存放部203的同步信息复原，使声音译码部206、图像选择部208、和图像译码部209工作，重放多路复用数据的同步控制部207。
下面对有关声音数据多路复用数据重放装置的实施形态的一系列的流程进行说明。
首先，将多路复用的数据输入声音图像解多路复用部201，分离成声音数据、图像数据、预备图像数据以及同步信息。将被分离的各个数据存放在声音数据存放部202、图像数据存放部204、预备图像数据存放部205以及同步信息存放部203。
存放于所述同步信息存放部203的同步信息是使作为同步信息的PTS与声音数据、图像数据以及预备图像数据相联系的信息。图23是同步信息的例子。
如图23所示是关于各个声音/图像/预备图像数据的同步信息。
同步信息控制部207使声音译码部206以及图像译码部209工作以便将所述同步信息复原，声音/图像数据能够同步重放、显示。而且，图像译码部209就在图像选择部208中预先对图像数据或者预备图像数据的哪一个进行译码进行选择的数据进行译码处理。
图像选择部208基本上选择存放于图像数据存放部204的图像数据。但是，在图像译码部209在规定的时间内未能完成处理的情况下，选择存放于预备图像数据存放部205的预备图像数据，将预备图像数据输入图像译码部209。
例如，设想被解多路复用的图像数据是如图3所示的数据的情况。假设对图像数据I1进行的译码处理未在规定时间内完成。原本在对I1进行译码处理之后必须进行对P1的译码处理，但由于来不及对I1进行译码处理，图像选择部208跳过P1选择预备图像数据P2’并将预备图像数据P2’输入图像译码部209。这里，P2’假定为来自I1的差分图像，没有因省略P1的译码处理而产生的弊病。因此，在I1的译码处理完成后，实行对P2’的译码处理。在P2’的译码处理也在规定时间内没有完成的情况下，图像选择部208跳过P3选择预备图像数据P4’，将预备图像时间P4’输入图像译码部209。这样，在图像译码部209在规定的时间内没有完成的情况下，图像选择部208不选择图像数据而是选择预备图像数据。而且，如果图像译码部209在规定的时间内完成，图像选择部按照原有的设定选择图像数据。图5是选择预备图像数据P2’以及P4’时进行图像显示的数据。
图5中实线所示的图像是被显示的图像数据。另外，图6是表示图5的图像数据时的时序图。关于图像译码部209的处理在规定时间没有完成的I1以及P2’，由于与图像数据的帧速率不一致，因此导致局部性移动图像重放不顺畅，但是，在图像译码部209在规定时间内完成的时刻恢复到原来的帧速率，移动图像的重放也恢复顺畅。在已有技术中，在这样实时重放发生困难的情况，原封不动地继承图像译码部的处理的延迟，因此不能保持声音/图像数据的同步。或者，一旦实时重放发生困难，为了省略在其后的基准数据之前存在的所有差分图像数据的译码处理，移动图像的重放变得极端紊乱。
又，所说的实时重放发生困难的情况并不是指如果CPU有足够的处理能力将就不会发生的情况。多个应用程序同时实施的情况下，即使CPU有很强的处理能力，也会因声音图像多路复用处理的中断而导致生实时重放发生困难。根据这样的背景，本发明的声音图像多路复用数据生成装置以及重放装置也可以作为声音图像多路复用数据重放装置的失效保险使用。
如果采用实施形态1，通过预先将帧速率小的预备图像数据与图像数据一起多路复用，以便对多路复用数据的实时重放发生困难时，可以将图像译码部来不及处理时产生的移动图像重放的紊乱控制在最小限度并使其恢复到原来的帧速率进行移动图像重放。
实施形态2
图7～图9是本发明的实施形态2。
该实施形态2是，实施形态1的声音图像多路复用数据重放装置包含：具有与声音编码部相同声音输入的预备声音编码部、以及将在所述预备声音编码部编码的预备声音数据加以存放的预备声音数据存放部。又，实施形态1的声音图像多路复用数据重放装置具有：存放通过声音图像解多路复用部解多路复用的预备声音数据的预备声音数据存放部、以及选择对声音数据与预备声音数据中的哪一个进行译码的声音数据选择部。
图7表示本发明的实施形态2的声音图像多路复用数据生成装置，701、703、704、705、706、708、709、710分别与实施形态1的101、102、103、104、105、106、107、108相同。
在图7的预备声音编码部702中，采用与声音编码部701相同的输入声音，对预备声音数据进行编码。在预备声音编码部702中，采用比声音编码部701的处理量少的简易编码进行声音编码处理。将被编码的预备声音数据存放在预备声音数据存放部707。
而且，由于声音数据一旦跳帧重放听到的全是噪声，因此对所有的声音数据预先准备好预备声音数据。举一例说明，声音编码部利用AMR(adaptive multi-rate)编码处理，预备声音编码部利用比AMR处理量少的G.726编码处理，将AMR数据存放在声音数据存放部，将G.726数据存放在预备声音数据存放部。
在声音图像多路复用部711中，将同步信息附加在声音/图像/预备声音/预备图像数据上并生成多路复用数据。图8是多路复用后的数据的例子。图8中，在各个数据的前头附加作为同步信息的PTS，在预备声音数据方面，使其与具有同样PTS的声音数据相连存放。
而图9是本发明实施形态2的声音图像多路复用数据重放装置。902、904、905、906、909、910、911分别与实施形态1的202、203、204、205、208、206、209相同。
将多路复用的数据输入声音图像解多路复用部901，分离为声音数据、预备声音数据、预备图像数据以及同步信息。
同步控制部908控制的声音选择部907基本上选择存放于声音数据存放部902的声音数据。然而，在判断出声音译码部910中的声音数据的译码处理难以在规定的时间内完成时，选择来自预备声音数据存放部903的预备声音数据并将预备声音数据输入声音译码部910。其后，在判断出声音译码处理可以在规定的时间内完成的情况下，声音选择部907选择来自声音数据存放部902的声音数据。一旦采用上述的例子，通常是在选择存放于声音数据存放部的AMR数据，实施声音译码，在判断出来不及进行译码处理的情况下，选择存放于预备声音数据存放部903的G.726数据并实施声音译码。
这样，通过预先采用比声音数据的处理量还少简易编码对编码的预备声音数据同样进行多路复用，在实时重放产生困难的情况下，选择被认为声音译码处理的处理量小的预备声音数据，通过实行声音译码处理，可以保持声音/图像数据的同步。特别是，采用硬件实现图像译码处理，而采用软件处理实现声音译码处理的系统是更有效的系统。
如果这样采用实施形态2，通过预先将采用处理量少的简易编码的预备声音数据与声音数据一起多路复用，以便对多路复用数据的实时重放发生困难时，可以将声音译码部910来不及处理时产生的声音重放的紊乱控制在最小限度。
实施形态3
图10是由计算机构成的实施形态3的移动图像译码装置的流程图。
图10的移动图像译码装置具有：作为判定被输入的图像数据的译码处理是否在规定时间内完成的图像译码判定部的图像译码判定步骤1001、作为图像译码步骤1003中的决定交直流变换单位的交直流变换单位判定部的交直流变换单位判定步骤1002、作为用宏数据块单位对被输入的图像数据进行译码的图像译码部的图像译码步骤1003、作为对在所述图像译码步骤输出的译码结果进行颜色变换的颜色变换部的颜色变换步骤1004、以及作为显示在所述颜色变换步骤1004输出的颜色变换结果的图像显示部的图像显示步骤1005。
本发明的移动图像译码装置可以作为实施形态1的图像译码部209或者实施形态2的图像译码部911加以利用。
以下对图像译码装置的实施形态的一系列流程进行说明。
首先，对每一帧将图像数据输入图像译码判定步骤1001，判定被输入的图像数据可否在规定的数据内完成。例如，利用内部时钟计算出输入图像数据的时间与译码处理必须完成的时间之间的差分。其差分时间虽然作为分配给图像译码处理的时间，在该时间比某一定值小的情况下，判定为图像译码处理难以在该时间内完成。
接着，交直流变换单位判定步骤1002根据所述图像译码判定步骤1001中的判定结果决定交直流变换的处理单位。这里，设想IDCT(逆离散余弦变换(inverseDiscrete Cosine Transform))作为交直流变换的一个例子。例如，在所述图像译码判定步骤1001中判定图像译码处理将在规定的时间内完成的情况下，将IDCT的处理单位设定为8×8。另一方面，在所述图像译码判定步骤1001中判定图像译码处理将在规定的时间内难于完成的情况下，将IDCT的处理单位设定为4×4。
接着，在图像译码步骤1003中，用宏数据块单位对输入的图像数据进行译码。而且，在本图像译码步骤103中，采用由所述交直流变换单位判定步骤1002决定的IDCT的处理单位实行译码处理。因此，在判定图像译码处理在规定的时间内难以完成的情况下，IDCT的处理单位被削减，因此图像译码部的处理量减少。而且对于全部宏数据块图也可以实行对IDCT的处理单位的削减。或者，也可以不是对全部宏数据块图，而只是有规则地对某个宏数据块，削减IDCT的处理单位。
例如，图11是象方格花纹那样削减IDCT处理单位的情况。如图11所示，通过将以4×4削减IDCT处理单位的宏数据块设定为方格花纹，可以削减图像译码部总体的处理量。
最后，通过颜色变换步骤1004将由所述图像译码步骤1003输出的图像译码结果即YUV数据(Y-信号数据、U-信号数据、V-信号数据)变换为RGB数据(红、绿、蓝数据)并通过图像显示步骤1005将RGB数据显示在显示器上。
这样，对每一图像1帧数据，反复进行图像译码判定步骤1001、IDCT处理单位判定步骤1002、图像译码步骤1003、颜色变换步骤1004、图像显示步骤1005。
这样采用实施形态3，通过预先在图像译码步骤1001判定图像译码处理是否在规定的时间内完成、根据判定结果在交直流单位判定步骤1002中决定交直流变换单位，由图像译码步骤1003利用交直流变换单位判定步骤1002决定的交直流变换单位，就可以减少图像译码部的处理量，并且，即使在实时内的移动图像重放发生困难的情况下，也可以将移动图像的紊乱现象控制在最小限度下进行重放。
实施形态4
本发明的实施形态4在实施形态3的交直流变换单位判定步骤1002之后，图像译码步骤1003之前具有图像译码规则判定步骤1203。
图12是本发明的实施形态4的移动图像译码装置的流程图。以下对实施形态的一系列的流程进行说明。
通过作为图12的图像译码判定部的图像译码判定步骤1201，判定图像译码处理是否在规定时间内完成。
通过作为直流变换单位判定部的交直流变换单位判定步骤1202，根据所述图像译码判定步骤1201中的判定结果决定图像译码步骤中的交直流变换处理单位。
接着，通过作为图像译码规则判定部的图像译码规则判定步骤1203，判定省略作为图像译码部的图像译码步骤1204的译码处理的规则。关于由图像译码单位判定步骤1202判定出图像译码处理难以在规定的时间完成的图像数据，根据图像译码规则判定步骤1203中的规则，省略图像译码步骤1204的译码处理。
图13是有规则地省略图像译码处理的例子。
图13是时刻(t-1)秒～(t+1)秒的宏数据块。例如，在象方格花纹那样有规则地省略图像译码处理的情况下，在进行t秒时间的图像译码处理的情况下，只对宏数据块B(1)、B(3)、B(5)、B(7)、B(9)实行图像译码处理，对于宏数据块B(2)、B(4)、B(6)、B(8)，则利用前时刻(t-1)秒的值。同样，在进行(t+1)秒的图像译码处理的情况下，只有宏数据块B(2)、B(4)、B(6)、B(8)实行图像译码处理，对于宏数据块B(1)、B(3)、B(5)、B(7)、B(9)，则利用前时刻t秒。这样，通过有规则地省略图像译码处理，可以削减图像译码部的总体处理量。
而且，关于图像译码处理的处理量的削减，也可以与实施形态3所述的削减交直流变换处理单位的方法一起，两者一起采用。
这样采用实施形态4，在图像译码判定步骤1201中判定图像译码处理是否在规定的时间内完成，根据判定结果由交直流变换单位判定步骤1202判定交直流变换单位，在图像译码规则判定步骤1203中有规则地省略图像译码步骤1204的执行，可以削减图像译码步骤1204的总体处理量，也可以在实时移动图像重放发生困难的情况下将移动图像的紊乱控制在最小限度。
实施形态5
本发明实施形态5在实施形态3的交直流变换单位判定步骤1002之后，图像译码步骤1003之前具有移动矢量判定步骤1403。
图14是本发明实施形态5的移动图像译码装置的流程图。以下对实施形态的一系列流程进行说明。
通过作为图像译码判定部的图像译码判定步骤1401，判定图像译码处理是否在规定的时间内完成。
通过作为直流变换单位判定部的交直流变换单位判定步骤1402，根据图像译码判定步骤1401中的判定结果，决定作为图像译码部的图像译码步骤1404中的交直流变换处理单位。
接着，通过作为移动矢量判定部的移动矢量的判定步骤1403，判定每个宏数据块的移动矢量的值。关于图像译码判定步骤1401判定为图像译码处理难以在规定的时间内完成的图像数据，在移动矢量判定步骤1403中被判定为移动矢量小的宏数据块，判断为从前时刻开始的移动小，省略在图像译码步骤1404中的译码处理。
另一方面，在移动矢量判定步骤1403中判定为移动矢量大的宏数据块判断为从前时刻开始的移动大，实行图像译码步骤1404中的译码处理。
这里，将用宏数据块单位省略图像译码处理的例子示于图15。
图15表示时刻(t-1)秒～(t+1)秒的宏数据块以及移动矢量。在进行时刻t秒的图像译码处理的情况下，通过移动矢量判定步骤1403判断为宏数据块B(1)、B(2)、B(3)、B(7)、B(9)的移动矢量值在阈值以上，宏数据块B(4)、B(5)、B(6)、B(8)的移动矢量值在阈值以下的情况下，只有宏数据块B(1)、B(2)、B(3)、B(7)、B(9)实行图像译码步骤1404，对于宏数据块B(4)、B(5)、B(6)、B(8)，则利用前时刻(t-1)秒的值。同样，进行(t+1)秒的图像译码处理时，在通过移动矢量判定步骤1403判断出宏数据块B(2)、B(4)、B(5)、B(7)、B(9)的移动矢量值在阈值以上，宏数据块B(1)、B(3)、B(6)、B(8)的移动矢量值在阈值以下的情况下，只有宏数据块B(2)、B(4)、B(5)、B(7)、B(9)实行图像译码步骤1004，对于宏数据块B(1)、B(3)、B(6)、B(8)，则利用前时刻(t)秒的值。
这样，并非对全部宏数据块实施图像译码处理，在移动矢量判定步骤1403中，被判定为移动矢量小的宏数据块，通过省略图像译码处理并利用前时刻的数据，可以削减图像译码部的总体处理量。
1405与实施形态4的颜色变换步骤1205相同。1406与实施形态4的图像显示步骤1206相同。
而且，对于图像译码处理的处理量的削减，也可以与实施形态3中所述的削减交直流变换处理单位的方法一起，两者一起使用。
如果这样采用实施形态5，对于移动矢量判定步骤1403中根据每个宏数据块的移动矢量推测为移动小的宏数据块，利用前时刻的数据，只对推测为移动大的宏数据块实施图像译码处理，以此可以削减图像译码步骤1404的总体处理量，也可以在实时移动图像重放发生困难的情况下将移动图像的紊乱控制在最小限度。
实施形态6
本发明的实施形态6在图像译码步骤之后、颜色变换步骤之前具有颜色变换实行判定步骤1603。
图16是本发明的实施形态6的移动图像译码装置的流程图。以下对实施形态的一系列流程进行说明。
作为图16的颜色变换实行判定部的颜色变换实行判定步骤1603，根据图像数据，判定是否实行或者省略作为颜色变换部的颜色变换步骤1604以及作为图像显示部的图像显示步骤1605。
作为颜色变换实行判定步骤1603中的判定方法，也可以将作为图像译码判定部的图像译码判定步骤1601中判定为基准图像数据的图像数据作为省略颜色变换步骤1604以及图像显示步骤1605的对象。或者，即使是差分图像数据，由于存在作为图像译码部的图像译码步骤1602的处理量大的情况，因此也可以根据图像译码步骤1602的实行时间，省略颜色变换步骤1604以及图像显示步骤1605。图17是图像译码步骤1602、颜色变换步骤1604以及图像显示步骤1605的执行时间的例子。
图像译码步骤1602、颜色变换步骤1604以及图像显示步骤1605的一系列处理，必须从时刻ts开始，在时刻te完成。这里，图像译码步骤1602的执行时间对应于图像数据而发生变化，但是，颜色变换步骤1604以及图像显示步骤1605与图像数据无关，每次大致需要相同执行时间。因此，将图像译码步骤1602的限制时间设定为图像译码部限制时刻t1。如图17所示，图像译码步骤1602在限制时刻t1之前完成的情况下，实行颜色变换步骤1604以及图像显示步骤1605。
另一方面，如图18所示，在完成图像译码步骤1602的时点超过限制时刻t1的情况下，一旦实施颜色变换步骤1604以及图像显示步骤1605，有可能处理不能在时刻te之前完成，因此，在该情况下将省略颜色变换步骤1604以及图像显示步骤1605，并且不实行图像显示。
这样，由于根据图像译码步骤1602的执行时间省略颜色变换步骤1604以及图像显示步骤1605，会暂时使图像数据产生不连续，但是由于不承袭图像译码步骤1602的处理延迟，因此可以在规定的时间内显示下一个图像数据。
如果这样采用实施形态6，通过在颜色变换实行判定步骤1603中判断是否实行颜色变换处理以及图像显示，即使是在实时移动图像重放产生困难的情况下，也能够将移动图像的紊乱控制在最小限度。
还有，在图像译码步骤之后、颜色变换步骤之前具有颜色变换实行判定步骤1603的结构，在实施形态3～实施形态5中的任一实施形态都同样能够实施。
在以上的本发明中，采用软件处理实行声音图像多路复用数据的重放的情况下，通过预先将预备图像数据与图像数据一起多路复用，可以将移动图像的译码处理在规定的时间内不能完成时发生的声音图像的同步紊乱以及移动图像重放的紊乱控制在最小限度。另外，在图像译码处理中，通过预先判定图像译码处理是否在规定时间内完成，根据判定结果削减图像译码部的处理，可以实现移动图像数据的实时重放。

Claims (10)

1.一种声音图像多路复用数据生成装置，该装置是将声音数据和图像数据多路复用的装置，其特征在于，具备
将输入的声音数据编码的声音编码部(101)、
将在所述声音编码部编码的声音数据加以存放的声音数据存放部(105)、
将输入的图像数据编码的图像编码部(103)、
将在所述图像编码部编码的图像数据加以存放的图像数据存放部(107)、
以与所述图像编码部不同的帧速率将图像数据编码的预备图像编码部(104)、
将在所述预备图像编码部编码的图像数据加以存放的预备图像数据存放部(108)、
生成在重放被多路复用的数据时使声音数据与图像数据同步用的同步信息的同步信息生成部(102)、
将在所述同步信息生成部生成的同步信息加以存放的同步信息存放部(106)、以及
对存放于所述声音数据存放部的声音数据、存放于所述图像数据存放部的图像数据、存放于所述预备图像数据存放部的预备图像数据、在所述同步信息生成部生成的同步信息进行多路复用的声音图像多路复用部(109)。
2.根据权利要求1记载的声音图像多路复用数据生成装置，其特征在于，
所述预备图像编码部(104)以比所述图像编码部的帧速率都小的帧速率对图像数据进行编码。
3.根据权利要求1记载的声音图像多路复用数据生成装置，其特征在于，
所述预备图像编码部(104)不进行基准图像数据的编码，只进行差分图像数据的编码。
4.根据权利要求1记载的声音图像多路复用数据生成装置，其特征在于，
所述声音图像多路复用部(109)与补充编码处理的图像数据连续地对补充编码处理的所述预备图像数据连续进行多路复用。
5.根据权利要求1记载的声音图像多路复用数据生成装置，其特征在于，
具有与所述声音编码部(701)相同的声音输入的预备声音编码部(702)、
将在所述预备声音编码部(702)编码的预备声音数据加以存放的预备声音数据存放部(707)，
所述预备声音编码部(702)采用相比所述声音编码部(701)处理量小的简易编码，生成预备声音数据。
6.一种声音图像多路复用数据重放装置，是一种对声音图像数据多路复用后的数据解多路复用的装置，其特征在于，具备
将输入的多路复用数据解多路复用为声音数据、图像数据、预备图像数据、同步信息的声音图像解多路复用部(201)、
将由所述声音图像解多路复用部解多路复用的声音数据加以存放的声音数据存放部(202)、
将由所述声音图像解多路复用部解多路复用的图像数据加以存放的图像数据存放部(204)、
将由所述声音图像解多路复用部解多路复用的预备图像数据加以存放的预备图像数据存放部(205)、
将由所述声音图像解多路复用部解多路复用的同步信息加以存放的同步信息存放部(203)、
对所述声音数据进行译码的声音译码部(206)、
选择对所述图像数据和所述预备图像数据中的哪一个进行译码的图像选择部(208)、
对所述图像选择部选择的图像数据进行译码的图像译码部(209)、以及
将所述同步信息复原，对所述声音译码部、所述图像选择部以及图像译码部实行控制，并将多路复用数据重放的同步控制部(207)。
7.根据权利要求6记载的声音图像多路复用数据重放装置，其特征在于，
在所述同步控制部(207)发出图像译码的要求时，所述图像选择部(208)在前面的图像数据的译码完成的情况下，从图像数据存放部选择图像数据，将所述图像数据输入图像译码部(209)，进行图像译码。
8.根据权利要求6记载的声音图像多路复用数据重放装置，其特征在于，
在所述同步控制部(207)发出图像译码的要求时，所述图像选择部(208)在前面的图像数据的译码没有完成的情况下，从预备图像数据存放部选择预备图像数据，将所述预备图像数据输入图像译码部(209)，进行图像译码。
9.根据权利要求6记载的声音图像多路复用数据重放装置，其特征在于，
具有将由所述声音图像解多路复用部解多路复用的预备声音数据加以存放的预备声音数据存放部(903)、以及选择对所述声音数据与所述预备声音数据中的哪一个进行译码的声音选择部(907)，
所述声音选择部在所述同步控制部发出声音译码要求时，在判断为来不及进行声音数据的译码处理时，从预备声音数据存放部中选择预备声音数据，将所述预备声音数据输入声音译码部并进行声音译码。
10.一种声音图像多路复用数据生成重放方法，其特征在于，
对声音数据以及图像数据进行编码，对其进行多路复用，形成声音图像多路复用数据，对声音图像多路复用数据进行重放时，
在声音图像多路复用数据生成工序中，
在图像编码部(103)对被输入的图像数据进行编码，同时在预备图像编码部(104)生成以不同于所述图像编码部的帧速率对图像数据进行编码的预备图像数据，
生成对多路复用的数据进行重放时使声音数据与图像数据同步用的同步信息，
对声音数据的编码信号、在图像编码部(103)编码的编码信号、所述同步信号以及所述预备图像数据进行多路复用，
在声音图像多路复用数据重放工序中，
将声音图像多路复用数据生成工序中被多路复用的多路复用数据解多路复用(201)为声音数据、图像数据、同步信息、预备图像数据，
根据所述同步信息对实行对解多路复用的所述声音数据的译码处理的声音译码部(206)、以及实行对解多路复用的所述图像的译码处理的图像译码部(209)的各处理进行控制，使重放声音与重放图像能够同步输出，在所述图像译码部(209)的处理来不及的情况下，取代解多路复用的所述图像数据，用所述图像译码部(209)对预备图像数据进行译码，在所述图像译码部(209)的处理在规定时间内完成的时刻，取代所述预备图像数据，在所述图像译码部(209)对解多路复用的所述图像数据进行译码，恢复到原来帧速率的移动图像重放。
CNB2003101199230A 2002-11-22 2003-11-24 声音图像多路复用数据生成装置和重放装置及生成重放方法 Expired - Fee Related CN1270540C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002338673A JP2004173118A (ja) 2002-11-22 2002-11-22 音声画像多重化データ生成装置と再生装置および動画像復号化装置
JP2002338673 2002-11-22

Publications (2)

Publication Number Publication Date
CN1503571A CN1503571A (zh) 2004-06-09
CN1270540C true CN1270540C (zh) 2006-08-16

Family

ID=32321907

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2003101199230A Expired - Fee Related CN1270540C (zh) 2002-11-22 2003-11-24 声音图像多路复用数据生成装置和重放装置及生成重放方法

Country Status (3)

Country Link
US (1) US20040103446A1 (zh)
JP (1) JP2004173118A (zh)
CN (1) CN1270540C (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4162629B2 (ja) * 2004-06-01 2008-10-08 三洋電機株式会社 デコーダ装置
KR100638138B1 (ko) 2005-05-24 2006-10-24 주식회사 픽스트리 비디오/오디오 부호화 및 다중화 기능을 가진 하드웨어장치 및 그 작동 방법
JP2007058541A (ja) * 2005-08-24 2007-03-08 Matsushita Electric Ind Co Ltd プロセッサ、処理方法及び処理プログラム
EP1932357A2 (en) * 2005-09-27 2008-06-18 Koninklijke Philips Electronics N.V. System and method for providing reduced bandwidth video in an mhp or ocap broadcast system
JP2007288559A (ja) * 2006-04-18 2007-11-01 Matsushita Electric Ind Co Ltd 再生方法および再生装置
WO2008007905A1 (en) * 2006-07-12 2008-01-17 Lg Electronics Inc. Method and apparatus for encoding/decoding signal
WO2008048066A1 (en) * 2006-10-19 2008-04-24 Lg Electronics Inc. Encoding method and apparatus and decoding method and apparatus
JP5022025B2 (ja) * 2006-12-27 2012-09-12 インターナショナル・ビジネス・マシーンズ・コーポレーション コンテンツのデータ・ストリームとメタデータを同期するための方法および装置。
US7705880B2 (en) * 2007-01-17 2010-04-27 Nice Systems Ltd. Device, system and method for encoding employing redundancy and switching capabilities
WO2009059169A2 (en) * 2007-10-31 2009-05-07 Richard Crosby Broadcast television distribution services architecture
US9792363B2 (en) * 2011-02-01 2017-10-17 Vdopia, INC. Video display method
KR102459917B1 (ko) * 2015-02-23 2022-10-27 삼성전자주식회사 이미지 신호 프로세서와 이를 포함하는 장치들
KR20180068069A (ko) * 2016-12-13 2018-06-21 삼성전자주식회사 전자 장치 및 이의 제어 방법

Also Published As

Publication number Publication date
JP2004173118A (ja) 2004-06-17
US20040103446A1 (en) 2004-05-27
CN1503571A (zh) 2004-06-09

Similar Documents

Publication Publication Date Title
CN1270540C (zh) 声音图像多路复用数据生成装置和重放装置及生成重放方法
CN1151683C (zh) 图像声音解码装置和图像声音编码装置以及方法
CN1175854A (zh) 同步再生装置
CN1914924A (zh) 数字广播系统和数字广播发射与接收方法
CN101079989A (zh) 视频处理装置，及添加时间代码和准备编辑列表的方法
CN1822507A (zh) 多路传输设备以及多路传输数据发送与接收系统
CN1271835C (zh) 运动图像数据的记录再生方法和装置
CN1550097A (zh) 数字广播发送装置及其方法、数字广播接收装置及其方法
CN1856065A (zh) 动画处理装置
CN1835597A (zh) 一种节目参考时钟调整的方法及装置
WO2020215454A1 (zh) 一种屏幕录制的方法、客户端和终端设备
CN1358029A (zh) 修改素材
CN1705017A (zh) 数字信息再生装置和方法
CN1155241C (zh) 接收机和收发信机
CN1650560A (zh) 编码分组传送接收方法及其装置以及程序
CN1421859A (zh) 后期录音装置
CN1842971A (zh) 内容提供系统和用于这种系统的移动通信终端
CN101040534A (zh) 运动图像转换方法、设备、系统和服务器设备及程序
CN1291598C (zh) 基于帧内编码图象检索的视频快进快退及恢复常速的方法
CN1645925A (zh) 记录视频数据的方法及设备和再现视频数据的方法及设备
CN1906880A (zh) 内容分发方法、编码方法、接收再现方法和装置、以及程序
CN1777292A (zh) 数据处理装置和方法
CN1685717A (zh) 记录/回放设备和方法、同时处理程序存储介质及同时处理程序
CN1165169C (zh) 视频信号编码方法和视频信号编码器
CN1114211C (zh) 记录和再现视频信号的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20060816

Termination date: 20121124