CN1236522A - 编辑装置、编辑方法、接续装置、接续方法、编码装置和编码方法 - Google Patents

编辑装置、编辑方法、接续装置、接续方法、编码装置和编码方法 Download PDF

Info

Publication number
CN1236522A
CN1236522A CN98801159A CN98801159A CN1236522A CN 1236522 A CN1236522 A CN 1236522A CN 98801159 A CN98801159 A CN 98801159A CN 98801159 A CN98801159 A CN 98801159A CN 1236522 A CN1236522 A CN 1236522A
Authority
CN
China
Prior art keywords
picture
stream
encoding
coding
addressable part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN98801159A
Other languages
English (en)
Other versions
CN1161989C (zh
Inventor
吉成博美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1236522A publication Critical patent/CN1236522A/zh
Application granted granted Critical
Publication of CN1161989C publication Critical patent/CN1161989C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440254—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering signal-to-noise parameters, e.g. requantization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

MPEG解码器14A和14B对接续点的近旁设定的再编码区间中的编码流STA和编码流STB进行解码。接续控制器13计算目标比特量,使得在MPEG编码器15中进行再编码处理时、VBV缓冲器不会发生故障,并且VBV缓冲器的数据占有量不会不连续。接续控制器13利用该计算出的目标码量、和编码流STA和编码流STB中包含的量化特性,对进行再编码处理的画面设定新的量化特性。MPEG编码器15根据接续控制器13提供的新的量化特性,对视频数据进行再编码,作为再编码流STRE输出。接续控制器13通过控制开关17、来切换并输出编码流STA、再编码流STRE和编码流STB,从而可以生成无缝的接续流。

Description

编辑装置、编辑方法、接续装置、接续方法、 编码装置和编码方法
技术领域
本发明涉及通过编辑多个映像素材来生成编辑后的映像素材的编辑装置和方法、通过接续(splice)多个比特流来生成无缝的接续流的比特流接续装置和方法、以及对视频数据进行编码的编码装置和方法。
背景技术
近年来，提出一种记录再生系统，使用能够记录大容量的数字数据的光盘即DVD(数字多用盘或数字视盘)等存储媒体，对压缩编码后的图像数据进行记录和再生，并且提出一种复用传输系统，对多个压缩编码后的广播素材(节目)进行复用来传输。在这些系统中，使用基于MPEG(Moving PictureExperts Group，运动图像专家组)标准的图像数据的压缩编码技术。
在该MPEG标准中，编码方式采用双向预测编码方式。在该双向预测编码方式中，进行帧内编码、帧间正向预测编码、和双向预测编码这3种类型编码，各编码类型产生的图像分别称为I画面(intra coded picture，帧内编码画面)、P画面(predictive coded picture，预测编码画面)、和B画面(bidirectionally predictive coded picture，双向预测编码画面)。将I、P、B各画面适当组合，构成随机存取的单位即GOP(Group of Picture)。通常，在各画面的产生码量中，I画面最多，其次是P画面较多，而B画面最少。
在MPEG标准这样的每个画面的比特产生量不同的编码方法中，为了对得到的编码比特流(下面简称为流)进行适当的传输和解码以得到图像，在图像编码装置端必须把握图像解码装置中输入缓冲器内的数据占有量。因此，在MPEG标准中，设想一个与图像解码装置中输入缓冲器对应的假想缓冲器即VBV(Video Buffering Verifier，视频缓冲核对器)缓冲器，必须在生成流时，不使VBV缓冲器出现故障，即下溢或上溢。
这里，参照图1，说明基于MPEG标准的传输系统和记录再生系统的概况。图1是能够实现ISO/IEC13818-1(MPEG1)、ISO/IEC13818-2(MPEG2)的传输系统。
在该传输系统中，编码装置110端包括：视频编码器111，对输入的视频数据DV进行编码，输出编码比特流即视频基本流(视频ES)；分组器112，对该视频编码器111输出的视频基本流附加首标等并分组化，输出视频分组化后的基本流(视频PES)；音频编码器113，对输入的音频数据DA进行编码，输出编码比特流即音频基本流(音频ES)；分组器114，对该音频编码器113输出的音频基本流附加首标等并分组化，输出音频分组化后的基本流(音频PES)；以及运输流复用器(在图中记为TSMUX)115，对分组器112输出的视频分组化后的基本流、和分组器114输出的音频分组化后的基本流进行复用，形成188字节的运输流分组，作为运输流(TS)输出。
在图1所示的传输系统中，解码装置120端包括：运输流分用器(在图中记为TS DEMUX)121，接收从运输流复用器115输出、并经传输媒体116传输的运输流，将其分离为视频分组化后的基本流(视频PES)、和音频分组化后的基本流(音频PES)并输出；分组拆卸器122，对该运输流分用器121输出的视频分组化后的基本流进行分组拆卸，输出视频基本流(视频ES)；视频解码器123，对该分组拆卸器122输出的视频基本流进行解码，并输出视频数据DV；分组拆卸器124，对运输流分用器121输出的音频分组化后的基本流进行分组拆卸，输出音频基本流(音频ES)；以及音频解码器125，对该分组拆卸器124输出的音频基本流进行解码，输出音频数据DA。
图1中的解码装置120一般称为智能接收机解码器(IRD)。
在将编码后的数据记录到存储媒体上的记录再生系统的情况下，为了取代图1中的运输流复用器115，设有节目流复用器，用于对视频分组化后的基本流和音频分组化后的基本流进行复用，以输出节目流(PS)；为了取代传输媒体116，使用记录节目流的存储媒体；为了取代运输流分用器121，设有节目流分用器，用于将节目流分离为视频分组化后的基本流、和音频分组化后的基本流。
下面，以对视频数据进行编码处理、传输处理和解码处理的情况为例，说明图1所示的系统的操作。
首先，在编码装置110端，各画面具有相同比特量的输入视频数据DV由视频编码器111进行编码，对各画面，根据其冗余度变换、压缩为不同的比特量，作为视频基本流输出。分组器112输入视频基本流，为了吸收(平均)该比特量时间轴上的比特量的变动而进行分组化，作为视频分组化后的基本流(PES)输出。该分组器112分组化后的PES分组由1个存取单位或多个存取单位构成。通常，该1个存取单位由1帧构成。运输流复用器115对视频分组化后的基本流、和分组器114输出的音频分组化后的基本流进行复用，形成运输流分组，作为运输流(TS)经传输媒体116送至解码装置120。
在解码装置120端，运输流分用器121将运输流分离为视频分组化后的基本流、和音频分组化后的基本流。分组拆卸器122对视频分组化后的基本流进行分组拆卸，输出视频基本流；视频解码器123对视频基本流进行解码，并作为视频数据DV输出。
解码装置120将以一定传输速率传输的流缓冲到VBV缓冲器，同时，根据预先对每个画面设定的解码时戳(DTS)，从VBV缓冲器中取出每个画面的数据。该VBV缓冲器的容量根据传输信号的标准来决定，在MainProfile·MainLevel(MP@ML)的标准视频信号的情况下，具有1.75M比特的容量。在编码装置110端，必须控制各画面的比特产生量，使得该VBV缓冲器不会下溢或上溢。
下面，参照图2，说明VBV缓冲器。在图2中，折线表示VBV缓冲器中存储的数据占有量的变化，其斜角131表示传输比特率，垂直下落的部分132表示为了各画面的再生、视频解码器123从VBV缓冲器中取出的比特量。视频解码器123取出的定时由称为显示时戳(PTS)的信息、或称为解码器时戳(DTS)的信息来指定。该PTS和DTS的间隔一般为1帧期间。图2中，I、P、B分别表示I画面、P画面、B画面。这在其他图中也一样。图2中，vbv_delay是VBV缓冲器的占有量从零状态变为满状态的时间，TP表示显示时间周期。在解码器端，如图2所示，传输流以一定的比特率131使VBV缓冲器填满，以基于显示时间的定时，从该VBV缓冲器中取出各画面的数据。
下面，参照图3，说明MPEG标准的双向预测编码方式中画面的排序。在图3中，(a)表示对编码器提供的输入视频数据的画面顺序，(b)表示编码器中进行过排序后的画面的顺序，(c)表示从编码器输出的视频流的画面顺序。如图3所示，在编码器中，输入视频帧根据编码时画面的种类(I、P、B)进行排序，以排序后的顺序进行编码。具体地说，B画面是由I画面或P画面预测编码而产生的，因此，如图3(b)所示，B画面被排序到预测编码使用的I画面或P画面之后。编码器以排序后的画面的顺序进行编码处理，以图3(b)和(c)的顺序将编码后的各画面作为视频流输出。输出的编码流经传输线路提供给解码器或存储媒体。在图3中，由15页画面构成GOP。
图4是表示在图3说明的预测编码方式中、各画面使用哪个画面进行预测编码处理的图，表示编码器中的画面的排序和预测编码处理之间的关系。在图4中，(a)表示编码器的输入视频数据中画面的顺序，(b)表示在编码器中进行过排序后的画面的顺序，(c)、(d)分别表示编码器内的2个帧存储器FM1、FM2中保持的画面，(e)表示从编码器输出的基本流(ES)。图中，附随I、P、B的数字表示画面的顺序。在编码器中，图4(a)所示的输入视频数据被排序为图4(b)所示的画面的顺序。在2个帧存储器FM1、FM2中，分别保持有图4(c)、(d)所示的画面。编码器在输入视频数据是I画面的情况下，只根据输入视频数据(I画面)进行编码处理，在输入视频数据是P画面的情况下，则根据输入视频数据和帧存储器FM1中保持的I画面或P画面进行预测编码处理，而在输入视频数据是B画面的情况下，根据输入视频数据和帧存储器FM1、FM2中保持的2个画面进行预测编码处理。图4(e)中的符号表示编码处理所用的画面。
下面，参照图5，说明MPEG标准的双向预测编码方式中画面的排序。在图5中，(a)表示从编码器经传输线路提供给解码器的编码视频流的画面的顺序，(b)表示从编码器经传输线路提供给解码器的编码视频流，(c)表示从解码器输出的视频数据的画面顺序。如图5所示，在该解码器中，B画面是在编码时使用I画面或P画面进行预测编码处理的，所以使用与该预测编码处理所用的画面相同的画面进行解码处理。其结果是，如图5(c)所示，从该解码器输出的视频数据的画面的顺序是，B画面比I画面或P画面更早被输出。
图6是更详细地说明图5说明的解码处理的图。在图6中，(a)表示对解码器提供的编码后的视频基本流(ES)的画面的顺序，(b)、(c)分别表示解码器内的2个帧存储器FM1、FM2保持的画面，(d)表示从解码器输出的输出视频数据。与图4相同，图中，附随I、P、B的数字表示画面的顺序。在解码器中，如输入图6(a)所示的输入基本流(ES)，则必须存储预测编码处理使用的2个画面，所以在2个帧存储器FM1、FM2中分别保持有图6(b)、(c)所示的画面。解码器在输入基本流是I画面的情况下，只根据输入基本流(I画面)进行解码处理，在输入基本流是P画面的情况下，根据输入基本流和帧存储器FM1保持的I画面或P画面进行解码处理，而在输入基本流是B画面的情况下，根据输入基本流和帧存储器FM1、FM2保持的2个画面进行解码处理，生成图6(d)所示的输出视频数据。
下面，参照图7，说明MPEG标准的双向预测编码方式中的运动检测和运动补偿。图7用箭头表示以输入视频帧顺序排列的画面间的预测方向(取差分的方向)。在MPEG标准中，采用能够进行更高压缩的运动补偿。在编码器中，为了进行运动补偿，在编码时，按照图7所示的预测方向，进行运动检测，得到运动向量。P画面和B画面由该运动向量、和根据运动向量得到的搜索画面或预测画面之间的差分值构成。在解码时，根据该运动向量和差分值，重构P画面和B画面。
通常，如图7所示，I画面是由该I画面内的信息进行编码所得的画面，是未使用帧间预测而生成的画面。P画面是通过由过去的I画面或P画面进行预测而生成的画面。B画面是下述画面中的一个，即：由过去的I或P画面、和未来的I或P画面的双向进行预测所得的画面，由过去的I或P画面的正向进行预测所得的画面，或者从I或P的反向进行预测所得的画面。
在广播电台的编辑系统中，编辑在采访现场使用摄录一体机或数字VTR收录的视频素材、或者从地方台或节目提供公司传输来的视频素材等，生成1个播送用的视频节目。近年来，使用摄录一体机或数字VTR收录的视频素材和从地方台或节目提供公司等提供的视频素材，一般都是作为使用前述的MPEG技术进行压缩编码所得的编码流而提供的。其理由是，与将未压缩的基带视频数据原封不动地记录到记录媒体上相比，使用MPEG技术进行压缩编码能更有效地使用记录媒体的记录区域，或者是，与将未压缩的基带视频数据原封不动地进行传输相比，使用MPEG技术进行压缩编码能更有效地使用传输线路。
在该现有的编辑系统中，例如为了编辑2个编码视频流以生成1个播送用的视频节目，在编辑处理之前，必须对编码流的全部数据进行解码，恢复基带视频数据。这是因为，基于MPEG标准的编码流中包含的各画面的预测方向与前后画面的预测方向互相关联，所以不能在流上的任意位置接续编码流。如果硬要连接2个编码流，则会出现连接点不连续，不能正确解码。
因此，在现有的编辑系统中，如果要编辑所提供的2个编码流，则必须进行下述处理，即：解码处理，对2个源编码流进行解码，生成2个基带视频数据；编辑处理，编辑2个基带视频数据，生成播送用的编辑后的视频数据；以及编码处理，对编辑后的视频数据再次进行编码，生成编码后的视频流。
然而，MPEG编码不是100％可逆的编码，因此，如果这样为了编辑处理而进行解码处理和编码处理，则有画质恶化的问题。即，在现有的编辑系统中，为了进行编辑处理，必须进行解码处理和编码处理，从而因此会有画质恶化的问题。
其结果是，近年来，要求一种技术，它可以接原有的状态对编码流进行编辑，而不对供给的编码流全部进行解码处理。这样在编码后的比特流一级、连接不同的2个编码比特流、以生成连接后的比特流，称为“接续(splicing)”。即，所谓“接续”，是指按编码流原有的状态对多个流进行编辑。
然而，为了实现该接续，有以下3个大的问题。
第1个问题是从画面显示顺序的观点而产生的问题。所谓该画面显示顺序，是指各视频帧的显示顺序。下面参照图8和图9说明该第1个问题。
图8和图9都示出进行流的单纯接续时、接续前后的流中画面的顺序和接续后画面显示的顺序之间的关系。图8示出在画面显示的顺序方面不产生问题的情况，图9示出画面显示的顺序方面产生问题的情况。在图8和图9中，(a)表示接续的一个视频流A,(b)表示接续的另一个视频流B,(c)表示接续后的流，(d)表示显示的顺序。SPA表示流A中的接续点，SPB表示流B中的接续点，STA表示流A,STB表示流B,STSP表示接续后的流。
由于在编码器中进行画面的排序，编码后的编码流中画面的顺序和解码后显示的顺序不同。然而，图8所示的接续处理示出一个例子，其中，在流A的B画面之后设定接续点SPA，在流B的P画面之前设定接续点SPB。如该图8(d)所示，以流A和流B的边界SP为界，未出现将流A的画面显示在流B的画面之后、或者将流B的画面显示在流A的画面之前的现象。即，在图8所示的接续点SPA和SPB进行接续的情况下，在显示的顺序方面不会产生问题。
另一方面，图9所示的接续处理示出一个例子，其中，在流A的P画面之后设定接续点SPA，在流B的B画面之前设定接续点SPB。如该图8(d)所示，以流A和流B的边界SP为界，发生将流A的最后画面显示在流B的画面之后、或者将流B的2个画面显示在流A的最后画面之前的现象。即，如果以这样的顺序显示画面，则会产生下述奇妙的图像，即，在接续点的近旁，从流A的视频图像切换到流B的视频图像，在其2帧之后再次显示1帧流A的视频图像。即，在图9所示的接续点SPA和SPB进行接续的情况下，在显示的顺序方面会产生问题。
因此，为了在任意的画面位置实现接续，则会产生这种与显示顺序有关的问题。
第2个问题是从运动补偿的观点而产生的问题。下面参照图10至图12说明该问题。这些图都示出在进行流的单纯接续时、接续后的流中画面的顺序和显示的顺序之间的关系。图10示出不产生与运动补偿有关的问题的情况的例子，图11和图12示出产生与运动补偿有关的问题的情况的例子。图11和图12分别示出图8和图9所示的进行接续的情况。在各图中，(a)表示接续后的流，(b)表示显示的顺序。
在图10所示的例子中，流B是闭的GOP(其预测不依赖于以前的GOP的闭的GOP)，而且，因为正好在GOP的连接点处进行接续，所以可以不多不少地进行运动补偿，无问题地进行画面的解码。
与此相反，在图11和图12中，在解码时，参照不同的流中的画面进行运动补偿，所以在运动补偿方面会产生问题。具体地说，由于参照流A的P画面不能产生流B的B画面或P画面，所以，图中，根据虚线所示的预测方向上的运动向量进行的运动补偿无效(图中记为NG)。因此，在图11和图12所示的例子中，画面在下一个I画面之前一直有故障。
在以任意的画面单位进行接续的情况下，在单纯的流上的接续方面，不能解决该问题。
第3个问题是从VBV缓冲器的观点而产生的问题。下面参照图13至图18说明该问题。图13示出画面显示的顺序、运动补偿和VBV缓冲器的条件得到满足的进行理想的流接续的情况的例子。图中，STA、STB、STC分别表示流A、流B、流C。在图13中，(a)表示解码器端的VBV缓冲器的状态，(b)表示接续后的流，(c)表示编码器中排序后的各画面的产生定时，(d)表示解码后的画面的顺序。在图13中，SPV表示VBV缓冲器中的接续点，V0C表示接续点SPV中VBV缓冲器的占有量，SPS表示流中的接续点。在图13所示的例子中，从VBV缓冲器的观点来看，不会由接续引起VBV缓冲器的上溢或下溢等VBV缓冲器的故障。
然而，通常，在以任意的画面单位进行接续时，不一定要满足不引起VBV缓冲器故障这一条件。下面参照图14至图18对此进行说明。图14和图15分别表示满足VBV缓冲器的制约的正常的流A和流B,(a)表示解码器端的VBV缓冲器的状态，(b)表示流A、B。将这样的流A、B在任意的位置单纯地进行接续的3个例子示于图16至图18。在这些图中，(a)表示解码器端的VBV缓冲器的状态，(b)表示接续后的流。如这些图所示，VBV缓冲器的状态因流A、B在何处接续而异。在图16所示的例子中，接续后的流也满足VBV缓冲器的制约，而在图17所示的例子中，发生符号141所示的上溢，不满足VBV缓冲器的制约。在图18所示的例子中，发生符号142所示的下溢，不满足VBV缓冲器的制约。在解码器(IRD)端，如果发生VBV缓冲器的下溢或上溢，则由于VBV缓冲器的故障，画面解码失败，不能实现无缝的图像再生。此时的图像再生状态，因编码器(IRD)的功能而异，有图像跳越、东结、处理停止等。在以任意的画面单位进行接续的情况下，在单纯的流上的接续方面，不能解决该问题。
运样，目前存在下述问题，即没有有效的手段来实现流上的无缝的接续。
发明概述
本发明就是鉴于这些问题而提出的，其第1目的在于提供一种接续装置和流编辑装置，能够将多个编码流无缝地进行接续，使得与解码装置端的输入缓冲器对应的假想的缓冲器不会发生故障，并且假想的缓冲器中的数据占有量不会发生不连续。
本发明的第2目的在于提供一种接续装置、流编辑装置、和编码装置，在上述目的之上，能够降低接续点近旁的画质恶化，同时防止再编码处理中的画质恶化。
本发明的流编辑装置，用于输入对多个映像素材进行编码所得的多个编码比特流，并对该多个编码比特流进行接续，该编辑装置包括：解码部件，输入多个编码比特流，对包含该多个编码比特流的接续点的接续点前后的规定区间内的各编码比特流进行解码，输出规定区间内的图像数据；目标码量设定部件，对该解码部件输出的规定区间内的图像数据设定新的目标码量；编码部件，根据目标码量设定部件设定的新的目标码量，对解码部件输出的规定区间内的图像数据进行编码，输出规定区间内的新的编码比特流；以及编码比特流输出部件，将规定区间内的原来的编码比特流置换为编码部件输出的规定区间内的新的编码比特流，将规定区间前后的原来的编码比特流和新的编码比特流进行连接并输出。
在本发明的流编辑装置中，由解码部件对包含多个编码比特流的接续点的接续点前后的规定区间内的各编码比特流进行解码，输出规定区间内的图像数据，由目标码量设定部件对规定区间内的图像数据设定新的目标码量，由编码部件根据新的目标码量对规定区间内的图像数据进行编码，输出规定区间内的新的编码比特流。然后，由编码比特流输出部件将规定区间内的原来的编码比特流置换为规定区间内的新的编码比特流，将规定区间前后的原来的编码比特流和新的编码比特流进行连接并输出。
本发明的接续装置的特征在于包括：接续点设定部件，对多个源编码流，分别设定接续点；解码部件，对多个源编码流的接续点附近的画面分别进行解码，输出解码后的视频数据；再编码部件，对解码后的视频数据进行再编码，输出再编码流；接续流生成部件，通过切换并输出源编码流和再编码流，生成接续后的接续流；接续控制部件，控制再编码部件和接续流生成部件，使得接续流解码时不会发生不连续。
本发明的接续装置的接续控制部件包括计算再编码部件中再编码的目标比特量这一功能，使得VBV缓冲器不会发生上溢和下溢。
本发明的接续装置的接续控制部件具有计算再编码部件中再编码的目标比特量这一功能，使得在源编码流和再编码流的切换点或再编码流的接续点上，VBV缓冲器的数据占有量的轨迹不会发生不连续。
本发明的接续装置的接续控制部件还具有控制再编码部件的功能，使得与再编码流对应的VBV缓冲器的数据占有量的轨迹逼近可以认为是源编码流本来具有的VBV缓冲器的数据占有量的轨迹。
本发明的接续装置的接续控制部件还具有下述功能，即，通过提取源编码流中包含的编码参数、并在再编码部件中进行再编码处理时选择性地再利用提取出的编码参数，来防止接续流的画质恶化。
本发明的接续装置的接续控制部件还具有控制再编码部件的功能，以便提取与源编码流中包含的量化特性有关的信息，根据提取出的量化特性，在再编码部件中进行再编码处理。
本发明的接续装置的接续控制部件还具有控制再编码部件的功能，以便对各画面提取与源编码流中包含的量化特性有关的信息，计算再编码部件中的再编码处理中各画面目标比特量，使得VBV缓冲器不会发生上溢和下溢，对各画面提取与源编码流中包含的量化特性有关的信息，根据从源编码流中提取出的量化特性、和计算出的目标比特量，计算新的量化特性，根据计算出的新的量化特性进行再编码处理。
本发明的接续装置的接续控制部件还具有控制再编码部件的功能，以便计算再编码部件中再编码处理的目标比特量，使得VBV缓冲器不会发生上溢和下溢，通过参照源编码流中包含的过去的编码处理中生成的量化特性，将目标比特量分配给要进行再编码处理的各画面，根据分配给各画面的目标比特量，对各画面进行再编码处理。
本发明的接续装置的接续控制部件还具有控制再编码部件的功能，以便计算再编码部件中再编码处理的目标比特量，使得VBV缓冲器不会发生上溢和下溢，将目标比特量分别分配给要进行再编码处理的画面，使其逼近源编码流的过去的编码处理中各画面的产生比特量，根据分配给各画面的目标比特量，对各画面进行再编码处理。
本发明的接续装置的接续控制部件还具有下述功能，即，通过在再编码部件中进行再编码处理时、选择性地再利用从源编码流中提取出的运动向量信息，来防止接续流的画质恶化。
本发明的接续装置的接续控制部件还具有控制再编码部件的功能，以便判断是否在再编码部件中进行再编码处理时再利用从源编码流中提取出的运动向量信息，在判断为再利用的情况下，不是将运动检测部件检测出的运动向量、而是将从流中提取出的运动向量提供给再编码部件的运动补偿电路。
本发明的接续装置的接续控制部件还具有下述功能，即，对再编码部件进行再编码处理的接续点的近旁的画面设定预测方向，使得不从挟持接续点的不同的源编码流的画面进行预测。
本发明的接续装置的接续控制部件还具有下述功能，即，通过选择性地变更再编码部件再编码的接续点近旁的画面的画面类型，来防止接续流的接续点的近旁的画面的画质恶化。
本发明的接续装置的接续控制部件还具有下述功能，即，选择性地变更再编码部件再编码的接续点近旁的画面的画面类型，使得不从跨越接续点的不同的源编码流的画面进行预测。
附图的简要说明
图1是符合MPEG标准的传输系统的概略结构方框图。
图2是VBV缓冲器的说明图。
图3是MPEG标准的双向预测编码方式中所需的编码器中画面的排序的说明图。
图4是编码器中画面的排序和编码处理之间的关系的说明图。
图5是解码器中画面的排序的说明图。
图6是解码器中画面的排序和解码处理之间的关系的说明图。
图7是MPEG标准的双向预测编码方式中运动检测和运动补偿的说明图。
图8是进行流的单纯的接续时接续前后的流中画面的顺序和接续后的画面显示的顺序之间的关系的一例的说明图。
图9是进行流的单纯的接续时接续前后的流中画面的顺序和接续后的画面显示的顺序之间的关系的另一例的说明图。
图10是进行流的单纯的接续时接续后的流中画面的顺序和画面显示的顺序之间的关系的一例的说明图。
图11是进行流的单纯的接续时接续后的流中画面的顺序和画面显示的顺序之间的关系的另一例的说明图。
图12是进行流的单纯的接续时接续后的流中画面的顺序和画面显示的顺序之间的关系的另一例的说明图。
图13是画面显示的顺序、运动补偿和VBV缓冲器的条件得到满足的理想的流接续的例子的说明图。
图14是满足VBV缓冲器的制约的正常的流的说明图。
图15是满足VBV缓冲器的制约的另一个正常的流的说明图。
图16是将2个流在任意的位置上单纯地接续的情况的一例的说明图。
图17是将2个流在任意的位置上单纯地接续的情况的另一例的说明图。
图18是将2个流在任意的位置上单纯地接续的情况的另一例的说明图。
图19是本发明一实施例的接续装置和流编辑装置的结构方框图。
图20是图19中的MPEG解码器和MPEG编码器的结构方框图。
图21是由图19中的MPEG解码器解码所得的显示视频数据中接续点和再编码区间的一例的说明图。
图22是图21所示的例子中2个流的解码前后的画面的排列的说明图。
图23是图21所示的例子中接续后的接续流的画面的排列的说明图。
图24是由图19中的MPEG解码器解码所得的显示视频数据中接续点和再编码区间的另一例的说明图。
图25是图24所示的例子中解码前后的2个流的画面的排列的说明图。
图26是图24所示的例子中接续后的接续流的画面的排列的说明图。
图27是VBV缓冲器的数据占有量发生下溢的例子的说明图。
图28是用本发明的接续装置来改善图27说明的下溢的例子的说明图。
图29是VBV缓冲器的数据占有量发生上溢的例子的说明图。
图30是用本发明的接续装置来改善图29说明的上溢的例子的说明图。
图31和图32是本发明的接续装置和流编辑装置的操作的流程图。
实施发明的最好方式
下面，参照附图详细说明本发明的实施例。
图19是本发明一实施例的接续装置和编辑装置的结构方框图。在该接续装置和编辑装置输入例如由编码器1A、1B根据MPEG标准的双向预测编码方式对多个映像素材的视频数据VDA、VDB进行编码所得的多个编码比特流(以下简称为流)STA、STB。本实施例的流可以是基本流、分组化的基本流、运输流中的任一个。
本实施例的接续装置和编辑装置包括：缓冲存储器10，用于输入并暂时存储流STA、STB；流计数器11，用于对流STA、STB的比特数进行计数；流解析部12，用于对流STA、STB的句法进行解析；以及接续控制器13，用于对后述的各模块进行控制，以进行接续处理。
接续装置和编辑装置进一步分别包括：MPEG解码器14A、14B，用于根据MPEG标准对缓冲存储器10输出的流STA、STB进行解码，输出基带视频数据；开关15，用于对来自这些MPEG解码器14A、14B的输出视频数据进行切换；MPEG编码器16，用于对该开关15输出的输出视频数据进行再编码；开关17，用于通过切换并输出缓冲存储器10输出的流STA、STB、和MPEG编码器16输出的再编码流STRE，来输出接续后的流STSP。
下面，详细说明上述各模块。
缓冲存储器10响应后述的接续控制器13的写入命令，暂时存储接收到的2个流STA、STB，响应接续控制器13的读出命令，分别读出存储的流STA、STB。由此，为了在对流STA、STB分别设定的接续点进行接续，可以使流STA、STB的接续点的相位和定时相符。
流计数器11接收流STA、STB，对这些流的比特数分别进行计数，将其计数值分别提供给接续控制器13。这样对提供的流STA、STB的比特数进行计数的理由是为了假想地把握与流STA、STB对应的VBV缓冲器的数据占有量的轨迹。
流解析部12通过对流STA、STB的句法进行解析，从序列层、GOP层、画面层、和宏块层提取适当的信息。例如，提取表示画面的类型(I、B或P)的画面类型、运动向量、量化步长、和量化矩阵等编码信息，将这些信息输出到接续控制器13。
这些编码信息是在编码器1A和1B过去的编码处理中生成的编码信息，在本发明的接续装置中，在再编码处理时选择性地使用这些过去的编码信息。
该接续控制器13接收流计数器11输出的计数值、流解析部12输出的编码信息、用于设定再编码区间的参数n0、m0和用于指示接续点的参数p0，根据这些信息，控制开关15、MPEG编码器16和开关17。具体地说，接续控制器13根据输入的参数p0控制开关15的切换，根据参数n0、m0、p0控制开关17的切换。
接续控制器13根据流计数器11和流解析部12提供的计数值和流解析部12提供的编码信息，对再编码区间内的各画面计算新的目标码量，使得VBV缓冲器不会因接续的流而上溢/下溢，同时，使得VBV缓冲器的数据占有量的轨迹不会因接续的流而不连续。
接续控制器13例如通过控制缓冲存储器10的写入地址和读出地址，调整缓冲存储器10中各流STA、STB的延迟量，以显示时间为基准，调整各流STA、STB的接续点的相位。
图20是图19中的MPEG解码器14A、14B和MPEG编码器16的结构方框图。在该图中，MPEG解码器14代表MPEG解码器14A、14B，流ST代表流STA、STB。
MPEG解码器14包括：可变长解码电路(图中记为VLD)21，用于输入、可变长解码流ST；逆量化电路(图中记为IQ)22，用于对该可变长解码电路21的输出数据进行逆量化；逆DCT电路(图中记为IDCT)23，用于对该逆量化电路22的输出数据进行逆DCT(逆离散余弦变换)；加法电路24，用于将该逆DCT电路23的输出数据和预测图像数据相加；开关25，用于选择性地将逆DCT电路23的输出数据和加法电路24的输出数据中的一个作为MPEG解码器14的输出数据输出；2个帧存储器(图中记为FM1、FM2)26、27，用于保持加法电路24的输出数据；运动补偿部(图中记为MC)，用于根据帧存储器26、27中保持的数据和流ST中包含的运动向量的信息，进行运动补偿，生成预测图像数据，将该预测图像数据输出到加法电路24。
MPEG编码器16包括编码器预处理部30，该编码器预处理部30用于对MPEG解码器14提供的输出视频数据进行编码所需的预处理等。该编码器预处理部30进行双向预测编码方式的编码所需的画面的排序、16×16像素的宏块化、各画面的编码难易度的计算等处理。
MPEG编码器16还包括：减法电路31，用于取编码器预处理部30的输出数据和预测图像数据之间的差分；开关32，用于选择性地输出编码器预处理部30的输出数据和减法电路31的输出数据中的一个；DCT电路(图中记为DCT)33，用于对该开关32的输出数据以DCT(离散余弦变换)块为单位进行DCT，输出DCT系数，量化电路(图中记为Q)34，用于对该DCT电路33的输出数据进行量化；可变长编码电路(图中记为VLC)35，用于对该量化电路34的输出数据进行可变长编码，作为再编码流STRE输出。
MPEG编码器16还包括：逆量化电路(图中记为IQ)36，用于对量化电路34的输出数据进行逆量化；逆DCT电路(图中记为IDCT)37，用于对该逆量化电路36的输出数据进行逆DCT；加法电路38，用于将该逆DCT电路37的输出数据和预测图像数据相加并输出；2个帧存储器(图中记为FM1、FM2)39、40，用于保持该加法电路38的输出数据；运动补偿部(图中记为MC)41，用于根据帧存储器39、40保持的数据和运动向量信息，进行运动补偿，生成预测图像数据，将该预测图像数据输出到减法电路31和加法电路38。
MPEG编码器16还包括：运动检测电路(图中记为ME)42，用于根据帧存储器39、40保持的数据和编码器预处理部30的输出数据检测运动向量，输出运动向量信息；编码控制器43，用于接收接续控制器13提供的编码信息和目标码量，根据这些信息，控制量化电路34、逆量化电路36和帧存储器39、40；开关44，用于由该编码控制器43控制，选择性地向运动补偿部41输出从编码控制器43输出的运动向量的信息和从运动检测电路42输出的运动向量的信息中的一个。
下面，说明图20所示的MPEG解码器14和MPEG编码器16的操作的概略。
首先，在MPEG解码器14中，流ST由可变长解码电路21进行可变长解码，由逆量化电路22进行逆量化，由逆DCT电路23进行逆DCT，逆DCT电路23的输出数据被输入到加法电路24和开关25。在I画面的情况下，逆DCT电路23的输出数据经开关25作为MPEG解码器14的输出数据输出。在P画面或B画面的情况下，由加法电路24将逆DCT电路23的输出数据和运动补偿部28输出的预测图像数据相加，再现P画面或B画面，加法电路24的输出数据经开关25作为MPEG解码器14的输出数据输出。I画面或P画面被适当地保持到帧存储器26、27中，在运动补偿部28生成预测图像数据时使用。
另一方面，在MPEG编码器16中，MPEG解码器14的输出数据被输入到编码器预处理部30，由该编码器预处理部30进行画面的排序或宏块化等。这里，编码器预处理部30根据来自接续控制器13的画面类型的信息，进行画面的排序。
编码器预处理部30的输出数据被输入到减法电路31和开关32。在I画面的情况下，开关32选择性地输出编码器预处理部30的输出数据。在P画面或B画面的情况下，由减法电路31从编码器预处理部30的输出数据中减去运动补偿部41输出的预测图像数据，开关32选择性地输出减法电路31的输出数据。
开关32的输出数据由DCT电路33进行DCT,DCT电路33的输出数据由量化电路34进行量化，由可变长编码电路35进行可变长编码，作为流STRE输出。
在I画面的情况下，量化电路34的输出数据由逆量化电路36进行逆量化，由逆DCT电路37进行逆DCT，逆DCT电路37的输出数据被保持到帧存储器39或帧存储器40中。在P画面的情况下，量化电路34的输出数据由逆量化电路36进行逆量化，由逆DCT电路37进行逆DCT，由加法电路38将逆DCT电路37的输出数据和来自运动补偿部41的预测图像数据相加，保持到帧存储器39或帧存储器40中。帧存储器39或帧存储器40保持的I画面或P画面在运动补偿部41生成预测图像数据时适当使用。运动检测电路42根据帧存储器39、40保持的数据和编码器预处理部30的输出数据，检测运动向量，输出运动向量的信息。
编码控制器43接收接续控制器13提供的编码信息和各画面的目标码量，根据这些信息，控制量化电路34、逆量化电路36、帧存储器39、40和开关44。
具体地说，编码控制器43控制开关44，使得在再利用接续控制器13提供的编码信息中包含的运动向量时，将该运动向量的信息经开关44输入到运动补偿部41，而在不再利用接续控制器13提供的编码信息中包含的运动向量时，在运动检测电路42中新生成的运动向量的信息被输入到运动补偿部41。编码控制器43还根据接续控制器13提供的编码信息中包含的画面类型，控制帧存储器39、40，使得预测图像数据的生成所需的画面被保持到帧存储器39、40中。
此外，编码控制器43在监视可变长编码电路35的产生码量的同时，控制可变长编码电路25。编码控制器43在产生码量少于设定的目标码量、VBV缓冲器要上溢时，为了弥补产生码量相对于目标码量的不足部分，进行填充数据的附加、即进行填充。编码控制器43在产生码量超过设定的目标码量、VBV缓冲器要下溢时，进行跳越宏块处理(ISO/IEC13818-27.6.6)，即宏块单位的编码处理的停止处理。
下面，参照图21至图26，详细说明本实施例的画面的排序控制和运动补偿控制。
图21是由MPEG解码器14A、14B解码所得的视频数据(以下称为显示视频数据)中接续点和再编码区间的一例的说明图。图21(a)表示与流A(STA)对应的显示视频数据，图21(b)表示与流B(STB)对应的显示视频数据。首先，在决定接续点时，在显示视频数据上指定画面。接续点的指定由参数p0进行。作为包含接续点的接续点前后的规定区间，设定再编码区间。再编码区间的设定由参数n0、m0进行。
在以下的说明中，如图21所示，使用参数P0，如果将与流STA对应的显示视频数据中接续点的画面表示为An-P0，则比接续点的画面An-P0更未来的画面可以表示为A(n-P0)+1、A(n-P0)+2、A(n-P0)+3、A(n-P0)+4、……，而比接续点的画面An-P0更过去的画面可以表示为A(n-P0)-1、A(n-P0)-2、A(n-P0)-3、A(n-P0)-4、……。同样，如果将与流STB对应的显示视频数据中接续点的画面表示为Bm-P0，则比接续点的画面B0更未来的画面可以表示为B(m-P0)+1、B(m-P0)+2、B(m-P0)+3、B(m-P0)+4、……，而比接续点的画面B0更过去的画面可以表示为B(m-P0)-1、B(m-P0)-2、B(m-P0)-3、B(m-P0)-4、……。
再编码区间对与流STA对应的显示视频数据来说，是比接续点更前的n0页，而对与流STB对应的显示视频数据来说，是比接续点更后的m0页。因此，再编码区间是画面A(n-P0)+n0～画面An-P0、画面Bm-P0～画面B(m-P0)-m0。
在本实施例中，对这样设定的再编码区间进行再编码处理。所谓再编码处理是指下述处理，即，通过对接收的源编码流STA和STB进行解码，恢复基带视频数据，在接续点将该解码后的2个视频数据连接后，对该视频数据进行再编码，形成新的流STRE。
通过该再编码处理，可以消除与画面的排序和运动补偿有关的问题。以下对其进行说明。
图22示出图21所示的例子中解码前后的画面的排序。在图22中，(a)表示再编码区间近旁的流STA,(b)表示与再编码区间近旁的流STA对应的显示视频数据，(c)表示与再编码区间近旁的流STB对应的显示视频数据，(d)表示再编码区间近旁的流STB。图中，REPA表示与流STA对应的显示视频数据中的再编码对象画面，REPB表示与流STB对应的显示视频数据中的再编码对象画面。图中，曲线的箭头表示预测方向。
图23示出对图21和图22所示的流STA和流STB进行接续处理后的状态，图23(a)表示将2个流进行接续后的显示视频数据，图23(b)表示将2个流进行接续后的流STSP。图23(b)所示的流STSP是如下形成的，即，在再编码区间上对图23(a)所示的图像数据进行再编码，生成新的流STRE，接着，再编码区间之前的原始流STA(以下记为OSTA)、再编码区间内的新的流STRE、和再编码区间之后的原始流STB(以下称为OSTB)进行连接，从而形成流STSP。图中，TRE表示再编码区间。
在图21至图23所示的例子中，在接续点的近旁，不利用属于不同流的画面进行预测编码处理，所以在画面的显示顺序方面不会产生问题。
此外，与图21至图23所示的例子的接续点不同的其他例子示于图24至图26。
图24是显示视频数据中接续点和再编码区间的另一例的说明图。在图24中，(a)表示与流STA对应的显示视频数据，(b)表示与流STB对应的显示视频数据。
图25示出图24所示的例子中解码前后的画面的排列。在图25中，(a)表示再编码区间近旁的流STA,(b)表示与再编码区间近旁的流STA对应的显示视频数据，(c)表示与再编码区间近旁的流STB对应的显示视频数据，(d)表示再编码区间近旁的流STR。
图26示出图24所示的例子中接续后的画面的排列。在图26中，(a)表示将图25(b)所示的显示视频数据和图25(c)所示的显示视频数据进行连接后的图像数据，(b)表示接续后的流STSP。(b)所示的流STSP是如下形成的，即，在再编码区间上对(a)所示的图像数据进行再编码，生成新的流STRE，接着，将再编码区间之前的原始流STA(OSTA)、再编码区间内的新的流STRE、和再编码区间之后的原始流STB(OSTB)进行连接，从而形成流STSP。
在图23至图26所示的例子中，接续点的画面Bm-P0是P画面，所以如果不进行画面类型的重构，而是原封不动地将图25(b)所示的显示视频数据和图25(c)所示的显示视频数据进行连接，则在画面Bm-P0的再编码时，就要利用属于不同的流STA的画面进行预测编码处理，于是发生画质恶化。因此，在本实施例中，在接续点近旁，进行画面类型的重构，使得不利用属于不同的流的画面进行预测编码处理。图26(a)示出该画面类型的重构的结果、即画面Bm-P0从P画面变为I画面后的状态。
在图26(a)中，画面An-P0变为B画面，该画面An-P0本来是从双向进行预测编码处理的画面，这样，在画面An-P0的再编码时，就要利用属于不同的流STB的画面进行预测编码处理，于是发生画质恶化。因此，在本实施例中，对B画面，在再编码时，也不从属于不同的流的画面进行预测来进行预测编码处理。因此，在图26(a)所示的例子中，对于画面An-P0，只使用其前的P画面(A(n-P0)+1)进行预测编码处理。
如上所述的画面类型的重构的设定由接续控制器13来进行，画面类型的重构的设定的信息被提供给MPEG编码器17的编码控制器43。编码控制器43根据画面类型的重构的设定，进行编码处理。在运动向量等过去的编码处理中生成的编码信息的再利用也根据画面类型的重构的设定来进行。
在本实施例的接续处理中，与单纯的流上的接续不同，因此如图25(d)所示，在流STB上画面Bm-P0之后(过去)存在的B画面(B(m-P0)+2和B(m-P0)+1)，如图25(c)所示，在解码后被舍弃，所以在再编码后的画面列中不存在。
下面，参照图27至图30，说明本实施例的对再编码区间内的图像数据计算新的目标码量的方法。
如果将2个流单纯地进行接续，则在接续点后，接续后的流的VBV缓冲器发生下溢或上溢，或者，接续后的流的VBV缓冲器的数据占有量的轨迹发生不连续。下面，参照图27至图30说明用于解决这些问题的本发明的接续装置的再编码处理。
首先，参照图27，说明接续流的VBV缓冲器发生下溢、和VBV缓冲器的数据占有量发生不连续的问题。
图27是与前面说明过的图23对应的进行单纯的接续处理的情况的例子，图27(a)表示再编码对象流STRE’的VBV缓冲器的数据占有量的轨迹，图27(b)表示再编码对象流STRE’。在图27中，TRE表示再编码控制期间，OSTA表示原始流A,STRE’表示作为再编码的对象的再编码对象流。该再编码对象流STRE’与实际再编码后的再编码流STRE不同，而是可以想像，在进行单纯的接续处理时就成为这样的流STRE’。OSTB表示原始流B,SPVBV表示VBV缓冲器中的接续点，SP表示流中的接续点。
如图27(a)所示，作为接续处理的对象的流STRE’的VBV缓冲器的轨迹如下所述，即，在接续点SP之前，是流A(STA)的VBV缓冲器的数据占有量的轨迹，而在接续点SP之后，是流B(STB)的VBV缓冲器的数据占有量的轨迹。如果将流A和流B单纯地进行接续，则流A(STA)的VBV缓冲器的数据占有量的接续点上的水平、和流B(STB)的VBV缓冲器的数据占有量的接续点上的水平不同，所以VBV缓冲器的数据占有量的轨迹不连续。
为了实现流A的接续点上VBV的数据占有量的轨迹、和接续点上的流B的VBV的数据占有量的轨迹连续这样的无缝的接续，如图27(a)所示，必须使接续点上的流B的VBV的数据占有量的开始水平、和流A的接续点上VBV的数据占有量的结束水平一致。即，为了使这些水平一致，在图27(a)所示的例子中，在再编码控制期间TRE，必须使流B的VBV缓冲器的数据占有量的轨迹比本来应该具有的轨迹的水平低。所谓该数据占有量的轨迹是本来应该具有的轨迹，是指假定接收的流B没有进行过接续处理的情况下、与流B有关的VBV缓冲器的数据占有量的轨迹，由图27(a)的VBVOST_B的延长轨迹表示。
其结果是，如图27(a)所示，在从VBV缓冲器的取出比特量最多的I画面的取出定时上，该VBV缓冲器发生下溢。
在本发明的实施例中，如图27(a)所示，对再编码期间的各画面设定新的目标码量，使得VBV缓冲器的数据占有量的轨迹在接续点上连续，而且，在接续点之后，不会发生下溢。
如果为了使接续后的流的VBV缓冲器的数据占有量的轨迹在接续点上连续，而单纯地降低流B的VBV缓冲器的数据占有量的轨迹，则不仅会发生下溢，而且在再编码对象流STRE’和原始流OSTB的切换点上，VBV缓冲器的数据占有量的轨迹发生不连续。
在本发明的实施例中，如图27(a)所示，对再编码期间的各画面设定新的目标码量，使得在再编码对象流STRE’和原始流OSTB的切换点上，VBV缓冲器的数据占有量的轨迹连续。不控制与原始流OSTR对应的VBV缓冲器的数据占有量的轨迹VBVOST_B的理由是因为，所谓轨迹VBVOST_B，是指流B的VBV缓冲器的数据占有量的轨迹本来应该具有的轨迹，不能控制该轨迹。因为该轨迹VBVOST_B是为了使原始流OSTB不会上溢或下溢而决定的最佳的轨迹，如果控制该最佳的轨迹的水平，则有可能发生上溢或下溢。
下面，与关于VBV的下溢的问题的说明相同，参照图29，说明接续流的VBV缓冲器上溢的问题。
图29是与前面说明过的图26对应的进行接续处理的情况的例子，图29(a)表示接续流STSP的VBV缓冲器的数据占有量的轨迹，图29(b)表示接续流STSP。在图29中，TRE表示接续控制的接续期间，OSTA表示原始流A,STRE表示再编码对象流，OSTB表示原始流B,SPVBV表示VBV缓冲器中的接续点，SP表示流中的接续点。
如图29(a)所示，接续后的再编码对象流STRE’的VBV缓冲器的轨迹如下所述，即，在接续点SP之前，是流A(STA)的VBV缓冲器的数据占有量的轨迹，而在接续点之后，是流B(STB)的VBV缓冲器的数据占有量的轨迹。如果将流A和流B单纯地进行接续，则流A(STA)的VBV缓冲器的数据占有量的接续点上的水平、与流B(STB)的VBV缓冲器的数据占有量的接续点上的水平不同，所以VBV缓冲器的数据占有量的轨迹不连续。
为了实现流A的接续点上的VBV的数据占有量的轨迹、和接续点上的流B的VBV的数据占有量的轨迹连续这样的无缝的接续，如图29(a)所示，必须使接续点上的流B的VBV的数据占有量的开始水平、和流A的接续点上的VBV的数据占有量的结束水平一致。即，为了使这些水平一致，在图29(a)所示的例子中，在再编码处理控制期间TRE，必须使流B的VBV缓冲器的数据占有量的轨迹比本来应该具有的轨迹的水平高。所谓该数据占有量的轨迹本来应该具有的轨迹，是指在假定接收的流B没有进行过接续处理的情况下的、与流B有关的VBV缓冲器的数据占有量的轨迹，由图29(a)的VBVOST_B的延长轨迹表示。
其结果是，如图29(a)所示，几个从VBV缓冲器的取出比特量少的B画面、或P画面被连续从VBV缓冲器取出后，该VBV缓冲器发生下溢。
在本发明的实施例中，如图29(a)所示，对再编码期间的各画面设定新的目标码量，使得VBV缓冲器的数据占有量的轨迹在接续点上连续，而且，在接续点之后，不会发生上溢。
如果为了使接续后的流的VBV缓冲器的数据占有量的轨迹在接续点上连续，而单纯地升高流B的VBV缓冲器的数据占有量的轨迹，则不仅会发生上溢，而且在再编码对象流STRE’和原始流OSTB的切换点上，VBV缓冲器的数据占有量的轨迹发生不连续。
在本发明的实施例中，如图29(a)所示，对再编码期间的各画面设定新的目标码量，使得在再编码对象流STRE’和原始流OSTB的切换点上，VBV缓冲器的数据占有量的轨迹连续。不控制与原始流OSTB对应的VBV缓冲器的数据占有量的轨迹VBVOST_B的理由是因为，所谓轨迹VBVOST_B，是流B的VBV缓冲器的数据占有量的轨迹本来应该具有的轨迹，不能控制该轨迹。因为该轨迹VBVOST_B是为了不使原始流OSTB上溢或下溢而决定的最佳的轨迹，如果控制该最佳的轨迹的水平，则有可能发生上溢或下溢。
下面，说明回避上述的VBV缓冲器的下溢和上溢的本发明的接续控制方法、和VBV缓冲器的数据占有量不会不连续的本发明的接续控制方法。
在图27至图30中，vbv_under表示VBV缓冲器的下溢量，vbv_over表示VBV缓冲器的上溢量，vbv_gap是表示再编码对象流STRE’和原始流OSTB的切换点上的VBV缓冲器的间隙值的数据。
首先，接续控制器13根据流计数器11提供的流A的比特计数值和流B的比特计数值，计算原始流OSTA的VBV缓冲器的数据占有量的轨迹、原始流OSTB的VBV缓冲器的数据占有量的轨迹、以及将流A和流B单纯地进行接续的情况下的再编码对象流STRE’的VBV缓冲器的数据占有量的轨迹。各VBV缓冲器的数据占有量的轨迹的计算可以如下来容易地进行，即，在每个显示时间，从流计数器11提供的比特计数值中，减去根据显示时间从VBV缓冲器输出的比特量，以此来进行该计算。因此，接续控制器13可以假想地把握原始流OSTA的VBV缓冲器的数据占有量的轨迹、原始流OSTB的VBV缓冲器的数据占有量的轨迹、以及将流A和流B单纯地进行接续的情况下的再编码对象流STRE’的VBV缓冲器的数据占有量的轨迹。
接着，接续控制器13通过参照假想地求出的再编码对象流STRE’的VBV缓冲器的数据占有量的轨迹，计算再编码对象流STRE’的下溢量(vbv_under)或上溢量(vbv_over)。然后，接续控制器13通过参照假想地求出的再编码对象流STRE’的VBV缓冲器的数据占有量的轨迹、和原始流OSTB的VBV缓冲器的数据占有量的轨迹(VBVOST_B)，计算再编码对象流STRE’和原始流OSTB的切换点上的VBV缓冲器的间隙值(vbv_gap)。
然后，接续控制器13根据下式(1)和(2)求出目标码量的偏移量vbv_off。
vbv_off=-(Vbv_under-vbv_gap)   ...(1)
vbv_off=+(vbv_over-vbv_gap)    ...(2)
在图27(a)所示的例子中那样VBV缓冲器下溢的情况下，使用式(1)计算偏移量vbv_off，而在图29(a)所示的例子那样VBV缓冲器上溢的情况下，使用式(2)计算偏移量vbv_off。
接着，接续控制器13使用式(1)或式(2)求出的偏移量vbv_off，根据下式(3)，求出目标码量(目标比特量)TBP0。 TB P 0 = Σ i = 0 n 0 GB _ A ( n - P 0 ) + i + Σ i = 0 m 0 GB _ B ( m - P 0 ) - i + vbv _ off - - - - ( 3 )
该目标比特量TBP0是表示对进行再编码处理的画面分配的目标比特量的值。在(3)中，GB_A是表示流A中画面An-P0到画面A(n-P0)+n0中的任一个画面的比特产生量的值，∑GB_A(n-P0)+i是将画面An-P0到画面A(n-P0)+n0的各画面的产生比特量进行合计所得的值。同样，在式(3)中，GB_B是表示流B中画面Bm-P0到画面B(m-P0)-m0的任一个画面的产生比特量的值，∑GB_B(m-P0)-i是将画面Bm-P0到画面B(m-P0)-m0的各画面的比特产生量进行合计所得的值。
即，式(3)所示的目标码量TBP0是将画面A(n-P0)+n0～画面B(m-P0)-m0的合计产生比特量加上VBV的偏移值vbv_off所得的值。这样，通过加上偏移值vbv_off来修正目标比特量TBP0，可以使再编码对象流STSP和原始流OSTB的切换点上的数据占有量的轨迹的间隙变为0。因此，可以实现无连接点的无缝的接续。
接着，接续控制器13将根据式(3)所得的目标比特量TBP0分配给画面A(n-P0)+n0～画面B(m-P0)-m0。通常，设定各画面的量化特性，使得将目标比特量TBP0单纯地分配为I画面∶P画面∶B画面的比率为4∶2∶1。
然而，在本发明的接续装置中，不是单纯地使用对I画面∶P画面∶B画面以4∶2∶1的固定比率来分配目标比特量TBP0的量化特性的，而是参照各画面A(n-P0)+n0～画面B(m-P0)-m0的过去的量化步长和量化矩阵等的量化特性，决定新的量化特性。具体地说，编码控制器43参照流A和流B中包含的量化步长和量化矩阵的信息，决定再编码时的量化特性，使其不要和编码器1A、1B中过去的编码处理时的量化特性有很大差异。只是，对于已通过画面的重构来变更画面类型的画面，不参照量化步长和量化矩阵的信息，在再编码时重新计算量化特性。
图28示出为了解决图27说明过的VBV缓中器的下溢的问题、通过在接续控制器13中计算出的目标比特量TBP0进行再编码处理的情况下的VBV缓冲器的数据占有量。图30示出为了解决图29说明过的VBV缓冲器的上溢的问题、通过在接续控制器13中计算出的目标比特量TBP0进行再编码处理的情况下的VBV缓冲器的数据占有量。
因此，再编码后的再编码流STRE如图28和图30所示，图27(a)的再编码对象流STRE’的VBV缓冲器的数据占有量的轨迹、和图28(a)的再编码流STRE的VBV缓冲器的数据占有量的轨迹是相似的轨迹，图29(a)的再编码对象流STRE’的VBV缓冲器的数据占有量的轨迹、和图30(a)的再编码流STRE的VBV缓冲器的数据占有量的轨迹是相似的轨迹。
下面，参照图31和图32说明本实施例的接续装置和编辑装置的操作。本实施例满足ISO13818-2、ISO11172-2的AnnexC的规定和ISO13818-1的AnnexL的规定。
首先，在步骤S10，接续控制器13接收在任意的画面位置上将流STA、STB进行接续所需的接续点P0和接续处理的再编码区间n0、m0。实际上，操作者从外部输入这些参数，而对于再编码区间n0、m0，也可以根据流的GOP的结构等来自动设定。在以下的说明中，以在接续点、从流STA切换到流STB的情况为例进行说明，当然反之也可以。
在步骤S11，接续控制器13控制缓冲存储器10的写入操作，以便将流STA和流STB分别暂时存储到缓冲存储器10，同时控制缓冲存储器10的读出操作，以便以显示时间为基准，使流STA和流STB的接续点的相位同步。
在步骤S12，接续控制器13选择流STA的画面，以便不输出比流STA设定的接续点的画面An-P0更未来的画面，并且选择流STB的画面，以便不输出比流STB设定的接续点的画面Bm-P0更过去的画面。例如，在图25(a)和图25(b)所示的例子中，作为画面A(n-P0)-2的P画面，在流STA上比接续点的画面An-P0更过去，但是在显示顺序上，则比画面An-P0更未来。因此，不输出作为该画面A(n-P0)-2的P画面。在图25(c)和(d)所示的例子中，作为画面B(m- P0)+2和画面B(m-P0)+1的B画面，在流STB上比接续点的画面Bm-P0更未来，而在显示顺序上，则比画面Bm-P0更过去。因此，不输出作为该画面B(m-P0)+2和画面B(m-P0)+1的B画面。接续控制器13通过控制解码器14A、14B，不将本步骤未选择的画面提供给编码器16。
这样，以显示顺序为基准选择要输出的画面，所以即使进行接续处理，也不会发生图9说明过的那种与显示顺序有关的问题。
在步骤S13，接续控制器13开始设定在进行再编码处理时、画面的重构处理所需的编码参数。该画面重构处理意思是从下面的步骤S14直至步骤S30的处理，在该处理中设定的参数是画面类型、预测方向和运动向量等。
在步骤S14，接续控制器13判断作为画面重构处理的对象的画面是否是接续点的画面An-P0。在作为画面重构处理的对象的画面是接续点的画面An-P0的情况下，进至下一步骤S15。另一方面，在否的情况下，即，在作为画面重构处理的对象的画面是画面A(n-P0)+n0到画面A(n-P0)+1的情况下，进至步骤S20。
在步骤S15，接续控制器13判断作为画面重构处理的对象的画面是B画面、P画面、还是I画面。在画面重构处理的对象是B画面的情况下，进至步骤S17，在作为画面重构处理的对象的画面是P画面或I画面的情况下，进至步骤S18。
在步骤S16，接续控制器13判断在接续后的接续流STSP中、画面An-P0之前是否存在2个以上的B画面。例如，如图26(b)所示，在画面An-P0之前、有2个B画面(画面A(n-P0)+2和画面A(n-P0)+3)的情况下，进至步骤S18。在否的情况下，进至步骤S17。
在步骤S17，接续控制器13判断为没有必要变更画面An-P0的画面类型，作为画面An-P0的再编码处理时的画面类型，设定与编码器1A中过去的编码处理中所设定的画面类型(B画面)相同的画面类型。因此，在后述的再编码处理时，再次将画面An-P0作为B画面进行编码。
在步骤S18，接续控制器13将画面An-P0的画面类型从B画面变更为P画面。下面说明这样变更画面类型的理由。到达该步骤S18的步骤，意味着在B画面(画面An-P0)之前，存在2个B画面(图8中的画面A(n-P0)+2和画面A(n-P0)+3)。即，在再编码对象流STRE’中，并列3个B画面。在通常的MPEG解码器中，为了暂时存储预测的画面，只有2个帧存储器，所以在3个B画面在流上连续排列的情况下，不能对最后的B画面进行解码。因此，如图26所述，通过将画面An-P0的画面类型从B画面变更为P画面，可以对画面An-P0可靠地进行解码。
在步骤S19，接续控制器13判断为没有必要变更画面An-P0的画面类型，作为画面An-P0的再编码处理时的画面类型，设定与编码器1A中过去的编码处理中所设定的画面类型(I画面或P画面)相同的画面类型。
在步骤S20，接续控制器13判断为没有必要变更画面An-P0的画面类型，作为画面An-P0的再编码处理时的画面类型，设定与编码器1A中过去的编码处理中所设定的画面类型(I画面、P画面或B画面)相同的画面类型。
在步骤S21，接续控制器13对各画面进行预测方向的设定和与运动向量有关的参数的设定。例如，如图25和图26的例子所示，在作为画面重构处理的对象的画面An-P0在原始流OSTA中是B画面的情况下，作为画面重构处理的对象的画面An-P0是从A(n-P0)+1的P画面和A(n-P0)-2的P画面这两个画面进行双向预测的画面。即，在编码器1A中的过去的编码处理中，画面An-P0是从A(n-P0)+1的P画面和A(n-P0)-2的P画面这两个画面进行双向预测而生成的画面。如步骤S12所述，A(n-P0)-2的P画面不作为接续流输出，所以作为画面重构处理的对象的画面An-P0的反向预测画面，不能指定A(n-P0)-2的P画面。
因此，对于步骤S17设定为画面类型不变更的画面An-P0(B画面)，必须进行下述正向单向预测，即，只预测A(n-P0)+1的P画面。因此，在此情况下，接续控制器13对于画面An-P0，设定下述正向的单向预测，即，只预测A(n-P0)+1的P画面。对于步骤S18中从B画面变更为P画面的画面An-P0，同样设定下述单向预测的参数，即，只预测A(n-P0)+1的P画面。
在步骤S19设定为画面类型不变更的画面An-P0(P画面)中，不变更预测方向。即，在此情况下，接续控制器13对于画面An-P0，设定下述正向的单向预测，即，只预测和编码器1A中过去的编码处理时预测的画面相同的画面。
对于步骤S20设定为画面类型不变更的画面A(n-P0)+n0到画面A(n-P0)+1的画面，不必变更预测方向。即，在此情况下，接续控制器13对于画面A(n-P0)+n0到画面A(n-P0)+1，设定下述预测方向，即，预测与编码器1A中过去的编码处理时预测的画面相同的画面。然而，在画面A(n-P0)+1和画面An-P0这两个画面是从正向的P画面或I画面、和反向的I画面或P画面这两个方向的画面预测的B画面的情况下，必须变更为下述单向预测，即，不仅画面An-P0、而且画面A(n-P0)+1也只从正向的画面进行预测。
在步骤S21，接续控制器13根据新设定的预测方向，决定在再编码处理时是否再利用对各画面在编码器1A中由过去的编码处理设定的运动向量。
对于如上所述预测方向未变更的P画面和B画面，在再编码处理时，原封不动地使用编码器1A中过去的编码处理所使用的运动向量。例如，在图23和图26所示的例子中，对于画面A(n-P0)+n0到画面A(n-P0)+1，在再编码时分别再利用编码器1A中过去的编码处理所使用的运动向量。
在画面A(n-P0)+1和画面An-P0是从正向的P画面或I画面、和反向的I画面或P画面双向预测的B画面的情况下，变更为下述单向预测，即，只从正向的画面进行预测，所以，随之需要只使用与正向的画面对应的运动向量。即，接续控制器13在步骤S21进行下述设定，即，在画面A(n-P0)+1和画面An-P0是B画面的情况下，对这些画面，使用与正向的画面有关的运动向量，不使用反向的画面的运动向量。
如果在编码器1A中过去的编码处理中，画面An-P0是只从未来的画面A(n-P0)-2反向单向预测的画面，则在再编码处理时，一概不使用编码器1A中过去的编码处理时生成的运动向量，生成与A(n-P0)+1对应的新的运动向量。即，接续控制器13在该步骤S21进行下述设定，即，一概不使用过去的运动向量。
接着，在步骤S22，接续控制器13对于画面A(n-P0)+n0到画面An-P0的所有画面，判断是否设定了与画面类型、预测方向和过去的运动向量有关的参数。
在步骤S23，接续控制器13判断作为画面重构处理的对象的画面是否是接续点的画面Bm-P0。在作为画面重构处理的对象的画面是接续点的画面Bm-P0的情况下，进至下一步骤S24。另一方面，在否的情况下，即，在作为画面重构处理的对象的画面是画面B(m-P0)-1到画面B(m-P0)+m0的情况下，进至步骤S28。
在步骤S24，接续控制器13判断作为画面重构处理的对象的画面是B画面、P画面、还是I画面。在作为画面重构处理的对象的画面是B画面的情况下，进至步骤S25，在作为画面重构处理的对象的画面是P画面的情况下，进至步骤S26，而在作为画面重构处理的对象的画面是I画面的情况下，进至步骤S27。
在步骤S25，接续控制器13如图22和图23所示，判断为没有必要变更再编码处理时画面Bm-P0的画面类型，作为画面Bm-P0的再编码处理时的画面类型，设定与编码器1B中过去的编码器处理中所设定的画面类型(B画面)相同的画面类型。
在步骤S26，接续控制器13如图25和图26所示，将画面Bm-P0的画面类型从P画面变更为I画面。下面说明这样变更画面类型的理由。P画面是从正向的I画面或P画面预测的单向预测的画面，因此是必须存在于比流上这些预测的画面更后的位置上的画面。如果流STR上的接续点的最初的画面Bm-P0是P画面，则必须从存在于该画面Bm-P0之前的流STA的正向的画面进行预测。很清楚，因为流STA和流STB完全不同，所以将最初的画面Bm-P0的画面类型设定为P画面时，即使对该画面进行解码，也会产生画质显著恶化的画面。
因此，接续控制器13在流STB上的接续点的最初的画面Bm-P0的画面类型是P画面的情况下，将该画面Bm-P0的画面类型变更为I画面。
在步骤S27，接续控制器13判断为没有必要变更画面Bm-P0的画面类型，作为画面Bm-P0的再编码处理时的画面类型，设定与编码器1B中过去的编码处理所设定的画面类型(I画面)相同的画面类型。
在步骤S28，接续控制器13判断为没有必要变更画面B(m-P0)-1到B(m-P0)-m0的画面类型，作为这些画面的再编码处理时的画面类型，设定与编码器1B中过去的编码处理所设定的画面类型(I画面、P画面或B画面)相同的画面类型。
在步骤S29，接续控制器13对各画面进行预测方向的设定和与运动向量有关的设定。例如，如图22和图23所示的例子那样，作为画面重构处理的对象的画面Bm-P0在原始流OSTB中是B画面的情况下，作为画面重构处理的对象的画面Bm-P0是从B(m-P0)+1的P画面和B(m-P0)-2的I画面这两个画面进行双向预测的画面。即，在编码器1B中过去的编码处理中，画面Bm-P0是从B(m-P0)+1的P画面和B(m-P0)-2的I画面这两个画面进行双向预测而生成的画面。如步骤S12所述，B(m-P0)+1的P画面不作为接续流输出，所以作为画面重构处理的对象的画面Bm-P0的正向预测画面，不能指定B(m-P0)+1的P画面。
因此，对于步骤S25设定为画面类型不变更的画面Bm-P0(B画面)，必须进行下述反向单向预测，即，只预测B(m-P0)-2的I画面。因此，在此情况下，接续控制器13对画面Bm-P0设定预测方向，以便进行下述反向的单向预测，即，只预测B(m-P0)-2的I画面。
对于步骤S28设定为画面类型不变更的画面B(m-P0)+m0到画面B(m-P0)+1的画面，不必变更预测方向。即，在此情况下，接续控制器13对画面B(m-P0)+m0到画面B(m-P0)+1设定下述预测方向，即，预测与编码器1B中过去的编码处理时所预测的画面相同的画面。然而，在B(m-P0)-1是B画面的情况下，与画面Bm-P0的情况相同，对画面B(m-P0)-1设定预测方向，以便进行下述反向的单向预测，即，只预测B(m-P0)-2的I画面。
在该步骤S29，接续控制器13根据新设定的预测方向，对各画面决定是否在再编码处理时再利用在编码器1B中由过去的编码处理设定的运动向量。
对于如上所述预测方向未变更的P画面和B画面，在再编码处理时，原封不动地使用在编码器1B中过去的编码处理所使用的运动向量。例如，在图22和图23中，对于B(m-P0)-2的I画面到B(m-P0)-m0的P画面的各画面，原封不动地使用过去编码时所使用的运动向量。
在编码器1B中过去的编码处理中，对于从B(m-P0)+1的P画面和B(m-P0)-2的I画面这两个画面进行双向预测的画面Bm-P0和画面B(m-P0)-1，预测方向变更为下述单向预测，即，只预测B(m-P0)-2的I画面，因此，不使用与画面B(m-P0)+1对应的运动向量，对画面Bm-P0需要只使用与画面B(m-P0)-2对应的运动向量。即，接续控制器13在该步骤S29中，对于画面Bm-P0和画面B(m-P0)-1进行下述设定，即，只再使用一个方向的过去的运动向量，而不使用另一个方向的过去的运动向量。
接着，在步骤S30，接续控制器13对于画面Bm-P0到画面B(m-P0)-m0的全部画面，判断是否设定了与画面类型、预测方向和运动向量有关的参数。
在步骤S31，接续控制器13根据前述的式(3)，计算再编码期间应该产生的目标比特量(TBP0)。下面具体地进行说明。首先，接续控制器13根据流计数器11提供的流A的比特计数值和流B的比特计数值，计算原始流OSTA的VBV缓冲器的数据占有量的轨迹、原始流OSTB的VBV缓冲器的数据占有量的轨迹、以及将流A和流B单纯地进行接续的情况下的再编码对象流STRE’的VBV缓冲器的数据占有量的轨迹。
接着，接续控制器13通过解析假想地求出的再编码对象流STRE’的VBV缓冲器的数据占有量的轨迹，计算再编码对象流STRE’的下溢量(vbv_under)或上溢量(vbv_over)。接续控制器13还通过比较假想地求出的再编码对象流STRE’的VBV缓冲器的数据占有量的轨迹、和原始流OSTB的VBV缓冲器的数据占有量的轨迹(VBVOST_B)，计算再编码对象流STRE’和原始流OSTB的切换点上VBV缓冲器的间隙值(vbv_gap)。
接着，接续控制器13通过前述的式(1)和(2)，求出目标码量的偏移量vbv_off，再使用通过式(1)或式(2)求出的偏移量vbv_off，通过前述的式(3)，求出目标码量(目标比特量)TBP0。
接着，在步骤S32，接续控制器13将根据式(3)得到的目标比特量TBP0分配给画面A(n-P0)+n0～画面B(m-P0)-m0，以此来决定对各画面设定的量化特性。在本发明的接续装置中，参照各画面A(n-P0)+n0～画面B(m-P0)-m0的编码器1A、1B中过去的量化步长和量化矩阵等量化特性，决定新的量化特性。具体地说，接续控制器13首先从流解析部12接收流A和流B中包含的量化步长和量化矩阵等编码器1A、1B中过去的编码处理中生成的编码参数信息。
然后，接续控制器13不是只由将根据式(3)得到的目标比特量TBP0分配给画面A(n-P0)+n0～画面B(m-P0)-m0的码量来决定量化特性，而是参照从该目标比特量TBP0中分配的码量和这些过去的编码参数信息，决定再编码时的量化特性，使其不要与编码器1A、1B中编码时的量化特性有很大差异。只是，如步骤S18和步骤S26所述，对于通过画面重构处理来变更画面类型的画面，不参照量化步长和量化矩阵的信息，在再编码处理时重新计算量化特性。
接着，在步骤S33，接续控制器13对再编码期间包含的画面A(n-P0)+n0～画面B(m-P0)-m0进行解码。
接着，在步骤S34，接续控制器13使用步骤S32对各画面A(n-P0)+n0～画面B(m-P0)-m0分别设定的量化特性，进行产生比特量的控制，同时对画面A(n- P0)+n0～画面B(m-P0)-m0进行再编码。
在该再编码处理中，接续控制器13在再利用编码器1A、1B中过去的编码处理中所使用的运动向量的情况下，对编码控制器发送控制信号，以便经开关44提供给运动补偿部41，在不使用编码器1A、1B中过去的编码处理中所使用的运动向量的情况下，控制编码控制器43，以便将新在运动检测部42中生成的运动向量经开关41提供给运动补偿部41。此时，编码控制器43根据来自接续控制器13的画面类型的信息，控制帧存储器39、40，使得预测图像数据的生成所需的画面被保持到帧存储器39、40中。编码控制器43对量化电路34和逆量化电路36设定接续控制器13提供的对再编码区间内的各画面设定的量化特性。
在步骤S35，接续控制器13控制开关17，通过选择性地输出缓冲存储器10输出的流STA、STB和MPEG编码器16输出的再编码区间内的新的流STRE中的一个，将再编码区间之前的流STA、再编码区间内的新的流STRE和再编码区间之后的流STB进行连接，作为接续后的流STSP输出。
在本实施例中，将这样在MPEG编码器17中根据目标比特量TBP0接续速率控制同时接续再编码得到的再编码区间内的新的流STRE，经开关17嵌入原来的流中的画面A(n-P0)+n0～画面B(m-P0)-m0的位置。由此可实现无缝的接续。
在将流STB接续到流STA时，为了使接续后的流STB不会引起VBV缓冲器的上溢、下溢，则使流STB的接续后的VBV缓冲器的状态与接续以前的状态相符，是保证连续的画面显示所需的缓冲器控制的条件。在本实施例中，原则上通过上述的新的目标码量(目标比特量)的设定来满足该条件。
如上所述，根据本实施例，对包含多个流的接续点的再编码区间内的各流进行解码，根据新的目标码量对得到的再编码区间内的图像数据进行再编码，生成再编码区间内的新的流，将再编码区间前后的原来的流和新的流进行连接并输出，所以解码装置(IRD)端的VBV缓冲器不会发生故障，而且接续点前后的画面显示连续，图像不会发生故障，可以以流上的任意的画面单位，对多个映像素材无缝地进行接续。
在本实施例中，在再编码时，再利用运动向量等解码时所使用的信息。即，在本实施例中，在接续点近旁，对运动检测无效的画面以外的画面，再利用以前编码时检测出的运动向量等运动检测的信息，所以不会因再编码处理而发生画质恶化。
在决定再编码时的量化特性时，参照解码时所使用的量化步长和量化矩阵的信息。因此，根据本实施例，可以极力抑制因重复解码和再编码而发生的画质恶化，可以保证图像重构的精度。
在基于MPEG标准的压缩编码过程中，通过正交变换的计算精度、失配处理(对DCT系数的高域引入误差的处理)等非线性计算，带入重构误差，使得只通过再利用解码时所使用的信息，不能抑制该重构误差。因此，在再编码时，即使再利用解码时所使用的信息，也不能重构完全的图像。因此，考虑到存在画质恶化，进行解码、再编码，应该限于包含接续点的接续点近旁的一定区间的画面。所以，在本实施例中，不是对流全部进行解码、再编码，而是设定再编码区间，只在该区间进行解码、再编码。从而，可以防止画质恶化。再编码区间也可以根据画质恶化的程度等、GOP长度或GOP结构自动设定。或者考虑到此点而任意地设定。
本发明并不局限于上述实施例，例如，对再编码区间计算新的目标码量的方法并不局限于式(1)～(3)所示的方法，而是可以适当地设定。
如上所述，根据本发明的接续装置和编辑方法，对包含多个编码比特流的接续点的接续点前后的规定区间内的各编码比特流进行解码，输出规定区间内的图像数据，根据新的目标码量对规定区间内的图像数据进行编码，输出规定区间内的新的编码比特流，将规定区间内的原来的编码比特流置换为规定区间内的新的编码比特流，将规定区间前后的原来的编码比特流和新的编码比特流进行连接并输出，所以与解码装置端的输入缓冲器对应的假想的缓冲器不会发生故障，图像也不会发生故障，可以以编码比特流上的任意的画面单位，接续多个映像素材。
根据本发明的接续装置和编辑装置，利用原来的编码比特流中包含的、在解码时使用的信息进行编码，所以还可以降低接续点近旁的画质恶化。
根据本发明的接续装置和编辑装置，在原来的编码比特流为了进行基于双向预测编码方式的编码而进行画面的排序的情况下，在规定区间内的图像数据编码时，进行画面类型的重构来进行编码，使得不利用属于不同的编码比特流的画面进行预测编码处理，所以，即使在进行基于双向预测编码方式的编码时，图像也不会发生故障。
根据本发明的接续装置和编辑装置，设定新的目标码量，以便减少与解码装置端的输入缓冲器对应的假想的缓冲器的数据占有量的轨迹在接续点前后的偏差，所以，可以更可靠地防止假想的缓冲器发生故障。

Claims (69)

1、一种编辑装置，用于输入对多个映像素材进行编码所得的多个编码比特流，并对该多个编码比特流进行接续，其特征在于，包括：
解码部件，输入多个编码比特流，对包含该多个编码比特流的接续点的接续点前后的各编码比特流进行解码，输出编码图像数据；
目标码量设定部件，对编码图像数据设定新的目标码量；
编码部件，根据所述目标码量设定部件设定的新的目标码量，对所述解码部件输出的编码图像数据进行编码，生成新的编码比特流；以及
输出部件，通过在所述接续点切换并输出所述接收的原始编码比特流和所述编码部件输出的新的编码比特流，输出编辑后的比特流。
2、如权利要求1所述的编辑装置，其特征在于，所述编码部件再利用原始编码比特流中包含的编码参数进行编码。
3、如权利要求1所述的编辑装置，其特征在于，
原始编码比特流进行画面的排序，以便用双向预测编码方式进行编码；
所述编码部件进行画面类型的重构，用双向预测编码方式进行编码，以便不利用属于不同的编码比特流的画面进行预测编码处理。
4、如权利要求1所述的编辑装置，其特征在于，所述目标码量设定部件设定新的目标码量，以便减少与解码装置端的输入缓冲器对应的假想缓冲器的数据占有量的轨迹的接续点前后的偏差。
5、如权利要求1所述的编辑装置，其特征在于，所述编码部件具有附加填充数据的功能，以便弥补产生码量相对于设定的目标码量的不足部分。
6、如权利要求1所述的编辑装置，其特征在于，所述编码部件具有在产生码量超过设定的目标码量时、停止规定单位的编码处理的功能。
7、一种编辑方法，用于输入对多个映像素材进行编码所得的多个编码比特流，并对该多个编码比特流进行接续，其特征在于，包括：
解码步骤，输入多个编码比特流，对包含该多个编码比特流的接续点的接续点前后的各编码比特流进行解码，输出编码图像数据；
目标码量设定步骤，对编码图像数据设定新的目标码量；
编码步骤，根据所述目标码量设定步骤设定的新的目标码量，对所述解码步骤输出的编码图像数据进行编码，生成新的编码比特流；以及
输出步骤，通过在所述接续点切换并输出所述接收的原始编码比特流和所述编码步骤输出的新的编码比特流，输出编辑后的比特流。
8、如权利要求7所述的编辑方法，其特征在于，所述编码步骤再利用原始编码比特流中包含的编码参数进行编码。
9、如权利要求7所述的编辑方法，其特征在于，
原始编码比特流进行画面的排序，以便用双向预测编码方式进行编码；
所述编码步骤进行画面类型的重构，用双向预测编码方式进行编码，以便不利用属于不同的编码比特流的画面进行预测编码处理。
10、如权利要求7所述的编辑方法，其特征在于，所述目标码量设定步骤设定新的目标码量，以便减少与解码方法的输入缓冲器对应的假想缓冲器的数据占有量的轨迹的接续点前后的偏差。
11、如权利要求7所述的编辑方法，其特征在于，所述编码步骤具有附加填充数据的功能，以便弥补产生码量相对于设定的目标码量的不足部分。
12、如权利要求7所述的编辑方法，其特征在于，所述编码步骤具有在产生码量超过设定的目标码量时、停止规定单位的编码处理的功能。
13、一种编辑装置，对多个源编码流进行编辑，其特征在于，包括：
编辑点设定部件，对所述多个源编码流分别设定编辑点；
解码部件，对所述多个源编码流的所述编辑点附近的画面分别进行解码，输出解码后的视频数据；
再编码部件，对所述解码后的视频数据进行再编码，输出再编码流；
编辑流生成部件，通过切换并输出所述源编码流和所述再编码流，生成编辑后的编辑流；
编辑控制部件，控制所述再编码部件和所述编辑流生成部件，使得所述编辑流在解码时不会不连续。
14、如权利要求13所述的编辑装置，其特征在于，
所述编辑控制部件计算所述再编码部件中的再编码的目标比特量，使得VBV缓冲器不会发生上溢和下溢；
所述再编码部件根据所述编辑控制部件提供的所述目标比特量，对所述源编码流进行编码。
15、如权利要求13所述的编辑装置，其特征在于，
所述编辑控制部件计算所述再编码部件中的再编码的目标比特量，使得在所述源编码流和所述再编码流的切换点或所述再编码流的所述编辑点，VBV缓冲器的数据占有量的轨迹不会不连续；
所述再编码部件根据所述编辑控制部件提供的所述目标比特量，对所述源编码流进行编码。
16、如权利要求13所述的编辑装置，其特征在于，
所述编辑控制部件控制所述再编码部件，使得与所述再编码流对应的VBV缓冲器的数据占有量的轨迹逼近可以认为是所述源编码流本来具有的VBV缓冲器的数据占有量的轨迹。
17、如权利要求13所述的编辑装置，其特征在于，
所述编辑控制部件通过提取所述源编码流中包含的编码参数、并在所述再编码部件中再编码处理时选择性地再利用所述提取出的编码参数，来防止所述编辑流的画质恶化。
18、如权利要求13所述的编辑装置，其特征在于，
所述编辑控制部件控制所述再编码部件，以便提取与所述源编码流中包含的量化特性有关的信息，根据所述提取出的量化特性进行所述再编码部件中的再编码处理。
19、如权利要求13所述的编辑装置，其特征在于，
所述编辑控制部件控制所述再编码部件，以便
对各画面提取与所述源编码流中包含的量化特性有关的信息；
计算所述再编码部件中再编码处理中的各画面目标比特量，使得VBV缓冲器不会发生上溢和下溢；
对各画面提取与所述源编码流中包含的量化特性有关的信息，根据从所述源编码流中提取出的量化特性、和所述计算出的目标比特量，计算新的量化特性；
根据所述计算出的新的量化特性，进行所述再编码处理。
20、如权利要求13所述的编辑装置，其特征在于，
所述编辑控制部件控制所述再编码部件，以便
计算所述再编码部件中再编码处理中的目标比特量，使得VBV缓冲器不会发生上溢和下溢；
通过参照所述源编码流中包含的过去的编码处理中生成的量化特性，将所述目标比特量分配给要进行再编码处理的各画面；
根据分配给所述各画面的目标比特量，对所述各画面进行所述再编码处理。
21、如权利要求13所述的编辑装置，其特征在于，
所述编辑控制部件控制所述再编码部件，以便
计算所述再编码部件中再编码处理中的目标比特量，使得VBV缓冲器不会发生上溢和下溢；
将所述目标比特量分别分配给要进行再编码处理的画面，使其逼近所述源编码流的过去的编码处理中各画面的产生比特量；
根据分配给所述各画面的目标比特量，对所述各画面进行所述再编码处理。
22、如权利要求13所述的编辑装置，其特征在于，
所述编辑控制部件通过在再编码部件中进行再编码处理时选择性地再利用从所述源编码流中提取出的运动向量信息，来防止所述编辑流的画质恶化。
23、如权利要求13所述的编辑装置，其特征在于，
所述再编码部件包括：
运动检测部件，检测各画面的运动，生成运动向量；
运动补偿部件，根据所述运动检测部件检测出的运动向量，进行运动补偿；
所述编辑控制部件控制所述再编码部件，以便
判断是否在再编码部件中进行再编码处理时再利用从所述源编码流中提取出的运动向量信息；
在判断为再利用的情况下，不是将所述运动检测部件中检测出的运动向量、而是将从所述流中提取出的运动向量提供给所述再编码部件的运动补偿电路。
24、如权利要求13所述的编辑装置，其特征在于，
所述编辑控制部件对所述再编码部件进行再编码处理的所述编辑点的近旁的画面，设定预测方向，使得不从挟持所述编辑点的不同的源编码流的画面进行预测。
25、如权利要求13所示的编辑装置，其特征在于，
所述编辑控制部件通过选择性地变更所述再编码部件再编码的所述编辑点近旁的画面的画面类型，来防止所述编辑流的所述编辑点的近旁的画面的画质恶化。
26、如权利要求13所述的编辑装置，其特征在于，
所述编辑控制部件选择性地变更所述再编码部件再编码的所述编辑点近旁的画面的画面类型，使得不从跨越所述编辑点的不同的源编码流的画面进行预测。
27、如权利要求13所述的编辑装置，其特征在于，
所述多个源编码流至少包含第1编码流和第2编码流；
所述编辑控制部件
选择输出画面，使得在构成所述第1编码流的多个画面中，对设定于所述第1编码流的第1编辑点，在显示时间轴上不将未来的画面作为所述编辑流输出；
并且，选择输出画面，使得在构成所述第2编码流的多个画面中，对设定于第2编码流的第2编辑点，在显示时间轴上不输出过去的画面。
28、如权利要求13所示的编辑装置，其特征在于，
所述多个源编码流至少包含第1编码流和第2编码流；
所述编辑控制部件控制所述再编码部件，以便
选择输出画面，使得在构成所述第1编码流的多个画面中，对设定于所述第1编码流的第1编辑点，在显示时间轴上不将未来的画面作为所述编辑流输出；
并且，选择输出画面，使得在构成所述第2编码流的多个画面中，对设定于第2编码流的第2编辑点，在显示时间轴上不输出过去的画面；
设定所述再编码部件再编码的画面的所述编辑点的近旁的画面类型和预测方向；
对在再编码部件中再编码处理时再利用的画面，设定从所述源编码流中提取出的运动向量信息；
计算所述再编码部件中再编码处理的目标比特量，使得VBV缓冲器不会发生上溢和下溢；
将所述目标比特量分别分配给要进行再编码处理的画面，使其逼近所述源编码流的过去的编码处理中各画面的产生比特量；
根据分配给所述各画面的目标比特量、预测方向、画面类型和运动向量，对所述各画面进行所述再编码处理。
29、一种编辑方法，对多个源编码流进行编辑，生成编辑后的流，其特征在于，包括：
编辑点设定步骤，对所述多个源编码流分别设定编辑点；
解码步骤，对所述多个源编码流的所述编辑点附近的画面分别进行解码，输出解码后的视频数据；
再编码步骤，对所述解码后的视频数据进行再编码，输出再编码流；
编辑流生成步骤，通过切换并输出所述源编码流和所述再编码流，生成编辑后的编辑流；
编辑控制步骤，控制所述再编码步骤和所述编辑流生成步骤，使得所述编辑流在解码时不会不连续。
30、一种接续装置，对多个源编码流进行接续，其特征在于，包括：
接续点设定部件，对所述多个源编码流分别设定接续点；
解码部件，对所述多个源编码流的所述接续点附近的画面分别进行解码，输出解码后的视频数据；
再编码部件，对所述解码后的视频数据进行再编码，输出再编码流；
接续流生成部件，通过切换并输出所述源编码流和所述再编码流，来生成接续后的接续流；
接续控制部件，控制所述再编码部件和所述接续流生成部件，使得所述接续流在解码时不会不连续。
31、如权利要求30所述的接续装置，其特征在于，
所述接续控制部件计算所述再编码部件中再编码的目标比特量，使得VBV缓冲器不会发生上溢和下溢；
所述再编码部件根据所述接续控制部件提供的所述目标比特量，对所述源编码流进行编码。
32、如权利要求30所述的接续装置，其特征在于，
所述接续控制部件计算所述再编码部件中再编码的目标比特量，使得在所述源编码流和所述再编码流的切换点或所述再编码流的所述接续点上，VBV缓冲器的数据占有量的轨迹不会不连续；
所述再编码部件根据所述接续控制部件提供的所述目标比特量，对所述源编码流进行编码。
33、如权利要求30所述的接续装置，其特征在于，
所述接续控制部件控制所述再编码部件，以便
与所述再编码流对应的VBV缓冲器的数据占有量的轨迹逼近可以认为是所述源编码流本来具有的VBV缓冲器的数据占有量的轨迹。
34、如权利要求30所述的接续装置，其特征在于，
所述接续控制部件通过提取所述源编码流中包含的编码参数、并在所述再编码部件中进行再编码处理时选择性地再利用所述提取出的编码参数，来防止所述接续流的画质恶化。
35、如权利要求30所述的接续装置，其特征在于，
所述接续控制部件控制所述再编码部件，以便
提取与所述源编码流中包含的量化特性有关的信息，根据所述提取出的量化特性，在所述再编码部件中进行再编码处理。
36、如权利要求30所述的接续装置，其特征在于，
所述接续控制部件控制所述再编码部件，以便
对各画面提取与所述源编码流中包含的量化特性有关的信息；
计算所述再编码部件中再编码处理的各画面目标比特量，使得VBV缓冲器不会发生上溢和下溢；
对各画面提取与所述源编码流中包含的量化特性有关的信息，根据从所述源编码流中提取出的量化特性、和所述计算出的目标比特量，计算新的量化特性；
根据所述计算出的新的量化特性，进行所述再编码处理。
37、如权利要求30所述的接续装置，其特征在于，
所述接续控制部件控制所述再编码部件，以便
计算所述再编码部件中再编码处理的目标比特量，使得VBV缓冲器不会发生上溢和下溢；
通过参照所述源编码流中包含的过去的编码处理中生成的量化特性，将所述目标比特量分配给要进行再编码处理的各画面；
根据分配给所述各画面的目标比特量，对所述各画面进行所述再编码处理。
38、如权利要求30所述的接续装置，其特征在于，
所述接续控制部件控制所述再编码部件，以便
计算所述再编码部件中再编码处理的目标比特量，使得VBV缓冲器不会发生上溢和下溢；
将所述目标比特量分别分配给要进行再编码处理的画面，使其逼近所述源编码流的过去的编码处理中各画面的产生比特量；
根据分配给所述各画面的目标比特量，对所述各画面进行所述再编码处理。
39、如权利要求30所述的接续装置，其特征在于，
所述接续控制部件通过在再编码部件中进行再编码处理时选择性地再利用从所述源编码流中提取出的运动向量信息，来防止所述接续流的画质恶化。
40、如权利要求30所述的接续装置，其特征在于，
所述再编码部件包括：
运动检测部件，检测各画面的运动，生成运动向量；
运动补偿部件，根据所述运动检测部件检测出的运动向量，进行运动补偿；
所述接续控制部件控制所述再编码部件，以便
判断是否在再编码部件中进行再编码处理时再利用从所述源编码流中提取出的运动向量信息；
在判断为再利用的情况下，不是将在所述运动检测部件中检测出的运动向量、而是将从所述流中提取出的运动向量提供给所述再编码部件的运动补偿电路。
41、如权利要求30所述的接续装置，其特征在于，
所述接续控制部件对所述再编码部件中进行再编码处理的所述接续点的近旁的画面设定预测方向，使得不从挟持所述接续点的不同的源编码流的画面进行预测。
42、如权利要求30所述的接续控制部件，其特征在于，
所述接续控制部件通过选择性地变更所述再编码部件再编码的所述接续点近旁的画面的画面类型，来防止所述接续流的所述接续点的近旁的画面的画质恶化。
43、如权利要求30所述的接续装置，其特征在于，
所述接续控制部件选择性地变更所述再编码部件再编码的所述接续点近旁的画面的画面类型，使得不从跨越所述接续点的不同的源编码流的画面进行预测。
44、如权利要求30所述的接续装置，其特征在于，
所述多个源编码流包含至少第1编码流和第2编码流；
所述接续控制部件
选择输出画面，使得在构成所述第1编码流的多个画面中，对设定于所述第1编码流的第1接续点，在显示时间轴上不将未来的画面作为所述接续流输出；
并且，选择输出画面，使得在构成所述第2编码流的多个画面中，对设定于第2编码流的第2接续点，在显示时间轴上不输出过去的画面。
45、如权利要求30所述的接续装置，其特征在于，
所述多个源编码流至少包含第1编码流和第2编码流；
所述接续控制部件控制所述再编码部件，以便
选择输出画面，使得在构成所述第1编码流的多个画面中，对设定于所述第1编码流的第1接续点，在显示时间轴上不将未来的画面作为所述接续流输出；
并且，选择输出画面，使得在构成所述第2编码流的多个画面中，对设定于第2编码流的第2接续点，在显示时间轴上不输出过去的画面；
设定所述再编码部件再编码的画面的所述接续点的近旁的画面类型和预测方向；
对在再编码部件中再编码处理时再利用的画面，设定从所述源编码流中提取出的运动向量信息；
计算所述再编码部件中再编码处理的目标比特量，使得VBV缓冲器不会发生上溢和下溢；
将所述目标比特量分别分配给要进行再编码处理的画面，使其逼近所述源编码流的过去的编码处理中各画面的产生比特量；
根据分配给所述各画面的目标比特量、预测方向、画面类型和运动向量，对所述各画面进行所述再编码处理。
46、一种接续方法，对多个源编码流进行接续，其特征在于，包括：
接续点设定步骤，对所述多个源编码流分别设定接续点；
解码步骤，对所述多个源编码流的所述接续点附近的画面分别进行解码，输出解码后的视频数据；
再编码步骤，对所述解码后的视频数据进行再编码，输出再编码流；
接续流生成步骤，通过切换并输出所述源编码流和所述再编码流，生成接续后的接续流；
接续控制步骤，控制所述再编码步骤和所述接续流生成步骤，使得所述接续流在解码时不会不连续。
47、如权利要求46所述的接续方法，其特征在于，
所述接续控制步骤计算所述再编码步骤中再编码的目标比特量，使得VBV缓冲器不会发生上溢和下溢；
所述再编码步骤根据所述接续控制步骤提供的所述目标比特量，对所述源编码流进行编码。
48、如权利要求46所述接续方法，其特征在于，
所述接续控制步骤计算所述再编码步骤中再编码的目标比特量，使得在所述源编码流和所述再编码流的切换点或所述再编码流的所述接续点上，VBV缓冲器的数据占有量的轨迹不会不连续；
所述再编码步骤根据所述接续控制步骤提供的所述目标比特量，对所述源编码流进行编码。
49、如权利要求46所述的接续方法，其特征在于，
所述接续控制步骤控制所述再编码步骤，以便
与所述再编码流对应的VBV缓冲器的数据占有量的轨迹逼近可以认为是所述源编码流本来具有的VBV缓冲器的数据占有量的轨迹。
50、如权利要求46所述的接续方法，其特征在于，
所述接续控制步骤通过提取所述源编码流中包含的编码参数、并在所述再编码步骤中进行再编码处理时选择性地再利用所述提取出的编码参数，来防止所述接续流的画质恶化。
51、如权利要求46所述的接续方法，其特征在于，
所述接续控制步骤控制所述再编码步骤，以便
提取与所述源编码流中包含的量化特性有关的信息，根据所述提取出的量化特性，在所述再编码步骤中进行再编码处理。
52、一种编码装置，对接收的源视频数据进行编码，其特征在于，包括：
第1编码部件，对所述源视频数据进行编码，输出第1编码流；
解码部件，对所述第1编码部件编码后的编码流进行解码，输出解码后的视频数据；
第2编码部件，选择性地使用所述第1编码流中包含的所述第1编码时使用的编码参数，对所述解码部件解码后的视频数据进行再编码，作为再编码流输出；
控制部件，控制所述第2编码部件，使得与所述再编码流对应的VBV缓冲器不会发生上溢和下溢。
53、如权利要求52所述的编码装置，其特征在于，
所述编码控制部件计算所述第2编码部件中再编码的目标比特量；
所述第2编码部件根据所述编码控制部件提供的所述目标比特量，对所述解码后的视频数据进行编码。
54、如权利要求52所述的编码装置，其特征在于，
所述编码控制部件通过提取所述第1编码流中包含的编码参数、并在所述第2编码部件中进行再编码处理时选择性地再利用所述提取出的编码参数，来防止所述再编码流的画质恶化。
55、如权利要求52所述的编码装置，其特征在于，
所述编码控制部件控制所述第2编码部件，以便
提取与所述第1编码流中包含的量化特性有关的信息，根据所述提取出的量化特性，在所述第2编码部件中进行再编码处理。
56、如权利要求52所述的编码装置，其特征在于，
所述编码控制部件控制所述第2编码部件，以便
对各画面提取与所述第1编码流中包含的量化特性有关的信息；
计算所述第2编码部件中再编码处理的各画面目标比特量，使得VBV缓冲器不会发生上溢和下溢；
对各画面提取与所述第1编码流中包含的量化特性有关的信息，根据从所述第1编码流中提取出的量化特性、和所述计算出的目标比特量，计算新的量化特性；
根据所述计算出的新的量化特性，进行所述再编码处理。
57、如权利要求52所述的编码装置，其特征在于，
所述编码控制部件控制所述第2编码部件，以便
计算所述第2编码部件中再编码处理的目标比特量，使得VBV缓冲器不会发生上溢和下溢；
通过参照所述第1编码流中包含的过去的编码处理中生成的量化特性，将所述目标比特量分配给要进行再编码处理的各画面；
根据分配给所述各画面的目标比特量，对所述各画面进行所述再编码处理。
58、如权利要求52所述的编码装置，其特征在于，
所述编码控制部件控制所述第2编码部件，以便
计算所述第2编码部件中再编码处理的目标比特量，使得VBV缓冲器不会发生上溢和下溢；
将所述目标比特量分别分配给要进行再编码处理的画面，使其逼近所述第1编码流的过去的编码处理中各画面的产生比特量；
根据分配给所述各画面的目标比特量，对所述各画面进行所述再编码处理。
59、如权利要求52所述的编码装置，其特征在于，
所述编码控制部件通过在第2编码部件中进行再编码处理时选择性地再利用从所述第1编码流中提取出的运动向量信息，来防止所述再编码流的画质恶化。
60、如权利要求52所述的编码装置，其特征在于，
所述第2编码部件包括：
运动检测部件，检测各画面的运动，生成运动向量；
运动补偿部件，根据所述运动检测部件检测出的运动向量，进行运动补偿；
所述编码控制部件控制所述第2编码部件，以便
判断是否在第2编码部件中进行再编码处理时再利用从所述第1编码流中提取出的运动向量信息；
在判断为再利用的情况下，不是将在所述运动检测部件中检测出的运动向量、而是将从所述流中提取出的运动向量提供给所述第2编码部件的运动补偿电路。
61、一种编码方法，对接收的源视频数据进行编码，其特征在于，包括：
第1编码步骤，对所述源视频数据进行编码，输出第1编码流；
解码步骤，对所述第1编码步骤编码后的编码流进行解码，输出解码后的视频数据；
第2编码步骤，选择性地使用所述第1编码流中包含的所述第1编码时使用的编码参数，对所述解码步骤解码后的视频数据进行再编码，作为再编码流输出；
编码控制步骤，控制所述第2编码步骤，使得与所述再编码流对应的VBV缓冲器不会发生上溢和下溢。
62、如权利要求61所述的编码方法，其特征在于，
所述编码控制步骤计算所述第2编码步骤中再编码的目标比特量，使得VBV缓冲器的数据占有量的轨迹不会不连续；
所述第2编码步骤根据所述编码控制步骤提供的所述目标比特量，对所述解码后的视频数据进行编码。
63、如权利要求61所述的编码方法，其特征在于，
所述编码控制步骤通过提取所述第1编码流中包含的编码参数、并在所述第2编码步骤中进行再编码处理时选择性地再利用所述提取出的编码参数，来防止所述再编码流的画质恶化。
64、如权利要求61所述的编码方法，其特征在于，
所述编码控制步骤控制所述第2编码步骤，以便
提取与所述第1编码流中包含的量化特性有关的信息，根据所述提取出的量化特性，在所述第2编码步骤中进行再编码处理。
65、如权利要求61所述的编码方法，其特征在于，
所述编码控制步骤控制所述第2编码步骤，以便
对各画面提取与所述第1编码流中包含的量化特性有关的信息；
计算所述第2编码步骤中再编码处理的各画面目标比特量，使得VBV缓冲器不会发生上溢和下溢；
对各画面提取与所述第1编码流中包含的量化特性有关的信息，根据从所述第1编码流中提取出的量化特性、和所述计算出的目标比特量，计算新的量化特性；
根据所述计算出的新的量化特性，进行所述再编码处理。
66、如权利要求61所述的编码方法，其特征在于，
所述编码控制步骤控制所述第2编码步骤，以便
计算所述第2编码步骤中再编码处理的目标比特量，使得VBV缓冲器不会发生上溢和下溢；
通过参照所述第1编码流中包含的过去的编码处理中生成的量化特性，将所述目标比特量分配给要进行再编码处理的各画面；
根据分配给所述各画面的目标比特量，对所述各画面进行所述再编码处理。
67、如权利要求61所述的编码方法，其特征在于，
所述编码控制步骤控制所述第2编码步骤，以便
计算所述第2编码步骤中再编码处理的目标比特量，使得VBV缓冲器不会发生上溢和下溢；
将所述目标比特量分别分配给要进行再编码处理的画面，使其逼近所述第1编码流的过去的编码处理中各画面的产生比特量；
根据分配给所述各画面的目标比特量，对所述各画面进行再编码处理。
68、如权利要求61所述的编码方法，其特征在于，
所述编码控制步骤通过在第2编码步骤中进行再编码处理时选择性地再利用从所述第1编码流中提取出的运动向量信息，来防止所述再编码流的画质恶化。
69、如权利要求61所述的编码方法，其特征在于，
所述第2编码步骤包括：
运动检测步骤，检测各画面的运动，生成运动向量；
运动补偿步骤，根据所述运动检测步骤检测出的运动向量，进行运动补偿；
所述编码控制步骤控制所述第2编码步骤，以便
判断是否在第2编码步骤中进行再编码处理时再利用从所述第1编码流中提取出的运动向量信息；
在判断为再利用的情况下，不是将在所述运动检测步骤中检测出的运动向量、而是将从所述流中提取出的运动向量提供给所述第2编码步骤的运动补偿电路。
CNB98801159XA 1997-07-25 1998-07-27 编辑装置、编辑方法、接续装置、接续方法、编码装置和编码方法 Expired - Lifetime CN1161989C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP199923/97 1997-07-25
JP199923/1997 1997-07-25
JP19992397 1997-07-25

Publications (2)

Publication Number Publication Date
CN1236522A true CN1236522A (zh) 1999-11-24
CN1161989C CN1161989C (zh) 2004-08-11

Family

ID=16415853

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB98801159XA Expired - Lifetime CN1161989C (zh) 1997-07-25 1998-07-27 编辑装置、编辑方法、接续装置、接续方法、编码装置和编码方法

Country Status (7)

Country Link
US (6) US6567471B1 (zh)
EP (3) EP1467563A1 (zh)
JP (5) JP3736808B2 (zh)
KR (2) KR100555164B1 (zh)
CN (1) CN1161989C (zh)
DE (1) DE69841897D1 (zh)
WO (1) WO1999005864A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6683911B1 (en) 1998-11-25 2004-01-27 Matsushita Electric Industrial Co., Ltd. Stream editing apparatus and stream editing method
CN100433559C (zh) * 2002-04-25 2008-11-12 松下电器产业株式会社 图像编码装置及图像编码方法
CN101707720A (zh) * 2004-06-02 2010-05-12 松下电器产业株式会社 在多角度观看多媒体流中多路复用的随机存取单元之间的无缝切换
CN101141641B (zh) * 2006-09-05 2010-09-22 索尼株式会社 信息处理设备和信息处理方法
CN102084355A (zh) * 2008-04-17 2011-06-01 索尼公司 多媒体内容的双类型重放
US8295347B2 (en) 2004-08-25 2012-10-23 Sony Corporation Information processing apparatus and information processing method, recording medium, and program

Families Citing this family (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0725399U (ja) * 1993-10-19 1995-05-12 廉正 赤澤 ミッションオイルクリーナ
GB2327548B (en) * 1997-07-18 2002-05-01 British Broadcasting Corp Switching compressed video bitstreams
KR100555164B1 (ko) * 1997-07-25 2006-03-03 소니 가부시끼 가이샤 편집 장치, 편집 방법, 재부호화 장치, 재부호화 방법, 스플라이싱 장치 및 스플라이싱 방법
EP0982726A4 (en) * 1998-01-19 2003-06-04 Sony Corp CUTTING SYSTEM, CUTTING CONTROL DEVICE AND CUTTING METHOD
JP2000138896A (ja) * 1998-10-30 2000-05-16 Hitachi Ltd 画像音声記録装置
WO2000062551A1 (en) * 1999-04-14 2000-10-19 Sarnoff Corporation Frame-accurate seamless splicing of information streams
JP2000354249A (ja) * 1999-04-16 2000-12-19 Sony United Kingdom Ltd ビデオ信号処理装置、ビデオ信号処理方法及びコンピュータプログラム製品
JP4689001B2 (ja) * 1999-04-16 2011-05-25 ソニー ヨーロッパ リミテッド ビデオ信号処理装置、コンピュータプログラム及びビデオ信号処理方法
GB9908809D0 (en) 1999-04-16 1999-06-09 Sony Uk Ltd Signal processor
JP4487374B2 (ja) * 1999-06-01 2010-06-23 ソニー株式会社 符号化装置及び符号化方法並びに多重化装置及び多重化方法
US7254175B2 (en) 1999-07-02 2007-08-07 Crystalmedia Technology, Inc. Frame-accurate seamless splicing of information streams
GB2353653B (en) * 1999-08-26 2003-12-31 Sony Uk Ltd Signal processor
US6985188B1 (en) * 1999-11-30 2006-01-10 Thomson Licensing Video decoding and channel acquisition system
US8284845B1 (en) 2000-01-24 2012-10-09 Ati Technologies Ulc Method and system for handling data
US6778533B1 (en) 2000-01-24 2004-08-17 Ati Technologies, Inc. Method and system for accessing packetized elementary stream data
US6885680B1 (en) 2000-01-24 2005-04-26 Ati International Srl Method for synchronizing to a data stream
US6988238B1 (en) 2000-01-24 2006-01-17 Ati Technologies, Inc. Method and system for handling errors and a system for receiving packet stream data
US6785336B1 (en) 2000-01-24 2004-08-31 Ati Technologies, Inc. Method and system for retrieving adaptation field data associated with a transport packet
US6763390B1 (en) 2000-01-24 2004-07-13 Ati Technologies, Inc. Method and system for receiving and framing packetized data
JP2001218213A (ja) * 2000-01-31 2001-08-10 Mitsubishi Electric Corp 画像信号変換符号化装置
JP4170555B2 (ja) * 2000-02-28 2008-10-22 株式会社東芝 映像符号化装置及び映像符号化方法
GB0007868D0 (en) 2000-03-31 2000-05-17 Koninkl Philips Electronics Nv Methods and apparatus for editing digital video recordings and recordings made by such methods
JP2002010259A (ja) * 2000-06-21 2002-01-11 Mitsubishi Electric Corp 画像符号化装置及び画像符号化方法及び画像符号化プログラムを記録した記録媒体
US7490344B2 (en) * 2000-09-29 2009-02-10 Visible World, Inc. System and method for seamless switching
US7095945B1 (en) * 2000-11-06 2006-08-22 Ati Technologies, Inc. System for digital time shifting and method thereof
US20020133486A1 (en) * 2001-03-15 2002-09-19 Kddi Corporation Video retrieval and browsing apparatus, video retrieval, browsing and editing apparatus, and recording medium
JP2002281433A (ja) * 2001-03-15 2002-09-27 Kddi Corp 動画像検索閲覧編集装置および記録媒体
FI111590B (fi) * 2001-04-20 2003-08-15 Swelcom Oy Menetelmä ja laite datan lokalisointia varten
US7349691B2 (en) * 2001-07-03 2008-03-25 Microsoft Corporation System and apparatus for performing broadcast and localcast communications
US6965597B1 (en) * 2001-10-05 2005-11-15 Verizon Laboratories Inc. Systems and methods for automatic evaluation of subjective quality of packetized telecommunication signals while varying implementation parameters
KR100454501B1 (ko) * 2001-12-26 2004-10-28 브이케이 주식회사 영상신호를 부호화 또는 복호화하기 위한 예측 장치 및 방법
KR100475412B1 (ko) * 2002-03-11 2005-03-10 주식회사 럭스퍼트 상부 펌핑방식의 광소자
DE10212656A1 (de) * 2002-03-21 2003-10-02 Scm Microsystems Gmbh Selektive Verschlüsselung von Multimediadaten
US9948977B2 (en) 2003-01-09 2018-04-17 Avago Technologies General Ip (Singapore) Pte. Ltd. System, method, and apparatus for determining presentation time for picture without presentation time stamp
US7426306B1 (en) * 2002-10-24 2008-09-16 Altera Corporation Efficient use of keyframes in video compression
FR2848766B1 (fr) * 2002-12-13 2005-03-11 Thales Sa Procede de commutation de signaux numeriques avant emission, commutateur et signal resultant
US8175154B2 (en) * 2003-06-03 2012-05-08 General Instrument Corporation Method for restructuring a group of pictures to provide for random access into the group of pictures
US7924921B2 (en) 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
US7852919B2 (en) * 2003-09-07 2010-12-14 Microsoft Corporation Field start code for entry point frames with predicted first field
US8213779B2 (en) 2003-09-07 2012-07-03 Microsoft Corporation Trick mode elementary stream and receiver system
US7839930B2 (en) * 2003-11-13 2010-11-23 Microsoft Corporation Signaling valid entry points in a video stream
US7609762B2 (en) * 2003-09-07 2009-10-27 Microsoft Corporation Signaling for entry point frames with predicted first field
US20050060420A1 (en) * 2003-09-11 2005-03-17 Kovacevic Branko D. System for decoding multimedia data and method thereof
JP3675464B2 (ja) * 2003-10-29 2005-07-27 ソニー株式会社 動画像符号化装置および動画像符号化制御方法
US9715898B2 (en) * 2003-12-16 2017-07-25 Core Wireless Licensing S.A.R.L. Method and device for compressed-domain video editing
US7391809B2 (en) * 2003-12-30 2008-06-24 Microsoft Corporation Scalable video transcoding
CN1713727B (zh) * 2004-06-14 2010-11-10 松下电器产业株式会社 编辑资料流的方法及装置
KR100608061B1 (ko) * 2004-07-12 2006-08-02 삼성전자주식회사 전송 스트림 생성을 위한 다중화 방법 및 그 장치
CN1998242B (zh) * 2004-08-11 2010-07-07 株式会社日立制作所 图像编码装置和图像解码装置
JP4438059B2 (ja) * 2004-08-24 2010-03-24 キヤノン株式会社 画像再生装置及びその制御方法
JP4221667B2 (ja) * 2004-08-25 2009-02-12 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP4174728B2 (ja) * 2004-08-25 2008-11-05 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP2009504036A (ja) * 2005-07-28 2009-01-29 トムソン ライセンシング ビデオチャネルを通して多数のビデオストリームを送信する方法及び装置
JP4528694B2 (ja) * 2005-08-12 2010-08-18 株式会社東芝 動画像符号化装置
JP4492484B2 (ja) * 2005-08-22 2010-06-30 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP4791129B2 (ja) * 2005-10-03 2011-10-12 ルネサスエレクトロニクス株式会社 画像符号化装置、画像符号化方法及び画像編集装置
US20070116117A1 (en) * 2005-11-18 2007-05-24 Apple Computer, Inc. Controlling buffer states in video compression coding to enable editing and distributed encoding
JP4828925B2 (ja) * 2005-11-30 2011-11-30 パナソニック株式会社 符号化装置
JP4932242B2 (ja) * 2005-12-13 2012-05-16 三菱電機株式会社 ストリーム切換装置及びストリーム切換方法
JP4207072B2 (ja) 2006-04-07 2009-01-14 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP4207981B2 (ja) * 2006-06-13 2009-01-14 ソニー株式会社 情報処理装置および情報処理方法、プログラム、並びに記録媒体
JP4229149B2 (ja) * 2006-07-13 2009-02-25 ソニー株式会社 ビデオ信号処理装置およびビデオ信号処理方法、ビデオ信号符号化装置およびビデオ信号符号化方法、並びにプログラム
JP4221676B2 (ja) 2006-09-05 2009-02-12 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP4369948B2 (ja) * 2006-09-20 2009-11-25 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
JP4303743B2 (ja) * 2006-10-04 2009-07-29 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
JP4241839B2 (ja) 2007-02-02 2009-03-18 ソニー株式会社 データ及びファイルシステム情報の記録装置及び記録方法
JP2009077105A (ja) * 2007-09-20 2009-04-09 Sony Corp 編集装置および編集方法、プログラム、並びに記録媒体
US20090083811A1 (en) * 2007-09-26 2009-03-26 Verivue, Inc. Unicast Delivery of Multimedia Content
US8457958B2 (en) 2007-11-09 2013-06-04 Microsoft Corporation Audio transcoder using encoder-generated side information to transcode to target bit-rate
US8432804B2 (en) * 2007-11-29 2013-04-30 Hewlett-Packard Development Company, L.P. Transmitting video streams
US8543667B2 (en) 2008-01-14 2013-09-24 Akamai Technologies, Inc. Policy-based content insertion
US8335262B2 (en) * 2008-01-16 2012-12-18 Verivue, Inc. Dynamic rate adjustment to splice compressed video streams
DE102008002005A1 (de) * 2008-05-27 2009-12-03 Robert Bosch Gmbh Exzenter-Planetenantrieb
JP2010004142A (ja) * 2008-06-18 2010-01-07 Hitachi Kokusai Electric Inc 動画像符号化装置、復号化装置、符号化方法及び復号化方法
US8904426B2 (en) * 2008-06-30 2014-12-02 Rgb Networks, Inc. Preconditioning ad content for digital program insertion
US8347408B2 (en) * 2008-06-30 2013-01-01 Cisco Technology, Inc. Matching of unknown video content to protected video content
US8259177B2 (en) * 2008-06-30 2012-09-04 Cisco Technology, Inc. Video fingerprint systems and methods
US20090327334A1 (en) * 2008-06-30 2009-12-31 Rodriguez Arturo A Generating Measures of Video Sequences to Detect Unauthorized Use
EP2334082A1 (en) * 2008-09-17 2011-06-15 Sharp Kabushiki Kaisha Scalable video stream decoding apparatus and scalable video stream generating apparatus
US20100104022A1 (en) * 2008-10-24 2010-04-29 Chanchal Chatterjee Method and apparatus for video processing using macroblock mode refinement
US20100128779A1 (en) * 2008-11-14 2010-05-27 Chanchal Chatterjee Method and apparatus for splicing in a compressed video bitstream
US8743906B2 (en) * 2009-01-23 2014-06-03 Akamai Technologies, Inc. Scalable seamless digital video stream splicing
US8396114B2 (en) * 2009-01-29 2013-03-12 Microsoft Corporation Multiple bit rate video encoding using variable bit rate and dynamic resolution for adaptive video streaming
US8311115B2 (en) * 2009-01-29 2012-11-13 Microsoft Corporation Video encoding using previously calculated motion information
WO2010093430A1 (en) * 2009-02-11 2010-08-19 Packetvideo Corp. System and method for frame interpolation for a compressed video bitstream
US9565397B2 (en) * 2009-02-26 2017-02-07 Akamai Technologies, Inc. Deterministically skewing transmission of content streams
US9906757B2 (en) * 2009-02-26 2018-02-27 Akamai Technologies, Inc. Deterministically skewing synchronized events for content streams
CN102318345B (zh) * 2009-02-27 2014-07-30 富士通株式会社 动态图像编码装置、动态图像编码方法
US8650602B2 (en) * 2009-02-27 2014-02-11 Akamai Technologies, Inc. Input queued content switching using a playlist
US8270473B2 (en) * 2009-06-12 2012-09-18 Microsoft Corporation Motion based dynamic resolution multiple bit rate video encoding
US8724710B2 (en) * 2010-02-24 2014-05-13 Thomson Licensing Method and apparatus for video encoding with hypothetical reference decoder compliant bit allocation
US8718148B2 (en) * 2010-03-11 2014-05-06 Sony Corporation Information processing apparatus, information processing method, and program
JP2011211691A (ja) * 2010-03-11 2011-10-20 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US8705616B2 (en) 2010-06-11 2014-04-22 Microsoft Corporation Parallel multiple bitrate video encoding to reduce latency and dependences between groups of pictures
AU2011268104B2 (en) 2010-06-18 2016-12-15 Akamai Technologies, Inc. Extending a content delivery network (CDN) into a mobile or wireline network
JP6056122B2 (ja) * 2011-01-24 2017-01-11 ソニー株式会社 画像符号化装置と画像復号装置およびその方法とプログラム
EP2547062B1 (en) * 2011-07-14 2016-03-16 Nxp B.V. Media streaming with adaptation
US9591318B2 (en) * 2011-09-16 2017-03-07 Microsoft Technology Licensing, Llc Multi-layer encoding and decoding
US11089343B2 (en) 2012-01-11 2021-08-10 Microsoft Technology Licensing, Llc Capability advertisement, configuration and control for video coding and decoding
JP5891975B2 (ja) 2012-07-02 2016-03-23 富士通株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
ITMI20131710A1 (it) * 2013-10-15 2015-04-16 Sky Italia S R L "sistema di cloud encoding"
EP3185564A1 (en) * 2015-12-22 2017-06-28 Harmonic Inc. Video stream splicing of groups of pictures (gop)
CN105657547B (zh) * 2015-12-31 2019-05-10 北京奇艺世纪科技有限公司 一种相似视频和盗版视频的检测方法及装置
US11936712B1 (en) * 2023-04-06 2024-03-19 Synamedia Limited Packet-accurate targeted content substitution
CN118674618A (zh) * 2024-08-21 2024-09-20 苏州东方克洛托光电技术有限公司 使用图传视频编码信息实现航拍图像快速拼接的方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
JPH06253331A (ja) * 1993-03-01 1994-09-09 Toshiba Corp 可変長符号化信号に対応した編集装置
DE69422960T2 (de) * 1993-12-01 2000-06-15 Matsushita Electric Industrial Co., Ltd. Verfahren und Vorrichtung zum Editieren oder zur Mischung von komprimierten Bildern
JPH07212766A (ja) 1994-01-18 1995-08-11 Matsushita Electric Ind Co Ltd 動画像圧縮データ切り換え装置
JP3019912B2 (ja) * 1994-07-22 2000-03-15 日本ビクター株式会社 画像データ編集装置
JPH08149408A (ja) * 1994-11-17 1996-06-07 Matsushita Electric Ind Co Ltd ディジタル動画編集方法及び装置
GB9424437D0 (en) * 1994-12-02 1995-01-18 Philips Electronics Uk Ltd Encoder system level buffer management
US5612900A (en) * 1995-05-08 1997-03-18 Kabushiki Kaisha Toshiba Video encoding method and system which encodes using a rate-quantizer model
GB2307613B (en) * 1995-08-31 2000-03-22 British Broadcasting Corp Switching bit-rate reduced signals
JP3493872B2 (ja) * 1996-02-29 2004-02-03 ソニー株式会社 画像データ処理方法およびその装置
US6137834A (en) * 1996-05-29 2000-10-24 Sarnoff Corporation Method and apparatus for splicing compressed information streams
CA2208950A1 (en) * 1996-07-03 1998-01-03 Xuemin Chen Rate control for stereoscopic digital video encoding
JP3755206B2 (ja) * 1996-10-07 2006-03-15 ソニー株式会社 編集装置と編集方法
US5982436A (en) * 1997-03-28 1999-11-09 Philips Electronics North America Corp. Method for seamless splicing in a video encoder
US6151443A (en) * 1997-05-16 2000-11-21 Indigita Corporation Digital video and data recorder
US6298088B1 (en) * 1997-05-28 2001-10-02 Sarnoff Corporation Method and apparatus for splicing compressed information signals
US6101195A (en) * 1997-05-28 2000-08-08 Sarnoff Corporation Timing correction method and apparatus
GB2327548B (en) * 1997-07-18 2002-05-01 British Broadcasting Corp Switching compressed video bitstreams
KR100555164B1 (ko) * 1997-07-25 2006-03-03 소니 가부시끼 가이샤 편집 장치, 편집 방법, 재부호화 장치, 재부호화 방법, 스플라이싱 장치 및 스플라이싱 방법
US6611624B1 (en) * 1998-03-13 2003-08-26 Cisco Systems, Inc. System and method for frame accurate splicing of compressed bitstreams
GB9908809D0 (en) * 1999-04-16 1999-06-09 Sony Uk Ltd Signal processor
GB2353655B (en) * 1999-08-26 2003-07-23 Sony Uk Ltd Signal processor
GB2353653B (en) * 1999-08-26 2003-12-31 Sony Uk Ltd Signal processor

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6683911B1 (en) 1998-11-25 2004-01-27 Matsushita Electric Industrial Co., Ltd. Stream editing apparatus and stream editing method
CN100433559C (zh) * 2002-04-25 2008-11-12 松下电器产业株式会社 图像编码装置及图像编码方法
CN101707720A (zh) * 2004-06-02 2010-05-12 松下电器产业株式会社 在多角度观看多媒体流中多路复用的随机存取单元之间的无缝切换
CN101707720B (zh) * 2004-06-02 2013-01-23 松下电器产业株式会社 在多角度观看多媒体流中随机存取单元之间的无缝切换
CN101707702B (zh) * 2004-06-02 2013-01-23 松下电器产业株式会社 在多角度观看多媒体流中随机存取单元之间的无缝切换
US8411759B2 (en) 2004-06-02 2013-04-02 Panasonic Corporation Multiplexing apparatus and demultiplexing apparatus
US8295347B2 (en) 2004-08-25 2012-10-23 Sony Corporation Information processing apparatus and information processing method, recording medium, and program
CN101141641B (zh) * 2006-09-05 2010-09-22 索尼株式会社 信息处理设备和信息处理方法
CN102084355A (zh) * 2008-04-17 2011-06-01 索尼公司 多媒体内容的双类型重放
CN102084355B (zh) * 2008-04-17 2016-11-23 索尼公司 多媒体内容的双类型重放

Also Published As

Publication number Publication date
US20070047662A1 (en) 2007-03-01
JP3736808B2 (ja) 2006-01-18
JP2005323386A (ja) 2005-11-17
JP2005295587A (ja) 2005-10-20
JP4088799B2 (ja) 2008-05-21
US8923409B2 (en) 2014-12-30
KR20050103248A (ko) 2005-10-27
KR20000068626A (ko) 2000-11-25
EP0923243A1 (en) 1999-06-16
EP1467563A1 (en) 2004-10-13
DE69841897D1 (de) 2010-10-28
US20030067989A1 (en) 2003-04-10
JP2005253116A (ja) 2005-09-15
US7711051B2 (en) 2010-05-04
CN1161989C (zh) 2004-08-11
KR100604631B1 (ko) 2006-07-28
US8798143B2 (en) 2014-08-05
KR100555164B1 (ko) 2006-03-03
WO1999005864A1 (fr) 1999-02-04
EP1445773A1 (en) 2004-08-11
US20070047661A1 (en) 2007-03-01
JP2005328548A (ja) 2005-11-24
US20070165715A1 (en) 2007-07-19
EP0923243A4 (en) 2002-12-04
US20070058729A1 (en) 2007-03-15
JP4045553B2 (ja) 2008-02-13
US6567471B1 (en) 2003-05-20
JP4088800B2 (ja) 2008-05-21
EP0923243B1 (en) 2010-09-15
US8223847B2 (en) 2012-07-17
US7139316B2 (en) 2006-11-21

Similar Documents

Publication Publication Date Title
CN1161989C (zh) 编辑装置、编辑方法、接续装置、接续方法、编码装置和编码方法
CN1076932C (zh) 图像信号编码和解码的方法与装置
CN1236616C (zh) 变换活动图像编码方式的方法及其装置
CN1148955C (zh) 编码数据流接合设备和方法及编码数据流生成设备和方法
CN1684518A (zh) 高保真代码转换
CN1321945A (zh) 内容提供装置和方法以及记录介质
CN1941913A (zh) 用于跳跃图像的方法和设备
CN1109268A (zh) 图像编码方法、图像编码装置及图像记录载体
CN1157727C (zh) 编辑系统、编辑控制装置和编辑控制方法
CN1788496A (zh) 图像处理设备和方法、信息处理设备和方法、信息记录设备和方法、信息再现设备和方法、信息存储介质、以及程序
CN1178497C (zh) 数据再生传输设备和数据再生传输方法
KR20030015950A (ko) 영상 압축 비트 스트림의 트랜스코딩 방법
CN1311958A (zh) 数字视频记录器用的特技播放信号的产生
CN1946183A (zh) 图像编码设备、画面编码方法和图像编辑设备
JP2008289134A (ja) 符号化レート変換装置、集積回路、符号化レート変換方法、及びプログラム
KR20070056077A (ko) 정보 처리 장치 및 정보 처리 방법, 기록 매체, 및,프로그램
CN1650629A (zh) 编码设备和方法、解码设备和方法、编辑设备和方法、记录介质及程序
US20070263731A1 (en) Moving Picture Re-Encoding Apparatus, Moving Picture Editing Apparatus, Program, and Recording Medium
CN1237066A (zh) 运动图像编码方法及装置和记录介质
KR20070029072A (ko) 동화상 신호의 부호화 장치, 동화상 신호의 부호화 방법 및컴퓨터 판독 가능한 기록 매체
JP2002320228A (ja) 信号処理装置
JP4224778B2 (ja) ストリーム変換装置および方法、符号化装置および方法、記録媒体、並びに、プログラム
CN1698374A (zh) 信息处理装置、信息处理方法、程序和记录介质
CN100531377C (zh) 图像处理设备以及图像处理方法
CN1181692C (zh) 编码装置和编码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term

Granted publication date: 20040811

CX01 Expiry of patent term