CN1250194A - 活动图像合成装置 - Google Patents

活动图像合成装置 Download PDF

Info

Publication number
CN1250194A
CN1250194A CN99118172A CN99118172A CN1250194A CN 1250194 A CN1250194 A CN 1250194A CN 99118172 A CN99118172 A CN 99118172A CN 99118172 A CN99118172 A CN 99118172A CN 1250194 A CN1250194 A CN 1250194A
Authority
CN
China
Prior art keywords
frame
code string
active images
image
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN99118172A
Other languages
English (en)
Other versions
CN1127856C (zh
Inventor
丸谷健介
松浦俊
加藤等
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP23831398A external-priority patent/JP4151122B2/ja
Priority claimed from JP23831298A external-priority patent/JP3800819B2/ja
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1250194A publication Critical patent/CN1250194A/zh
Application granted granted Critical
Publication of CN1127856C publication Critical patent/CN1127856C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Abstract

一种将多个活动图象代码串链接起来并获得描述合成图象的合成活动图象代码串的活动图象合成装置,其中,分析多个活动图象代码串的每个标题信息;产生描述合成活动图象的合成活动图象代码串的标题信息;将多个活动图象代码串的显示位置信息改写和合成到合成图象中的位置信息;活动图象合成装置包括:合成指令部分、合成控制器、活动图象代码串储存装置、代码串检取部分、代码串分析器、合成存储器、代码串改写部分以及合成图象输出部分。

Description

活动图象合成装置
本发明涉及将多个活动图象代码串进行合成并获得一个描述合成活动图象的活动图象代码串的活动图象合成装置，该合成活动图象由包括这些多个活动图象代码串所描述的活动图象组成。
下面将描述传统的将多个活动图象代码串进行成并获得一个描述所合成活动图象的活动图象代码串的活动图象合成装置，该合成活动图象包括由这些多个活动图象代码串所描述的活动图象组成。
图36是传统的活动图象合成装置的方框图。这种传统装置由解码器5将活动图象的编码串1、2、3和4解码为一帧的图象数据6、7、8和9，由图象合成器10将其合成为合成图象数据11。编码器12一帧一帧地对合成图象数据1进行编码，产生合成活动图象代码串13。传统装置对待合成材料的所有活动图象代码串进行解码、对图象进行合成以及对已合成结果的图象数据再次进行编码需要进行大量计算。
日本专利公报7-298263揭示了一种装置，该装置将输入活动图象划分为多个图象区、将每个划分区中通过编码获得的活动图象代码串进行合成、产生一个描述原始活动图象的活动图象代码串。图37是表明日本专利公报7-298263中所揭示的描述原始活动图象的合成活动图象代码串的合成行为的例图。
首先如图37a所示，这一装置将连续的帧1、14在图象区的垂直方向上划分为三个区段，在每个划分区中产生如图37b所示的代码串。这些代码串在帧的边界上和每个片中帧之间相链接，即，在帧1中，代码串5a、6a、7a、8a是依次链接，产生如图37c所示的代码串。链接的代码串具有与在没有对图象进行划分的编码情况中相同的有语法格式。
在这一装置中，将原始活动图象的每一帧图象划分为预定的区域并对每个划分区进行编码。在编码这一阶段，每个划分区中代码串的链接序列已经被固定。按照这一固定序列，将每个划分区中的代码串链接起来，产生整个原始活动图象的代码串。因此，不允许对多个任意活动图象代码串进行选择和获得对应于合成活动图象的代码串，该合成活动图象是通过在任意位置上设置由这些活动图象代码串所描述的活动图象而组成的。
此外，日本专利公报10-210465揭示了一种装置，该装置从多个活动图象代码串中产生一个描述合成活动图象的活动图象代码串，该合成活动图象由每个代码串所描述的活动图象组成。这一装置交替地使用或不使用多个活动图象代码串的每一个代码串中所包含的图象标题、以及替换或者删除多个活动图象代码串的每一个中所包含的片标题。这一装置将多个代码串链接成一个合成活动图象代码串。
这一装置不包括任何产生整个合成活动图象的各种标题信息的装置。所以，这一装置不重新产生有关图象大小、图象速率、纵横比、比特率、视频缓冲校对器缓冲器大小、活动矢量处理精确度、活动矢量描述范围、图象编码类型、和其它等的信息。因此，不能对获得的“描述合成活动图象的活动图象代码串”进行正确地解码。
本发明的活动图象合成装置是将多个活动图象代码串进行合成并获得一个描述合成活动图象的活动图象代码串，合成活动图象包括以任意配置设置在图象上的由这些多个活动图象代码串所描述的活动图象。具体说，期望用包含在所获得的合成活动图象代码串中的图象标题和片标题来正确地描述合成活动图象。
为了实现这一点，本发明的活动图象合成装置包括分析用于合成的活动图象代码串的标题信息的代码串分析器；利用这一分析结果产生描述待产生合成活动图象的合成活动图象代码串的标题信息的图象信息发生器；以及改写用于合成的活动图象代码串中所描述的显示位置信息的代码串改写部分。对应于合成活动图象的合适标题信息是通过简单计算产生的，有效地描述合成活动图象的活动图象代码串无需对用于合成的活动图象代码串进行解码便可产生。
在本发明的另一方面，在获得描述合成活动图象的和由诸如帧内和预计帧的不同帧类型混合而成的合成活动图象代码串时，活动图象合成装置能够方便和高速地进行处理，不会使原始活动图象的象质产生劣化，不会使计算机的构造复杂化、或者无需采用昂贵或高性能的装置。
为了实现这一点，本发明这一方面的活动图象合成装置包括图象编码器。图象编码器在对输入视频信号进行压缩和编码时产生并发出由诸如帧内和预计帧的多种帧类型混合而成的用于合成的活动图象代码串。这时，图象编码器对待发出的用于合成的所有活动图象代码串进行处理，以致于帧类型的出现模式可以总是相同的。这一装置读入用于合成的多个活动图象代码串的输入从而使帧类型的出现模式可以总是相同的，在帧单元中进行合成，以相同的模式相似地发出合成活动图象代码串。
图象编码器产生一个GOP(图象群)，这时进行有关GOP中每一帧的帧类型的处理使得出现模式在每个GOP中可以是相同的以及包含在GOP中的帧数可以是一个固定的数。结果，通过让用于合成的活动图象代码串在GOP单元中随机地排序，利用排序后的活动图象代码串能够对图象进行合成。
在本发明的一个不同方面，活动图象合成装置通过以特定帧周期在帧之间进行十抽一而对视频信号的输入进行处理，把经过十抽一的视频信号馈送到图象编码器。这一装置产生描述与前一帧图象、或是后一帧图象、或者前一帧与后一帧的中间帧图象相同的帧图象的帧图象代码串并插入到合成图象代码串中，它是在十中抽一后由活动图象代码串合成，所以由插入的图象代码串所描述的活动图象的播放速度可以等于十中抽一前视频信号的时间轴播放速度。结果，单位时间的帧数小于原始输入视频信号中的帧数，可以缩减单位时间的图象编码处理和图象合成处理，能够降低比特率。此外，当存储到储存装置中时可以减小用于合成的活动图象代码串的存储容量。
在本发明的再一个方面中，活动图象合成装置包括设定视频划分帧位置的视频划分设定部分，通过以自动或手工方式检测划分帧位置，作为输入视频信号的划分区，通过插入虚拟帧或者对帧进行十中抽一，可调节包含在视频划分区中的帧，使得在视频划分区中的帧数可以是包含在GOP中的固定帧数的倍数，由此在视频划分单元随机地进行合成。
在本发明的另一个不同方面中，活动图象合成装置包括从用于合成的每个活动图象代码串的GOP检取待合成的具有特定帧类型的帧图象代码串的帧选择器，合成帧代码串仅由该特定帧类型的帧代码串产生。
因此，仅需要进行属于特定帧类型(例如，仅仅是帧内的)帧代码串的合成处理，所以减轻了合成处理的负载，同时提高了效率。
在本发明的再一个不同方面中，活动图象合成装置包括图象编码器，该图象编码器是这样构成的，即按DCT块、宏块或GOB(块群)单元对输入视频信号的帧图象中的划分区的图象进行划分、压缩和编码，在待被合成的活动图象代码串中，以图象区为单元把帧内的帧数据转换为预计帧的帧数据。这时，由图象编码器对划分区中的数据进行压缩和编码时，运动预计的类型(正向预计、反向预计等)和诸如代码内或不是代码内的块类型作为每个图象区中的属性给出和发送。在合成时，对用于合成的活动图象代码串的每种块类型进行判定、以及适当地转换或处理。
结果，即使从不是GOP单元的其它任意帧位置起，通过解码使象质劣化减至最小的合成是可能的。此外，在转换帧类型时，能够在块单元中控制转换，以及能够避免无用的转换处理。也可以在块单元中进行合成。再有，由于能够对各种帧类型进行转换，因此，如果正在获取的视频信号的帧模式是随机的，则不受限制灵活地获得合成图象代码串是可能的。
在本发明的另一个不同方面中，活动图象合成装置产生描述与前一帧图象或后一帧图象或前一帧与后一帧的中间帧图象相同的帧图象的帧图象代码串并将其分别插入用于合成的活动图象代码串中。结果，在描述合成活动图象代码串的合成活动图象的帧图象的每个图象区中，在对应于其中插入帧图象代码串的用于合成活动图象代码串的部分中和对应于其中未插入任何内容的用于合成活动图象代码串的部分中，产生以不同重现速度呈现描述合成图象的合成活动图象代码串是可能的。
图1是表明本发明第一实施例中活动图象合成装置的构成的方框图。
图2是表明本发明第一实施例的活动图象合成装置中图象合成活动的例图。
图3是表明本发明第一实施例的活动图象合成装置在合成中使用的活动图象代码串的编码格式的例图。
图4是表明本发明第一实施例的活动图象合成装置在合成中使用的活动图象代码的构成的例图。
图5是表明本发明第一实施例的活动图象合成装置的合成指令部分中合成指令的一个例子的例图。
图6是由本发明第一实施例的活动图象合成装置的合成指令部分产生的一个例子的宏块与片的对应表。
图7是由本发明第一实施例的活动图象合成装置的合成指令部分产生的另一个例子的宏块与片的对应表。
图8是表明本发明第一实施例中活动图象合成装置的合成控制器的活动的流程图。
图9是表明本发明第一实施例中活动图象合成装置的合成控制器的片数据合成处理活动的流程图。
图10是表明本发明第二实施例中活动图象合成装置的构成的方框图。
图11是表明在本发明第二实施例中用于合成的活动图象代码串的帧类型模式的一个例子的例图。
图12是表明在本发明第二实施例中用于合成的活动图象代码串的合成活动的例图。
图13是表明在本发明第三实施例中用于合成的活动图象代码串的GOP组成和帧类型模式的一个例子的例图。
图14是表明在本发明第三实施例中用于合成的活动图象代码串的合成活动的例图。
图15是表明本发明第四实施例中活动图象合成装置的构成的方框图。
图16是表明本发明第四实施例中活动图象合成装置的合成控制器的活动的流程图。
图17是表明由本发明第四实施例的活动图象合成装置的合成图象输出部分发出的合成活动图象代码串的帧组成的例图。
图18是表明本发明第五实施例中活动图象合成装置的构成的方框图。
图19是在本发明第五实施例的活动图象合成装置中用于合成的活动图象代码串的帧组成的例图。
图20是表明本发明第五实施例中活动图象合成装置的合成控制器的活动的流程图。
图21是表明由本发明第五实施例中活动图象合成装置的合成图象输出部分发出的合成活动图象代码串的帧组成的例图。
图22是表明本发明第六实施例中活动图象合成装置的构成的方框图。
图23是表明本发明第六实施例中帧十取一部分的活动的例图。
图24是表明本发明第七实施例中活动图象合成装置的构成的方框图。
图25是表明本发明第七实施例的活动图象合成装置的主要部分中活动图象或活动图象代码串的帧组成的对应关系的例图。
图26是表明本发明第八实施例中活动图象合成装置的构成的方框图。
图27是表明本发明第八实施例中活动图象合成装置的合成控制器的活动的流程图。
图28是表明由本发明第八实施例中活动图象合成装置的合成图象输出部分发出的活动图象代码串的帧组成的例图。
图29是表明本发明第九实施例中活动图象合成装置的构成的方框图。
图30是表明本发明第九实施例中视频分割设定部分和帧十取一部分的活动的例图。
图31是表明本发明第九实施例中GOP长度调节器的活动的例图。
图32是表明本发明第十实施例中帧十取一活动的例图。
图33是表明本发明第十一实施例中帧选择活动的例图。
图34是表明本发明第十二实施例中图象编码活动的例图。
图35是表明本发明第十三实施例中活动图象代码串的合成活动的例图。
图36是表明传统活动图象合成装置的一个例子的构成的方框图。
图37是表明日本专利公报No.7-298263中揭示的“合成的活动图象代码串的合成活动”的例图。
(第一实施例)
下面将参考图1至9描述本发明第一实施例的活动图象合成装置。本实施例的活动图象合成装置对多个活动图象代码串进行合成，获得描述合成活动图象的活动图象代码串，合成活动图象包括由以任意配置设置在图象上的这些多个活动图象代码串所描述的活动图象。
图1是表示第一实施例的活动图象合成装置的方框图。在图1中，储存装置106存储和控制供这样装置合成用的多个活动图象代码串。储存装置106可以由采用诸如磁盘、光盘、磁-光盘、磁带或半导体存储器等存储媒体的各种存储装置来实现。当然，也可以采用初始时将活动图象代码串写入其中的只读存储媒体。
合成指令部分101选择和指令合成所用的活动图象代码串以及指令由所选活动图象代码串分别描述的活动图象的配置。合成控制器102根据合成指令部分101的指令控制图象信息发生器103、代码串检取部分105、代码串改写部分110和合成图象代码串输出部分108，以及合成对应于合成活动图象的活动图象代码串。
代码串检取部分105从储存装置106中检取被指令的活动图象代码串并将检取的活动图象代码串暂时存储到合成存储器107。代码串分析器104分析由代码串检取部分105所检取的活动图象代码串的标题信息。图象信息发生器103参考代码串分析器104的分析结果，产生合成活动图象代码串的标题信息。代码串改写部分110改写存储在合成存储器107中的活动图象代码串的显示位置信息。合成图象代码串输出部分108将显示位置信息中所改写的活动图象代码串依次链接起来，并与产生的合成活动图象代码串的标题信息一起发出合成活动图象代码串109。
就是说，如图2所示，本实施例的活动图象合成装置通过从存储在储存装置106中的多个活动图象代码串201、202、203和204依次地检取帧类型相同的代码串，合成一个大的合成帧图象代码串205。
如图3所示，活动图象代码串201、202、203和204是通过将原始活动图象的每一帧图象划分为宏块区、在宏块单元中进行压缩和编码、以及将横向一串宏块链接成一个片(slice)而形成的MPEG代码串。这是一个由横向96个象素×垂直64个象素组成的活动图象的例子，16个象素×16个象素形成一个宏块，在帧的上部的横向一串中六个宏块306至311组成第一片302。同样，可以组成第二、第三和第四片。
如图4所示，在这一活动图象的MPEG代码串的组成中，片标题后接着是6段宏块数据。
合成指令部分101提供一个接口，用于规定由存储在储存装置106中的活动图象代码串所描述的活动图象在合成图象上的位置。例如，以GUI规定每幅图象在合成图象中所占据的区域。每幅图象在合成图象中的显示位置可以排列在宏块(16×16个象素)单位中的任意位置上。合成指令部分101以宏块单元对合成图象进行划分，产生一张合成图象上每个宏块与所设置活动图象代码串的片的对应表。
例如，如图5所示，当活动图象A1至A3的显示区501、502、503设置在合成图象504上时，宏块与片的对应表如图6所示。活动图象A1的第一片603设置在合成图象上坐标(1，1)的宏块位置上，活动图象A3的第一片611设置在合成图象上坐标(7，1)的宏块位置上。
合成中所使用的活动图象的大小不必是均匀的，或者活动图象不必设置在合成图象的所有的宏块区中。例如，如图7a所示，可以设置不同大小的活动图象B1至B4的显示区701、702、703、704，在合成图象中区域705、706可以没有活动图象。在这种情况中，在未设置活动图象的宏块中，产生带有区分“没有活动图象”标记的宏块与片的对应表，如图7b所示。在本例中，“没有图象”的标记是由宏块中位于坐标(1，11)至(1，14)、(2，11)至(2，14)、(3，11)至(3，14)、(4，11)至(4，14)，坐标(7，4)至(7，6)、(8，4)至(8，6)和坐标(9，4)至(9，6)上“Non”表示的。
合成控制器102按照图8所示的流程图控制合成过程。下面将描述每个步骤。
步骤801：当从合成指令部分101接收如图6或图7b中所示的合成图象的宏块与片的对应表时，开始合成过程的控制。
步骤802：
首先，指令代码串检取部分105打开包含在宏块与片对应表中的活动图象代码串文件。代码串检取部分105将活动图象代码串的开始部分从储存装置106传送到代码分析器104。代码串分析器104分析每个活动代码串的标题信息。分析器104通知合成控制器102是否按其它活动图象代码串的不同条件编码或者是否不存在活动图象代码串。分析器104对宏块与片的对应表进行校正从而不把活动图象发出给相应减小活动图象的片设置在其中的宏块。
步骤803至805：
接着，产生合成活动图象代码串的序列标题、GOP标题和图象标题。在每个活动图象代码串中设定在整个合成活动图象代码串中共同使用的值，诸如图象速率，利用这些值。
通过参考每个活动图象代码串中所描述的值，根据合成指令部分101所指定的内容产生图象大小和纵横比。
对于诸如比特率和视频缓冲校对器缓冲器大小的在用于合成的每个活动图象代码串中不同的值，从代码串分析器104获得每个活动图象代码串的标题信息，计算合成后的值。
例如，比特率是使所有缩小活动图象的比特率相加的值。在待处理的每一帧中，图象标题产生一个不同的值。图象的活动矢量、范围和类型的精确度利用待合成的每幅图象中所使用的值。然而，按照活动矢量、描述范围等的精确度的MPEG标准在每一帧中能够变化的的绝大多数值在整个活动图象中通常被编码为固定值，因此通过预先研究固定值和利用固定值，可实现高速处理。图象显示序列和图象类型是由活动图象代码串的GOP组成确定的。
因此，可控制片数据的合成。合成控制器102以图9所示的光栅扫描序列对图6或图7b所示的合成图象的宏块与片的对应表进行处理。
步骤806：
如果在正在处理的宏块中存在待合成的片数据，那么，首先指令代码串检取部分105读出合成存储器107中设置在正在被处理的宏块上的片数据。
步骤807：
在片数据的起点，有一个片标题，其中描述片开始代码(Slice Start Code)，指令代码串改写部分110将这一值改正为表明合成后片的垂直位置的代码。
指令代码串改写步骤110将片数据的开始宏块中的宏块数据的宏块换码(Macroblock Escape)和宏块地址增量(Macroblock Address Incement)改正为表示分析后片的开始宏块的水平位置的代码。
步骤808：
在改正这些值后，从合成存储器107发出片数据。当把空白发出给宏块与片的对应表时，发出表明对应于正在被处理的帧类型的空白的片数据。表示空白的片数据是显示空白图象的片数据，经编码的空白图象用作I帧，活动预计O的正向预计帧的片数据用作P帧和B帧。
步骤809：
从步骤806进行循环，依次对每个片进行处理，直至到达图9所示的合成图象902的右下角为止。当到达图9所示的合成图象902的右下角时，终止一帧的合成操作。
步骤810至812：
当终止一帧的合成处理时，开始下一帧的处理，但是当下一帧是GOP的开始帧时，采用上述方法发出序列标题和GOP标题。当到达预定结束条件时，终止操作。结束条件是通过选择终止任何一幅被缩小活动图象的情况、终止所有的被缩小图象的情况、预先设定待合成的帧的总数而设定的。当到达最后一帧时，发出序列的结束代码，终止合成。
因此，根据本实施例，当通过将片链接起来在合成图象上的任意位置上产生设置由多个活动图象代码串所描述的活动图象的描述合成活动图象的活动图象代码串同时利用多个活动图象代码串的标题信息产生合成活动图象代码串的标题信息时，可带来有效地产生不与MPEG代码串相矛盾的合成活动图象的效果。
(第二实施例)
下面将描述本发明第二实施例的活动图象合成装置。图10是本实施例的方框图。在这个实施例中，除了第一实施例的活动图象合成装置的构成外，还有一个把活动图象代码串作为合成材料输入到储存装置106的活动图象编码器1001。
在本实施例中，储存装置106是采用可写式存储媒体的存储装置。
图象编码器1001在帧单元中对从外部输入的作为合成材料的视频信号1002进行压缩和编码。这时，通过帧内压缩和帧间压缩，产生并发出使诸如帧内和预计帧的各种帧类型合成混合的活动图象代码串。这时，图象编码器1001对视频信号1002进行压缩和编码，使得帧类型模式可以总是相同的。
图11示出利用MPEG-1作为压缩和编码格式的一个例子。图11示出所有的活动图象代码串的帧类型模式为：
IBBPBBBPBBIBBPBBPBBPBB......
由图象编码器1001对作为合成图象材料的视频信号1002进行压缩和编码，并将其作为活动图象代码串存储在储存装置106中。储存装置106能够存储多个活动图象代码串，每个活动图象代码串是利用一个标识符控制的。
图12示出将两个活动图象代码串A、B垂直合成的例子。由于从图象编码器1001发出的所有的活动图象代码串的帧类型模式是相同的，当在帧单元中进行合成时，能够合成具有相同帧类型的帧图象代码串。
在帧内合成的情况中，在诸如DCT块、宏块、或GOB(块群)的分割区单元中，通过按符合所期望的合成图象的序列组成每个活动图象代码串的帧图象代码串，能够进行合成。
在对预计帧进行合成时，也可以通过在分割区单元中的相似重新组织进行合成，具体说可以在包括特定区域的较高的区域中重新组织包括预计代码的区域。
在MPEG-1中，将预计代码发出到由16象素×16象素组成的宏块的区域部分中。在包括这一宏块的更高的区域中，有一个由多个宏块组成的片区域。因此，在MPEG-1的情况中，在片区域单元中进行合成。详细情况与第一实施例中的说明相同，这里将其省略。
与此同时，在本实施例中，假设从外部输入的视频信号是非压缩的信号，但是，通过对应于压缩信号也可以编排从外部输入的视频信号。当然，在压缩信号的情况中，都可以进行帧内压缩或是帧间压缩的处理。
即，在输入视频信号是压缩信号的情况中，例如，一旦将压缩信号扩展为非压缩信号，便可以进行以上的压缩和编码的过程。在另一个例子中，可以将输入视频数据变换为适合于用于合成的活动图象代码串格式的格式。例如，在日本专利公报No.8-221579或日本专利公报No.6-78293中揭示变换压缩信号的压缩格式的装置，通过将这些技术运用到图象编码器1001中，可以实现压缩格式变换功能。
(第三实施例)
下面将描述本发明第三实施例的活动图象合成装置。在上述的第二实施例的活动图象合成装置中，图象编码器1001在下列条件下在待发出的活动图象代码串中产生GOP。
条件1)涉及GOP中每个帧的帧类型，出现模式在每个GOP中是相同的。
条件2)包含在GOP中的帧的数目是一个固定数。
图13示出利用MPEG-1作为压缩代码格式的一个例子。在图13中，GOP由9帧组成，它表明帧类型模式为：
IBBPBBPBB。
即，由图象编码器1001发出的用于合成的所有活动图象代码串具有多个GOP，在每个GOP中帧类型出现模式是按图13所示编排的。
图14示出将两个用于合成的活动图象代码串C、D垂直合成的例子。在图14中，用于合成的活动图象代码串C、D具有图13所示的帧编排。代码串被存储和合成在GOP单元中，所以在用于合成的活动图象代码信号C中，GOP序列可以是
C5、C1、C3、C5、C9、C2、C4，...在用于合成的活动图象代码串D中可以是
D1、D2、D3、D4、D5、D6、D7，...。
因此，在用于合成的所有活动图象代码串中，由于在每个GOP中帧类型出现模式全是相同的，如果排序在GOP单元中，仅仅够对具有相同帧类型的帧图象代码串进行合成。因此，在把合成材料随机排序在GOP单元中后易于合成为一个。
(第四实施例)
下面将描述本发明第四实施例的活动图象合成装置。本实施例涉及当从多个活动图象代码串产生描述合成活动图象的合成活动图象代码串时，通过插入一个从前一帧未作改变的跳跃帧图象代码串调节合成后活动图象的比特率和回放速度的活动图象合成装置。
图15是表明第四实施例的活动图象合成装置的方框图。与图1中所示的第一实施例相同的构成元件这里不作说明。在图15中，对存储在储存装置106中的MPEG代码串进行编码，使之由I图象和P图象组成。插入帧发生器1511产生跳跃帧图象代码串，它们是描述与前一帧图象相同的图象的图象代码串。由插入帧发生器1511产生的跳跃帧图象代码串是其中所有宏块在MPEG标准的P图象或B图象中正向帧之间的预计模式中是零活动矢量的帧图象代码串。跳跃帧图象代码串仅具有最低限度的标题信息，信息量几乎是0。
合成指令部分1501指定由存储在储存装置106中的活动图象代码串所描述的活动图象在合成图象上的配置，并提供合成后规定回放速度比的接口。回放速度比以回放速度的1/N倍的格式给出，这里N是自然数。
图象信息发生器1503预备在产生合成活动图象代码串的标题信息时插入信息量几乎零的跳跃帧图象代码串。由于整个活动图象代码串的比特率约为1/N，除以N的缩小活动图象的总比特率描述在标题中。
合成控制器1502从合成指令部分1501接收合成指令，根据如16所示的流程图控制合成过程。合成处理的操作除以下两点外与第一实施例几乎相同。
1)在对应于步骤803至805的步骤1603至1605，预备在产生每个标题信息时插入信息量几乎为零的跳跃帧图象代码串。由于整个活动图象的比特率约为1/N，除以N的缩小活动图象的总比特率在标题中描述。考虑到插入跳跃帧图象代码串还对其它标题信息进行校正和运算。
2)增加步骤1606，在步骤809判定合成一个帧图象代码串后，插入帧发生器1511产生并插入(N-1)个跳跃帧图象代码串。
如图17所示，待发出的合成活动图象代码串1509描述在每个合成图象后包含连续N-1个跳跃帧图象的活动图象。在回放这一活动图象时，合成帧C1的图象连续地显示在从显示合成帧C1直至显示合成帧C2的N帧中，因此，显然回放速度是1/N。
除此之外，在结构上，由于跳跃帧图象代码串除标题外几乎不含有信息，整个合成活动图象的比特率约为1/N。如果在合成中采用许多活动图象代码串，合成后的比特率增大，可能超过视频传输路线的容量，合成所需的处理量增大，因此，合成不能实时进行，视频似乎会停止在解码和播放端，但是，如上所述，通过适当地插入跳跃帧图象代码串，能够调节比特率。这时，能够将重现速度调节为1/N。
在本实施例中，对存储在储存装置106中的MPEG代码串进行编码，使之由I图象和P图象组成，但是这是非限制性的。然而，在仅由I图象和P图象组成的MPEG代码串中，由于显示序列和存储序列是相同的，所有的帧都能够被用作预计帧，所以，作为一个优点，能够自由地插入跳跃帧图象代码串。
(第五实施例)
下面将描述本发明第五实施例的活动图象合成装置。本发明的第五实施例是通过扩展第四实施例活动图象合成装置的功能，使之能够合成具有B图象帧的活动图象代码串而实现的。就是说，在这个活动图象合成装置中，当对在存储的帧序列和显示的帧序列之间不同的MPEG代码串进行合成时，通过插入跳跃帧图象代码串能够调节比特率和回放速度。
图18是表明本实施例的活动图象合成装置的方框图，与前面的实施例中相同的构成元件这里不再说明。在图18中，活动图象合成装置的构成进一步包括正向插入帧发生器1811和反向插入帧发生器1812，作为对图15所示第四实施例的活动图象合成装置的插入帧发生器1511的功能的扩展。
存储在储存装置106中的活动图象是含有B图象帧的MPEG代码串。在含有B图象帧的MPEG代码串中，如图19所示，每一帧的显示序列1901和存储序列1902是不同的。
正向插入帧发生器1811的操作与图15所示的第四实施例的活动图象合成装置中的插入帧发生器1511相同，从前一帧产生以运动矢量0预计的B图象的跳跃帧图象代码串。另一方面，反向插入帧发生器1812从后一帧产生以运动矢量0预计的B图象的跳跃帧图象代码串。图象信息发生器1803预备在产生合成活动图象代码串的标题信息时插入信息量几乎为0的每个跳跃帧图象代码串。由于整个活动图象代码串的比特率约为1/N，除以N的缩小活动图象的总比特率在标题中描述。
合成控制器1802从合成指令部分1501接收合成指令，根据图20的流程图控制合成过程。合成处理操作与第四实施例基本相同，以下两点除外。
1)对应于步骤1603至1605的步骤2003至2005中，预备在产生每个标题信息时插入信息量几乎为0的两种类型的跳跃帧图象代码串。由于整个活动图象的比特率是1/N，除以N缩小活动图象的总比特率在标题中描述。在考虑插入两类跳跃帧图象代码串中还对其它标题信息进行校正和运算。
2)增加步骤2006至2008，替代步骤1606，即，在步骤809判定合成了一个帧图象代码串后，在步骤2008判定是否是合成I图象或P图象，在I图象或P图象合成后，产生并插入(N-1)个正向插入帧图象代码串，在B图象合成后，产生并插入(N-1)个反向插入帧图象代码串。
图21示出n＝2时的一个例子。在该图中，FS表示由正向插入帧发生器1811插入的跳跃帧代码串，BS表示由反向插入帧发生器1812插入的跳跃帧代码串。
合成帧代码串2102表示从储存装置106依次读出时的待合成帧的过程，跳跃帧代码串2101如图所示被依次插入其中，产生合成活动图象代码串1809。对该合成活动图象代码串1809进行解码和播放时，如图所示它按显示序列2103显示。如图所示实际显示的合成图象在显示内容2104中。
即，合成活动图象代码串1809按照显示序列2103被回放，在显示一帧合成的No.1-B图象帧的图象后，显示三帧No.3-I图象帧的图象，显示一帧No.5-B图象帧的图象，显示三帧No.7-P图象帧的图象。
这里，合成活动图象代码串1809的解码和播放速度为不插入每个跳跃帧图象代码串情况的1/2。由于每个插入帧除标题外几乎没有数据，比特率约为1/2。通常，通过插入N-1个插入帧，整个活动图象的比特率约为1/N。这时，与不插入跳跃帧图象代码串的情况相比，重现速度比为1/N。
(第六实施例)
下面将描述本发明第六实施例的活动图象合成装置。本实施例涉及由多个图象代码串合成一个合成活动图象代码串的活动图象合成装置，合成活动图象代码串是通过在每K帧外部输入的视频信号中进行抽一和检取后再编码，以及合成一个能够在实际速度的K倍速度上播放的合成活动图象代码串而获得的，这里K是一个自然数。
图22是表明第六实施例的活动图象合成装置的方框图。在图22中，整个装置的构成与图10所示的第二实施例的活动图象合成装置相似，进一步包括在特定的帧周期中对从外部输入的视频信号1002中的帧进行十中抽—(decimating)并发出已被十中抽一的视频信号2202的帧十中抽一部分2201。
帧十中抽一部分2201的帧十中抽一操作如图23所示。在图23的例子中，发出了从输入视频信号1002中每三帧抽取一帧。就是说，如果输入视频信号具有90帧，那么，帧十中抽一部分2201发出由30帧组成的视频信号，作为十中抽一处理的结果。
图象编码器1001对已被十中抽一的视频信号2202进行压缩和编码并产生和发出活动图象代码串。由于这一活动图象代码串是由帧十中抽一部分2201从90帧中抽取30帧后编码的，当利用这一活动图象代码串产生合成的活动图象代码串时，在对这一活动图象代码串解码后的部分合成图象具有三倍于输入时视频信号1002回放速度的回放速度。
(第七实施例)
下面将描述本发明第七实施例的活动图象合成装置。本实施例涉及合成一个合成活动图象代码串的活动图象合成装置，当对外部输入的视频信号进行十中抽一后，从已编码的多个活动图象代码串合成一个合成活动图象代码串时，通过插入一些十中抽一的未变化的帧，合成活动图象代码串能够以与视频信号在输入时的回放速度相同的速度进行播放。
图24是表明本实施例的活动图象合成装置的构成的方框图。本实施例的整个构成是图15中所示的第四实施例的活动图象合成装置与图22中所示的第六实施例的活动图象合成装置的组合。每个组成单元如上所述，详细描述从略。
图25示出本实施例的合成处理操作的例子。帧十中抽一部分2201对外部输入的视频信号1002每三帧中抽取一帧，并发出已作三帧抽取一帧的视频信号2202。图象编码器1001对已作三帧中抽取一帧的视频信号2202进行压缩和编码，产生活动图象代码串2203。在描述已作三帧中抽取一帧的视频信号2202的活动图象代码串2203中，每一次在帧单元中进行合成，插入两帧描述与合成过程结果相同的图象的跳跃帧图象代码串2501。
就是说，合成活动图象代码串2409由90帧组成，30帧的帧图象代码串是从活动图象代码串的每一帧合成的，和60帧的跳跃帧图象代码串。即，当对用于合成的活动图象代码串进行合成时，该活动图象代码串由帧十中抽一部分2201在回放速度上提高三倍，产生能够以与原始输入视频信号1002相同的速度进行播放的合成活动图象代码串是可能的。
本实施例的装置组成是图15所示的第四实施例的活动图象合成装置与图22所示的第六实施例的活动图象合成装置的组合，但是，它也能够通过将图18所示的第五实施例的活动图象合成装置与图22所示的第六实施例的活动图象合成装置相组合而实现。
(第八实施例)
下面将描述本发明第八实施例的活动图象合成装置。本实施例涉及对由I图象和P图象组成的MPEG代码串进行合成的活动图象合成装置，通过对外部输入的视频信号每两帧中抽取一帧、进行压缩和编码、以及此时通过产生并插入帧图象代码串，它描述由前一次和下一次合成帧图象代码串所描述的合成帧图象的象素平均所表示的象素组成的帧图象，对以与原始视频信号相同的回放速度回放的活动图象进行合成。
图26是表明本实施例的活动图象合成装置的构成的方框图。本实施例的活动图象合成装置的构成与图24所示的第七实施例的活动图象合成装置相似，不同的只是插入帧发生器1511被产生前一帧和后一帧的中间图象的内插帧发生器2611所替代。
内插帧发生器2611以运动矢量0从前一帧和后一帧产生双向预计模式的B图象。内插帧图象是在象素单元中舍入前一帧图象和后一帧图象的平均图象，表示前一帧和后一帧的中间图象。
图象信息发生器2603预备在产生合成活动图象代码串的标题信息时插入信息量几乎为0的跳跃帧图象代码串(即内插帧)。
合成控制器2602通过接收合成指令部分101的合成指令根据图28的流程图控制合成过程。合成过程的操作与第五实施例的操作基本相同，但是下列三点除外。
1)合成中使用的活动图象代码串是通过由帧十中抽一部分2201对视频信号1002每两帧抽取一帧和由图象编码器1001进行压缩和编码而获得的。
2)在对应于步骤1603至1605的步骤2703至2705中，在产生每个标题信息时预备插入信息量几乎为0的跳跃帧图象代码串，即描述由前一次和下一次合成帧图象代码串所描述的合成帧图象的象素平均所表示的象素组成的帧图象的帧图象代码串。在考虑插入跳跃帧图象代码串中对其它标题信息进行校正和运算。
3)在对应于步骤1606的步骤2706中，每一次在步骤809中判定合成了一帧的帧图象代码串后，内插帧发生器2711产生和插入一个跳跃帧，它是描述由前一次和下一次合成帧图象代码串所描述的合成帧图象的象素平均所表示的象素组成的帧图象的帧图象代码串。
下面参考图28描述其操作。在图28中，由D表示的帧是内插帧。合成的帧串2802表示在从储存装置106依次读出时待合成的帧的处理，如图所示，内插跳跃帧串2801被依次插入其中，产生一个合成活动图象代码串2609。在对这一合成活动图象代码串2609解码和播放时，如图所示以显示序列2803进行显示。实际上，所显示的合成图象如图所示为显示内容2804。
合成活动图象代码串2609按显示序列2803中所示的序列进行解码和回放，每一帧是在由显示内容2804表示的时间上显示的。首先显示No.0-I图象，然后在象素单元内显示这一图象和No.2-P图象的平均图象，接着是No.2-P图象。
因此，合成活动图象的回放速度比为合成中使用的活动图象代码串所描述的活动图象的回放速度的两倍，实现十中抽一前原始视频的回放速度。这里，由内插帧发生器2611产生的图象是前一帧图象和后一帧图象的中间图象，因而接近于编码前十中抽一的帧图象，因此可获得在时间轴方向上比第七实施例中更平滑的合成活动图象。
因此，在本实施例中，由于所存储的活动图象代码串的大小是1/2，能够有效地存储活动图象代码串。此外，内插帧图象代码串的信息量几乎为0，与第一实施例相比，合成活动图象代码串的比特率约为1/2。
在本实施例中，被十中抽一的帧间隔的数目是“2”，但是不限于此。即，假设M是一个2或更大的自然数，视频信号1002的帧被每M-1中抽取一，产生M倍速度的视频信号，在合成时能够插入M-1个中间图象。具体说，当M＝2时，如在本实施例中，能够进一步使时间轴方向上的平滑性变得更均匀。
(第九实施例)
下面将描述本发明第九实施例的活动图象合成装置。图29是表明本实施例的活动图象合成装置的构成的方框图。本实施例的活动图象合成装置的构成基于图22所示的第六实施例的装置的构成，进一步增加视频划分设定部分2902和GOP长度调节器2903，扩展了帧十中抽一部分2901和图象编码器2911的功能。
即，帧十中抽一部分2901不是按各个帧单元，而是按视频划分单元(一个视频划分单元是一个组)对由视频划分设定部分2902指令的视频划分位置所分开的视频划分区进行十中抽一，并发出经过十中抽一的视频信号。
图30示出视频划分设定部分2902的视频划分帧位置设定的操作和帧十中抽一部分2901的视频划分的十中抽一操作。
可以各视频划分设定部分2902提供通过图象处理利用视频划分自动检测算法的划分帧位置的自动设定功能、通过用户的划分帧位置的设定功能、或者通过特定周期的划分帧位置的自动设定功能。即，以各种不同形式，可以在任意帧位置上以任意个数设定视频划分帧位置。
例如日本专利公报No.8-214315揭示了通过图象处理的视频划分自动检测算法，可以应用这一算法。
帧十中抽一部分2901以视频划分设定部分2902设定的任意视频划分按照视频划分单元进行十中抽一，发出一个已十中抽一的视频信号2912。在图30的例子中，视频划分设定部分2902设定七个视频划分帧位置，所以设定了六个(R1至R6)视频划分区。帧十中抽一部分2901从这六个视频划分区中去掉R3和R5，发出四个输出R1、R2、R4、R6。
如图31所示，GOP长度调节器2903从视频划分设定部分2902所设定的划分帧位置信息和帧十中抽一部分2901中的视频划分十中抽一信息，按视频划分单元，在由图象编码器2911对按视频划分单元十中抽一的视频信号2912进行编码前，调节已十中抽一的视频信号2912的视频划分区中的帧的数目。
在图31中，由视频编码器2911所设定的GOP中的帧数为9。这里，GOP长度调节器2903以视频划分单元进行舍入，所以视频划分区中的帧数可以是9的倍数。在舍入过程中，当除以9的视频划分区中的帧数的余数为4或更小时，过剩的帧被截去(被抽出)，当为5或更大时，增加与前一帧图象相同图象的帧图象直至帧数变为9的倍数。
用这种方法，使所有的视频划分区中的帧数变为GOP中帧数的倍数，当与第三实施例组合时，在对用于合成的多个活动图象代码串进行合成的情况中，通过使用于合成的每个活动图象代码串随机地按视频划分单元排序能够进行合成。
在以上的描述中，GOP长度调节器2903进行舍入，但是所有的过剩帧可以总是被放弃，所以视频划分区中的帧数可以是GOP中帧数的倍数。同样，也可以增加跳跃帧，以致于变为GOP中帧数的倍数。
(第十实施例)
下面将描述本发明第十实施例的活动图象合成装置。在本实施例中，图29所示的第九实施例中的帧十中抽一部分2901以不同方式执行。
本实施例中的帧十中抽一部分2901仅把特定数目的帧的视频信号发送到由视频划分设定部分2902设定的每个视频划分区，不发送这一特定数目的帧数以外的帧的视频信号。
图32示出在本实施例中的帧十中抽一部分2902的帧十中抽一行动的例子。在图32所示的例子中，帧十中抽一部分2901从每个视频划分区的第二帧起仅发出特定数目的帧(9帧)，放弃其它范围中的视频信号。当进行十中抽一之后的帧的数目小于9时，GOP长度调节器2901插入跳跃帧图象代码串，以致于帧的数目可以是9。
(第十一实施例)
下面将描述本发明第十一实施例的活动图象合成装置。本实施例的活动图象合成装置与图1所示的第一实施例的装置相似，进一步扩展了代码串检取部分105的功能。
即，本实施例的代码串检取部分105从用于合成的每个活动图象代码串的GOP中选择并检取特定帧类型的帧图象代码串。
图33示出本实施例中经过功能扩展的代码串检取部分105的操作。在这个实施例中，假设用于合成的活动图象代码串具有如图13所示的帧类型模式，即GOP由9帧组成：
IBBPBBPBB。
经过功能扩展的代码串检取部分105选择并检取I图象帧和P图象帧。因此，产生帧类型模式是重复IPP的代码串。
将三帧为一组解译为新的GOP并进行合成，所以获得仅由两种帧类型，即I图象帧和P图象帧组成的合成图象代码串。当对活动图象代码串解码时，由于不包括B图象，所以能够简化与这一装置连接的编码装置的构成。
在本实施例中，仅仅对所选和检取的帧的帧图象代码串进行合成，因此，当仅对发出的合成活动图象代码串进行解码、回放和显示时，回放速度是原始输入视频信号的三倍(由于IBBPBBPBB变为IPP，帧的数目变为1/3)。因此，当与图15所示的第四实施例组合时，产生能够在与原始输入视频信号相同速度下播放的合成活动图象代码串是可能的。
(第十二实施例)
下面将描述本发明第十二实施例的活动图象合成装置。本实施例的活动图象合成装置类似于图10所示的第二实施例，采用第十一实施例以外的其它方式进一步扩展了代码串检取部分105的功能。
本实施例的代码串检取部分105具有将用于合成的活动图象代码串中任意帧位置的帧类型转换为其它帧类型的帧类型转换功能。
具体说，在本实施例中，图象编码器1001给出运动预计(正向、反向等)类型和如代码内的块类型，或者当用DCT块、宏块或GOB的单元对输入视频信号的图象进行划分时不作为其在每个图象区中的属性，以及进行压缩和编码。
如图34所示，首先，图象编码器1001将外部输入的视频信号的每个帧图象划分为总共24个图象区(块)，由横向6个块和垂直4个块组成。因此，图象编码器1001按帧单元对划分为图象区后的每个块进行编码。
每个块是以符合以下各种块类型的形式编码的，即不进行压缩和编码的非压缩块(N类型)、通过内压缩进行编码的压缩内块(I类型)、通过正向帧预计进行压缩和编码的正向预计块(F类型)、通过反向帧预计进行压缩和编码的反向预计块(B类型)、通过正向和反向双向帧预计进行压缩和编码的双向预计块(D类型)。块类型是在被增加到用于合成的活动图象代码串中时发出的，以致于在解码时被区分出来。
下面将描述本实施例的代码串检取装置105的帧类型转换功能。这里，给出MPEG-1的一个例子。
在MPEG-1中，存在三种帧类型：I、P和B。具有每种帧类型的帧图象代码串由具有下列块类型的块(在MPEG中称为宏块)组成。
I图象帧：仅为压缩内块。
P图象帧：压缩内块或正向预计块。
B图象帧：压缩内块、正向预计块；或反向预计块或双向预计块。
因此，为了把帧类型为I图象帧的帧图象代码串转换为P图象帧，通过改变属性信息，I图象帧的压缩内块数据被转换为P图象帧的压缩内块，因此不必对块中的编码数据进行解码。同样，可以将I图象帧转换为B图象帧。
为了把帧类型为P图象帧的帧图象代码串转换为I图象帧，对于压缩内块，改变属性信息，仅对于正向预计块，解码正向预计块，将已解码的数据重新编码为压缩内块。
为了从P图象帧转换为B图象帧，在压缩内块和正向预计块中都改变属性信息。
为了把帧类型为B图象帧的帧图象代码串转换为I图象帧，在压缩内块中，改变属性信息，在其它预计块中，对预计块进行解码，以及将已解码数据重新编码为压缩内块。
当从B图象帧转换为P图象帧时，在压缩内块和正向预计块中都改变属性信息。在反向预计块和双向预计块中，对预计块进行解码，解码后，重新编码为压缩内块。
在这种构成中，即使从GOP单元以外的任意帧位置起通过解码使象质劣化减至最小，能够进行合成。此外，在帧类型转换行动中，通过以块单元的转换控制，可避免无用转换过程。另外，在图象合成中，以块单元进行合成是可能的。
此外，由于能够对各种帧的类型进行切换，能够对各种帧模式的图象进行合成，不受待采用的帧模式的限制。
(第十三实施例)
下面将描述本发明第十三实施例的活动图象合成装置。本实施例的活动图象合成装置类似于图1所示的第一实施例，采用第十一或第十二实施例之外的其它方式进一步扩展了代码串检取部分105的功能。
本实施例中图象合成行为如图35所示。在图35中，图中示出具有图13中所示的帧类型模式的两个活动图象代码串C和D的合成操作。
在本实施例中，功能已被扩展的代码串检取部分105首先把任意个数的跳跃帧图象代码串插入到用于合成的任意活动图象代码中。这一跳跃帧图象代码串被插入第四和第五实施例中的合成活动图象代码串中，它是以与跳跃帧图象代码串相同的过程产生的，被分别插入到合成所用的活动图象代码串中。
在图35中，在用于合成的活动图象代码串A，两帧的跳跃帧图象代码串被插入一帧的帧图象代码串中。当插入这一跳跃帧代码串时，根据图13中所示的GOP中的帧类型模式插入跳跃帧图象代码串的帧类型。
因此，通过插入跳跃帧图象代码串，用于合成的原始活动图象代码串的帧类型与GOP中帧类型模式不一致，这一帧图象代码串的帧类型被改变。最后，按帧单元对用于合成的活动图象代码串C和D进行合成，发出一个合成的活动图象代码串。
在这一结构中，在合成活动图象代码串的帧图象上的每个图象区中，在用于合成的活动图象代码串的插入跳跃帧图象代码串的相应部分以及在用于合成的活动图象代码串的未插入跳跃帧图象代码串的相应部分中，产生以不同回放速度给出的合成活动图象代码串是可能的。
在以上说明中，回放速度是通过把跳跃帧图象代码串独立地插入用于合成的每个活动图象代码串中控制的，但是回放速度也可以通过放弃用于合成的每个活动图象代码串中的任意一个帧代码而改变。
至此，已经描述了本发明的13个实施例，但是，本发明不是仅限于这些例举的实施例。只要不背离本发明的精神，可以采用各种形式来实现，包括对上述实施例基本单元的自由组合。

Claims (31)

1.一种将多个活动图象代码串链接起来并获得描述合成图象的合成活动图象代码串的活动图象合成装置，所述合成图象由这些多个活动图象代码所描述的每个活动图象组成，其特征在于所述活动图象合成装置包括：
分析所述多个活动图象代码串的每个标题信息的代码串分析器；
从这一分析结果产生描述所述合成活动图象的合成活动图象代码串的标题信息的图象信息发生器；
将所述多个活动图象代码串的显示位置信息改写到所述合成图象中位置信息的代码串改写部分；以及
将由图象信息发生器产生的标题信息与代码串改写部分改写的代码串合成起来并作为所述合成活动图象代码串发出的合成图象输出部分。
2.如权利要求1所述的活动图象合成装置，其特征在于进一步包括：
存储和控制用于合成的所述多个活动图象代码串的储存装置；
从所述储存装置检取待合成的活动图象代码串的代码串检取部分；
暂时存储由代码串检取部分检取的代码串的合成存储器；
指令由所述多个活动图象代码串所描述的活动图象至少在所述合成活动图象中的配置的合成指令部分；
根据合成指令部分的指令控制代码串检取部分、代码串改写部分和合成图象输出部分的合成控制器。
3.如权利要求2所述的活动图象合成装置，其特征在于进一步包括：
在帧单元中对外部输入的视频信号进行压缩和编码并发出用于合成的活动图象代码串的图象编码器，
这里所述图象编码器这样进行处理，即用于合成的所述活动图象代码串的帧类型出现模式在所有的用于合成的活动图象代码串中是可以是相同的。
4.如权利要求3所述的活动图象合成装置，其特征在于：图象编码器是这样构成的，以致于发出在帧数和帧类型模式上GOP编排相同的活动图象代码串，代码串检取部分是这样构成的，即在GOP单元中按任意序列对相应的活动图象代码串进行排序和检取，由此从通过活动图象代码串的排序所获得的活动图象代码串产生合成活动图象代码串。
5.如权利要求3或4所述的活动图象合成装置，其特征在于：当外部输入的视频信号是已经过压缩和编码的数据时，图象编码器将输入的视频信号的压缩和编码格式转换为用于合成的活动图象代码串的压缩和编码格式。
6.如权利要求3或4所述的活动图象合成装置，其特征在于进一步包括第一帧的十中抽一部分，用于在外部输入的视频信号以特定的帧周期对帧进行十中抽一，并把经过十中抽一的视频信号馈送到图象编码器中。
7.如权利要求3或4所述的活动图象合成装置，其特征在于进一步包括插入帧发生器，用于在所述合成图象代码串的适当帧位置上插入描述或是一帧图象或是由特定帧的前一帧图象代码串和后一帧图象代码串所描述的两个帧图象的中间图象的帧图象代码串。
8.如权利要求7所述的活动图象合成装置，其特征在于：当合成活动图象代码串由I图象帧和P图象帧组成时，插入帧发生器产生并插入描述与前一帧图象代码串所描述的帧图象相同的帧图象的帧图象代码串。
9.如权利要求7所述的活动图象合成装置，其特征在于：当合成活动图象代码串由I图象帧和P图象帧组成时，插入帧发生器产生并插入描述由前一帧图象代码串所描述的帧图象和由后一帧图象代码串所描述的帧图象的中间图象的帧图象代码串。
10.如权利要求7所述的活动图象合成装置，其特征在于：当合成活动图象代码串包含有B图象帧时，插入帧发生器由正向插入帧发生器和反向插入帧发生器组成，正向插入帧发生器用于在I图象帧或P图象帧后产生和插入描述与前一帧图象代码串所描述的帧图象相同的帧图象的帧图象代码串，反向插入帧发生器用于在B图象帧后产生和插入描述与后一帧图象代码串所描述的帧图象相同的帧图象的帧图象代码串。
11.如权利要求6所述的活动图象合成装置，其特征在于进一步包括插入帧发生器，用于在所述合成图象代码串的适当帧位置上插入描述或是一帧图象或是由特定帧的前一帧图象代码串和后一帧图象代码串所描述的两个帧图象的中间图象的帧图象代码串。
12.如权利要求11所述的活动图象合成装置，其特征在于：当合成活动图象代码串由I图象帧和P图象帧组成时，插入帧发生器产生并插入描述与前一帧图象代码串所描述的帧图象相同的帧图象的帧图象代码串。
13.如权利要求11所述的活动图象合成装置，其特征在于：当合成活动图象代码串由I图象帧和P图象帧组成时，插入帧发生器产生并插入描述由前一帧图象代码串所描述的帧图象和由后一帧图象代码串所描述的帧图象的中间帧图象的帧图象代码串。
14.如权利要求11所述的活动图象合成装置，其特征在于：当合成活动图象代码串包含有B图象帧时，插入帧发生器由正向插入帧发生器和反向插入帧发生器组成，正向插入帧发生器用于在I图象帧或P图象帧后产生和插入描述与前一帧图象代码串所描述的帧图象相同的帧图象的帧图象代码串，反向插入帧发生器用于在B图象帧后产生和插入描述与后一帧图象代码串所描述的帧图象相同的帧图象的帧图象代码串。
15.如权利要求11至14之一所述的活动图象合成装置，其特征在于：由插入帧发生器待插入的帧图象代码串中的帧数等于由所述第一帧十中抽一部分从外部输入视频信号中十抽一和去除的帧数。
16.如权利要求4所述的活动图象合成装置，其特征在于进一步包括通过在外部输入的视频信号中的任意帧位置上设定视频划分帧位置产生视频划分区的视频划分设定部分和调节包含在视频划分区中的视频信号从而使视频划分区中的帧数为GOP中帧数的倍数的GOP长度调节器。
17.如权利要求16所述的活动图象合成装置，其特征在于：视频划分设定部分通过图象处理利用视频划分检测算法自动地设定视频划分帧位置。
18.如权利要求16所述的活动图象合成装置，其特征在于：视频划分设定部分以特定帧间隔自动地设定视频划分帧位置。
19.如权利要求16所述的活动图象合成装置，其特征在于：GOP长度调节器从视频划分中去除对应于视频划分区中帧数除以GOP中帧数的余数的部分帧的视频信号，从而使视频划分区中的帧数可以是GOP中帧数的倍数。
20.如权利要求16所述的活动图象合成装置，其特征在于：GOP长度调节器把前一帧图象、或后一帧图象、或由前一帧图象和后一帧图象产生的中间图象中的任何帧图象插入到视频划分区中，从而使视频划分区中的帧数可以是GOP中帧数的倍数。
21.如权利要求16所述的活动图象合成装置，其特征在于：如果视频划分区中的帧数除以GOP中帧数的余数小于设定值，GOP长度调节器从视频划分区中放弃帧图象，如果等于或大于设定值，GOP长度调节器把前一帧图象、或后一帧图象、或由前一帧图象和后一帧图象产生的中间图象中的任何帧图象插入到视频划分区中，从而视频划分区中的帧数可以是GOP中帧数的倍数。
22.如权利要求16至21之一所述的活动图象合成装置，其特征在于进一步包括第二帧十中抽一部分，用于从外部输入的视频信号中十中抽一和去除由视频划分设定部分所设定的视频划分单元。
23.如权利要求4所述的活动图象合成装置，其特征在于进一步包括通过在外部输入视频信号的任意帧位置上设定视频划分帧位置而产生视频划分区的视频划分设定部分和把由视频划分区中特定帧数组成的视频信号发送到视频划分设定部分所设定的视频划分区中的第三帧十中抽一部分，这里，从第三帧十中抽一部分发出的帧数是GOP中帧数的倍数。
24.如权利要求23所述的活动图象合成装置，其特征在于：如果视频划分区中的帧数小于GOP中的帧数，把前一帧图象、或后一帧图象、或由前一帧图象和后一帧图象产生的中间图象中任何帧图象插入到由视频划分设定部分所设定的视频划分区中，以填满短缺的帧。
25.如权利要求3或4所述的活动图象合成装置，其特征在于：代码串检取部分是这样构成的，当检取待合成的活动图象代码串时从每个活动图象代码串中选择和检取I图象帧或者I图象帧和P图象帧。
26.如权利要求25所述的活动图象合成装置，其特征在于进一步包括插入帧发生器，用于在合成图象代码串的适当位置上插入由帧的前一帧图象代码串和后一帧图象代码串、或者描述这两帧图象的中间图象的帧图象代码串所描述的两帧图象中的任一帧图象。
27.如权利要求26所述的活动图象合成装置，其特征在于：插入帧发生器产生和插入描述与由前一帧图象代码串所描述的帧图象相同的帧图象的帧图象代码串。
28.如权利要求26所述的活动图象合成装置，其特征在于：插入帧发生器产生和插入描述由前一帧图象代码串所描述的帧图象和由后一帧图象代码串所描述的帧图象的中间帧图象的帧图象代码串。
29.如权利要求26至28之一所述的活动图象合成装置，其特征在于：由插入帧发生器插入的帧图象代码串的帧数等于由代码串检取部分在选择和检取I图象帧或I图象帧和P图象帧时从待合成的每个活动图象代码串中十抽一的帧数。
30.如权利要求3或4所述的活动图象合成装置，其特征在于：图象编码器将外部输入的视频信号的每一帧图象划分为多个块、在块单元中进行压缩和编码、以及发出块类型信息作为块的压缩和编码类型，进一步包括通过从块类型信息转换块单元中帧图象代码串中的块类型，在用于合成的活动图象代码串的任意位置上把待合成的帧类型转换为其它帧类型的帧类型转换器。
31.如权利要求3或4所述的活动图象合成装置，其特征在于：代码串检取部分是这样构成的，在待合成的任意活动图象代码串中的适当帧位置上插入描述由帧的前一帧图象代码串和后一帧图象代码串所描述的两帧图象中的任一帧图象或这两帧图象的中间图象的帧图象代码串，在帧单元中通过把插入帧图象代码串的活动图象代码串与未插入帧图象代码串的活动图象代码串合成起来产生一个合成活动图象代码串，该合成活动图象代码串是这样产生的，即在合成活动图象代码串的图象区中，在帧图象代码串的插入部分和未插入部分之间，重现速度可以是不同的。
CN99118172A 1998-08-25 1999-08-25 活动图像合成装置 Expired - Fee Related CN1127856C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP238313/1998 1998-08-25
JP238312/1998 1998-08-25
JP23831398A JP4151122B2 (ja) 1998-08-25 1998-08-25 動画像合成装置
JP23831298A JP3800819B2 (ja) 1998-08-25 1998-08-25 画像合成装置

Publications (2)

Publication Number Publication Date
CN1250194A true CN1250194A (zh) 2000-04-12
CN1127856C CN1127856C (zh) 2003-11-12

Family

ID=26533642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN99118172A Expired - Fee Related CN1127856C (zh) 1998-08-25 1999-08-25 活动图像合成装置

Country Status (4)

Country Link
US (1) US6549578B1 (zh)
EP (1) EP0987897A3 (zh)
CN (1) CN1127856C (zh)
CA (1) CA2281115C (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103297806A (zh) * 2012-02-22 2013-09-11 索尼公司 图像处理设备、图像处理方法和图像处理系统

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001326940A (ja) * 2000-05-16 2001-11-22 Matsushita Electric Ind Co Ltd 符号化動画像ビットストリーム処理方法、及び装置、並びに符号化動画像ビットストリーム処理プログラムを格納した記録媒体
JP2002101416A (ja) * 2000-09-25 2002-04-05 Fujitsu Ltd 画像制御装置
US8026944B1 (en) 2001-04-12 2011-09-27 Sony Corporation Method and apparatus for hosting a network camera with image degradation
US7076085B1 (en) * 2001-04-12 2006-07-11 Ipix Corp. Method and apparatus for hosting a network camera including a heartbeat mechanism
US6956600B1 (en) 2001-09-19 2005-10-18 Bellsouth Intellectual Property Corporation Minimal decoding method for spatially multiplexing digital video pictures
EP1454486A4 (en) * 2001-12-04 2009-03-25 Polycom Inc METHOD AND DEVICE FOR MIXING COMPRESSED VIDEO SIGNALS
JP4042411B2 (ja) * 2002-01-11 2008-02-06 株式会社日立製作所 データ記録装置、データ再生装置、データ記録再生方法及び撮像装置
US7421129B2 (en) * 2002-09-04 2008-09-02 Microsoft Corporation Image compression and synthesis for video effects
AU2003263503A1 (en) 2002-10-21 2004-05-04 Koninklijke Philips Electronics N.V. Manipulating sub-pictures of a compressed video signal
US7012963B2 (en) * 2002-11-14 2006-03-14 Opentv, Inc. Positioning of images in a data stream
US6873786B2 (en) * 2003-05-05 2005-03-29 Thomson Licensing S.A. Reverse trick modes on non-progressive video using special groups of pictures
US7558320B2 (en) * 2003-06-13 2009-07-07 Microsoft Corporation Quality control in frame interpolation with motion analysis
US7440613B2 (en) * 2003-09-12 2008-10-21 Sony Corporation Binary mask interpolation
US10582258B2 (en) 2015-12-26 2020-03-03 Intel Corporation Method and system of rendering late or early audio-video frames
US10694227B2 (en) * 2017-01-13 2020-06-23 Panasonic Intellectual Property Management Co., Ltd. Video transmission system and video transmission method
TWI659647B (zh) * 2017-11-21 2019-05-11 晶睿通訊股份有限公司 影像播放設備及其影像播放方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0678293A (ja) 1992-08-28 1994-03-18 Olympus Optical Co Ltd 符号化装置
US5778143A (en) * 1993-01-13 1998-07-07 Hitachi America, Ltd. Method and apparatus for the selection of data for use in VTR trick playback operation in a system using progressive picture refresh
JP3555168B2 (ja) 1994-04-21 2004-08-18 松下電器産業株式会社 動画像の復号化装置
DE69422960T2 (de) * 1993-12-01 2000-06-15 Matsushita Electric Ind Co Ltd Verfahren und Vorrichtung zum Editieren oder zur Mischung von komprimierten Bildern
US5453780A (en) * 1994-04-28 1995-09-26 Bell Communications Research, Inc. Continous presence video signal combiner
JPH0837662A (ja) * 1994-07-22 1996-02-06 Hitachi Ltd 画像符号化復号化装置
JP3852114B2 (ja) * 1994-08-26 2006-11-29 ソニー株式会社 圧縮画像データ伝送方法及び装置
JPH08214315A (ja) 1994-11-29 1996-08-20 Matsushita Electric Ind Co Ltd 符号化画像カット検出装置
JPH08221579A (ja) 1995-02-15 1996-08-30 Matsushita Electric Ind Co Ltd 画像データの符号化変換方法およびその装置
EP1802134A3 (en) * 1995-03-15 2008-12-31 Kabushiki Kaisha Toshiba Moving picture coding and/or decoding systems
JPH0918830A (ja) 1995-04-28 1997-01-17 Sony Corp 映像編集装置
JPH09116866A (ja) 1995-10-20 1997-05-02 Sony Corp 符号化方法、符号化復号化方法及び記録再生装置
US5764277A (en) * 1995-11-08 1998-06-09 Bell Communications Research, Inc. Group-of-block based video signal combining for multipoint continuous presence video conferencing
JPH10210465A (ja) * 1997-01-23 1998-08-07 Hitachi Ltd 符号列編集装置、画像符号化信号復号化装置、および、動画符号化信号復号化装置
JPH10336608A (ja) * 1997-05-31 1998-12-18 Nec Corp 動画像符号化装置および動画像復号装置並びにプログラムを記録した機械読み取り可能な記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103297806A (zh) * 2012-02-22 2013-09-11 索尼公司 图像处理设备、图像处理方法和图像处理系统

Also Published As

Publication number Publication date
CA2281115A1 (en) 2000-02-25
US6549578B1 (en) 2003-04-15
CA2281115C (en) 2005-02-22
EP0987897A2 (en) 2000-03-22
CN1127856C (zh) 2003-11-12
EP0987897A3 (en) 2005-07-13

Similar Documents

Publication Publication Date Title
CN1127856C (zh) 活动图像合成装置
CN1941913A (zh) 用于跳跃图像的方法和设备
CN1133128C (zh) 图像显示单元和运动图像检索系统
CN1223196C (zh) 解码器、解码方法
CN1194550C (zh) 通过直接离散余弦变换映射改变分辨率的设备和方法
CN1135845C (zh) 图像传送方法、图象处理方法、图象处理装置和数据存储介质
CN1221927C (zh) 图像处理装置和方法
CN1285059C (zh) 活动图像转换方法和设备、活动图像传输方法和设备、程序
CN1195374C (zh) 图像信号处理装置
CN1229223A (zh) 图像处理装置、合成系统装置和方法、分离方法及客户机
CN1108462A (zh) 图像信号编码和解码的方法与装置
CN1860785A (zh) 再现设备、再现方法、再现程序、以及记录介质
CN101052127A (zh) 信息处理装置、信息处理方法、记录介质和程序
CN1681330A (zh) 自适应2n叉树生成方法及3D体数据编码和解码方法和设备
CN1131871A (zh) 运动图形处理方法
CN101060629A (zh) 图像压缩/解压方法及图像编/解码器和解码电路
CN1225545A (zh) 移动图像合成系统
CN1231100A (zh) 图像编码器、图像解码器、和图像处理器及其方法
CN1816154A (zh) 用于运动估计的方法和装置
CN1319996A (zh) 图像编码和解码设备及其方法、图像记录和图像传送设备
CN1178497C (zh) 数据再生传输设备和数据再生传输方法
CN1595973A (zh) 隔行视频流到逐行视频流的转换方法与系统
CN1273491A (zh) 能够实现高速和高精度的编码的图象压缩装置
CN1744716A (zh) 对编码视频序列的图像组解码并且显示它们的方法和设备
CN1848934A (zh) 图像处理系统,图像拾取设备和方法,图像再现设备和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee