CN1258284C

CN1258284C - 影像合成方法

Info

Publication number: CN1258284C
Application number: CN02822243.1A
Authority: CN
Inventors: 松原健次郎
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2001-11-09
Filing date: 2002-11-08
Publication date: 2006-05-31
Anticipated expiration: 2022-11-08
Also published as: US20050041153A1; JP2003153080A; WO2003041403A1; EP1447978A1; EP1447978A4; CN1586070A; US7280158B2

Abstract

能够减少合成的静止图像的数据量，缩短传送时间，而且能够减少图像所占用的存储器使用量。另外容易变更合成的静止图像的显示位置，提高工作效率。合成影像和静止图像的影像合成装置包括：接收包含影像的影像信号的影像信号接收部；接收包含具有比影像的显示尺寸还要小的显示尺寸的静止图像、以及相对于影像的表示该静止图像的合成位置的位置数据的合成信号的通信部；记录根据通信部接收的合成信号得到的静止图像以及位置数据的记录部；根据记录部所记录的位置数据，将根据影像信号接收部接收的影像信号所得到的影像、以及记录部记录的静止图像进行合成并输出的合成部。

Description

影像合成方法

技术领域

本发明涉及一种合成影像和静止图像的技术。

背景技术

在电视广播界等行业，有很多需要对摄影机拍摄的影像和由影碟机播放的影像，进行显示字幕文字的图像合成处理。影像合成主要使用被称作转换器的机器。图1是表示根据转换器进行图像合成的模式图。转换器1接收进行合成的背景用影像2和字幕用影像3，进行合成。更具体地说，转换器1接收经由传送影像信号的视频电缆4传送的相当于背景用的影像2的影像信号，另外转换器1接收经由传送影像信号的视频电缆5传送的相当于字幕用影像3的影像信号。转换器1根据基于使用者的操作的动作指示，或者根据外部机器(图中未表示)的控制指示，合成接收的两个影像信号，产生合成影像信号并输出。图中所示为表示合成影像信号的影像7。

利用转换器1合成图像时，主要采用被称作色度键的技术。说明色度键技术的梗概，首先输入背景图像2的影像信号，和作为字幕图像3，以蓝色为背景的文字的影像信号。然后，将从背景图像2中去除字幕图像3的蓝色以外的部分之后的图像，和从字幕图像3中去除蓝色部分的图像，进行合成，得到合成图像7。对于利用色度键技术的图像合成，将字幕图像3输入到转换器1中时，和画面具有相同大小的图像的影像信号，大多采用分量信号等的模拟形式传送。

但是采用上述方法，只在画面的下部显示静止图像(字幕文字等)时，也需要画面整体大小的静止图像3。这样，在视频电缆(传送通路5)中流动的信号量(静止图像3的数据量)增大，造成浪费。

如果静止图像3的数据量增大，一张图像所占用的存储容量增大。也就是说，如果想要记录·显示多张图像的话，大容量的存储器是必要的，装置的成本变得昂贵。还有显示的字幕文字的位置变化时，其图像的图像数据也要变更，需要重新再次传送，因此工作效率很低。

发明内容

本发明的目的在于减少合成的静止图像的数据量，缩短传送时间，并且减少图像占用的存储器的使用量。另外本发明的另一目的在于容易变更合成的静止图像的显示位置，提高工作效率。

本发明的影像合成方法，对影像和静止图像进行合成，具有：接收包含影像的影像信号的步骤；接收包含具有比所述影像的显示尺寸还要小的显示尺寸的静止图像、以及表示相对于所述影像的该静止图像的合成位置的位置数据的合成信号的步骤；记录根据所接收的所述合成信号得到的所述静止图像以及所述位置数据的步骤；根据所记录的所述位置数据，将根据所接收的所述影像信号得到的所述影像、以及所记录的所述静止图像合成并输出的步骤；和连续变更所记录的所述位置数据，连续改变相对于所述影像的所述静止图像的合成位置的步骤。

也可以是记录部记录多个静止图像、和与其对应的多个位置数据；合成部根据上述多个位置数据的每一个，将上述影像以及上述多个静止图像合成并输出。

也可以进一步包括将根据所述影像信号得到的所述影像，作为帧图像取得的步骤；输出所取得的所述帧图像。

也可以接收并传送控制影像合成装置动作的控制命令。

上述影像信号中所包含的影像的信息量也可以是被压缩的。

上述合成信号中所包含的静止图像的信息量也可以是被压缩的。

也可以是上述影像信号中所包含的影像的信息量被压缩，上述合成信号中所包含的静止图像的信息量未被压缩。

也可以接收根据在可移动的记录介质中记录的数据产生的影像信号。

也可以从上述网络接收影像信号以及合成信号中的至少一个。

也可以是上述影像信号具有表示影像的部分和表示影像部分以外的空白部分，而且上述合成信号插入到上述影像信号的空白部分中；从接收的上述影像信号中，分离出上述合成信号并传送。

在本发明的图像合成方法中，输入与影像信号合成的静止图像数据的同时还输入该静止图像的位置数据。因为静止图像只是在影像信号上显示的部分，所以能够减少传送通路中流动的数据量，控制传送通路的成本。由于减少了静止图像的数据量，也可以减少为保持静止图像而占用的存储器量。由此能够控制装置自身的成本。

另外由于通过变更位置数据就能够移动静止图像，所以静止图像的位置变更和滚动能很容易进行。

以下说明其作用。

根据第1发明，基于位置数据，能够在影像信号上的任意位置显示静止图像。在静止图像的显示位置的变更容易的基础上，字幕文字只在画面的一部分区域显示的情况下，只需根据字幕文字的部分处理静止图像的大小，和使用画面整体大小的静止图像时相比较，能够减少在装置中传送的静止图像的数据量。由此在缩短传送时间的基础上，能够控制传送通路的成本。另外由于一张图像所占用的存储器容量减少了，因此能够抑制存储器的成本，能够记录更多的静止图像。

根据第2发明，记录部中记录的位置数据能由装置上的程序变更。通过在装置上自动地变更影像信号上显示的静止图像的显示位置，就可能移动静止图像。

根据第3发明，能够在影像信号上同时显示多个静止图像。多个静止图像横向或者纵向排列，通过变更每个的显示位置，能够滚动显示多个画面量的字幕。另外能够将多个静止图像合成并输出，即使不输入影像信号，也能够只合成静止图像。

根据第4发明，具有将输入的影像信号的影像作为静止图像取出的帧取得部，能够将取得的静止图像在通信部输出。将影像信号的一个画面作为静止图像取出并保存，以后能用于与其它的静止图像的图像合成。

根据第5发明，能在通信部接收和传送装置的控制数据。向图像合成装置传送静止图像和其位置数据，从外部机器对图像合成装置进行控制。

根据第6以及第7发明，输入的影像信号和静止图像至少其中任何一个是被压缩的数据。通过使用压缩的数据，能够更进一步抑制传送通路和存储器的成本。

根据第8发明，输入的影像信号是被压缩的数据，输入的静止图像是非压缩的数据。通过只对字幕采用非压缩传送，在影像信号上显示，与将字幕和合成的图像压缩传送的情况相比，能够显示高品质的字幕。

根据第9以及第10发明，影像信号输入部的输入和通信部的输入的至少任一方通过可移动的记录介质进行。能够用于远距离合成摄影的影像和其字幕。

根据第11发明，影像信号接收部的输入和通信部的输入的至少任一方是与有限网络或者无线网络相连，从网络接收影像信号以及合成信号的至少一个。由此能够用于远距离合成摄影的影像和其字幕。

根据第12发明，合成信号是插入到影像信号的空白部分，影像信号接收部从接收到的影像信号中，分离合成信号，向通信部传送。因为影像信号和合成信号的全部都能从影像信号输入部得到，所以能够抑制传送通路的成本。

附图说明

图1表示根据转换器进行图像的合成的模式图。

图2表示本实施方式第1影像合成装置的构成框图。

图3是向影像合成装置输入的影像例的示意图。

图4是向影像合成装置输入的静止图像例的示意图。

图5是像素数据的数据结构示意图。

图6是表示记录部中静止图像的记录状态的概况图。

图7是包含静止图像的管理区域的放大图。

图8是合成影像和静止图像得到的合成图像的示意图。

图9A是记录读出数据区域的管理区域的示意图。

图9B是合成到影像中的包含静止图像的显示区域的示意图。

图10A是记录读出数据区域的管理区域的示意图。

图10B是合成到影像中的包含静止图像的显示区域的示意图。

图11A以及图11B是记录区域上的静止图像、记录区域上的静止图像、记录区域上的静止图像、读出的静止图像的区域、输入的影像信号的区域、显示的静止图像40的示意图。

图12A以及图12B是读出的静止图像的区域、读出的静止图像的区域、显示的静止图像的示意图。

图13A以及图13B是读出的静止图像的区域、读出的静止图像的区域、显示的静止图像的示意图。

图14A以及图14B是读出的静止图像的区域以及显示的静止图像的示意图。

图15表示根据本实施方式的第2影像合成装置的构成框图。

图16是控制数据传送顺序的例子的示意图。

具体实施方式

以下，参照附图说明本发明的实施方式。

图2表示根据本实施方式的影像合成装置8的构成框图。影像合成装置8包括：影像信号接收部12、数据通信部13、记录部14和合成部15。影像合成装置8合成影像9以及静止影像10，产生合成影像16。

说明影像合成装置8的各个构成要素。影像信号接收部12从影碟机、照相机等的外部机器接收作为影像信号的影像9，输出到合成部15。影像9可以是动态图像也可以是静止图像。数据通信部13从个人计算机(以下简称PC)等的外部机器接收信号。其信号是包含应当和影像9合成的静止图像10和输入的静止图像在影像信号上的位置数据11的合成信号。静止图像10既可以是如图所示的适当的图形，也可以是字幕等。对于静止图像10以及其位置数据，在后面详细叙述。采用SDI电缆和合成电缆传送影像信号以及合成信号。另外例如使用PC等的情况，能通过LAN、USB、IEEE1394等输入静止信号。对于静止图像，也可以使用软盘和光盘等的记录介质输入静止图像。

数据通信部13向记录部14输出接收的合成信号。记录部14接收合成信号并记录。另外合成信号中如果包含静止图像以及/或者位置数据的读出指示，记录部14读出该数据并输出。记录部14是例如动态随机存取存储器(DRAM)等的半导体记录装置、硬盘驱动器(HDD)、磁带等的磁记录装置等的记录装置。合成部15接收从影像信号接收部12传来的影像9，还有从记录部14传来的静止图像的图像数据、以及位置数据，进行合成。合成部15将合成的影像(合成影像16)作为合成影像信号输出。输出的合成影像16通过显示器等的显示部(图中未表示)显示。

接着，考虑如下例子，影像信号接收部12接收由影碟机播放的表示影像9的影像信号，而且，数据通信部13接收通过PC传送的静止图像以及其位置数据。

首先说明影像信号如何输入到影像合成装置8中。图3是向影像合成装置8(图2)输入的影像的例子的示意图。影像区域17显示的画面的宽度为W，高度为H。这些表示以像素作为1单位时的长度。首先输入相当于区域17最上部1行的像素数据。具体说，按顺序输入从左端(0，0)开始至右端(W-1，0)为止的像素的像素数据。输入右端(W-1，0)的像素数据之后，接着按顺序输入下一行从左端的像素开始至右端为止的像素。也就是说，输入从(0，1)开始至(W-1，1)为止的像素数据。以下同样，依次输入共计H行的像素数据。由于影像信号接收部12(图2)是根据以上的顺序接收影像信号，所以根据影像信号，能够得到要传送的影像。

接着说明合成信号如何输入到影像合成装置8中。图4是向影像合成装置8(图2)输入的静止图像的例子的示意图。框19内的三角形的图像，是合成的静止图像。框19内的三角形的图像，相对于图像信号的区域18，是在图示的位置上合成。另外由于影像合成装置8(图2)是根据位置数据将静止图像合成到影像中，所以对于静止图像，只要实际显示的部分，即框19内的三角形的图像即可。本实施方式中为了使显示处理简单地进行，将包含三角形的矩形区域19作为静止图像使用。此时，矩形内三角形以外的区域，是作为表示透明的部分的数据，构成静止图像的图像数据的一部分。

为了特别指定合成静止图像的位置，影像合成装置8(图2)利用包含在合成信号中的位置数据。以往，由于不存在表示静止图像位置的数据，对于影像信号上表示的部分即使只是在影像的一部分上合成静止图像的情况，也需要输入影像全体区域18的大小的静止图像。本发明中，因为利用了位置数据，只需要具备必要的最小限大小的静止图像就足够了。由此，能够减少合成的静止图像的数据量，据此能够缩短传送时间。

静止图像的位置数据11，由包围了三角形的矩形区域19的左上角的坐标表示。图示的例子中是(ax1，ay1)。合成信号是由表示静止图像的信号和表示位置数据的信号构成。即数据通信部13首先接收静止图像，接着接收位置数据。在数据通信部13中，输入静止图像区域19的最上行的像素数据。也就是说，按顺序输入由左端(ax1，ay1)到右端(ax2，ay1)为止的像素的像素数据。输入最上行右端(ax2，ay1)的像素数据之后，移动到下一行，同样输入从左端(ax1，ay1+1)到右端(ax2，ay1+1)的像素数据。以下同样依次输入区域19中的所有行的像素数据。输入静止图像之后，输入由(ax1，ay1)表示的位置数据11。位置数据X坐标和Y坐标分别占用2字节大小，首先输入X坐标数据之后输入Y坐标数据。

接着说明构成静止图像的各个像素的像素数据的构成。像素数据由亮度数据Y、色差数据Pb和Pr、透过率的像素数据K构成。图5是像素数据的数据结构示意图。如图所示，像素数据按照K、Y、Pb、Pr的顺序排列，按照此顺序输入到影像合成装置8(图2)中。亮度数据Y、色差数据Pb和Pr是表示像素的颜色的数据。透过率数据K是表示像素透过程度的数据。如果透过率K为0，和影像9(图2)合成时，以像素本来的颜色表示。如果透过率K为非0的情况，意味着像素以半透明的状态表示。即和影像9(图2)合成时，能够透过其看到其下的影像9(图2)。如果透过率K达到最大，像素变成完全透明，以和只显示像素9(图2)的情况相同的状态合成。这些数据分别占有1字节，具有0～255的数值。构成静止图像的各个像素，多以红·绿·兰三原色组成的RGB数据表示。此时，通过下式变换为Y、Pb、Pr的数据。

Y＝0.299*R+0.587*G+0.114*B

Pr＝0.5*R-0.4187*G-0.0813*B+128

Pb＝0.1687*R-0.3313*G+0.5*B+128

当和影像9(图2)合成时，透过率K可以直接使用。但是根据静止图像的种类，存在不具有透过率的情况。这种情况下，将透过率设为0，照原样显示像素。即按照不能看见影像9(图2)那样进行合成。设定的透过率K的值并非只限定于0。也可以设定为0以外的固定值，根据静止图像的大小和显示位置、从该静止图像开始显示的经过时间等，在图像合成装置内自动地改变其值。另外也可以和静止图像和位置数据一起，从外部输入透过率自身、或者控制透过率的指示。当从PC输入静止图像时，也可以通过PC上执行的应用程序等的程序变换像素数据，设定位置数据。此处示例了将静止图像的像素变换为Y、Pb、Pr、K的数据并输入的例子，输入像素的形式可以是任意的。另外输入静止图像的机器也可以是PC以外的机器。

接着说明静止图像如何记录到记录部14(图2)中。在数据通信部13(图2)接收的静止图像以及其位置数据，在记录部14中记录。本实施方式中，只有实际显示部分的静止图像在数据通信部13(图2)接收。也就是说，由于不需要如同以往的，和合成的影像9(图2)同样大小的区域的图像，所以记录部14(图2)占用的存储器容量能大幅减少。显然，静止图像的记录所必要的记录容量随着静止图像的大小而变化。

图6是表示记录部14(图2)中静止图像的记录状态的概况图。在表示相当于一画面的容量的部分记录区域20中，记录了多个静止图像21、22、23。在部分记录区域20中，将在上下方向一个画面的四分之一的区域作为最小的管理单位。根据静止图像纵向的长、即高(图4的(ay2-ay1))，变更所使用的管理区域数，管理简单而且不浪费记录区域就能够记录静止图像。对于静止图像21和静止图像23，由于图像的高在一个画面高度的4分之1以下，所以使用的管理区域为1个。而对于静止图像22，图像高在画面的4分之1以上而在2分之1以下，所以使用的管理区域为2个。在管理区域中，从1开始依次分配管理号，作为记录各个静止图像的，区域的开始序号使用。对于静止图像21，开始序号为1使用区域数为1，对于静止图像22，开始序号为2，使用区域数为2，对于静止图像23，开始序号为4，使用区域数为1。开始序号和使用区域数，与位置数据一起记录在记录部14(图2)的记录区域上。合成部15(图2)利用开始序号和使用区域数，在进行合成时取得必要的静止图像。

静止图像以管理区域单位读出。在影像上显示静止图像时，收纳在画面内的管理区域全体成为显示的对象。因此，像静止图像21一样，输入的部分只使用了管理区域的一部分的情况下，有必要将其余的部分变为透明的数据。为变为透明的数据，只需将所述的透过率K设定为最大值即可。

图7是包含静止图像21的管理区域的放大图。该管理区域由静止图像21的图像数据写入的区域24和静止图像21的图像数据未写入的区域25所构成。区域25的记录元件的初始值，因为并非限定于表示透明的数据，所以在输入静止图像21，在区域24中记录时，影像合成装置8(图2)的控制部(图中未表示)将区域25的记录元件设定为表示透明的数据。因为该动作，由于只是在影像合成装置8(图2)内部改写记录区域的处理，因此和从外部输入透明数据相比，能非常高速进行。

上述静止图像的记录方法只是一个例子，记录的顺序、是否设定管理区域、设定管理区域时的区域大小等都是任意的。例如：根据静止图像数据和位置数据等的保存数据大小，管理区域的大小可变，在记录区域中新设置记录各管理区域的起始地址和保存的静止图像的大小的表。由此能进一步节省记录区域，在管理区域中将空区域设定为透明的数据也没有必要了。另外对于静止图像的位置数据，只要能取出对应于静止图像的位置数据，怎样记录都可以。

接着说明合成部15(图2)合成影像和静止图像，产生合成影像的步骤。如前所述，由于存在记录部14(图2)的记录区域中记录了多个静止图像的情况，因此有必要在其中选择合成所需要的静止图像。合成部15(图2)指定记录区域的管理序号选择静止图像。一旦由合成部15指定了管理序号，记录部14(图2)就读出在该序号表示的区域中所记录的静止图像的开始序号、使用的区域数、位置数据。然后从该开始序号表示的区域开始，按使用区域数，读出图像数据。合成部15(图2)接收读出的静止图像的图像数据和位置数据，通过合成到影像信号中，在影像上显示静止图像。图8是将影像(图3)和静止图像(图4)合成所得到的合成图像的例子的示意图。另外读出的静止图像是否是需要的静止图像，使用者在实际画面上显示之前是不能知道的。因此合成处理之前，也可以只显示图8所示的静止图像。

读出静止图像数据时，读出的显示数据的大小和其读出开始地址，根据静止图像的显示位置而不同。图9A和图9B、图10A和图10B是静止图像的读出和显示的关系的示意图。另外以下的说明只是一个例子，采用其它怎样的方法对和影像信号的合成都没有问题。

图9A以及图9B是，静止图像的左上部位于合成对象影像内的位置(ax1，ay1)时，静止图像读出和显示的关系的示意图。图9A表示记录了读出的数据区域28的管理区域27。图9B表示合成到影像29的包含了静止图像的显示区域30。该例中，静止图像从其左上端开始显示。因为显示区域30的宽度以(W-ax1)表示，合成部15(图2)读出由记录区域27的开始地址0x000000开始，宽度为(W-ax1)，高为1个管理区域的数据。如上所述，由于1个像素是由4字节的数据构成的，作为最初1行的数据，读出由0x000000开始的(W-ax1)*4字节的数据。以后，将读出开始地址从0x000000开始依次增加(W*4)，同时读出(W-ax1)*4字节的数据，重复这样的操作即可。

图10A以及图10B是，静止图像的左上端位于合成对象影像外的位置(-ax2，ay2)时，静止图像的读出和显示的关系的示意图。图10A表示记录了读出数据区域32的管理区域32。图10B表示合成到影像33包含静止图像的显示区域34。该例中，静止图像是从其左上端开始在X方向上只移动了ax2的位置显示的。由此读出开始地址为0x000000+ax2*4。因为显示区域32是宽度为(W-ax1)，高为1个管理区域的区域，所以合成部15(图2)，作为最初1行的数据，读出由0x000000+ax2*4开始的(W-ax2)*4字节的数据。以后，将读出开始地址从0x000000+ax2*4开始依次增加(W*4)，同时读出(W-ax2)*4字节的数据，重复这样的操作即可。

记录部14中记录的静止图像的位置数据，并不一定需要由外部输入的数据进行更新。也可以由变更影像合成装置8(图2)的位置数据的程序控制的变更控制部(图中未表示)，变更记录部14(图2)中记录的位置数据。此时，通过由程序处理连续改变位置数据，使影像上显示的静止图像，实现由画面的左端开始向右移动等的处理。

这里，对于在影像上显示多个静止图像的情况，连续改变各个位置数据，就能在横向或者纵向上，滚动显示长的静止图像。例如考虑横向3个画面长的细长图像由画面的右端开始出现，向左滚动，在画面的左端消失的显示情况。影像合成装置8(图2)按每一个画面分割图像，每一个分别进行显示处理。图11A～图14B是说明滚动显示处理的步骤的图。图11A以及图11B，表示记录区域上的静止图像35、记录区域上的静止图像36、记录区域上的静止图像37、读出的静止图像35的区域38、输入的影像信号的区域39、显示的静止图像40。图12A以及图12B，表示读出的静止图像35(图11A)的区域41、读出的静止图像36(图11A)的区域42、显示的静止图像43以及44。图13A以及图13B，表示读出的静止图像36(图11A)的区域45、读出的静止图像37(图11A)的区域46、显示的静止图像47以及48。图14A以及图14B，表示读出的静止图像37(图11A)的区域49、显示的静止图像50。

参照图11B，首先3张静止图像之中的第1张静止图像35，从画面的左端出现。静止图像35的最初的位置数据，在画面的右端(W-1，y)。之后，相隔一定时间，按设定的移动量改变X坐标，进行变更静止图像的显示位置的处理。如果移动量一定而且在一定程度上是较小的数值，则能看到静止图像35向左滚动。图11B是静止图像40的位置为(dx1，y)时的例子。因为静止图像40的左上端在画面内，从记录区域中的读出方法和图9A以及图9B的例子相同，从记录区域的开始地址0x000000开始1行1行读出W-dx1个像素数据。

静止图像40向左移动，成为其左端从画面左端向外伸出的状态的情况时，在静止图像40的旁边，显示下一个静止图像36。静止图像36的显示位置，在静止图像40右上端的位置的1个像素的右侧。静止图像36在画面上显示之后，在静止图像35的显示位置变更处理之后进行静止图像36的显示位置变更。这里，静止图像36的移动量使用和静止图像35相同的值。

图12B是第1个静止图像43和后续的第2个静止图像44的示意图。静止图像43是静止图像35A(图11A)的一部分，静止图像44是静止图像36(图11A)的一部分。图12B是静止图像43的位置为(-dx2，y)，静止图像44的位置为(ex1，y)时的例子。因为静止图像43的左上端在画面外，所以从记录区域读出数据的方法，和图10A和图10B的例子相同。即对记录区域的开始地址只增加相当于dx2个像素的偏移量，从0x000000+dx2*4开始1行1行地读出W-dx2个像素数据。因为静止图像44的左上端在画面内，所以从记录区域读出数据的方法，和图9A和图9B的例子相同。从记忆区域的开始地址0x100000开始1行1行地读出W-ex1个像素数据。

当静止图像43完全处于画面外之后，进行静止图像44和静止图像37(图11a)的显示处理。该处理与静止图像43和静止图像44的显示处理相同。图13B是第2个静止图像47和后续的第3个静止图像48的示意图。静止图像47是静止图像36(图11A)的一部分，静止图像48是静止图像37(图11A)的一部分。

当静止图像47完全处于画面外之后，只对静止图像48进行显示处理。图14B是第3个静止图像50的显示位置为(-fx2，y)时的例子的示意图。静止图像50是静止图像37(图11A)的一部分。因为静止图像50的左上端在画面外，所以从记录区域读出数据的方法，和图10A和图10B的例子相同。即对记录区域的开始地址只增加相当于fx2个像素的偏移量，从0x200000+fx2*4开始1行1行地读出W-fx2个像素数据。当静止图像50完全处于画面外之后，显示处理全部结束。

在以上的例子中，表示了3个画面的图像横向滚动的例子。但是，静止图像也可以超过3个画面。另外使纵向长的图像在纵向滚动时，只要同样分割图像，分别变更每个的显示位置即可。

图像的合成并非仅限于影像信号和静止图像的组合。例如，影像合成装置8(图2)也能够将静止图像和静止图像合成并输出。如果是背景上不需要动的情况，能够构筑只有静止图像的影像合成系统，抑制系统的成本。

根据本实施方式的影像合成装置，不只用于向输入影像的静止图像的合成。具体说，影像合成装置也可以具有取出输入的影像的1帧，变换为帧静止图像并输出的功能。取出影像信号的静止信号存储在外部机器中，以后能作为输入到影像合成装置中的背景图像使用。影像合成装置和外部机器的通信，利用进行数据通信的数据通信部。

图15是表示根据本实施方式的影像合成装置51的构成框图。影像合成装置51包括：影像信号接收部54、数据通信部55、帧取得部56、记录部57和合成部58。数据通信部55和数据通信部13(图2)具有同等的功能，进一步具有向外部机器传送数据的功能。影像合成装置51和影像合成装置8(图2)同样，具有合成并输出影像和静止图像的功能。和影像合成装置8(图2)的构成元件具有相同名称的影像合成装置51的构成元件，因为具有相同的功能，所以省略其说明。

以下说明影像合成装置51新设置的帧取得部56和与帧取得部56相关联的影像合成装置51的工作。帧取得部56利用输入到影像信号接收部54的表示影像52的影像信号，抽出并取得影像52的帧。取出帧时，切换影像合成装置51内部的影像信号的传送通路，将影像信号输入到帧取得部56。帧取得部56取出在发出取出指示时刻的影像信号的帧，利用数据通信部55向外部输出。因为将影像信号的1帧作为静止图像而取出，所以输出的静止图像的大小通常和影像信号的大小相同(W，H)。

像素和输入的静止信号同样，亮度数据为Y，色差数据为Pb和Pr，透过率数据为K，分别占用1字节的大小，按照K、Y、Pb、Pr的顺序输出。亮度数据Y和色差数据Pb、Pr可以从影像信号中原样得到。透过率数据由于不包含在影像信号中，透过率设定为0，原始的像素原样显示。另外，设定的透过率K的值不只限于0。也可以设定为0以外固定的值，根据静止图像的大小和显示位置、从此静止图像显示开始的经过时间等，在图像合成装置内自动改变其值。另外也可以和静止图像和位置数据一起，从外部输入透过率自身、或者控制透过率的指示。

对于构成帧的像素的传送顺序，也和输入的静止图像同样，首先从图像的左上端开始至右上端为止传送第1行的像素，之后移到第2行，以下同样直到传送到最后1行为止。

以上说明了取得影像信号的帧并输出的1例。但是，这只是一例，采用其它何种方法取得影像信号都没有问题。例如也可以将帧取得部56取得的静止图像输入到数据记录部57。另外，也可以将帧取得部56取得的静止图像在合成部58自动放大、缩小、翻转后，和影像信号合成。此时的放大、缩小率和翻转角度也可以是合成装置58中保存的固定的值。或者也可以事先记录控制方法，以及通过数据通信部55从外部输入放大、缩小率、翻转角度和其控制方法。

在影像合成装置8(图2)和影像合成装置51中，利用取得静止图像和其位置数据的数据通信部，也能够接收和传送控制数据。所谓控制数据是指控制影像合成装置的动作的数据，是从外部机器向影像合成装置传送以及由影像合成装置向外部机器传送。

控制数据的功能的例子如下所述。首先从图像合成装置向外部机器传送的控制数据的功能是：(a)静止图像的显示位置的变更、(b)静止图像的显示方法的变更、(c)从记录部的静止图像的删除、(d)合成图像输出的控制(播放、暂停、停止等)、(e)主机的工作环境设定等。作为由图像合成装置向外部机器传送的控制数据的例子可以列举出(f)对外部机器的控制的应答数据、(g)现在的工作状态、(h)工作时间等的维护信息等。

控制数据包含特别指定上述功能的数据(主命令)和对其功能必要的参数(子命令)。所谓参数是指例如对于上述(a)来说，表示变更后的静止图像的显示位置的数据，如果对于上述(g)，是表示“合成中”、“合成完毕”等的工作状态的数据。图16是控制数据的传送顺序的例子的示意图。要求的动作根据主命令和子命令判断。这些命令分别占有2字节的大小。对于只用主命令和子命令不能传送必要的数据的情况，进一步添加数据后，传送数据。添加的数据的长度根据要求的动作而不同，接收方有必要知道接收的控制数据的长度。因此在控制数据的头部包含4字节长的控制数据的长度。不存在添加的数据时，控制数据总的长度为8字节，附加数据为4字节时，控制数据总的长度为12字节。不只限于控制数据，静止图像也采用这样的形式传送。例如传送100×100像素的静止图像时，静止图像的数据量为100×100×4＝40000字节，数据的总长为40008字节，将静止图像作为添加数据传送即可。

以上说明了进行控制数据的收发的例子。但是，至此为止的说明只不过是一个例子，也能够采用其它的方法。通过利用这样的控制数据，从外部可以控制机器，用很少的成本就能够从远方对图像合成装置进行控制，输出合成图像。

本发明的图像合成装置中，输入的影像信号以及合成信号中所包含的影像以及静止图像的信息量被压缩的情况下，在图像合成装置内部还原到非压缩的状态进行合成处理。影像信号中所包含的影像的信息量以及合成信号的静止图像数据的信息量，例如依据MPEG-2标准压缩(编码)，解码。

输入影像信号以及/或者合成信号的传送通路的带宽较小的情况下，为使传送的信号的信息量尽可能的少，而且确保良好的品质，可以考虑只对字幕的静止图像非压缩传送，这是因为如果对字幕那样的文字数据进行压缩，品质的下降很显著。对于这种情况，以往的图像合成装置中，由于静止图像中需要画面全体的数据，因此传送的数据量增大。但是在本实施方式的图像合成装置中，因为只需传送文字部分的数据即可，即使是非压缩的情况数据量也减少。因此通过对影像信号进行压缩，对合成信号非压缩处理，即使在带宽较小的传送通路也能够在确保画质的前提下合成图像。

影像信号接收部以及数据通信部至少其中一方，也可以做成与可移动的记录介质(例如SD(安全数字)卡和DVD-RAM))的播放装置之间的接口部。例如影像合成装置为PC时，也能够从作为外部机器的DVD-RAM驱动器向具有IEEE1394接口功能的影像信号接收部传送影像信号。由此能够用于在远方制作的图像资料的合成。通过将影像信号接收部以及/或者数据通信部与有限网络和无线网络相连接，也能够用于在远方制作的图像资料的合成。

本说明书所记载的实施方式中，影像信号的传送通路和合成信号的传送通路是不同的传送通路。但是，也可以将其作为一个传送通路，将所有的数据一起传送。在输入的影像信号的、表示影像部分以外的空白部分插入包含合成信号(静止图像和其位置数据)，能够在一个传送通路输入所有的信号。空白部分的合成信号的分离可以在影像信号接收部进行，也可以在数据通信部进行。

Claims

1、一种影像合成方法，对影像和静止图像进行合成，其特征在于，具有：

接收包含影像的影像信号的步骤；

接收包含具有比所述影像的显示尺寸还要小的显示尺寸的静止图像、以及表示相对于所述影像的该静止图像的合成位置的位置数据的合成信号的步骤；

记录根据所接收的所述合成信号得到的所述静止图像以及所述位置数据的步骤；

根据所记录的所述位置数据，将根据所接收的所述影像信号得到的所述影像、以及所记录的所述静止图像合成并输出的步骤；和

连续变更所记录的所述位置数据，连续改变相对于所述影像的所述静止图像的合成位置的步骤。

2、一种影像合成方法，对影像和静止图像进行合成，其特征在于，具有：

接收包含影像的影像信号的步骤；

记录根据所接收的所述合成信号得到的多个所述静止图像以及对应的多个所述位置数据的步骤；

根据所记录的所述多个位置数据的每一个，将根据所接收的所述影像信号得到的所述影像、以及所记录的所述多个静止图像合成并输出的步骤；和

3、根据权利要求1所述的影像合成方法，其特征在于，

进一步包括将根据所述影像信号得到的所述影像，作为帧图像取得的步骤；

输出所取得的所述帧图像。

4、根据权利要求1所述的影像合成方法，其特征在于，

接收并传送控制影像合成装置动作的控制命令。

5、根据权利要求1所述的影像合成方法，其特征在于，

所述影像信号中所包含的影像的信息量是被压缩的。

6、根据权利要求1所述的影像合成方法，其特征在于，

所述合成信号中所包含的静止图像的信息量是被压缩的。

7、根据权利要求1所述的影像合成方法，其特征在于，

所述影像信号中所包含的影像的信息量被压缩，所述合成信号中所包含的静止图像的信息量未被压缩。

8、根据权利要求1所述的影像合成方法，其特征在于，

接收根据在可移动的记录介质中记录的数据产生的影像信号。

9、根据权利要求1所述的影像合成方法，其特征在于，

接收根据在可移动的记录介质中记录的数据产生的合成信号。

10、根据权利要求1所述的影像合成方法，其特征在于，

从所述网络接收影像信号以及合成信号中的至少一个。

11、根据权利要求1所述的影像合成方法，其特征在于，

所述影像信号具有表示影像的部分和表示影像部分以外的空白部分，而且所述合成信号插入到所述影像信号的空白部分中；

从所接收的所述影像信号中，分离出所述合成信号并传送。