CN1235324A - 图像译码合成方法及图像译码合成装置 - Google Patents

Abstract

在任意形状目标译码合成装置中提供用户的对话性操作功能。具备:合成信息存储器,任意形状目标译码装置,形状存储器,存储任意形状目标译码装置译码后的形状信号,纹理存储器,存储任意形状目标译码装置译码后的纹理信号,矩形形状目标译码装置,图像存储器,合成装置,位置指定装置。通过本发明用户可以容易地实现对话性操作。

Description

图像译码合成方法及图像译码合成装置

本发明涉及实现用户的对话式操作的图像译码合成方法，以及图像合成信息编码方法。

目前在自然图像的编码中，利用了MPEG1、MPEG2等的图像压缩方式。进而，作为新的编码方式还有将运动图像分割成图像内的物体(目标)，对图像内的每一个目标、背景编码影像的目标编码方式。

图7是目标图像的合成的概念图。701是背景图像，702-705是图像中的目标的图像，706和707是合成图像。在目标中有具有如背景图像701那样的矩形形状的目标图像和具有如目标702-705那样的矩形以外的任意形状的任意形状目标。任意形状目标由表示颜色信号的纹理(texture)图像和表示形状的形状图像构成。设图像704、705的目标，位于图像702、703之前。

首先，将距背景最近的目标形状图像703与背景图像701及其纹理图像702合成，形成合成图像为706。接着，将位于上述目标前面的目标使用其形状图像705纹理图像704与合成图像706合成，形成合成图像为707。通过以上的操作生成合成图像。进而，在形状图像中，有只表示目标内外的2值图像，和可以用多值表示背景和目标的像素值的合成的比例，进行过半透明合成的图像。在目标编码方式中，可以对每个目标分别编码矩形形状目标图像(701)、任意形状目标图像(702,703)、任意形状目标图像(704,705)。在MPEG-4的图像编码方式中，还可以进行具有这种的矩形以外的任意形状的目标图像的编码。

另一方面，在计算机图形数据中，也可以进行编码方式的标准化。作为标准的编码方式，有虚拟现实建模语言(Virtual RealityModeling Language)。可以编码顶点、线、面的信息和其材质(颜色，光的反射系数等)等，在译码装置中可以译码虚拟现实建模语言的编码信号再构筑计算机图形的场景(Scene)。

最近，组合了上述目标编码方式和计算机图形数据的编码方式的编码方式也引起注目。如果在目标图像的合成中扩展计算机图形数据的编码方式，就可以进行目标编码方式的目标图像的变更、合成位置的变更，以及和计算机图形的合成。

在MPEG-4中，还可以实现组合了上述目标编码方式和计算机图形数据的编码方式的编码方式。通过在目标图像的合成中扩展计算机图形数据的编码方式，就可以实现将目标编码方式的目标图像与计算机图形图像合成。据此与以往方式相比可以实现更具表现力的图形。

图8是组合了目标编码方式和计算机图形数据的编码方式的图像译码合成装置的一例。进而，以下，将如上述扩展后的计算机图形数据编码格式那样记述目标图像的合成信息的编码信号称为合成信息编码信号。

801是合成信息编码信号，802是解析合成信息编码信号801后作为合成信息输出的合成信息编码信号译码装置，803是存储作为合成信息编码信号译码装置802的输出的合成信息的合成信息存储器，804是任意形状目标图像的编码信号，805是译码编码信号804的任意形状目标译码装置，806是存储任意形状目标译码装置805译码后的形状图像信号的形状存储器。807是存储任意形状目标译码装置805译码后的纹理图像信号的纹理存储器，808是矩形形状目标图像的编码信号，809是译码编码信号808的矩形形状目标译码装置，810是存储矩形形状译码装置809译码后的图像信号的图像存储器，811是根据存储在合成信息存储器803中的合成信息，合成存储在形状存储器806中的形状信号、存储在纹理存储器807中的纹理信号、存储在图像存储器810中的图像信号的合成装置，812是合成装置811输出的合成图象信号。

用图和表说明上述那样构成的图像译码合成装置的动作。合成信息编码信号译码装置802译码合成信息编码信号801，将合成信息存储在合成信息存储器803中。【表4】

Group{	1
		children [	2
Shape{	4
		appearance Appearance{	5
texture MovieTexture	6
		url“videol”	7
}	8
		}	9
geometry Rectangle{}	10
		}	11
]	12
		}	13

表4展示合成信息编码信号801的一例。这是用与虚拟现实建模语言类似的格式记述的例子(有关虚拟现实建模语言的格式的细节，例如，参考“VRML2.0-3D电脑空间(Cyberspace)构筑语言”，三浦宪二郎著，朝仓书店，1996)。在格式中包含节点和附随在上述节点上的域。在此例中Group、Shape、Appearance、MovieTextuer、Rectangle是节点，children是Group节点，appearance、geometry是Shape节点，texture是Appearance节点，url是MovieTexture节点的域。Group节点表示节点的集合，在children域中记述节点的集合。MovieTexture节点表示在Shape节点的geometry域表示的目标(在本例子中是Rectangle节点)上进行纹理变换的运动图像，将与运动图像对应的编码图像信号的位置记述在url域中。

合成信息编码信号还有被压缩为如表4那样的文本形式和二进制形式的形式，和例如如MPEG-4那样被进一步压缩成二进制的形式。

任意形状目标译码装置805输入并译码任意形状编码信号804，将译码后的形状图像存储在形状存储器806中，将纹理图像存储在纹理存储器807中。矩形形状目标译码装置809输入并译码矩形目标编码信号808，将译码后的图像存储在图像存储器810中。合成装置811根据存储在合成信息存储器中的合成信息，合成存储在纹理存储器807中的任意形状目标的纹理图像、存储在图像存储器810中的矩形形状图像。在任意形状图像的合成时使用形状存储器806的形状图像。合成装置811将合成后的图象信号作为合成图像信号812输出。通过使用合成信息编码信号，编码数据的制造者就可以自由地进行译码图像目标的合成。

另一方面，对于计算机图形的显示目标也可以尝试显示装置的用户进行对话式操作。在上述虚拟现实建模语言中可以实现相对于计算机图形目标的对话式操作。

但是，此前虽然已经考虑了对于计算机图形的目标进行对话式操作，但并没有考虑对于目标编码的任意目标图像由使用者进行对话式操作。例如，在用表4表示的例子的情况下，当用户要用鼠标等操作选择任意形状目标图像时，因为未考虑目标图像的形状信息，因此也可能选择在形状外的位置上的目标图像。

本发明是鉴于这种以往的问题提出的，其目的在于在任意形状目标的译码合成装置中容易地实现用户的对话式操作。

为了实现上述目的，本发明的第一方面的特征在于：在译码具有形状信息的图像编码信号、以形状单位译码合成目标图像的图像译码合成方法中，将译码上述图像编码信号得到的形状图像用于在画面上与在规定的位置上的该目标相关的目标图像的检出。

本发明的第二方面的特征在于：在译码具有形状信息的图像编码信号、以形状单位译码合成目标图像的图像译码合成方法中，只将译码上述目标图像得到的各种形状图像作为图像信号进行合成。

本发明的第三方面的特征在于：在本发明第二方面中，在几何变形上述形状图像后进行合成。

本发明的第四方面的特征在于：在本发明第二方面中，在上述形状图像中指定形状内的颜色进行合成。

本发明的第五方面的特征在于：在本发明第二方面中，在上述形状图像中变换纹理进行合成。

本发明的第六方面的特征在于：在译码具有形状信息的图像编码信号、以形状单位译码目标图像的图像译码合成方法中，输入表示在译码图像时得到的形状图像的合成信息编码信号，根据上述合成信息编码信号合成上述多个图像。

本发明第七方面的特征在于：具备合成信息编码信号译码装置，译码合成信息编码信号；合成信息存储器，存储作为上述合成信息编码信号译码装置的输出的合成信息；任意形状目标译码装置，译码矩形形状以外的任意形状的目标图像的编码信号；形状存储器，存储上述任意形状目标译码装置译码后的形状信号；纹理存储器，存储上述任意形状目标译码装置译码后的纹理信号；矩形形状目标译码装置，译码矩形形状图像的编码信号；图像存储器，存储上述矩形形状目标译码装置译码后的图像信号；合成装置，根据存储在上述合成信息存储器中的合成信息合成存储在上述形状存储器中的形状信号和存储在上述纹理存储器中的纹理信号和存储在上述图像存储器中的图像信号；位置指示装置，指定从上述合成装置输出的合成图像中的位置；形状选择装置，根据上述合成装置的指示只选择形状信号。

图1是展示在本发明的实施例1中的图像译码合成装置的方框图。

图2是展示本发明的实施例1中的目标图像的检出的概念图。

图3是展示本发明的实施例1中的合成信息存储器的概念图。

图4是本发明的实施例1中的合成信息编码信号译码装置的方框图。

图5是展示本发明实施例1中的目标图像的影像的生成的概念图。

图6是展示本发明实施例3中的合成信息编码装置的方框图。

图7是目标图像的合成的概念图。

图8是展示以往的图像译码合成装置的方框图。

以下，对本发明的具体的实施例参照图面加以说明。

首先说明用本发明实施例1实现的对话式操作。

图2是展示目标选择的概念的图。201是背景图像(矩形形状目标图像)，202是任意形状目标图像的纹理图像，203是与纹理图像202对应的形状图像，204是201-203的合成图像。假设任意形状目标202,203在前面。假设用户指示了205的位置。译码合成装置，查询存在于205的位置上的目标，检测出存在任意形状目标202、203。如果假设检测出的目标为用户选择出的目标，就可以实现由用户进行的目标选择。对于任意形状目标202、203通过分配用户的选择就可以和用户进行对话式操作。例如，可以实现如将用户的特定目标选择作为开始调用其它动作那样的由任意形状目标进行的按键操作，和例如由个人计算机的鼠标等进行的任意形状目标的拖放操作。

下面用图1-图5、表1-表3说明本发明的实施例1的图像译码合成装置。

图1是展示本发明的实施例1的图像译码合成装置的基本构成的一例的方框图。在图中，101是合成信息编码信号，102是译码合成信息编码信号101的合成信息编码信号译码装置，103是存储作为合成信息编码信号译码装置102的输出的合成信息的合成信息存储器，104是任意形状目标图像的编码信号，105是译码编码信号104的任意形状目标译码装置，106是存储任意形状目标译码装置105译码后的形状信号的形状存储器，107是存储任意形状目标译码装置105译码后的纹理信号的纹理存储器，108是矩形形状目标图像的编码信号，109是译码编码信号108的矩形形状目标译码装置，110是存储矩形形状目标译码装置109译码后的图像信号的图像存储器，111是根据存储在合成信息存储器103中的合成信息，合成存储在形状存储器106中的形状信号和存储在纹理存储器107中的纹理信号和存储在图像存储器110中的图像信号的合成装置，112是合成装置111输出的合成图像信号，113是指定输出合成图像中的位置的位置指示装置，114是根据合成装置111的指示，只选择形状信号的形状选择装置。

下面用图和表说明上述构成的图像译码合成装置的动作。

合成信息编码信号译码装置102输入并译码合成信息编码信号101，将其存储在合成信息存储器103。有关合成信息编码信号101、合成信息编码信号译码装置102、合成信息存储器103的详细情况在以后叙述。任意形状目标译码装置105输入并译码任意形状目标图像编码信号104，将译码后的形状图像存储在形状存储器106中，将译码后的纹理图像存储在纹理存储器107中。矩形形状目标译码装置109输入并译码矩形形状目标图像编码信号108，将译码图像存储在图像存储器110中。合成装置111，根据存储在合成信息存储器103中的合成图像信息，合成存储在形状存储器106中的形状图像、存储在纹理存储器107中的纹理图像、存储在图像存储器110中的图像，之后作为合成图像信号112输出。

下面说明合成信息编码信号。

【表1】

Group{	1
		children[	2
TouchSensor{......}	3
		Shape{	4
appearance Appearance{	5
		texture MovieTexture	6
url“videol”	7
		}	8
}	9
		geometry Bitmap{}	10
}	11
		]	12
}	13

表1是展示合成信息编码信号的一例。是用和虚拟现实建模语言中的格式类似的格式叙述的。以下用图3、图4说明表1。

图3是从表1的合成信息编码信号得到的合成信息的概念图，图4是合成信息编码信号译码装置102的详细的方框图。401是输入合成信息编码信号101选择适当的节点解析装置的节点解析选择装置，402-409是对于各种节点的节点解析装置，410-417是存储作为节点解析装置402-409的解析结果的合成信息的节点表。假设Group、Shape、TouchSensor节点和虚拟现实建模语言(格式的细节例如参考“VRML2.0-3D电脑空间构筑语言”，三浦宪二郎著，朝仓书店，1996)相同，在此省略详细说明。用以上的图说明表1的合成信息。进而，节点的名称是为了便于说明而附加的，如果节点具有相同的功能也可以用其它的名称。

在表1的例子中的TouchSensor节点，是用于用户例如在用鼠标点击了与TouchSensor节点有关的形状时进行其它处理的节点，在此节点中，可以记述和用户的对话式操作。在选择了与该TouchSensor节点相关的形状时，该TouchSensor节点变为有效(该TouchSensor节点的有效时的处理，当然被记述在该节点中，但在本实施例中为了简单说明而省略了)。在本实施例1中，首先，记述使用了上述的TouchSensor节点的对话式操作。

通过表1的第1行的Group节点，节点解析选择装置401选择Group节点解析装置409。Group节点解析装置409检测出children域。在children域中有Shape节点。这些信息通过Group节点解析装置409，可以存储为例如Group节点表301的形式。同样的节点解析装置的选择、解析处理，可以对Group节点的children域内的各节点进行。在全部节点的解析后，例如可以得到图3那样的合成信息。箭头表示参照另一节点表，此参照被作为引导参照节点数据表的存储器指针和识别符保持。

采用本发明的合成信息编码信号和以往的不同点在于，存在用于表示目标图像信号的形状的Bitmap节点。在此例子中，Bitmap节点参照记述在MovieTexture节点的url域中的被包含在图像编码信号内的形状信号。此形状信号与TouchSensor节点相关联，在选择了形状内的位置时TouchSensor节点变为有效。

下面说明在使用了TouchSensor节点的情况下，对于任意形状目标图像的对话式操作。用户，例如，用鼠标等的位置指示装置113指定图像中的位置。从位于前面的目标开始如以下那样顺序判定目标选择。用形状选择装置114选择应该判定的目标图像的形状存储器内的形状，查询被指定的图像中的位置的像素值，如果该像素值表示目标形状内，则判定为该目标图像已被选择。当与被选择出的目标图像相关的TouchSensor节点存在时，使该TouchSensor节点有效。当该目标图像未被选择时，至背景图像之前反复执行从前面的目标图像开始顺序进行的判定处理。

如上所述，在本实施例1中，定义表示目标图像的形状的节点，通过使用该节点，就可以实现在任意形状目标的译码合成装置中的用户的对话式操作。

进而，在本实施例1中定义了可以从图像目标中参照形状的Bitmap节点，但也可以如上所述扩展TouchSensor节点的定义。

【表2】

Group{	1
		children[	2
TouchSensor{......}	3
		Shape{	4
appearance Appearance{	5
		texture MovieTexture	6
url“videol”	7
		}	8
}	9
		geometry Rectangle{}	10
}	11
		]	12
}	13

表2是包含扩展后的TouchSensor节点的合成信息编码信号的例子。扩展后的TouchSensor节点，和通常的TouchSensor节点一样，对于TouchSensor节点来说与被包含在父节点内的全部子节点内的形状相关。在以往的方法中，表2的第3行的TouchSensor节点与第10行的Rectangle的形状相关，当选择了Rectangle节点表示的目标时使TouchSensor节点有效。但是，当在MovieTexture节点的url域中在被参照的目标图像中包含形状的情况下，在形状以外的位置时不应该使TouchSensor节点有效。由此，在和利用了Bitmap节点的例子相同的方法中，可以判断在选择出的位置上目标图像是否存在。

另外，在本实施例1中，为了进行对话式操作使用了TouchSensor节点，但通过使用在虚拟现实建模语言中的其它传感器节点(CylinderSensor节点，SphereSensor节点，PlaneSensor节点)也可以进行同样的处理。和本实施例1的TouchSensor一样，在将这些传感器节点的功能扩展为任意形状目标的编码信号用后，也可以将扩展功能后的传感器节点作为新的节点定义。

在此例子中，说明了扩展TouchSensor的定义，但也可以将与扩展后的TouchSensor具有相同的功能的节点作为和TouchSensor不同的新的节点定义。

在上述实施例1中叙述了对于形状图像的TouchSensor节点的功能，但也可以将形状图像功能用于显示。即，在形状图像中可以进行几何变形，颜色的附加，纹理的附着，进行合成显示。以下，作为本实施例2，叙述使用形状图像后的目标图像的影象的生成。

图5是目标图像的影像生成的概念图。501是背景图像，502是目标的纹理图像，503是目标的形状图像，504是变形形状图像503后的形状图像，505、506是合成图像。形状图像503被变形为用适当的几何变形表示其影像的形状图像504。在背景501上合成表示其影像的形状图像504，得到合成图像505。这时代替使用纹理图像502，假设该影像的图像504的形状内的像素值(影像的像素值)为(黑)一定，进行合成。合成该合成图像505和任意形状目标图像502、503并输出合成图像506。

【表3】

Group{	1
		children[	2
Transform{	3
		scale{......}	4
translation{...}	5
		children[	6
Shape{	7
		appearance Appearance{	8
material Material{	9
		diffusecolor 0,0,0	10
}	11
		}	12
geometry Bitmap{	13
		url″videol″	14
}	15
		}	16
]	17
		]	18
]	19
		}	20

表3是生成影像时的合成信息编码信号的例子。假设Group,Transform,Shape,Appearance,Material节点和虚拟现实建模语言中的节点相同，在此省略详细说明。在Bitmap节点的url域中记述目标图像(“videol”)的编码信号的所在。在第9-11行的Material节点中给出了上述形状的材质特性(颜色)。用Transform节点几何变形赋予了颜色的形状生成任意形状目标图像的影像。也可以输出合成了此影像和上述任意形状目标图像的图像。当在形状上赋予纹理的情况下，可以在Appearance节点的texture域中指定纹理。

进而，在本实施例2中的图像信号可以是静止图像，也可以是运动图像。

作为在本实施例2中的任意形状目标图像编码信号，可以使用例如像透过型GIF文件，和透过型动画GIF文件那样的，指定了透明像素值的图像编码信号。这种情况下，通过图像的像素值是否透明就可以得到目标形状，可以进行和本实施例2同样的处理。

在本实施例2中，输入并译码了编码纹理图像和形状图像后的任意形状目标图像信号，但也可以输入并译码只有形状图像的编码信号。

在本实施例2中，当只参照任意形状目标编码信号的形状图像的情况下，也可以只译码形状图像。

进而，在本实施例2中，为了表示包含形状信号的编码信号的所在采用了使用Bitmap节点的url域的格式，但例如也可以如实施例1那样地使用MovieTexture节点，采用在其中的url中记述编码信号的所在的格式。这种情况下如果也用被记述在Material节点中的材质特性(颜色)变换纹理，则可以得到和本实施例2同样的效果。

本实施例1、2的任意形状目标译码装置和矩形形状目标译码装置分别有一个，但也可以分别有多个，或者只有其中一方。

本实施例1、2的合成信息编码信号也可以用如表1那样的文字形式和二进制形式进行编码。

在本实施例1、2中作为合成信息编码信号的格式参照了虚拟现实建模语言中的格式，但如果是可以表现表示目标图像的形状的功能(相当于本实施例2的Bitmap节点、扩展后的TouchSensor的功能)的格式，也可以使用其他形式的格式。

在本实施例1、2中，虽然分别输入了合成信息编码信号、任意形状目标编码信号、矩形形状编码信号，但也可以输入多路化的数据，对各个数据进行逆多路化处理。

本发明的实施例3，是生成在本发明的实施例1中输入的合成信息编码信号、任意形状目标图像编码信号、矩形形状目标编码信号的图像编码合成信息编码装置。

图6展示本发明实施例3的图像编码合成信息编码装置的基本构成的一例的方框图，在图中，601是合成信息，602是编码合成信息601的合成信息编码装置，603是合成信息编码装置602输出的合成信息编码装置，604是形状图像信号，605纹理图象信号，606是编码形状图象信号604和纹理图象信号605的任意形状目标编码装置，607是任意形状目标编码装置606输出的任意形状目标编码信号，608是矩形形状图象信号，609是编码矩形形状目标图象信号608的矩形形状目标编码装置，610是矩形形状目标编码装置609输出的矩形目标编码信号。

下面用附图说明上述那样构成的图像编码合成信息编码装置的动作。

合成信息编码装置602输入合成信息并编码后，将其作为合成信息编码信号603输出。在该合成信息编码信号603的格式中可以使用在本发明的实施例1中叙述过的格式。该合成信息编码装置602，可以编码表示目标图像的形状的节点。任意形状目标编码装置606输入纹理图象信号604和与之对应的形状图象信号605，编码后作为任意形状目标编码信号607输出。矩形形状编码装置609输入矩形形状目标信号608，编码后作为矩形形状目标编码信号610输出。

如上所述，如果采用本实施例3的构成，就可以编码包含表示图像目标的形状的节点的合成信息。

虽然本实施例3的任意形状目标编码装置和矩形形状目标编码装置分别是一个，但也可以分别有多个，或者只有其中的一方。

另外，作为本实施例的任意形状目标图像编码信号，例如还可以使用如透过型GIF文件，和透过型动画GIF文件那样的，指定了透明像素值的图像编码信号。

进而，在本实施例3中，也可以在任意形状目标编码装置中，只编码形状图像输出编码信号。

再有，在本实施例3中，是分别输出合成信息编码信号、任意形状目标编码信号、矩形形状编码信号，但也可以多路化这些信号后输出。

还可以传送、存储本实施例3的合成信息编码信号、任意形状目标编码信号、矩形形状编码信号。

以上，如详细说明的那样如果采用本发明，就可以实现容易进行用户的对话式操作的图像译码合成方法。

Claims (7)

1、一种图像译码合成方法，用于译码具有形状信息的图像编码信号，以形状单位译码合成目标图像，其特征在于：将译码上述图像编码信号得到的形状图像，用于与存在于画面上的规定的位置上的该目标相关的目标图像的检出。

2、一种图像译码合成方法，用于译码具有形状信息的图像编码信号，以形状单位译码合成目标图像，其特征在于：只将译码上述目标图像得到的各种形状图像作为图象信号合成。

3、如权利要求2所述的图像译码合成方法，其特征在于：在几何变形上述形状图像后进行合成。

4、如权利要求2所述的图像译码合成方法，其特征在于：在上述形状图像中指定形状内的颜色进行合成。

5、如权利要求2所述的图像译码合成方法，其特征在于：在上述形状图像中变换纹理进行合成。

6、一种图像译码合成方法，用于译码具有形状信息的图像编码信号，以形状单位译码合成目标图像，其特征在于：输入在译码图像时得到的表示形状图像的合成信息编码信号，根据上述合成信息编码信号合成上述多个图像。

7、一种图像译码合成装置，其特征在于：具备合成信息编码信号译码装置，译码合成信息编码信号；合成信息存储器，存储作为上述合成信息编码信号译码装置的输出的合成信息；任意形状目标译码装置，译码矩形以外的任意形状的目标图像的编码信号；形状存储器，存储上述任意形状目标译码装置译码后的形状信号；纹理存储器，存储上述任意形状目标译码装置译码后的纹理信号；矩形形状目标译码装置，译码矩形形状目标图像的编码信号。图像存储器，存储上述矩形形状目标译码装置译码后的图像信号；合成装置，根据存储在上述合成信息存储器中的合成信息合成存储在上述形状存储器中的形状信号和存储在上述纹理存储器中的纹理信号和存储在上述图像存储器中的图象信号；位置指示装置，指定从上述合成装置输出的合成图像中的位置；形状选择装置，根据上述合成装置的指示只选择形状信号。

Images