CN102057400A

CN102057400A - 图像处理装置、图像处理方法和计算机程序

Info

Publication number: CN102057400A
Application number: CN2010800017661A
Authority: CN
Inventors: 增田徹
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-04-08
Filing date: 2010-03-02
Publication date: 2011-05-11
Also published as: US20110181774A1; EP2287809A1; TW201119368A; KR20120006434A; WO2010116820A1; RU2010150143A; US10140746B2; JP5343676B2; EP2287809A4; EP2287809B1; BRPI1002811A2; JP2010244437A

Abstract

本发明提供图像处理装置、图像处理方法和计算机程序。特征点检测单元从运动图像数据检测特征点。关联处理单元使特征点与附加信息相关联，所述特征点是基于用于选择显示伴随所述特征点显示的附加信息的一个或至少两个特征点的特征点选择信息选择的。运动分析单元通过运动图像数据的再现分析变化的特征点的行为。数据生成单元基于指示由运动分析单元分析的特征点的行为的运动信息、和指示根据特征点的行为改变添加到特征点的附加信息的变化模式的显示情景，生成指示改变与特征点相关联的附加信息的显示的变化内容的数据。

Description

图像处理装置、图像处理方法和计算机程序

技术领域

本发明涉及图像处理装置、图像处理方法和计算机程序，更具体地说，本发明涉及显示伴随图像中的特征点显示的附加信息的图像处理装置、图像处理方法和计算机程序。

背景技术

为了使由诸如数字摄像机或数字静止照相机的成像装置成像的图像成为更加令人感兴趣的图像，用户对图像添加注释或声音效果以产生新颖的图像。例如，可以在图像中的人的脸部附近设置球状物以写入注释，或者可以添加印戳(stamp)以突显人的运动。

在现有技术中，当将另一图像添加到运动图像内容时，用户指示了在确认运动图像内容的内容的同时根据时间变化改变附加图像的显示位置，以便根据运动图像的运动改变附加图像。此外，用户产生了与运动图像内容的时间变化同步的改变的图像，以便根据运动图像的运动改变附加图像。

引用列表

专利文献

非专利文献1：Decorate and Upload images(eDeco)，[参见2009年4月7日]，互联网<URL::http://support.d-imaging.sony.co.jp/www/disoft/jp/pmb/feature/web/edeco.html>

发明内容

技术问题

然而，例如，难以将图像添加到图像中的运动的人上，并且，现有的方法会花费大量的精力和时间去设定附加图像显示。当设定多个附加图像时，操作复杂，并且，这种问题变得更加严重。

鉴于上述问题而作出了本发明，本发明的目的在于提供一种新的、改进的并且能够简单地将附加图像添加到运动图像中的运动对象的图像处理装置、图像处理方法和计算机程序。

解决问题的方案

根据本发明的第一方面，为了实现上述目的，提供了一种图像处理装置，该图像处理装置包括：特征点检测单元，用于从运动图像数据检测特征点；关联处理单元，用于使特征点与附加信息相关联，所述特征点是基于用于选择显示伴随所述特征点显示的附加信息的一个或至少两个特征点的特征点选择信息选择的；运动分析单元，用于通过运动图像数据的再现分析变化的特征点的行为；以及数据生成单元，用于基于指示由运动分析单元分析的特征点的行为的运动信息、和指示根据特征点的行为改变添加到特征点的附加信息的变化模式的显示情景，生成指示改变与特征点相关联的附加信息的显示的变化内容的数据。

根据本发明，当伴随运动图像数据中的特征点显示附加信息时，由数据生成单元基于指示特征点的行为的运动信息和指示变化模式的显示情景自动生成数据，以根据特征点的行为改变添加到特征点的附加信息。因此，可以简单地将附加信息添加到运动图像中的运动对象。

本发明的图像处理装置可以包括输入单元，特征点选择信息被输入到该输入单元。这里，图像处理装置可以包括显示情景存储单元，该显示情景存储单元用于存储由特征点的行为模式以及添加到与所述行为模式匹配的特征点的附加信息的显示方法指示的一个或至少两个显示情景。将用于选择改变添加到所选择的特征点的附加信息的显示情景的显示情景选择信息进一步输入到输入单元。当数据生成单元针对由特征点选择信息选择的特征点，从运动信息检测到与所选择的显示情景的特征点的行为模式匹配的特征点的行为时，数据生成单元生成使用在显示情景中限定的显示方法来显示附加信息的数据。

另外，本发明的图像处理装置可以包括附加信息存储单元，用于存储一个或至少两个附加信息。在这种情况下，将用于选择伴随特征点的附加信息的选择信息输入到输入单元。此外，图像处理装置还可以包括手绘数据输入单元，通过手绘将添加到运动图像数据的附加信息输入到该手绘数据输入单元。

数据生成单元可以基于从运动信息识别的特征点在运动图像数据的图像中的位置生成改变与特征点相关联的附加信息的显示位置的数据。此外，数据生成单元可以基于从运动信息识别的特征点相对于运动图像数据的显示尺寸的尺寸生成改变与特征点相关联的附加信息的尺寸的数据。

此外，数据生成单元可以根据从运动信息识别的特征点的脸部表情的变化生成显示与特征点相关联的附加信息的数据。此外，数据生成单元可以根据从运动信息识别的特征点的移动速度生成改变与特征点相关联的附加信息的显示的数据。当从输入单元输入了选择至少两个特征点的选择信息时，数据生成单元可以根据特征点之间的距离生成改变与特征点相关联的附加信息的显示尺寸的数据。

根据本发明的第二方面，为了实现上述目的，提供了一种图像处理方法，该图像处理方法包括下述步骤：从运动图像数据检测特征点；使一个或至少两个特征点与附加信息相关联，所述特征点显示伴随所述特征点显示的附加信息；通过运动图像数据的再现分析变化的特征点的行为；以及基于指示所分析的特征点的行为的运动信息、和指示根据特征点的行为改变添加到特征点的附加信息的变化模式的显示情景，生成指示改变与特征点相关联的附加信息的显示的变化内容的数据。

此外，为了实现上述目的，根据本发明的另一方面，提供一种使计算机起图像处理装置的作用的计算机程序。该计算机程序存储在计算机中所包含的存储装置中，并且由包含在计算机中的CPU读取和执行，从而使得计算机起图像处理装置的作用。此外，还提供一种记录有计算机程序的计算机可读记录介质。例如，记录介质是磁盘、光盘等。

本发明的有益效果

根据本发明，如上所述，可以提供能够简单地将附加信息添加到运动图像中的运动对象的图像处理装置、图像处理方法和计算机程序。

附图说明

图1是示出根据本发明实施例的图像处理装置的配置的功能框图。

图2是示出根据本实施例的元数据存储单元的配置例子的说明图。

图3A是示出根据本实施例的将手绘数据添加到运动图像内容的处理的流程图。

图3B是示出根据本实施例的将手绘数据添加到运动图像内容的处理的流程图。

图4是示出根据本实施例的显示情景的附加数据显示处理的流程图。

图5是示出根据本实施例的再现期间的手绘处理的流程图。

图6是示出绘画菜单屏幕的例子的说明图。

图7是示出手绘绘画屏幕的例子的说明图。

图8是示出模式绘画屏幕(pattern drawing screen)的一个例子的说明图。

图9是示出运动设定屏幕的例子的说明图。

图10是示出特征点选择屏幕的例子的说明图。

图11是示出特征点选择屏幕的另一例子的说明图。

图12是示出根据运动图像内容的特征点的行为改变附加数据的显示的一个例子的说明图。

图13是示出显示情景选择屏幕的一个例子的说明图。

图14是示出这样的显示情景的一个内容例子的说明图：其中，在检测到特征点的笑脸时显示附加数据。

图15是示出这样的显示情景的一个内容例子的说明图：其中，根据特征点的位置改变附加数据的显示位置。

图16是示出这样的显示情景的一个内容例子的说明图：其中，根据特征点的尺寸改变附加数据的尺寸。

图17是示出这样的显示情景的一个内容例子的说明图：其中，根据特征点的移动速度改变附加数据。

图18是示出这样的显示情景的一个内容例子的说明图：其中，示出特征点的运动的轨迹。

图19是示出这样的显示情景的一个内容例子的说明图：其中，根据特征点之间的距离改变附加数据的显示。

图20是示出这样的显示情景的一个内容例子的说明图：其中，附加数据追随特征点，并且，随着时间的流逝顺序地显示文本。

图21示出根据本实施例的图像处理装置的配置的硬件配置。

附图标记列表

100 图像处理装置

110 输入显示单元

112 输入检测单元

114 显示单元

120 附加数据产生单元

130 特征点跟踪单元

140 解码单元

150 存储单元

152 元数据存储单元

154 实际数据存储单元

156 绘画数据存储单元

158 显示情景存储单元

具体实施方式

在下文中，将参照附图详细地描述本发明的优选实施例。请注意，在本说明书和附图中，基本上具有相同的功能和结构的元件用相同的附图标记表示，并且省略重复的解释。

而且，将按照下面的顺序给出描述。

1.图像处理装置的配置

2.图像处理装置的显示处理方法

<1.图像处理装置的配置>

首先，将基于图1和2描述根据本发明实施例的图像处理装置100的示意配置。此外，图1是示出根据本实施例的图像处理装置100的配置的功能框图。图2是示出根据本实施例的元数据存储单元152的配置例子的说明图。

例如，根据本实施例的图像处理装置100是能够再现由诸如数字摄像机或数字静止照相机的成像装置成像的运动图像内容的再现装置、能够记录和再现运动图像内容的记录和再现装置等。此外，根据本实施例的图像处理装置100可以被实现为由个人计算机执行的应用。如图1所示，这种图像处理装置100包括输入显示单元110、附加数据产生单元120、特征点跟踪单元130、解码单元140和存储单元150。

输入显示单元110是这样的功能单元：通过该功能单元执行来自用户的信息的输入，或者该功能单元向用户输出信息，并且，输入显示单元110包括输入检测单元112和显示单元114。本实施例的输入显示单元110可以是这样的触摸面板，该触摸面板包含诸如触摸垫(touch pad)的传感器作为输入检测单元112，输入检测单元112在由例如液晶显示元件或有机EL元件构成的显示单元114的表面上。输入检测单元112可以检测例如触针(stylus)或手指与输入显示单元110的表面的接触。接触输入显示单元110的表面的触摸操纵的轨迹可以从输入检测单元112的检测结果获取并作为手绘数据输入，或者，例如，可以选择在显示单元114上显示的图标。显示单元114显示运动图像内容、手绘数据等，并且向用户显示它们。

附加数据产生单元120产生诸如手绘数据的附加数据或附加数据元数据，并且执行控制以显示运动图像内容、附加数据等。这里，运动图像内容是由成像装置成像的实际运动图像数据，并且，附加数据是添加用来装饰运动图像内容的运动图像的数据。此外，附加数据元数据是其显示随着运动图像内容的时间的流逝而变化的附加数据的信息。

例如，附加数据产生单元120从由输入检测单元112输入的检测结果获取接触输入显示单元110的表面的触摸操纵的轨迹，并且生成手绘数据作为附加数据。附加数据产生单元120在显示单元114上显示生成的手绘数据，并且将手绘数据记录在稍后将描述的存储单元150中。此外，基于在显示单元114上显示的运动图像的内容和输入检测单元112的检测结果，附加数据产生单元120从稍后将描述的特征点跟踪单元130检测的运动图像中的特征点之中指定要添加附加数据的一个或至少两个特征点。附加数据产生单元120基于来自输入检测单元112的输入信息使指定的特征点与伴随该特征点显示的附加数据相关联，并且将这种关联性记录在存储单元150中。

此外，使用输入显示单元110中的接触位置信息、特征点的运动信息和附加数据，附加数据产生单元120根据显示情景产生附加数据元数据。这里，显示情景是指示根据特征点的行为改变添加到特征点的附加数据的显示的变化模式的信息。附加数据产生单元120从由特征点跟踪单元130检测的每个时刻的特征点的位置信息生成指示特征点的行为的运动信息。附加数据产生单元120产生附加数据元数据并将该附加数据元数据记录在存储单元150中。因此，附加数据产生单元120执行用于产生附加数据元数据的显示处理。此外，稍后将详细地描述附加数据产生单元120中的显示处理。

特征点跟踪单元130是提取运动图像中的特征点并跟踪提取的特征点的功能单元。例如，特征点跟踪单元130从构成运动图像内容的给定图像提取具有诸如人的脸部的特征的部分作为特征点。特征点的提取可以使用现有的方法来执行。此外，特征点跟踪单元130可以通过运动图像内容的再现识别和跟踪运动特征点的位置。特征点跟踪单元130可以将提取的特征点的信息输出到显示单元114并在显示于显示单元114上的特征点处显示诸如框架的标记。此外，特征点跟踪单元130将特征点的信息输出到附加数据产生单元120，以便产生附加数据元数据。

解码单元140对运动图像内容或静止图像内容进行解码。解码单元140读取在存储单元150中存储的运动图像内容或静止图像内容，对该内容进行解码，并且将所得到的内容输出到显示单元114。因此，可以在显示单元114上显示运动图像内容或静止图像内容。

存储单元150是存储各种信息的存储单元。根据本实施例的存储单元150包括元数据存储单元152、实际数据存储单元154、绘画数据存储单元156和显示情景存储单元158。元数据存储单元152是存储诸如手绘数据的附加数据或附加数据元数据的存储单元。如图2所示，例如，元数据存储单元152将作为显示处理对象的绘画数据1521、执行显示处理的时刻1522和指示绘画数据的处理内容的动作(action)1523相互关联地存储。绘画数据1521是例如从输入显示单元110输入的诸如手绘数据的附加数据或者预先设定的印戳。时刻1522指示附加数据元数据所对应的运动图像内容中的时刻。例如，在图2的例子中，在元数据存储单元152中存储处理内容，例如：在时刻“00:01:05”“固定显示”的绘画数据“图像01”，以及在时刻“00:01:21”“在跟踪特征点A的同时显示”的绘画数据“图像02”。

实际数据存储单元154存储由成像装置成像的运动图像内容或静止图像内容。绘画数据存储单元156存储从输入显示单元110输入的诸如手绘数据的附加数据或者预先设定的印戳。此外，关于产生手绘数据所需的绘画工具的信息也可以存储在绘画数据存储单元156中。例如，存储在绘画数据存储单元156中的附加数据可以与诸如图2中所示的“图像01”和“图像02”的唯一名称相关联地存储。显示情景存储单元158存储显示情景。显示情景可以由用户预先设定或添加。

已经描述了根据本实施例的图像处理装置100的配置。图像处理装置100可以基于指示运动图像内容的特征点的行为的运动信息和显示情景来改变添加到特征点的附加数据的显示，并且自动地生成附加数据元数据。在下文中，将详细地描述图像处理装置100中的图像处理方法。

<2.图像处理装置中的显示处理方法>

[将手绘数据添加到运动图像内容的处理]

首先，将基于图3A和3B描述根据本实施例的将手绘数据添加到运动图像内容的处理。此外，图3A和3B是示出根据本实施例的将手绘数据添加到运动图像内容的处理的流程图。

可以通过下述方式开始将手绘数据添加到运动图像内容的处理：使用解码单元140对存储在存储单元150的实际数据存储单元154中的运动图像内容进行解码；以及在显示单元114上显示所得到的运动图像内容。将附加数据添加到运动图像内容的显示处理包括这里描述的添加手绘数据的处理、下面描述的基于显示情景的显示处理、通过在再现运动图像内容的同时输入手绘数据执行的显示处理等等。首先，用户选择要执行的显示处理。

例如，用户选择是否使用手绘来执行手动绘画(步骤S100)。当用户选择不执行手动绘画时，执行下面描述的显示情景选择处理。另一方面，当用户选择执行手动绘画时，用户接着选择在运动图像内容的再现期间是否执行绘画(步骤S102)。当用户选择在再现期间执行绘画时，执行下面描述的再现期间的手绘处理。另一方面，当用户选择在再现期间不执行手绘处理时，开始运动图像内容的再现(步骤S104)。

当再现运动图像内容时，用户观看在显示单元114上显示的运动图像内容，并且在希望添加附加数据的时候暂停运动图像内容的再现。继续再现运动图像内容，直到暂停运动图像内容的再现(步骤S106)为止。当在步骤S106中暂停运动图像内容的再现时，在显示单元114上显示绘画菜单屏幕(步骤S108)。

例如，绘画菜单屏幕200a可以基于如图6所示的屏幕配置。绘画菜单屏幕200a包括内容显示区域210和操纵图标显示区域220，在内容显示区域210中显示运动图像内容，在操纵图标显示区域220中显示诸如播放图标222a、倒退图标222b和快进图标222c的操纵图标。在内容显示区域210的边缘处显示开始手绘数据输入处理的手绘图标230、用于显示预先设定的附加数据的固定图标240、以及用于显示预先登记的附加数据元数据的列表的列表显示图标250。

在这种情况下，用户在暂停时刻释放(release)对作为预先登记的附加数据的绘画数据的显示。也就是说，用户可以设定删除这样的绘画数据的显示：该绘画数据在比当前时刻早的时刻开始显示并且甚至在当前时刻仍继续显示。在用户选择是否执行绘画数据的显示(步骤S110)并选择释放绘画数据的显示的操纵的情况下，用户通过例如使用触针触摸绘画菜单屏幕200a中的列表显示图标250来选择列表显示图标250(步骤S112)。然后，在暂停时刻在显示单元114上显示预先登记的绘画数据的列表。在这个列表中，例如，显示图2中所示的附加数据元数据之中的绘画数据和动作。用户例如使用触针触摸来触摸要释放显示的绘画数据，并且选择释放对象(步骤S114)。当确定在步骤S114中选择的释放对象时，此时删除绘画数据，并且，附加数据产生单元120主要保存诸如记录于存储单元150的元数据存储单元152中的信息之类的信息。将图6中所示的绘画菜单屏幕200a再次显示在显示单元114的显示表面上。

当在步骤S110中用户选择不执行绘画数据显示释放时，或者在通过步骤S114确定释放对象时，用户然后选择是否通过手绘执行数据输入(步骤S116)。当用户选择通过手绘执行数据输入时，可以通过手绘工具执行绘画(步骤S118)。例如，可以通过选择图6中所示的手绘图标230来执行手绘的数据输入。当用户通过例如使用触摸笔(touch pen)触摸手绘图标230来选择手绘图标230时，例如，屏幕从绘画菜单屏幕200a转变到图7中所示的手绘绘画屏幕200b。

当在步骤S106中暂停再现的时候运动图像内容显示在手绘绘画屏幕200b中，并且，用于输入手绘数据的工具图标232显示在其边缘处。例如，工具图标232包括颜色选择图标232a、线类型图标232b和删除图标232c。用户例如使用触针16从工具图标232选择绘画线或颜色，并且通过在输入显示单元100的表面上进行描画(trace)来执行绘画。附加数据产生单元120在显示单元114上显示来自输入检测单元112的检测结果的轨迹作为手绘数据300。当输入了手绘数据300时，例如，用户选择图7的OK图标234，以确定在显示于显示单元114上的时候显示运动图像内容中的输入手绘数据300。附加数据产生单元120主要保存诸如在存储单元150的元数据存储单元152中记录的信息之类的信息。

当用户在步骤S116中没有选择手绘输入时，或者，当在步骤S118中终止手绘数据输入时，用户选择是否输入预先设定的附加数据(在下文中称为“模式数据”)，如图3B所示(步骤S120)。当用户选择通过模式数据执行数据输入时，用户可以通过模式数据执行绘画(步骤S122)。例如，可以通过选择图6中所示的固定图标240来执行通过模式数据的数据输入。当用户通过例如使用触针触摸固定图标240来选择固定图标240时，例如，屏幕从绘画菜单屏幕200a转变到图8中所示的模式绘画屏幕200c。

如图8所示，多个模式图形242显示在模式绘画屏幕200c上。当所述模式图形难以都显示在一个屏幕上时，如图8所示的那样显示“下一页”图标244，并且，可以通过选择图标244在显示单元114上显示下一个模式图形242的列表。在下一个屏幕上显示“前一页”。当选择一个模式图形242作为添加到运动图像内容的附加数据时，显示当在步骤S106中暂停再现的时候的运动图像内容。当用户将例如触摸笔116与屏幕上的输入显示单元110的表面接触时，在此时的运动图像内容中显示所选的模式图形242。在这种屏幕上，可以适当地改变模式图形242的颜色、尺寸等。当确定显示内容时，附加数据产生单元120主要保存诸如在存储单元150的元数据存储单元152中记录的信息之类的信息。其后，屏幕返回到图6中所示的绘画菜单屏幕200a。此外，通过选择图8的模式绘画屏幕200c上的“返回”图标246，可以取消将模式图形242显示到运动图像内容上。

当通过在步骤S116至S122中的处理完成了运动图像内容中显示的绘画数据的输入时，用户选择绘画数据的运动(步骤S124)。用户首先从显示在显示单元114上的绘画数据选择设定运动的绘画数据。当选择设定运动的绘画数据时，例如，显示如图9中所示的运动设定屏幕200d。在运动设定屏幕200d上显示指示绘画数据的运动的类型的运动图标。例如，运动图标包括“固定”图标252a、“跟踪”图标252b、“滚动”图标252c等。用户从运动设定屏幕200d的运动图标选择绘画数据的运动，并且选择OK图标254以确定运动。此外，用户可以通过选择运动设定屏幕200d中的“返回”图标256来取消对绘画数据的运动设定。

然后，由附加数据产生单元120确定固定显示是否被选择为绘画数据的运动(步骤S126)。例如，基于在图9中所示的运动设定屏幕200d上是否选择“固定”图标252a，可以执行这样的确定。当在步骤S126中附加数据产生单元120确定除固定显示以外的显示被选择为绘画数据的运动时，在显示单元114上显示特征点选择屏幕200e(步骤S128)，在特征点选择屏幕200e上显示作为与绘画数据相关联的对象的运动图像内容中的所有的特征点。

例如，如图10所示，特征点选择屏幕200e可以被构造为：对于在暂停再现的时候的运动图像内容的显示，通过在特征点处显示框架260a和260b，显示由特征点跟踪单元130提取的特征点。或者，如图11所示，在暂停再现的时候的运动图像内容中的所有的特征点264可以被显示为一个列表。用户从显示在特征点选择屏幕200e上的特征点选择与绘画数据相关联的一个或至少两个特征点，并且选择OK图标262以确定与绘画数据的关联性(步骤S130)。因此，确定此时或者稍后的绘画数据的运动。

然后，用户选择是否设定绘画数据的显示结束时刻(步骤S132)。当用户选择设定绘画数据的显示结束时刻时，可以设定该结束时刻，并且，用户设定该结束时刻(步骤S134)。其后，当终止结束时刻设定时，确定此时的绘画数据的显示内容(步骤S136)。例如，通过选择绘画菜单屏幕200的播放图标222a，执行显示内容的确定。由附加数据产生单元120将确定的显示内容作为元数据记录在存储单元150的元数据存储单元152中(步骤S138)。

因此，将由附加数据产生单元120产生的附加数据元数据叠加并显示在运动图像内容上，使得可以装饰该运动图像，从而根据运动图像内容的特征点的行为改变附加信息。例如，假设这样进行设定：使得附加数据300根据图12中所示的特征点264的运动追随特征点264。在某一时刻，特征点264和附加数据300显示在由虚线所指示的位置上。其后，当特征点264移动到实线所指示的位置时，附加数据300根据特征点264的运动也移动到另一实线所指示的位置。因此，仅仅通过产生要添加到运动图像内容的附加数据并确定要添加附加数据的特征点和附加数据显示方法，用户可以将根据特征点的行为改变的附加数据添加到运动图像内容。

已经描述了将手绘数据添加到运动图像内容的处理。接下来，将基于图4描述显示情景的附加数据显示处理。此外，图4是根据本实施例的显示情景的附加数据显示处理的流程图。

[显示情景的附加数据显示处理]

当用户在图3A的步骤S100中选择不执行手动绘画时，执行图4中所示的显示情景的附加数据显示处理。也就是说，它是这样的情况：根据显示情景，基于运动图像内容的特征点的运动信息，自动地执行绘画。当用户选择这种处理时，例如，在显示单元114上显示如图13中所示的显示情景选择屏幕200f(步骤S210)。

例如，如图13中所示，显示情景选择屏幕200f包括分类区域271a和详细区域271b，在分类区域271a中显示用于选择预先设定的显示情景的显示情景图标270，详细区域271b用于执行显示内容的详细设定。例如，显示情景包括变化模式，以在运动图像内容中的特征点的脸部表情是笑脸时显示给定的附加数据，或者根据特征点的行为的特征改变和显示附加数据。用户选择与在分类区域271a中显示的变化模式相关联的显示情景图标270，该显示情景图标270包括“笑脸”图标272、“移动”图标274和“其它”图标等276。因此，可以在运动图像内容上显示附加数据(步骤S220)。

在详细区域271b中显示用于执行所选的显示情景图标270的详细设定的信息。例如，如果在特征点的脸部表情是笑脸时用户选择显示情景以显示附加数据，则附加数据产生单元120通过参考存储单元150的显示情景存储单元158在详细区域271b中显示一个或至少两个附加数据显示例子。在图13的例子中，显示两个显示例子272a和272b。用户可以通过从显示例子272a和272b选择希望添加到特征点的附加数据并选择OK图标277来确定附加数据。

此外，用户从存在于运动图像内容中的特征点选择要添加附加数据的一个或至少两个特征点(步骤S230)。可以如步骤S128和S130中的上述处理中一样，执行特征点的选择。当上述处理终止并且释放运动图像内容暂停状态时，执行基于设定的显示情景的绘画处理(步骤S240)。设定的显示情景作为附加数据元数据被存储在元数据存储单元152中(步骤S250)。

例如，继续执行基于显示情景的绘画处理，直到用户释放该处理。因此，在对所有的运动图像内容施加相同的显示情景的情况下，只有用户仅仅设定一次显示情景，才在出现相同的场面时基于设定的显示情景将附加数据自动地添加到特征点。例如，当设定在从特征点检测到笑脸时显示给定的附加数据的显示情景时，每当检测到特征点的笑脸时就自动地显示附加数据。因此，用户不必若干次地设定相同的处理，从而可以容易地将附加数据添加到运动图像。

[显示情景例子]

这里，将使用图14至20描述显示情景的内容例子。如上所述，显示情景指示根据特征点的行为改变添加到特征点的附加数据的变化模式的内容。

在图14中，示出在检测到特征点的笑脸时显示附加数据的显示情景的例子。在这种显示情景中，当特征点202的脸部表情如图14(a)中所示不是笑脸时，附加数据产生单元120不会显示附加数据，然而，当特征点202的脸部表情是笑脸时，附加数据产生单元120显示附加数据410，如图14(b)中所示。此外，使用现有的方法，例如，可以通过特征点跟踪单元130检测特征点的笑脸。

接下来，在图15中，示出根据特征点的位置显示附加数据的显示位置的显示情景的例子。特征点通常在运动图像内容中移动，并且，图像中的特征点的位置时刻地变化。即使当特征点的位置变化时，这种显示情景也允许通过追随特征点而在图像中显示附加数据。例如，如图15(a)中所示的位于图像200的右边的特征点202假设移动到如图15(b)中所示的图像200的左边。将球状物中的附加数据420添加到特征点202。在这种情况下，使用这种显示情景，在图15(a)的状态下显示在位于图像200的右端的特征点202的左边的附加数据420，在特征点202在图15(b)的状态下移动并且位于图像200的左边时显示在特征点202的右边。因此，即使当特征点202的位置变化时，附加数据420的显示位置也自动地改变，从而附加数据420不会从图像200突出。

此外，在图16中，示出根据特征点的尺寸改变附加数据的尺寸的显示情景的例子。例如，当如图16(a)中所示特征点202的尺寸相对于图像200的尺寸而言较小时，添加到特征点202的附加数据430的尺寸变小。另一方面，当如图16(b)中所示特征点202的尺寸相对于图像200的尺寸而言较大时，添加到特征点202的附加数据430的尺寸变大。例如，根据特征点202相对于图像200的尺寸，可以改变附加数据430的放大率。在这种情况下，当附加数据430通过显示情景而变大时，附加数据430被处理使得不从图像200突出。

此外，在图17中，示出根据特征点的移动速度改变附加数据的显示情景的例子。可以从给定时间的图像中的特征点的位置的变化量计算特征点的移动速度。例如，当特征点202的移动速度如图17(a)中所示基本上等于0时，显示添加到特征点202的基本上圆形的附加数据440，以包围特征点202一次。另一方面，当特征点202的移动速度增加时，附加数据440包围特征点202两至三次，如图17(b)中所示。因此，可以通过根据特征点202的速度变化改变附加数据440的显示来表现特征点202的行为的特征。

在图18中，示出显示特征点的移动的轨迹的显示情景的例子。例如，如图18(a)中所示，假设特征点202从图像200的右上方移动到左下方。在这种情况下，使用这种显示情景，特征点的移动的轨迹被显示为附加数据450，如图18(b)中所示。因此，可以提高运动图像内容的视觉效果。

此外，在图19中，示出根据特征点之间的距离改变附加数据的显示的显示情景的例子。例如，假设两个特征点202A和202B与一个附加数据460相关联，如图19(a)中所示。在这种情况下，使用这种显示情景，根据特征点之间的距离L的大小，改变附加数据460的尺寸或显示位置。当特征点之间的距离L如图19(a)中一样大时，附加数据产生单元120基本上在特征点之间的中间处显示小的附加数据460。另一方面，当特征点之间的距离L较小时，例如，附加数据产生单元120在特征点202A和特征点202B之间显示比图19(a)中所示的附加数据大的附加数据460，如图19(b)中所示。或者，附加数据产生单元120可以显示附加数据460以包围接近的特征点202A和202B，如图19(c)中所示。因此，通过根据特征点之间的距离改变附加数据460的显示，可以有效地显示运动图像内容中的多个特征点之间的关系。

在图20中，示出使附加数据追随特征点移动的显示情景的例子。例如，这种显示情景包括在随着时间的流逝而顺序地显示作为附加数据的文本的同时使得该文本追随特征点的变化模式。如图20(a)中所示，在某一时刻，一行文本作为追随特征点202的附加数据480a显示在球状物中。其后，随着时间的流逝，附加数据480b随着特征点202的移动而移动，并且，两行文本显示在附加数据480b中，如图20(b)中所示。由此，使用这种显示情景能够使得附加数据追随特征点的行为，并且能够显示移动的附加数据。

已经描述了显示情景的内容例子。根据本实施例，当用户执行特征点与附加数据的关联并选择改变附加数据的显示情景时，附加数据产生单元120根据运动图像内容中的特征点的行为基于该显示情景自动地产生附加数据元数据。此外，由于根据显示情景产生附加数据元数据，所以仅仅通过改变显示情景可以容易地改变附加数据元数据的内容。也就是说，可以产生根据一个附加数据显示多个附加数据的显示模式。

对于一个运动图像内容，产生一个附加数据元数据。根据一个或至少两个显示情景的附加数据的变化模式存储在附加数据元数据中。可以通过图3A、3B和4以及稍后描述的图5中所示的方法来设定附加数据的变化模式。因此，可以容易地设定多个附加数据的变化模式，并且，在某一时刻，容易在运动图像内容中添加多个附加数据。

[再现期间的手绘处理]

接下来，将基于图5描述在运动图像内容的再现期间执行绘画的显示处理。此外，图5是示出根据本实施例的再现期间的手绘处理的流程图。当在运动图像内容的再现期间绘画附加数据时，能够在确认运动图像内容的特征点的运动的同时进行绘画，并且，容易产生例如运动的附加数据，如图20中所示。

当用户在图3A的步骤S102中选择执行再现期间的手绘处理时，执行图5中所示的再现期间的手绘处理。当用户选择这种处理时，首先，在显示单元114上显示用来选择通过手绘产生附加数据的绘画工具的屏幕。在这种屏幕上，用户设定绘画的线类型、颜色等(步骤S310)。此外，在绘画附加数据之后，可以再次设定附加数据的线类型、颜色等。

然后，用户在再现运动图像内容的同时绘画附加数据(步骤S320)。如图3A的步骤S118中一样，可以执行附加数据的绘画。当用户完成附加数据的绘画时，例如，用户暂停运动图像内容的再现并确定这种附加数据。因此，产生运动的附加数据。产生的附加数据与要在其上显示这种附加数据的运动图像内容的时间相关联，并且，关联数据作为附加数据元数据记录在元数据存储单元152中。

已经描述了在运动图像内容的再现期间执行绘画的显示处理。在这种情况下，可能不会特别地执行附加数据与特征点的关联，但是，当存在运动图像内容中的特征点的相似行为时，可以将附加数据与特征点相关联并将附加数据添加到特征点。

因此，通过根据本实施例的图像处理装置100，将使用各种方法产生的附加数据与特征点相关联，并且，自动地生成使得附加数据根据特征点的行为改变的附加数据元数据。因此，可以简单地将附加信息添加到运动图像中的运动对象。

虽然图6至13中所示的屏幕例子使得通过例如用触针116选择与执行的处理相关联的图标来输入操纵信息，但是本发明并不局限于这些例子。例如，用诸如触针116或手指的操纵体(操纵体的操作)在显示单元114的表面上描绘可以执行与这种操纵相关联的给定的处理。具体地说，可以使给定的处理与执行屏幕操纵的给定的操作相关联，如在用操纵体触摸屏幕的右侧时页面移动到下一页，并且当触摸屏幕的左侧时页面移动到前一页。

[硬件配置例子]

根据本实施例的图像处理装置100的图像处理可以通过硬件来执行，也可以通过软件来执行。在这种情况下，在图像处理装置100中包含图21中所示的计算机。在下文中，将基于图21描述根据本实施例的图像处理装置100的硬件配置的例子。此外，图21示出显示根据本实施例的图像处理装置100的硬件配置。

本实施例的图像处理装置100包括中央处理单元(CPU)101、只读存储器(ROM)102、随机存取存储器(RAM)103和主机总线104a。此外，图像处理装置100包括桥接器104、外部总线104b、接口105、输入装置106、输出装置107、存储装置(HDD)108、驱动器109、连接端口111和通信装置113。

CPU 101起操作处理装置和控制装置的作用，并且根据各自程序控制图像处理装置100的全体操作。此外，CPU 101可以是微处理器。ROM 102存储由CPU 101使用的程序、操作参数等。RAM 103临时存储在执行CPU 101中使用的程序、在执行中适当地变化的参数等。通过包含CPU总线的主机总线104a将它们相互连接。

主机总线104a经由桥接器104与诸如外围部件互连/接口(PCI)总线的外部总线104b连接。此外，主机总线104a、桥接器104和外部总线104b不必单独地配置，并且，一个总线可以具有这些功能。

输入装置106包括：能够使用户输入信息的输入装置，例如，鼠标、键盘、触摸屏幕、按钮、传声器、开关和控制杆(lever)；用于基于用户的输入生成输入信号并将该输入信号输出到CPU 101的输入控制电路等等。图像处理装置100的用户可以通过操纵输入装置106将各种数据输入到图像处理装置100或者指示处理操作。在本实施例中，如图1中所示，输入装置106包括触摸屏幕。

例如，输出装置107包括显示装置，例如，阴极射线管(CRT)显示装置、液晶显示(LCD)装置、有机发光二极管(OLED)装置和灯。此外，输出装置107包括诸如扬声器和头戴式受话器的声音输出装置。在本实施例中，输入显示单元110的显示单元114被设置为输出装置107，如图1中所示。

存储装置108是作为图像处理装置100的存储单元的一个例子的数据存储装置。存储装置108可以包括记录介质、用于在记录介质中记录数据的记录装置、用于从记录介质读取数据的读取装置、用于删除在记录介质中记录的数据的删除装置等。例如，存储装置108包括硬盘驱动器(HDD)。该存储装置108存储通过驱动硬盘由CPU 101执行的程序、或者各种数据。

驱动器109是用于记录介质的读取器/写入器，嵌入在图像处理装置100中或者作为外部装置设置。驱动器109读取在诸如磁盘、光盘、磁光盘或半导体存储器的安装的可移动记录介质中记录的信息，并且将该信息输出到RAM 103。

连接端口111是与外部装置连接的接口，即，与能够例如经由通用串行总线(USB)传送数据的外部装置的连接端口。此外，例如，通信装置113是由例如用于与通信网络15连接的通信装置构成的通信接口。此外，通信装置113可以是无线局域网(LAN)兼容通信装置(compliant communication device)、无线USB兼容通信装置、或者用于执行有线通信的有线通信装置。

虽然已经参照附图描述了本发明的优选实施例，但是，本发明当然并不局限于上述例子。在所附权利要求的范围内，本领域的技术人员可以找到各种替换和修改，并且，应该明白，这些替换和修改自然地在本发明的技术范围内。

例如，虽然在实施例中运动图像内容和附加数据元数据作为分别的数据保存，但是本发明并不局限于这种例子。例如，附加数据元数据可以与运动图像内容一起被编码并存储在存储单元中。

Claims

1.一种图像处理装置，包括：

特征点检测单元，用于从运动图像数据检测特征点；

关联处理单元，用于使特征点与附加信息相关联，所述特征点是基于用于选择显示伴随所述特征点显示的附加信息的一个或至少两个特征点的特征点选择信息选择的；

运动分析单元，用于通过运动图像数据的再现分析变化的特征点的行为；以及

数据生成单元，用于基于指示由运动分析单元分析的特征点的行为的运动信息、和指示根据特征点的行为改变添加到特征点的附加信息的变化模式的显示情景，生成指示改变与特征点相关联的附加信息的显示的变化内容的数据。

2.根据权利要求1所述的图像处理装置，包括输入单元，特征点选择信息被输入到该输入单元。

3.根据权利要求2所述的图像处理装置，包括显示情景存储单元，用于存储由特征点的行为模式以及添加到与所述行为模式匹配的特征点的附加信息的显示方法指示的一个或至少两个显示情景，

其中，将用于选择改变添加到所选择的特征点的附加信息的显示情景的显示情景选择信息进一步输入到输入单元，并且

当数据生成单元针对由特征点选择信息选择的特征点，从运动信息检测到与所选择的显示情景的特征点的行为模式匹配的特征点的行为时，数据生成单元生成使用在显示情景中限定的显示方法来显示附加信息的数据。

4.根据权利要求2所述的图像处理装置，包括附加信息存储单元，用于存储一个或至少两个附加信息，

其中，将用于选择伴随特征点的附加信息的选择信息输入到输入单元。

5.根据权利要求1所述的图像处理装置，包括手绘数据输入单元，通过手绘将添加到运动图像数据的附加信息输入到该手绘数据输入单元。

6.根据权利要求1所述的图像处理装置，其中，数据生成单元基于从运动信息识别的特征点在运动图像数据的图像中的位置生成改变与特征点相关联的附加信息的显示位置的数据。

7.根据权利要求1所述的图像处理装置，其中，数据生成单元基于从运动信息识别的特征点相对于运动图像数据的显示尺寸的尺寸生成改变与特征点相关联的附加信息的尺寸的数据。

8.根据权利要求1所述的图像处理装置，其中，数据生成单元根据从运动信息识别的特征点的脸部表情的变化生成显示与特征点相关联的附加信息的数据。

9.根据权利要求1所述的图像处理装置，其中，数据生成单元根据从运动信息识别的特征点的移动速度生成改变与特征点相关联的附加信息的显示的数据。

10.根据权利要求2所述的图像处理装置，其中，当从输入单元输入了选择至少两个特征点的选择信息时，数据生成单元根据特征点之间的距离生成改变与特征点相关联的附加信息的显示尺寸的数据。

11.一种图像处理方法，包括下述步骤：

从运动图像数据检测特征点；

使一个或至少两个特征点与附加信息相关联，所述特征点显示伴随所述特征点显示的附加信息；

通过运动图像数据的再现分析变化的特征点的行为；以及

基于指示所分析的特征点的行为的运动信息、和指示根据特征点的行为改变添加到特征点的附加信息的变化模式的显示情景，生成指示改变与特征点相关联的附加信息的显示的变化内容的数据。

12.一种计算机程序，用于使计算机起图像处理装置的作用，该图像处理装置包括：

特征点检测部件，用于从运动图像数据检测特征点；

关联处理部件，用于使特征点与附加信息相关联，所述特征点是基于用于选择显示伴随所述特征点显示的附加信息的一个或至少两个特征点的特征点选择信息选择的；

运动分析部件，用于通过运动图像数据的再现分析变化的特征点的行为；以及

数据生成部件，用于基于指示由运动分析部件分析的特征点的行为的运动信息、和指示根据特征点的行为改变添加到特征点的附加信息的变化模式的显示情景，生成指示改变与特征点相关联的附加信息的显示的变化内容的数据。