CN101828183A - 用于更新原型的方法和设备 - Google Patents

用于更新原型的方法和设备 Download PDF

Info

Publication number
CN101828183A
CN101828183A CN200880111777A CN200880111777A CN101828183A CN 101828183 A CN101828183 A CN 101828183A CN 200880111777 A CN200880111777 A CN 200880111777A CN 200880111777 A CN200880111777 A CN 200880111777A CN 101828183 A CN101828183 A CN 101828183A
Authority
CN
China
Prior art keywords
prototype
label
user
candidate
updated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880111777A
Other languages
English (en)
Other versions
CN101828183B (zh
Inventor
F·帕彻特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Europe BV
Original Assignee
Sony France SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony France SA filed Critical Sony France SA
Publication of CN101828183A publication Critical patent/CN101828183A/zh
Application granted granted Critical
Publication of CN101828183B publication Critical patent/CN101828183B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种用于例如在数字对象设计或内容管理的过程中对原型进行机器更新的设备和方法,其具有输入装置(15)和标签模型生成器(20),其中所述输入装置(15)用于输入由用户分配给原型的描述性分类符(标签),所述标签模型生成器(20)使用机器学习技术来产生所分配的标签与加有标签的原型的可量化的、非主观属性的值之间的关联的模型。为了获得当前原型的所期望的更新,用户发出通过参照应当由更新后原型的指定标签满足的一个或更多条件来定义当前原型的所期望的变化的命令。所述原型更新设备/方法具有原型更新器(30),所述原型更新器识别适当的更新后原型,该更新后原型的标签满足在用户的命令中指定的条件并且该更新后原型与更新前原型相当地全局相似。因此用户可以利用其自己的术语来表达用于原型更新的指令。

Description

用于更新原型的方法和设备
技术领域
本发明涉及响应于由用户发出的指令通过机器来更新原型。更具体来说,本发明涉及用于响应于利用自组织(ad hoc)术语表达的指令对原型的一个或更多属性进行机器更新的方法和设备。
背景技术
存在各种各样的应用,在这些应用中,用户可能希望通过计算机或其他机器来修改为其呈现的原型的属性。举例来说:
-图形设计软件包可以允许用户通过修改原型图画、颜色等等的各方面来产生图画、颜色或其他图像数据;
-音乐创作软件可以允许用户通过修改原型旋律、和弦、歌曲等等的各方面来产生旋律、和弦、声音、声音循环、歌曲、混音或其他音频数据;
-在机器人技术的领域内,可以通过修改代表高级传感器-电动机命令的原型命令集的一个或更多参数来生成为机器人给出的命令;
-用于数字内容(特别是多媒体内容:电影、视频剪辑、图像、歌曲等等)的内容管理系统可以允许用户通过表达在原型的属性改变方面的选择标准来选择内容项目以特别用于再现:也就是说可以通过将其属性与另一内容项目(原型)的那些属性进行比较来选择新的数字内容,所述另一内容项目比如是当前正被再现(重放)的内容项目;等等。
可以看出,上面的应用中的许多都涉及数字对象或数字内容(图形素材、音乐素材、高级传感器-电动机命令)的设计。但是本发明不限于用在如下系统中,在这些系统中改变原型的一个或更多方面以便执行设计功能。举例来说,上面列表中的最后一项涉及如下应用,其中原型的更新用来选择内容项目以用于某种目的(例如用于删除、租借、再现、拷贝等等),这是通过相对于当前原型的那些属性定义所述原型的属性来实现的。
人们使用来描述对象(为数字对象、数字内容项目等等)的描述符常常是主观的。所述描述符可能在如下意义上是主观的:例如,其不直接描述所述对象本身的物理属性,这是因为所述描述符表明该对象在用户中唤起的情绪或者表明用户关于该对象做出的价值判断(“高兴的”颜色、“不友好的”描绘)。所述描述符还可能在如下意义上是主观的:关于通过给定描述符描述同一对象的适当程度,不同的用户将意见不一致(对于一个人来说为深蓝色的颜色对另一个人来说可能是中等蓝色)。
但是,当传统的计算机和其他机器描述原型(对象)时,其被设计成使用非主观描述符(“特征”)。一般来说,计算机程序或专用硬件将定义原型将拥有的可量化的非主观属性的集合以及那些属性的可允许的值范围。
当用户希望指示计算机系统/机器更新原型(比如改变到具有比当前正在播放的歌曲的节奏更快的节奏的歌曲,改变当前显示的颜色的色调等等)时,该用户被约束为发出表达其在已经由所述计算机系统/机器的制造商或程序员预先定义的这些可量化的非主观属性中的一个(或更多)的改变方面所期望的变化的指令。这导致拘泥于形式并且不自然的控制风格。
此外,在许多情况下,用户可能无法完全理解其通过改变由所述计算机/机器识别的特定的非主观的、可量化的属性而将获得的效果。举例来说,在系统允许用户设计短音乐序列的情况下,所述系统可能利用只有专业音乐家才完全理解的特征来描述原型旋律。如果用户对所述系统使用来描述原型的可量化的非主观属性没有深刻的理解,则该用户可能会发现难以(如果不是不可能的话)如他所期望的那样使用所述系统来操纵原型。
发明内容
本发明的发明人已经设想了一种新的方法,其允许用户采用其自己的自由选择的术语来指示计算机系统或其他机器对原型实施其希望看到的变化,而无需将所述机器明确地编程为理解该用户的术语的语义。
被适配成更新原型的根据本发明的原型更新设备和原型更新方法的实施例通过加标签系统与用户交互地定义词典,并且利用机器学习技术来找到在所述词典中定义的表达与用户使用那些表达加标签的原型的非主观的、可量化的属性的值之间的关系。
数字内容数据库常常存储注释形式的、即与描述性分类器(“标签”)相关联的内容。一般来说,标签是描述所述数字内容项目所拥有的一个或更多特性的关键字。在一些已知系统中允许用户利用其自己的主观描述符来给数字内容项目加标签,并且所述系统使用受监督的分类技术来开发代表每一个标签与加有标签的内容项目的一个或更多非主观特性之间的关联的模型。用户随后可以在所述数据库中搜索拥有特定标签的项目。换句话说,在用户为对象分配主观性标签的已知系统中,那些标签总是被用作(已经被识别出的对象或者要被定位的对象的)描述符。
根据本发明的原型更新设备/方法应用相同类型的受监督的分类技术以便创建所述词典中的每一个标签的模型。在本发明的各实施例中,用户可以通过发出定义在适用于定义在所述词典中的一个或更多标签的关系方面所期望的改变的命令来控制应用于原型的更新。
在一种简单的情况下,用户的指令可以在单个标签的所期望的变化方向方面定义所期望的原型更新。举例来说,在颜色创建系统中,如果用户已经利用诸如“暗淡”、  “蓝色”、  “红色”和“高兴”之类的标签为有色对象加了标签,则该用户可以通过发出使当前颜色“更加高兴”的指令来命令当前显示的颜色的改变。所述原型更新设备/方法通过查阅存在于用户的命令中的标签“高兴”和运算符“更加”来识别原型的候选变型,并且使用其已经为所述标签“高兴”开发的标签模型以便识别具有属性值的原型变型,其中该原型变型根据该标签的模型具有比当前原型更高的属于标签类“高兴”的概率(即更新后的概率与用户的命令中的运算符“更加”相符)。以类似的方式,如果所述用户命令为“更少蓝色”,则所述设备/方法将使用为标签“蓝色”开发的标签模型来识别具有比当前原型更低的属于所述标签类“蓝色”的概率的该原型的候选变型。
当用户的命令在标签的所期望的标签变化方面定义所期望的原型更新时,所述命令还可以量化用户想要看到的改变量。举例来说,用户的命令可能表明该用户希望选择(例如用于重放)  “爵士感(jazzy)”是当前正在播放的歌曲的两倍的歌曲,或者表明该用户希望使正在行走的机器人的当前步态的“节奏感”强10%等等。所述原型更新设备/方法使用为在所述用户的命令中指定的标签开发的标签模型,以便识别属于指定标签类的概率与当前原型属于该类的概率相差期望量的一个或更多原型。
具体实现本发明的原型更新系统和方法可以适应除了在标签的变化方向方面定义原型更新的那些用户命令之外的其他用户命令。更一般地,用户的指令可以通过指定对于更新后原型的标签应当适用的基本上任何关系来定义所期望的原型更新。举例来说,在时装设计系统中,如果当前原型是一件在暗蓝色背景上具有多个白色波尔加圆点的女装,则用户可能希望指定:所述原型应当被更新,使得所述原型“有圆点与背景是蓝色一样”,这等于标签“有圆点”适用于更新后原型的程度应当与标签“蓝色背景”适用于更新后原型的程度相同的指示。作为另一个实例,在相同的时装设计系统中,用户可能发出表明其希望使原型的“欢快程度超出露肩程度”的原型更新命令,这等于标签“欢快”适用于更新后原型的程度应当高于标签“露肩”适用于更新后原型的程度的指示。
此外,根据本发明的原型更新系统和方法可以适应经由单个指令指定原型的多个改变的用户命令:举例来说,用户命令可以指定应当更新原型旋律以便“更有节奏感、打击感较弱并且爵士感与切分感一样强”。
根据本发明的原型更新设备/方法允许用户获得在数字域内呈现给其的原型的所期望的更新,而无需在其命令中涉及所述原型的预先定义的非主观属性。因此,本发明的实施例提供计算机辅助设计设备和方法以及内容管理设备和方法,其在经过少于传统系统的训练的情况下可以被使用,其操作直观并且不需要对所操纵的原型的可量化的、非主观属性的深刻理解。
本发明涉及更新数字原型的方法和设备:换句话说,更新后原型将仍然具有与更新前的版本的总体(或全局)相似性。因此,根据本发明的原型更新设备/方法的实施例尝试识别除了在用户的命令中标识的所期望的变化之外与当前原型“相似”的更新后原型。相应地,本发明的实施例包括评价当前原型与将作为更新后原型的候选之间的全局相似性的步骤或措施,并且把该措施或步骤所发现的与当前原型全局相似的候选原型选择作为所述更新后原型。这一特征允许用户以直观的方式越来越接近其认为合意的最终数字对象(或数字内容项目)。举例来说,在旋律创作系统中,在用户请求把当前的旋律(C小调的曲子)更新到“更加忧郁”的旋律之后,如果更新后原型是(比第一个旋律更加忧郁的)另一个C小调旋律,而不是音调完全不同的“更加忧郁”的旋律,则该用户可能更加高兴,这是因为所述更新后原型可能更接近其头脑中对于完成旋律的想法。
根据本发明,用户分配的标签不仅仅被用作描述符,而是变为用于操纵/变换原型的工具。
附图说明
从结合附图作为实例给出的对本发明的某些实施例的以下描述中,本发明的上述和其他特征及优点将变得显而易见,其中:
图1是示出特征向量的概念的示图;
图2是示出根据本发明的一个实施例的原型更新设备的某些主要组件的方框图;以及
图3到图8示出可以在具体实现本发明的颜色创建工具的使用期间显示在屏幕上的屏幕图像的实例。
具体实施方式
现在将描述关于根据本发明的用于对原型进行机器更新的设备和方法的某些通性,接下来将讨论所述原型更新设备和方法的特定应用的实例。
一般来说,在数字域内可以在“特征”方面客观地描述数字对象或数字内容的原型(或事例),每一项特征包括:
-标识该对象/内容的可测量的、非主观性属性的数据;以及
-量化所讨论的对象/内容的该属性的值的数字。
因此,单独的特征可以被如下表示:<属性(值)>。
对于给定应用而言有意义的特定属性取决于所处理的数字对象/内容的性质。举例来说,在涉及音乐的应用的情况下,相关的属性例如可以包括:音符的音高、旋律的平均音高、一段音乐的节奏、播放旋律的音调、旋律对象的变化、旋律的重复性等等。作为另一个实例,在涉及机器人设备的控制的应用的情况下,相关的属性例如可以包括:机器人身体部件的定向(例如在方位角和高度方面)、机器人相对于某一表面的移动速度、机器人成像传感器的放大率、机器人致动器所施加的力、致动器中的活塞的延伸率等等。在另一个实例中,在涉及曲线设计的应用的情况下,相关的属性例如可以包括:起始位置的x和y坐标、结束位置的x和y坐标、曲线自身相交的位置的数目等等。本领域技术人员将容易想到许多其他实例,并且可能出现新的应用。相应地,应当理解的是,上面的列表远远没有穷尽。
一般来说,用在本发明的各实施例中的原型更新设备可以使用描述原型(数字对象/内容)的群集的特征数据。所述原型群集可以对应于现有数字对象/内容的存储库(例如音乐文件的数据库),或者其可以是能够由生成设备(例如旋律生成器)创建的所有原型的概念群集。众所周知,如果所述群集中的对象/内容项目的数目大的话(特别是如果相对于特征空间的维数而言大的话),则不管所述对象/内容群集采取的形式如何,所述设备都更容易开发有意义的标签模型并且为用户提供原型的适当更新。
给定应用中的所有可能原型(数字对象/内容)的整个集合可以被称作该应用的“组合域”。一般来说,本发明的原型更新设备和方法的各实施例可以确定其组合域内的所有原型的特征向量。
所述群集中的任何给定对象/内容项目都可以通过一个包括几个特征的集合来描述,从而可以利用“特征向量”来描述。所述特征向量的每一维度对应于该对象/内容的不同特征的属性,所述向量的每一个分量的量值对应于就该对象/内容项目而言相关联的属性的值。因此,举一个非常简单的实例,如果数字对象(在本实例中是声音)由以下两个特征描述:
特征1:<平均音高(12600Hz)>
特征2:<节奏(每分钟95拍)>
于是可以如图1中所示出的那样来表示该对象的特征向量。(一般来说,原型易于利用具有多于两个维度的特征向量来描述,但是适用的属性的数目将取决于应用)。
如上面所解释的那样,给定数字对象/内容项目的特征向量描述该对象/内容的可量化的、非主观特性(或者更加精确地说,在以用户可感知的形式再现时所述对象/内容的非主观特性)。但是本发明允许用户使用任意术语(包括主观描述符)来表明该用户希望更新原型的哪一个特性。
相应地,本发明的各实施例利用允许用户把描述性标签(特别是词语或表达)与给定数字对象或数字内容项目相关联的加标签系统。所述加标签系统包括标签输入部分(包括用户接口)以用来输入用户分配的标签并且记录这些标签与相应的加有标签的数字对象/内容项目的关联。所述加标签系统还利用机器学习系统,其分析所述用户分配的标签以及所述加有标签的数字对象/内容项目的特征(属性/值),以便确定特征向量与标签之间的映射。
已经知道有多种受监督的分类技术用于针对利用用户分配的标签加了注释的数字对象/内容群集开发标签模型。一般来说,受监督的分类方案使用受监督的学习算法以便建立一方面提取自所述数字对象/内容项目(原型)的非主观技术特征与另一方面所述标签之间的映射。这种方法利用具有已知特征(属性及其值)并且已经例如由用户加了标签的原型的集合的数据。这被称作“训练集合”。
一旦获得了所述训练集合之后,该训练集合就可以被用来利用受监督的学习算法训练诸如支持向量机(SVM)、神经网络、决策树或其他方便的设备之类的分类器。具体来说,在开发标签T的标签模型时,所述训练集合包含“正面”和“反面”实例,即与标签T相符的原型(特别是用户为之分配了标签T的原型)以及与标签T不相符的原型。通过为所述分类器提供所述训练集合中的每一个原型的特征向量以及关于该原型是标签T的正面还是反面实例的指示来训练该分类器。所述分类器进行适配(例如在神经网络分类器的情况下,逐渐改变由所述网络中的各节点所应用的权重),以便具体实现各特征向量与把原型分类为T的正面或反面实例的分类之间的映射。该映射就是标签T的标签模型。
在利用经过训练的具体实现标签模型T的分类器对新的原型(即不是所述训练集合的成员的原型)进行分类时,该分类器将输出表明该原型由该标签T适当描述的概率的值。因此,所述经过训练的分类器的输出表明该标签关于所述新原型的描述能力。许多经过训练的分类器被归一化,以便其输出处于0.00到1.00的范围内,并且通常把决策树设定成其输出或者是“1”或者是“0”,但是本领域技术人员将容易理解如何可以提供其他输出范围。
利用受监督的学习算法训练过的分类器的精确度取决于许多因素,其中最重要的因素是所述训练集合中的实例的数目和质量。通常将利用关于到目前为止用户加了标签的所有原型的数据生成标签模型。因此,用户分配的标签的数目越大,并且被加标签的原型的数目越大,所述分类器就将越好。
通常通过以下方式来准备所述训练集合:找到正面和反面实例,随后去除一定数目的实例(按照需要去除正面或反面实例),以便产生近似包含相同数目的正面和反面实例的训练集合。
已知用于识别用在所述训练集合中的实例的许多不同技术。正面实例的选择通常是直接明了的:举例来说,所述正面实例可以是用户为之分配了所考虑的标签的所有原型。但是其他方法也可以用来选择所述正面实例。
反面实例的选择是建立所述训练集合的一个重要部分并且不是微不足道的:仅仅因为用户还没有为原型分配所述标签T并不意味着该标签T完全不描述该原型。可以使用任何适当的方法来选择所述训练集合的反面实例,包括(但不限于)以下方法:
-选择尚未被分配标签T的原型;
-选择已经具有某些标签(以便避免选择未经识别的原型)但是这些标签不包括标签T的原型;
-选择其“标签集合”与用户已经为之分配了标签T的原型的标签集合尽可能不同的原型;
-获得由用户对原型“加反面标签”:也就是说安排用户表明某一原型不具有的特点(例如表明某一原型“不是红色”、“没有阴影”等等)以及指定该原型确实具有的特点;
-等等。
在机器学习系统中使用受监督的分类算法是众所周知的,因此这里将不包括进一步的细节。
现在已经描述了在本发明的各实施例中使用的一般原理中的一些,下面将给出关于根据本发明的一个实施例的原型更新设备的一般结构和操作的描述。图2经由方框图示出该一般结构。
应当理解的是,在实践中,通常将利用适当编程的通用计算机(或者专用数据处理设备)来实施所述原型更新设备1;图2中示出的不同元件只是被标识来帮助理解由所述原型更新设备执行的各种功能。此外,可以改变图2中示出的各元件之间的功能分布,并且/或者可以利用比图2中所示出的元件数目更少或更多的元件来执行这些功能。
此外,当在实践中实施时,所述原型更新设备1可以包括未在图2中详细表示的各元件(例如存储应用程序的传统存储器、与显示元件相关联的图像处理组件等等)。应当理解的是,图2的原型更新设备1可以合并有在所选择的应用/情境中实施所需的通常的传统模块或者与之协作。
如从图2中可以看出,根据本发明的原型更新设备1经由输入接口15接收来自输入模块2的用户输入,并且经由输出接口35在输出模块3上为用户呈现输出。一般来说(但不是排他地),所述输入模块2可以包括键盘、鼠标或其他指针设备、光笔、触摸屏、麦克风等等。所述输出模块3可以(并且常常将)合并有显示器(例如显示屏、打印输出等等),以便以视觉方式将原型呈现给用户。但是本发明在被用于为用户呈现原型的措施方面不是特别受限制。举例来说,在音乐创作系统的情况下,通常将以可听形式以及经由显示波形的视觉表示将原型声音、旋律等输出给用户(从而所述输出模块3包括扬声器或头戴式耳机设备以及显示设备)。在另一个实例中,在用于控制机器人设备的系统的情况下,可以将用于控制由所述机器人设备执行的动作的原型命令实际输出给该机器人设备本身(换句话说,在该情况下,所述输出模块包括所述机器人设备)。
所述输入模块2常常将形成还包括所述原型更新设备1和所述输出模块3的单个计算机设备的一部分。但是情况不是必须这样:例如可以在用户终端中提供所述输入和输出模块2、3,并且所述原型更新设备1可以位于远离所述用户终端的服务器中。
图2实施例的原型更新设备1包括在控制模块10的控制下进行操作的标签模型生成器20和原型更新器30。所述原型更新设备1通常将包括数据存储元件,比如图2中示出的原型数据存储器40和标签模型存储器50。在适当的情况下,可以提供生成设备(例如对象生成器)以替代所述原型数据存储器40或者与所述原型数据存储器40相关联。
所述控制模块10被设置成经由所述输入模块2接收来自用户的输入。该控制模块10被设置成确定在给定时刻的用户输入是代表为原型加标签的消息还是用于更新原型的命令。可以以多种方式进行这一确定。用户通常将经由图形用户接口与协议更新设备1进行交互,并且由该用户(例如通过从屏幕上菜单项目进行选择、点击图标等等)所操作的接口项目将表明其输入涉及为原型加标签还是涉及更新原型。
在根据本发明的设备和方法中,用户可以自由使用其所选择的任何表达作为用于为原型加标签的描述符(或者作为用于表明其希望获得的原型更新的类型的描述符)。因此,用户可以使用从一种或更多种语言、编造的词语、符号序列或者其所选择的任何表达中取得的描述性表达。此外,所述标签不必是词语类型表达的形式,其可以采取对于用户来说有意义的基本上任何形式:举例来说,所述标签可以是声音、(经由传感器捕获的)手势、(从调色板中选择的)颜色、图画等等。
此外,用户可以以任何所期望的方式输入所述标签,包括在键盘上键入、利用指针设备选择符号、对麦克风讲话等等。
根据本发明的原型更新设备不从标签的结构或内容确定其语义,而是参照标签模型在特征向量参数方面推断所述标签的客观意义。
在根据本发明的系统中,用于原型更新的用户命令将标识一个或更多标签及运算符,二者的组合表明该用户希望在某一原型中获得的变化。可以在原型更新命令中或者在单独的命令中明确指定待更新原型的身份,或者例如可以从用户发出所述更新命令的情境中推断出其身份。
所述原型更新命令中的标签数据使用所述用户自己的词典来表明该用户希望更新所述原型的哪一个或哪些特性。所述命令中的运算符数据表明更新后原型的指定标签应当满足的条件,特别是适用于关于更新后原型的所述(多个)指定标签的描述能力的条件。这些条件常常将相对于某一标签对所述待更新原型的实际描述能力来设定同一标签对更新后原型的所期望的描述能力(例如对于物理对象的原型,“更弯曲”)。但是本发明不限于这种情况。所述更新命令可以相对于更新后原型的一个或更多其他标签的描述能力来设定所述更新后原型的一个标签的描述能力,或者可以相对于更新后原型和待更新原型的一个或更多标签的描述能力来设定所述更新后原型的一个标签的描述能力。
在某些应用中,所述更新命令可以在指定标签的描述能力中量化用户希望实现的改变量。可以以任何方便的方式来量化所述改变量。举例来说,可以以百分比术语“红色多20%”、“重复率低10%”等等指定所述改变量。但是其他方法也可以用来量化改变的所期望的量值。此外,用户可能希望更新原型,使得一个特定标签不再适用(这等于把所述指定标签的描述能力设定到0),或者其达到最大值(这等于把所述描述能力设定到1)。
考虑到所述更新命令的格式/语法,本发明不是特别受限制。
所述控制模块10被设置成通过解码用户发出的命令或者通过推断来确定给定用户输入涉及哪一个原型,即要对哪一个原型进行加标签/更新。要被加标签/更新的原型常常(但是不是排他地)将是在用户向所述控制模块10输入其加标签消息或更新命令时(通过显示、重放等等)正呈现给该用户的原型。
如上所述,可以以不同的方式来构成能够由根据本发明的原型更新设备的给定实施例处理的整个原型集合:其特别可以是存储在数据库中的数字对象/内容项目的集合、由对象生成器设备产生的数字对象/内容项目的集合或者二者的组合。不管是否已经由用户为给定原型加了标签,该原型都将具有与之相关联的特征向量,所述特征向量与该原型的属性以及这些属性所取的值相关。特征数据通常可用于所述原型更新设备1,这是因为其已经作为元数据与所述数字对象/内容项目一起被提供在数据库中,或者所述特征数据形成由产生所述原型的对象生成器所生成的输出的一部分。但是,如果需要的话,所述原型更新设备1可以包括特征提取器,其对所述原型进行分析以便确定其属性的值。
关于各原型的特征向量的数据可以被存储在原型数据存储器40中。如果期望的话,所述原型数据存储器40可以存储数字对象数据或者数字内容项目(歌曲、电影剪辑等等)以及这些项目的特征向量数据。在某些情况下,存储所述特征向量数据等于存储所述原型本身(换句话说,可以通过把所述特征向量数据输出到所述输出模块3来为用户呈现所述原型)。
现在将描述图2的原型更新设备1的运作。当所述控制模块10确定用户输入是为某一原型分配一个或更多描述符的加标签消息时,该控制模块10识别正被加标签的原型并且在所述原型存储器40中存储用户为指定原型所分配的描述符(标签)。如果所述标签中的任何一个是新的,即这是用户第一次使用该标签来标记原型,则把该标签添加到由所述原型更新设备1使用的词典中。通常将把所述词典与用于该词典中的每一个表达的标签模型相关联地存储在存储器中。
在某些应用中,所述控制模块10被设置成在其确定用户输入是加标签消息时其指示所述标签模型生成器20更新已经在所述词典中定义的任何标签的标签模型,并且为任何新标签开发新标签模型。在其他应用中,标签模型的更新(或建立)可以等待(例如通过用户动作、通过采集特定数目的加有标签的项目等等)触发。
所述标签模型生成器20利用机器学习技术、例如已经在上面描述过的那些机器学习技术生成新标签模型(或者更新后的标签模型)。在新标签的情况下,所述训练集合将仅仅包括一个正面实例,特别是用户当前正加标签的原型。在已经存在于所述词典中的标签的情况下,所述标签模型生成器20查阅存储在所述标签模型存储器50中的现有标签模型,并且通过把用户的加标签消息所涉及的原型添加到所述训练集合中来更新所述模型。
如果已经为所述系统定义的特征空间具有多个维度,则直到用户多次使用了相关联的标签为止,所述标签模型的精确度都可能相对较低。但是,如果希望的话,可以为所述原型更新设备1提供初步例程以提示用户在开始使用所述设备时为预定数目的原型加标签。举例来说,所述设备1可以引起将原型集合呈现给用户,并且提示用户输入适用于那些原型的标签。如果实施了这种提示加标签会话,则用在所述会话中的原型的选择可能会影响将要开发的标签模型的精确度。具体来说,可能有利的是把具有彼此不相似的特征向量的原型包括在内。
此外,在许多应用中,在用户设法使用其个人的词典以便命令更新某一原型之前,用户将在没有具体提示的情况下已经建立了加有标签的原型的群集。
在某些应用中,所述系统可以通过利用已经由其他用户(可能在协作加标签环境中)分配给数字对象/内容的标签来自举。如果希望的话,可以给用户确认或替换已经由其他用户分配的标签的机会。
如前面所解释的那样,当把标签模型应用于某一原型的特征向量时,所述标签模型充当分类器,其产生表明该标签是所述原型的适当描述的程度的值。因此,由所述标签模型关于给定原型产生的值可以被视为量化该标签关于该给定原型的描述能力的数字。
当所述控制模块10确定用户输入是原型更新命令时,该控制模块10识别待更新原型并且指示所述原型更新器30输出适当的更新后原型。具体来说,所述控制模块10向所述原型更新器30转发:
-标识待更新原型的数据;
-在所述更新中指定的(多个)标签;以及
-在所述更新后将由所述(多个)指定标签的描述能力满足的条件。所述原型更新器30寻找可以响应于用户的原型更新命令而被呈现给该用户的原型。可以以多种不同方式来配置所述原型更新器30以便实现识别适当的候选原型的功能。
所述原型更新器30被适配成保持更新后原型与其所替换的原型十分相似。可以认为更新后原型是先前原型的“变型(variant)”,其在所述更新命令中所表明的细节方面发生改变。不同的方法可以用来定位原型,该原型可以被视为:是更新前原型的变型(即与更新前原型十分“全局相似”),并且根据所述更新命令发生改变。一种方法在于首先识别其标签满足在所述原型更新命令中指定的(多个)条件的原型,随后识别这些原型中的哪一个与所述待更新原型“全局相似”。另一种方法在于首先识别与所述待更新原型全局相似的原型,随后确定这些原型中的哪一个具有满足由所述原型更新命令所定义的(多个)条件的标签。现在将描述后一种方法的一个实例。
在本发明的某些实施例中,所述原型更新器30生成或者识别可以被视为所述待更新原型的变型的原型的集合。可以经由变化生成器生成这些变型(特别在所述原型由对象生成器生成的情况下),或者可以在现有数字对象/内容项目的群集中(通过评估所述待更新原型与所述群集中的原型的差异)识别这些变型。
在通过对象生成器来生成变型的情况下,所述对象生成器通常通过使被用来生成所述待更新协议的参数发生小变化来生成每一个变型。
在变型位于原型群集内的情况下,可以使用多种已知方法来判断两个原型是否“全局相似”。一种简单的方法在于定义一个“距离”函数,所述“距离”函数参照两个原型的特征向量来量化所述两个原型之间的差异度。一种简单的距离是欧氏距离(其简单地计算两个原型的特征向量之间的差的范数)。根据所考虑的原型的性质,在不改变所述原型更新器30的剩余部分的结构的情况下可以替代地使用更加复杂或“自然”的距离。
本发明在被用来评估候选原型与待更新原型是否“全局相似”的技术方面不是特别受限制。如上所述,可以通过分析所述原型的特征向量来评价相似度,但是本领域技术人员将容易想到其他方法。举例来说,可以通过比较两个原型的所分配的标签集合或者通过比较原型特征与所分配的标签集合的组合等等来评价原型之间的相似性。
当所述原型更新器30已经识别出初始原型的适当数目的变型时(并且如果希望的话,所述设备可以被设置成允许用户设定该“适当数目”的值),其可以被设置成基于与所述初始原型的递增“距离”对所述变型进行排序。
所述原型更新器30(基于所述更新命令中的标签和运算符)计算更新后原型的(多个)标签描述能力参数的(多个)允许的值范围。所述原型更新器30随后访问标签模型存储器50,以便获取适用于在所述更新命令中指定的(多个)标签的(多个)标签模型并且将该标签模型(这些标签模型)应用于经过排序的群集中的原型的特征向量。
在某些情况下,在确定给定标签关于更新后原型的描述能力的可允许值之前,所述原型更新器30有必要确定该标签关于待更新协议的描述能力的值。这在某些情况下可以通过读出所述原型数据存储器40中的数据或者以其他方式(例如将所述给定标签的标签模型应用于所述待更新原型的特征向量)来实现。
举例来说,如果所述原型更新命令指定应当使原型图像A“有更多圆点”,则标签“有圆点(dotty)”的标签模型为原型图像A的“有圆点程度(dottiness)”产生0.6的值,随后所述原型更新器30将确定更新后原型的适当候选需要具有高于0.6的“有圆点程度”(在通过将其特征向量应用于所述标签模型来进行评价时)。在所述更新命令表明所期望的改变的量值(例如“圆点多三分之一”)的情况下,所述原型更新器30于是将相应地设定所允许的值范围(例如设定到0.8或以上)。
所述原型更新命令可以只指定用户希望在某一标签的描述能力方面看到的改变的方向,而不是所期望的改变的量值。即使在这种情况下,如果希望的话,所述原型更新器30仍然可以被设置成将所述描述能力参数的可允许值范围设定成远离适用于待更新原型的值特定百分比(例如远离10%)。这有助于确保用户将辨识出作为所述更新的结果的改变。
为了确定给定原型是否具有满足在原型更新命令中设定的条件的标签,所述原型更新器30需要查阅所指定的一个或多个标签的(多个)标签模型,以便量化该标签(这些标签)关于所考虑的原型的描述能力。所述原型更新器30访问所述标签模型存储器50以便获取适用于在所述原型更新命令中指定的(多个)标签的(多个)标签模型,随后使用所获取的(多个)标签模型来对大量原型进行分类(这是通过把所述(多个)标签模型应用于这些原型的特征向量来实现的)。这一过程的结果是包括原型以及(多个)标签关于这些原型的(多个)描述能力的相关联的值的列表。所述原型更新器30确定所评估的原型中的哪一个与所述标签描述能力的可允许值相关联,并且将这些原型识别为是更新后原型的候选。
通常将把在所述原型更新命令中指定的(多个)标签的(多个)标签模型迭代地应用于原型,其中所述迭代以第一个列出的变型(与初始原型最相似的原型)开始并且朝着所述列表中的最后一个变型(最不相似的原型)继续。对于每一个原型,每一次标签模型分类产生一个表明该标签适用于该原型的概率(即表明该标签关于所讨论的原型的描述能力)的数字。对于每一个候选原型,检查所述(多个)标签描述能力值是否符合在所述原型更新命令中指定的(多个)条件。
一旦所述原型更新器30找到产生满足在所述原型更新命令中指定的(多个)条件的(多个)描述能力值的原型之后,其就可以停止对变型进行分类并且将所识别出的该原型输出到输出模块3以供呈现给用户。这种方法限制了对变型进行分类所必需的处理时间,并且有利于利用与初始原型尽可能相似的替换物来更新原型。但是其他方法也是可能的,例如对在更新前原型的特定距离内的所有变型进行分类,并且随后从其标签满足用户的原型更新命令中的条件的候选原型中选择已经被呈现给用户的次数最少(或最多)的候选原型。
可能的是,在某些情况下,所述原型更新器30可能无法定位满足用户的原型更新指令的候选原型。在这种可能性下,所述原型更新器30可以被设置成实施一种或更多种不同的策略。举例来说,所述原型更新器30可以被设置成自动扩大其搜索,以便包括比通常情况数目更多的候选原型,以及/或者以便评估与更新前原型的相似度低于通常情况的候选原型。所述搜索的扩大可能导致所述原型更新器30增大其用作候选原型来源的数据库和/或生成设备的数目。因此,举例来说,所述原型更新器30可以被设置成:如果所述原型更新器30在第一数据库或生成设备(例如其本地的数据库或生成设备)中没有找到适当候选原型,则其将自动访问一个或更多附加的生成设备和/或数据库(例如远离其但可以经由通信网络等进行访问的生成设备和/或数据库)。
替代地,在无法定位适当的更新后原型的情况下,所述原型更新器30可以被设置成向用户表明无法遵循其指令。所述系统可以被设置成允许用户通过修改所述原型更新器30的配置并且随后重复其命令来做出响应,其中所述修改例如通过改变由所述原型更新器30所考虑的原型数目和/或更新前原型与更新后原型之间所需的相似度、通过指定要查阅的新数据库或生成设备等来实现。
应当提到的是,根据本发明的原型更新设备不限于仅仅使用由用户定义的标签。在适当的应用中,所述设备还可以考虑由第三方(或者自动地)分配给原型的标签(元数据)。该元数据例如可以被用于哪些原型与待更新原型“相似”的评估中。该元数据可以包括不直接描述加有标签的原型的感知特性的项目:例如,诸如标题、发行日期、艺术家/作者等编辑类数据。
现在已经描述了用在本发明的各实施例中的一般性原理中的一些,下面将给出关于如何可以应用本发明的一个详细实例的描述。应当注意,下面描述的详细实例只是一种用于在所选情境中实施本发明的方法;在相同的情境中存在技术细节不同的其他实现方式。此外,还应当理解的是,本发明的完整应用范围是巨大的。在所述详细实例应用之后给出本发明的其他实例应用的小的选集。
在下面的描述中假设每一个实例的原型更新设备具有如图2中所示的组件。但是本领域技术人员将容易理解,做出这一假设仅仅是为了简化解释:可以使用替代的组件。
实例应用1-更新颜色
这里将描述的本发明的应用的第一个实例涉及用户可以用来设计/选择颜色的计算机辅助设计工具。相应地,这种工具可以被命名为颜色创建工具。这种应用中的原型是颜色,并且用户尝试得到取悦其的颜色(例如作为用于装饰其住宅的涂料原型、作为用在将要显示在屏幕上的图像数据中的颜色等等)。
在这种特定的计算机辅助设计工具中,通常利用键盘和鼠标来实施所述输入模块2,所述输出模块3通常包括显示屏(其利用图形用户接口来显示原型颜色以及各种命令元素和数据)。
在这种情境中,方便的是使用颜色生成器来产生所述原型和更新后原型,而不是存储代表所有可能颜色的数据。可以方便地根据RGB颜色模型,特别是通过具有属性<红色>、<绿色>和<蓝色>来表达所述原型的特征,其中这些属性中的每一个取在0到255的范围内的值。可以通过选择这些R、G和B属性的值来建立任意一种颜色。在该实例中,通过分析三维(R,G,B)特征向量来产生标签模型。应当理解的是,可以根据其他颜色模型(YUV、CMYK、RGBA等等)来定义所述原型颜色的特征。
将参照图3到图8(其是彩色屏幕显示的灰度再现)来描述所述颜色创建工具的运作。图3和图4示出可以在所述颜色创建工具的使用过程中显示的设计框架的实例。图5到图8示出可以在颜色创建操作的一个实例过程中显示在屏幕上的一系列框架。
如图3中所示,所述颜色创建系统被适配成显示设计框架70,其具有七个主要感兴趣区域:用于显示对应于当前原型的颜色的贴片的“当前原型”区域71;用于显示被分配给所述原型颜色的名称的原型数据区域72;用于显示当前原型的属性和相关联的值的列表的特征数据区域73;用于显示由用户分配给当前原型的标签的分配标签区域74;用于显示由所述设备利用所述标签模型确定为适用于当前原型的标签描述能力值的推断标签区域75;用于由用户操作以便控制原型更新的更新指令区域76;以及用于由用户操作来控制原型数据的管理(例如保存、载入、删除等等)的原型管理区域77。
顺便提及,即使在用户为特定原型颜色分配特定标签的情况下,所述颜色创建工具应用其标签模型以便确定该颜色的标签的推断值(并且将在推断标签区域75中显示所述推断标签值)。如果所述标签模型被适当地构成,则其将为用户分配给某一原型的给定标签产生的推断标签值将非常接近1.0。
在该实例中,当用户开始使用所述颜色创建工具时,其多次激活所述原型管理区域77中的“新建”按钮,在每一次激活该“新建”按钮时,所述对象生成器生成一个新的原型。也就是说,对于每一个原型,所述设备为所述属性R、G和B中的每一种随机选择0到255范围内的值。所述设备还为这些随机生成的原型中的每一个创建名称。所述原型数据被设置在目录结构中,正如所述原型数据区域72中的原型名称的设置所示出的那样。如果用户把光标置于所述原型数据区域72中的原型名称之一上并且操作选择设备(例如点击鼠标按钮),该原型则变成“当前原型”。作为由用户导致生成新原型的替代方案,所述系统可以被编程为在所述颜色创建工具启动时自动创建特定数目的原型。可以经由用户输入来控制此类初始原型的数目。
在所述原型数据区域72中,可以用与相关联的原型的颜色对应的颜色来显示所述原型名称中的每一个。这使得用户更容易选择对应于其感兴趣的颜色的原型。此外,在给定时间被显示在所述原型数据区域72中的背景颜色可以被设定成对应于当前原型在当时的颜色(也就是说与显示在当前原型区域71中的颜色相同)。
当用户通过以这种方式从所述列表中选择一个名称来选择新的“当前原型”时,在所述当前原型区域71中显示对应于该原型的颜色的颜色贴片,并且在所述特征数据区域73中列出该原型的特征。如果用户为该原型分配了任何标签或者由所述颜色创建工具推断出任何标签,则分别在所述分配标签区域74或所述推断标签区域75中显示相关标签的名称。顺便提及,显示在区域73和75中的数据仅仅被提供用于供用户参考;用户不能操纵该数据。但是在该实例中,用户可以通过激活所述分配标签区域74并且随后(例如通过利用键盘键入词语)输入所期望的标签来为当前原型分配标签。替代地,用户可以激活区域72中的列表内的一个或更多原型的名称,随后通过将标签录入到区域74中一次性输入所有这些原型所共有的标签。
在所述颜色创建工具启动时,用户将倾向于选择多个初始原型并且为之加标签。在用户为所述原型分配标签时,所述工具内部的标签模型生成器将产生标签模型(如上所述)。替代地,标签模型的建立(或更新)可以等待某一触发动作,比如用户激活区域76中的“学习”按钮。
在本实例中假设用户利用下列标签“红色”、“蓝色”、“暗淡”以及“明亮”来为特定原型颜色加标签。
图4示出所述加标签处理。在图4中示出的实例中,用户选择了名称为“lokidi”的原型,并且用表达“蓝色”和“明亮”为该原型加了标签。应当提到的是,所述颜色创建工具未被设置成检测用户标签“蓝色”与所述RGB属性B有关。
根据该实例,当用户希望设计一种颜色时,其通常将(通过点击所述原型数据区域72中的名称)选择一个起始原型、在所述当前原型区域71中检查该原型的外观并且在其想要改变的该原型的某一方面做出决定。下面将参照图5到图8来描述在设计过程期间涉及到的原型更新过程。
图5示出用户选择了原型“bakofo”作为初始原型的情况。在该实例中,该原型对应于黄色。此外,还应当注意到,所述颜色创建工具不具有用于该项目黄色的标签。
所述颜色创建工具此时在其词典中具有四个标签。在该实例中,允许用户参照所述词典中的任何一个可用标签来更新原型。相应地,在所述更新指令区域76的部分80中显示这四个标签。与所述四个标签相关联的加括号的数字分别表明已经被用来建立该标签(在其当前形式下)的标签模型的正面和反面实例的数目。因此,例如,在显示图5中示出的屏幕图像时,已经仅仅利用10个正面实例和6个反面实例建立了标签“蓝色”的标签模型。
如图5中所示,用户选择标签“蓝色”作为更新原型将参照的标签。随后用户激活所述更新指令区域76中的被标记为“更多”的虚拟按钮,以便指示通过使其“更多蓝色”来更新所述原型“bakofo”。(用户可以激活所述更新指令区域76中的被标记为“更少”的按钮,以便表明应当将该原型更新为“更少蓝色”)。将所述更新指令区域76中的虚拟滑动条设定在10%,并且相应地,所述原型更新器寻找比“bakofo”“蓝色更多”至少10%的候选原型。(用户可以将该滑动条设定到其所期望的任何值)。
虽然所述设备不理解标签“蓝色”的语义,但是所述原型更新器把已经为该标签“蓝色”开发的标签模型应用于原型的特征向量,以便找到产生比适用于所述“bakofo”原型的描述能力值至少高10%的描述能力值的原型。
更具体来说,所述颜色生成器产生大量变型原型(基于当前的“bakofo”原型,但是相对于该“bakofo”原型的所述RGB属性的值具有变化δR、δG、δB),并且所述原型更新器将已经为标签“蓝色”开发的标签模型迭代地应用于所述变型(如上所述),以便找到符合用户的指令的变型。顺便提及,由所述颜色生成器产生以供评估的变型的数目可以由用户通过在所述更新指令区域76内的一个窗口中进行录入来设定。在图5中所示的样本屏幕中,要考虑/探索的变型的数目被设定到100000。
所述颜色创建工具的原型更新器30选择其标记为“bluer bakofo(更蓝的bakofo)”的变型作为更新后原型,并且在所述当前原型区域71中显示新颜色的贴片。图6示出更新后的情况,其中“bluer bakofo”已经变为“当前原型”。可以看出,所述原型数据区域72中的原型列表已经被更新为在被标记为“bakofo”的目录下显示新的原型“bluerbakofo”。这有助于用户在其经历所述设计过程时跟踪原型的导出。此外,所述设备已经推断出所述词典中的各标签适用于所述“bluerbakofo”原型的概率的值-参见图6中的区域75。
假设用户希望使所述原型颜色比“bluer bakofo”(其在该实例中仍然看起来非常黄)更蓝。再次,该用户激活所述标签“蓝色”并且点击所述更新指令区域76中的虚拟“更多”按钮。所述“bluer bakofo”原型被更新到被标记为“bluer bluer bakofo(更蓝更蓝的bakofo)”的变型。当所述过程被另外重复多次时,用户以如图7中所示的更新后原型结束。该更新后原型具有绿色。换句话说,即使用户的指令利用了其语义并不直接为所述设备所知的标签,所述颜色创建工具实际上也已经在多个更新步骤中根据用户的指令使初始原型“蓝色更多”。此外,即使在所述更新命令中指定的标签的标签模型是利用仅仅16个实例建立的,所述颜色创建工具也已经实施了符合根据主观描述符所表达的用户的指令的原型更新。
假设现在用户希望获得比图7中显示的原型的颜色更暗淡的颜色。该用户可以通过简单地选择所述屏幕的区域80中的标签“暗淡”并且激活所述更新指令区域76中的被标记为“更多”的虚拟按钮来指示这一更新。图8示出在处理了多个“更暗淡”指令之后所获得的最终原型。应当注意到,该最终原型的名称是“darker darker darkerdarker...bluer bluer bluer...bakofo(更暗淡、更暗淡、更暗淡、更暗淡...更蓝、更蓝、更蓝...的bakofo)”,这表明从原始的“bakofo”产生了该原型的更新链。
从图8与图7的比较可以看出,再次,即使所述标签“暗淡”的标签模型是利用仅仅5个实例建立的,所述颜色创建工具也已经实施了符合根据主观描述符表达的用户的指令的原型更新-“更暗淡”。本领域技术人员将容易理解,这一成功部分地源于在该情况下特征空间的小尺寸(仅仅三个特征:R、G和B)。
顺便提及,在上面的实例中被用于更新后原型的特定命名惯例仅仅是可以使用的几种惯例中的一种。举例来说,当所述颜色创建工具被配置成使得所述图形用户接口用除了英语之外的语言显示指示时,被用于更新后原型的命名惯例可以反映当前的GUI语言-例如在法语中,可以把“bluer bakofo”标记为“plus bleu bakofo”、“bakofo(plus bleu)”或者任何等价表达。
其他实例应用的选集
音频声音合成:
本发明可以有利地被应用于基于硬件或软件的音频声音合成器中。根据本发明的音频声音合成器通常合并有(利用硬件或软件)产生音频声音的声音合成模块,所述音频声音构成用户可能希望修改的“原型”。换句话说,在该事例中利用对象生成器来生成原型。但是将有可能随意地将关于原型声音的音频数据存储在原型数据存储器(比如图2中所示的存储器40)内,并且读出各原型的音频数据。
根据本发明的音频声音合成器具有接口,所述接口允许用户输入按照其自己的主观描述符(标签)表达的原型更新命令,并且允许用户输入加标签消息以便给(例如经由扬声器)向其播放的声音加标签。所述合成器合并有:标签模型生成器,其被适配成产生具体实现存在于可合成声音的非主观属性与已经被分配给加有标签的声音的描述性标签之间的关系的标签模型;以及原型更新器,其被适配成找到与用户的指令相匹配的更新后原型声音(其特别是与更新前原型全局相似,但是合并有根据用户的命令的修改)。
音频声音合成器常常利用含义对用户来说不直观明显的复杂的非主观特征来描述音频声音。通过允许用户利用对其有意义的标签来表达其所期望的对原型音频声音的修改,根据本发明的音频声音合成器允许用户在无需关于声音的基本的非主观属性的专业知识的情况下操纵所合成的声音。
数字内容管理
本发明可以有利地被应用于数字内容管理系统,比如允许用户访问或浏览某一群集中的数字内容(视频剪辑、歌曲、图像文件等等)并且(例如通过添加或删除内容项目;改变在播放列表、目录结构等方面内容的设置;出租内容项目;重现内容项目等等)管理所述群集的应用软件。
根据本发明的数字内容管理系统通常合并有(或者可以访问)数据库,所述数据库存储代表所述群集中的各内容项目的数据,这些内容项目构成用户可能想要更新(特别是通过用另一个内容项目替换来自所述群集的一个内容项目)的“原型”。本发明允许用户在无需提供关于新选择的特性的明确描述的情况下更新其对内容项目的选择。替代地,用户可以以双重方式表明其选择:一方面通过指定应当适用于新内容项目的标签的一个或更多条件,另一方面通过表明其希望进行原型更新,换句话说,所述新内容项目应当与更新前内容项目全局相似。
根据本发明的数字内容管理系统通常具有图形用户接口,其允许用户输入按照其自己的主观描述符(标签)表达的原型更新命令,并且允许用户输入加标签消息以便给向其呈现的所述群集中的内容项目加标签。通常通过以适合所述内容项目的性质的方式再现所述原型来将其呈现给用户:例如“显示”图像、利用扬声器“重放”音频文件、显示“视频剪辑”等等。
所述数字内容管理系统合并有:标签模型生成器,其被适配成产生具体实现存在于所述内容项目的非主观属性与已经被分配给加有标签的项目的描述性标签之间的关系的标签模型;以及原型更新器,其被适配成找到与用户的指令相匹配的更新后原型内容项目(其特别是与更新前原型全局相似,但是合并有根据用户的命令的修改)
已经存在数据库查询软件,其中可以响应于指定用户分配给数据库中的项目的主观标签的期望值的用户查询来获取内容项目(例如在图像数据库中搜索已经利用描述符“红色”和“城市”加了标签的图像)。但是在已知的软件中,所述标签在描述的意义上被使用,而不是被用作用于修改初始原型的某种特性的工具。作为对比,根据本发明的内容管理系统使得用户能够不仅将其自己的主观标签用来定位内容,而且还可以将其自己的主观标签用作操纵所述内容的特性的措施。
虽然在上面参照某些具体实施例及其应用描述了本发明,但是本领域技术人员将容易认识到,本发明不限于上述实施例和应用的特异性和细节。更具体来说,应当理解的是,在不偏离如在所附权利要求书中限定的本发明的范围的情况下,可以在上述实施例中做出各种修改,并且可以产生不同的实施例。以类似的方式,在不偏离如在权利要求书中限定的本发明的范围的情况下,可以在不同于上面给出的具体实例的许多应用中采用本发明。
例如在所述原型对应于存储在数据库中的数字对象/内容项目的应用中,如果希望的话,该数据库可以被定位成远离所述原型更新设备。在这种情况下,所述原型更新设备通常将经由通信网络访问所述数据库。
此外,在某些应用中,对于根据本发明的原型更新设备的一个实施例来说可能适当的是使用生成设备和数据库来构成其组合域(即所有可能原型的完整集合)。
此外,所述原型更新设备的各模块之间的功能分布可以不同于上面参照图2所描述的功能分布。举例来说,不是所述控制模块10是(在所述原型存储器40中)登记用户分配给指定原型的描述符(标签)的模块,而是这一功能可以由所述标签模型生成器20或者由一个专用模块来执行。

Claims (13)

1.一种原型更新设备(1),包括:
原型发出装置(40),被适配成提供原型数字对象或原型数字内容项目,其中所述原型中的每一个具有一个或更多可量化的属性;
输出装置(35),被适配成输出由所述原型发出装置提供的原型以供呈现给用户;
用户输入装置(10,15),被适配成接收来自用户的输入并且辨别由所述用户输入的原型更新命令;
标签输入装置,被适配成登记各个原型与被分配给所述原型的描述性标签之间的关联;
标签模型生成器(20),被适配成开发被分配给原型的标签与原型属性之间的关系的模型,其中所述标签模型生成器(20)包括被适配成分析多个加有标签的原型的属性值以及被分配给所述原型的标签的分析装置;
原型分类器,被适配成针对指定标签量化所述指定标签关于原型的描述能力,其中所述分类器被适配成应用由所述标签模型生成器为所述指定标签开发的标签模型;
原型更新命令处理装置(10),被适配成识别待更新原型并且在经由所述用户输入装置(15)接收到的原型更新命令中识别更新数据,其中所述更新数据指示要由更新后原型的包括一个或更多指定标签的集合满足的一个或更多条件;
原型更新装置(30),被适配成从能够由所述原型发出装置(40)提供的候选原型当中选择更新后原型,其中所述原型更新装置包括:
相似性评价装置,被适配成评价所述待更新原型与各个候选原型之间的全局相似度;以及
条件检查装置,被适配成对候选原型进行评价,以便确定所述候选原型的标签是否满足在所述原型更新命令中指定的所述条件;
其中,所述原型更新装置(30)被适配成选择已经被所述相似性评价装置评价为与所述待更新原型全局相似并且已经被所述条件检查装置评价为具有满足所述条件的标签的原型作为所述更新后原型;
其中,响应于接收到原型更新命令,所述输出装置(35)被适配成输出由所述原型更新装置(30)所选择的候选原型。
2.根据权利要求1的原型更新设备(1),其中,所述相似性评价装置被适配成通过把适用于所述待更新原型和适用于所述候选原型的属性值和/或标签集合进行比较来评估所述待更新原型与所述候选原型之间的相似度。
3.根据权利要求1或2的原型更新设备(1),其中,所述原型更新命令处理装置(10)被适配成在经由所述用户输入装置接收到的原型更新命令中识别更新量值数据,所述更新量值数据量化关于指定标签在所述更新中期望的标签描述能力的改变程度;并且所述原型更新装置(30)被适配成寻找候选原型,其中对于所述候选原型,指定标签的描述能力与该指定标签关于所述待更新原型的描述能力的差异量等于或大于由所述更新量值数据所表明的改变程度。
4.根据权利要求1、2或3的原型更新设备(1),其中,所述原型发出装置(40)包括用于访问存储在数据库中的原型的装置。
5.根据任一在前权利要求的原型更新设备(1),其中,所述原型发出装置(40)包括原型生成设备。
6.根据任一在前权利要求的原型更新设备(1),其中,所述用户输入装置(10,15)被适配成辨别由用户输入的加标签消息;并且所述标签输入装置被适配成在经由所述用户输入装置接收到的加标签消息中识别为待加标签原型分配一个或更多用户标签的数据,以及登记被分配给所述待加标签原型的用户标签。
7.一种原型更新方法,包括以下步骤:
提供原型数字对象或原型数字内容项目,其中所述原型中的每一个具有一个或更多可量化的属性;
输出由原型发出装置提供的原型以供呈现给用户;
登记被分配给指定原型的描述性标签;
接收来自用户的输入并且辨别由所述用户输入的原型更新命令;
开发被分配给原型的标签与原型属性之间的关系的模型,其中所述模型开发步骤包括分析多个加有标签的原型的属性值以及所述原型的被分配的标签;
对于指定用户标签,通过应用在所述开发步骤中为所述指定标签开发的标签模型来量化所述指定标签关于原型的描述能力;
识别待更新原型;
在由所述用户输入的原型更新命令中识别更新数据,其中所述更新数据指示要由更新后原型的包括一个或更多指定标签的集合满足的一个或更多条件;
从可提供的原型当中选择所述更新后原型,其中所述选择步骤包括:
评价所述待更新原型与各个候选原型之间的全局相似度;
对候选原型进行检查,以便确定所述候选原型的标签是否满足在所述原型更新命令中指定的所述条件;以及
选择在全局相似性评价步骤中被评价为与所述待更新原型全局相似并且在所述检查步骤中被确定为具有满足所述条件的标签的原型作为所述更新后原型;
以及响应于接收到原型更新命令输出在所述选择步骤中所选择的候选原型。
8.根据权利要求7的原型更新方法,其中,所述全局相似性评价步骤包括把适用于所述待更新原型和适用于所述候选原型的属性值和/或分配标签集合进行比较。
9.根据权利要求7或8的原型更新方法,并且包括在由用户输入的原型更新命令中识别更新量值数据的步骤,所述更新量值数据量化关于指定标签在所述更新中期望的标签描述能力的改变程度,其中,寻找步骤被适配成寻找候选原型,其中对于所述候选原型,所述指定标签的描述能力与所述指定标签关于所述待更新原型的描述能力的差异量等于或大于由所述更新量值数据所表明的改变程度。
10.根据权利要求7、8或9的原型更新方法,被应用于计算机辅助设计中。
11.根据权利要求7、8或9的原型更新方法,被应用于数字内容管理中。
12.一种计算机,被编程来实施权利要求7到11中的任一权利要求的方法。
13.一种计算机程序,当被加载并运行在计算机设备上时,该计算机程序被适配成导致该设备执行权利要求7到11中的任一权利要求的方法的步骤。
CN2008801117778A 2007-10-16 2008-10-15 用于更新原型的方法和设备 Expired - Fee Related CN101828183B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP07301470A EP2053523A1 (en) 2007-10-16 2007-10-16 Method and apparatus for updating of prototypes
EP07301470.6 2007-10-16
PCT/EP2008/063822 WO2009050172A1 (en) 2007-10-16 2008-10-15 Method and apparatus for updating prototypes

Publications (2)

Publication Number Publication Date
CN101828183A true CN101828183A (zh) 2010-09-08
CN101828183B CN101828183B (zh) 2012-11-14

Family

ID=39339860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801117778A Expired - Fee Related CN101828183B (zh) 2007-10-16 2008-10-15 用于更新原型的方法和设备

Country Status (4)

Country Link
US (1) US8856120B2 (zh)
EP (1) EP2053523A1 (zh)
CN (1) CN101828183B (zh)
WO (1) WO2009050172A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106383720A (zh) * 2016-09-30 2017-02-08 山东浪潮云服务信息科技有限公司 一种软件产品原型的云端分享协作方法
CN107003804A (zh) * 2014-11-21 2017-08-01 习得智交互软件开发公司 为提供原型设计工具的方法、系统及可进行非暂时性的计算机解读的记录媒介
CN107301039A (zh) * 2016-04-15 2017-10-27 习得智交互软件开发公司 原型制作方法及其装置
CN108356832A (zh) * 2018-03-07 2018-08-03 佛山融芯智感科技有限公司 一种室内机器人人机互动系统
CN110889153A (zh) * 2018-08-20 2020-03-17 西安海平方网络科技有限公司 模型的调整方法、装置、计算机设备和存储介质
CN112149836A (zh) * 2019-06-28 2020-12-29 杭州海康威视数字技术股份有限公司 一种机器学习程序更新方法、装置及设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8542950B2 (en) * 2009-06-02 2013-09-24 Yahoo! Inc. Finding iconic images
US9075498B1 (en) 2011-12-22 2015-07-07 Symantec Corporation User interface for finding similar documents
US9058327B1 (en) * 2012-01-25 2015-06-16 Symantec Corporation Enhancing training of predictive coding systems through user selected text
US9336302B1 (en) 2012-07-20 2016-05-10 Zuci Realty Llc Insight and algorithmic clustering for automated synthesis
US9418331B2 (en) 2013-10-28 2016-08-16 Qualcomm Incorporated Methods and apparatus for tagging classes using supervised learning
US20160275117A1 (en) * 2015-03-16 2016-09-22 Kobo Incorporated Disambiguation of an e-book series number
US20160274751A1 (en) * 2015-03-16 2016-09-22 Kobo Incorporated Disambiguation of an e-book series name
SE1851056A1 (en) 2018-09-05 2020-03-06 Spotify Ab System and method for non-plagiaristic model-invariant training set cloning for content generation

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7849416B2 (en) * 2000-06-13 2010-12-07 National Instruments Corporation System and method for graphically creating a sequence of motion control, machine vision, and data acquisition (DAQ) operations
JP2003228706A (ja) * 2002-02-05 2003-08-15 Fuji Xerox Co Ltd データ分類装置
US7415153B2 (en) * 2002-09-20 2008-08-19 International Business Machines Corporation Color naming, color categorization and describing color composition of images
US7124149B2 (en) * 2002-12-13 2006-10-17 International Business Machines Corporation Method and apparatus for content representation and retrieval in concept model space
US20060004476A1 (en) * 2004-07-02 2006-01-05 Bran Ferren System for making custom prototypes

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107003804A (zh) * 2014-11-21 2017-08-01 习得智交互软件开发公司 为提供原型设计工具的方法、系统及可进行非暂时性的计算机解读的记录媒介
CN107003804B (zh) * 2014-11-21 2020-06-12 习得智交互软件开发公司 为提供原型设计工具的方法、系统及可进行非暂时性的计算机解读的记录媒介
CN107301039A (zh) * 2016-04-15 2017-10-27 习得智交互软件开发公司 原型制作方法及其装置
CN106383720A (zh) * 2016-09-30 2017-02-08 山东浪潮云服务信息科技有限公司 一种软件产品原型的云端分享协作方法
CN108356832A (zh) * 2018-03-07 2018-08-03 佛山融芯智感科技有限公司 一种室内机器人人机互动系统
CN110889153A (zh) * 2018-08-20 2020-03-17 西安海平方网络科技有限公司 模型的调整方法、装置、计算机设备和存储介质
CN112149836A (zh) * 2019-06-28 2020-12-29 杭州海康威视数字技术股份有限公司 一种机器学习程序更新方法、装置及设备
CN112149836B (zh) * 2019-06-28 2024-05-24 杭州海康威视数字技术股份有限公司 一种机器学习程序更新方法、装置及设备

Also Published As

Publication number Publication date
EP2053523A1 (en) 2009-04-29
WO2009050172A1 (en) 2009-04-23
US8856120B2 (en) 2014-10-07
CN101828183B (zh) 2012-11-14
US20100299328A1 (en) 2010-11-25

Similar Documents

Publication Publication Date Title
CN101828183B (zh) 用于更新原型的方法和设备
CN103810233B (zh) 内容管理
Fiebrink et al. A meta-instrument for interactive, on-the-fly machine learning
CN102982128B (zh) 搜索计算机应用的扩展菜单以及配置
US10341461B2 (en) System and method for automatically recreating personal media through fusion of multimodal features
US20170277998A1 (en) System And Method For Providing Document Classification Suggestions
KR101169171B1 (ko) 객체 모델 설계를 용이하게 하는 방법 및 시스템
CN103810232B (zh) 内容管理
US20190318262A1 (en) Tool for designing artificial intelligence systems
WO2019102533A1 (ja) 文献分類装置
McCormack et al. Deep learning of individual aesthetics
CN106164932A (zh) 用于识别音乐符号的方法和装置
Kiela MMFeat: A toolkit for extracting multi-modal features
Collaris et al. Strategyatlas: Strategy analysis for machine learning interpretability
JP2019109924A (ja) 情報処理システム、情報処理方法、プログラム
Álvarez et al. RIADA: A machine-learning based infrastructure for recognising the emotions of spotify songs
Ritter et al. Personalized Visual-Interactive Music Classification.
de Boer et al. Classifying Web Pages with Visual Features.
Shibolet et al. Resources for comparative analysis of IDN authoring tools
WO2020099986A1 (ja) コンテンツの分類方法
Garcia et al. PaperComposer: creating interactive paper interfaces for music composition
Barzilai et al. Developing a Data Classification Framework
Crampes et al. An integrated visual approach for music indexing and dynamic playlist composition
CN101326525A (zh) 可视设计系统
Rico et al. Chord progressions selection based on song audio features

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: SONY EUROPE LIMITED

Free format text: FORMER OWNER: SONY FRANCE S. A.

Effective date: 20111013

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20111013

Address after: surrey

Applicant after: SONY EUROPE B.V.

Address before: France Klich

Applicant before: Sony France S.A.

C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210115

Address after: British Airways

Patentee after: SONY EUROPE B.V.

Address before: England / county

Patentee before: SONY EUROPE B.V.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121114

Termination date: 20211015