CN101292240B - 基于优化的视觉情境管理 - Google Patents

Abstract

公开一种改进的视觉情境管理技术。作为实例，更新现有视觉显示以结合新信息的技术包括：获取由后来的用户查询所请求的新信息；和动态导出用于更新至少一部分所述现有显示的一个或多个视觉转换，以结合所述新信息，其中将导出所述转换的处理模型化为尝试均衡视觉情境管理限制以及实现想要信息的期望呈现的优化操作。

Description

基于优化的视觉情境管理

技术领域

本发明一般地涉及信息检索系统，更具体地，涉及在这种信息检索系统中用于视觉情境管理的基于优化的技术。

背景技术

在人机交互过程中，当用户请求一组新的数据时，计算机系统需要动态更新它的视觉输出呈现。本发明的焦点在于视觉情境(visualcontext)的管理，即动态确定如何将新请求的信息合并到现有视觉情境中，从而用户可作为一致性的整体理解所有相关信息的处理。这里，短语“视觉情境”指的是在发出查询时用户观察到的视觉情景。这一过程常常受到多种限制(例如，保证语义连贯性和最小化视觉混乱)以及在人机交互期间引入预料不到的信息。例如，用于传送一条新数据的特定视觉对象的引入可能受到用于呈现多条相关数据的现有视觉对象的影响。在没有将新信息结合到现有情景中的情况下，用户难以比较和组合信息。

由于很难预测将如何开展人机交互，所以不可能预先设计所有可能的视觉情境转换。先前，研究人员和从业人员已尝试了对视觉情境管理使用一种贪婪的(greedy)或基于图式的方式。然而，这些方式通常每次只能处理一个限制，而并没有考虑到这些限制本身如何相互影响。结果，从这些现有方式中获得的视觉情境管理的结果并不令人满意。

因此，需要改进的视觉情境管理技术。

发明内容

本发明的原理提供了改进的视觉情境管理技术。这种改进的视觉情境管理技术可用于创建改进的信息检索系统。

例如，在本发明的一示例性方面中，一种更新现有视觉显示以结合新信息的技术包括：获取由后来的用户查询所请求的新信息；和动态导出用于更新至少一部分现有显示的一个或多个视觉转换，以结合所述新信息，其中将导出所述转换的处理模型化为尝试均衡视觉情境管理限制以及实现想要信息的期望呈现的优化操作。

动态导出视觉转换以将新信息结合到所述现有显示的步骤还包括：将所述视觉情境管理限制模型化为基于特征的合意性(desirability)度量。基于特征的度量可测量显示重叠值、直观地标保存值、转换平滑值、视觉排序值、视觉混乱值中的一个或多个。可以使用例如用户的数据导航偏好的用户信息用公式表示所述基于特征的度量。

此外，动态导出视觉转换以将新信息结合到所述现有显示的步骤还包括以下步骤：对一个或多个视觉转换操作符执行所述优化操作，以将所述合意性度量最大化。

此外，所述优化操作包括全局优化技术，例如模拟退火技术。

有利地，为了以增加的方式呈现不同的、在人机会话期间引入的不曾预料的信息，本发明的原理将视觉情境管理模型化为优化问题。一个主要目的在于找到可最大化满足所有相关限制(例如，保证语义连贯性和最小化视觉混乱)的一组优化视觉转换。结果，本发明的原理能够通过同时均衡一组总的限制来导出一组相近的优化视觉转换。由于这些技术优选地使用基于特征的度量，以统一地模型化所有视觉情境管理限制，所以这些技术容易扩展。

根据结合附图所理解的本发明示例性实施例的以下详细描述，本发明的这些和其它目的、特点和优点将变得清楚。

附图说明

图1是示出根据本发明一实施例的采用视觉情境管理组件的智能、情境敏感的信息检索系统的示图；

图2是示出根据本发明一实施例的第一记录的用户系统会话段的示图；

图3是示出根据本发明一实施例的视觉情境管理构架的示图；

图4是示出根据本发明一实施例的视觉输出产生方法的示图；

图5是示出根据本发明一实施例的第二记录的用户系统会话段的示图；

图6是示出根据本发明一实施例的第三记录的用户系统会话段的示图；

图7是示出根据本发明一实施例的第四记录的用户系统会话段的示图；

图8是示出根据本发明一实施例的第五记录的用户系统会话段的示图；和

图9是示出根据本发明一实施例的适用于执行信息搜索系统的计算机系统的示图。

具体实施方式

应该理解，虽然在下文将以示例性的信息检索应用(例如，房地产应用和酒店应用)描述本发明，但是本发明不限于此。此外，本发明更一般地适用于期望提供基于优化的视觉情境管理技术和业务的任意应用。此外，本发明更一般地适用于期望提供信息的质量呈现或这种呈现业务的任意应用。

由于将在以下文中使用，所以我们首先定义以下术语。我们使用术语“数据对象”来宽泛表示想要呈现的任意类型的数据内容(例如，驻留在房地产数据库中的房产清单的列表或网站上存在的酒店的列表)。我们使用术语“介质对象”来广泛表示将可能用于呈现数据内容的任意类型介质，例如但不限于语音、文本和图形。我们还使用术语“情境”来表示给出想要数据内容的呈现的情景。情境可包括信息，例如但不限于，用户正执行的任务、含有用户偏好和兴趣的用户模型以及含有设备属性的情境模型。

如将在下文以示例性细节说明的，本发明的原理提供了一种构架、系统和方法，用于动态更新与信息检索系统相关的现有视觉显示，以有效地结合由随后用户查询所请求的新信息。上述技术动态导出用于更新至少一部分现有显示的一个或多个视觉转换以结合新信息，其中将视觉情境管理模型化为一种优化的操作，这种优化的操作尝试均衡各种视觉情境管理的限制，以及实现想要信息的期望呈现。

首先，参照图1，图中示出根据本发明一实施例的采用视觉情境管理组件的智能、情境敏感的信息检索系统。由于在用户与系统之间的一个或多个查询和一个或多个响应的序列通常称为会话，所以这种系统也称为“会话系统”。

如图所示，信息检索系统100包括：解译模块102、会话管理模块104、内容确定模块106、情境管理模块108和呈现设计模块110。

尽管本发明不限于此，但是在一个实施例中，解译模块102可使用其公开的内容通过引用合并于此的在K.Houck的“ContextualRevision in Information-Seeking Conversation Systems”ICSLP 2004和/或在J.Chai等的“Context-based Multimodal Input Understandingin Conversation Systems”中描述的技术。

此外，在一实施例中，会话管理模块104可使用其公开的内容通过引用合并于此的在S.Pan的“A Multi-layer ConversationManagement Approach for Information-Seeking Applications”ISCLP2004中描述的技术。

此外，在一实施例中，内容确定模块106可使用其公开的内容通过引用合并于此的在2004年10月20日提交的题为“Optimization-Based Data Content Determination”的第10/969,581号美国专利申请中描述的技术。

同样，情境管理模块108可使用在上文引用的J.Chai等的“Context-based Multimodal Input Understanding in ConversationSystems”中描述的技术。

应该理解，为可以由各组件采用的技术而引用的上述参考文献仅是这些组件可采用的技术的实例。即，这些组件不限于实现上述实例性技术。

然而，优选地，在呈现设计模块110中实现本发明的视觉情境管理的技术。

对系统100的输入是以一个或多个形式(例如，通过图形用户界面或通过语音和手势)给出的用户请求。如果给出这种请求，则采用解译模块102来理解请求的含义。基于解译结果，会话管理模块104判定高级别的适当系统行为。根据情境，可通过呈现所请求的数据来判定直接满足用户请求，或者可选择询问用户额外的问题。由于高级别系统行为没有描述要被呈现的准确内容，所以随后将其发送到内容确定模块106进行细化。

内容确定模块106基于交互情境判定响应的正确数据内容(例如，基于当前用户查询和可用呈现资源，如时间和空间来检索多少数据)。情境管理模块108管理和提供用于作出各种判定的所需情境信息(例如，用户兴趣和偏好)。虽然不限于此，但是有三种通用类型的情境：会话情境；用户情境；和环境情境。这种信息可存储在一个或多个数据库中。会话信息记录用户请求和计算机响应的序列。用户信息包括用户偏好和兴趣。环境信息包括关于系统环境的信息，例如使用哪种类型的显示。

在确定了数据内容之后，可使用介质分配组件(没有明显的示出，但是可以是在其公开的内容通过引用合并于此的2005年1月7日提交的题为“Optimization-Based Media Allocation”的第11/031,951号美国专利申请中描述的组件)以一个或多个数据-介质映射的形式分配各介质，以传送想要的数据。

然后，将这种结果发送到要被呈现的呈现设计模块110。如上所述，优选地，在呈现设计模块110中实现本发明的视觉情境管理的技术。

信息检索系统100通过使用智能多模块会话来支持情境敏感的信息访问和探测。具体地，系统允许用户使用多种形式(包括自然语言、图形用户界面(GUI)和手势)来表达他们的信息请求。此外，系统动态创建适合的响应，包括视觉和口头输出，例如见图2所示。虽然信息检索系统可以在任意多种应用中实现，但是这里使用两个示例性应用，即帮助用户搜索居住物业的房地产应用和协助用户查找旅馆和相关便利设施(例如，餐厅)的酒店应用。

基于对用户请求的理解，信息检索系统在三个步骤中自动创建它的响应。第一步，系统判定响应的类型。在图2中的用户查询U1的情况下，系统判定直接呈现所请求的住宅。根据情境，系统可按公式来表示不同类型的响应。例如，如果检索到的数据组很大，则请求用户提供额外的限制。第二步，系统确定响应的内容。响应于U1，系统选择住宅属性的子集，例如价格和风格。第三步，系统使用适合的介质和呈现技术设计响应的形式。例如，在图2中的系统响应R1中，系统使用图形以在地图上显示住宅数据，以及使用语音概括检索到的住宅的个数。

为了处理随后的请求，例如用户查询U2(图2)，信息检索系统创建用以强调最便宜住宅的响应R2，同时保存R1的大部分现有视觉情境。相反，对于请求U2’，系统放大所请求的住宅，并保持其它住宅为最小化(响应R2’)。这里，我们使用术语视觉情境来表示在发出查询时用户感知到的视觉情景。在没有将新信息结合到现有情景中的情况下，用户难以比较和组合信息。例如，如果R2仅显示最便宜的住宅，则用户很难将该住宅与先前检索到的其它住宅关联起来。

如该实例所阐述的，信息检索系统在运行时使得它的响应满足于用户请求。本发明原理的焦点在于视觉情境的管理，即动态确定如何将新请求的信息合并到现有视觉情境中，从而用户可作为一致性的整体理解所有相关信息的处理。更精确地，使用视觉情境管理来得到一组视觉转换，其更新现有情境以结合新信息。例如，为了获得图2中的响应R2，系统通过向最便宜住宅增加细节并简化其它检索到的住宅来更新R1。

现在，参照图3，图中示出根据本发明一实施例的呈现设计模块(例如，图1中的模块110)。更具体地，图3描述了基于优化的视觉情境管理构架的示例性实施例。即，由呈现设计模块实施的视觉情境管理技术动态确定怎样将新请求的信息结合到现有视觉情境中，使得用户可作为一致性的整体理解所有相关信息。

对构架300的输入包括现有情境(如将在下文中更详细说明)和以将被发送的一个或多个数据对象的形式的呈现结果，以及一个或多个可用介质对象的组。例如，数据对象可以是由用户请求的要被呈现的一组住宅，介质对象可包括要被使用的可用介质，例如语音、文本和图形。根据视觉情境管理器302，产生优化的呈现。现在，将说明如何产生优化的呈现的示例性细节。

图4提供呈现设计模块300(图3)(以下，还称为视觉设计器)的操作的概括。视觉设计器自动创建针对给定用户查询的视觉显示。在示例性实施例中，有3个步骤的处理。第一步，草图发生器创建使用一组视觉化对象对要被视觉显示的数据进行编码的视觉草图。可仅通过使用其公开的内容通过引用合并于此的在M.Zhou和M.Chen的“Automated Generation of Graphic Sketches by Examples”，IJCAI’03，pp.65-71，2003中描述的技术的实例来使用传统的草图产生技术。

第二步，视觉布局管理器在草图中确定视觉对象的大小和位置。具体地，处理自动得到一组空间布局限制，例如保证视觉平衡和避免对象遮挡。在一实施例中，处理可使用非线性限制解决方式来解决几何限制(例如，比例和分层限制)，以及使用空间管理器来定位不固定的对象(例如，插图编号和文本标签)。

第三步，情境管理器更新现有视觉情境，以合并草图。

尽管该处理可以作为三步骤流水线来实施，但是这三个步骤可以穿插。例如，由于布局管理器对于情境管理将作什么知道的不多，所以在情境管理器判定要保存/删除什么之后，需要重新部署对象。为了避免在两个步骤之间反复，布局管理器可以为情景中的每一个视觉对象计算候选大小和位置参数的范围。

我们使用一组实例来示出视觉情境管理是如何取决于多个因素，例如用户偏好和各种视觉限制的。首先，常常由用户查询表达暗含的用户的数据导航偏好影响了视觉情境管理。例如，在图2中的查询U2可暗含用户正在浏览数据，而查询U2’可暗示用户正在过滤数据。系统可使用语言暗示，例如词语“仅”或“哪一个”来推断用户意图。因此，对于查询U2，系统保存大部分视觉情境，以便于进一步数据浏览(响应R2)，并同时放大用于查询U2’的最便宜住宅，以满足数据过滤(响应R2’)。

此外，用户的会话偏好影响了视觉情境管理。在缺省情况下，系统假设用户进行连续的会话，并解译在先前查询的情境中的用户查询。假定在图2中的查询U1之后发出图5中的查询U3。作为连续性，系统呈现所请求的城市数据，同时保存在响应R1中示出的相关住宅。然而，在会话期间，用户可期望开始新情境。系统可允许用户点击“新情境”按钮来表示他的情境切换偏好。在查询U1之后并没有发出查询U3，用户发出图6中的查询U4以切换到新情境。在这种情况下，系统创建仅示出所请求的学校数据的新视觉输出。

除了用户偏好之外，各种视觉显示限制(例如保持显示之间的连续性和最小化视觉混乱)影响了视觉情境管理。例如，为了保持语义连贯性，对于图5中的查询U3，系统将所请求的城市数据结合到相关住宅的情境。此外，为了保持视觉连续性，在图7中，系统显示随同先前检索到的旅馆一起的所请求餐厅，尽管根据我们的数据本体(ontology)，这些餐厅和旅馆的关系比较远。

在用户系统会话的过程中，可将视觉对象汇聚到视觉情境中。由于复杂的视觉显示可使得用户的工作存储器过载，并削弱信息的理解，所以系统尝试最小化视觉混乱，并且同时保持连贯性。为了减少混乱，系统可简化像图5中的住宅和图7中的旅馆那样的不重要信息，或简单地去除不相关的数据。

为了帮助用户合并在多个情景之间的信息，系统还保存重要的直观地标并提供平滑的转换。例如，在图2中，系统保存地理地标，例如Hudson河和主要高速公路，其有助于固定视觉转换。此外，系统保证平滑的视觉转换，以允许用户跟踪这种改变。例如，系统可用动画展示取景改变和视觉对象更新。

因此，系统考虑了更大范围的多种视觉情境管理限制，包括迎合用户偏好、保证视觉连贯性和最小化视觉混乱。这些限制常常相互依赖，并且甚至彼此冲突。例如，保存语义连贯性会妨碍视觉混乱降低的限制。因此，使用简单的启发式算法(heuristic)很难保持一致性的视觉情境，从而不能均衡所有的限制。

为了同时均衡所有相关的限制，本发明的原理提供了一种用于视觉情境管理的基于优化的方式。现在，在以下的部分中将给出(例如，通过图1的信息检索系统100的呈现设计模块110来实现的)这种方式的示例性细节。

我们用三个步骤示例性说明该处理。第一步，我们呈现用以表现视觉情境和视觉操作符的特性的基于特征的表现(A部分)。这里，视觉操作符定义了用以更新一个或多个视觉对象的属性的视觉转换。例如，高亮操作符更新视觉对象的外观。第二步，我们使用定义的特征来按公式表示用以对各种视觉情境管理限制进行统一模型化的一组度量(metric)(B部分)。特别地，每一个度量评估采用一个或多个视觉操作符来更新视觉情境的合意性。第三步，我们呈现通过最大化满足所有相关限制来动态导出一组视觉操作符的模拟退火算法(C部分)。

(A)基于特征的表示

在用户系统会话期间连续更新视觉情境。为了模型化这种动态视觉情境，我们描述在每一用户回合(turn)的开始或结束时的情境状态。形式上，我们使用以下符号。假设用户回合t+1，则S_t表示在回合开始时的视觉情境，并且S_t+1是在回合结束时的视觉情境。我们使用一组特征来描述S_t和S_t+1的语义和句法属性。类似地，我们使用一组特征来表示每一视觉操作符的特性。

(A)(i)二级视觉情境表示

视觉情境S_t包括一组视觉对象。例如，在用户回合U2(图2)的开始时，视觉情境包含例如检索到的住宅和城市的对象(R1)。为了表示在S_t的全部情景和所涉及的每一视觉对象的特性，我们开发出二级描述符，其描述情景的全部属性和每一视觉对象的细节。

具体地，我们使用汇聚特征(例如，视觉对象的总数量(量)和情景中使用的颜色数量(颜色种类))来描述情景。由于我们的目标是将新情景结合到现有视觉情境中，所以我们使用相同的特征组来描述新情景(例如，在图2中的U2中的最便宜住宅的细节)。为了便于合并，我们增加两个特征：焦点和范围。焦点特征描述当前查询的焦点，而范围包括在新情景中显现的所有信息。对于图8中的查询U8，焦点是所请求的火车站，而范围包括火车站和限定火车站的住宅。假设用户查询，则系统限制动态描述焦点和范围，其用于设置取景参数和评估在新情景和现有视觉情境之间的语义相关性。

除了描述整个情景之外，我们还表示每一视觉对象的属性的特性。视觉对象是数据对象的编码，并具有基本的视觉属性，例如颜色、大小和位置。为了便于视觉情境管理，这里，我们关注数据和视觉语义特征。我们使用数据特征(例如种类)来描述所编码数据的语义种类，以及使用视觉特征(例如突出度)来指定可以如何感知视觉编码。以下的表1列出系统使用的语义特征。在这些特征中，我们重点说明三个复杂的特征：数据重要度(dImportance)、视觉重要度(vImportance)和视觉突出度(prominence)。

表1.(^*动态计算的)视觉情境的特征

数据重要度

特征“数据重要度”描述了数据对象对于给定用户回合是多么重要。所有用户对象开始于相同的重要值(0.0)。系统以两种方式动态更新数据重要度。第一种方式，系统使用其内容选择器来判定数据重要度。如果内容选择器选定在给定用户回合时用以呈现的数据对象，则因此更新该对象的重要度。对于图8中的查询U8，内容选择器选择具有最高重要度的所请求火车站数据，以及具有较低重要度的限定火车站的住宅。如果没有选择数据对象，则使用时间衰减功能降低其重要度。例如，为了响应于图2中的U2，系统不选择先前显示的住宅，最便宜的住宅除外。因此，他们的重要度值在回合U2时降低。在用户开始新情境的特殊情况下，系统将未选择的数据的重要度重设为0.0。

第二种方式，系统使用数据关系来判定数据重要度。在内容选择器为多个数据对象分配相同的重要度时，这种方式很有用。在响应R1(图2)中，内容选择器为所有检索到的住宅分配相同的重要度。由于这些住宅在U3(图5)中没有提及，所以它们的重要度降低。然而，相比其它住宅，位于Hartsdale的住宅与U3更加语义相关。结果，系统更好地保存了这些住宅，以向用户提供用以理解检索到的城市数据(图5)的有用情境。因此，我们定义语义相关性度量：

$R_s(d,D^{\′})=\mathrm{Max}[R_s(d,{d^{\′}}_j),\∀j],$

其中，d是数据对象，D’是当前查询焦点，d′_j∈D′，而R_s(d，d′_j}计算在两个数据对象之间的相关性：

$\left(a\right)---R_s(d,{d^{\′}}_j)=\left\{\begin{array}{c}1,\mathrm{if\; two\; data\; objects\; are\; the\; same}\\ \mathrm{\β}\left(r(d,{d^{\′}}_j)\right),\mathrm{otherwise}\end{array}\right.$

这里，β是表示在数据库中在d和d’_j之间的关系r的相关值的函数。系统使用数据本体来查找在d和d’_j之间的数据关系r。在数据库中，使得d是住宅，d’_j是城市。按照我们的本体，住宅位于城市中。使用这种关系，系统检验在数据库中住宅d是否确实位于城市d’_j中。如果关系成立，则β＝1，否则β＝0。现在，我们为本体中的每一类型数据关系静态限定r()的值。

总之，我们为在给定用户回合t+1时的用户对象d定义数据重要度如下

$\left(1\right)---I_d(d,t+1)=\left\{\begin{array}{c}\mathrm{val},\mathrm{if\; d\; is\; selected\; at\; turn\; t}+1\\ 0.0,\mathrm{if\; new\; context\; starts},\mathrm{otherwise}\\ \mathrm{Max}[I_d(d,t)\×\exp (-\mathrm{\α}),R_s(d,D^{\′})]\end{array}\right.$

这里，val是由内容选择器计算的数据重要度，α是衰减因子，现在α＝1.5，为快速衰减。

视觉重要度

数据重要度评估视觉对象在语义上与用户查询如何关联，而视觉重要度在空间上测量了视觉对象与当前查询焦点如何关联。通常，在呈现用户请求的信息时，由于位于邻近的项目有助于为用户建立有用的情境以理解想要的信息，所以期望显示这种项目。例如，在图7(b)中，该系统示出所请求的餐厅和邻近的旅馆，以向用户给出每一事物所在的整个情境。

通过这种理解，视觉重要度特征是视觉对象v与当前查询焦点V’的视觉表现的空间相关性：

$\left(2\right){---I}_v\left(v\right)=1-\mathrm{Min}\left[\mathrm{dist}((v,{v^{\′}}_j),\∀j\right],$

其中，v′_j∈V′，distO计算在标准屏幕坐标中两个视觉对象的欧几里得距离。

视觉突出度

视觉突出度测量视觉对象可以多么容易地被用户感知。使用三个级别视觉变量对其进行模型化，包括：颜色、大小和位置。假设视觉对象为v，我们定义其颜色突出度P₁(v)，大小突出度P₂(v)，和位置突出度P₃(v)。

颜色突出度说明，视觉对象产生比背景越多的对比度，则该对象可更突出地被感知。例如，相比于白色背景来说，红色对象比黄色对象更加突出。函数contrast()返回在两个颜色之间的对比度值：

P₁(v)＝contrast(v.color，background).

大小突出度断定，视觉对象越大，则它显现的越突出：

P₂(v)＝v.bbx.width×v.bbx.height，

其中，在标准屏幕坐标中计算包围盒(bounding box)。

位置突出度说明，在位于显示中心附近的对象比位于其它位置的更加突出：

P₃(v)＝1-dist(v，c)，其中，c表示显示中心，函数dist()计算在v和中心之间的标准屏幕欧几里得距离。

组合上述三个公式，我们模型化视觉对象v的总视觉突出度：

$\left(3\right)---P\left(v\right)=\underset{i}{\mathrm{\Σ}}{u}_i\×P_i\left(v\right),\mathrm{where\; i}=1..3,\mathrm{and\; weight}{u}_i=0.33.$

(A)(ii)视觉操作符表示

我们使用一组视觉操作符来模型化用以更新视觉情境和结合新信息的视觉转换。可基于视觉操作符的效果对其分类。我们已经标识出四组操作符：用以修改取景参数的取景操作符、用以更新视觉显现的显现操作符(例如高亮)、用以改变几何属性的几何操作符(例如移动和缩放)、和用以修改情景结构的结构操作符(例如增加)。以下表2列出了系统使用的操作符。根据实际的实施，操作符可展示不同的视觉效果。例如，我们可通过将对象透明或简单隐藏对象来实现删除。

表2.视觉操作符的分类

操作符                定义

取景操作符

取景                  更新取景参数(例如，放大)

显现操作符

高亮                  高亮显示现有视觉对象(例如，改变颜色)

几何操作符

移动                  修改视觉对象的位置

缩放                  修改视觉对象的大小

结构操作符

简化                  简化视觉对象的表示

增加                  向情境中增加视觉对象

删除                  从情境中删除视觉对象

为了统一标识所有视觉操作符，我们将操作符分别与7个特征关联。特征操作数(operand)表示操作符控制的视觉对象，特征参数(parameter)保存需要执行想要转换的特定信息。如下所示，缩放操作符具有一个参数scaleFactor。特征效果(effect)是测量在操作之后要修改操作数的哪些属性的函数。例如，缩放改变了对象的大小。另一方面，特征成本(cost)评估用以执行想要视觉转换的成本。例如，用户感知对象移动比高亮效果要付出更多成本。最后，特征时间优先级(temporal-priority)、开始时间(startTime)和结束时间(endTime)控制采用操作符的时间。下段概括了操作符Scale的定义：

Scale extends Operator{

       List operand

       Vector3 scaleFactor//parameter stating how much to scale

       float effect()//this function modifies the size of operands

       float cost＝medium

       float temporal-priority＝medium

       float startTime，endTime

}

(B)基于特征的合意性度量

如上所述，多个限制会影响视觉情境管理，包括用户偏好和视觉显示限制。为了统一模型化所有限制，我们基于视觉情境和视觉操作符的表示定义一组度量。这些度量评估对现有视觉情境采用一个或多个视觉操作符合意性，以合并新信息。按照这些目的，我们将度量分成两组：视觉动量(momentum)度量和视觉构成度量。视觉动量度量评估在显示之间的视觉情境的一致性。视觉构成度量评估在结合了新信息之后的视觉情境的结构一致性。这里，我们的目的不是列举完整的视觉情境管理限制组，而是我们示出如何在数量上用公式表示关键性限制。为了简化，将所有特征/度量值规范在[0，1]之间。

(B)(i)视觉动量度量

视觉动量测量用户用于在多个显示之间提取和结合信息的能力。由于视觉动量的量与用户理解在显示之间的信息的能力成比例，所以系统在更新视觉情境时尝试最大化视觉动量。具体地，我们使用三种适用于我们的视觉情境管理任务的技术：1)最大化连续显示的语义和视觉重叠，2)保存直观的地标，和3)保证平滑的视觉转换。

最大化显示重叠。

适当的显示重叠帮助用户以递增的方式将连续显示之间的信息结合在一起。我们定义两个度量：视觉重叠和语义重叠度量。视觉重叠度量计算两个显示之间的不变性(invariance)，具体地，S_t中的每一个视觉对象和其在S_t+1中的新状态的平均不变性：

$O_v(S_i,S_{i+1})=\frac{1}{N^2}\underset{i}{\mathrm{\Σ}}\mathrm{inv}\left(v_{i,t}{v}_{i,t+1}\right).$

这里，视觉对象v_i，t∈S_t，v_i，t+1∈St_t+1，和v_i，t+1＝op(v_i，t)，op_i是视觉操作符；N是S_t中视觉对象的总数；inv()计算在两个视觉对象之间的不变性。如果v_i，t+1不可见，则invO＝0.0；否则，它是位置、大小和颜色的平均不变性：

inv(v_i，t，v_i，t+1)＝Avg[inv_loc(v_i，t，v_i，t+1)，inv_size(v_i，t，v_i，t+1)，

inv_color(v_i，t，v_i，t+1)].

类似地，我们定义语义重叠度量，其用以评估相关的项目在语义方面是否一起保持在显示中。计算S_t和S_t+1的语义相关性：

$O_s(S_t,S_{t+1})=\frac{1}{N^2}\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}\left(R_s\right)d_i,d_j\left)\right),$

其中，分别通过v_i，t和v_j，i+1对数据对象d_i和d_j编码，R_s()使用上述公式(a)计算它们的语义相关性。

使用上文定义的视觉和语义重叠度量，我们模型化通过用户导航偏好调节的总显示重叠度量，其允许更多的数据浏览的显示重叠，但是更少的数据过滤的重叠：

(4)o(s_t，s_t+1)＝ε[w₁×O_r+w₂×O_s]，

其中，权数w₁＝w₂＝0.5，ε是常数，ε＝1.0以用于数据浏览，否则ε＝0.5。

保存直观地标。

直观地标是固定视觉情境转换的可区别特征，其反过来帮助用户在连续情景中关联信息。例如，Westchester县地图用作在图2和图4-6中描述的显示的共同背景，并且尽量在情景中保持例如主要河流和高速公路的主要地理地标(例如，图2中的Hudson河)。为了在视觉情境中保存最大数量的直观地标，我们计算在情境中规范化的地标数量：

(5)L(S_t+1)＝L_t+1/N，

其中L_t+1是在视觉情境S_t+1中存在的地标数量，N是在整个应用中存在的地标总数。

保证平滑的转换。

在情境中的突然改变防止用户从视觉上跟踪改变。结果，在现有情景和新情景之间的因果关联可能丢失。为了保证在连续显示之间平滑的转换，通常用动画向用户提供强有力的暗示，以解译这些改变。我们定义用以计算采用一组视觉操作符的平均平滑度的度量：

$\left(6\right)---T\left(\mathrm{Op}\right)=\mathrm{Avg}(\mathrm{smoothness}\left(o{p}_i\right),\∀i],$

其中视觉操作符op_i∈Op，通过操作符成本(如上所述)定义smoothness()：

上述度量描述了操作符发生的精神成本越低，用户感知的转换越平滑。

组合公式4-6，我们定义总视觉动量度量，以保证最大显示间的连续性：

(7)φ(Op，S_t，S′)＝Avg[O，L，T]，

其中，视觉操作符Op转换视觉情境S_t，以结合新情景S’。

(B)(ii)视觉构成度量

除了在视觉情境转换期间最大化视觉动量之外，我们保证情境结构在转换之后一致。由于我们产生的草图考虑了关于视觉编码的构成问题(图4)，所以这里我们的焦点是关于从两个方面的视觉结合的构成问题。一个方面是保证正确的视觉排序，从而用户能够容易地注意到新内容。另一个方面是在结合新信息之后最小化视觉混乱。

建立正确的视觉排序

为了建立正确的视觉排序，我们限定突出地表达对于当前用户查询重要的数据项目。例如，在图8(b)中，系统高亮显示新请求的火车站信息，同时基于与火车站的相关事物简化住宅表示。这里，略微简化了限定火车站的住宅，同时将其它住宅减小到它们的最小程度(图8(a)-(b))。为了捕获在数据重要度和视觉突出度之间的这种期望关系，我们定义视觉排序度量：

$\left(8\right)---\mathrm{\ζ}\left(S_{i+1}\right)=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}l-|l(d_i,v_i|)\×P\left(v_j\right)-l(d_j,v_j)\×P\left(v_i\right)$

这里，d_i和d_j是数据对象，v_i和v_j是它们在回合t+1时的对应编码。函数l()是使用公式1-2计算的数据对象d_i及其视觉编码v_i的总重要度：

l(d_i，v_i)＝μ₁×l_d(d_i)+μ₂×l_v(d_i)，

其中，权数μ₁＝0.7，μ₂＝0.3，以满足语义重要度。此外，P_t+1()通过公式3计算视觉突出度。

最小化视觉混乱

视觉上的混乱呈现可产生混淆，并使得情景不能扫描。为了提供具有信息的但是不混乱的视觉情境，我们测量显示的总复杂度。已知存在能影响视觉复杂度的多组因素。一组因素包括对象的量和它们属性的变量，例如在情景中出现的不同颜色和形状的数量。另一组因素与情景的空间布局相关，例如对称性和开放性。由于我们的布局管理器保存含有对称性的空间布局限制(图4)，所以这里我们使用第一组因素测量视觉复杂度：

χ(S_t+1)＝λ₁×colorVariety(S_t+1)/N_c+λ₂×areaUsage(S_t+1)

+λ₃×shapeComplexity(S_t+1).

这里，权数λ₁＝λ₂＝λ₃＝0.33，N_c是在一个显示上允许的颜色总数(现在，N_c＝7)，而colorVariety()获取在S_t+1中使用的颜色总数量。

度量areaUsage()计算由S_t+1占用的标准屏幕空间：

$\mathrm{areaUsage}\left(S_{t+1}\right)=\underset{i}{\mathrm{\Σ}}\mathrm{boundingArea}\left(v_i\right),$

其中，视觉对象v_i∈S_t+1，boundingArea()返回在标准屏幕坐标中由S_t+1占用的标准屏幕空间。

度量shapeComplexity()计算在S_t+1中不同形状的总数量，以及所有形状的平均复杂度(不同形状分配有不同的复杂度值，例如，可认为文本比简单几何形状(例如圆)更复杂)：

shapeComplexity(S_t+1)＝shapeVariety(S_t+1)/N×Avg[shapeComplexity(v_i)].

这里，N_s是在S_t+1中视觉对象的总数，shapeVariety()和shapeComplexity()是表1中定义的两个特征。

为了最小化情景的视觉复杂度，我们最大化：

(9)Ψ(S_t+1)＝γ[1-χ(S_t+1)]，

其中，是γ常数，γ＝0.5用于数据浏览；否则γ＝1.0。

(C)模拟退火算法

组合公式7-9，我们定义了总对象函数：

(10)reward(Op，S_t，S′)＝w₁×φ+w₂×ζ+w₃×Ψ.

这里，Op是用于转换视觉情境S_t以结合新情景S′的一组视觉操作符，并且权数w₁＝w₂＝w₃＝0.33。

现在，我们的目标是找到能最大化对象函数的一组视觉操作符。这个任务是解决典型的二次分配问题，即NP-hard。由于简单的贪婪算法会陷入局部极大值的困境，所以我们采用模拟退火算法，已经证明了这种算法对于解决这种问题很有效。

以下表3概括了示例性的模拟退火算法：

表3

List simulatedAnnealing(Scene S，Scene S).

1      List result←empty

2      float T←T0

3      while(T＞Tmin)do

4      for each sample count∈[1，MAX_SAMPLE_COUNT]

5             Operator op←find_operator(S，S，result)

6             if(op＝null)then return result endif

7             List currOpList←result+op

8             float diff←reward(currOpList)-reward(result)

9             if diff＞0 then add op to result

10            else if probability exp(-diff/T}＞rand(0，1)

11                    then add op to result endif

12            endif

13     endfor

14     T←T-Δt

15     endwhile

16     return result

对算法的输入是在用户回合t+1的开始时的视觉情境S，以及要结合的新情景S′。该算法使用“温度”参数T，以循环设定期望结果列表(2-15行)。在我们的实验中，将T初始化为T0＝2.0，最小温度Tmin＝0.05，减小率Δt＝0.1，使用它们控制循环的次数。

在每一次循环时，该算法取样一组操作符(现在MAX_SAMPLE_COUNT ＝40)(4-13行)。在每一取样中，例程find_operator()使用贪婪策略找到最顶端的候选项(5行)。具体地，计算reward()，以将已经选择的操作符和操作符op应用于还没有被同一操作符更新的视觉对象(公式10)。然后，按所有后选项的reward值分级，并返回最顶端的那个值。使用最顶端的候选项和现有的结果组，该算法测试reward是否大于单独使用现有结果组的情况(7-8行)。如果是这样，则将该候选项增加至结果组(9行)。否则，测试当前控制可能性是否大于在[0，1]之间通过rand()产生的随机数(10行)。如果是，则增加该候选项(11行)。

在每一次循环中，参数T控制接收次优操作符的可能性。然后，逐渐减少，从而该算法几乎不可能接受次优操作符(14行)。当该算法最后收敛时(即，T到达目标最低温度)，则返回在公式10中最大化我们的目标函数的一组视觉操作符(16行)。复杂度find_operator()是O(n²×m²)，其中n是在S_t和S’中的视觉对象的总数量，m是可用操作符的数量。由于在温度减少过程中的步骤数量和在每一温度评估的取样总数恒定，所以我们的算法的总复杂度是O(n²×m²)。

在找到一组期望的视觉操作符之后，系统按它们的类型和按它们的操作数对这些操作符分类。例如，系统将具有相同类型操作数的所有高亮显示操作符分在一起。然后，系统确定采用这些操作符的顺序。可同时采用在一组中的操作符。这种应用指导用户认识在视觉转换期间的直观分组。例如，对一组住宅的高亮显示同时允许用户按组观察这些住宅。此外，在不同组中的操作符按它们的时间优先级排序。例如，删除通常发生在增加之前，以防止旧数据覆盖新数据。现在，我们为每一类型操作符静态定义时间优先级。

在一实施例中，使用三个步骤来建立视觉情境管理方法。第一步，我们定义静态特征，例如分配数据语义分类(表1)。根据我们的经验，建立简单的数据本体有助于定义这些特征。第二步，我们建立视觉操作符的目录(表2)。第三步，我们用公式表示基于特征的度量，以模型化对于应用重要的各种限制。例如，在移动装置应用中，我们可模型化设备相关的视觉情境管理限制。我们还可希望基于应用的需要调整度量。例如，我们在数据浏览应用中增加用于显示重叠的权数(公式4)。

为了引导该处理和避免调整错误，我们推荐简单地开始。目前，我们使用简单数据本体，一组基本视觉操作符，和相等权数的度量(公式10)，以足够处理在两个不同应用中的各种交互情况。在必要时，很容易扩展我们所具有的操作符。首先，我们可容易地引入新视觉操作符(例如，为视觉渐变增加鱼眼示图(fisheye view)操作符)。此外，我们可容易地将新特征/度量结合到我们的目标函数中，以获取期望功能(例如，设备相关操作符成本度量)。

除了支持多模型会话系统之外，关于视觉情境管理的创造性方法适用于创建更好视觉效果的更广泛问题。例如，可用于GUI驱动交互视觉系统，其中可产生更加一致的视觉效果，以结合在用户交互的多个回合之间所获得的信息。

当在交互环境中建立视觉效果时，必须动态判定如何以增加的方式将新信息结合到现有显示，以保证整个情境的一致性。如上文示例性细节中所说明的，我们呈现了用于视觉情境管理的基于优化的方式。给定现有视觉情境和要呈现的新信息，我们的目的是找到可最优地更新现有视觉情境和结合新信息的一组视觉操作符。为了实现这个目的，我们用公式表示一组度量，以模型化各种情境管理限制，例如保存视觉排序和保持视觉动量。使用这些度量，我们定义总对象函数，以估算采用一组视觉操作符的总期望。最后，我们使用模拟退火算法，以最大化对象函数和找到期望操作符。

与常常考虑在更确定的情境中的限制子集的现有方法不同，我们的基于优化方法为不同的交互情况动态均衡一组综合的限制。由于我们可以容易地结合新特征/限制，所以该方法还容易扩展。我们对两个不同应用进行了处理，我们的研究显示了该系统以完全不同于人类设计者的方式执行。

最后，参照图9，图中示出根据本发明一实施例的适合于执行信息搜索系统的计算机系统。例如，图9的示例性结构可用于实施在图1至图8的情境中描述的任意或所有组件和/或步骤。

如图所示，计算机系统900可根据经由计算机总线910耦合或交错连接设置的处理器902、存储器904、I/O设备906和网络接口908来实现。

可以理解，本文中使用的术语“处理器”旨在包括任意处理设备，例如，包括CPU(中央处理单元)和/或其它处理电路的处理设备。还可以理解的是，术语“处理器”可表示多个处理设备以及与处理设备关联的可以被其它处理设备共享的各种元件。

本文中使用的术语“存储器”旨在包括与处理器或CPU关联的存储器，例如RAM、ROM、固定存储设备(例如硬盘驱动器)、可拆卸存储设备(例如磁盘)、闪存等。

此外，本文中使用的短语“输入/输出设备”或“I/O设备”旨在包括例如用于向处理单元输入数据的一个或多个输入设备(例如，键盘、鼠标等)，和/或用于呈现与处理单元关联的结果的一个或多个输出设备(例如，扬声器、显示器等)。

此外，本文中使用的短语“网络接口”旨在包括例如一个或多个收发器，其允许计算机系统经由适当的通信协议与其它计算机系统通信。

因此，包括用于执行在本文中描述的方法的指或令编码的软件组件可存储在一个或多个关联存储设备(例如，ROM、固定或可拆卸存储器)中，并且当准备使用时，可以部分地或全部地加载(例如，到RAM中)，并由CPU执行。

还可以理解，本发明还包括用于提供视觉情境管理业务的技术。通过实例，业务提供商(例如，经由业务等级协议或某些非正式的协议或布置)同意业务消费者或客户提供视觉情境管理业务。即，仅作为一个实例，业务提供商可托管消费者网站和相关应用。然后，根据业务提供商和业务消费者之间的协议条款，业务提供商提供视觉情境管理服务，其可包括本文描述的本发明的一个或多个方法。

尽管根据附图已经描述了本发明的示例性实施例，但是可以理解，本发明不限于这些确切实施例，在不脱离本发明的范围或精神的情况下可由本领域普通技术人员进行各种其它的改变和修改。

Claims (23)

1.一种更新现有视觉显示以结合新信息的方法，包括以下步骤：

获取由后来的用户查询所请求的新信息；和

动态导出用于更新所述现有显示的至少一部分的一个或多个视觉转换以将所述新信息结合到所述现有显示，其中将导出所述转换的处理模型化为均衡视觉情境管理限制以及实现想要信息的期望呈现的优化操作，包括将所述视觉情境管理限制模型化为基于特征的合意性度量，所述基于特征的合意性度量包括视觉动量度量和视觉构成度量，所述视觉动量度量评估在显示之间的视觉情境的一致性，视觉构成度量评估在结合了所述新信息之后的视觉情境的结构一致性。

2.权利要求1的方法，其中动态导出视觉转换以将新信息结合到所述现有显示的步骤还包括以下步骤：通过所述基于特征的合意性度量中的一个测量显示重叠值作为所述视觉动量度量。

3.权利要求1的方法，其中动态导出视觉转换以将新信息结合到所述现有显示的步骤还包括以下步骤：通过所述基于特征的合意性度量中的一个测量直观地标保存值作为所述视觉动量度量。

4.权利要求1的方法，其中动态导出视觉转换以将新信息结合到所述现有显示的步骤还包括以下步骤：通过所述基于特征的合意性度量中的一个测量转换平滑值作为所述视觉动量度量。

5.权利要求1的方法，其中动态导出视觉转换以将新信息结合到所述现有显示的步骤还包括以下步骤：通过所述基于特征的合意性度量中的一个测量视觉排序值作为所述视觉构成度量。

6.权利要求1的方法，其中动态导出视觉转换以将新信息结合到所述现有显示的步骤还包括以下步骤：通过所述基于特征的合意性度量中的一个测量视觉混乱值作为所述视觉构成度量。

7.权利要求1的方法，其中动态导出视觉转换以将新信息结合到所述现有显示的步骤还包括以下步骤：使用用户信息用公式表示所述基于特征的合意性度量。

8.权利要求7的方法，其中：所述用户信息包含用户的数据导航偏好。

9.权利要求1的方法，其中动态导出视觉转换以将新信息结合到所述现有显示的步骤还包括以下步骤：对一个或多个视觉转换操作符执行所述优化操作，以将所述合意性度量最大化。

10.权利要求1的方法，其中所述优化操作包括全局优化技术。

11.权利要求10的方法，其中所述全局优化技术包括模拟退火技术。

12.一种更新现有视觉显示以结合新信息的设备，包括：

获取由后来的用户查询所请求的新信息的装置；和

动态导出用于更新所述现有显示的至少一部分的一个或多个视觉转换以将所述新信息结合到所述现有显示的装置，其中将导出所述转换的处理模型化为均衡视觉情境管理限制以及实现想要信息的期望呈现的优化操作，动态导出视觉转换以将新信息结合到所述现有显示的装置还包括将所述视觉情境管理限制模型化为基于特征的合意性度量的装置，所述基于特征的合意性度量包括视觉动量度量和视觉构成度量，所述视觉动量度量评估在显示之间的视觉情境的一致性，视觉构成度量评估在结合了所述新信息之后的视觉情境的结构一致性。

13.权利要求12的设备，其中动态导出视觉转换以将新信息结合到所述现有显示的装置还包括：通过所述基于特征的合意性度量中的一个测量显示重叠值作为所述视觉动量度量的装置。

14.权利要求12的设备，其中动态导出视觉转换以将新信息结合到所述现有显示的装置还包括：通过所述基于特征的合意性度量中的一个测量直观地标保存值作为所述视觉动量度量的装置。

15.权利要求12的设备，其中动态导出视觉转换以将新信息结合到所述现有显示的装置还包括：通过所述基于特征的合意性度量中的一个测量转换平滑值作为所述视觉动量度量的装置。

16.权利要求12的设备，其中动态导出视觉转换以将新信息结合到所述现有显示的装置还包括：通过所述基于特征的合意性度量中的一个测量视觉排序值作为所述视觉构成度量的装置。

17.权利要求12的设备，其中动态导出视觉转换以将新信息结合到所述现有显示的装置还包括：通过所述基于特征的合意性度量中的一个测量视觉混乱值作为所述视觉构成度量的装置。

18.权利要求12的设备，其中动态导出视觉转换以将新信息结合到所述现有显示的装置还包括：使用用户信息用公式表示所述基于特征的合意性度量的装置。

19.权利要求18的设备，其中：所述用户信息包含用户的数据导航偏好。

20.权利要求12的设备，其中动态导出视觉转换以将新信息结合到所述现有显示的装置还包括：对一个或多个视觉转换操作符执行所述优化操作以将所述合意性度量最大化的装置。

21.权利要求12的设备，其中所述优化操作包括全局优化技术。

22.权利要求21的设备，其中所述全局优化技术包括模拟退火技术。

23.一种用于提供更新现有视觉显示以结合新信息的业务的方法，包括以下步骤：

业务提供商响应于由后来的用户查询所请求的新信息的获取，使能动态导出用于更新所述现有显示的至少一部分的一个或多个视觉转换以将所述新信息结合到所述现有显示的处理，其中将导出所述转换的处理模型化为均衡视觉情境管理限制以及实现想要信息的期望呈现的优化操作，包括将所述视觉情境管理限制模型化为基于特征的合意性度量，所述基于特征的合意性度量包括视觉动量度量和视觉构成度量，所述视觉动量度量评估在显示之间的视觉情境的一致性，视觉构成度量评估在结合了所述新信息之后的视觉情境的结构一致性。

Images