CN105164624A - 基于事件和因果关系的人机交互 - Google Patents

Abstract

本发明涉及一种用于人机交互(HCI)的方法。所述方法包括：建立事件集；建立和引用所述事件集中的一个或多个事件；建立和引用事件以表示所述事件集中的观察器；建立作为无限度量黎曼(Riemann)流形的表示流形；呈现所述表示流形上的事件，使得事件之间的逻辑关系是坐标无关的且被几何编码为因果关系；建立输入流形以表示用户输入；建立在表示流形和物理输出设备之间映射的输出流形。此外，基于用户输入，从以下选择一个或多个步骤：操作观察器事件，调整流形度量，改变映射，调整映射参数，和应用映射。当用户输入改变时重复上面的步骤。

Description

基于事件和因果关系的人机交互

技术领域

本发明主要涉及一种用于在用户界面上进行人机交互(human-computerinteraction，HCI)的方法。

背景技术

Buxton(1993)设想了与计算机交互的两种模式：描述性方法(如在DOS中所实现)和直接操作系统(如图形用户界面(GUI))。两者都有不足之处。理想的将是同时具有这两者的特征的系统。

在最基本的层面上，人机交互由动作(动词)和对象(名词)(Buxton1993)的配对来管理。这可以在描述性模式中通过指定需要运行的应用和随后必须应用该应用的文件来实现，例如，打开文本文件的文本编辑器。这同样适用于直接操作方法；选择一个动作，然后是需要应用该动作的对象。这种配对也可以看作是动作和对象之间的逻辑关系的创建。许多其它逻辑关系可存在于动作之间、对象之间或动作与对象两者之间，例如，具有一定扩展性的文件与某些应用在逻辑上被配对。Buxton(Buxton1993)给出的实例，利用反相器跟随的与门和没有反相器跟随的与门之间的逻辑区别，披露了在将这种组合转换为单个与非门时的直接操作方法的缺点。相反地，利用这一区别特征，描述性方法可以将这种操作应用到所有转换器跟随的与门。

这些观察结果导致了一个自然的问题：如果使动作和对象配对的逻辑关系，或任何其它逻辑关系，也被几何编码，形成图形界面的整体部分并提供交互的基础，会出现什么情况？这种整合的框架是众所周知的；如在Einstein的相对论中被几何编码那样，它利用了因果关系的概念。这构成了本发明的基本原理。

因果关系的概念(即一个事件引起另一个事件，且不能改变顺序)对于我们的日常经验是至关重要的。这是自然和直观的概念。

Einstein相对论的核心是光速是信号可以传输的最大速度的观察结果。这导致有因果联系和没有因果联系的事件的概念，即，如果它们有因果联系使得光可以在比分离这两个事件的时间更短的时间内横向空间分离，则两个事件可以仅影响对方。如果空间分离太大，则两个事件在分离它们的时间内无法通信且它们没有因果联系。在相对论的语言中，这被表述为，一个事件由另一个事件引起，该事件必须位于另一个事件的前向光锥内，或者，它们具有类时分离，而如果它们位于彼此的光锥之外或具有类空分离，则它们没有因果联系且不能影响对方。

相对论的基本原理是，物理现实并不依赖于坐标，因为坐标仅仅是观察器(observer)引入到标签事件的标签且完全是任意的(在轻微的限制内)。因果关系是物理现实；当某个事件导致另一个事件时，不管所有观察器选择的坐标如何，他们必须同意事件的顺序。因此，编码因果关系的数学量在坐标的变化下必须不能发生改变(为不变量)。在广义相对论中，这通过引入黎曼(Riemann)流形来编码，Riemann流形具有度量g和不变的平方距离ds²(x)＝g_uv(x)dx^udx^v，其中x^u是局部坐标。该度量以这种方式变换，使得坐标改变时，ds²不变。在狭义相对论中，该度量在每处都采用闵可夫斯基(Minkowski)，且平方距离函数为ds²＝c²dt-dx·dx，其中“·”为常用的Euclidean标量乘积。这在更严格的坐标变换集(洛伦兹(Lorentz)变换)下是不变的。因果关系在不变量ds²的符号中被编码，即ds²>0代表类时分离和有因果联系的事件，而ds²<0代表类空分离和没有因果联系的事件。然后通过构造，因果关系的概念独立于观察器的坐标选择，或者换一种表述，事件的精确图形表示作为事件的因果关系被保存在任何演示中。

在物理过程的控制中因果关系的作用已被Moray和Hancock(2009)认识和分析，物理过程的控制涉及人与机器之间的通信，其中存在通信速度的上限(不一定是光速)。Darlow和Goldin(2011)研究了因果关系在HCI中的作用。结果发现，遵从因果关系的交互过程比那些没有这样做的效率更高，再次强调了因果关系的自然和直观的本质。最近，通过隐含有因果联系和没有因果联系的事件的概念已经开发出模拟相对论的计算机游戏(视觉和体验的相对性——用于教学的新工具2012)，以在速度接近光速(或光速下降)的相对论性的设置中产生这些概念的更大的直觉。

在上面所描述的应用中，时间是物理时间，由物理时钟来测量。然而，已经认识到，因果关系的概念是非常有用的，在逻辑过程中逻辑关系可以通过涉及逻辑而非物理时间的因果关系来捕获。这在Broy(2004)的交互式系统以及Hrischuk和Woodside(1996)的分布式系统中被探索。在这些研究中，重点是具有许多组件的系统中的信息流。它寻求在登机等物理过程(Bachmat等，未注明日期)和电路设计(Matherat和Jaekel2011)中的实际应用。

尽管有了这些研究和应用，还没有人研究这些概念在HCI界面的设计中可以应用到什么程度。在这个方向上最接近的研究是Darlow和Goldin(2011)的工作。然而，即使在此处还是难以触及通过这种方法提供的全部可能性。只有非常有限的例子被研究，这些例子证明了吸引我们的因果关系的自然直觉的好处。使用逻辑因果关系的想法还未被探索。

当考虑Buxton(1993)提出的关于直接操作系统以及描述性系统的不足之处的论点时，很清楚，我们还没有达到HCI的优化设计，甚至于没有达到某些近似设计。即使是HCI的设计原则似乎仍然受到强烈争议(Beaudouin-Lafon，未注明日期,Hinze-Hoare，未注明日期)。直接操作的主要缺点，特别是GUI系统的主要缺点是，用户被捆绑到非常严格的仅提供有限控制的图形表示，以提高与用户计算机的交互。正如已经说过的，从因果关系的角度来看，精确图形表示变得无关紧要，因此很自然地问，这是否提供了其它的、更灵活的、图形化的替代品。

当意识到，在HCI的最基本层次上，所有过程涉及动作、对象和逻辑关系时，因果关系成为一种自然的候选。如果HCI可以在这个层次上实现，这种交互的图形反馈或表示变得次要，并且可围绕用户的需求来设计，提供更大的灵活性。为了了解这点，注意的是，对于使用完全相同的计算机的两个用户，动作、对象及其逻辑关系必须是相同的，他们都必须以某种方式来实施它们以实现相同的结果。只要它提供了这些的如实的表示，这些动作、对象和逻辑关系如何精确地传达给用户是无关紧要的。每个用户甚至可以有他的喜好。这是很强的动机以基于动作、对象和逻辑关系来寻求HCI的构想，其中坐标和图形表示的选择成为次要的考虑，仅取决于选择和便利。正是在这样的背景中，广义相对论和因果关系的思想取得了成果。

为了强调当前基于Euclidean的GUI实现这一目标上的缺点，已经注意到(可以是通过反例验证)因果关系的概念不能在Euclidean空间中以与坐标无关的方式实现。当试图在Euclidean空间中对它们进行编码时，这进而又导致了逻辑关系的维护的严重困难。远离基于Euclidean的几何以促进这一点是从现有的图形界面设计转变的基本的范式。

发明内容

正如所描述的，当用户与计算机进行交互时，用户想要访问某些动作和对象，并通常使它们配对。普遍存在逻辑关系，如这些动作本身之间、对象本身之间、动作和对象之间的有序的层级。让我们参照作为事件的一组动作和对象，并将它们组织在事件集E'＝{e₁,e₂,...}中。注意的是，用户可以创建和销毁事件，例如，通过删除或创建文件。因此用户已经控制了事件集。

如果两个事件e_i和e_j逻辑相关，我们用来表示。我们对这种关系的唯一假设是，它是传递的，即如果且则因此，这不必是等价关系，因为它可能不是反射的或对称的。我们假设，在人机交互的特定模式中，这些逻辑关系是事件集的基本属性，在不破坏用户的能力情况下，该属性在这种模式下不能被用户更改，以高效地与计算机交互。因此，在特定的交互模式中，用户对事件的任何控制必须遵从这些逻辑关系。然而，用户或系统设计可优选改变用于其它交互模式的事件集和/或事件之间的逻辑关系。注意的是，图形显示只是将事件集的属性传送给用户的方便的工具，它实际上起着次要的作用，且该图形显示的精确设计非常依赖于用户的目标。必须向事件及其逻辑关系给予中心地位。

上面描述的设置是广义相对论中的情况的回顾，其中事件及其因果关系是关键要素，而非特定的坐标选择，坐标只是观察器用来标记和图形显示事件的简单的工具。在这个意义上，事件集和事件之间的关系在广义相对论中对应有因果顺序的事件和代表坐标选择的用户界面，这并不是基本的，但却是非常重要的选择和便利。在广义相对论中，如何让我们摆脱特定坐标选择的限制以及如何以坐标无关的方式制定基本的物理关系是众所周知的。这与HCI的现状和具体地图形表示已成为目的而非手段(Buxton1993)的GUI形成鲜明对比。本构建的目的是使用与广义相对论相同的想法，以使用户和计算机之间的交互摆脱图形表示的选择以及利用这种摆脱用于更高效的人机交互。

这样做的第一步(也是广义相对论的精神)是将事件集扩展到还包括由用户控制的观察器，并引入扩展的事件集E＝{e₀,e₁,e₂,...}，其中e₀代表观察器。观察器的引入通常伴随观察器和其它事件之间的一组逻辑关系的引入。由于用户可以控制观察器，他还可以控制这些逻辑关系。

为了使如上面所描述的事件的集合与广义相对论之间直接联系，有必要与Riemann几何的概念相联系，这是广义相对论的关键组成部分。建立这种联系的最明显的方式是引入E的元素和Riemann流形(称为具有度量g_R的表示流形M_R)的点之间的映射。然而，我们也想要给出对事件集的用户控制，这种构建必须更谨慎地完成。显然，只要事件集是有限的，我们可以一直把它当作非负整数Z₀(Z₀可以被认为是用户可用的所有可能的动作和对象的集合)的子集Z_E。将观察器映射到{0}，我们总是采取0∈Z_E∈Z₀。引入映射ζ:M_R→Z₀，然后我们将事件Z_E设置为该映射的范围，即，ζ(M_R)＝Z_E。这不是一对一的映射且是不可逆的。极端的例子是Z_E＝{0}，即，唯一的事件是观察器。如果我们定义了M_R上的关系其中a,b∈M_R，很简单就能够验证这是一个等价关系，从而M_R可以在等价类中划分。然后存在E和M_R上的等价类之间的一对一映射ψ:E→M_R。实际上，该映射可以从E中的元素到等价类中的代表元素，这显然仍然受限于ψ的构建。在这个设置中，由用户控制的中心实体为决定事件的集合且本质上为映射ψ的映射ζ。

尽管ζ、ψ和M_R的选择自由度很大，但也有一些需要强加的限制条件：

●我们需要M_R上的机制，以对事件集中的元素之间的逻辑关系进行编码。广义相对论中可以用于这个目的的最自然的关系是因果关系的概念，其在广义相对论中通过不定度量被编码。如果两个事件的分离为正(类时)，它们有因果联系且可以互相影响，否则他们具有负的(类空)分离且不能互相影响(此处的符号规定是任意的)。事件集中的事件之间的逻辑关系，现在可以在表示流形的等级上按照如下被编码：两个事件(M_R上的点)a和b之间的因果关系在广义相对论中表示为a→b，箭头捕获了第二个事件跟随(由)第一个事件(造成)的概念。注意的是，这是一种传递关系，但不是对称的或反射的。两个事件之间的逻辑关系可以被捕获如下：

注意的是，对称的逻辑关系可以被捕获为

或ψ(e_j)→ψ(e_i)。

因此，M_R将被分配不定度量g_R。注意的是，M_R的维数在这个阶段是任意的。然而，在实际的实施中，它通常很方便地采用二维流形。下面例子中的重点是这种情况。

●局部地，在该流形上的点a处，因果关系的概念被编码为平方距离，其由度量确定：

ds² _R(a)＝g_μν(a)dx^μdx^ν，

其中dx^μ形成了点a处的流形M_R的切向空间的基础，即，在该点上向量dx^μ是流形的切线。此处使用重复的求和约定。当坐标补丁在点a处被引入时，dx^μ为点a处的两个无限小分离的事件之间的无限小坐标差。如果这两个事件有因果联系，则ds² _R(a)≥0，而如果它们没有因果联系，则ds² _R(a)<0(此处符号的选择再次是完全任意的)。如果dx^μ表示ψ(e_i)和ψ(e_j)和dx⁰的坐标与类时坐标之间的坐标差，则逻辑关系被捕获为

和dx⁰>0，

即，第二个事件位于第一个事件的前向光锥(dx⁰>0)内。在对称关系的情况下

即，事件位于彼此的光锥内，不管是前向光锥还是后向光锥。对于M_R中的有限分离的事件a和b，测地线平方距离s² _R(a,b)连同对事件的光锥结构的分析，可以被用来捕获逻辑关系，即，事件e_j被放置在e_i的前向光锥内。对于对称关系，对光锥结构的分析是不必要的，且逻辑关系可以简单地表示为

对于局部二维Minkowski空间，平方距离函数具有形式ds²＝c²dt²-dx²。如果空间是全局平坦的且Minkowski(度量并不逐点改变)，我们可以在全球坐标补丁在将任意两点(不一定是无限小分离)之间的平方距离表示为

s²＝c²(t₁-t₂)²-(x₁-x₂)²。

如果s²>0且t₁-t₂>0，则(x₂,t₂)处的事件位于(x₁,t₁)处的事件的后向光锥内，而如果s²>0且t₁-t₂<0，则它位于前向光锥内。如果s²<0，则这两个事件没有因果联系。

注意的是，不定度量和适当的映射ζ、ψ的选择，以通过因果关系对逻辑关系进行编码是非常自然和方便的，但这似乎是没有必要的。当然可以通过分配适当的属性给映射ζ、ψ来尝试对具有正定度量(所有平方距离均为正)的Riemann流形上的对象的顺序进行编码，例如，通过要求流形上的固定点的平方距离随着层级的加深而增加来顺序排列对象。然而，固定点的选择在图形表示方面提供了明显的缺点。在对顺序进行编码时试图避免固定点的选择是非常有问题的；简单地基于两个对象之间的相对平方距离，无法确定它们是否有因果联系。不定度量空间的关键特征是，允许用户通过简单地计算对象之间的相对平方距离的符号来确定两个对象是否有因果关系上的(逻辑上的)联系。这不需要绝对参考点。该特征不能在正定空间(例如Euclidean空间)中以坐标无关的方式被捕获。

牢记观察器也被表示为事件集中的事件e₀，这一观察立即导致目前方案的进一步优势是，通过对观察器的位置的操作，存在针对用户的自然的兴趣函数。所有用户需要做的是将观察器放置在流形上，使得对于他感兴趣的事件的平方距离函数S² _R(ψ(e₀),ψ(e_i))为正，对于他不感兴趣的事件的平方距离函数S² _R(ψ(e₀),ψ(e_i))为负(符号选择再次为任意，且在前向光锥或后向光锥方面没有任何偏好)。显然，这也涉及控制函数，即用户必须能够控制流形上的观察器相对于其它事件的位置。

在完全通用的水平上，控制机制涉及输出机制(如二维显示)和输入机制(如二维触摸屏或触摸板)以及用户通过输出和输入之间的人工介入闭环反馈系统来控制其与计算机的交互。通过输入机制用户具有对事件集和表示流形的以下控制：

●随着通过用户对映射ζ的范围的控制来进行编码，用户可以添加或删除事件集元素。

●事件集和表示流形M_R之间的映射ζ，ψ的选择。

●M_R本身和具体的度量g_R以及平方距离函数的选择。通常，这样的变化伴随着ζ，ψ的变化，以保持如在M_R上的因果关系中进行编码的事件之间的逻辑关系。

●在表示流形上的观察器的位置，其用于表达用户对某些事件的兴趣。

必须指出上述的一些控制功能并非独立的。例如，可以直接改变在表示流形上的观察器的位置，或者可以在映射ζ，ψ上捕捉到它。然而，对于实际的实施，暂时认为这些功能独立是有用的。然而，注意的是，第一控制机制和第三个控制机制是独立于其它两个控制机制的。

然后，基于二维显示和输入设备，输出机制和输入机制的具体模型被构造。然而，应当指出，如果输入设备和/或输出设备便于更高维数的表示，下面的构建可以通过引入匹配输入设备和/或输出设备的维数的更高维数的接口(输入/输出)流形来概括。

开始于输出机制，必须认识到表示流形不需要局部同胚于例如，因为它可能有不同的维度。即使是局部同胚于M_R通常不接纳全局坐标补丁，而只接纳局部二维坐标补丁。从M_R到物理二维显示的直接映射因此是不可能的。相反，需要M_R和物理显示之间的接口。该接口现在描述。

引入二维Riemann流形，其具有接纳全局坐标补丁、是局部和全局同胚于但通常在几何上是不同的不定度量。我们把这称为输出流形，用M₀来表示，g_O表示其上的度量以及S² _O(a,b)表示测地线平方距离函数。与表示流形相比，我们采用二维的输出流形。此外，引入映射χ:M_R→M_O(其可能并不是一一对应的)，使得针对所有的a,b∈M_R都有 这确保了事件集的逻辑关系通过其嵌入而被保存在M_O中。物理图形用户界面然后通过Mo上的特定的全局坐标选择来创建，以及事件集中的事件的逻辑关系通过输出流形上的度量的明确坐标表示来进行编码。图形用户界面的设计和控制因此具有三个组成部分：

●输出流形M_O及其度量g_O的选择。

●映射χ的选择。

●M_O上的坐标的选择。

注意的是，即使M_R也是二维的，M_O和M_R也不一定相同，且通常可以多覆盖彼此。在此处的应用中做出了以下选择：表示流形是局部和全局同胚于M_O＝M_R,χ恒等映射以及图形用户界面然后通过输出流形上的特定的全局坐标选择来确定。通常情况下，做出全局坐标的选择使得Mo上的全局坐标补丁对应的有界区域，其代表物理显示。

最后，提出了用于输入或控制机制的模型。为了这个目的，引入二维Riemann流形。我们称这个为输入流形，表示为M_I，g_i表示其上的度量以及S² _I(a,b)表示测地线平方距离函数。在这种情况下，度量不一定是无限的。上面的组件由M_I上的点P控制，其进而由物理输入设备控制。为了便于对该点的控制，必须在M_I(这最自然的是具有Cartesian坐标的Euclidean流形)上引入坐标。点P的坐标x_P跟踪来自物理输入设备的输入点。具体地，为了控制表示流形，如上面所述的，可以引入下面的依赖关系：

●ζ(P),ψ(P)

●针对所有a∈M_R的g_R(a,P)

●e₀(P)以及在表示流形上的观察器的位置由结合的依赖关系ψ(P)(e₀(P))控制。

如上面所解释的，输入流形上可能有更多的控制函数。对于这些，可以引入下面的依赖关系：

●χ(P)

●针对所有a∈M_O的g_O(a,P)

●使x^μ表示Mo上的某些全局坐标补丁的坐标，然后x^μ(P)可被获得，即依赖于输入点位置的坐标变化可被获得。

所有这些功能也必须被表示为在表示流形上的事件。然后通过控制观察器来选择这些功能中的一个而继续控制；在该选择之后，来自输入流形的输入被用来控制所选择的功能。当功能被取消选择时，控制被迫回到观察器。

需要注意的是，上述输入机制和输出机制不一定是视觉的或通过触摸控制，而可以采取许多其它物理形式。一个例子是音频输入和音频输出。对于单频输入或单频输出，具有控制输入和输出的两个参数，即，所使用的频率和幅度。这也将对应于坐标被频率和幅度所代替的二维流形；并且然后可以引入如上述相同的控制。对于多频信号，可以使用信号(即，频率和幅度)的Fourier变换，但在这种情况下必须使用比二维更高的维数的流形以表征一定的输入或输出信号。上述控制机制不改变，然而，需要简单地使用更高维数的概括来替换控制坐标x_P。

图1概述了基于完整事件和因果关系的用户与计算机之间的接口。输入和输出坐标生成器涉及可以由用户控制的特定坐标选择，输入和输出坐标生成器连接在用户和坐标无关接口之间。通过事件集与计算机的连接，这是抽象概念，却是计算机上可用的所有动作和对象的一对一的表示。图2拆开了坐标无关接口的组件，如上面所详细讨论的。再次，该构建的重要特征是坐标无关性，即坐标的选择是不相关的，只有如通过因果关系所编码的事件及其逻辑关系起作用。类似地，输入和输出坐标生成器确定的输入和输出坐标是不相关的，只是为最大的便利和效率而选择。原则上，坐标无关接口的所有计算可以仅使用事件之间的逻辑关系和通过输入由用户传送的逻辑关系来实现，而计算结果作为逻辑关系通过输出被传送。然而，实际上，明智的坐标选择可以由设计师在坐标无关接口上完成，可以极大地提高计算效率。然而，这些坐标通常对于用户和图形显示是不方便的。在这个设置中，坐标生成器的功能是实现用户选择的坐标和内在设计师所选择的坐标系之间的坐标转换。

本专利的主要创新和所提供的优势是：

●提出了一种基于动作、对象及其组合(统称为事件)之间的逻辑关系的人机交互的新方法。这些关系必须有效地传达给用户，必须形成用户与计算机的交互的基础，以及必须在整个交互过程中保持以确保效率。用户界面必须围绕这些关系来设计。

●用于实施该方案的技术框架是Einstein的相对论，特别是通过无限距离函数进行几何编码的因果关系的概念。

●因果关系的概念用来对事件之间的逻辑关系进行编码，因此也具有根据无限距离函数所表达的几何含义。

●由于距离函数是坐标无关的，逻辑关系以坐标无关的方式被编码，从而使用户摆脱特定的几何表示。这种摆脱可以被利用用于更有效的人机交互。

●用户控制的观察器和其它事件之间的因果关系用来对用户的兴趣函数进行编码。用户通过显示观察器和/或事件光锥而被引导。由于兴趣函数被编码为距离函数的符号，而不是精确的值，因此用户需要更低的准确度。这可以促进更高的精度和速度。

●用户界面由坐标的选择来确定。由于人机交互的基础是坐标无关，因此为了效率和方便该选择可以单独完成。用户还可以控制坐标的选择，以优化效率。

●因果关系也可用来对任何数据结构的逻辑结构进行编码，并可提供对这样的大数据结构的有效控制。

根据本发明，提供了一种用于人机交互(HCI)的方法，包括：

●建立事件集；

●建立和引用所述事件集中的一个或多个事件；

●建立和引用事件以表示所述事件集中的观察器；

●建立作为无限度量Riemann流形的表示流形；

●呈现所述表示流形上的事件，使得事件之间的逻辑关系是坐标无关的且被几何编码为因果关系；

●建立输入流形以表示用户输入；

●建立在所述表示流形和物理输出设备之间映射的输出流形；

●基于用户输入，从以下选择一个或多个步骤：

○操作观察器事件，

○调整流形度量，

○改变映射，

○调整映射参数，和

○应用映射；以及

●当所述用户输入改变时重复上面的任何步骤。

可以理解，映射在所述表示流形上的所述事件包括观察器事件。

所述输入流形可以为正定度量流形，例如欧几里得(Euclidian)流形。

所述表示流形可以为凯勒流形。

所述表示流形可以为Minkowski流形。

可以理解，所述输出流形可接纳全局坐标补丁。

该方法可包括操作事件集的步骤。

用户输入可以是多维的。

用户输入可以是多源的，例如鼠标、触摸板、音频、视频等。

用户输出可以是多维的。

用户输出可以是多源的，例如图形显示、触摸屏、音频等。

事件之间的逻辑关系可以是功能的、结构的或时间的。

用户可操作事件之间的逻辑关系。

该方法可包括在视觉上呈现事件之间的逻辑关系的步骤，例如显示事件的光锥。

可以了解，上面的内容包括用户的意图和/或兴趣的表达。

附图说明

现在参考附图以实例的方式来描述本发明。

在图中：

图1概述了用户与计算机之间基于完整事件和因果关系的接口。

图2概述了用户与计算机之间基于完整事件和因果关系的接口，包括坐标无关接口的细节。

图3示出了两个点a＝(a₁,a₂)和b＝(b₁,b₂)之间对于b＝(0,0)的Minkowski平方距离S² _R(a,b)。填充区域表示S² _R(a,b)>0，而非填充区域表示S² _R(a,b)<0。

图4.1示出了二维Minkowski表示流形10中的单个事件及其前向“光”锥和后向“光”锥。

图4.2示出了二维Minkowski表示流形10中的七个有因果关系的事件。

图5示出了在应用全局坐标映射Ω_A后的坐标补丁12。

图6.1示出了具有(0,0)处的位置50₁和c＝0.5的事件e₁的本体60₁，由其前向光锥和后向光锥来描述。

图6.2示出了在应用全局坐标映射Ω_A(其中λ＝0.25且观察器事件e₀位于(0,0)处)后的坐标补丁12中的事件的位置52₁和本体62₁。

图7.1至图7.4演示了观察器的事件位置30改变的影响。该影响示出在了表示流形10和应用全局坐标映射Ω_A后的坐标补丁12中。

图8.1示出了表示流形10中有因果关系的事件e_i的位置和表示以及在应用全局坐标映射Ω_A(其中λ＝0.25且观察器事件e₀位于(0,0)处)后的坐标补丁12中的事件e_i的位置和表示。

图8.2a至图8.2c中，观察器事件的第一个(类时)坐标值固定为0，而第二个(类空)坐标值在一个单位的步骤中从-7扫到7。

图8.3a至图8.3b中，观察器事件的第二个(类空)坐标值固定为0，而第一个(类时)坐标值在一个单位的步骤中从-5扫到6。

图8.4a至图8.4b中，观察器事件固定在(0,0)处，而Lorentz增加参数φ从-2π扫到2π。具体的增加值为集合φ＝{-2π,-1.5π,-π,-0.8π,-0.6π,-0.4π,-0.2π,0,0.2π,0.4π,0.6π,0.8π,π,1.5π,2π}。

图9a至图9c呈现了演示第一个控制策略的一系列图。

图10a至图10c呈现了演示第二个控制策略的一系列图。

图11a至图11c呈现了演示第三个控制策略的一系列图。

图12a至图12c呈现了演示第四个控制策略的一系列图。

图13.1示出了替选的全局坐标补丁的边界和光锥。

图13.2a至图13.2b中，观察器事件的第一个(类时)坐标值固定为-2，而第二个(类空)坐标值在1.5个单位的步骤中从-7.5扫到7.5。

图13.3a至图13.3b中，观察器事件的第二个(类空)坐标值固定为0，而第一个(类时)坐标值在一个单位的步骤中从-3扫到7。

图14.1示出了Minkowski空间上的光锥显示和控制的主要思想的示意图。

图14.2示出了光锥显示和控制的显示映射的一种可能的通用形式。

图14.3示出了光锥投影控制的可能的映射。

图14.4中，观察器事件的第二个(类空)坐标值固定为0，而第一个(类时)坐标值在1.25个单位的步骤中从-0.75扫到5.5。

图14.5示出了t(x)的Gaussian分布子流形。

图15.1至图15.3示出了采用来自广义相对论的替选的流形(流形)和度量的光锥的示例。

具体实施方式

参考附图，动作、对象、或动作和对象的配对的事件集E'＝{e₁,e₂,...e_N}通常以抽象的形式来表示，例如点、椭圆、正方形、锥形等。事件可代表：任何典型的界面或计算机操作或命令，如选择、打开、移动、播放、创建、删除、调用、发消息、绘制、拖动等。事件还可代表任何典型的用户界面对象，如窗口、图标和菜单。窗口用作其它窗口、图标和菜单的容器。图标和菜单项可代表包括媒体文件、数据文件和程序的计算机内部对象；以及现实世界中的实体，如人、其它计算机和设备属性；以及接口和计算机动作。事件也可代表顺序无关的动作和对象的配对，如“选择图标”、“运行应用”，“显示最近的图像”、“播放歌曲列表”、“创建文本文件”、“删除文件”等。

使用前面所讨论的广义相对论几何来创建表示流形10。具体地，Riemann流形采用二维Minkowski空间，真实空间(□²)，具有Euclidean坐标和在点a＝(a₁,a₂)和点b＝(b₁,b₂)之间被定义为的测地线平方距离函数。第一个坐标可解释为时间，第二个坐标可解释为空间，以及c可解释为信号传输的速度。

如果一个事件在流形上位于a处而第二个事件位于b处，如果这两个事件之间的平方距离大于或等于0(即)，则事件之间存在逻辑关系(这两个事件是有因果关系的)。时空几何解释声称，如果这两个事件被空间距离分开，该空间距离小于或等于信号走过的距离，该信号以这两个事件之间的时间差的c倍速度传输，则这两个事件可以跟随对方(或是达到彼此)。可以说，事件必须落入彼此的“光”锥内以使彼此逻辑相关。

图3针对位于原点(b₂＝b₁＝0)处的点b突出了区域(填充区域)、(未填充区域)和(a₂＝c·a₁和a₂＝-c·a₁所形成的线)。

事件位置的集合在表示流形10中表示为50，而各个事件位置表示为50_i，其中1≤i≤N。图4.1示出了c＝1时二维Minkowski表示流形10中点(0,0)处的单个事件50₁以及前向“光”锥和后向“光”锥(填充区域)。

位于前向“光”锥内(区域1)的任何事件满足因果条件(即类时)且在未来(t>0)是可以访问的。可以说区域1中的事件在事件50₁之后发生。

位于后向“光”锥内(区域3)的任何事件满足因果条件(即类时)且在过去(t<0)是可以访问的。可以说区域3中的事件在事件50₁之前发生。

位于前向“光”锥和后向“光”锥之外(区域2和区域4)的任何事件不满足因果条件(即类空)。可以说这些事件与事件50₁之间没有因果关系。

存在许多策略，以在表示流形10中通过ψ映射表示事件50。下面介绍一个这样的策略。本发明的潜在应用是在关联事件集50中具有事件的分层组织的事件之间的因果关系。更具体地，在表示流形10中通过映射ψ，我们可以通过将子事件放置在父事件的“光锥”(图4.1中的区域1和区域3)内来对父事件和子事件之间的因果关系进行编码。

例如，图4.2示出了在流形10中表示为50₁到50₇的七个事件。事件50₁为根父事件并包含三个子事件50₂、50₃和50₄。事件50₃进而具有三个子事件50₅、50₆和50₇。

示出了事件50₃的前向“光”锥和后向“光”锥，其中速度值再次采用c＝1。可作出以下陈述：

●事件50₂、50₃和50₄跟随事件50₁。

●事件50₅、50₆和50₇跟随事件50₃。

●因为事件50₅、50₆和50₇跟随事件50₃，所以通过传递属性它们也跟随事件50₁。

●事件50₂、50₃和50₄之间没有因果关系。

●事件50₅、50₆和50₇之间没有因果关系。

●通过事件50₅至50₇的几何放置，可以看出这些事件与事件50₂和50₄是有因果关系的。在本发明的不同实施方式中，这可能是或可能不是理想的配置。

只要保持了因果关系，就可进一步允许在表示流形10上的映射(Φ:M_R→M_R)。存在这种可能的映射的大集合。这包括但不限于线性平移：

Φ_T:(a₁,a₂)→(a₁+d₁,a₂+d₂)

其中a₁为流形中的第一个坐标，a₂为流形中的第二个坐标，d₁为第一个坐标中的平移，以及d₂为第二个坐标中的平移；线性缩放：

Φ_S:(a₁,a₂)→(λa₁,λa₂)

其中λ为缩放因子；以及Lorentz变换：

${\mathrm{\&Theta;}}_L:\left(a_1,a_2\right)\&RightArrow;\left(\cosh \left(\mathrm{\&phi;}\right)a_1+\frac{\sinh \left(\mathrm{\&phi;}\right)}{c}{a}_2,c\sinh \left(\mathrm{\&phi;}\right)a_1+\cosh \left(\mathrm{\&phi;}\right)a_2\right)$

其中φ为Lorentz增加参数。

建立输出流形11和坐标补丁12，以直观表示事件集50。

输出流形11的一个可能的选择是如之前对表示流形10所定义的二维Minkowski空间。然后在表示流形和输出流形之间的映射是相同的映射。

显示坐标映射通常被选择为二维真实空间(□²)的有界子域，以允许输出流形11在有限大小的屏幕上显示。然而，任何相关坐标映射是允许的，只要它保持因果关系。

在下面的示例中，选择全局坐标映射Ω。该映射将输出流形11内的所有点平移到坐标补丁12的原点42周围的环形环状区域上。该全局坐标映射被定义为极坐标：

${\mathrm{\&Omega;}}_A:\left|\begin{array}{c}r=R_a+R_b\tanh \left(\mathrm{\&lambda;}\left(a_1-b_1\right)\right)\\ \mathrm{\&theta;}=\mathrm{\&pi;}\tanh \left(\mathrm{\&lambda;}\left(a_2-b_2\right)\right)+{\mathrm{\&theta;}}_{offset}\end{array}\right.$

其中(a₁,a₂)为原全局Cartesian坐标，(b₁,b₂)为从原点的偏移(例如观察器的位置30，如后面将要演示的)，如果b>0且a≥b以及θ_offset为角偏移，那么R_a为到环形的中部的半径，R_b为从R_a的偏移，使得R_a+R_b为环形的外环的半径以及R_a-R_b为环形的内环的半径。图5示出了应用了全局坐标映射Ω_A之后的提出的坐标补丁12，其中没有任何事件。如所图示的，零度弧度在环形的顶部，而π和-π在环形的底部。该变换按照如下：(-∞<a₁<∞)→(R_a-R_b<r<R_a+R_b)将输出流形11中第一个(类时)坐标的值映射到坐标补丁12中的径向坐标，以及按照如下：(-∞<a₂<∞)→(-π<θ<π)将输出流形11中第二个(类空)坐标的值映射到坐标补丁中的角坐标。与10中观察器的事件位置关联的偏移(b₁,b₂)处的坐标被映射到图5中32所示的位置。相对偏移(b₁,b₂)，位于未来的坐标(a₁,a₂)被映射到外环(环形的高暗区域)，而过去的坐标被映射到内环(环形的高亮区域)。

坐标补丁12相对坐标(b₁,b₂)提供了输出流形11的视图(以及通过每个映射，间接提供了表示流形10的视图)。这对于将该偏移解释为穿过空间的表示为事件e₀的观察器位置是有用的。

事件的本体(形状)作为集合表示为60以及各个本体在表示流形10中分别表示为60_i。存在许多选择来描述在表示流形10中的事件的本体，如仅一个点、三角形、矩形、椭圆形、多边形等。通过各种映射，事件的位置和本体可能从表示流形10转换为坐标补丁12。包括事件位置的集合在坐标补丁12中表示为52以及各个位置表示为52_i，其中1≤i≤N。在坐标补丁12中，事件的本体作为集合表示为62以及各个本体分别表示为62_i。

对表示流形10中的事件的本体有用的描述为事件的前向光锥和后向光锥。图6.1示出了由其前向光锥和后向光锥来描述的事件e₁的本体60₁，具有(0,0)处的位置50₁和c＝0.5。图6.2示出了在应用全局坐标映射Ω_A(其中λ＝0.25且观察器事件e₀位于(0,0)处)后坐标补丁12中的事件的位置52₁(实心圆)和本体62₁。在观察器事件e₀与所描述的事件e₁处于相同的位置时，前向光锥被映射到环形的外环以及后向光锥被映射到内环。注意的是，表示流形10中的无穷远处的点如何被映射到坐标补丁12中的有界区域。

图7.1至图7.4演示了观察器的事件位置30改变的影响。仍然具有(0,0)处的位置50₁和c＝0.5的单个事件e₁示出在了表示流形10和坐标补丁12中，其中观察器位置分别在(-1,0)、(1,0)、(0,1)和(0,-1)处。

在下面的例子中，包括父事件e₁和五个子事件(e₂到e₆)的事件层级被用来在观察器事件e₀的位置30改变(通过线性平移)时或应用其它各种映射时，演示事件如何被映射到坐标补丁12。

图8.1示出了表示流形10中的事件e_i的位置50_i和表示60_i。在这个例子中，c＝0.5且只有后向光锥被用来表示事件本体。注意的是，光锥的大小是有限的(即不是无限的)，以减少视觉混乱。此外，选择光锥大小，以使子事件的光锥都包含在其父事件的光锥内，这使得更容易显现依赖关系。图8.1还示出了应用全局坐标映射Ω_A(其中λ＝0.25且观察器事件e₀位于(0,0)处)后的坐标补丁12中的事件e_i的位置52_i和表示62_i。

图8.2和图8.3分别呈现了一系列图，其显示了在应用全局坐标映射Ω_A(其中λ＝0.25，但是改变了观察器事件e₀位置30)后坐标补丁12中的事件e_i的位置52_i和表示62_i。

图8.2a至图8.2b中，观察器事件的时间坐标值固定为0，而空间坐标值在一个单位的步骤中从-7扫到7。观察器事件在空间轴上平移的效果是，事件的位置52_i和表示62_i发生变形并围绕环形的中心旋转。在这种情况下，事件集从正的角度值移动到负的角度值。起初，所有事件远离观察器的位置32，其中e₆离观察器最近而e₂离观察器最远。随着空间坐标值的增加，事件移动到更接近观察器的位置32，最终经过观察器的位置32。最终，所有事件再次远离观察器的位置32，但这一次e₂离观察器最近而e₆离观察器最远。

图8.3中，观察器事件的空间坐标值固定为0，而时间坐标值在一个单位的步骤中从-5扫到6。观察器事件在时间轴上平移的效果是，事件的位置52_i和表示62_i发生变形并移动到更接近环形的原点42。在这种情况下，事件集从较大的径向值移动到较小的径向值。起初，所有事件在表示流形中都在观察器事件的“前面”，且在坐标补丁12中远离观察器事件位置。所有事件开始在环形的外环，表明它们相对观察器事件位于未来。随着观察器事件随时间移动，它逐步移动到更接近事件集，到达位置(0,0)处的父事件e₁。在这一点之后，父事件从环形的外环(未来的光锥)移动到内环(过去的光锥)，且远离观察器事件位置32。随着观察器的连续平移，子事件移动到更接近环形的原点42。注意的是，子事件e₄如何移向观察器的位置32然后经过它(位于4<t<5之间)。最终所有事件都位于环形的内环。

图8.4呈现了一系列图，其显示了在应用Lorentz变换和全局坐标映射Ω_A(其中λ＝0.25且观察器事件e₀位于(0,0)处)两者后坐标补丁12中的事件e_i的位置52_i和表示62_i。

Lorentz增加参数φ从-2π扫到2π。图8.4中显示的具体增加值为集合φ＝{-2π,-1.5π,-π,-0.8π,-0.6π,-0.4π,-0.2π,0,0.2π,0.4π,0.6π,0.8π,π,1.5π,2π}。Lorentz变换的效果是事件的位置52_i和表示62_i发生扭曲并随着φ的大小而“增加地远离”观察器的事件位置32。在这个例子下，事件从负的角度值移动到正的角度值。起初，所有事件远离观察器的事件位置32，其中e₂离观察器最近而e₆离观察器最远。对于大的负的增加值，事件逐渐变换到环形上的(r,θ)＝(R_a+R_b,-π)。随着增加参数值的增加，从e₂开始的事件，当在环形的外环中停留时，按顺序逃离渐近位置并移向观察器的事件位置32。在增加参数值为0处，Lorentz变换没有效果且只有全局坐标映射Ω_A的效果保留。最终，所有事件再次“增加地远离”观察器的事件位置32，但这一次e₆离观察器最近而e₂离观察器最远。对于大的正的增加值，事件逐渐变换到环形上的(r,θ)＝(R_a+R_b,π)。

注意在图8.2到图8.4所演示的整个变换过程中一直保持事件之间的编码的逻辑(因果)关系是重要的。

在下面的例子中，我们结合了用户输入和用户控制。输入流形13被建立，以接收和跟踪用户输入。输入流形13可以是多维的以支持多维输入，如鼠标输入、三维多触摸输入、键盘输入和语音输入。

用户控制将使用二维输入向量来演示，二维输入向量例如通过鼠标或触摸感应输入设备来提供。为此，输入流形13的可能的选择是二维Euclidian空间，二维Euclidian空间具有被定义为的平方距离，其中p₁和p₂是独立的空间坐标。输入流形13上的输入点P在图中表示为33。

该方法允许至少以下构造的适应：

●ζ:确定事件集E＝{e₀,e₁,e₂,…}的映射。

●g_R:表示流形M_R的度量。

●ψ:将事件E嵌入表示流形M_R的映射。

●e₀:表示流形M_R中的观察器的位置。

●g_O:输出流形M_O的度量。

●χ:表示流形M_R和输出流形M_O之间的映射。

●Ω:输出流形M_O上的坐标补丁。

●g_I:输入流形的度量。

用于适应该构造的一个可能的策略是引入作为对该构造的参数依赖的输入点P。即：

●ζ(P)

●针对所有a∈M_R的g_R(a,P)

●ψ(P)

●e₀(P)

●针对所有a∈M_O的g_O(a,P)

●χ(P)

●Ω(P)

●针对所有a∈M_I的g_I(a,P)

基于前面的例子，我们使用输入点P演示了可能的策略，以控制观察器的事件位置e₀、表示流形10和输出流形11之间的映射χ以及坐标补丁Ω的可能的策略。具体地，我们将运用并控制前面定义的线性平移映射Φ_T、Lorentz变换映射Φ_L和全局坐标补丁Ω_A的参数。

在下面的例子中，采用在显示器上重叠输入的设备，如有触摸界面的智能手机。输入流形13被构造为在设备的显示器上覆盖坐标补丁12所占用的空间。此外，输入流形13使用坐标补丁12上的相同的单元规模，设置零参考点43以与坐标补丁的参考点42重合，并将零朝向与坐标补丁上的观察器的位置32对齐。输入点被定义为极坐标(r_p,θ_p)，其中r_p从点43测量以及θ_p从零朝向测量。

在所提出的第一个控制策略中：观察器事件的第一个坐标被设置为与输入点的径向坐标成比例；第二个坐标被设置为与输入点的角坐标成比例；Lorentz增加参数被设置为与输入点的角坐标成比例；以及全局坐标补丁的角偏移等于输入点的角坐标。具体地：

$e_0:a_1=s_{a1}\frac{r_p}{R_a}$

$e_0:a_2=s_{a2}\frac{{\mathrm{\&theta;}}_p}{\mathrm{\&pi;}}$

Φ_L:φ＝s_φθ_p

Ω_A:θ_offset＝θ_p

其中s_a1、s_a2和s_φ分别为观察器事件的第一个坐标、观察器事件的第二个坐标和Lorentz增加的缩放参数。其它参数如前面所定义的。缩放值为自由参数，并且例如可被确定为事件集的函数。通过将全局坐标补丁映射Ω_A的角偏移θ_offset设置成等于输入点的角坐标的值，保证了坐标补丁12中的观察器的映射位置32总是与输入点相对于参考点42和参考点43在相同的方向上。

图9a至图9c呈现了一系列图，其显示了应用Lorentz变换和全局坐标映射Ω_A(其中λ＝0.25)两者后坐标补丁12中的事件e_i的位置52_i和表示62_i。前九个图演示了第一个控制策略的效果，其中输入点的径向坐标被设置为r_p＝R_a-0.5R_b，而角坐标在0.25π的步骤中从-π扫到π。在随后的九个图中，输入点的径向坐标被设置为r_p＝R_a，而角坐标再次在0.25π的步骤中从-π扫到π。

在所提出的第二个控制策略中：观察器事件的第一个坐标被设置为与输入点的径向坐标成比例；第二个坐标被设置为与输入点的角坐标成比例；Lorentz增加参数被设置为与输入点的角坐标的变化率成比例；全局坐标补丁的缩放因子被设置为与输入点的径向坐标成比例；以及全局坐标补丁的角偏移被设置为等于输入点的角坐标。具体地：

$e_0:a_1=s_{a1}\frac{r_p}{R_a}$

$e_0:a_2=s_{a2}\frac{{\mathrm{\&theta;}}_p}{\mathrm{\&pi;}}$

Φ_L:φ＝s_φdθ_p

${\mathrm{\&Phi;}}_{\mathrm{\&lambda;}}:\mathrm{\&lambda;}=s_{\mathrm{\&lambda;}a}+s_{\mathrm{\&lambda;}b}\frac{r_p}{R_a}$

Ω_A:θ_offset＝θ_p

其中dθ_p为输入点的角坐标的变化率，s_λa和s_λb为λ的缩放参数。其它参数如前面所定义的。变化率可以例如被计算为更新之间的相对变化。缩放值为自由参数，并且例如可被确定为事件集的函数。

图10a至图10c呈现了一系列图，其显示了应用Lorentz变换和全局坐标映射Ω_A两者后坐标补丁12中的事件e_i的位置52_i和表示62_i。前九个图演示了第二个控制策略的效果，其中输入点的径向坐标被设置为r_p＝R_a-R_b，而角坐标在0.25π的步骤中且在角变化率为0.125π下从-π扫到π。在随后的九个图中，输入点的径向坐标被设置为r_p＝R_a，而角坐标再次在0.25π的步骤中且在角变化率为0.125π下从-π扫到π。

所提出的第三个控制策略与第二个控制策略类似，除了观察器事件的第二个坐标被设置为与所得出的视角值θ_a成比例。视角值通过具有以下参数的函数来指定：先前的视角值、输入点的角坐标的变化率和输入点的径向坐标。具体地：

$e_0:a_2=s_{a2}\frac{{\mathrm{\&theta;}}_a}{\mathrm{\&pi;}},$ 其中

${\mathrm{\&theta;}}_a={\mathrm{\&theta;}}_{a,previous}+(1-s_r\frac{r_p}{R_a})\&CenterDot;{\mathrm{d\&theta;}}_p,$

其中θ_a,previous为先前的视角值，s_r为调节输入点的径向坐标的影响的缩放参数。其它参数如前面所定义的。视角值可初始化为零。

可以选择缩放值s_r，以使在输入点的径向坐标很小时，视角值为输入点的角坐标的相似值，且在输入点的径向坐标很大时，视角值仅为输入点的角坐标的一部分。随着输入点的径向坐标值的增加，这允许对观察器事件的第二个坐标进行更精细地控制。

以上视角值的形式是允许基于用户输入的控制空间的动态分配的可能的函数。

图11a至图11c呈现了一系列图，其显示了应用Lorentz变换和全局坐标映射Ω_A两者后的坐标补丁12中的事件e_i的位置52_i和表示62_i。前九个图演示了第三个控制策略的效果，其中输入点的径向坐标被设置为r_p＝R_a-R_b，而角坐标在0.25π的步骤中且在角变化率为0.125π下从-π扫到π。在随后的九个图中，输入点的径向坐标被设置为r_p＝R_a，而角坐标再次在0.25π的步骤中且在角变化率为0.125π下从-π扫到π。

引入视角值的效果是明显的。图10和图11中，输入点围绕参考点43旋转2π。图10中，观察器的事件大致移动了类空轴上的五个连续的子事件之间的距离，但在图11的前九个图中，观察器的事件大致仅移动了三个连续的子事件之间的距离，以及在随后的九个图中，观察器的事件移动了少于两个连续的子事件之间的距离。这种控制策略有效地为角轴的选择提供了径向控制的机动优势，特别是针对大的事件集。

在所提出的第四个控制策略中：观察器事件的第一个坐标被设置为与输入点的径向坐标成比例；第二个坐标被设置为与输入点的角坐标成比例；Lorentz增加参数被设置为与输入点的角坐标的变化率成比例；表示流形的度量的光速被设置为与输入点的径向坐标成比例；以及全局坐标补丁的角偏移被设置为等于输入点的角坐标。具体地：

$e_0:a_1=s_{a1}\frac{r_p}{R_a}$

$e_0:a_2=s_{a2}\frac{{\mathrm{\&theta;}}_p}{\mathrm{\&pi;}}$

Φ_L:φ＝s_φdθ_p

Φ_λ:λ＝s_λa+s_λb

$g_R:c=1-s_c\frac{r_p}{R_a}$

Ω_A:θ_offset＝θ_p

其中s_c为c的缩放参数。其它参数如前面所定义的。

图12a至图12c呈现了一系列图，其显示了应用Lorentz变换和全局坐标映射Ω_A(其中λ＝0.25)两者后的坐标补丁12中的事件e_i的位置52_i和表示62_i。前九个图演示了第二个控制策略的效果，其中输入点的径向坐标被设置为r_p＝R_a-R_b，而角坐标在0.25π的步骤中从-π扫到π。在随后的九个图中，输入点的径向坐标被设置为r_p＝R_a，而角坐标再次在0.25π的步骤中从-π扫到π。

从实现的角度看，前面的例子具有事件的光锥结构相当复杂且反直观的缺点。在下面的例子中，在输出流形上做出全局坐标的选择，使得事件的光锥被直线包围。这将创建非常简单且直观的因果关系的概念和有因果联系的事件，并允许更简单的控制策略。这再次证明了此处所提出的发明的力量：通过简单的选择坐标相关联的不同的图形表示被用来与用户通信。由于这些表示通过坐标变换来关联，在对象和逻辑关系方面的逻辑内容不受影响，但这些表示中的一些对于用户通信和控制这些信息更为方便或有效。

正如在前面的例子中，我们采用相同的表示流形和输出流形，即，M_O＝M_R，并且与二维Minkowski空间重合。映射χ再次采用恒等映射。

下面的全局(极)坐标补丁被引入到输出流形M_O上：

${\mathrm{\&Gamma;}}_r:r=\mathrm{\&alpha;}\tanh \left(m_v^0\right(\mathrm{\&lambda;}){(x-x_0)}^v),$

其中m(λ)为Lorentz变换矩阵

$m\left(\mathrm{\&lambda;}\right)=\left(\begin{array}{cc}\cosh \mathrm{\&lambda;}& \frac{\sinh \mathrm{\&lambda;}}{c}\\ \sinh \mathrm{\&lambda;}& \frac{\cosh \mathrm{\&lambda;}}{c}\end{array}\right),$

表示Minkowski空间中的平移，γ为空间坐标的缩放因子。

为了控制，平移坐标将使用观察器的位置来识别，即，观察器将位于平移后的坐标系的原点。因此，这种坐标变换规定了空间坐标上的Lorentz变换和缩放变换的平移。因此它被四个实际的参数γ,参数化。Cartesian坐标可以用通常的方式引入：

注意的是，r∈(-a,a)且这并不是极坐标的常用选择，极坐标的常用选择为r∈(0,a)且此外，边界映射到半圆r＝a上以及边界x⁰＝-∞映射到半圆r＝-a上，而边界x¹＝∞映射到线上以及边界x¹＝-∞映射到线上。还要注意的是，x¹＝±cx⁰的Minkowski平面上的和处的对象(观察器)的光锥映射到线上。这示出在了图13.1中，其显示了由映射Γ定义的全局坐标补丁中的边界和光锥。

此处的控制策略是使用观察器的位置来识别坐标这意味着观察器总是位于坐标选择Γ的原点处。用户通过水平和垂直运动来控制观察器的位置，其作用是对象流向观察器或从左(右)到右(左)。同时用户可以使用缩放参数γ来缩放或使用由λ控制的Lorentz变换来改变该流动。

由于对所有这四个参数进行有效控制是不切实际的，最简单的控制策略是将Lorentz变换固定在λ＝0上并将缩放参数γ与观察器(原点)和对象之间的类时距离相关联。一种这样的选择是：

$b={\mathrm{ue}}^{-w{\left(x^0-x_0^0\right)}^2}.$

这所具有的效果为，当对象从x⁰方向接近时，光锥同时打开离观察器(原点)更近的对象。

使用如图8.1、图13.2和图13.3所示的事件配置，每个图呈现了一系列图，其显示了应用全局坐标映射Ω_A(其中λ＝0.25，但改变了观察器事件e₀位置30)后坐标补丁12中的事件e_i的位置52_i。所映射的事件位置被显示但没有其光锥投影。

图13.2a至图13.2b中，观察器事件的时间坐标值固定为-2，而空间坐标值在1.5个单位的步骤中从-7.5扫到7.5。观察器事件在空间轴上平移的效果为，事件的位置52_i围绕圆的中心旋转。在这种情况下，事件集从正的角度值移动到负的角度值。

图13.3a至图13.3b中，观察器事件的空间坐标值固定为零，而时间坐标值在一个单位的步骤中从-3扫到7。观察器事件在时间轴上平移的效果为，事件的位置52_i移动到更接近圆的原点42。在这种情况下，事件集从较大的径向值移动到较小的径向值。起初，所有事件在表示流形中都在观察器事件的“前面”，且远离坐标补丁12中的观察器事件位置。所有事件开始在圆的上半部分，表明它们相对观察器事件位于未来。随着观察器事件随时间移动，它逐步移动到更接近事件集，到达位置(0,0)处的父事件e₁。在这一点之后，父事件从圆的上半部分(未来)移动到圆的下半部分(过去)，且远离观察器的事件位置32。随着观察器的连续平移，子事件移动到更接近圆的原点42。最终所有事件都位于圆的下半部分。

下面的例子利用了通过光锥编码的因果结构，但与前面的例子相比使用了非常不同的图形显示。这再次演示了本发明在向用户传送信息时的灵活性和高效性。

表示流形采用二维Minkowski空间。这个例子的想法(我们称为光锥投影显示)是选择Minkowski空间的一维子流形(这也可能是如下所示的断开连接的一维流形集合)，并考虑Minkowski空间中的事件的前向光锥在这个子流形上的投影。实际上，这可以通过选择Minkowski空间上的特定坐标系(此处采用Cartesian)、并引入其中x∈[x_-,x₊](参见图14.1，并注意x_±可对应±∞)的一维曲线t(x)来实现。如图14.1所示，不同事件的前向光锥与该曲线相交。重要的是，要注意，事件之间的逻辑关系通过该投影不会丢失，因为最接近该曲线的事件的前向光锥的投影和落入离该曲线较远的事件的前向光锥的投影，被嵌入到这些事件的前向光锥投影中。

通过将具有投影光锥交点的一维子流形映射到输出流形的一维子流形上来实现显示。对于本示例，输出流形的属性因此可以放宽到不一定是Minkowski或者甚至是具有无限的度量，即，M_O和M_R不一定重合。为了使这更精确，假设在表示流形上的Cartesian坐标(t,x)的选择和在输出流形(此处为了说明目的，采用二维)上的坐标的选择以及在表示流形和输出流形上的一维子流形，分别被一维曲线t(x),x∈[x_-,x₊]和x_o(τ),τ∈[τ_-,τ₊]参数化。然后该显示是可逆的映射f:[x_-,x₊]→[τ_-,τ₊]，即，τ＝f(x)且x＝f^-1(τ)，其中x∈[x_-,x₊]且τ∈[τ_-,τ₊]。该映射起到了将映射χ引入到输出界面的一般性讨论上的作用，但此处它不再是恒等映射。注意的是，显示曲线x_o(τ)可假定任何几何图形，例如，圆、线或正方形。在子流形包括断开连接的一维流形集合的情况下，如上所述，每个一维子流形被映射到输出流形的一维子流形上，即，显示流形也是断开连接的一维流形的集合。

应该清楚的是，当所有事件的光锥交点被显示时，显示会非常混乱，而且实际应用会非常有限。因此，只能显示那些足够用于控制和内存保留的光锥交点。例如，这可通过仅显示直接经过曲线上的点的事件的光锥交点(即，这些事件的前向光锥交点)来完成。

给定显示图形上的任何点τ，可以计算在表示流形上的一维曲线上的点x＝f^-1(τ)和时间t^′＝t(f^-1(τ))。因此，我们得到该曲线上坐标为(t(f^-1(υ)),f^-1(τ)的点。然后，可以计算到在表示流形上的事件的Minkowski距离，以确定该点位于哪个事件的光锥内。然而，这在计算上可能是高成本的。实现这个的更经济的方式是计算一次光锥与曲线的交点。为了做到这一点，要考虑从在表示流形上Cartesian坐标为(t^′,x^′)的点发出的光锥。它由曲线x_±(t)＝x^′±c(t-t^′)来描述。设光锥与曲线t(x)相切的点为(t_±,x_±)。于是

$t\left(x_{\&PlusMinus;}\right)=t_{\&PlusMinus;}=t^{\&prime;}\&PlusMinus;\frac{x_{\&PlusMinus;}-x^{\&prime;}}{c}$ (公式14.1)

这提供了针对x_±的公式，其对于曲线t(x)的合理选择只要一次就可求得解析解。一旦获得了这个表达式，通过将坐标(t^′,x^′)替换为坐标(t_i,x_i)，可以获得坐标(t_i,x_i)与曲线t(x)相切的第i个对象的光锥的点x_i±。然后显示器上的交叉点可以简单计算为τ_i±＝f(x_i±)。然后这些点之间的区域就可以简单地用在代表点(t_i,x_i)处的对象的图标来遮蔽或装饰。这应该是计算上便宜的，因为这个解析公式可以存储且容易计算。

在子流形包括有限数量N个由曲线t⁽ⁿ⁾(x),n＝1,2,…N来描述的一维流形的情况下，光锥与这些曲线的每一个的交点通过简单地替换公式14.1为以下公式来计算

$t^{\left(n\right)}\left(x_{\&PlusMinus;}^{\left(n\right)}\right)=t_{\&PlusMinus;}^{\left(n\right)}=t^{\&prime;}\&PlusMinus;\frac{x_{\&PlusMinus;}^{\left(n\right)}-x^{\&prime;}}{c}$ (公式14.2)

这些提供了针对n＝1,2,…N的每个选择的的公式。

然而，上面概述的显示对于导航是不足够的。原因是，随着观察器随时间向前移动，如果光锥之间的重叠待避免，长度尺度变得越来越短。因此，有必要在τ方向上(也可以是t方向的情况，但这并不影响显示且是另一回事)重新缩放观察器感兴趣的点处的距离，在图14.1中表示为τ₀≡f(x₀)。因此我们需要映射f:[x_-,x₊]→[τ_-,τ₊]使得τ₀处的无限小分离点之间的距离拉伸，以及远离τ₀的无限小分离点之间的距离收缩。由于τ＝f(x)处的无限小分离点之间的距离为dτ＝f^′(x)dx，我们希望(与可逆函数一致)，f^′(x₀)＞＞1，当x→x_±时，f^′(x)→0。这将该映射的通用形式限制在了图14.2所示的形式，即，它是单调递增函数，在用户所选择的点x₀处迅速增加以及在端点处趋于平稳。在断开连接的一维流形的集合的情况下，同样的考虑应用到每个一维流形。事实上，为了避免相对失真，希望针对每个一维流形实现相同的缩放功能。

控制通过以下方式来实现：通过调整t₀以使曲线随时间向前或向后移动，从而通过位于彼此的光锥内的事件的菜单而“滚动”(类时控制)，或通过调整x₀以沿着曲线移动，从而通过没有位于彼此的光锥内的对象的菜单而“滚动”(类空控制)。这两个函数可以很自然地分别归因于径向运动和角运动，如图14.3所示用于采用环几何来显示。

我们现在更详细地描述控制。开始于类时控制：当用户在时间方向上移动曲线t(x)时，这影响了光锥交点τ_i±以及因此它们是t₀的函数，即，τ_i±(t₀)。该函数依赖性从公式14.1的解中获得，并不需要新的信息。典型地，随着曲线远离对象地移动，前向光锥投影拉伸。这意味着代表其投射光锥内的对象的图标的对应拉伸。该缩放因子是固定的，并在计算光锥交点时分析计算一次。

类空控制更加灵活和隐蔽，本质上涉及图14.2中给出的显示映射τ＝f(x)的形状的控制。用户的控制下的重要特征是台阶的位置(导数峰)，这由x₀的选择和台阶的坡度(导数峰的高度)确定，其控制了τ₀处的放大倍数。

在实践中实现这些控制特征的一种方法是选择具有如图14.2所示的所需特征的任何函数f(x)。然后，简单地定义映射τ＝f(γ(x-x₀))。偏移x₀产生了滚动的效果，而改变γ产生了缩放的效果。然而，注意的是，点x＝x₀总是映射到τ＝f(0)上，而缩放只是在该点上实现。

实现作为独立控制函数的缩放需要我们希望避免的额外控制参数，因为我们最多想要两个控制参数。一种选择是引入依赖于缩放函数的t₀。这也是非常自然的，因为随着时间的增加，对象在x方向上变得更加密集，使得缩放函数有必要。这通过增加函数f(x)在τ₀＝f(x₀)处的坡度来简单实现，保持该点固定为t₀的函数。最简单的实现方式由映射τ＝f(γ(t₀)(x-x₀))给出。

这个控制策略也适用于一维流形的集合的情况：曲线t⁽¹⁾(x)位于t₀处，曲线t⁽²⁾(x)位于t₀+Δt₁处，曲线t⁽³⁾(x)位于t₀+Δt₁+Δt₂处等。依赖于事件的详细结构，曲线t⁽ⁿ⁾(x)之间的类时分离Δt_n保持固定或可以改变，以避免光锥重叠或其它不想要的视觉效果。上面概述的相同的缩放策略分别被应用到这些一维流形中的每个一维流形。

更一般地，几乎任何的视觉效果可通过调整映射f(x)的形状来产生。例如，可开始于直线，如果对象在Minkowski空间的x方向上是等距的，其会简单导致相交的光锥的等距显示。然后可使该直线变形，以产生缩放或滚动的效果。

说明这些一般考虑的简单具体的例子为采用曲线t⁽ⁿ⁾(x)＝t₀+nΔ，即，等距垂直线的集合。然后公式14.1变成可被正常求解的正常线性关系，即

$x_{i\&PlusMinus;}^{\left(n\right)}=x_i\&PlusMinus;c(t_0+n\mathrm{\&Delta;}-t_i),$

也说明了光锥交点明显依赖于t₀。如果x方向无界，通过以下映射，线x∈(-∞,∞)可被映射到有限的区间τ∈(-1,1)或圆

τ＝tanh(γ(x-x₀))。

此外，该映射具有如图14.2所示的所有特征。

此处的显示策略是仅使事件的前向光锥投影可见，该事件在最近的时间线上的两条连续线之间的间隔内。随着前向滚动的进行，两条线之间的间隔内的事件的数量的增多可能导致混乱。因此，有必要减少分离，以限制连续线之间的事件的数量，但是这只能根据对事件结构的详细了解来完成。

使用如图8.1所示的事件配置，图14.4呈现了一系列图，其显示了应用全局坐标映射(其中λ＝0.5，但改变了观察器事件e₀位置30)后坐标补丁12中的事件e_i的表示62_i。所映射的事件表示在两个圆形的一维流形上被显示为段。里面的圆表示曲线t⁽¹⁾(x)的τ映射(位于t₀处)，而外面的圆表示曲线t⁽²⁾(x)的τ映射(位于t₀+Δt₁处，其中Δt₁＝4.5)。外面的圆表示在观察器的未来的事件，而里面的圆表示在观察器的过去的事件。

图14.4中，观察器事件的空间坐标值固定为0，而时间坐标值在1.25个单位的步骤中从-0.75扫到5.5。事件表示62_i被映射到两个输出流形中的一个上。在第一个图中，只有62₁在外面的圆(未来)上是可见的。在第二个图中，观察器已经移动到事件e₁的光锥内。事件表示62₁现在移动到里面的圆(过去)上，并且事件e₂至e₆的表示现在出现在外面的圆(未来)上。在最后的图中，观察器移动到事件e₄的光锥内。事件e₁的表示不再显示，并且事件e₂至e₆已经移动到里面的圆(过去)上。

前面的例子具有如下不连续的缺点：随着前向滚动的进行，最早的线的项掉落，在连续的线之间跳转并出现在最近的线上。现在描述产生更连续的视觉效果的方法。该方法基于如图14.5的曲线(一维子流形)的选择，其中明确的选择被做出

$t\left(x\right)=t_0+a^2{e}^{-b^2{\left(x-x_0\right)}^2}.$

这种情况下的控制策略与前面的相同，即，依赖于显示几何的选择，t₀和x₀由用户通过垂直/径向和水平/角度运动来控制。此外，可以控制峰值的高度和宽度，但是要避免过多的参数，这些正常地被固定在优化视觉化的选择上。然后通过前面已经描述的显示映射显示在该曲线的过去中的事件的前向光锥投影。将所显示的光锥限制到具有区间[t₀,t₀+t_max]中的时间坐标的事件是自然的，其中t_max是曲线的最大高度。

光锥和该曲线的交点如前面一样通过求解公式14.2来计算。在Guassian分布的情况下，得到的公式不能被分析求解，其造成选择不方便且成本较高。另一替选是Lorentz形状的曲线

$t\left(x\right)=t_0+\frac{a^2}{b^2+{(x-x_0)}^2}$

公式14.2然后变成仍然可以被分析求解的3阶多项式方程，结果在附录A中给出。为了避免多于一个交点，必须遵从以下约束

$a<\frac{2\sqrt{2}}{3\sqrt{3}}{\mathrm{cb}}^{\frac{3}{2}}.$

在下面的例子中，选自广义相对论的替选的流形和度量被选择用于表示流形10。基于与Schwarzchild度量的类比，该例子通过对流形度量的控制也说明了更复杂的光锥控制。此处讨论的流形为流形，其中由以下给出度量

${\mathrm{ds}}^2=\frac{{\&part;}^{2}V}{\&part;x^{\mathrm{\&mu;}}\&part;x^v}{\mathrm{dx}}^{\mathrm{\&mu;}}{\mathrm{dx}}^v.$

此处V为电位。该选择确保了度量正确变换，以使ds²在坐标变换下不变。此处所做出的V的选择为(x⁰＝t,x¹＝x)

$V=\frac{1}{2}{c}^2{t}^2-2ax+\frac{x^2}{2}-\frac{a^2}{2}log{(x-a)}^2+a(x-a)log{(x-a)}^2.$

这产生了度量

${\mathrm{ds}}^2=c^2{\mathrm{dt}}^2-{\left(1-\frac{a}{x}\right)}^{-2}{\mathrm{dx}}^2.$

零值测地线(其是光线的轨迹且包围光锥)通过设置ds²＝0来发现：

$\frac{dx}{dt}=\&PlusMinus;c\left(1-\frac{a}{x}\right),$

其给出了

$t=t_0\&PlusMinus;\frac{1}{c}\&lsqb;(x-x_0)+alog\left(\frac{x-a}{x_0-a}\right)\&rsqb;,$

其中t₀,x₀为整合常量。此处我们设置t₀＝0，则x₀简单为t＝0处的事件的x坐标。

图15.1中的阴影区域显示了t＝0处的两个事件的光锥。此处，a＝1,c＝1且一个事件位于(x₀＝0.8<a)处，另一个事件位于x₀＝1.2>a处。事件位于线交叉处。注意的是，光锥从不跨过线x＝a＝1。事件处的局部(类似Minkowski)光锥由与事件处的零值测地线相切的线确定，如图15.1所示。线x＝a＝1起到将空间分离成两个没有因果联系的区域的事件水平线的作用。存在与Schwarzchild度量的细微的差别，在Schwarzchild度量中，空间和时间的作用在事件水平线内互换(度量变化的符号，此处并不是这种情况)。在这种情况下，事件水平线内的光锥被指向奇异点并对应于当前例子的类空区域。

本构建已经提供了感兴趣的逻辑工具，以将事件分离成例如可在给定时间反映用户的兴趣的没有因果联系的类。

图15.2示出了与图15.1相同的信息(两个事件在t＝0,x₀＝0.8和1.2处)，但是此时a＝1.198,c＝1。对光锥的形状的影响是明显的。靠近事件水平线的事件的光锥变得很窄地接近事件，很久之后才会打开。这可被用户用来控制接近或远离他的其感兴趣的事件或任何事件之间的逻辑关系。

图15.3示出了本构建的另一特征，即，光锥不再如Minkowski空间中的那样处处平行，且局部Minkowski光锥的开口也逐点不同(这可看成依赖于位置的光速)。图15.3中，a＝1,c＝1且后向和前向传播光线的轨迹被画出(零值测地线)穿过t＝0,x₀＝0.2,0.4,0.6,0.8,1.2,1.4,1.6和1.8处的事件。在这些线穿过的每个点处，放置事件，且该事件的局部光锥由零值测地线的切线确定，如图15.1所示。这给出了对局部光锥的用户控制，以及因此由这些光锥通过改变几何(例如通过这种情况下的事件水平线的改变)来确定的局部逻辑关系。

应当理解，例子被提供用来进一步说明本发明，并帮助本领域的技术人员理解本发明，但并不意欲被构造成过度限制本发明的合理范围。

参考文献

●Buxton,B.“HCIandtheinadequaciesofdirectmanipulationsystems(HCI和直接操作系统的不足)”SIGCHI期刊,1993年1月:22。

●Bachmat,Eitan,DanielBerend,Lubasapir,和StevenSkiena.www.cs.bgu.ac.il/～ebachmmat/prlfinal.pdf。

●Moray,Neville,和PeterAHancock.“Minkowskispaceasmodelsofhuman-machinecommunication(Minkowski空间作为人机通信的模型)”TheoreticalIsuesinErgonomicScience10(2009):315。

●Darlow,Adam,和GideonGoldin.causaltemporalorderinHCI(HCI中的因果时序)。Vancouver:CHI2011,2011。

●Hrischuk,CE,和CMWoodside.1996年4月。http://www.sce.carleton.ca/rads/rads.html。

●Broy,manfred.“Time,Abstraction,CausalityandmodularityinIntercativeSystems(交互式系统中时间、抽象概念、因果关系和模块化)”EllectronicNotesinTheoreticalComputerScience108(2004):3。

●SeeingandExperiencingRelativity--ANewToolforTeaching.2012.www.popsci.com/science/article/2012-11。

●Matherat,Philippe,和Marc-ThierryJaekel.“relativisticCausalityandClocklessCircuits(相对因果关系和时钟电路)”JournalofEmergingTechnologiesinComputingSystems7,no.4(2011):2043643。

●Beaudouin-Lafon,M.Designinginteraction,notinterfaces.w.thomas.baudel.name/Epistimologie/p15-beaudoin-lafon-tmp.pdf。

●Hinze-Hoare,V.arxiv.org.arxiv.org/pdf/0707.3638。

Claims (16)

1.一种用于人机交互(HCI)的方法，所述方法包括：

●建立事件集；

●建立和引用所述事件集中的一个或多个事件；

●建立和引用事件以表示所述事件集中的观察器；

●建立作为无限度量黎曼Riemann流形的表示流形；

●呈现所述表示流形上的事件，使得事件之间的逻辑关系是坐标无关的且被几何编码为因果关系；

●建立输入流形以表示用户输入；

●建立在所述表示流形和物理输出设备之间映射的输出流形；

●基于用户输入，从以下选择一个或多个步骤：

○操作观察器事件，

○调整流形度量，

○改变映射，

○调整映射参数，和

○应用映射；以及

●当所述用户输入改变时重复上面的任何步骤。

2.根据权利要求1所述的方法，其中所述输入流形为正定度量流形。

3.根据权利要求2所述的方法，其中所述输入流形为欧几里得Euclidian流形。

4.根据权利要求1至3中任一项所述的方法，其中所述表示流形为凯勒流形。

5.根据权利要求1至3中任一项所述的方法，其中所述表示流形为闵可夫斯基Minkowski流形。

6.根据权利要求1至5中任一项所述的方法，其中所述输出流形接纳全局坐标补丁。

7.根据权利要求1至6中任一项所述的方法，所述方法包括操作所述事件集的步骤。

8.根据权利要求1至7中任一项所述的方法，其中所述用户输入是多维的。

9.根据权利要求1至8中任一项所述的方法，其中所述用户输入是多源的。

10.根据权利要求1至9中任一项所述的方法，其中用户输出是多维的。

11.根据权利要求1至10中任一项所述的方法，其中事件之间的逻辑关系选自功能的、结构的或时间的。

12.根据权利要求1至11中任一项所述的方法，所述方法包括操作事件之间的逻辑关系的步骤。

13.根据权利要求1至12中任一项所述的方法，所述方法包括在视觉上呈现事件之间的所述逻辑关系的步骤。

14.根据权利要求13所述的方法，其中事件之间的逻辑关系通过显示事件的光锥来呈现。

15.根据权利要求1至14中任一项所述的方法，其中逻辑关系包括用户的意图和/或兴趣的表达。

16.一种用于人机交互(HCI)的方法，此处基本上参照附图进行描述所述方法。