CN107077354A - 建立输入功能与输出功能之间的功能关系的方法 - Google Patents
建立输入功能与输出功能之间的功能关系的方法 Download PDFInfo
- Publication number
- CN107077354A CN107077354A CN201580060864.5A CN201580060864A CN107077354A CN 107077354 A CN107077354 A CN 107077354A CN 201580060864 A CN201580060864 A CN 201580060864A CN 107077354 A CN107077354 A CN 107077354A
- Authority
- CN
- China
- Prior art keywords
- user interface
- input
- processing unit
- output
- interface elements
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/34—Graphical or visual programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种用于通过处理装置建立控制输入和可控功能之间的功能关系的方法,所述方法包括由所述处理装置提供包括显示区域的图形用户界面;将第一用户界面元件定位在显示区域内、在第一位置,第一用户界面元件表示控制输入;将第二用户界面元件定位在距离第一用户界面元件一距离的显示区域内的第二位置处;所述第二用户界面元件表示所述电子装置的可控功能;响应于所述控制输入发出用于控制所述可控功能的控制命令;其中所述控制命令是相对于另一个的第一和第二位置的函数。
Description
技术领域
本发明涉及一种用于经用户控制而建立输入功能与输出功能之间的功能关系的方法。
背景技术
数十年来,提供各种形式的输入和/或输出并且提供允许某些输入行为影响某些输出行为的机制的电子装置已为人所知。
输入和输出可以集成到单个电子装置中,使得装置提供完整且独立的功能目的。此外,输入、输出和处理功能可以跨多个实体上分离的电子装置进行拆分或组合。然后可以在装置之间使用有线或无线连接,以便提供由不同装置实现的输入、输出和处理功能之间的功能关系。
WO 2009/047225公开了一种具有功能构造元件和数据处理系统的玩具构造系统,其提供用于生成用于控制功能元件的命令的编程环境。该现有技术系统还包括在数据处理系统和功能构造元件之间的接口元件,其检测连接到接口构造元件的功能构造元件的存在,并将相应的信息发送到数据处理系统。随着接口元件自动检测所连接的结构元件,编程环境可以适配于所连接的装置,以便例如提供环境敏感帮助(context-sensitive help),响应于检测到的构造元件等而启用/禁用某些功能或显示。
因此,上述现有技术的系统允许没有丰富的计算机软件和硬件经验的用户容易地学习如何通过计算机来控制所构造的结构。然而,仍然希望提供一种用户可配置的用于控制电子装置的控制系统,该控制系统更加容易使用,并且提供用于建立和配置输入和输出功能之间的功能关系的易于使用的机制。
发明内容
根据本发明的一个方面,本文公开了一种用于通过处理装置建立控制输入和可控功能之间的功能关系的方法的实施例,所述方法包括,通过处理装置:
-提供包括显示区域的图形用户界面;
-将第一用户界面元件定位在所述显示区域内的第一位置,所述第一用户界面元件表示控制输入;
-将第二用户界面元件定位在所述显示区域内的第二位置,且与所述第一用户界面元件相距一定距离,所述第二用户界面元件表示所述电子装置的可控功能;
-响应于所述控制输入,发出用于控制可控功能的控制命令;
其中所述控制命令是相对于彼此的第一和第二位置的函数。
因此,本文描述的方法的实施例提供了一种易于使用的控制机制,允许甚至未经训练的用户以直观的方式配置控制系统。该方法的实施例提供了用于创建功能连接和控制输入和输出功能之间的接口的机制。
第一和第二用户界面元件位于与彼此相距一定距离处,使得它们不接触或重叠另一个。然而,应当理解,第一和第二用户界面元件可以由表示控制输入和可控功能之间的功能连接的连接器用户界面元件连接。连接器用户界面元件可以例如是具有可连接到第一用户界面元件的第一连接端和可连接到第二用户界面元件的第二连接端的线或其他用户界面元件。
控制命令可以根据生成命令的装置和接收命令的装置以及生成命令的装置是否与接收命令的装置为同一装置或为不同装置而具有各种形式;控制命令的示例包括但不限于控制消息、功能调用、数字或模拟控制信号等。在一些实施例中,控制命令可以包括多个控制信号或编码多个参数或其他量;例如倾斜传感器可以输出X、Y和Z位置信息。命令的类型和/或格式受到接收命令的装置类型的影响。
控制命令是相对位置的函数,即随着变化的相对位置而变化。例如,控制命令可以表示控制可控功能属性的控制参数,并且控制参数的值可以随着相对位置的变化而变化。该变化可以是连续的或不连续的,例如阶梯式的
在一个实施例中,控制命令是第一和第二位置之间的距离的函数。例如,控制命令可以表示控制可控功能属性的控制参数,并且控制参数的值可以随着距离的变化而变化。因此,在显示区域内用户界面元件相对于彼此放置的距离控制了控制输入和可控功能之间的功能关系的耦合强度或其他属性。在一些实施例中,控制参数随着距离的增加而减小。该变化可以是连续的或不连续的,例如阶梯式的。例如,第一位置和第二位置之间的距离可以在多个预定距离范围中的一种范围内,并且可以响应于当前距离所处的距离范围而设置控制参数。控制参数可以响应于输入而控制幅度或其他程度的输出。例如,控制参数可以控制例如运动速度、音量、和光强度或其他输出等。控制参数的其他示例可以控制重复、声音、光或其他电磁辐射等的频率。
除了第一和第二位置之间的距离外或代替该距离,可以使用表示第一和第二用户界面元件的相对位置的一个或多个其它参数来改变控制命令,例如,相对于参考轴线连接第一和第二位置的轴的角度,例如显示区域的边界。
用户界面元件是图形用户界面的用户界面元件;它可以包括可以位于图形用户界面的显示区域内的输入功能或输出功能的图标或任何其他图形表示。在一些实施例中,定位第一和/或第二用户界面元件包括响应于所接收的用户输入来定位第一和/或第二用户界面元件,例如表示选择多个用户界面元件中的一个的用户输入和/或表示第一和/或第二位置的用户输入。例如,用户可以从一组用户界面元件中选择用户界面元件,并将所选择的用户界面元件定位在期望的位置,例如,通过拖放操作。显示区域可以覆盖显示器的整个区域或仅覆盖子区域。显示区域可以是工作区域,即用户可以定位用户界面元件的指定显示区域。定位在显示区域内的用户界面元件,它们的相对位置和/或互连由处理装置确定;并且处理装置响应于要发出的控制命令而响应于所选择的控制输入来控制所选择的输出功能。响应于哪个输入功能来控制哪些输出功能以及由位于显示区域内的用户界面元件定义了何种方式,它们的互连和/或它们在显示器内的相应位置是彼此相关的。
在一些实施例中,在显示区域中定位第一和/或第二用户界面元件包括,接收表示控制输入和可控功能之间的功能连接的用户输入,并且提供第一和第二用户界面元件在功能上相互连接的指示。例如,该方法可以包括通过连接器用户界面元件连接第一和第二用户界面元件;替代地或另外地,第一和第二用户界面元件可以被表示为具有相同的颜色或以其他方式表示,以指示功能连接。用户输入可以包括连接器用户界面元件的受用户控制的定位,第一和第二用户界面元件的选择,例如通过单击或触摸或拖动第一和第二用户界面元件周围的框架,或通过另一合适的方式。
在一个实施例中,定位第一和第二用户界面元件包括首先将它们彼此以预定的空间关系定位,例如在相同位置或彼此接触,然后将第一和第二用户界面元件中的一个远离另一个或以其他方式将它们重新定位,使得在它们各自的位置之间存在用户选择的距离。因此,初始定位可以由处理装置检测到功能连接的建立,并且随后重新定位彼此的距离表示控制输入与用户界面元件所表示的可控制功能之间的功能连接的控制参数。
处理装置响应于控制输入发出控制命令。具体地,控制命令可以由处理装置本身或不同于处理装置的另一装置发出,例如被配置为接收所述控制输入的输入电子装置。例如,处理装置可以控制或以其他方式使外部输入装置发出控制命令。在一个实施例中,处理装置产生可由外部输入装置执行的指令,所述指令指示控制输入、可控制功能、和表示耦合的强度和/或耦合的其他可变特性的控制参数。处理装置随后可以将该指令传送到输入装置,以供随后由输入装置执行。输入装置随后可以将控制命令传送到处理装置或与处理装置不同的输出装置,输出装置可操作为执行可控功能。
可控功能可由处理装置或不同于处理装置的输出装置执行。因此,发出控制命令可以包括通过一个装置(例如处理装置或外部输入装置)来传送控制命令到另一装置(例如处理装置或外部输出装置)。或者,发出控制命令可以包括单个装置内部的内部命令。例如,处理装置可以响应于从外部输入装置而来的或由处理装置直接接收的控制输入而产生控制命令;并且处理装置随后可以控制由处理装置执行的内部功能或由外部输出装置执行的外部功能。类似地,外部输入装置和外部输出装置可以组合成单个外部装置,不同于处理装置,并被配置为接收控制输入并执行可控功能。
在一些实施例中,处理装置的输入装置和/或输出装置包括处理装置的界面元件,例如,可以存在于与第一和第二用户界面元件相同的显示器上的图形界面元件。第一和第二用户界面元件实际上可以包含或以其他方式关联于相应的输入或输出用户界面元件,从而创建用户界面元件,其可以包括用户界面输入和/或输出效果,且它们的相对位置影响输入和输出效果之间的耦合。
在任何情况下,响应于控制输入而执行控制命令的发出,并且发出的控制命令是第一和第二用户界面元件在处理装置的显示区域内的相对位置的函数。
应当理解,第一用户界面元件可以代表可操作为接收用户输入的输入装置。第一用户界面元件可以以各种方式表示输入装置,例如,使用图形和/或文本。类似地,第二用户界面元件可以代表可操作为执行可控功能的输出装置。
处理装置可以是任何适当配置(例如,编程的)电子装置,包括可操作为提供图形用户界面的显示器,和可选地包括有线和/或无线通信接口。这样的装置的示例包括计算机或其他数据处理系统,诸如手持式或其他便携式计算装置,例如智能电话,膝上型计算机,平板计算机等。处理装置的其它实例包括模块化结构系统的智能结构元件,例如包括显示器的玩具构造系统。处理装置可以被配置为执行使处理装置执行本文所述方法的步骤的程序。具体地,处理装置可以被配置为提供用户界面环境,其包括用于定位用户界面元件的显示区域和用于用户界面元件在显示区域内受用户控制地进行定位的功能,用于基于用户界面元件的受用户控制的定位建立控制输入和可控功能之间的功能关系的功能,以及发出相应的控制命令。因此,处理装置可以作为控制系统的中心部分来操作,以响应于从处理装置和/或外部输入装置的输入接收到的控制输入而控制处理装置和/或外部输出装置的输出功能。处理装置可以提供用于创建可由输入和/或输出装置(例如通过图形和/或基于文本的编程)执行的指令的图形编程环境,从而允许配置可以经一次编程/配置的输入和输出装置的控制系统,即在有或没有处理装置的进一步参与的情况下进行操作。应当理解,处理装置可以提供各种用户界面功能,以便允许用户配置处理装置和/或输入和/或输出装置的操作。
控制输入可以由处理装置接收,例如,通过处理装置的内部输入装置或通过外部输入装置。输入装置的示例包括用于检测另一物体的接近度的近程传感器。输入装置的其它示例可以响应于其它控制输入,例如机械力、推动、拉动、旋转、倾斜、人为操纵、用户输入、触摸、电信号、射频信号、光学信号、可见光信号、红外信号、磁信号、温度、湿度、辐射等。控制输入的其它示例包括接收用户输入的用户界面元件,例如按钮、滚轮、基于触摸的显示器等。输入装置可以被配置为提供二元信号,例如表示输入是否已被接收。替换地或另外地,输入装置可以被配置为生成表示多个不同输入和/或表示激活的级别或大小的多级或甚至连续信号。
因此,输入装置可以用于经由有线或无线通信接口生成和通信控制信号,该控制信号可以表示所接收的控制输入的存在/不存在和/或表示属性,例如,诸如按钮或操纵杆这样的用户界面元件的激活,旋转或倾斜的方向,或检测到的量的程度,例如旋转或运动的速度、力、温度、声压、光强度、倾斜角度,诸如旋转的速度和方向或光的颜色和强度这样的多维属性等。该装置(例如接收控制信号的处理装置)随后可以响应于接收到的控制信号而发出如本文所述的控制命令。替换地,输入装置本身可以响应于接收的控制输入和响应于表示控制输入和可控功能的相应的用户界面元件的相对位置来生成控制命令,以控制可控功能。如上所述,控制命令可以取决于控制命令所寻址的输出装置。类似地,如果输入装置应与多于一个输出装置具有功能关系,则在一些实施例中,输入装置可以为每个输出装置输出单独的和不同的控制命令。
可控功能可以由处理装置执行,例如,通过处理装置的内部输出装置执行,或由外部输出装置执行。
输出装置是用于执行功能的任何合适的装置,例如提供用户可察觉效果的功能,例如可见的、可触的、机械的或可听见的效果。在一个示例中,输出装置包括马达和用于接收可由马达旋转驱动的轴的联接构件。输出装置的其他示例可以包括适于执行一个或多个机械或电功能的任何合适的机械和/或电子装置、设备或电路。图形用户界面和其他用户界面输出的用户界面输出元件是输出装置的进一步例子。
输出装置可以执行的机械功能的示例包括驱动旋转的输出轴,卷绕弦或链(其能够拉动物体以更靠近输出装置),移动输出装置的铰链部分(其例如能打开或关闭门,喷射物体,旋转转盘,移动线性致动器等)。这种机械运动可以由电池或可再充电电容器或其他合适电源供电的电动机驱动。
输出装置可以执行的电功能的示例包括操作具有可访问终端的开关,发射恒定的或闪烁的光,以预定顺序激活几个灯,发出诸如蜂鸣、警报、铃声、警笛、语音消息、音乐、合成声音、自然或模仿性的声音模拟等的可听见的声音,刺激游戏活动,记录和播放声音,发射诸如超声这样的听不见的声音,发射射频信号或红外信号,以由另一部件接收、通过显示器提供可见的输出,等等。
输出装置的其它示例包括,处理装置的用户界面元件,例如图形用户界面元件,所述处理装置如仪表、基于显示的元件(包括数字显示,图形表示等)。
因此,输出装置的示例可以包括诸如灯或LED的光源,声音发生器,电动机,铰链部件,可旋转轴,信号发生器,线性致动器,显示器等。诸如模块化构造系统的电子装置的系统可以包括多个这样的输出装置,其被配置为响应于控制命令而提供不同的功能。
输入和/或输出装置的示例可以包括可以由固件、可执行程序或以其他适当方式配置的适当编程或以其他方式配置的处理单元。
发出控制命令可以包括将控制命令传送到输出装置。通信可以是有线或无线的。在有线系统中,装置之间的连接可以是永久性的,使得用户不能断开物品,或者可以使用物理连接器系统,使得可以通过简单的实际用户操作就能在系统中添加、移除或更换装置。这种有线系统可以包括集中式电源,使得除了用于功能连接的数据之外,电线还向系统中的装置提供电力。
在可拆卸有线系统中,可拆卸物理连接器可以连接到一装置,其通常被称为端口。端口通常包含机械和电学方面的考虑,使得机械的具体结构为连接器提供物理固定方法,并且电气方面的具体结构提供与连接器的电连接。可以将端口指定为与输入装置、输出装置或具有输入和输出功能的装置具有电气兼容性。有线连接的示例包括串行或并行有线连接,例如USB连接。
在无线系统中,在没有电线的装置之间创建功能连接。用于创建这种无线连接的技术可以包括使用可见光和不可见光,可听和不可听的声音,和/或射频信号。根据无线连接的技术和实现,可以在系统中添加、删除和更换装置。无线连接可以包括任何合适的通信技术,包括但不限于射频通信,例如蓝牙或类似的短距离通信技术,例如,通信范围小于100m,例如小于20m。在大多数情况下,即使在一些实施例中,更长的范围也是可接受的,或甚至是期望的,但是通信范围小于10m并且在大多数情况下甚至小于5m就足够了。无线通信的通信范围可以至少为0.5m,例如至少1m。在一些实施例中,无线连接使用诸如蓝牙低能量标准(Bluetooth Low Energy standard)的蓝牙标准。在一些实施例中,处理装置和/或输入和/或装置中的一些或每个可以包括收发器,以便允许它们与/或与处理装置之间的双向通信。
在包括具有能够添加、移除和更换装置的能力的多个电子装置的系统中,电子装置可以用于向更广泛的系统提供自身的识别,从而使得系统能够适于最佳地使用来自装置的功能信息或提供与装置兼容的功能信息。通常,在一些实施例中,该方法包括检测与处理装置有线连接或无线连接的一个或多个输入和/或输出装置;并且选择性地呈现仅代表检测到的输入和/或输出装置的用户可选择的用户界面元件。
在一些实施例中,有线连接和/或可无线连接的电子装置的系统包括处理装置,一个或多个输入装置和/或一个或多个输出装置;每个输出装置可操作为从至少一个其他电子装置接收控制命令,并响应于所接收的控制命令来控制一个或多个可控制功能;每个输入装置可以包括或可连接到可操作为检测传感器输入的一个或多个传感器或其他输入。输入装置可操作为响应于检测到的传感器输入向一个或多个电子装置发送控制命令。替换地或另外地,输入装置可操作为将传感器输入传送到处理装置,该处理装置又被配置为将控制命令发送到一个或多个外部输出装置或内部输出装置。每个输出装置可以包括或可连接到适于响应于从输入装置或从处理装置接收的控制命令来执行可控功能的输出。
在一些实施例中,替代或除了上述无线连接之外,电子装置可以包括一个或多个连接器,例如插头或插座,用于建立与一个或多个额外电子装置的一个或多个有线连接。因此,有线连接的额外电子装置可以使用由无线或有线连接装置接收的信号和/或数据。替换地或另外地,有线连接的额外电子装置可以向无线或有线连接的电子装置提供信号或数据。因此,额外的电子装置可以用作外部传感器输入和/或作为外部功能。无线或有线连接的装置甚至可以具有在不同的无线和有线通信网络之间提供接口的主要功能。
每个电子装置可以是实体分离的电子装置,例如,具有其自己的壳体,并且其可以由使用者相对于系统的其他电子装置之一(例如,处理装置)定位,应当理解,在一些实施例中,两个或更多个电子装置可以彼此机械和/或电连接;在一些实施例中,它们可拆卸地彼此连接,而在一些实施例中,它们可以彼此永久地连接,同时仍然提供各种功能。每个电子装置可以包括其自己的能量源,例如其自己的电池;可选地或另外地,一个或多个电子装置可以连接到外部能量源。
应当理解,在一些实施例中,电子装置系统的一些或所有电子装置可以操作为作为输入装置和输出装置。在一些实施例中,每个输出装置可以一次可连接到一个或多个输入装置。
在一些实施例中,输入和输出装置是模块化结构系统的交互式结构元件,例如,教育或玩具构造系统或工业模块化系统。在一些实施例中,每个交互式构造元件包括配置用于将互动构造元件彼此可释放地互连的联接构件。
本发明涉及不同方面,包括上述和下述的方法和系统以及其它方法、装置、产品和系统。每个方面可以具有结合其他方面之一描述的一个或多个优点,并且每个方面可以具有结合其他方面之一描述和/或如所附权利要求的一个或多个所限定的一个或多个实施例。
具体地,根据另一方面,本文所公开的处理装置的实施例包括被配置为执行本文所述方法的步骤的处理单元。这里和在下文中,术语“处理单元”旨在包括适合于执行本文所述功能的任何电路和/或装置。具体地,上述术语包括通用或专用可编程微处理器,数字信号处理器(DSP),专用集成电路(ASIC),可编程逻辑阵列(PLA),现场可编程门阵列(FPGA),专用电子电路等,或其组合。例如,处理装置可以包括其上存储有计算机程序的存储器或其他计算机可读介质,该计算机程序在由处理单元执行时使处理单元执行本文所述方法的步骤。处理装置还可以包括有线或无线通信接口。
在一些实施例中,模块化结构系统包括构造元件,例如本文所述的输入和输出装置和/或包括用于可释放地将玩具构造元件互连的联接构件的常规构造元件。模块化构造系统可以是教育或玩具构造系统,并且构造元件可以是玩具构造元件。或者,模块化结构系统可以是工业系统。结构元件可以具有顶表面、底表面和布置在顶表面和底表面中的至少一个上的联接构件;其中构造元件具有在顶表面和底表面之间限定的均匀的高度。联接构件可以利用任何合适的机构来将结构元件与其他构造元件可释放地连接。在一些实施例中,联接构件包括一个或多个突起和一个或多个空腔,每个空腔适于以摩擦接合的方式容纳至少一个突起。
本文描述的方法和系统的实施例允许用户以均匀且结构良好的方式构建各种各样的功能和功能关系。例如,可以提供模块化结构系统作为包括具有用于接收不同控制输入的不同传感器的多个输入装置的结构集合,以及实现相应功能的多个输出装置。可选地,这种结构集可以包括以下中的一个或多个:多个输入和输出装置,常规构造元件,说明手册和/或类似物。
根据一个方面,本文公开的是包括程序代码装置的计算机程序产品的实施例,该程序代码装置适于在处理装置上执行时执行本文描述的方法的步骤。计算机程序产品可以被作为诸如CD-ROM、DVD、光盘、存储卡、闪存、磁存储装置、软盘、硬盘等的计算机可读介质来提供。在其他实施例中,计算机程序产品程序产品可以被作为可下载的软件包提供,例如在网络服务器上通过互联网或其他计算机或通信网络下载。在一些实施例中,产品可以专用于该目的/用途,因此使该程序整合为以交付形式。
附图说明
现在将参照附图描述本文公开的电子装置的各个方面和实施例。
图1示出了集成了输入和输出的电子装置的示例。
图2-3示出了包括多个电子装置的系统的示例。
图4A-C和5A-C示出了电子装置的进一步示例,其每个包括多个输入和/或输出功能但可经由单个有线连接器连接。
图6示出了包括输入装置、输出装置和中央装置的系统。
图7-9示出了电子装置的网络配置示例。
图10示出了电子装置的系统的示例,并且示出了如何识别和显示系统中存在的输入装置和输出装置的示例。输入装置和输出装置的显示可以被布置为展示出它们的连接关系。
图11-12显示了一些替代用户界面元件,显示了可以在其中展示出输入装置和输出装置的不同方式。
图13示出了可操作为提供物理端口和屏幕表示之间的位置关系的电子装置的示例。
图14A-C示出了包括显示器的处理装置的示例,示出了屏幕展示和物理端口之间的位置关系的进一步示例。
图15示出了具有用于提供图形用户界面的显示器的处理装置的示例。
图16示出了包括具有图形用户界面的处理装置的电子装置的系统的示例,其中内部和外部输入装置和输出装置被显示在显示器上,使得输入装置和输出装置被分组在各自的组中。
图17-18示出了图16的处理装置的示例。
图19示出了在不同的运行状态下的图16的系统。
图20A-D显示了用户界面元件之间的连接示例。
图21A-B和22-23示出了邻近效应的图形展示的示例。
图24和图25A-B示出了在不同的运行状态下的图16的系统。
图26A-B示出了电子装置示例的示意框图。
图27A-C示出了玩具构造元件的示例。
具体实施方式
图1展示了集成有不同输入和输出的电子装置的例子。具体地,电子装置101包括距离传感器103和用于使得输出轴102旋转的电动机(未明确示出)。电子装置还包括显示器104和允许用户向装置提供输入的额外用户输入装置105。
显示器104可以是简单的显示器、用于提供图形用户界面的显示器、触摸屏幕、或其他合适的显示器。
因此,图1的装置可以用作在显示器104上提供图形用户界面、以允许用户定位图形用户界面元件的处理装置。装置101还可以用作输入装置,其中距离传感器103和/或用户输入装置105可以用作控制输入。如果显示器104是触敏显示器,则显示器也可以用于接收控制输入。此外,装置101可以用作输出装置,其中显示器104和/或电动机可操作为执行可控功能。
应当理解,其他电子装置可以具有更多、更少和/或不同的输入和/或输出元件。例如,一些电子装置可以仅用作输出装置,而其他电子装置可以仅用作输入装置。
图2示出了包括多个电子装置的系统的示例。系统使用有线连接,以通过可拆卸的连接而连接单独的输入和输出装置。具体地,图2的系统包括两个专用输出装置206,在该示例中为电动机和扬声器,以及两个专用输入装置207,在该示例中为距离传感器和麦克风;然而,应当理解,系统可以包括任何数量和类型的输入装置以及任何数量和类型的输出装置。在图2的示例中,每个输入和输出装置包括具有连接器208的有线接口。该系统还包括中央装置209,其包括用于可移除地接收输入装置207中之一的连接器的输入端口210、和用于可移除地接收输出装置206中之一的连接器的输出端口211。因此,中央装置209可以经由其输入端口210接收来自输入装置207中之一的控制信号,控制信号可以指示由连接的输入装置检测到的输入——例如检测到的距离或记录的声音。中央装置209还可以经由其输出端口211将控制命令发送到连接的输出装置,以控制所连接的输出装置的可控功能,例如,电动机或扬声器的操作。应当理解,中央装置209可以包括多于一个的输出端口和/或多于一个的输入端口。
中央装置209可以是包括用于提供图形用户界面的显示器的处理装置,或者它可以是用于在输入输出装置和以无线或有线方式连接到中央装置209的处理装置之间交换信号和命令的接口单元或中央装置。
图3示出了包括多个电子装置的系统的另一示例。图3的系统类似于图2的系统之处在于,其包括有线连接的输入装置207和输出装置206以及中央装置209,其全部如针对图2所述,但是图3的中央装置209包括两个双向端口312,每个端口可以可拆卸地接收输入装置或输出装置的连接器208。因此,图2的中央装置的端口每一个具有专用的输入或输出功能,而图3的中央装置的端口可以具有输入和输出功能二者。
图4A-C示出了每个包括多个输入和/或输出功能但可经由单个有线连接器208连接的电子装置的另外示例。具体说,图4A示出了可操作为提供两个输出功能的输出装置406,在图4A的示例中,两个电动机可以被一起控制和/或被单独控制。
图4B示出了也包括输入功能的输出装置的示例,在该示例中,其是具有位置反馈(例如,编码器)的电动机406。这种电子装置可以被认为是具有反馈的输出装置或是混合的输入/输出装置。
图4C示出了也包括输出功能的输入装置的示例,在图4C的示例中是具有可设定的远距采样速率的超声波距离传感器407。这种电子装置可以被认为是可控输入装置或混合输入/输出装置。
应当理解,每个包括多个输入和/或输出功能的这种电子装置的功能可以作为单独的输入和输出功能或其组合而由中央装置访问。为此,它们可以附接到如针对图3所述的输入、输出或双向端口。
图5A-C示出了电子装置的另外示例,其每个包括多个输入和/或输出功能但是可以经由单个有线连接器208连接。如图5A-C所示,输入和输出分别是用户界面输入和输出。
具体地,图5A示出了具有多个用户界面输入控件105的输入装置506的示例。图5B示出了包括显示器104或可操作为执行可控输出功能的其它输出控制的输出装置507的示例。图5C示出了包括显示器104以及多个用户界面输入控件105的混合输入/输出装置513。
应当理解,图1-3、4A-C和5A-C的电子装置的替代实施例可以包括无线通信接口,而不是有线连接器208。此外,电子装置的其他实施例可以包括替代或附加形式的输入和/或输出。
输入和输出装置还可以包括端口,使得多个电子装置可以链接在一起。中间装置对链中的其他装置没有功能上的影响,使得处理装置将每个装置视为直接连接。或者,装置链可以在功能上彼此影响;例如,可以将两个传感器的值组合/相加在一起等。类似地,链中的装置的顺序会影响它们对彼此功能的影响,例如,位于链中更远离处理装置的装置会影响最靠近处理装置的装置。这由图6的示例示出,其示出了包括输入装置606、输出装置207和中央装置209的系统,例如针对图2和3所述的处理装置或接口装置/中央装置。
输入装置606可经由其连接器208连接到中央装置209的端口312。输入装置还包括可与输出装置207的连接器208连接的端口611。应当理解,替代实施例可以包括输入装置链、输出装置链和/或包括输入和输出装置和/或混合装置的混合链。链中的装置可以对或可以不对其他装置的供应产生影响。
应当理解,本文描述的系统的实施例允许多种网络配置。可配置的示例包括但不限于:
-通过处理装置将多个端口组合为单个连接的装置;这些装置还可以包括额外的输入、输出和/或用户界面;
-连接分布式处理角色的装置;例如通过添加向系统提供额外处理能力/存储器等的装置。在一些实施例中,系统可以允许用户连接两个中央处理装置,例如,以增加可用端口的总数量和/或允许装置共享处理任务。
-为系统增加功率和/或其他通信手段的独立装置。
图7示出了包括可连接到混合输入/输出装置713的相应端口的输入装置207和输出装置406的网络配置的一个示例。混合输入/输出装置713包括显示器104和用户输入元件105。输入/输出装置713又通过其连接器208连接到中央接口/中央装置209的端口312中之一。额外的装置可连接到网络,如示意性地通过图7的额外连接器208a所示的。在这个和其他示例中,除了由中央接口/中央装置209和/或由中央处理装置(未示出)提供的功能之外,混合输入/输出装置713还可以执行对附加和集成的功能的处理,中央接口/中央装置可以连接到所述中央处理装置。
如上所述,输入装置和输出装置之间的连接以及处理装置与输入和/或输出装置之间的连接可以是有线的或无线的。在一些实施例中,系统可以包括用于输入、输出、分布式处理和/或通信/接口/中央装置的连接的有线和无线连接。图8中示出了使用有线和无线连接的系统的示例。
具体地,图8示出了包括连接到混合输入/输出装置713的相应端口的输入装置207和输出装置406的网络配置的示例,该混合输入/输出装置713包括显示器104和用户输入元件105。输入/输出装置713又通过其连接器208连接到中央接口/中央装置209的端口312中之一。图8还包括可无线连接的输入装置807、以及既可无线连接又可有线连接的混合输入/输出装置813。为此,混合装置813包括用于接收可有线连接装置的连接器的端口312、和用于与其他电子装置建立无线连接的无线通信接口,例如收发器(未示出)。混合装置还包括显示器104和另外的用户输入元件105。
输入装置807也是可无线连接的装置,并且包括无线通信接口,例如,收发器(未示出),用于与其他电子装置建立无线连接。输入装置807还包括按钮815或其他用户可激活的输入,其允许用户配置电子装置的网络和/或使输入装置807处于不同的操作模式,例如,连接模式和未连接模式,非激活模式和/或激活模式。输入装置807还包括诸如多色光源这样的连接指示器814,其可操作为向用户提供关于输入装置的操作模式和/或连接状态的可见反馈。应当理解,用户界面可以包括额外的用户界面元件,例如,用于控制电子装置的其他功能。因此,用户可以使用输入装置807的按钮815和装置813的用户输入元件105来建立装置813和807之间和/或与其他电子装置之间的无线连接。在图8的示例中,电子装置807和813也无线地连接到混合输入/输出装置713,以便形成包括装置807、813和713的无线网络,如图8中的虚线所示。为此,电子装置713也包括无线通信接口,例如,收发器(未示出),用于与其他电子装置建立无线连接。显示器和/或用户输入元件105可以操作为便于经用户控制地建立与其他电子装置的无线连接。
最后,在图8的例子中,中央装置209也包括无线通信接口,例如,收发器(未示出),用于与其他电子装置建立无线连接,以及包括针对装置807所述的按钮815和连接指示器814。因此,中央装置209也可以无线连接到其他电子装置(例如,具有显示器的处理装置),尽管在图8所示的网络配置的示例中,装置209目前未被无线连接而是仅具有到装置713的有线连接。然而,可以理解,可以提供多个备选网络配置,包括但不限于:仅包括无线连接的配置,仅包括有线连接的配置,包括有线和无线连接的配置。
图9示出了包括有线和无线连接的混合系统的另一示例。图9的系统包括处理装置916,例如平板计算机或其他手持或固定计算装置,包括显示器904,例如显示器904(例如触摸屏),用于提供图形用户界面。处理装置916无线连接到输出装置906、输入装置807和接口/中央装置209。中央装置209包括端口312,用于经由它们各自的连接器提供与有线输出装置206和有线输入装置207的有线连接。因此,中央装置209在无线连接的处理装置916和有线连接的装置206、207每一个之间提供通信接口。集线装置209还可以在有线连接装置之间提供通信接口,例如在输入装置207和输出装置206之间,以便允许输入装置207向输出装置206中之一发出控制命令。图9的例子的处理装置916不具有直接的有线连接,但是应当理解,除了或代替无线通信接口,处理装置的替代实施例可以包括有线通信接口,例如,端口。
在有线、无线或混合的有线/无线系统中存在的电子装置可以包括指示,使得其在系统中的存在可以由其他电子装置(例如,处理装置)和/或其他输入和/或输出装置识别。因此,当具有显示器的处理装置或其他电子装置检测到另一电子装置的存在时,可以在显示器上显示表示被检测装置的用户界面元件。对存在的检测可以包括有线连接装置的检测,在通信范围内的可无线连接装置的检测、和/或无线连接刚被建立的可无线连接装置的检测。这可包括本身没有输入/输出功能但为系统提供接口或处理的装置。在显示器上表示的装置可以(或可以不)被组织协调以使得能表现出它们是如何连接的(即:经由中央装置),如图10的示例所示。
具体地,图10示出了与图9的系统类似的系统,包括处理装置916,例如平板计算机或其他手持或固定计算装置,其包括显示器904,例如触摸屏,用于提供图形用户界面。图10的处理装置还包括诸如按钮等的额外输入元件105。处理装置916无线连接到输入装置807和接口/中央装置209。中央装置209与有线输出装置206和有线输入装置207有线连接,全部如针对图2所述的。当处理装置916已经检测到无线输入装置807和中央装置290的存在,包括连接到中央装置的有线装置206和207的存在时,处理装置916显示无线输入装置807的用户界面元件1027、代表中央装置209的用户界面元件1019、代表有线输入装置207的用户界面元件1017、和代表有线输出装置206的用户界面元件1016。应当理解,图形用户界面元件可以具有各种形状、尺寸和外观。例如,它们可以被表示为如图10的示例中的图标。在图10的示例中,用户界面元件1017和1016被显示在用户界面元件1019的区域内,以指示装置206和207经由中央装置209连接。然而,应当理解,这样的指示可以以多种不同的方式提供或被省略。
诸如输入装置、输出装置或混合装置这样的电子装置可以以许多不同的方式用图表示,如图11所示,作为输出装置206的示例,在本例中为电动机。图11示出了可以用于表示电动机206的多个替代用户界面元件1016。通常,电子装置的图形表示的示例包括但不限于:实体装置的实际表示(例如图示或照片效果),可省略装置实体细节的样式化表示,装置的实际功能的展示/表示(例如:表示电动机的转动运动),装置的文本名称,装置的颜色或数字ID,这些表示方式中的两个或多个的组合等。
除了在显示环境中可选择和可移动之外,图形用户界面元件可以是无源元件或有源元件,其可以操作为接收用户输入或提供变化的输出,诸如作为用于输出的控制界面和/或用于当前输出状态的指示。用户输入可以是图形用户界面元件的激活或图形用户界面元件的用户操纵的其他形式。例如,表示所连接装置的用户界面元件可以包括所连接装置的当前功能状态的表示,例如输入装置的电流传感器输入的表示。
图12示出了活动用户界面元件的示例,其代表和/或允许所检测到的电子装置的当前功能状态的用户控制。具体地,图12示出了输入装置207的示例,例如距离传感器,其中相应的用户界面元件1017显示了当前传感器输入的表示。这种表示可以通过图形方式或以其他合适的方式构成。
类似地,所述表示可以包括提供装置的功能性的用户界面控制元件,该用户界面控制元件可通过用户激活控制元件而受到用户的控制。具体地,图12示出了输出装置206的示例,例如电动机,其中相应的用户界面元件1016包括用于控制所表示的电动机206的速度的用户可操纵速度控制图形元件。应当理解,用户界面控制元件可以具有各种形式和形状,例如作为按钮,滑块,旋钮等。可以通过触摸屏幕或通过处理装置的额外用户输入而直接控制用户界面控制元件,例如图10的处理装置的用户输入105。图12示出了用户界面元件(1017)可以包括输出和/或额外用户界面的当前状态的表示,使得可以在用户界面元件(1016)上进行控制设置。
电子装置可以具有与诸如端口这样的物理连接点相关联的标签或设计细节。这些标签的表示也可以用在显示器中,并且提供与所表示的装置的图形化关联。这些标签的表示也可以布置在显示屏上,使得它们的相对位置与实际连接点的相对位置有关。图13示出了电子装置1316的示例,例如处理装置。该装置包括显示器1304和用于接收可有线连接电子装置的连接器的连接端口312。在这个例子中,这两个端口被标记,并且显示器在与相应端口的实体位置相邻的位置显示对应的标签。
所连接装置的表示可以位于显示器内,使得它们的位置反映其实际实体连接位置,如图14A-C所示。
图14A示出了包括显示器904并且具有沿着显示器的周边的连接端口的处理装置916。在图14A的示例中,所连接装置的表示被显示在显示区域内、且沿着与连接了相应装置的连接端口相邻的显示区域的周边。
图14B示出了处理装置916,其无线连接到多个有线连接装置连接到的中央装置209。如图14B所示,即使当显示该表示的装置被有线连接或者无线连接到包括实际连接点的另一装置时,实际连接点和显示器中的所述表示之间的空间关系仍然可以存在。
所连接装置的表示可以沿着显示器的周边或沿着显示器内的区域的周边放置,如图14C所示,其示出了与图14B类似的系统,但是具有不同的所连接装置的图形表示。在图14C中,图形表示仅位于显示区域的一部分内。例如,表示可以被限制为表示连接点的空间关系,并且不一定包括正确的缩放和/或排除所连接装置的宽度等。
具有显示器的处理装置的功能还可以将功能提供至整个系统,例如输入和/或输出功能;该功能可以在显示器中表示,类似于外部输入和/或输出装置的功能。处理装置的功能可以包括与显示器本身相关的功能。图15示出了具有用于提供图形用户界面的显示器904的处理装置916的示例。处理装置916示出了各种功能的图形表示,其可以包括以下的一个或多个:
-基于屏幕的用户界面控件1520的表示,其可以是触摸屏或可经额外的UI控制;
-各种格式的值的表示1521,包括实时数据的文本/图形表示等;
-在装置中隐藏功能的表示,所述装置例如罗盘1522;该表示可以包括这种功能的当前状态或值的表示。
控制输入(以下也简称为“输入”)和可控功能(以下也简称为“输出”),包括内部输入/输出、外部输入/输出(有线连接或无线连接的外部装置),可以被布置在显示器中,使得“输入”装置/功能和“输出”装置/功能被分组在相应的组中。这可以是列表格式,列表以不同的方式排序,例如在列表的顶部显示内部装置,或者通过与输入或输出类型相关的替代分层方案排序。类似地,用户界面输入和输出可以相应地进行分组,例如分别按照物理输入和输出而分组。
图16示出了这种分组的示例。具体地,图16示出了一系统,其与图10的系统的相似之处在于该系统包括处理装置916,例如,平板计算机或其他手持或固定计算装置,其包括显示器904(例如触摸屏),用于提供图形用户界面。图16的处理装置还包括诸如按钮等的额外输入元件105。处理装置916无线连接到输入装置807和接口/中央装置209。中央装置209与有线输出装置206和有线输入装置207进行有线连接,全部如针对图9和图10所述的。当处理装置916已经检测到无线输入装置807和中央装置290的存在、包括连接到中央装置的有线装置206和207的存在时,处理装置显示代表无线输入装置807的1027的用户界面元件,代表有线输入装置207的用户界面元件1017、和代表有线输出装置206的用户界面元件1016,全部如针对图10所述的。只显示了已发现的可用输入和输出装置/功能,通过不提供当前不相关的功能来改善用户体验。
图16的处理装置916还显示了表示处理装置916的内部输入功能的用户界面元件1637,诸如内部倾斜传感器、用户输入元件105和/或可以放置在图形用户界面内的图形用户界面控件。处理装置916还显示了表示处理装置916的内部输出功能的用户界面元件1626,诸如处理装置的声音发生器或可以放置在图形用户界面内的图形用户界面输出元件。
用户界面元件被分组为包括表示“输入”的元件的第一组,以及包括表示“输出”的元件的第二组1625。图形用户界面还包括允许用户放置所选择的用户元件的显示区域1623,如将在下面更详细描述的。应当理解,输入和输出元件的组可以以不同的方式排列,例如,在显示区域1623的顶部和/或底部;它们可以是永久可见的,或者它们可以选择性地以展开或缩回状态示出,例如仅在用户选择对应组时进行展开。
表示输入和输出的用户界面元件可由用户选择并定位在显示区域1623中,例如通过触摸屏界面或通过额外的界面元件。更改用户界面元件的位置会影响其表示;例如其尺寸和/或颜色可能改变。类似地,可以添加额外图形细节,包括具有生动用户界面功能的图形元件,如图17所示。
图17示出了图16的处理装置,但是其中一个表示1637已经由用户交互选择并且被定位在显示区域1623内作为用户界面元件1737。由于可以允许用户在显示区域1623内放置表示相同输入或输出的用户界面元件的多个实例,所以可选元件列表中的相应元件1637尚未被去除。然而,一些实施例可以对可选择的相同用户界面元件的实例数量加以限制。如图17所示,用户界面元件1737的形状与表示输入的可选择用户界面元件的列表1624中的相应元件1637不同。另外,用户界面元件1737具有关联的用户界面控制1747。类似地,表示输出的用户界面元件1626中的一个已被选择并被定位在显示区域1623内作为用户界面元件1726。如图17所示,用户界面元件1726的形状与可选输出用户界面元件的列表1624中的对应表示1626不同。另外,用户界面元件1726具有关联的用户界面输出1736。然而,应当理解,在替代实施例中,显示区域中的用户界面元件可以具有与相应列表中的对应表示相同的外观。
在图17的示例中,在显示器内定位所选择的用户界面元件可以修改用户界面元件的整体形状,使得表示输入的元件获得突出形式,而表示输出的元件获得凹入形式;突出形式和凹入形式相关联,使得输入元件的突出形式以图形方式配合到输出元件中的凹入形式。重新定位用户界面元件的行为可包括这样的效果:如果两个用户界面元件在显示区域中处于彼此之间在预定距离之内,则输入元件和输出元件跳到连接状态,其中突出形式和凹入形式被组合。应理解,输入和输出之间的连接可以以不同的方式以图形方式表示,例如通过不同的互连形状,通过诸如线或箭头这样的连接元件等。或者,连接可以不被视觉地指示,而是连接的建立可以例如通过跳转到对齐位置的元件表示。
图18示出了图17的处理装置,其中用户界面元件1737和1726位于连接状态。当以这种方式连接输入和输出用户界面元件时,为用户界面元件表示的装置/功能设置实际的功能关系。例如,控制元件1747的用户激活将使处理装置916向用户界面元件1726所表示的输出装置或输出功能发出相应的控制命令。
图19示出了图16的系统,其中多个用户界面元件已经被定位在显示区域1623内并彼此互连,以便建立相应的输入和输出之间的多个功能关系。
通过图19的示例中的用户界面元件的图形连接建立的输入/输出功能关系包括:
-在显示区域1623内布置用户界面元件1928,以使处理装置在用户界面滑块1747和外部电动机206之间建立功能关系;
-在显示区域1623内布置用户界面元件1929,以使处理装置在显示器104上建立传感装置207与显示了传感器值的显示元件1736之间的功能关系;
-在显示区域1623内布置用户界面元件1930,以使处理装置建立传感装置807和电动机206之间的功能关系。
以这种方式,建立了一种直观的用户界面方法,将装置与装置、以及用户界面元件与装置以普通和无缝的方式连接。这样建立的输入和输出的关系使得处理装置响应于从各个输入功能/输入装置(其相关联的用户界面元件以图形方式连接到代表输出的相应用户界面元件)接收到的输入而使得控制命令被发送到各个输出功能/输出装置。
用户界面元件可以包括用于将它们连接到其他用户界面元件的一个或多个连接点,从而实现由元件表示的功能/装置之间的功能关系。连接点可以对应于相同或替代的功能连接。例如,连接点可以位于图形用户界面元件的边界的相应部分处,并且可以从相应的方向(例如图20所示)连接。
图20A示出了用于单个连接的用户界面元件。
图20B示出了表示输入装置的用户界面元件2037,其中用户界面元件2037允许多个连接。
图20C示出了表示输出装置的用户界面元件2026,其中用户界面元件2026允许多个连接。
最后,图20D示出了分别表示输出和输入的用户界面元件2026和2037,其中用户界面元件允许多个连接。
除了将单个输入元件连接到输出元件之外,还可以使用如图20所示的多个连接区域,以提供连接多个输入和输出元件的装置,使得单个输入可以影响多个输出。
在图20B-D的示例中,多个连接可以表示相同的功能或不同的功能,例如倒置的功能关系。
当位于处理装置的显示区域内时,表示输入和输出的用户界面元件之间的接近度可能影响由用户界面元件表示的输入和输出之间的功能关系;具体说,接近度可能影响功能连接的程度或强度;在下文中,这种效果也被称为邻近效果。邻近效果可以用或可以不用图形方式表示。效果的图形表示也可以是临时的,使得仅当表示输入和输出的用户界面元件在预定的彼此接近度之内时才出现。类似地,实际的邻近效果可以是临时的,使得仅在表示输入和输出的用户界面元件最初彼此相邻定位(其各自的连接点彼此接触)并且随后重新定位成要断开它们时才呈现该图形和效果。实际断开可能需要重新定位超出预定的最大距离。元件与其连接点彼此接触的初始定位可使得处理装置在相应的输入和输出之间建立功能关系。随后将彼此以一定间隔重新定位可确定邻近效果的大小。
接近度可以控制输入和输出之间的联接的预定参数,例如,电动机被驱动的速度,所产生声音的音量或音调,所产生的光的强度或颜色等。这种接近度可以直接与传感器的功能有关或引入额外的控制效果。例如,传感器可影响电机速度,并且接近度可进一步降低速度控制水平。或者,传感器可以控制声音输出的音调,并且接近度可以控制音量。
图形和功能邻近效应可以限于表示输入的用户界面元件,表示输出的用户界面元件,或用于两者。
图21A示出了邻近效应的图形表示的示例。具体地,图21A示出了表示输入的用户界面元件2137,其相对于表示用户界面元件2137已经连接的输出的用户界面元件2126定位在一定距离的。用户界面元件2137周围的各个距离区域由用户界面元件2137周围的同心环2138表示。由元件2137表示的输入的激活导致由元件2126表示的电动机的激活,其中电动机被驱动的速度取决于元件2137和2126之间的距离。例如,电机速度可以被控制在不同的离散水平,这取决于元件2136的连接点2140连接到哪个环2138。应当理解,在其他示例中,表示输入的用户界面元件与表示输出的用户界面元件之间的距离可以影响用于控制输出的不同控制参数或者其自身就是控制参数。例如,控制参数可以逐步改变,这取决于元件2126定位在元件2137周围的哪个距离区域。
图21B示出了邻近效应的图形表示的另一示例。在该示例中,输入和输出之间的联接强度由连接器元件2139表示,连接器元件2139被示出为模拟被拉伸并变薄的橡胶带,元件彼此远离地移动。如在前面的例子中,元件之间的距离可以控制用于对输出装置的操作进行控制的控制参数的大小,例如,电动机运转的速度。在图121B的示例中,控制参数可以作为元件之间的距离的连续函数而变化。
可以通过将用户界面元件定位在另一个元件附近而建立功能关系,以便建立两个以上的用户界面元件之间的关系,例如图22所示。然后,多个元件可以以由相应彼此接近度表示的相应程度而影响彼此。在图22的示例中,表示相应输入的两个用户界面元件2137a和2137b分别与表示输出的用户界面元件2126相关。因此,通过用户界面元件2137a表示的输入的激活或者通过用户界面元件2137b的激活,可激活由用户界面元件2126表示的输出功能,但是根据它们与元件2126的连接点2140的相应距离以不同程度激活。在一些实施例中,如果两个输入被激活,则对输出功能的总体影响可以是由两个输入的相应距离加权的组合效果。
因此,根据图形接近度,多个用户界面元件可对彼此有功能上的影响。这可以例如允许输出值是两个或多个输入装置的相应部分的另一组合的总和或结果。
类似于具有多个连接点(其具有不同功能)的用户界面,这些差异点也可以包括邻近效应,如图23所示。图23示出了具有两个连接点的用户界面元件2137。用户界面元件2126-1和2126-2连接到相应的连接点,但是在相应的距离处。用户界面元件2137和/或用户界面元件2126-1和2126-2的两个连接点可以具有相同或不同的功能。
除了表示可以彼此连接的输入和输出的用户界面元件之外,还可以存在可以以图形方式放置在输入和输出表示之间并且影响其功能关系的额外用户界面元件。这种额外用户界面元件的示例包括用于反转的元件,用于设置传感器值以激活设定值的输出的元件,用于时间延迟元件等。
图24示出了图17的处理装置,但是具有允许用户选择额外用户界面元件的额外用户界面区域2441。在显示区域1623中,用户界面元件1737和1727被示出为通过从选择2441中选择的中间用户界面元件2440连接。中间用户界面元件在输入和输出元件之间的放置可以使得处理装置建立通过输入和输出元件表示的输入和输出之间的功能连接,但该功能连接被中间用户界面元件表示的功能修改或影响。
在一些实施例中,处理装置可以选择性地以不同的模式操作,例如,配置或编程模式,以及执行或控制模式。在配置模式中,处理装置可以提供显示环境和着眼于显示的相关功能,重新定位和以图形方式连接输入和输出表示,如在图16-24的示例中所述的。在执行模式中,处理装置可以提供额外的显示环境和相关功能,其仅显示由表示输入和输出功能的用户界面元件表示的功能和输入的用户界面控制和输出元件。在执行模式中,处理装置可操作为从连接到处理装置的输入装置和/或从内部输入接收控制输入信号,并向所连接的输出装置和/或内部输出发出控制命令。用于响应于哪个输入向哪个输出发出哪个控制命令的规则由在配置模式的显示区域内定位和相互连接的用户界面元件定义。
在执行模式中所显示的用户界面控制/输出元件可以重新定位和设置大小,而与其在配置视图中的位置无关。
图25A示出了图19的处理装置916,其处于针对图19所述的配置模式。图25B示出了处于执行/控制模式的处理装置。用户界面可以包括切换按钮2542或允许用户在不同模式之间切换的其他输入。
用户界面环境还可以为用户提供背景图像/图形的用户选择以及允许用户改变用户界面元件的设计表达并将文本/图形标签添加到用户界面元件的能力。这些图形元件可以被组织成使得用户可从多个“主题”选项中进行选择,“主题”包括背景图像,在用户界面环境中的所有用户界面元件的替代图形处理。
配置和控制/执行环境可以由用户保存,使得所选择的配置可以在稍后的时间被重新建立。这也可以使得能够共享所设置的配置,使得另一个用户可以在类似的装置上重新创建类似的配置。
图26A-B示出了电子装置示例的示意框图。
图26A示出了处理装置916的示例,其包括被配置为向其他电子装置提供无线连接的无线通信接口2607。无线连接可以用于交换数据,包括但不限于外部致动器的控制,传感器的读取,双向语音通信,用于图像再现的文本的信息等。处理装置还包括控制电路2606、用户界面2601和可选的一个或多个内部装置2603,诸如用于实现一组或多组本地功能的一个或多个功能装置和/或用于接收相应的传感器输入的一个或多个传感器。控制电路2606可以是可操作地连接到用户接口、无线通信接口和内部装置(一个或多个)的微控制器、微处理器或其他合适的处理单元。无线通信接口可以包括连接到控制电路并且可操作用于与其他电子装置进行射频通信的传送器。收发器可以可操作为在合适的频带内发射和接收射频信号,例如,在用于短距离通信技术的其中一个ISM频段内。事实上,射频通信可以利用任何合适的通信技术来传送,诸如蓝牙、IEEE 802.15.4、IEEE 802.11、ZigBee、Wifi等的数据。然而,应当理解,可以使用其他通信技术,包括基于光的技术,例如红外光或其他无线技术。
处理装置还可以包括用于向控制电路、功能装置、用户接口和通信接口提供电力的电池或其它合适的电源。处理装置还包括容纳控制电路、通信接口以及可选的内部功能装置和/或传感器的壳体。处理装置还可以包括一个或多个接口2604,例如I/O端口,用于提供与诸如外部传感器或功能装置的其他装置的有线连接。
用户界面2601包括图形用户界面,其可操作为提供允许用户配置电子装置的网络并且在本文描述的输入和输出功能之间建立功能关系的功能。应当理解,用户界面可以包括额外的用户界面元件,例如,用于控制处理装置或外部装置的其他功能。
在一些实施例中,在激活处理装置时,处理装置的控制电路可以激活处理装置的收发器,并且检测任何其他兼容的电子装置是否在处理装置的通信范围内。为此,可以使用许多合适的检测机构。例如,每个电子装置可以在被激活的情况下周期性地广播识别信号,例如包括诸如其操作模式(例如“连接”,“未连接”等)的信息的标识消息、装置ID和/或类型标识符,例如识别电子装置是输出电子装置还是输入电子装置,或者甚至其包括哪种类型的功能/控制元件,即哪种功能装置或传感器。
处理装置916的用户然后可以启动无线连接的建立,并且配置检测到的装置之间和/或处理装置的内部功能之间的功能关系,如本文所述。
图26B示出了输入和/或输出装置2660的示例。图26B的装置可以类似于图26A的处理装置,其包括通信接口2607、控制电路2606和一个或多个内部装置2603,诸如用于实现一组或多组本地功能的一个或多个功能装置和/或用于接收相应传感器输入的一个或多个传感器,全部如针对图26A所述。装置2660还可以包括以下中的一个或多个:电池或其他能量源、用户界面(例如,用于与其他装置建立无线连接)、一个用于有线连接的I/O端口。
图27A-C示出了玩具构造元件的示例。具体而言,图27A示出了在其顶表面上具有联接柱和从底部延伸到玩具块中的空腔的玩具构造元件。空腔具有中心管,并且另一个玩具块上的连接柱可以以如US 3 005282中公开的摩擦接合方式容纳在空腔中。图27B-C示出了其他现有技术的构造元件。先前图中所示的电子装置可以是具有协作柱和空腔形式的已知类型的联接构件的交互式构造元件。然而,除了柱和空腔之外,也可以使用其它类型的联接构件。联接柱被布置在方形平面格栅中,即限定了连接柱的顺序排列的正交方向。相邻连接柱之间的距离是均匀的,在两个方向上相等。在限定规则平面格栅的联接位置处的联接构件的这种或类似布置允许玩具构造元件相对于彼此以离散数量的位置和取向相互连接,特别是相对于彼此成直角。
本文描述的电子装置的控制电路的实施例可以通过包括若干不同元件的硬件来实现和/或至少部分地通过适当编程的微处理器来实现。
在列举了若干方法的权利要求中,这些装置中的几个可以由同一个元件、组件或硬件实现。某些措施在相互不同的从属权利要求中记载或在不同实施例中描述这一事实并不表示不能有利地使用这些措施的组合。
应当强调的是,当在本说明书中使用时,术语“包括/包含”用于指定所述特征、元件、步骤或组件的存在,但不排除存在或添加一个或多个其它特征、元件、步骤、部件或组合。
Claims (8)
1.一种通过处理装置建立控制输入和可控功能之间的功能关系的方法,所述方法包括,通过所述处理装置:
-提供包括显示区域的图形用户界面;
-将第一用户界面元件定位在所述显示区域内的第一位置,所述第一用户界面元件表示控制输入;
-将第二用户界面元件定位在所述显示区域内的第二位置、与所述第一用户界面元件相距一距离;所述第二用户界面元件表示所述电子装置的可控功能;
-响应于所述控制输入,发出用于控制可控功能的控制命令;
其中所述控制命令是第一和第二位置相对于彼此的函数。
2.根据权利要求1所述的方法,其中,所述控制命令可以表示控制所述可控功能的属性的控制参数,并且所述控制参数的值可以随着相对位置的变化而变化。
3.根据前述权利要求中任一项所述的方法,其中,所述控制命令是第一和第二位置之间的距离的函数。
4.根据前述权利要求中任一项所述的方法,其中定位第一和/或第二用户界面元件包括:接收指示所述控制输入和所述可控功能之间的功能连接的用户输入,以及提供第一和第二用户界面元件在功能上彼此连接的指示。
5.根据权利要求4所述的方法,其中,定位第一和第二用户界面元件包括:
-首先将第一和第二用户界面元件以彼此之间的预定初始空间关系定位;
-响应于第一和第二用户界面元件以彼此之间的预定初始空间关系被定位,建立所述控制输入和所述可控功能之间的功能关系;和
-重新定位第一和第二用户界面元件中的至少一个,使得第一用户界面元件位于第一位置、第二用户界面元件位于与第一位置相距一距离的第二位置。
6.一种处理装置,其被配置为执行根据权利要求1至5中任一项所述的方法的步骤。
7.一种系统,包括如权利要求6所述的处理装置、一个或多个输出装置、和/或一个或多个输入装置,所述一个或多个输出装置能与所述处理装置通信地连接并且能操作为响应于所接收的控制命令而执行所述可控功能,所述一个或多个输入装置能与所述处理装置通信地连接并且可操作为检测控制输入。
8.一种包括程序代码装置的计算机程序产品,当在处理装置上运行时,所述程序代码装置适于执行如权利要求1至5中任一项所述的方法的步骤。
至少配置为执行根据权利要求1至5中任一项所述的方法的步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DKPA201470558 | 2014-09-10 | ||
DKPA201470558 | 2014-09-10 | ||
PCT/EP2015/070378 WO2016037978A1 (en) | 2014-09-10 | 2015-09-07 | A method for establishing a functional relationship between input and output functions |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107077354A true CN107077354A (zh) | 2017-08-18 |
CN107077354B CN107077354B (zh) | 2021-07-20 |
Family
ID=59033722
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580060864.5A Active CN107077354B (zh) | 2014-09-10 | 2015-09-07 | 建立输入功能与输出功能之间的功能关系的方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11262899B2 (zh) |
EP (1) | EP3191940B1 (zh) |
CN (1) | CN107077354B (zh) |
DK (1) | DK3191940T3 (zh) |
WO (1) | WO2016037978A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11845014B2 (en) * | 2017-03-03 | 2023-12-19 | Lego A/S | Interactive modular construction element and a modular construction system with interactive modular construction elements |
US11645046B2 (en) * | 2017-07-03 | 2023-05-09 | Unqork, Inc. | Systems and methods for development and deployment of software platforms having advanced workflow and event processing components |
US10894342B2 (en) | 2018-03-29 | 2021-01-19 | Kraft Foods Group Brands Llc | System and method for molding comestible building blocks |
USD844394S1 (en) | 2018-03-29 | 2019-04-02 | Kraft Foods Group Brands Llc | Mold |
US11029805B2 (en) | 2019-07-10 | 2021-06-08 | Magic Leap, Inc. | Real-time preview of connectable objects in a physically-modeled virtual space |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1904823A (zh) * | 2005-07-25 | 2007-01-31 | 腾讯科技(深圳)有限公司 | 一种多界面显示方法 |
CN101583921A (zh) * | 2006-12-01 | 2009-11-18 | Lg电子株式会社 | 输入命令的装置和方法,显示媒体信号的用户界面的方法及其实现装置,处理混合信号的装置及其方法 |
US20090322755A1 (en) * | 2008-06-26 | 2009-12-31 | Microsoft Corporation | Declarative approach for visuzliation |
US20100185681A1 (en) * | 2009-01-19 | 2010-07-22 | Samsung Electronics Co., Ltd | Display infromation controling apparatus and method |
US20110058662A1 (en) * | 2009-09-08 | 2011-03-10 | Nortel Networks Limited | Method and system for aurally positioning voice signals in a contact center environment |
CN102436345A (zh) * | 2011-10-31 | 2012-05-02 | 广州市动景计算机科技有限公司 | 一种移动设备界面操作控制的方法及实现装置 |
US20120304093A1 (en) * | 2011-05-26 | 2012-11-29 | Boldai AB | Method and apparatus for providing graphical interfaces for declarative specifications |
CN102982128A (zh) * | 2011-11-15 | 2013-03-20 | 微软公司 | 搜索计算机应用的扩展菜单以及配置 |
US20130227473A1 (en) * | 2010-09-15 | 2013-08-29 | Maurizio Corvo | Graphical user interface |
US20140040792A1 (en) * | 2012-08-03 | 2014-02-06 | National Instruments Corporation | Physics Based Graphical Program Editor |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6307574B1 (en) | 1995-05-08 | 2001-10-23 | Apple Computer, Inc. | Graphical user interface with hierarchical structure for customizable menus and control objects |
KR100224379B1 (ko) | 1997-05-29 | 1999-10-15 | 박호군 | 공정 제어 알고리즘 생성 방법 |
EP1033863A1 (en) | 1999-03-01 | 2000-09-06 | Alcatel | System for partly adding a party to a conference call |
US20060226298A1 (en) * | 2005-03-30 | 2006-10-12 | Lionel L.L.C. | Graphical method and system for model vehicle and accessory control |
US9785329B2 (en) | 2005-05-23 | 2017-10-10 | Nokia Technologies Oy | Pocket computer and associated methods |
US8020102B2 (en) * | 2005-08-11 | 2011-09-13 | Enhanced Personal Audiovisual Technology, Llc | System and method of adjusting audiovisual content to improve hearing |
JP4675856B2 (ja) | 2006-07-25 | 2011-04-27 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置、ユーザインタフェース方法及びプログラム |
US7711861B2 (en) | 2006-08-30 | 2010-05-04 | Microsoft Corporation | Synchronized indicator light for secure connections |
JP4130846B2 (ja) | 2006-11-15 | 2008-08-06 | 松下電器産業株式会社 | 操作支援装置および操作支援方法 |
US7747223B2 (en) | 2007-03-29 | 2010-06-29 | Research In Motion Limited | Method, system and mobile device for prioritizing a discovered device list |
EP2918320B1 (en) | 2007-10-11 | 2016-12-21 | Lego A/S | A toy construction system |
JP5063290B2 (ja) | 2007-10-18 | 2012-10-31 | キヤノン株式会社 | 無線通信システム及び当該無線通信システムの制御方法 |
WO2009105115A2 (en) | 2008-02-22 | 2009-08-27 | T-Mobile Usa, Inc. | Data exchange initiated by tapping devices |
EP2169492B1 (de) | 2008-09-29 | 2012-04-11 | Siemens Aktiengesellschaft | Betriebsverfahren für eine Steuereinrichtung einer Maschine |
US8405502B2 (en) | 2009-06-10 | 2013-03-26 | Qualcomm Incorporated | Identification and connectivity gateway wristband for hospital and medical applications |
US8260261B2 (en) | 2009-08-31 | 2012-09-04 | Qualcomm Incorporated | Securing pairing verification of devices with minimal user interfaces |
TW201117063A (en) | 2009-11-13 | 2011-05-16 | Novatek Microelectronics Corp | Control method, control device and electronic apparatus |
US8620282B2 (en) | 2010-04-23 | 2013-12-31 | Blackberry Limited | In-call, audible call waiting |
US9961182B2 (en) | 2010-09-23 | 2018-05-01 | Blackberry Limited | Communications system providing data transfer using selective wireless communications formats and related methods |
US8797284B2 (en) | 2011-01-05 | 2014-08-05 | Motorola Mobility Llc | User interface and method for locating an interactive element associated with a touch sensitive interface |
KR101863564B1 (ko) | 2011-08-18 | 2018-06-04 | 삼성전자주식회사 | 와이파이 다이렉트 연결 설정 시 그룹 오너를 결정하기 위한 장치 및 방법 |
EP2611125A1 (en) | 2011-12-29 | 2013-07-03 | Gemalto SA | Method and terminal for communicating data with a wireless device |
EP3553690B8 (en) | 2012-03-02 | 2021-12-08 | F. Hoffmann-La Roche AG | Determination of a terminal's position for displaying a gui element |
US20140035607A1 (en) | 2012-08-03 | 2014-02-06 | Fluke Corporation | Handheld Devices, Systems, and Methods for Measuring Parameters |
EP2720444A1 (en) | 2012-10-10 | 2014-04-16 | BlackBerry Limited | Mobile wireless communications device providing security features based upon wearable near field communication "NFC" device |
GB2519898A (en) | 2013-03-13 | 2015-05-06 | Acco Brands Corp | Proximity tag for vehicles |
JP6048321B2 (ja) | 2013-06-07 | 2016-12-21 | 富士ゼロックス株式会社 | 自走式作業装置及びプログラム |
CN103476145B (zh) | 2013-07-24 | 2017-11-03 | 深圳Tcl新技术有限公司 | 无线网络连接处理方法及装置 |
KR102304979B1 (ko) | 2014-06-19 | 2021-09-27 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서 페어링 방법 |
-
2015
- 2015-09-07 EP EP15759805.3A patent/EP3191940B1/en active Active
- 2015-09-07 DK DK15759805.3T patent/DK3191940T3/da active
- 2015-09-07 WO PCT/EP2015/070378 patent/WO2016037978A1/en active Application Filing
- 2015-09-07 US US15/509,648 patent/US11262899B2/en active Active
- 2015-09-07 CN CN201580060864.5A patent/CN107077354B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1904823A (zh) * | 2005-07-25 | 2007-01-31 | 腾讯科技(深圳)有限公司 | 一种多界面显示方法 |
CN101583921A (zh) * | 2006-12-01 | 2009-11-18 | Lg电子株式会社 | 输入命令的装置和方法,显示媒体信号的用户界面的方法及其实现装置,处理混合信号的装置及其方法 |
US20090322755A1 (en) * | 2008-06-26 | 2009-12-31 | Microsoft Corporation | Declarative approach for visuzliation |
US20100185681A1 (en) * | 2009-01-19 | 2010-07-22 | Samsung Electronics Co., Ltd | Display infromation controling apparatus and method |
US20110058662A1 (en) * | 2009-09-08 | 2011-03-10 | Nortel Networks Limited | Method and system for aurally positioning voice signals in a contact center environment |
US20130227473A1 (en) * | 2010-09-15 | 2013-08-29 | Maurizio Corvo | Graphical user interface |
US20120304093A1 (en) * | 2011-05-26 | 2012-11-29 | Boldai AB | Method and apparatus for providing graphical interfaces for declarative specifications |
CN102436345A (zh) * | 2011-10-31 | 2012-05-02 | 广州市动景计算机科技有限公司 | 一种移动设备界面操作控制的方法及实现装置 |
CN102982128A (zh) * | 2011-11-15 | 2013-03-20 | 微软公司 | 搜索计算机应用的扩展菜单以及配置 |
US20140040792A1 (en) * | 2012-08-03 | 2014-02-06 | National Instruments Corporation | Physics Based Graphical Program Editor |
Also Published As
Publication number | Publication date |
---|---|
EP3191940A1 (en) | 2017-07-19 |
US11262899B2 (en) | 2022-03-01 |
CN107077354B (zh) | 2021-07-20 |
US20170242574A1 (en) | 2017-08-24 |
WO2016037978A1 (en) | 2016-03-17 |
EP3191940B1 (en) | 2019-11-06 |
DK3191940T3 (da) | 2020-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107077354A (zh) | 建立输入功能与输出功能之间的功能关系的方法 | |
CN107079252B (zh) | 用于在电子装置之间建立无线连接的方法 | |
CN106457055B (zh) | 具有功能构建单元的玩具构建系统 | |
JP5563464B2 (ja) | 玩具構築システム | |
GB2533314A (en) | Modular robotic system | |
KR101189602B1 (ko) | 캐릭터모형을 가지는 음원출력장치 | |
CN110536729B (zh) | 交互式模块化构造元件及具有交互式模块化构造元件的模块化构造系统 | |
WO2022023506A1 (en) | Input device | |
US10387170B1 (en) | User programmable building kit | |
KR102719843B1 (ko) | 기능 구축 요소를 갖는 완구 구축 시스템 | |
KR20240152975A (ko) | 기능 구축 요소를 갖는 완구 구축 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |