CN105324748A - 用于控制软件应用的用户界面 - Google Patents

用于控制软件应用的用户界面 Download PDF

Info

Publication number
CN105324748A
CN105324748A CN201480029693.5A CN201480029693A CN105324748A CN 105324748 A CN105324748 A CN 105324748A CN 201480029693 A CN201480029693 A CN 201480029693A CN 105324748 A CN105324748 A CN 105324748A
Authority
CN
China
Prior art keywords
user
function
touch control
user interface
layout
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480029693.5A
Other languages
English (en)
Inventor
帝诺·费白克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fairlight AU Pty Ltd
Original Assignee
Fairlight AU Pty Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2013901815A external-priority patent/AU2013901815A0/en
Application filed by Fairlight AU Pty Ltd filed Critical Fairlight AU Pty Ltd
Publication of CN105324748A publication Critical patent/CN105324748A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/039—Accessories therefor, e.g. mouse pads
    • G06F3/0393—Accessories for touch pads or touch screens, e.g. mechanical guides added to touch screens for drawing straight lines, hard keys overlaying touch screens or touch pads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

一种装置，其被构造为用于控制软件应用的用户界面，该装置包括：显示屏；触控元件阵列；遮盖元件，其被构造成遮隐显示屏的至少一部分并露出至少一个显示区域，其中一个显示区域用于显示至少一个触控元件的当前功能；编译器，其响应用户发起事件来执行分配给该用户发起事件的一个或多个软件应用的功能；其中，用户发起事件包括启动触控元件来执行显示在显示区域上的触控元件的当前功能，其中，图形用户界面应用被配置成使得用户能够分配一个或多个软件应用的功能给用户发起事件并安排分配给该装置的一个或多个触控元件的预定功能布局。

Description

用于控制软件应用的用户界面
技术领域
本发明涉及用于控制软件应用的用户界面。本发明具有众多可能的用途，尤其适用于媒体制作领域，包括音频、视频、电影和多媒体制作。其特别适合的制作任务诸如有编辑、合成、效果处理、格式转换、输送用于对这些媒体的内容进行数字化处理的数据，但是其并不限于这些用途。
背景技术
计算机如今可快速地提供彩色图形和设计精美的图形用户界面，该图形用户界面主要通过鼠标、键盘或其他周边设备来驱动。然而，鼠标界面虽然容易学，其速度却最终受到有关具体命令所需的手眼运动量的限制。其很适合偶尔或临时的使用，但是对于专业的使用，其很容易被专门的硬件界面胜出，在所述硬件界面上，使用者的手学习动作顺序，以将意识思维腾出来集中到当前任务的内容上。真正的“盲打”操作的实现只能通过将功能布置于使用者的手的接触范围内。例如，音乐家在不看键盘或指板时通常演奏得更好。
触摸屏能够根据内容改变功能和外观，这已经成了非常成功的模式，尤其是在智能手机和销售点应用上。然而，触摸屏不能单独适用于复杂的高产量场合。例如在复杂的视听制作环境中，当操作者需要专注于视频片段、配音或诸如控制杆、增益调节器、或旋钮的其他控制元件时，结合了身体“感觉”的界面可增强工作速度。触摸屏缺少触觉反应，从而没有物理反馈。
尽管固定键控制器上的按钮可提供即时的触觉反应，但是在需要大量的功能情况下，所得到的控制器的占地范围却难以实现。一组键盘快捷键和/或编辑器(临时改变一些键的功能)可被结合至固定键控制器，以增加更多的功能至更小的占地范围，但是通常操作人员只能学会小部分快捷键，因为他们的可用学习时间是有限的。
因此，随着功能的增加，尤其在复杂的高产量场合，仍然需要提供改进的用于控制软件应用的用户界面。
本发明的目的在于充分地克服或者至少改善现有技术的一个或多个缺点。
发明内容
在一个方面，本发明提供一种装置，该装置被构造为用于控制软件应用的用户界面，该装置包括：
显示屏；
触控元件阵列；
遮盖元件，其被构造成遮隐显示屏的至少一部分并露出至少一个显示区域，其中一个显示区域用于显示至少一个触控元件的当前功能(function)；和
编译器，其响应用户发起事件来执行分配给该用户发起事件的一个或多个软件应用的功能，其中，用户发起事件包括启动触控元件来执行显示在显示区域上的触控元件的当前功能，
其中，图形用户界面应用被配置成使得用户能够分配一个或多个软件应用的功能给用户发起事件并安排分配给该装置的一个或多个触控元件的预定功能布局。
在另一个方面，本发明提供一种装置，其被构造为用户界面，该装置包括：
显示屏；
触控元件阵列；
至少一个布局控制元件
遮盖元件，其被构造成遮隐显示屏的至少一部分并露出至少一个显示区域，其中至少一个显示区域用于显示至少一个触控元件的当前功能；和
编译器，其响应用户发起事件来执行分配给该用户发起事件的一个或多个软件应用的功能，其中，用户发起事件包括启动触控元件来执行显示在显示区域上的触控元件的当前功能，
编译器，其可对用户激活布局控制元件进行响应，并且被构造为使得信息被显示在至少一个显示区域中，包括显示对应于一个或多个触控元件的当前功能的信息；
其中，图形用户界面应用被配置成使得用户能够分配一个或多个软件应用的功能给用户发起事件并安排分配给该装置的一个或多个触控元件的预定功能布局，并且布局控制元件的激活在分配给一个或多个触控元件的多个预定功能布局之间变化。
在又一个方面，本发明提供了一种用于控制软件应用的用户界面系统，该系统包括：
图形用户界面应用，其被配置为使用户能将一个或多个软件应用的功能分配给用户发起事件；
编译器，其响应用户发起事件来执行分配给该用户发起事件的一个或多个软件应用的功能；
其中，所述用户发起事件包括触控元件的启动、速度指令、二维动作、三维动作中的一个或多个。
在又一个方面，本发明提供了一种用于控制软件应用的用户界面系统，该系统包括：
显示屏；
至少一个布局控制元件；和
图形用户界面应用，其被配置为使用户能将一个或多个软件应用的功能分配至用户发起事件；
编译器，其响应用户发起事件执行分配给该用户发起事件的一个或多个软件应用的功能；
编译器，其可对用户激活布局控制元件进行响应，并且被构造为使得信息被显示在显示屏中，包括显示对应于一个或多个用户发起事件的当前功能的信息；
其中，所述用户发起事件包括启动触控元件、速度指令、二维动作、三维动作中的一个或多个，并且布局控制元件的激活在分配给一个或多个用户发起事件的多个预定功能布局之间变化。
在任何一个以下方面的配置中，触控元件可以是包括透明盖的开关。显示区域可通过所述透明盖看见以显示该开关的当前功能。传像管可被布置在所述显示器和所述透明盖之间。所述传像管包括在一端与所述显示区域固定接触的多根平行光纤。
触控元件可以是旋钮。该旋钮被配置为操纵显示在显示区域上的信息。优选地，所述遮盖元件包括保护性产品表面。
所述图形用户界面应用被配置为允许对被分配至所述用户发起事件的一个或多个软件应用的功能进行拖放编辑，包括分配给装置的一个或多个触控元件的功能布局。
附图说明
现将参照附图描述本发明的优选实施例，其中：
图1涉及根据本发明的实施例的用户界面的高级别操作；
图2是示出了根据本发明的实施例的多个功能布局背后的概念的简化流程图；
图3a-3c示出了适合使用于本发明的实施例的硬件控制表面的实例；
图4是图形用户界面应用的截屏，该应用被配置为使得用户能够安排被分配至根据本发明的实施例的装置的一个或多个触控元件的预定功能布局。
图5是适合使用于本发明的实施例的例示性编译器；
图6是传像管的示意图，该传像管包括在一端与显示区域固定接触的多条平行光纤；
图7是包括透明盖的开关机构的简图；
图8是控制器的局部视图，其示出了在下部按键上的编辑模式、英文键盘、日文键盘的三个布局。
具体实施方式
本发明的实施例可实现对运行于个人计算机、Mac或Linux操作系统上的软件应用的控制和通过内置的协议和命令集(包括RS-422,MIDI,ASCII,Ethernet,HU1等)进行通信。该方案可以是可识别应用的，因此能够几乎即时地在不同的软件应用之间变换焦点，或者在尚未激活时启动它们。该方案还可是可识别语言的，使得其能够选择适于使用运行该软件应用的硬件的当前语言来工作的合适图形符号和布局。
在优选的实施例中，软件脚本与硬件界面的强力组合可实现与软件应用的复杂的相互作用，并精确地将所得到的变化返回至硬件显示器。
参照图1，其中示出了根据本发明的实施例的用户界面的高级别操作；
1：事件(由用户发起)
使用者的触觉操作，比如转动旋钮、开启开关、移动调节器。
使用者对着麦克风的语言命令，例如在混合多轨道音频时，使用者可以发出诸如以下言语命令：
-“播放”(从当前位置播放)
-“再次播放”(从上一个开始位置再次播放)
-“停止”
-“播放全部”(重头播放音轨)
-“调出人声”(使具有人声的频道成为焦点)。
二维动作，例如，三个手指从右到左划过触摸屏进行删除。
三维动作，例如：
-伸手抓握(握拳，接入三维动作控制)
-朝三维方向移动手以操纵虚拟对象
-转动、翘起、摆动手以进行高级操纵
-伸手张开(打开拳头，断开三维动作控制)
2：事件分析
基于前面的例子，开启或关闭开关、旋钮转动速度和/或量、触碰调节器；
字典引擎，用于分析语音命令。参见例如微软语音应用程序编程接口(SAPI)5.4((http://msdn.microsoft.com/en-us/library/ee125663(v＝vs.85).aspx，最近登陆时间为2014年5月21日)，或者DragonNaturallySpeaking软件开发套件(SDK)(http://www.nuance.com/for-developers/dragon/dex.htm,最近登陆时间为2014年5月21日)。
动作引擎，用于分析二维和/或三维的动作。参见例如SkeletalSDK(https://developer.leapmotion.com/，最近登录时间为2014年5月21日)。
3：编译器
施用逻辑，根据事件参数并取决于该应用中的主要条件来确定动作顺序。该逻辑通过使用脚本语言或类似方式实施的算法来施用。
4：动作
动作通过连接至脚本语言的应用程序编程接口(API)被传送至软件应用。
5：信息
软件应用通过API将参数变化传送至编译器。
6：编译器
施用逻辑，以确定信息将如何显示在物理界面上。该逻辑通过使用脚本语言或类似方式实施的算法来施用。
7：提示(tally)
例如，开灯、调节器移动、屏幕更新、开关标签变化、文本至语音(TTS)以可听见的方式通过扬声器传送反馈。
如上所示的高级别交互要求产品数据库信息同时在推送和拉动的模式下进行通信。在一个或两个模式不受支持的一些情况下，本发明的方案具有选项，以能使用任何设置来完成最大的可能。
如果，例如，信息没有从应用被推回，应用的参数设置的数据库可与该应用无关地被保持，并基于已知的开始位置和其所产生的变化被更新。如果根据本发明的用户界面是应用的唯一控制器，这将很有效。在这种情况下，上述示例中的步骤1-3、6-7可被执行。
本发明可在甚至更低的级别下操作，此时的应用界面并不很完善。
例如，产品可使用一组键盘快捷键来增加工作速度。通常，操作人员只学会了小部分快捷键，因为他们的可用学习时间有限。在该情况下，可以没有提示，因为键盘快捷键界面是单向的。在该情况下，只有上述示例中的步骤1-3将被执行。
参见图2，其示出了一个简化的流程图，该流程图示出了在根据本发明的实施例的多个功能布局背后的思想。在本发明的实施例中，被配置为用户界面的装置始于硬件控制表面(包含于图2所使用的术语控制器的含义内)。图3a-3c示出了适合使用于本发明的实施例的硬件控制表面的示例。
硬件控制表面(或控制器)可包括多个资源，包括触控元件。所述资源的例示类型包括：
-图形键(见下文)；
-指示键；
-触感编码器；
-飞梭(Jogger)；
-监测器(Meter)；
-均衡曲线；
-旋钮；
控制器可以是任何其他合适的硬件，包括用于接收用户发起事件的资源。例如，控制器可包括用于接收二维动作的触摸屏和/或用于接收语音命令的麦克风。
连接(bindings)形成于所述资源之间，而功能通过脚本语言来限定并被称作编译器。
连接是用户发起事件(被资源接收)与编译器之间的关联。而且，连接可包括呈数字常量或文本常量形式的元数据。例如，用于产生QWERTY中的Q功能的连接可包含如下：
-关于通用键盘编译器的连接；
-显示在键上的位图名称：q.BMP；
-将被发送至系统的ASCII(美国信息交换标准码)码：122。
编译器在用户发起事件(例如开关或语音命令的启动)和应用(例如GVG'sApple'sFinalCutorAvid's)之间转换。其可以是符合某些规则的一条‘C’代码。其可在运行时由TinyC编译程序进行编译，从而帮助将思想和概念非常快速地转换成现实世界的标准和实验。TinyC只是编写机制‘C’的一个例子，其通过具体的编译器TinyC来例示。其同样地可以例如是诸如Basic语言，其通过微软公司的VisualBasicforApplications(VBA)来执行。
每个编译器实施两个主要功能：
-响应不同类型的激励(用户发起事件)而启动的事件处理器；
-在指定的功能可用的任何时候从编译器内部被启动的更新功能。
例示性的编译器是具有基于MMC反馈的基于HUI的播放键：
-事件处理器发送HUIMIDI信息至对应于键降低/升高(keydown/up)事件的目标应用；
-更新功能从该应用接收MMCMIDI数据，并在传送模式开始或停止播放的任何时候更新按键上的图像。
编译器响应其连接的用户发起事件而内在地被启动。此外，该编译器可指定额外的触发器，例如一个或多个StudioModel参数、计时器、焦点变换器等。编译器在其所连接的用户发起事件发生时内在地被激发。为方便转换，触发值可以是释放、单按、双按、按住中的一个。
适用于本发明的实施例的工作编译器的示例复制于图5。
布局是限定用于一组特定的用户发起事件的多个相关的连接的文件。例如，其可以是用于提供NU-PAD功能的布局。布局可例示为底部布局，或者是推出或弹起在其他布局上方。
为有效地将众多功能布置到例如在物理上很小的硬件控制表面，本发明的实施例支持多布局层叠。这样，多个布局可将多个连接推送到用于表面上的一组资源的堆叠上。弹击布局可移除所述连接。每个资源保持其自身的连接堆叠，但是也可加载可清除包含于该布局中的所有资源的堆叠的“底部布局”。
特别地，硬件控制表面可包括至少一个具体资源、一个呈例如开关形式的布局控制元件。布局控制元件可呈现为任何用户发起事件的形式，但是优选为触控元件。例如，当用户启动布局控制元件，分配给一组预定的触控元件(资源)的功能布局发生改变。简单的例子可以是用户启动CALC键，暂时地推送计算器布局至选定的键(触控元件)上。一旦用户完成了计算器功能，CALC键再次被启动，并从键上“弹”开，显示出之前所具有的内容。布局组可以是应用专用的或控制器专用的。
为了允许用户将全部或部分布局推送到控制器上，作为另一个示例，当一个键为标示为“GoTo”时，用户启动该键，作为响应，数字按键显示出来。这可使用下列例示的编译器脚本来完成：
voidPushLayout(constchar*layout)
相反地，也即，脚本之前推送的布局的去除可使用下列例示的编译器脚本来完成：
voidPopLayout(constchar*layout)；
下面例示的编译器脚本可允许用户设置新的底部布局，也即，其可消除可能已被堆叠在不同的例如硬件控制表面的控制上的任何连接。一个很好的例子是将QWERTY布局设置为底部布局；这是起点，其他的布局然后可根据需要被堆叠在它上面。
voidSetBaseLayout(constchar*layout)；
因此，运行时间技术可使用以下组件来构建:
-布局引擎-加载和管理布局的图形用户界面应用；
-TinyC–编辑编译器。(如上所述，TinyC只是编写机制‘C’的一个例子，其通过具体的编译器TinyC来例示。其同样地可以例如是诸如Basic语言，其通过微软公司的VisualBasicforApplications(VBA)来执行)
-装置连接-用于控制仪表板的网络连接；
-API-应用专用的界面，例如在DryIce情形下的Actions和StudioModel界面。
参见图4，其中复制了图形用户界面应用的一个截屏，其被配置为使用户能够安排被分配给根据本发明的实施例的装置的一个或多个触控元件的功能的预定布局。该图形用户界面应用可允许对分配至该装置的一个或多个触控元件的功能布局进行拖放编辑(drag-and-dropediting)。在图4中所提供的示例中，用户被提供了被选定的硬件控制表面的图形展示以及所有可用编译器的列表。新的连接可通过将编译器拖动到资源上而产生、在资源之间移动或复制，并且所述元数据可被编辑。
图形用户界面应用可支持符合编译器定义的嵌入式标签，以能挑选和过滤编译器列表。一种例示性的标签是TRANSPORT，其允许形成一组所有与输送有关的编译器。
在图形用户界面应用中可以具有多个标签：
-布局管理器：其用于管理通常构成一个用户界面的多个布局；
-布局编辑器：其允许对布局进行拖放编辑；
-编译器管理器：允许对与编译器和宏命令相关的标签和解释文本进行编辑。
图形用户界面还可支持宏命令。存在一族使用相同代码的编译器，其中图形用户界面应用包含被编译器加载和使用的元数据。该元数据可以是文本(达到例如六(6)个域)或数字(达到例如四(4)个域)。宏命令的一个例子可以是ACTIONS。在该情况下，编译器调用其文本参数来自元数据的动作函数。
宏命令是将以下(结合实例)结合至整体的集合，其可以以与原始编译器类似的方式来获得：
-显示名称(CR-MUTE)
-编译器编号(SimpleStudioModelToggle)
-文本常量('MUTE_ON.bmp","MUTE_OFF.bmp")
-数字常量(MT_CR_MON,0,MUTE)
布局和编译器的定制可包括不同程度的定制：
-用户级别：由用户现场改变；
-定制级别：由用户界面提供者维护的定制特征设置；
-出厂级别：无条件安装的用于用户界面的一组基础功能。
图形键技术
在优选实施例中，本发明结合了在国际专利申请WO2007134359中所描述的触屏用户界面的元件，其通过引用被并入此文(分别被称作图形键和图形键技术)。
图形键技术在广义上涉及形成围绕显示机构的壳体的键，其具有位于顶部的透明窗口用于观察图像。通过这样的方式，显示区域可透过透明盖被观察到，以显示开关的当前功能。传像管可被布置在显示器和透明盖之间。传像管可包括在一端与显示区域固定接触的多条平行光纤。
图6是传像管的示意图，其包括在一端与显示区域固定接触的多条平行光纤。所述光纤从下方的屏幕传输图像至该区域的顶部。如图6所示，字母A被从屏幕表面传送上去。
图7示出了开关机构的简图，其包括透明盖。光纤通过位于金属板(遮蔽元件)和印刷电路板(PCB)中的开口被安装，从而其总是与薄膜晶体管(TFT)表面(显示屏幕)紧密接触。开关元件可使用硅按键垫机构来压下其传导元件并使轨道桥接在印刷电路板上，从而产生开关事件。驱动简单的TFT屏幕因此提供了用于丰富并且十分柔软的触控元件的基础。
键盘布局因此可以例如在应用内部被改变。例如，外语版本可被简化，因为键图形可被任何需要的设置来取代。参见图8，其为控制器的局部图，示出了在下部图形键的编辑器模式、英文键盘和日文键盘的三个布局。然而，在本发明的实施例中，图形键可结合固定键和/或其他触控元件。
图形用户界面应用还允许用户嵌入他们自己的用于触控元件的标签，以能使用例如内置助记符和术语、帮助用户解决视力问题、帮助企业推广、保留过期产品的旧有图形、人为地干涉其贸易工具。动态图形也可被包括于触控元件之内或附近，例如通过使用动画GIF文件作为图形，或者增加时间触发器至编译器，并且动态地发出图形更新。
关键的功能可被布置于手指“触点”附近，例如边角、产生更多触点的开关布局、将突脊用作home键。本发明的实施例因此减少了观看硬件控制表面的需要，增强了可导致无意识操作和有效使用应用的肌肉记忆训练。
本发明的实施例还可包括能实现遥控的应用。例如，遥控应用可：
-运行于Windows7和/或MacOS-X和/或其他操作系统上，例如Linux；和/或
-提供基本的键盘和鼠标接口功能；和/或
-具有能够通过动态链接库(DLL)扩展的接口功能；和/或
-自行启动和自行配置；
根据本发明的实施例所使用的编译器可标识有各种元数据，以增强系统的实用性。例如，包括统一的方式以向用户显示帮助文本，其中编译器可加注帮助文本，该帮助文本响应按键序列"Explainxxx"而显示给用户。来自所有相关的编译器的所有帮助文本可组合成可检索数据库。在帮助文本中的特别标签可识别出使得系统能够提供用户“找到该键”的数据。为了显示实际的帮助文本，系统可在其词典中查找帮助文本，使用解释标签作为键。这样的词典可被转换成多种语言。例如，在线翻译服务例如Google翻译可用来将帮助文本翻译成不同的语言。
在实践中，用户界面可包含例如用于打开文件的特征。因此，对应于该功能的编译器可被称作“打开文件”。编译器可包含具有含义“解释打开文件”的解释标签。词典包含用于该键的英文解释文本：“Pressthiskeytoopenafile”(按该键打开文件)。该词典还包含该文本的翻译，例如"trykpaadenneknapforataabneenfil"(丹麦语)。
系统还可支持教学机制。教学课程可被分成多个主题。主题又可分为多个子主题。例如：
主题：“如何存档”
子主题：“如何打开文件”
当用户进入教学模块，用户可看到所有主题的目录。用户可选择一个主题，然后可看到相关子主题的目录。用户可选择子主题，系统然后指导用户逐步地完成目标操作。对于每一个步骤，系统可展示解释文本，比如，“按下OpenFile键打开文件”，系统同时激活该控制。所有的主题目和子主题均可通过词典来管理，因此它们可以转换至其他的语言。
从前文对本发明的优选实施例的描述可以看出，本发明显然具有一个或多个如下优点：
-可定制的用户界面可在一系列软件应用上进行操作；
-用户可将最常使用或最符合逻辑进行分组的功能(就其而言)布置在需要的区域。
-针对具体的功能定制标签；
-提供大量与用户环境结合的功能，减少不相关选项的“干扰”；
-物理空间的有效使用。
虽然本发明的优选形式已特别参照有关媒体制作领域的应用进行了描述，本领域技术人员清楚，可对上述优选实施例实施多种改变，或者本发明可以体现为其他的形式并使用于其他的应用中。
在本说明书及后续的权利要求书中，除非文中具有不同的要求，术语“包括”及其变型例如“包括了”和“包括有”将被理解为表示包括所指明的整体、或步骤、或整体或步骤的组，但是并不排除任何其他的整体、或步骤、或整体或步骤的组。
在本说明书中，对任何现有公开文献(或由此所得到的信息)或对任何已知事项的引用不是也不应该被看成是承认、认可或以任何形式暗示该现有公开文献(或由此得到的信息)构成本说明书相关领域的公知常识的一部分。

Claims (10)

1.一种装置，其被构造为用于控制软件应用的用户界面，该装置包括：
显示屏；
触控元件阵列；
遮盖元件，其被构造成遮隐显示屏的至少一部分并露出至少一个显示区域，其中至少一个显示区域用于显示至少一个触控元件的当前功能；和
编译器，其响应用户发起事件来执行分配给该用户发起事件的一个或多个软件应用的功能，其中，用户发起事件包括启动触控元件来执行显示在显示区域上的触控元件的当前功能，
其中，图形用户界面应用被配置成使得用户能够分配一个或多个软件应用的功能给用户发起事件并安排分配给该装置的一个或多个触控元件的预定功能布局。
2.根据权利要求1所述的装置，进一步包括：
至少一个布局控制元件；和
编译器，其可对用户激活布局控制元件进行响应，并且被构造为使得信息被显示在至少一个显示区域中，包括显示对应于一个或多个触控元件的当前功能的信息；
其中，布局控制元件的激活在分配给一个或多个触控元件的多个预定功能布局之间变化。
3.根据权利要求1或2所述的装置，其中，至少一个所述触控元件是包括透明盖和显示区域的开关，该显示区域可通过所述透明盖被看见以显示该开关的当前功能。
4.根据权利要求3所述的装置，其中，传像管被布置在所述显示器和所述透明盖之间，该传像管包括在一端与所述显示区域固定接触的多根平行光纤。
5.根据权利要求1至4中任一项所述的装置，其中，至少一个所述触控元件是被配置为操纵显示在显示区域上的信息的旋钮。
6.根据权利要求2至5中任一项所述的装置，其中，所述布局控制元件是触控元件。
7.根据权利要求2至6中任一项所述的装置，其中，所述图形用户界面应用被配置为允许对被分配至所述装置的一个或多个触控元件的功能布局进行拖放编辑。
8.一种用于控制软件应用的用户界面系统，该系统包括：
图形用户界面应用，其被配置为使用户能将一个或多个软件应用的功能分配给用户发起事件；
编译器，其响应用户发起事件来执行分配给该用户发起事件的一个或多个软件应用的功能；
其中，所述用户发起事件包括触控元件的启动、速度指令、二维动作、三维动作中的一个或多个。
9.根据权利要求8所述的用户界面系统，进一步包括：
显示屏；
至少一个布局控制元件；和
编译器，其可对用户激活布局控制元件进行响应，并且被构造为使得信息被显示在显示屏中，包括显示对应于一个或多个用户发起事件的当前功能的信息；
其中，布局控制元件的激活在分配给用户发起事件的预定功能布局之间变化。
10.根据权利要求8或9所述的用户界面系统，其中，所述图形用户界面应用被配置为允许对被分配至所述用户发起事件的一个或多个软件应用的功能进行拖放编辑。
CN201480029693.5A 2013-05-21 2014-05-21 用于控制软件应用的用户界面 Pending CN105324748A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2013901815A AU2013901815A0 (en) 2013-05-21 Improved contact user interface system
AU2013901815 2013-05-21
PCT/AU2014/050047 WO2014186841A1 (en) 2013-05-21 2014-05-21 User interface for controlling software applications

Publications (1)

Publication Number Publication Date
CN105324748A true CN105324748A (zh) 2016-02-10

Family

ID=51932635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480029693.5A Pending CN105324748A (zh) 2013-05-21 2014-05-21 用于控制软件应用的用户界面

Country Status (5)

Country Link
US (1) US20160092095A1 (zh)
JP (1) JP2016522943A (zh)
CN (1) CN105324748A (zh)
DE (1) DE112014002536T5 (zh)
WO (1) WO2014186841A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105094801B (zh) 2015-06-12 2019-12-24 阿里巴巴集团控股有限公司 应用功能激活方法及装置
US11164474B2 (en) * 2016-02-05 2021-11-02 ThinkCERCA.com, Inc. Methods and systems for user-interface-assisted composition construction
US11200815B2 (en) * 2017-11-17 2021-12-14 Kimberly White Tactile communication tool

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0644857A (ja) * 1992-07-24 1994-02-18 Taitetsuku:Kk ディスプレイ用プッシュスイッチ
EP0727082A4 (en) * 1993-11-05 2000-11-15 Intertactile Tech Corp OPERATOR / CIRCUIT INTERFACE WITH INTEGRATED DISPLAY SCREEN
US6211870B1 (en) * 1997-07-07 2001-04-03 Combi/Mote Corp. Computer programmable remote control
JP2000137555A (ja) * 1998-11-02 2000-05-16 Sony Corp 情報処理装置及び方法並びに記録媒体
JP2000250692A (ja) * 1999-03-01 2000-09-14 Yazaki Corp スイッチ装置
RU2366113C2 (ru) * 2004-05-14 2009-08-27 Нокиа Корпорейшн Конфигурирование функциональных клавиш
JP2005352987A (ja) * 2004-06-14 2005-12-22 Mitsubishi Electric Corp キー入力装置
US7692635B2 (en) * 2005-02-28 2010-04-06 Sony Corporation User interface with thin display device
WO2007134359A1 (en) * 2006-05-22 2007-11-29 Fairlight.Au Pty Ltd Tactile user interface
US8253048B2 (en) * 2007-11-16 2012-08-28 Dell Products L.P. Illuminated indicator on an input device
JP4557048B2 (ja) * 2008-06-04 2010-10-06 ソニー株式会社 電子機器
US9256218B2 (en) * 2008-06-06 2016-02-09 Hewlett-Packard Development Company, L.P. Control mechanism having an image display area
JP5430382B2 (ja) * 2009-12-16 2014-02-26 キヤノン株式会社 入力装置及び方法
WO2012093964A1 (en) * 2011-01-05 2012-07-12 Razer (Asia-Pacific) Pte Ltd Systems and methods for managing, selecting, and updating visual interface content using display-enabled keyboards, keypads, and/or other user input devices
US8922476B2 (en) * 2011-08-31 2014-12-30 Lenovo (Singapore) Pte. Ltd. Information handling devices with touch-based reflective display

Also Published As

Publication number Publication date
DE112014002536T5 (de) 2016-04-28
US20160092095A1 (en) 2016-03-31
WO2014186841A1 (en) 2014-11-27
JP2016522943A (ja) 2016-08-04

Similar Documents

Publication Publication Date Title
Wiberg The materiality of interaction: Notes on the materials of interaction design
Kim Human-computer interaction: fundamentals and practice
Nielsen Noncommand user interfaces
Liu Natural user interface-next mainstream product user interface
Jetter et al. " in vr, everything is possible!": Sketching and simulating spatially-aware interactive spaces in virtual reality
US20120107790A1 (en) Apparatus and method for authoring experiential learning content
JP2014164610A (ja) キーボードカバー、キー入力変換方法およびキーレイアウト変換システム
McLean et al. Texture: Visual notation for live coding of pattern
Bongers et al. Towards a Multimodal Interaction Space: categorisation and applications
CN105324748A (zh) 用于控制软件应用的用户界面
Pusch et al. Augmented reality for operator training on industrial workplaces–Comparing the Microsoft hololens vs. small and big screen tactile devices
Bellucci et al. Welicit: a wizard of Oz tool for VR elicitation studies
Huot 'Designeering Interaction': A Missing Link in the Evolution of Human-Computer Interaction
Terkourafi et al. A critical look at the desktop metaphor 30 years on
Lu et al. Classification, application, challenge, and future of midair gestures in augmented reality
Lorenz et al. The ambient media player: a media application remotely operated by the use of mobile devices and gestures
Xambó Embodied music interaction: creative design synergies between music performance and HCI
Palieri et al. Omero 2.0
Zadel Graphical performance software in contexts: explorations with different strokes
Emiliani Special needs and enabling technologies: an evolving approach to accessibility
Abadi et al. Guessability study on considering cultural values in gesture design for different user interfaces
Acuna et al. Toward a two-handed gesture-based visual 3d interactive object-oriented environment for software development
LAFKAS A Natural User Interface and Touchless Interaction. Approach on Web Browsing
Karn Face And Interface: Richer Product Experiences through Integrated User Interface and Industrial Design
KR102553789B1 (ko) 응용 소프트웨어 조작 디지털액터 운용시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: New South Wales, Australia

Applicant after: PKT technologies Pte Ltd

Address before: New Welsh Australia

Applicant before: FAIRLIGHT AU PTY. LTD.

COR Change of bibliographic data
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160210