CN116868146A - 计算机软件模块装置、电路装置、用户设备和用于改进和扩展的用户接口的方法 - Google Patents

计算机软件模块装置、电路装置、用户设备和用于改进和扩展的用户接口的方法 Download PDF

Info

Publication number
CN116868146A
CN116868146A CN202180093729.6A CN202180093729A CN116868146A CN 116868146 A CN116868146 A CN 116868146A CN 202180093729 A CN202180093729 A CN 202180093729A CN 116868146 A CN116868146 A CN 116868146A
Authority
CN
China
Prior art keywords
application
touch input
display
input area
user device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180093729.6A
Other languages
English (en)
Inventor
安德烈亚斯·克里斯滕松
亚历山大·亨特
弗雷德里克·达尔格伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN116868146A publication Critical patent/CN116868146A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种用户设备(100)，包括显示器(104‑1)、至少一个侧面传感器(104‑3)和控制器(101)，其中侧面传感器(104‑3)被配置成在显示器(104‑1)的一侧接收非触摸式用户输入，从而提供非触摸式输入区域(104‑4)，并且其中控制器(101)被配置成：接收(610)对应用的选择；接收(620)对非触摸式输入区域(104‑4)的一部分(104‑4A‑D、P1、P2)的选择；将用于所选择应用的至少一个命令关联(630)到非触摸式输入区域(104‑4)的所选择部分(104‑4A‑D、P1、P2)；提供(635)该部分与该应用之间的关联的反馈指示；确定(640)对象(F)在非触摸式输入区域(104‑4)的所选择部分(104‑4A‑D、P1、P2)中低于阈值距离的距离(D)处，并且响应于此执行(650)相关联的命令。

Description

计算机软件模块装置、电路装置、用户设备和用于改进和扩展 的用户接口的方法
技术领域
本发明涉及一种装置、一种包括计算机软件模块的装置、一种包括电路的装置、一种用户设备和一种用于提供改进和扩展的用户接口的方法，并且特别涉及一种装置、一种包括计算机软件模块的装置、一种包括电路的装置、一种用户设备和一种用于提供能够控制后台应用的改进和扩展的用户接口的方法。
背景技术
如今的用户设备或移动设备都有触摸屏。这些是基于用一个或若干个手指触摸显示器，并且以特定方式移动手指可以具有特定的含义，诸如在诸如iPhone的设备上触摸屏幕并且从屏幕底部向上移动手指意味着活动的应用程序在屏幕中被列为基于窗口的图标，用户可以在这些图标之间滚动下一步。
此类移动设备中添加了传感器，例如雷达，其能够识别手势或检测设备周围空间的某些部分的移动。
在许多应用或导航场景中，触摸输入受到设备显示器尺寸的限制，例如滚动本身与设备显示器尺寸无关的内容。例如，智能手表的显示屏物理尺寸非常有限。
在许多使用场景中，并且对于许多移动设备应用，应用在活动时接管整个屏幕，这意味着触摸屏上潜在控制其他应用的区域不再可用，并且能够控制其他应用通常意味着移动到其他应用的多点触摸序列，其中当前显示的应用需要改变，并且应当选择另一应用来显示在屏幕上。
存在识别物理设备外部的手势或移动的技术，例如通过雷达或相机，但是从使用的角度来看，这些技术通常不太直观。
发明内容
如上所述，发明人已经意识到，由于非触摸式输入区域是不可见的，并且由于非触摸式输入区域被设计成在另一应用正在活动时使用，即占据了大部分显示空间，因此用户很难意识到什么控件具有什么效果。根据本文教导的解决方案使得用户能够将功能与非触摸式输入区域的应用和部分相关联。此外，所提供的解决方案简单而优雅，这本身就是创造性的。
本发明基于在用户设备周围的附近空间中选择和放置用户设备和/或应用用户接口控件的组合，并且在用户设备显示器上由所述用户设备和/或应用控件可视地指示所述控件，以使得用户与用户设备周围的空间中的所选择控件进行交互变得容易和自然。
因此，本教导的目的是克服或至少减少或减轻上面讨论的问题。
根据一个方面，一种用户设备包括显示器、至少一个侧面传感器和控制器，其中该侧面传感器被配置成在显示器的一侧接收非触摸式用户输入，从而提供非触摸式输入区域，并且其中该控制器被配置成：接收对应用的选择；接收对非触摸式输入区域的一部分的选择；将用于所选择应用的至少一个命令关联到非触摸式输入区域的所选择部分；提供该部分与该应用之间的关联的反馈指示；确定对象(F)在非触摸式输入区域的所选择部分中低于阈值距离的距离(D)处，并且响应于此执行相关联的命令。
应当注意，在一个实施例中，该应用是表示用户设备的功能性，即用户设备的功能的用户设备专用应用。应当注意，在一个备选或附加实施例中，该应用是要在用户设备中执行和操作的应用，即普通应用。
这允许比显示器的物理尺寸所限制的更大的交互区域，同时最小化了将靠近电话的手的移动误认为输入控制的风险。所得用户接口将是直观的，使得扩展的触摸区域，即非触摸式输入区域被激活并且用作物理触摸屏的非常自然的扩展。定义为放置在用户设备周围的非触摸式输入区域中的用户设备和/或应用用户接口控件将由用户设备在用户设备显示器上清楚地指示。
在一个实施例中，控制器还被配置成通过接收对应用的图形表示的选择来接收对应用的选择。
在一个实施例中，控制器还被配置成通过确定所选择应用被拖动到对应于非触摸式输入区域的一部分的显示器的一部分，来接收对非触摸式输入区域的一部分的选择。
在一个实施例中，非触摸式输入区域的部分对应于显示器的一侧。
在一个实施例中，非触摸式输入区域的部分对应于显示器的一侧的一部分。
在一个实施例中，多个命令被关联到该部分，每个命令被关联到每个子部分。
在一个实施例中，控制器还被配置成指示可用于与应用关联的至少一个部分。
在一个实施例中，控制器还被配置成确定所选择部分与另一应用相关联，并且响应于此将该另一应用与另一部分重新关联。
在一个实施例中，控制器还被配置成确定所选择部分与另一应用相关联，并且响应于此将所选择部分划分成至少两个子部分，并且将该另一应用与所选择部分的子部分中的一个重新关联，以及将所选择部分的另一子部分与所选择应用相关联。
在一个实施例中，控制器还被配置成确定用户设备的握持已经改变，并且响应于此将应用重新关联到另一部分。
在一个实施例中，所选择应用是后台应用。
在一个实施例中，用户设备是智能手机、智能手表或平板计算机。
根据一个方面，提供了一种在用户设备中使用的方法，该用户设备包括显示器和至少一个侧面传感器，该侧面传感器被配置成在显示器的一侧接收非触摸式用户输入，从而提供非触摸式输入区域，并且其中该方法包括：接收对应用的选择；接收对非触摸式输入区域的一部分的选择；将用于所选择应用的至少一个命令关联到非触摸式输入区域的所选择部分；提供该部分与该应用之间的关联的反馈指示；确定对象(F)在非触摸式输入区域的所选择部分中低于阈值距离的距离(D)处，并且响应于此执行相关联的命令。
根据一个方面，提供了一种用于用户设备的软件模块装置，该用户设备包括显示器和至少一个侧面传感器，该至少一个侧面传感器被配置成在显示器的一侧接收非触摸式用户输入，从而提供非触摸式输入区域，其中该软件模块装置包括：用于接收对应用的选择的软件模块；用于接收对非触摸式输入区域的一部分的选择的软件模块；用于将用于所选择应用的至少一个命令关联到非触摸式输入区域的所选择部分的软件模块；用于提供该部分与该应用之间的关联的反馈指示的软件模块；用于确定对象(F)在非触摸式输入区域的所选择部分中低于阈值距离的距离(D)处的软件模块，以及用于响应于此执行相关联的命令的软件模块。
根据一个方面，提供了一种适于在用户设备中使用的装置，该用户设备包括显示器、至少一个侧面传感器，该至少一个侧面传感器被配置成在显示器的一侧接收非触摸式用户输入，从而提供非触摸式输入区域，并且所述装置包括：用于接收对应用的选择的电路；用于接收对非触摸式输入区域的一部分的选择的电路；用于将用于所选择应用的至少一个命令关联到非触摸式输入区域的所选择部分的电路；用于提供该部分与该应用之间的关联的反馈指示的电路；用于确定对象(F)在非触摸式输入区域的所选择部分中低于阈值距离的距离(D)处的电路，以及用于响应于此执行相关联的命令的电路。
根据一个方面，提供了一种承载计算机指令的计算机可读介质，当该计算机指令被加载到用户设备的控制器中并且由该控制器执行时，使得用户设备能够实现本文的任何方法。
该解决方案可以被实现为软件解决方案、硬件解决方案或者软件和硬件组件的混合。本发明的其他实施例和优点将在详细描述中给出。应当注意，本文的教导可用于数字摄影中的数字图像装置以及计算机视觉的许多领域，包括图像检索、机器人视觉、增强现实和视频监控。
附图说明
下面将参考附图描述本发明的实施例，附图示出了如何将本发明的概念付诸实践的非限制性示例。
图1A示出了根据本发明实施例的用户设备的示意图；
图1B示出了根据本发明实施例的用户设备的子部分的示意图；
图1C示出了图1A的用户设备，其中根据本发明实施例，不同的命令已经被分配给用户设备的非触摸式输入区域的不同部分；
图2A示出了根据本发明实施例的用户设备的示意图；
图2B示出了根据本发明实施例的用户设备的示意图；
图2C示出了根据本发明实施例的用户设备的示意图；
图2D示出了根据本发明实施例的用户设备的示意图；
图2E示出了根据本发明实施例的用户设备的示意图；
图2F示出了根据本发明实施例的用户设备的示意图；
图3A示出了根据本发明实施例的用户设备的示意图；
图3B示出了根据本发明实施例的用户设备的示意图；
图3C示出了根据本发明实施例的用户设备的示意图；
图4A示出了根据本发明实施例的用户设备的示意图；
图4B示出了根据本发明实施例的用户设备的示意图；
图5A示出了根据本发明实施例的用户设备的示意图；
图5B示出了根据本发明实施例的用户设备的示意图；
图6示出了根据本发明实施例的一般方法的流程图；
图7示出了根据本文教导的实施例的软件模块装置的组件视图；
图8示出了包括根据本文教导的实施例的电路的装置的组件视图；以及
图9示出了承载计算机指令的计算机可读介质的示意图，当该计算机指令被加载到装置的控制器中并且由该控制器执行时，使得该装置能够实现本发明实施例。
具体实施方式
图1A示出了根据本发明实施例的用户设备100的示意图。在一个示例实施例中，用户设备100是智能手机、智能手表或平板计算机。用户设备100包括控制器101、存储器102和用户接口104，该用户接口包括一个或多个接口组件(104-1至104-4，如下面将更详细描述的)。
应当注意，用户设备100可以包括单个设备，或者可以分布在若干个设备和装置上。
控制器101被配置成控制用户设备100的整体操作。在一个实施例中，控制器101是专用控制器。在一个实施例中，控制器101是通用控制器。在一个实施例中，控制器101是专用控制器和/或通用控制器中的一个或多个的组合。正如本领域技术人员所理解的，对于如何实现控制器，有许多备选方案，诸如使用现场可编程门阵列电路、ASIC、CPU、GPU、NPU等作为补充或备选。出于本申请的目的，所有这样的可能性和备选方案将被简称为控制器101。
存储器102被配置成存储诸如应用数据、设置和计算机可读指令之类的数据，这些数据在被加载到控制器101中时指示如何控制用户设备100。存储器102可以包括若干个存储单元或设备，但是它们将被视为相同的整个存储器102的一部分。可能存在用于显示装置的存储指令和应用数据的一个存储器单元、用于显示装置的存储图形数据的一个存储器单元、用于通信接口103的存储设置的一个存储器等等。如本领域技术人员将理解的，存在如何选择数据应该存储在哪里的多种可能性，因此出于本申请的目的，用户设备100的通用存储器102被视为包括任何和所有这样的存储器单元。如本领域技术人员将理解的，存在如何实现存储器的许多备选方案，例如使用诸如EEPROM存储器电路的非易失性存储器电路，或者使用诸如RAM存储器电路的易失性存储器电路。出于本申请的目的，所有这样的备选方案将被简称为存储器102。
在一个实施例中，用户设备100还可以包括通信接口103。通信接口103可以是有线和/或无线的。通信接口103可以包括若干个接口。
在一个实施例中，通信接口103包括USB(通用串行总线)接口。在一个实施例中，通信接口103包括HDMI(高清多媒体接口)接口。在一个实施例中，通信接口103包括显示器端口接口。在一个实施例中，通信接口103包括以太网接口。在一个实施例中，通信接口103包括MIPI(移动工业处理器接口)接口。在一个实施例中，通信接口包括模拟接口、CAN(控制器局域网)总线接口、I2C(内部集成电路)接口或其他接口。
在一个实施例中，通信接口103包括射频(RF)通信接口。在一个这样的实施例中，通信接口103包括蓝牙TM接口、WiFiTM接口、ZigBeeTM接口、Z-WaveTM接口、RFIDTM(射频标识符)接口、无线显示(WiDi)接口、Miracast接口和/或通常用于短程RF通信的其他RF接口。在备选或补充的这种实施例中，通信接口103包括蜂窝通信接口，诸如第五代(5G)蜂窝通信接口、LTE(长期演进)接口、GSM(全球移动系统)接口和/或通常用于蜂窝通信的其他接口。在一个实施例中，通信接口103被配置成使用UPnP(通用即插即用)协议进行通信。在一个实施例中，通信接口103被配置成使用DLNA(数字生活网络设备)协议进行通信。
在一个实施例中，通信接口103被配置成能够通过以上给出的一种以上的示例技术进行通信。通信接口103可以被配置成使得用户设备100能够与其他设备(诸如其他智能手机)通信。
用户接口104包括一个或多个输出设备和一个或多个输入设备。输出设备的示例是诸如显示器104-1的显示装置、一个或多个灯(图1A中未示出)和扬声器(未示出)。输入设备的示例是一个或多个按钮104-2、相机(未示出)和麦克风(未示出)。在一个实施例中，显示装置包括既作为输出设备又作为输入设备的显示器104-1，其能够通过触摸(例如通过虚拟按钮)呈现图形数据和接收输入。
根据本文的教导的用户设备100的用户接口104还包括一个或多个侧面传感器104-3，其被配置成远程检测和确定对象的存在和到对象的距离，而无需触摸。这类侧面传感器104-3(104-3A、104-3B)支持扩展的用户接口区域104-4，在该区域中可以提供非触摸式输入。在图1A的示例中，在用户设备中布置了两个侧面传感器104-3A和104-3B，在显示器104-1的两侧各有一个。
图1B示出了诸如图1A的用户设备100之类的用户设备100的组件的示意图，然而在图1B的示例中，布置了四个侧面传感器104-3A-D，在显示器104-1的每一侧上都有一个，从而提供了具有四个子部分104-4A-D的扩展用户接口104-4
应当注意，侧面传感器104-3可以包括一个传感器或传感器阵列，这取决于用于实现这种侧面传感器的技术。用于实现这种侧面传感器的技术的示例是：基于雷达、光、电容、超声波、视频的接近传感器，仅举若干个示例。
利用这种侧面传感器104-4，根据本文教导的用户设备100能够确定诸如用户手指F的对象相对于显示器104-1位于距离位置L的距离D处，如图1B中所示。
出于本文教导的目的，所有传感器将被视为一个传感器104-3，其提供用于非触摸式输入的扩展用户接口区域，以下称为非触摸式输入区域104-4。
在显示器104-1是触摸屏的实施例中，触摸屏和侧面传感器104-3的组合因此提供了具有用于触摸输入的一部分(显示器104-1)和用于非触摸式输入的一部分(非触摸式输入区域104-4)的组合接口区域。
在一个实施例中，非触摸式输入区域104-4被分配给作为后台应用执行的应用或进程。众所周知，用户设备能够在活动模式或后台模式下执行应用。在活动模式下执行的应用被分配显示器的至少一部分，用于提供图形输出和用户设备100的大多数按钮104-2，如果显示器104-1是触摸屏，则包括显示器104-1上显示的任何虚拟按钮。然而，在后台模式中执行的应用不会被分配超过显示空间的一小部分，并且通常根本没有控件。因此，控制这样的后台应用通常需要后台应用被激活并且成为活动应用，由此作为活动应用执行的任何其他应用将不得不被暂停，如上文在背景技术部分中已经讨论的。
然而，根据本教导的用户设备100被配置成通过非触摸式输入区域104-4接收关于后台应用的输入。如上所述，侧面传感器104-3能够确定到对象F的距离D。因此，通过确定到对象的距离D低于阈值距离，可以确定命令的激活，诸如(非触摸式)按压。此外，同样如上所述，侧面传感器104-3能够确定对象F的位置L。因此，可以将不同的命令或控制分配给沿着显示器104-1的不同位置。以这种方式，用户接口104被扩展并且允许提供更多的用户控制，而不会遮挡或干扰分配给活动应用的显示器104-1空间。
图1C示出了图1A的用户设备100，其中不同的命令被分配给非触摸式输入区域104-4的不同部分。在该示例中，存在三个命令C1-C3，它们被分配给非触摸式输入区域104-4的每个部分P1-P3。通过用户设备100确定在哪个部分P1-P3内对象被检测为处于低于阈值距离的距离处，可以确定执行哪个命令C1-C3。在一个实施例中，不同的命令C1-C3涉及相同的应用。在一个实施例中，存在与第一应用相关联的至少一个命令和与第二应用相关联的至少一个命令。在一个这样的实施例中，其中存在第一应用和第二应用，第一应用与非触摸式输入区域104-4的第一部分相关联，而第二应用与非触摸式输入区域104-4的第二部分相关联，其中与每个应用相关联的命令被分配给对应应用的该部分的子部分。例如，在图1C的示例中，第一应用被分配部分P1和P2，并且命令C1和C2与第一应用相关联，而第二应用被分配部分P3，并且命令C3与第二应用相关联。
应当注意，部分的大小以及部分的位置和/或分布不必相等或规则，任何分布都是可能的。
为了提供易于使用的直观且易于记忆的用户接口，根据本文教导的用户设备100被配置成使得用户能够设置非触摸式输入区域104-4。
图2A示出了如图1A中的用户设备100的示意图，其中一个或多个图标110显示在显示器104-1上。众所周知，每个图标110与一个应用(或功能)相关联，因此图标是对应应用或功能的图形表示。
希望选择一个应用以将该应用的控制(至少一些)分配给非触摸式输入区域104-4的用户选择对应的图标110-1，并且将其拖动到非触摸式输入区域104-4的预期部分，参见图2B，其示出了图2A的用户设备100的示意图，其中图标110-1已经被选择并且被拖向显示器104-1的一侧(在该示例中，如图中所示，显示器104-1的右侧)。
因此用户设备100的控制器101被配置成接收对应用的选择(通过对应用的图形表示110的选择)，确定图形表示被拖动到显示器104-1的部分104-1A，并且确定应用将与对应于显示器104-1的部分的非触摸式输入区域104-4的部分相关联。在该示例中，显示器104-1的一侧是显示器104-1的与非触摸式输入区域104-4的对应部分104-4B相关联的部分104-1A。
响应于该关联，控制器101提供指示已经进行了应用和部分的关联的反馈。在一个实施例中，通过视觉反馈来提供反馈，诸如通过高亮显示、改变颜色和/或以其他方式标记显示器104-1的对应于非触摸式区域104-4的关联部分104-4B的部分104-1A。在图2B中，这被示出为显示器104-1右侧的高亮显示。
当进行关联时，选择图标110-1返回到它的位置，如图2C中所示，示出了图2A和图2B的用户设备100的示意图，其中图标110-1返回到其原始位置。
在一个实施例中，如图2C中所示，反馈还可以是高亮、改变颜色、框定和/或以其他方式标记所选择图标110-1。
在一个实施例中，反馈可以是暂时的。在一个这样的实施例中，当进行关联时，提供反馈。在备选或附加的这种实施例中，当在非触摸式输入区域104-4的对应部分中检测到对象时，提供反馈。
在一个实施例中，只要关联是活动的，就提供反馈。
在一个实施例中，为指示图标110-1而提供的反馈与为指示关联部分而提供的反馈是同一类型。
如上所述，第一应用(本文由其图形表示，图标)110-1可以与非触摸式输入区域104-4的第一部分P1相关联，并且第二应用(本文由其图形表示，图标)110-2可以与非触摸式输入区域104-4的第二部分P2相关联。对于部分的子部分也是如此。这如图2D中所示。
因此，根据本文的用户设备100能够使得用户能够将第一应用分配或关联到第一子部分P1，并且将第二应用分配或关联到显示器104-1的同一侧的第二子部分P2。
为了选择应用将与一部分的哪个子部分(在该示例中，显示器的一侧是一部分)相关联，控制器还被配置成确定所选择图标被拖动到显示器104-1的哪个子部分，即所选择图标被拖动到侧面的哪个部分。
图2D示出了本文的图1A、图1B、图1C、图2A、图2B和图2C的用户设备100的示例，其中显示了四个图标，每个图标与应用(或其他功能)110-1-110-4相关联。还示出了显示器104-1右侧的两个子部分P1、P2。用户选择一个应用，并且通过将该应用的图标110-1拖动到该部分来将其与子部分相关联。在该示例中，第一图标110-1被拖动到第一部分P1。随后，第一应用(由第一图标110-1表示)与显示器104-1右侧的第一子部分P1相关联。在一个实施例中，如图2E中所示提供反馈，示出了图2D的用户设备100的示例，其中反馈被提供为第一子部分P1的高亮显示和第一图标110-1的框定。图2E还示出了如何将第二图标110-2拖动到第二子部分P2，从而将第二应用(由第二图标110-2表示)与显示器104-1右侧的第二子部分P2相关联。在一个实施例中，如图2F所示提供反馈，示出了图2E的用户设备100的示例，其中反馈被提供为第二子部分P2的高亮显示和第二图标110-2的框定。从图2F的示例中可以看出，对于第一应用和第一部分的关联给出的反馈是类似的(第一)类型，而对于第二应用和第二部分的关联给出的反馈是类似的(第二)类型，其中第一反馈类型不同于第二反馈类型，使得用户能够容易地确定哪个部分与哪个应用相关联。
图3A示出了如图1A至图1C或图2A至图2F中的任一图中的用户设备100的示意图，其中用户设备还能够向用户指示哪些(子)部分可用，因为还没有与应用相关联。在图3A的示例中，显示了四个图标110-1至110-4。在一个实施例中，当检测到或接收到对图标的选择时，控制器指示任何可用的(子)部分。在一个实施例中，这是例如通过高亮显示可用部分在视觉上完成的。在图3A中，对第一图标110-1的选择由表示用户在该图标110-1上的触摸的圆圈指示。在该示例中，第一部分P1被高亮显示为可用。在一个实施例中，用于指示可用(子)部分的反馈的类型(第三类型)不同于为指示关联而给出的反馈。图3B示出了图3A的用户设备100的示意图，其中所选择图标110-1被拖动到被指示为可用的P1部分，由此进行关联。图3C示出了图3B的用户设备100的示意图，其中提供了指示关联的反馈。
在一个实施例中，控制器101被配置成确定图标正被拖动到已经与应用相关联的(子)部分。在这种情况下，控制器可以被配置成以不同的方式处理这种情况。
在一个实施例中，控制器101被配置成拒绝关联，直到图标被拖动到可用(子)部分。可以例如通过视觉指示和/或音频输出给出反馈来指示这种拒绝。
在一个实施例中，控制器101被配置成接受关联并且将(子)部分关联到应用。在一个这样的实施例中，控制器101被配置成取消先前的关联。可以例如通过视觉指示给出反馈来指示这种替换。在备选或附加的这种实施例中，控制器101被配置成将先前关联的应用关联到另一个可用的(子)部分。已经关联的第三应用因此与第三(子)部分关联。可以例如通过视觉指示给出反馈来指示这种替换。如果没有(子)部分可用，则可以使用取消先前关联的实施例。
在备选或附加实施例中，控制器101被配置成确定所选择(子)部分不可用，并且响应于此将该(子)部分划分成两个部分，并且将这两个部分分别关联到先前关联的应用和被选择关联的应用。在一个实施例中，如果确定没有可用的(子)部分，则控制器101被配置成这样做。
在所有实施例中，可以提供合适的反馈。
图4A示出了如图1A到图1C、图2A至图2F或图3A至图3C中的任何一个中的用户设备100的示意图，其中如果用户希望将第二应用关联到已经与第一应用关联的部分P1，则用户设备100还能够将一部分划分成子部分。图4A示出了如何指示第一图标110-1与第一部分P1相关联。图4A还示出了如何选择第二图标110-2并且将其拖动到同一部分P1。控制器对此进行检测，并且将该部分划分成两个子部分，分别为P1-1和P1-2，并且将先前关联的第一应用110-1与第一子部分P1-1相关联，并且选择第二应用110-2与第二子部分P1-2相关联。图4B示出了图4A的用户设备，其中已经进行了关联，并且提供了反馈以指示第一应用110-1与第一子部分P1-1相关联，并且第二应用110-2与第二子部分P1-2相关联。
正如发明人进一步认识到的，当用户以不同于最初意图的方式握持用户设备100时，可能会有问题。因此，发明人设计了一种方式，其中根据用户握持或触摸用户设备100(的一侧)的位置来移动(或者更确切地说重新关联)这些部分。
图5A示出了如图1A至图1C、图2A至图2F、图3A至图3C或图4A至图4B中任一图中的用户设备100的示意图，其中用户设备100还能够确定用户的触摸或握持被改变。在图5A中，检测到有人握持，由用户设备100的一侧的用户手指F指示。可以看出，非触摸式输入区域104-4的一部分P1被布置在用户设备100的相对侧。图5B示出了图5A的用户设备100，其中握持已经被改变，如现在显示在用户设备100的另一侧的用户手指F所指示的，现在潜在地阻挡或干扰了非触摸式输入区域104-4。然而，在一个实施例中，控制器101被配置成检测握持已经被改变，并且响应于此将这些部分和它们相关联的应用重新关联。在一个实施例中，这是通过确定与新握持重叠的任何部分来完成的，即，确定在对应于部分P1的位置是否有任何手指或这种抓握用户设备100，并且将与这样的重叠部分相关联的应用与可用部分重新关联。控制器101还被配置成通过检测先前检测到的对象在该部分中的移除或不存在来确定先前重叠的部分不再重叠。如图5B中所示，手指已经移动并且释放了先前被阻挡的部分P2，并且先前与现在被阻挡的部分P1相关联的应用110-1现在已经与第二部分P2重新相关联。在该示例中，用户已经换手，并且控制器因此镜像了关联。
图6示出了根据本文的一般方法的流程图。控制器101通过接收对应用的图形表示(例如图标110)的选择来接收610对该应用的选择。然后控制器101通过确定所选择应用被拖动到对应于非触摸式输入区域104-4的部分104-4A-D的显示器104-1的一部分，来接收620对非触摸式输入区域104-4的部分104-4A-D的选择。
在一个实施例中，非触摸式输入区域104-4的一部分104-4A-D对应于显示器104-1的一侧。在一个实施例中，非触摸式输入区域104-4的部分104-4A-D对应于显示器104-1的一侧的一部分。
响应于将应用关联到一部分，控制器101将用于所选择应用的至少一个命令分配或关联630到非触摸式输入区域104-4的所选择部分104-4A-D。在一个实施例中，多个命令与该部分相关联，每个命令与每个子部分相关联。
在一个这样的实施例中，控制器101还被配置成指示615哪些部分可用于与应用相关联。在一个备选或附加实施例中，控制器101还被配置成确定所选择部分与另一应用相关联624，即检测该部分的先前关联，并且响应于此将该另一应用与另一(可用)部分重新关联628，以及将该部分与所选择应用相关联630，如将在下面说明。在一个备选或附加实施例中，控制器101还被配置成确定所选择部分与另一应用相关联624，并且响应于此将所选择部分划分626成(至少)两个子部分，并且将另一应用与所选择部分的子部分中的一个重新关联628，以及将所选择部分的另一子部分与所选择应用相关联630，如将在下面说明。
控制器101提供635该部分与该应用之间的关联的反馈指示。
此后，确定640对象在所选择部分中低于阈值距离的距离D处被确定为选择执行相关联的命令的用户输入，并且控制器101因此执行650该命令。在一个实施例中，控制器101还被配置成确定检测到的对象是用户的手指。在一个备选或附加实施例中，控制器101还被配置成确定对象F的范围小于该部分的范围。
在一些实施例中，控制器101可以进一步被配置成确定660用户设备100的握持已经被改变，并且响应于此将应用重新关联665到其他部分。在一个这样的示例中，控制器101被配置成确定一部分正被握持用户设备的用户手指(或其他工具)阻挡，并且响应于此将与现在被阻挡的部分相关联的应用重新关联到另一部分。在一个这样的示例中，控制器101被配置成确定用户设备100的握持已经从一侧改变到另一侧(从左手侧到右手侧，反之亦然)，并且响应于此重新关联应用和部分，使得关联被镜像。
对于上面讨论的各种功能，其他变型和备选方案也是可能的。将在下面讨论这些备选方案中的一些，应该注意，它们可以全部、部分或每个与上面讨论的实施例合适且兼容地相结合。
一组这样的备选功能涉及何时在用户设备100的一侧布置有控件，诸如当用户设备100包括布置在显示器的一侧的一个或多个按钮104-2时。为了不在非触摸式输入区域中的非触摸式输入与侧面控件上的触摸输入之间产生冲突，在一些实施例中，控制器被配置成将非触摸式输入区域中对应于这种侧面控件的位置的部分视为不可用部分。在一个实施例中，当已经选择了一个应用时，可以特别标记这些部分。
在一些实施例中，为了避免在非触摸式输入区域104-4中执行的无意动作，用户设备100可以由手势触发，例如由握持用户设备100的手的食指执行的双击触发，在此之后，侧面传感器被启用，并且可以在手没有握持用户设备100的情况下检测非触摸式输入区域104-4中的用户输入。
在另一实施例中，为了避免在非触摸式输入区域104-4中执行的无意动作，在没有握持设备的手保持在非触摸式输入区域104-4中的同一点一段时间之后，侧面传感器将首先开始解释用户输入。
应当注意，出于本文教导的目的，在应用与应用的图形表示之间没有区别。
还应当注意，为了本文教导的目的，除非特别指出，否则在非触摸式输入区域的一部分与显示器的对应部分之间没有区别。
图7示出了根据本文教导的实施例的软件模块(或组件)装置700的组件视图。软件模块装置700适于在本文教导的用户设备100中使用，并且用于使用户设备100能够执行根据图6的方法。软件模块装置700包括用于接收710对应用的选择的软件模块和用于接收720对非触摸式输入区域104-4的一部分104-4A-D、P1、P2的选择的软件模块。软件模块装置700还包括用于将所选择应用的至少一个命令关联730到非触摸式输入区域104-4的所选择部分104-4A-D、P1、P2的软件模块，以及用于提供735该部分与该应用之间的关联的反馈指示的软件模块。软件模块装置700还包括用于确定740对象F在非触摸式输入区域104-4的所选择部分104-4A-D、P1、P2中低于阈值距离的距离D处的软件模块，以及用于响应于此执行750相关联的命令的软件模块。
图8示出了包括电路的装置800的组件视图。包括电路的装置适于用在本文教导的用户设备100中，并且用于使用户设备100能够执行根据图6的方法。装置800包括用于接收810对应用的选择的电路，以及用于接收820对非触摸式输入区域104-4的一部分104-4A-D、P1、P2的选择的电路。装置800还包括用于将用于所选择应用的至少一个命令关联830到非触摸式输入区域104-4的所选择部分104-4A、P1、P2的电路，以及用于提供835该部分与该应用之间的关联的反馈指示的电路。装置800还包括用于确定840对象F在非触摸式输入区域104-4的所选择部分104-4A-D、P1、P2中低于阈值距离的距离D处的电路，以及用于响应于此执行850相关联的命令的电路。
图9示出了承载计算机指令121的计算机可读介质120的示意图，当这些指令由用户设备100的控制器101加载并且由计算机执行时，使得用户设备100能够实现本发明。
计算机可读介质120可以是有形的，诸如硬盘或闪存，例如USB记忆棒或云服务器。备选地，计算机可读介质120可以是无形的，诸如承载计算机指令的信号，使得计算机指令能够通过网络连接(诸如互联网连接)被下载。
在图9的示例中，计算机可读介质120被示为承载计算机可读计算机指令121的计算机盘120，被插入计算机盘读取器122中。计算机盘读取器122可以是云服务器123或其他服务器的一部分，或者计算机盘读取器可以连接到云服务器123或其他服务器。云服务器123可以是互联网的一部分或者至少连接到互联网。云服务器123可以备选地通过专有或专用连接来连接。在一个示例实施例中，计算机指令存储在远程服务器123上，并且被下载到用户设备100的存储器102中，以由控制器101执行。
计算机盘读取器122还可以或者备选地连接到(或者可能插入到)用户设备100，用于将计算机可读计算机指令121传送到用户设备100的控制器101(大概经由用户设备100的存储器102)。
图9示出了当用户设备100经由服务器连接接收计算机可读计算机指令121时的情况和当另一个用户设备100通过有线接口接收计算机可读计算机指令121时的情况。这使得计算机可读计算机指令121能够被下载到用户设备100中，从而使得用户设备100能够根据本文公开的本发明进行操作并实现本发明。

Claims (16)

1.一种用户设备(100)，包括显示器(104-1)、至少一个侧面传感器(104-3)和控制器(101)，
其中所述侧面传感器(104-3)被配置成在所述显示器(104-1)的侧面接收非触摸式用户输入，从而提供非触摸式输入区域(104-4)，并且其中所述控制器(101)被配置成：
接收(610)对应用的选择；
接收(620)对所述非触摸式输入区域(104-4)的一部分(104-4A-D、P1、P2)的选择；
将用于所选择应用的至少一个命令关联(630)到所述非触摸式输入区域(104-4)的所选择部分(104-4A-D、P1、P2)；
提供(635)所述部分与所述应用之间的关联的反馈指示；
确定(640)对象(F)在所述非触摸式输入区域(104-4)的所选择部分(104-4A-D、P1、P2)中低于阈值距离的距离(D)处，并且响应于此执行(650)所关联的命令。
2.根据权利要求1所述的用户设备(100)，其中所述控制器(101)还被配置成通过接收对所述应用的图形表示的选择来接收对所述应用的选择。
3.根据权利要求1或2所述的用户设备(100)，其中所述控制器还被配置成：通过确定所选择应用被拖动到所述显示器(104-1)的与所述非触摸式输入区域(104-4)的一部分(104-4A-D、P1、P2)对应的部分，来接收(620)对所述非触摸式输入区域(104-4)的所述部分(104-4A-D、P1、P2)的选择。
4.根据任一前述权利要求所述的用户设备(100)，其中所述非触摸式输入区域(104-4)的所述部分(104-4A-D、P1、P2)对应于所述显示器(104-1)的侧面。
5.根据权利要求4所述的用户设备(100)，其中所述非触摸式输入区域(104-4)的所述部分(104-4A-D、P1、P2)对应于所述显示器(104-1)的侧面的一部分。
6.根据任一前述权利要求所述的用户设备(100)，其中多个命令被关联到所述部分(104-4A-D、P1、P2)，每个命令被关联到每个子部分(104-4A-D、P1、P2)。
7.根据任一前述权利要求所述的用户设备(100)，其中所述控制器(101)还被配置成指示(615)能够用于与应用的关联的至少一个部分。
8.根据任一前述权利要求所述的用户设备(100)，其中所述控制器(101)还被配置成确定所选择部分与另一应用相关联(624)，并且响应于此将所述另一应用与另一部分重新关联(628)。
9.根据权利要求1至7中任一项所述的用户设备(100)，其中所述控制器(101)还被配置成确定所选择部分与另一应用相关联(624)，并且响应于此将所选择部分划分(626)成至少两个子部分，并且将所述另一应用与所选择部分的所述子部分中的一个子部分重新关联(628)，以及将所选择部分的另一子部分与所选择应用相关联(630)。
10.根据任一前述权利要求所述的用户设备(100)，其中所述控制器(101)还被配置成确定(660)对所述用户设备(100)的握持已经被改变，并且响应于此将所述应用重新关联(665)到另一部分。
11.根据任一前述权利要求所述的用户设备(100)，其中所选择应用是后台应用。
12.根据任一前述权利要求所述的用户设备(100)，其中所述用户设备(100)是智能手机、智能手表或平板计算机。
13.一种在用户设备(100)中使用的方法，所述用户设备包括显示器(104-1)和至少一个侧面传感器(104-3)，所述侧面传感器被配置成在所述显示器(104-1)的侧面接收非触摸式用户输入，从而提供非触摸式输入区域(104-4)，并且
其中所述方法包括：
接收(610)对应用的选择；
接收(620)对所述非触摸式输入区域(104-4)的一部分(104-4A-D、P1、P2)的选择；
将用于所选择应用的至少一个命令关联(630)到所述非触摸式输入区域(104-4)的所选择部分(104-4A-D、P1、P2)；
提供(635)所述部分与所述应用之间的关联的反馈指示；
确定(640)对象(F)在所述非触摸式输入区域(104-4)的所选择部分(104-4A-D、P1、P2)中低于阈值距离的距离(D)处，以及
响应于此执行(650)所关联的命令。
14.一种承载计算机指令(121)的计算机可读介质(120)，当所述计算机指令被加载到用户设备(100)的控制器(101)中并且由所述控制器执行时，使得所述用户设备(100)能够实现根据权利要求13所述的方法。
15.一种用于用户设备(100，700)的软件模块装置(700)，所述用户设备(100，700)包括显示器(104-1)和至少一个侧面传感器(104-3)，所述至少一个侧面传感器被配置成在所述显示器(104-1)的侧面接收非触摸式用户输入，从而提供非触摸式输入区域(104-4)，其中所述软件模块装置(700)包括：
用于接收(710)对应用的选择的软件模块；
用于接收(720)对所述非触摸式输入区域(104-4)的一部分(104-4A-D、P1、P2)的选择的软件模块；
用于将用于所选择应用的至少一个命令关联(730)到所述非触摸式输入区域(104-4)的所选择部分(104-4A-D、P1、P2)的软件模块；
用于提供(735)所述部分与所述应用之间的关联的反馈指示的软件模块；
用于确定(740)对象(F)在所述非触摸式输入区域(104-4)的所选择部分(104-4A-D、P1、P2)中低于阈值距离的距离(D)处的软件模块，以及
用于响应于此执行(750)所关联的命令的软件模块。
16.一种适于在用户设备(100、800)中使用的装置(800)，所述用户设备(100、800)包括显示器(104-1)、至少一个侧面传感器(104-3)，所述至少一个侧面传感器被配置成在所述显示器(104-1)的侧面接收非触摸式用户输入，从而提供非触摸式输入区域(104-4)，并且所述装置(800)包括：
用于接收(810)对应用的选择的电路；
用于接收(820)对所述非触摸式输入区域(104-4)的一部分(104-4A-D、P1、P2)的选择的电路；
用于将用于所选择应用的至少一个命令关联(830)到所述非触摸式输入区域(104-4)的所选择部分(104-4A-D、P1、P2)的电路；
用于提供(835)所述部分与所述应用之间的关联的反馈指示的电路；
用于确定(840)对象(F)在所述非触摸式输入区域(104-4)的所选择部分(104-4A-D、P1、P2)中低于阈值距离的距离(D)处的电路，以及
用于响应于此执行(850)所关联的命令的电路。
CN202180093729.6A 2021-03-03 2021-03-03 计算机软件模块装置、电路装置、用户设备和用于改进和扩展的用户接口的方法 Pending CN116868146A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2021/055344 WO2022184252A1 (en) 2021-03-03 2021-03-03 A computer a software module arrangement, a circuitry arrangement, a user equipment and a method for an improved and extended user interface

Publications (1)

Publication Number Publication Date
CN116868146A true CN116868146A (zh) 2023-10-10

Family

ID=74858443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180093729.6A Pending CN116868146A (zh) 2021-03-03 2021-03-03 计算机软件模块装置、电路装置、用户设备和用于改进和扩展的用户接口的方法

Country Status (5)

Country Link
US (1) US20240036701A1 (zh)
EP (1) EP4302168A1 (zh)
CN (1) CN116868146A (zh)
BR (1) BR112023014975A2 (zh)
WO (1) WO2022184252A1 (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009067224A1 (en) * 2007-11-19 2009-05-28 Cirque Corporation Touchpad combined with a display and having proximity and touch sensing capabilities
KR102251541B1 (ko) * 2014-06-23 2021-05-14 엘지전자 주식회사 이동단말기 및 그것의 제어방법

Also Published As

Publication number Publication date
US20240036701A1 (en) 2024-02-01
WO2022184252A1 (en) 2022-09-09
EP4302168A1 (en) 2024-01-10
BR112023014975A2 (pt) 2023-10-10

Similar Documents

Publication Publication Date Title
US9733815B2 (en) Split-screen display method and apparatus, and electronic device thereof
US10627990B2 (en) Map information display device, map information display method, and map information display program
US20220222029A1 (en) Remote gesture control, input monitor, systems including the same, and associated methods
EP3200061A1 (en) Icon management method and apparatus, and terminal
JP6073863B2 (ja) アイテム表示制御方法及び装置
JP6105822B1 (ja) タッチスクリーンの制御方法及び装置
EP2947556B1 (en) Method and apparatus for processing input using display
CN104536563A (zh) 一种电子设备控制方法及系统
US20160124599A1 (en) Method for controlling multi display and electronic device thereof
KR20130032924A (ko) 스마트 단말을 이용한 안드로이드 플랫폼 기반의 애플리케이션 실행 단말 제어방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
KR102095039B1 (ko) 터치 인터페이스를 제공하는 장치에서 터치 입력을 수신하는 방법 및 장치
EP2998838B1 (en) Display apparatus and method for controlling the same
CN103634631B (zh) 基于遥控触摸屏的图标选定方法及系统
EP3035313B1 (en) Method and apparatus for remote control
US9548894B2 (en) Proximity based cross-screen experience App framework for use between an industrial automation console server and smart mobile devices
US20160192117A1 (en) Data transmission method and first electronic device
KR101736170B1 (ko) 단말기에서의 애플리케이션 사이의 화면 전환 방법
CN116868146A (zh) 计算机软件模块装置、电路装置、用户设备和用于改进和扩展的用户接口的方法
US20240134515A1 (en) A computer a software module arrangement, a circuitry arrangement, a user equipment and a method for an improved user interface controlling multiple applications simultaneously
US20160196022A1 (en) Information processing apparatus, control method, and storage medium
US10416852B2 (en) Display and interaction method in a user interface
KR101371524B1 (ko) 원격 접속 제어용 마우스 장치
US20240103630A1 (en) A computer a software module arrangement, a circuitry arrangement, a user equipment and a method for an improved and extended user interface
EP2816457A1 (en) Method for displaying interface, and terminal device
JP2016038619A (ja) 携帯端末装置及びその操作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination