CN104981750B - 用于交互式显示的选择系统 - Google Patents

用于交互式显示的选择系统 Download PDF

Info

Publication number
CN104981750B
CN104981750B CN201280078195.0A CN201280078195A CN104981750B CN 104981750 B CN104981750 B CN 104981750B CN 201280078195 A CN201280078195 A CN 201280078195A CN 104981750 B CN104981750 B CN 104981750B
Authority
CN
China
Prior art keywords
mobile device
project
module
selection
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280078195.0A
Other languages
English (en)
Other versions
CN104981750A (zh
Inventor
F·安东内利
M·帕索里
M·扎卡纳洛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telecom Italia SpA
Original Assignee
Telecom Italia SpA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telecom Italia SpA filed Critical Telecom Italia SpA
Publication of CN104981750A publication Critical patent/CN104981750A/zh
Application granted granted Critical
Publication of CN104981750B publication Critical patent/CN104981750B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Abstract

提供一种用于通过具有加速度传感器的移动设备选择可在交互式显示系统的视觉显示器上显示的列表的项目的系统。系统包括接收器模块，该接收器模块位于用户交互作用站的表面上，并且适于在移动设备与接收器模块短程通信时以无线的方式从移动设备接收数据。用户交互作用站与视觉显示器相异。系统还包括手势获取模块，该手势获取模块适于收集通过接收器模块接收并且响应在移动设备与接收器模块短程通信时实施的移动设备的移动由加速度传感器产生的加速度数据；系统还包括手势识别模块，该手势识别模块适于在选择尺度上关联收集的加速度数据与相应的选择值。系统还包括交互作用控制模块，该交互作用控制模块适于控制交互式显示系统以基于所述选择值选择项目。

Description

用于交互式显示的选择系统
技术领域
本发明涉及用于执行移动设备与交互式显示系统之间的交互作用的系统。
背景技术
当前，在所谓的智能城市环境中，术语“交互式显示系统”是配有电子视觉显示器并且被配置为提供诸如提供用户询问的信息、连接用户与城市服务和允许用户购买商品等的服务的任何交互式系统。在本说明书中，将识别两大类的交互式显示系统，即，“站亭(kiosk)”和“公众显示器”。站亭是私人使用的系统(诸如自动取款机)，而公众显示器是大量观众使用的系统(诸如火车站的调度广告牌)。
为了在交互式显示系统位于大量人出现的公共环境中时允许用户利用个性化的服务，交互式显示系统应经过精心设计。出于这种目的，优化的交互式显示系统应该能够提供个性化的信息，并允许以安全的方式实现个性化金融交易。并且，交互式显示系统应能够管理多个用户的多个同时访问，并支持多个用户以协作或并行的方式同时操作交互式显示系统。
出于该目的，交互式显示系统需要配备用于允许用户输入数据和/或命令的输入接口，这些接口能够有效地在公共环境中动作。
当前可用的站亭配有物理按钮和/或触摸屏。相反，标准的触摸屏不能用于配备公用显示器，原因是它们不能够有效地管理多个并行访问。最近正在考虑和研究其他的交互式显示系统的输入接口，例如，能够识别和解释自由手势的接近度传感器。已关于使用智能电话作为输入接口实施了一些研究，原因是越来越广泛的人口使用这种设备。事实上，现代智能手机具有高效的数据交换功能，这些智能手机利用例如蓝牙、RFID(射频识别)和/或NFC(近场通信)通信协议标准。这种类型的输入接口用于在智能手机和位于互动显示系统上的收发器标签之间建立无线数据链接。
美国专利申请No.US 2011/0169729公开了用于在移动设备与具有包含可通过所述移动设备读取的数据的多个NFC标签的屏幕之间执行交互作用的方法，所述移动设备通过使用所述移动设备的NFC读取器模块以读取标签。在所述屏幕上显示作为应用服务的一部分的图像，使得屏幕的一个或更多个标签与用户可在使用所述应用服务时通过移动电话选择的各输入或选择的指示对应。所述显示于所述屏幕上的图像由正在运行所述应用服务的服务器控制。所述服务器通过网络链接与所述用户的所述移动电话连接。
美国专利申请No.US 2012/0017147公开了用于通过在移动设备上执行的用户输入手势实现与投影的用户界面的交互作用的方法和系统。移动设备可诸如从微投影仪将用户界面图像投影于外部表面上，并且检测由用户执行的用户输入手势。移动设备可解释检测的用户输入手势，并且响应解释的用户输入手势改变投影的用户界面图像。用户输入手势可以是在移动设备的触摸屏上执行的触摸手势的形式和/或通过翻转、旋转和/或跳动移动设备执行的手势的形式。
欧洲专利申请No.EP 1914631公开了用于在用户的移动设备和与固定于物理对象上的标签对应的Web服务之间执行交互作用的方法。所述方法包括：通过所述移动设备的标签读取模块读取包含于固定于物理对象上的标签中的标签信息，而所述标签信息包含与存储所述Web服务的描述的存储位置的链接；通过所述移动设备访问所述存储位置以下载所述Web服务的所述描述；基于所述下载的Web服务描述产生包含服务客户机的交互作用管理器以使能所述用户的设备与与所述标签对应的Web服务的交互作用。
发明内容
申请人发现，上述的在现有技术中已知的方案存在缺点。
在US 2011/0169729和EP 1914631中公开的方案均要求通过用移动设备直接触摸这种项目实施项目的选择。因此，用户必须到达视觉显示器。在交互式显示系统是视觉显示器可能不幸地较宽并且/或者位于用户不能到达的位置的共用显示器的情况下，该缺点特别明显，并且，在US 2012/001747中公开的方案利用起来是相当复杂的，原因是它要求首先例如通过微投影仪在外部表面上投影用户界面。
鉴于以上概括的现有技术的状态，申请人面临如何提供能够向用户提供便利、舒适和直观的交互作用界面的用于移动设备与交互式显示系统之间的交互作用的系统和方法的问题。
本发明的一个方面涉及用于通过具有加速度传感器的移动设备选择可在交互式显示系统的视觉显示器上显示的列表的项目的系统。系统包括接收器模块，该接收器模块位于用户交互作用站的表面上，并且适于在移动设备与接收器模块短程通信时以无线的方式从移动设备接收数据。用户交互作用站与视觉显示器相异。系统还包括手势获取模块，该手势获取模块适于收集从移动设备无线接收并且响应在移动设备与接收器模块短程通信时实施的移动设备的移动由加速度传感器产生的加速度数据。系统还包括手势识别模块，该手势识别模块适于在选择尺度上关联收集的加速度数据与相应的选择值。系统还包括交互作用控制模块，该交互作用控制模块适于控制交互式显示系统以基于所述选择值选择项目。
根据本发明的实施例，所述加速度数据反映由移动设备体验的加速度如何在与移动设备一体化的坐标系的三个正交轴之中分布。手势获取模块被配置为在每个预定时间瞬间收集包含所述三个正交轴中的每一个的加速度值的三重加速度值。手势识别模块被配置为对于各三重加速度值在选择尺度上计算相应的选择值。
根据本发明的实施例，选择值可采取包含于选择尺度的较高端点与选择尺度的较低端点之间的任何可能值。
根据本发明的实施例，选择值可仅采用包含于选择尺度的较高端点与选择尺度的较低端点之间的预定值。
根据本发明的实施例，交互作用控制模块以在任何时间瞬时在列表的项目中存在选择的项目的方式被配置。交互作用控制模块进一步被配置为基于响应移动设备的移动由手势识别模块计算的新选择值在列表的项目中实施新项目的选择。
根据本发明的实施例，交互作用控制模块被配置为通过列表的依次滚动选择新项目。新项目选择是通过以基于新选择值的滚动速度沿列表的项目依次移动实施的。
根据本发明的实施例，交互作用控制模块被配置为通过列表的直接访问选择新项目，新项目选择是通过基于新选择值沿列表的项目在列表中移动若干项目位置实施的。
根据本发明的实施例，交互作用控制模块被配置为通过基于新选择值选择位于先前选择项目中的一个之前的项目位置上的列表中的项目或位于先前选择项目中的一个之后的项目位置上的列表中的项目选择新项目。
根据本发明的实施例，接收器模块被配置为通过包含以下通信协议的短程通信协议与移动设备无线连接：IrDA通信协议；RFID通信协议；和NFC通信协议。
根据本发明的实施例，表面适于使移动设备斜向它，接收器模块适于在移动设备斜向用户交互作用站的表面时从移动设备无线接收数据。
本发明的另一方面涉及用于通过具有加速度传感器的移动设备选择可在交互式显示系统的视觉显示器上显示的列表的项目的方法。方法包括在用户交互作用站的表面附近操作移动设备，以使得移动设备进入与位于表面上的接收器模块的短程通信。用户交互作用站与视觉显示器相异。方法还包括从移动设备无线接收数据、收集通过接收器模块无线接收并且响应在移动设备与接收器模块短程通信时实施的移动设备的移动由加速度传感器产生的加速度数据和在选择尺度上关联收集的加速度数据与相应的选择值。方法还包括控制交互式显示系统以基于所述选择值选择项目。
附图说明
通过结合附图阅读本发明的一些示例性实施例和非限制性实施例的以下描述，本发明的这些和其它特征和优点将变得清晰。
图1示出根据本发明的实施例的用于移动设备与交互式显示系统之间的交互作用的系统的功能模块；
图2是包含电子视觉显示器的非常简化的交互式显示系统的等视距图；
图3表示与图1和图2的移动设备一体化的坐标系的三个正交轴；
图4A示出移动设备与地面之间的倾角；
图4B示出移动设备的开始垂直位置与移动设备的一般实际位置之间的旋转角；
图5示出图3的三个正交轴之中的标准重力分布；
图6A示出与移动设备的主表面平行的标准重力的分量和与移动设备的主表面垂直的标准重力的分量；
图6B示出与移动设备的主表面平行的标准重力的分量如何沿图3的正交轴中的两个分解；
图7A～7D示出在本发明的实施例中的示例性应用场景期间的加速度值和相应的旋转角随时间如何演进；
图8示出在用户实施一系列的向上和向下手势时加速度值可如何随时间演进的例子；
图9示出在用户与图1的交互式显示系统之间的交互作用过程中可在图2的电子视觉显示器上显示的四种可能的示例性列表布局。
具体实施方式
参照附图，图1示出根据本发明的实施例的用于具有加速度传感器的移动设备105(诸如智能电话)与具有适于显示文本、图片和视觉等形式的信息的电子视觉显示器的交互式显示系统110(诸如站亭或公用显示器)之间的交互作用的系统100的功能模块。
根据本发明的实施例，系统100被配置为允许用户通过使用其个人移动设备105作为手动移动驱动输入控制器与交互式显示系统110交互作用。换句话说，作为必须通过设置在交互式显示系统本身上的键盘直接与交互式显示系统110交互作用或者使用视觉显示器本身作为输入界面的替代，根据本发明的实施例的系统100允许用户通过移动设备105的移动向交互式显示系统110输入命令。如在以下的说明书中详细描述的那样，根据本发明的实施例的系统100被配置为，解释从移动设备105的加速度传感器接收的多维移动数据，并且，在“受约束”的空间上映射这种多维移动数据，以便允许移动设备105如同它是具有有限数量的自由度的交互式显示系统110的手动移动驱动输入控制器那样被使用。例如，根据本发明的实施例，系统100被配置为将由移动设备105提供的移动数据映射于一维空间，使得移动设备105被用作仅具有一个自由度的手动移动驱动输入控制器，诸如，例如，旋钮(可顺时针和逆时针旋转)、杠杆(可推拉)和光标(可上下左右滑动)等。
根据本发明的实施例的系统100的功能模块－以下详细描述－可以是专用硬件模块、适于在相应的硬件单元上运行的程序指令模块以及两者的组合。在图1所示的本发明的实施例中，系统100完全位于交互式显示系统110上。但是，在系统100的功能模块中的一些位于移动设备105自身上和/或通过不同的专用硬件单元实现的情况下，类似的考虑是适用的。
根据本发明的实施例，系统100包含适于通过使用诸如RFID、IrDA或NFC的低功率消耗和短程(即，低于1米、优选小于50厘米、更优选小于10厘米)通信协议与移动设备105无线交换数据的收发器模块115。收发器模块115用作命令和数据从移动设备105被携带到系统100的模块(以及相反的过程)的访问点。收发器模块115可例如为通过交互式显示系统100自身供电的电路单元或被配置为通过由移动设备105自身产生的射频(RF)场供电的无源收发器微芯片(也称为“标签”)。为了确保无线互连适当地动作，移动设备105应被布置为尽可能地接近收发器模块115(在NFC通信协议的情况下，尤其如此)。在这一方面，以下，如果移动设备105通过使用低功率和短程通信协议与收发器模块115无线连接使得前者与后者之间的距离小于1米、优选小于50厘米、更优选小于10厘米(所述距离依赖于使用的特定通信协议)，那么移动设备105被视为与收发器模块115短程通信。例如参照NFC通信协议，如果移动设备105到收发器模块115为约3～4cm或更小，那么移动设备105处于短程通信中。
图2是包含适于显示文本、图片和视频等的形式的信息的电子视觉显示器202的非常简化的交互式显示系统110的等视距图。具体而言，电子视觉显示器202适于显示包含可选择项目204的列表203，这些项目的数量、方面和功能依赖于由交互式显示系统110提供的服务的类型。也设想多级列表，其中，项目204中的一些在被选择时允许访问相应的子列表。
根据本发明的实施例，收发器模块115位于用户交互作用站205上，该用户交互作用站205被配置为在移动设备105自身与交互式显示系统110的交互作用中使移动设备105斜向它。为了帮助用户，用户交互作用站205有利于包含在中心上定位收发器模块11的交互作用面板210。优选地，虽然不是限制，使交互作用面板210关于地面倾斜。在用户将移动设备105放在这种交互作用面板210上(如图2的虚线所示)时，移动设备105与收发器模块115之间的距离使得允许在其间建立短程通信。根据本发明的实施例，用户交互作用站205是用户可到达的，并且与电子视觉显示器202相异，例如，与其分开。以这种方式，用户可很容易且舒适地与交互式显示系统110交互作用，不必到达电子视觉显示器202。在交互式显示系统110是电子视觉显示器202宽到不舒适和/或位于用户不能到达的位置的公用显示器的情况下，这是特别有用的。
必须理解，系统100还被配置为，在移动设备105接近交互作用面板205以允许移动设备105通过使用低功率和短程通信协议与收发器模块115无线连接的条件下，允许移动设备105与收发器模块115交互作用，不需要移动设备105直接接触交互作用面板205。
返回到图1，根据本发明的实施例，系统100包含被配置为实施用户识别过程的用户识别模块120，该用户识别过程针对授权用户访问和/或唯一地识别移动设备105的用户以个性化与交互式显示系统110的交互作用。用户识别可基于订户身份模块(SIM)、用户名/密码、个人识别号码(PIN)和/或生物识别认证过程。用户识别模块120被配置为一旦移动设备105被放在从收发器模块115算起的某个距离内就自动启动用户识别过程以允许在其间建立短程通信。一旦用户被识别，就可从例如直接位于交互式显示系统110中或者可通过诸如因特网的网络链接由后者远程访问的用户数据库125检索与其相关的个人信息。这种个人信息影响在电子视觉显示器202显示的列表203的内容和/或方面，并且，依赖于由交互式显示系统110提供的服务的类型。例如，在交互式显示系统110被配置为提供旅游信息的情况下，用户数据库125可对已利用服务的各用户基于其先前的交互作用体验存储用户对景点或地点的偏好。作为另一例子，在交互式显示系统110被配置为提供自行车出租服务的情况下，用户数据库125可存储各用户的租用卡余额和帐单信息。
根据本发明的实施例，当移动设备105与收发器模块115连接且其用户被用户识别模块120识别时，系统100被配置为暂时防止与其它移动设备105互连，以避免出现通信冲突。
根据本发明的实施例，系统100还包括适于从移动设备105(通过收发器模块115)收集通过设置在移动设备105自身上的加速度传感器装置(图中未示出)产生的加速度数据的手势获取模块130。手势获取模块130被配置为只要与交互式显示系统110的无线互连是活动的就不间断地从移动设备105收集加速度数据。加速度传感器装置被配置为测量由移动设备体验的加速度如何在与移动设备一体的坐标系的三个正交轴X、Y和Z中分布(参见图3)。当移动设备105静止时，总加速度等于标准重力加速度g。在这种情况下，标准重力加速度g在轴X、Y和Z之中分布的方式依赖于移动设备105关于地球表面旋转的方式。根据本发明的实施例，手势获取模块130被配置为在预定时刻ti中的每一个上收集沿轴X、Y和Z分别由移动设备105的加速度传感器装置测量的相应加速度值x、y、z，在数据表DT中配置这些加速度值，并且在例如直接设置在手势获取模块130上的存储单元(图中未示出)中存储这种数据表。数据表DT在每个时刻ti上被更新，使得基本上实时保持跟踪加速度值x、y、z。数据表DT的例子可以为以下的例子，各加速度值x、y、z的符号与在图3中使用的惯例对应：
返回到图1，根据本发明的实施例，系统100还包括被配置为处理存储于数据表DT中的加速度数据以使它们与由用户在在用户交互作用站205上移动移动设备105时实施的手势相关的手势识别模块140。出于这种目的，手势识别模块140在选择的选择尺度S上关联感测的加速度值x、y、z与相应的选择值s。这些选择值s又被系统100使用，用于实施选择动作，诸如用于选择在电子视觉显示器202上可视化的特定项目204。例如，如以下的本说明书描述的那样，可使得各项目204与特定的相应的选择值s或者与选择值s的特定的相应区间对应，或者，可使得各选择值s与项目的列表的特定滚动速度对应。由此，通过操作移动设备105如同他/她正在操作手动移动驱动输入控制，以直观的方式准许用户与交互式显示系统110交互作用。
为了详细描述手势识别模块140如何动作，现在参照移动设备105被用作虚拟旋钮的情况，该虚拟旋钮一旦被放在用户交互作用站205(参见图2)的交互作用面板210上就可围绕与交互作用面板210自身垂直的旋转轴旋转(顺时针和逆时针)。
当移动设备105被放在交互作用面板210上时，移动设备105与地面之间的角度表示为“倾角”a(参见图4A)。倾角a基本上与交互作用面板210关于地面的倾角对应。优选地，为了允许系统100高效地动作，倾角a(在交互作用中基本上保持不变)应属于区间(0,π/2]弧度，更优选属于区间[π/6,π/4]弧度。因此，交互作用面板210也优选应关于地面倾斜属于区间(0,π/2]、更优选属于区间[π/6,π/4]弧度的角度。但是，没有什么防止具有不同的角度。
并且，移动设备105被放在交互作用面板210上时的移动设备105的开始垂直位置与移动设备105的一般实际位置之间的角度表示为“旋转角度”b(参见图4B)。当用户为了模拟旋钮在交互作用中的行为旋转移动设备105时，旋转角度b改变。旋转角度b在移动设备105处于开始的垂直位置时等于0，并且，当移动设备105旋转以离开开始位置时增加(绝对值)。通过在图4B中采用的惯例，旋转角度b可在理想情况下对顺时针旋转采用区间[0,π/2]中的值，并且，对逆时针旋转采用区间[0,-π/2]中的值；实际上，旋转角度b采用用于顺时针旋转的区间[0,b1]和区间[-b2,0]中的值，其中，b1(称为最大顺时针旋转角度)和b2(称为最大逆时针旋转角度)比π/2小。
手势识别模块140被配置为，基于数据表DT的加速度值，对于各时刻ti确定移动设备105关于开始位置采取的旋转角度b，并然后基于旋转角度b在选择尺度S上检索相应的选择值s(或选择值s的区间)。
通过参照图5且假定由用户在手势执行的过程中在移动设备105上提供的加速度关于标准重力加速度g可忽略不计，在各时刻ti上，沿轴X、Y、Z的加速度x、y、z的和等于标准重力加速度g自身(以下，为了区分矢量及其模，前者由下划线识别)，即，以下的关系对于各时刻ti是有效的：
g＝x+y+z. (1)
参照图6A，给定倾角a(是已知的，由交互作用面板210的倾斜限定)，则与移动设备105的主表面平行的标准重力加速度g的分量g1和与移动设备105的主表面垂直(又与Z方向平行)的标准重力加速度g的分量g2如下：
g1＝g*sin(a) (2)
g2＝g*cos(a)＝z (3)
类似地，参照图6B，给定旋转角b(随着用户旋转移动设备105而改变)，则标准重力加速度g的分量g1又可由与方向X平行的分量g3和与方向Y平行的分量g4表达：
g3＝g1*sin(b)＝g*sin(a)*sin(b)＝x (4)
g4＝g1*cos(b)＝g*sin(a)*cos(b)＝y (5)
旋转角b可根据加速度值x和y之间的一个表达：
因此，对于各时刻ti，手势识别模块140通过使用数据表DT的相应元组中的加速度值(x或y)计算移动设备105的实际旋转角b。
如上所述，手势识别模块140进一步被配置为在选择尺度S上映射检索的旋转角b，以检索相应的选择值s(或选择值的相应的区间)。
根据本发明的实施例，给定具有与b＝b1对应的较高端点smax和与b＝b2对应的较低端点smin的选择尺度S，对于各检索的旋转角b，手势识别模块140以以下的方式确定相应的选择值s。
在这种情况下，尺度S被称为连续尺度。
根据本发明的另一实施例，作为使用诸如上述的选择值s可采用包含于区间[smin,smax]中的任何可能值的情况的连续尺度S的替代，可以使用离散尺度S，其中，选择值s可仅采用预定值smin,s1,s2,s3,…,smax，每一个与通过式(8)和(9)计算的选择值s的相应区间相关。可通过以选择值s的均匀分布区间再分区间[smin,smax]以及通过以非均匀的方式再分，实施这些相关性。
图7A～7D示出本发明的实施例中的示例性应用场景中的加速度值x和相应的旋转角b如何随时间演进。特别地，
－图7A与倾角a等于90°的情况对应；加速度值x的时间演进由附图标记705识别，而旋转角b由附图标记710识别。
－图7B与倾角a等于30°的情况对应；加速度值x的时间演进由附图标记715识别，而旋转角b由附图标记720识别。
－图7C与倾角a等于90°的情况对应，并且，对选择值s使用离散尺度S；加速度值x的时间演进由附图标记725识别，而旋转角b由附图标记730识别。图7C进一步以附图标记735示出(离散)选择值s如何随时间演进。
－图7D与倾角a等于30°的情况对应，并且，对选择值s使用离散尺度S；加速度值x的时间演进由附图标记745识别，而旋转角b由附图标记750识别。图7D进一步以附图标记755示出(离散)选择值s如何随时间演进。
根据本发明的实施例，如后面描述的那样，手势识别模块140可进一步被配置为识别由用户对实施进一步的动作执行的向上/向下手势。
从具有与选择值s对应的旋转角b的移动设备105的位置开始，所谓的“向上手势”提供在交互作用面板210上沿垂直方向向上移动移动设备105并然后向下移动以使移动设备105回到与同一选择值s对应的初始位置。类似地，所谓的“向下手势”提供在交互作用面板210上实施移动设备105的向下移动并然后进行向上移动。在向上或和向下手势的执行过程中，由用户在移动设备105上提供的外部加速度变得与标准重力加速度g相比不能忽略不计。
根据本发明的实施例，为了识别向上和向下的手势，考虑加速度值y在移动设备105向上移动时减小且在它向下移动时减小，手势识别模块140监视加速度值y的时间演进(使用图3所示的轴惯例)。
图8示出在用户实施一系列的向上和向下手势(在考虑的例子中，倾角a等于π/2且旋转角b等于0)时加速度值y可如何随时间演进的例子。
手势识别模块140通过使用噪声检测、内插和/或其它的技术，诸如例如在“Advanced Digital Signal Processing and Noise Reduction,Fourth Edition”bySaeed V.Vaseghi,John Wiley&Sons Ltd.,2008,和/或“Smoothing Noisy Data withSpline Functions-Estimating the Correct Degree of Smoothing by the Method ofGeneralized Cross-Validation”,by Peter Craven and Grace Wahba,NumerischeMathematJk 9,Springer-Verlag 1979中公开的技术，将通过加速度值y的时间演进获得的曲线平滑化。必须理解，可以使用其它的噪声检测、内插和/或其它的技术，这不影响本发明的范围。
然后，如果这种曲线在预定的检测时间窗口dtw(例如，0.5秒)内包含正-负-正峰次序，则评定向上手势的执行，而如果曲线在检测时间窗口dtw内包含负-正-负峰次序，则评定向下手势的执行。
根据本发明的实施例，向下手势可被用户用于确认列表203的选择项目204，并且，向上手势用于回到先前的列表(在多级列表的情况下)，反之亦然。
根据本发明的实施例，也可通过按压移动设备105上的按钮，或者通过在其触摸屏上执行的触摸手势，实施列表203的被选择项目204的确认。根据本发明的实施例，也设想定时项目确认，其中，在不实施任何新项目选择的情形下在经过预定时间之后确认被选择项目204。
如果用户的移动能力受损，那么他/她可能不能将移动设备105旋转到使得旋转角b跨过标准用户能到达的整个区间[0,b1]和[-b2,0]的程度。因此，移动能力受损的用户几乎不能选择需要与大(绝对值)旋转角b对应的选择值s的选择项目204。出于这种原因，根据本发明的实施例，为了允许移动能力受损的用户也选择与大旋转角b对应的那些项目204，系统100(参见图1)还包括被配置为适应性调整手势识别模块140的手势识别能力的用户自适应模块150。根据本发明的实施例，用户自适应模块150被配置为实施针对对于各用户确定相应最大旋转区间[0,b1]和[-b2,0]的用户训练动作，从而适应性调整尺度S。
在用户训练动作中，要求用户(例如，通过在电子视觉显示器202上可视化的指令消息)沿顺时针方向旋转移动设备105，直到他/她能够到达的最大旋转角b，然后，用户自适用模块150将最大顺时针旋转角b1设定为这种最大旋转角b(通过使用式(7)测量))。然后，要求用户沿逆时针方向旋转移动设备105，直到他/她能够到达的最大旋转角b；然后，用户自适应模块150将最大逆时针旋转角b2设定为这种最大旋转角b。在该点上，如上面描述的那样确定尺度S，从而将较高端点smax设定为b＝b1且将较低端点smin设定为b＝b2。在这种情况下，当采用离散尺度S时，区间[smin,smax]也可在均匀分布选择值s的区间上被再分以及通过以非均匀的方式实施再分。
根据本发明的实施例，系统100还包括被配置为控制交互式显示系统110以允许操作移动设备105的用户浏览在电子视觉显示器202上显示的列表203的项目204(参见图2)的交互作用控制模块160(参见图1)。
通过交互作用控制模块160实现的浏览过程使得在任何时刻在列表203中存在被选择项目204。交互作用控制模块160被设计为基于响应由用户执行的手势通过手势识别模块140计算的选择值s实施新项目204的选择。
为了区分当前选择项目204与在电子视觉显示器202上示出的列表203的其它项目204，可以显示图形标记，以突出显示这种被选择项目204。作为替代方案，也可通过直接改变这种项目204自身的颜色或增加其尺寸或者在电子视觉显示器202的特定部分中移动项目204，识别被选择项目204。
例如参照通过可动标记识别实际选择的项目204的情况，为了在列表203内选择新项目204，标记移动到新项目204。交互作用控制模块160被配置为通过向其移动标记首先选择列表203的预定项目204，诸如第一个(例如，最左面)或中心项目204。然后，为了改变实际项目选择，交互作用控制模块160被配置为基于响应由用户执行的手势从手势识别模块140接收的选择值s将这种标记移动到列表203的另一项目204。一旦用户选择了列表203的希望的项目204，就例如通过上述的向上或向下手势或者通过按压移动设备105自身上的确认键由用户自身确认这种选择。图9示出在用户与交互式显示系统110之间的交互作用过程中可在电子视觉显示器202上显示的四种可能的示例性列表203布局。在由附图标记910识别的列表布局中，沿行配置项目204。在这种情况下，通过根据左右方向沿行移动标记实施项目204的选择。在列表布局920中，在包含多于一个行的二维网格中配置项目204。在这种情况下，也根据右右方向沿网格的行移动标记；当超出位于行的端部的项目204时，标记在位于另一行的相应端部上的相应项目上移动。在由附图标记930识别的列表布局中，根据垂直转盘(carousel)配置配置项目，其中，标记可上下移动。在由附图标记940识别的列表布局中，根据水平转盘配置配置项目，其中，标记可顺时针或者逆时针移动。
根据本发明的实施例，交互作用控制模块160使得能够根据构建为提供自然、直观和灵活的用户界面的不同的模态改变项目204选择(例如，从列表203的项目204向另一项目204移动标记)。根据本发明的实施例，交互作用控制模块160被配置为实现称为“连续选择”模态、“逐步选择”模态和“渐进逐步选择”模态的三种不同选择模态中的至少一个，将后面描述这些模态。
所有三种模态使得能够实现从由手势识别模块140计算的选择值s开始的项目204选择(并且，如果使用，则通过用户自适应模块150)。分开选择值s的计算(由模块140和150实施)与选择项目204(通过模块160实施)的实际方式使得具有大的灵活性。
有利地，根据本发明的实施例，交互作用控制模块160被配置为，一旦选择值s被计算，就使用最佳地适合实际情况的选择模态(并且可能在用户交互作用的过程中改变选择模态)。
连续选择模态
在这种情况下，通过列表203的一系列的滚动通过交互作用控制模块160实施项目204的选择，其中，通过以基于从手势识别模块140接收的选择值s的滚动速度沿列表203的项目204依次移动，项目204选择(例如，标记)改变。根据本发明的实施例，交互作用控制模块160被配置为与接收的选择值s成比例地设定所述滚动速度。必须理解，在这种情况下，列表203以连续的方式滚动，即使通过使用离散尺度S确定了选择值s，使得各离散选择值s与多个预设滚动速度(例如，慢、中等、快、较快)中的一个对应。根据本发明的实施例，正和负选择值s与沿相反方向的滚动速度对应。根据本发明的另一实施例，作为与从手势识别模块140接收的选择值s成比例地直接设定滚动速度的替代，交互作用控制模块160可被配置为在其上面实施预备动作，诸如改变符号、乘以缩放系数和/或加减转换系数。
逐步选择模态
在这种情况下，通过直接访问列表203由交互作用控制模块160实施项目204的选择，其中，通过基于从手势识别模块140接收的选择值s沿列表203的项目204移动若干项目204位置，项目204选择(例如，标记)改变。根据本发明的实施例，交互作用控制模块160被配置为在与接收的选择值s成比例的事先选择项目204之后/之前选择位于若干项目位置上的列表203中的项目204。根据本发明的实施例，如果通过使用离散尺度S确定选择值s，那么若干项目位置可直接映射到离散选择值s上。有利地，根据本发明的实施例，当列表203为多级类型且包含具有不同数量的项目204的子列表时，交互作用控制160被配置为基于特定的选择列表即通过沿列表203的项目204移动依赖于这种列表203的长度的若干项目204位置适应性调整实施逐步项目204选择的方式。在这种情况下，对于包含第一数量的项目204的列表(或子列表)203，与对于包含比第一数量少的第二数量的项目204的列表(或子列表)203相比，包含于由同一接收选择值s导致的项目204选择移动中的项目204位置的数量被设定为更高。
渐近逐步选择模态
在这种情况下，通过基于从手势识别模块140接收的选择值s沿列表203的项目204前/后移动选择单个项目204位置，由交互作用控制模块160实施项目204的选择。例如，根据本发明的实施例，交互作用控制模块160被配置为，如果选择值s比中间选择值s(诸如s＝0)小则选择位于处于先前选择项目204中的一个之前的项目位置上的列表203中的项目204且如果选择值s比中间选择值s大则选择位于跟随先前选择项目204中的一个的项目位置上的列表203中的项目204。换句话说，根据该选择模态，移动设备105的移动被解释为沿一个或相反方向沿列表203移动项目204选择的一组脉冲。当项目204包含非常少的项目204时，该选择模态是特别有利的，原因是这避免用户由于超过而错过选择希望的项目204。
自然，为了满足本地和特定要求，本领域技术人员可将许多逻辑和/或物理修改和变更应用于上述的方案。更具体而言，虽然参照本发明的优选实施例在一定程度上详细描述了本发明，但应理解，形式和细节的各种省略、替代和变化以及其它的实施例是可能的。特别地，甚至可在没有为了提供对本发明的更彻底的理解在前面的描述中阐述的特定细节的情况下实施本发明的不同实施例；相反，为了不使得不必要的细节妨碍描述，公知的特征可被省略或简化。并且，很显然，关于本发明的任何公开的实施例描述的特定的要素和/或方法步骤可作为一般设计选择被加入到任何其它的实施例中。

Claims (10)

1.一种用于通过具有加速度传感器的移动设备选择可在交互式显示系统的视觉显示器上显示的列表的项目的系统，该系统包括：
-接收器模块，该接收器模块位于用户交互作用站的表面上，并且适于在移动设备与接收器模块短程通信时以无线的方式从移动设备接收数据，用户交互作用站与视觉显示器相异；
-手势获取模块，该手势获取模块适于收集通过接收器模块接收并且响应在移动设备斜向用户交互作用站的表面且与接收器模块短程通信时实施的移动设备的移动而由加速度传感器产生的加速度数据；
-手势识别模块，该手势识别模块适于在选择尺度上关联收集的加速度数据与相应的选择值；和
-交互作用控制模块，该交互作用控制模块适于控制交互式显示系统以基于所述选择值选择项目，
其中，所述表面适于使移动设备斜向它，接收器模块适于在移动设备斜向用户交互作用站的表面时从移动设备以无线的方式接收数据。
2.根据权利要求1所述的系统，其中，
-所述加速度数据反映由移动设备体验的加速度如何在与移动设备一体化的坐标系的三个正交轴之中分布，手势获取模块被配置为在每个预定时间瞬间收集包含所述三个正交轴中的每一个的加速度值的三重加速度值；
-手势识别模块被配置为对于各三重加速度值在选择尺度上计算相应的选择值。
3.根据权利要求2所述的系统，其中，选择值可采取包含于选择尺度的较高端点与选择尺度的较低端点之间的任何可能值。
4.根据权利要求2所述的系统，其中，选择值可仅采用包含于选择尺度的较高端点与选择尺度的较低端点之间的预定值。
5.根据权利要求2至4中的任一项所述的系统，其中，交互作用控制模块以在任何时间瞬时在列表的项目中存在选择的项目的方式被配置，交互作用控制模块进一步被配置为基于响应移动设备的移动由手势识别模块计算的新选择值在列表的项目中实施新项目的选择。
6.根据权利要求5所述的系统，其中，交互作用控制模块被配置为通过列表的依次滚动选择新项目，新项目选择是通过以基于新选择值的滚动速度沿列表的项目依次移动实施的。
7.根据权利要求5所述的系统，其中，交互作用控制模块被配置为通过列表的直接访问选择新项目，新项目选择是通过基于新选择值沿列表的项目在列表中移动若干项目位置实施的。
8.根据权利要求5所述的系统，其中，交互作用控制模块被配置为通过基于新选择值选择位于先前选择项目中的一个之前的项目位置处的列表中的项目或位于先前选择项目中的一个之后的项目位置处的列表中的项目来选择新项目。
9.根据权利要求2至4中的任一项所述的系统，其中，接收器模块被配置为通过包含以下通信协议的短程通信协议与移动设备无线连接：
-IrDA通信协议；
-RFID通信协议；和
-NFC通信协议。
10.一种用于通过具有加速度传感器的移动设备选择可在交互式显示系统的视觉显示器上显示的列表的项目的方法，该方法包括：
-在用户交互作用站的表面附近操作移动设备，以使得移动设备进入与位于该表面上的接收器模块的短程通信，用户交互作用站与视觉显示器相异；
-从移动设备无线接收数据；
-收集从移动设备无线接收的并且响应在移动设备斜向用户交互作用站的表面且与接收器模块短程通信时实施的移动设备的移动而由加速度传感器产生的加速度数据；
-在选择尺度上关联收集的加速度数据与相应的选择值；和
-控制交互式显示系统以基于所述选择值选择项目，
其中，所述表面适于使移动设备斜向它，接收器模块适于在移动设备斜向用户交互作用站的表面时从移动设备以无线的方式接收数据。
CN201280078195.0A 2012-12-17 2012-12-17 用于交互式显示的选择系统 Expired - Fee Related CN104981750B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2012/075775 WO2014094820A1 (en) 2012-12-17 2012-12-17 Selection system for an interactive display

Publications (2)

Publication Number Publication Date
CN104981750A CN104981750A (zh) 2015-10-14
CN104981750B true CN104981750B (zh) 2018-09-04

Family

ID=47552970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280078195.0A Expired - Fee Related CN104981750B (zh) 2012-12-17 2012-12-17 用于交互式显示的选择系统

Country Status (5)

Country Link
US (1) US10409455B2 (zh)
EP (1) EP2932347B1 (zh)
KR (1) KR102010431B1 (zh)
CN (1) CN104981750B (zh)
WO (1) WO2014094820A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9696414B2 (en) * 2014-05-15 2017-07-04 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using sonic signaling
US10070291B2 (en) 2014-05-19 2018-09-04 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using low energy bluetooth

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6137472A (en) * 1994-10-21 2000-10-24 Acco Usa, Inc. Method and apparatus for cursor positioning
CN102638611A (zh) * 2011-02-15 2012-08-15 Lg电子株式会社 发送和接收数据的方法以及使用该方法的显示装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7280096B2 (en) * 2004-03-23 2007-10-09 Fujitsu Limited Motion sensor engagement for a handheld device
JP5051822B2 (ja) * 2006-08-02 2012-10-17 任天堂株式会社 汎用遠隔制御機能を備えたゲーム装置
EP1914631A1 (en) 2006-10-20 2008-04-23 NTT DoCoMo, Inc. Method and apparatus for interacting with a web service
US8477139B2 (en) * 2008-06-09 2013-07-02 Apple Inc. Touch screen device, method, and graphical user interface for manipulating three-dimensional virtual objects
US20100042954A1 (en) * 2008-08-12 2010-02-18 Apple Inc. Motion based input selection
US8527688B2 (en) 2008-09-26 2013-09-03 Palm, Inc. Extending device functionality amongst inductively linked devices
WO2011075113A1 (en) * 2009-12-14 2011-06-23 Hewlett-Packard Development Company, L.P. Stylus for a touchscreen display
EP2337323A1 (en) 2009-12-17 2011-06-22 NTT DoCoMo, Inc. Method and an apparatus for performing interaction between a mobile device and a screen
US8966447B2 (en) * 2010-06-21 2015-02-24 Apple Inc. Capturing and displaying state of automated user-level testing of a graphical user interface application
US20120001747A1 (en) 2010-07-01 2012-01-05 Fisker Automotive, Inc. Electronic drive selector assembly systems and methods
US9134799B2 (en) 2010-07-16 2015-09-15 Qualcomm Incorporated Interacting with a projected user interface using orientation sensors
US9164670B2 (en) * 2010-09-15 2015-10-20 Microsoft Technology Licensing, Llc Flexible touch-based scrolling
US10120446B2 (en) * 2010-11-19 2018-11-06 Apple Inc. Haptic input device
US9055162B2 (en) * 2011-02-15 2015-06-09 Lg Electronics Inc. Method of transmitting and receiving data, display device and mobile terminal using the same
US8760425B2 (en) * 2012-03-20 2014-06-24 Sony Corporation Method and apparatus for enabling touchpad gestures

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6137472A (en) * 1994-10-21 2000-10-24 Acco Usa, Inc. Method and apparatus for cursor positioning
CN102638611A (zh) * 2011-02-15 2012-08-15 Lg电子株式会社 发送和接收数据的方法以及使用该方法的显示装置

Also Published As

Publication number Publication date
KR20150096711A (ko) 2015-08-25
US10409455B2 (en) 2019-09-10
US20150331559A1 (en) 2015-11-19
WO2014094820A1 (en) 2014-06-26
EP2932347A1 (en) 2015-10-21
KR102010431B1 (ko) 2019-08-13
EP2932347B1 (en) 2019-06-12
CN104981750A (zh) 2015-10-14

Similar Documents

Publication Publication Date Title
EP2359212B1 (en) Interface adaptation system
CN106843739B (zh) 一种移动终端的显示控制方法及移动终端
KR101879558B1 (ko) 결제를 위한 사용자 인터페이스
CN102135854B (zh) 更换壁纸的方法及使用所述方法的电子设备
CN106201315B (zh) 信息处理装置和显示方法
EP2708983B9 (en) Method for auto-switching user interface of handheld terminal device and handheld terminal device thereof
CN105446673B (zh) 屏幕显示的方法及终端设备
CN106933526A (zh) 一种动态调节屏幕刷新率的方法、装置及移动终端
CN103019505A (zh) 在多用户交互桌台上建立用户专用窗口的方法和装置
CN106537326A (zh) 用于辅助显示器的移动设备输入控制器
CN109791468A (zh) 用于双手控制的用户界面
CN102479035A (zh) 具有触摸屏的电子设备及显示左右手控制界面的方法
CN106339086A (zh) 一种调节屏幕字体方法、装置以及电子设备
CN105824531A (zh) 数值调整方法及装置
CN108563175A (zh) 显示界面显示方法、装置、控制设备和可读存储介质
CN104508605A (zh) 与计算机连用的改良型装置
CN110221761A (zh) 显示方法及终端设备
CN107450804B (zh) 一种响应触控操作的方法和终端
CN104981750B (zh) 用于交互式显示的选择系统
US11016657B2 (en) Electronic device for interacting with custom user interface elements
US20080068195A1 (en) Method, System And Device For The Haptically Controlled Transfer Of Selectable Data Elements To A Terminal
CN111145891A (zh) 信息处理方法、装置及电子设备
CN204423532U (zh) 一种蓝牙传输收银系统
CN108932089A (zh) 一种目标对象的调整方法、装置、电子设备及存储介质
JP6257822B1 (ja) 情報処理システム及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180904

Termination date: 20211217