CN110506248B - 用户界面装置 - Google Patents

用户界面装置 Download PDF

Info

Publication number
CN110506248B
CN110506248B CN201780089259.XA CN201780089259A CN110506248B CN 110506248 B CN110506248 B CN 110506248B CN 201780089259 A CN201780089259 A CN 201780089259A CN 110506248 B CN110506248 B CN 110506248B
Authority
CN
China
Prior art keywords
event
notification
unit
detected
gui component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780089259.XA
Other languages
English (en)
Other versions
CN110506248A (zh
Inventor
横须贺佑介
大滨太志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN110506248A publication Critical patent/CN110506248A/zh
Application granted granted Critical
Publication of CN110506248B publication Critical patent/CN110506248B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/014Force feedback applied to GUI

Abstract

设置事件管理部(8),如果由事件检测部(7)检测到的事件是伴有触觉反馈通知的事件,则该事件管理部(8)根据由事件检测部(7)检测到的事件引起的触觉反馈的通知理由,判定是否许可通知触觉反馈,如果事件管理部(8)的判定结果示出许可通知的意思,则反馈通知部(11)通知触觉反馈。

Description

用户界面装置
技术领域
本发明涉及通知触觉反馈的用户界面装置。
背景技术
近年来,已开发出如下的用户界面装置:在针对显示有图形用户界面即GUI部件的画面进行操作时,检测针对画面的操作作为事件,如果检测到的事件是伴有触觉反馈通知的事件,则通知触觉反馈。
例如,嵌入到触摸面板等中的器件对接触触摸面板的用户的手指等赋予振动等,由此实现触觉反馈的通知。
在以下的专利文献1中公开有具有用户能够对伴有触觉反馈通知的各种事件设定优先顺位的功能的用户界面装置。
在该用户界面装置中,例如,在事件A的优先顺位被设定得比事件B的优先顺位高时,在同时检测到事件A和事件B的情况下,进行事件A引起的触觉反馈通知,但是不进行事件B引起的触觉反馈通知。
由此,在同时检测到多个事件的情况下,能够仅进行优先顺位最高的事件引起的触觉反馈通知,因此,能够减少不必要的通知。
现有技术文献
专利文献
专利文献1:日本特开2016-024826号公报
发明内容
发明要解决的课题
现有的用户界面装置如上所述构成,因此,如果用户事前对伴有触觉反馈通知的各种事件设定优先顺位,则在同时检测到多个事件的情况下,能够仅进行优先顺位最高的事件引起的触觉反馈通知。但是,每当决定GUI部件相对于画面的配置时,都需要设定优先顺位,存在要配置的GUI部件的数量越多则与优先顺位的设定相伴的用户负荷越大这样的课题。
本发明正是为了解决上述这种课题而完成的,其目的在于,得到如下的用户界面装置:用户不用事前设定优先顺位,能够减少不必要的通知,防止用户可能觉得不舒适的触觉反馈通知。
用于解决课题的手段
本发明的用户界面装置具有:操作受理部,其受理针对显示有图形用户界面即GUI部件的画面的操作;事件检测部,其使由操作受理部受理的操作从作为当前的操作对象的GUI部件根据GUI部件的树构造向母GUI部件传播,检测操作作为事件;事件管理部,如果由事件检测部检测到的事件是伴有刺激用户触觉的触觉反馈通知的事件,则该事件管理部根据由事件检测部检测到的事件引起的触觉反馈的通知理由,判定是否许可通知触觉反馈;以及反馈通知部,如果事件管理部的判定结果示出许可通知的意思,则反馈通知部通知触觉反馈,每当针对由操作受理部受理的1个操作,由事件检测部在GUI部件的树构造中从作为操作对象的GUI部件向母GUI部件依次检测到事件时,事件管理部判定检测到的事件是否是伴有触觉反馈通知的事件,如果是伴有触觉反馈通知的事件,则将检测到的事件存储到先入先出方式的队列中,在队列中存储有2个以上的事件的状况下,事件管理部根据触觉反馈的通知理由,判定是否许可通知触觉反馈,决定最终通知的触觉反馈。
发明效果
根据本发明,构成为设置事件管理部,如果由事件检测部检测到的事件是伴有触觉反馈通知的事件,则该事件管理部根据由事件检测部检测到的事件引起的触觉反馈的通知理由,判定是否许可通知触觉反馈,如果事件管理部的判定结果示出许可通知的意思,则反馈通知部通知触觉反馈。因此,具有如下效果:用户不用事前设定优先顺位,能够减少不必要的通知,防止用户可能觉得不舒适的触觉反馈通知。
附图说明
图1是示出本发明的实施方式1的用户界面装置的结构图。
图2是示出本发明的实施方式1的用户界面装置的硬件结构图。
图3是用户界面装置中的运算装置6通过软件或固件等实现的情况下的计算机的硬件结构图。
图4是示出用户界面装置中的运算装置6通过软件或固件等实现的情况下的处理步骤的流程图。
图5是示出用户界面装置中的运算装置6通过软件或固件等实现的情况下的处理步骤的流程图。
图6是示出显示器1的画面中显示的GUI部件的一例的说明图。
图7是示出显示器1的画面中显示的GUI部件的一例的说明图。
图8是示出显示器1的画面中显示的GUI部件的一例的说明图。
具体实施方式
下面,为了更加详细地说明本发明,按照附图对用于实施本发明的方式进行说明。
实施方式1
图1是示出本发明的实施方式1的用户界面装置的结构图,图2是示出本发明的实施方式1的用户界面装置的硬件结构图。
在图1和图2中,在显示器1显示图形用户界面即GUI部件。
操作受理部2例如通过图2所示的操作受理电路21实现,具有触摸面板3、鼠标4和键盘5等。
操作受理部2实施如下处理:受理针对显示有GUI部件的显示器1的画面的操作。
运算装置6具有事件检测部7、事件管理部8、事件处理部9和通知指示部10,执行各种处理。
运算装置6的事件检测部7例如通过图2所示的事件检测电路22实现。
事件检测部7实施如下处理:检测由操作受理部2中的触摸面板3、鼠标4或键盘5受理的操作作为事件。
运算装置6的事件管理部8例如通过图2所示的事件管理电路23实现。
事件管理部8实施如下处理:判定由事件检测部7检测到的事件是否是伴有刺激用户触觉的触觉反馈通知的事件。
事件管理部8实施如下处理:如果判定为是伴有触觉反馈通知的事件,则管理由事件检测部7检测到的事件。
事件管理部8实施如下处理:根据正在管理的事件引起的触觉反馈的通知理由,判定是否许可通知正在管理的事件引起的触觉反馈。
运算装置6的事件处理部9例如通过图2所示的事件处理电路24实现。
事件处理部9是使GUI部件执行由事件检测部7检测到的事件的处理的处理部。
运算装置6的通知指示部10例如通过图2所示的通知指示电路25实现。
通知指示部10实施如下处理:在由事件管理部8许可通知的情况下,指示反馈通知部11通知触觉反馈。
反馈通知部11例如通过图2所示的触觉反馈器件26实现。
在图1中,描绘出反馈通知部11与操作受理部2连接,但是,在本实施方式1中,假设触觉反馈器件26分别嵌入到触摸面板3、鼠标4和键盘5中。
反馈通知部11按照通知指示部10的指示,对操作受理部2通知触觉反馈。
在图1中,假设用户界面装置中的运算装置6的结构要素即事件检测部7、事件管理部8、事件处理部9和通知指示部10分别通过图2所示的专用硬件实现。即,假设通过事件检测电路22、事件管理电路23、事件处理电路24和通知指示电路25实现。
这里,事件检测电路22、事件管理电路23、事件处理电路24和通知指示电路25例如是单一电路、复合电路、程序化的处理器、并行程序化的处理器、ASIC(ApplicationSpecific Integrated Circuit:面向特定用途的集成电路)、FPGA(Field-ProgrammableGate Array:现场可编程门阵列)或对它们进行组合而得到的部件。
但是,用户界面装置中的运算装置6的结构要素不限于通过专用硬件实现,运算装置6也可以通过软件、固件或软件和固件的组合实现。
软件或固件作为程序存储在计算机的存储器中。计算机意味着执行程序的硬件,例如是CPU(Central Processing Unit:中央处理单元)、中央处理装置、处理装置、运算装置、微处理器、微计算机、处理器、DSP(Digital Signal Processor:数字信号处理器)等。
图3是用户界面装置中的运算装置6通过软件或固件等实现的情况下的计算机的硬件结构图。
在用户界面装置中的运算装置6通过软件或固件等实现的情况下,将用于使计算机执行事件检测部7、事件管理部8、事件处理部9和通知指示部10的处理步骤的程序存储在存储器31中,计算机的处理器32执行存储器31中存储的程序即可。
图4和图5是示出用户界面装置中的运算装置6通过软件或固件等实现的情况下的处理步骤的流程图。
此外,在图2中,示出用户界面装置中的运算装置6的结构要素分别通过专用硬件实现的例子,在图3中,示出用户界面装置中的运算装置6通过软件或固件等实现的例子,但是,也可以是,运算装置6中的一部分结构要素通过专用硬件实现,其余的结构要素通过软件或固件等实现。
接着,对动作进行说明。
图6是示出显示器1的画面中显示的GUI部件的一例的说明图。
在图6中,窗口101、列表102和按钮103分别是GUI部件。
GUI部件即列表102作为多个列表要素包含列表要素(1)、列表要素(2)和列表要素(3)。
GUI部件即窗口101、列表102和按钮103由层级构造构成。
因此,窗口101内的GUI部件通过GUI部件的树构造表现,作为表示窗口101的节点111的子节点,存在表示列表102的节点112和表示按钮103的节点113。此外,在表示列表102的节点112的正下方存在表示列表要素(1)的节点114、表示列表要素(2)的节点115和表示列表要素(3)的节点116。
在本实施方式1中,在GUI部件即窗口101中,在焦点到达列表102时,在检测到使焦点位置移动到按钮103的事件的情况下,请求事件管理部8通知触觉反馈,以使用户得知焦点位置移动到其他GUI部件。
此外,在窗口101中,在焦点到达按钮103时,在检测到使焦点位置移动到列表102的事件的情况下,请求事件管理部8通知触觉反馈,以使用户得知焦点位置移动到其他GUI部件。
进而,在窗口101中,在焦点到达按钮103时,在检测到使焦点向下方向移动的事件的情况下,请求事件管理部8通知触觉反馈,以使用户得知焦点位置到达窗口101的末端即下端。
在GUI部件即列表102中,在焦点到达列表要素(3)时,在检测到使焦点向下方向移动的事件的情况下,请求事件管理部8通知触觉反馈,以使用户得知焦点位置到达列表102的末端即下端。
事件管理部8进行如下的事件冒泡:使由事件检测部7检测到的事件从表示当前焦点到达的GUI部件的节点朝向该节点的母节点传播。
在图6所示的树构造中,例如,在焦点到达列表要素(1)时,在检测到事件的情况下,该事件按照表示列表要素(1)的节点114→表示列表102的节点112→表示窗口101的节点111的顺序传播。
但是,事件管理部8例如在由事件检测部7检测到的事件的处理完成的情况下,停止事件冒泡。
这里,在对图1的用户界面装置的处理内容进行具体说明之前,对优选的触觉反馈的通知例进行说明。
例如,考虑如下的情况:在焦点到达按钮103时,用户例如按下了操作受理部2中的键盘5的下箭头键。
在图6的例子中,在窗口101内,在按钮103的下方向未配置GUI部件。因此,当用户按下键盘5的下箭头键时,焦点位置到达窗口101的末端即下端,无法使焦点位置移动到其他GUI部件。
由此,从GUI部件即窗口101向事件管理部8输出触觉反馈的通知请求,以使用户得知焦点位置到达窗口101的末端。
在按照该请求进行了触觉反馈通知的情况下,用户能够认识到无法使焦点位置向按钮103的下方向移动,因此,可认为该触觉反馈通知是有效的通知。
接着,例如考虑如下的情况:在焦点到达列表要素(3)时,用户例如按下了操作受理部2中的键盘5的下箭头键。
在图6的例子中,在窗口101内,在列表要素(3)的下方向配置有按钮103,如果用户按下键盘5的下箭头键,则能够使焦点位置移动到按钮103。
因此,在焦点到达列表要素(3)时,当用户按下键盘5的下箭头键时,焦点位置移动到不同的GUI部件。即,焦点位置从列表102的列表要素(3)移动到按钮103。
因此,从GUI部件即窗口101向事件管理部8输出触觉反馈的通知请求,以使用户得知焦点位置移动到不同的GUI部件。下面,将该触觉反馈的通知请求称作通知请求R1。
此外,在焦点位置从列表102的列表要素(3)向按钮103移动时,焦点位置到达列表102的末端即下端,因此,从GUI部件即列表102向事件管理部8输出触觉反馈的通知请求。下面,将该触觉反馈的通知请求称作通知请求R2。
在按照通知请求R1和通知请求R2双方进行了触觉反馈通知的情况下,与1个事件相伴进行了2个触觉反馈通知,因此,用户可能觉得不舒适。
此外,即使焦点位置到达了列表102的末端,也能够移动焦点位置,因此,可认为通知请求R2引起的触觉反馈通知是不必要的通知。
因此,可认为优选仅执行通知请求R1引起的触觉反馈通知,防止执行通知请求R2引起的触觉反馈通知。
下面,在本实施方式1中,例如说明如下的用户界面装置:不用设定针对通知请求R1、R2的优先顺位,能够仅执行通知请求R1引起的触觉反馈通知,防止执行通知请求R2引起的触觉反馈通知。
例如,如图6所示,操作受理部2实施如下的处理:在显示器1的画面中显示有GUI部件时,受理针对显示器1的画面的操作。
这里,为了便于说明,设用户通过操作受理部2中的触摸面板3、鼠标4或键盘5进行了使焦点位置向下方向从列表102内的列表要素(3)的位置移动到到达窗口101下端的位置的操作。
运算装置6的事件检测部7检测由操作受理部2受理的操作作为事件E(图4的步骤ST1)。
由操作受理部2受理的操作是使焦点位置向下方向从列表102内的列表要素(3)的位置移动到到达窗口101下端的位置的操作,因此,由事件检测部7检测到的事件E包含以下的事件E1、E2。
事件E1
→使焦点位置从列表要素(3)移动到按钮103的事件
事件E2
→使焦点位置从按钮103移动到窗口101下端的事件
在本实施方式1中,示出由事件检测部7检测到的事件E包含事件E1和事件E2的例子,但是不限于此,事件检测部7也可以单独检测事件E1和事件E2。即,事件检测部7也可以在检测事件E1后检测事件E2。
运算装置6的事件管理部8掌握由事件检测部7检测事件之前的焦点位置即当前的焦点位置。
事件管理部8确定当前焦点到达的GUI部件(图4的步骤ST2),将确定的GUI部件通知给事件处理部9。
在本实施方式1中,当前的焦点位置为列表要素(3),因此,确定列表102作为当前焦点到达的GUI部件。
事件处理部9在从事件管理部8接收到焦点到达的GUI部件的通知时,使该GUI部件执行由事件检测部7检测到的事件E的处理。
在本实施方式1中,确定列表102作为焦点到达的GUI部件,因此,事件处理部9使列表102执行由事件检测部7检测到的事件E中包含的事件E1的处理(图4的步骤ST3)。
列表102执行事件E1的处理,由此,焦点位置到达列表102的末端即下端,因此,经由事件处理部9将触觉反馈的通知请求R2输出到事件管理部8。
事件管理部8根据有无来自GUI部件的触觉反馈的通知请求,判定由事件检测部7检测到的事件E中包含的事件E1是否是伴有触觉反馈通知的事件(图4的步骤ST4)。
在本实施方式1中,从列表102输出触觉反馈的通知请求R2,因此,事件管理部8判定为事件E1是伴有触觉反馈通知的事件。
这里,示出从列表102输出触觉反馈的通知请求R2的例子,但是,例如在使焦点位置从列表102内的列表要素(1)移动到列表要素(2)的事件等的情况下,不从列表102或窗口101等输出触觉反馈的通知请求。因此,如果是这种事件,则判定为不是伴有触觉反馈通知的事件。
另外,这里,作为不伴有触觉反馈的通知请求的事件的例子,举出从列表要素(1)移动到列表要素(2)的事件,但是,根据软件的规格等,从列表要素(1)移动到列表要素(2)的事件也可能是伴有触觉反馈的通知请求的事件。
事件管理部8在判定为事件E1是伴有触觉反馈通知的事件时(图4的步骤ST4:“是”的情况下),为了管理事件E1,在为了进行触觉反馈而准备的存储区域即队列中存储事件E1(图4的步骤ST5)。
在本实施方式1中,设队列是先入先出(FIFO:First-In First-Out)方式的队列。
这里,示出由事件管理部8判定为事件E1是伴有触觉反馈通知的事件的例子,但是,如果判定为事件E1不是伴有触觉反馈通知的事件(图4的步骤ST4:“否”的情况下),则不需要管理事件E1,因此,事件管理部8不将事件E1存储到队列中。
接着,事件管理部8判定是否停止与由事件检测部7检测到的事件E有关的事件冒泡(图4的步骤ST6)。
在该阶段,事件管理部8未完成由事件检测部7检测到的事件E的处理,因此,判定为不停止事件冒泡。
事件管理部8在判定为不停止事件冒泡时(图4的步骤ST6:“否”的情况下),进行使事件E1、E2从在步骤ST2的处理中确定的GUI部件即列表102向列表102的母GUI部件即窗口101传播的事件冒泡(图4的步骤ST7)。
事件E1是使焦点位置从列表要素(3)移动到按钮103的事件,因此,关于事件E1,如果不是列表102的母GUI部件即窗口101,则无法执行事件处理。
此外,事件E2是使焦点位置从按钮103移动到窗口101下端的事件,因此,关于事件E2,如果不是列表102的母GUI部件即窗口101,则无法执行事件处理。
因此,进行使事件E1、E2向窗口101传播的事件冒泡。
事件处理部9在通过事件冒泡使事件E1、E2传播到窗口101时,最初使窗口101执行事件E1的处理(图4的步骤ST3)。
窗口101执行事件E1的处理,由此,使焦点位置从列表102内的列表要素(3)移动到按钮103,因此,经由事件处理部9将触觉反馈的通知请求R1输出到事件管理部8。
事件管理部8根据有无来自GUI部件的触觉反馈的通知请求,判定由事件检测部7检测到的事件E中包含的事件E1是否是伴有触觉反馈通知的事件(图4的步骤ST4)。
在本实施方式1中,从窗口101输出触觉反馈的通知请求R1,因此,事件管理部8判定为事件E1是伴有触觉反馈通知的事件。
事件管理部8在判定为事件E1是伴有触觉反馈通知的事件时(图4的步骤ST4:“是”的情况下),为了管理事件E1,将事件E1存储到队列中(图4的步骤ST5)。
接着,事件管理部8判定是否停止与由事件检测部7检测到的事件E有关的事件冒泡(图4的步骤ST6)。
在该阶段,事件管理部8未完成由事件检测部7检测到的事件E的处理,因此,判定为不停止事件冒泡。
事件管理部8在判定为不停止事件冒泡时(图4的步骤ST6:“否”的情况下),进行使事件E2从窗口101向窗口101的母GUI部件传播的事件冒泡(图4的步骤ST7)。
但是,在本实施方式1中,不存在窗口101的母GUI部件,因此,不进行传播事件E2的事件冒泡。
接着,事件处理部9使窗口101执行事件E2的处理(图4的步骤ST3)。
窗口101执行事件E2的处理,由此,焦点位置到达窗口101的末端即下端,因此,经由事件处理部9将触觉反馈的通知请求R3输出到事件管理部8。
事件管理部8根据有无来自GUI部件的触觉反馈的通知请求,判定由事件检测部7检测到的事件E中包含的事件E2是否是伴有触觉反馈通知的事件(图4的步骤ST4)。
在本实施方式1中,从窗口101输出触觉反馈的通知请求R3,因此,事件管理部8判定为事件E2是伴有触觉反馈通知的事件。
事件管理部8在判定为事件E2是伴有触觉反馈通知的事件时(图4的步骤ST4:“是”的情况下),为了管理事件E2,将事件E2存储到队列中(图4的步骤ST5)。
接着,事件管理部8判定是否停止与由事件检测部7检测到的事件E有关的事件冒泡(图4的步骤ST6)。
在该阶段,事件管理部8已完成由事件检测部7检测到的事件E的处理,因此判定为停止事件冒泡。
事件管理部8在判定为停止事件冒泡时(图4的步骤ST6:“是”的情况下),进行是否许可通知队列中存储的事件引起的触觉反馈的判定处理。
下面,对事件管理部8进行的通知许可的判定处理进行具体说明。
事件管理部8从队列的开头读出1个事件,设读出的事件为“事件F1”(图5的步骤ST11)。
即,事件管理部8读出队列中存储的1个以上的事件中最先存储的1个事件,设读出的事件为“事件F1”。
“事件F1”对应于由列表102处理后的事件E1,因此,“事件F1”的触觉反馈的通知理由是“焦点位置到达列表102的末端”这样的理由。
接着,事件管理部8判定队列是否为空(图5的步骤ST12)。
如果队列未空(图5的步骤ST12:“否”的情况下),则事件管理部8从队列的开头读出1个事件,设读出的事件为“事件F2”(图5的步骤ST13)。
即,事件管理部8读出队列中存储的1个以上的事件中最先存储的1个事件,设读出的事件为“事件F2”。
“事件F2”对应于由窗口101处理后的事件E1,因此,“事件F2”的触觉反馈的通知理由是“焦点位置移动到不同的GUI部件”这样的理由。
事件管理部8读出事件F1和事件F2时,根据触觉反馈的通知理由判定是否许可通知正在管理的事件F1、F2引起的触觉反馈。
即,事件管理部8判定事件F1引起的触觉反馈的通知理由是否是“焦点位置到达列表102的末端”这样的理由(图5的步骤ST14)。
在本实施方式1中,判定为事件F1引起的触觉反馈的通知理由是“焦点位置到达列表102的末端”这样的理由。
事件管理部8在判定为事件F1引起的触觉反馈的通知理由是“焦点位置到达列表102的末端”这样的理由时(图5的步骤ST14:“是”的情况下),不许可通知事件F1引起的触觉反馈。
事件管理部8将先前读出的“事件F2”变更成“事件F1”(图5的步骤ST16)。
接着,事件管理部8判定队列是否为空(图5的步骤ST12)。
如果队列未空(图5的步骤ST12:“否”的情况下),则事件管理部8从队列的开头读出1个事件,设读出的事件为“事件F2”(图5的步骤ST13)。
即,事件管理部8读出队列中存储的1个以上的事件中最先存储的1个事件,设读出的事件为“事件F2”。
“事件F2”对应于由窗口101处理后的事件E2,因此,“事件F2”引起的触觉反馈的通知理由是“焦点位置到达窗口101的末端”这样的理由。
事件管理部8判定在步骤ST16的处理中变更后的事件F1引起的触觉反馈的通知理由是否是“焦点位置到达列表102的末端”这样的理由(图5的步骤ST14)。
在本实施方式1中,事件F1引起的触觉反馈的通知理由是“焦点位置移动到不同的GUI部件”这样的理由,因此,判定为不是“焦点位置到达列表102的末端”这样的理由。
事件管理部8在判定为事件F1引起的触觉反馈的通知理由不是“焦点位置到达列表102的末端”这样的理由时(图5的步骤ST14:“否”的情况下),许可通知事件F1引起的触觉反馈。
由事件管理部8许可通知时,运算装置6的通知指示部10指示反馈通知部11通知触觉反馈(图5的步骤ST15)。
反馈通知部11在从通知指示部10接收到触觉反馈的通知指示时,将刺激用户触觉的触觉反馈通知给操作受理部2。
由此,用户能够认识到焦点位置移动到不同的GUI部件。
事件管理部8将先前读出的“事件F2”变更成“事件F1”(图5的步骤ST16)。
接着,事件管理部8判定队列是否为空(图5的步骤ST12)。
在本实施方式1中,已经读出3个事件,因此,判定为队列为空。
通知指示部10在由事件管理部8判定为队列为空时(图5的步骤ST12:“是”的情况下),指示反馈通知部11通知触觉反馈(图5的步骤ST17)。
反馈通知部11在从通知指示部10接收到触觉反馈的通知指示时,将刺激用户触觉的触觉反馈通知给操作受理部2。
由此,用户能够认识到焦点位置到达窗口101的末端而无法使焦点位置向下方向移动。
由以上可知,根据本实施方式1,构成为设置事件管理部8,如果由事件检测部7检测到的事件是伴有触觉反馈通知的事件,则该事件管理部8根据由事件检测部7检测到的事件引起的触觉反馈的通知理由,判定是否许可通知触觉反馈,如果事件管理部8的判定结果示出许可通知的意思,则反馈通知部11通知触觉反馈。因此,发挥如下的效果:用户不用事前设定优先顺位,能够减少不必要的通知,防止用户可能觉得不舒适的触觉反馈通知。
在本实施方式1中,示出在由事件管理部8许可通知时通知指示部10指示反馈通知部11通知触觉反馈的例子。
但是,这只不过是一例,也可以是,事件管理部8将通知许可的判定结果输出到反馈通知部11,反馈通知部11在事件管理部8的判定结果示出许可通知的意思的情况下,通知触觉反馈。
另外,事件管理部8将通知许可的判定结果输出到反馈通知部11的方法可以是任意的方法。
例如,也可以是,事件管理部8将正在管理的全部事件的判定结果统一输出到反馈通知部11。此外,也可以是,在触觉反馈的通知理由相同的事件连续时,将连续的事件的判定结果统一输出到反馈通知部11。
在本实施方式1中,示出事件管理部8在事件引起的触觉反馈的通知理由是“焦点位置到达列表102的末端”这样的理由时不许可通知事件引起的触觉反馈的例子。
但是,这只不过是一例,也可以是,在事件引起的触觉反馈的通知理由是与“焦点位置到达列表102的末端”这样的理由不同的理由时,不许可通知事件引起的触觉反馈。
例如,也可以是,在事件引起的触觉反馈的通知理由是“焦点位置移动到不同的GUI部件”这样的理由时,不许可通知事件引起的触觉反馈。
实施方式2
在上述实施方式1中,示出事件管理部8按照队列中存储的每个事件根据该事件引起的触觉反馈的通知理由判定是否许可通知该事件引起的触觉反馈的例子。
在本实施方式2中,对事件管理部8根据队列中存储的多个事件引起的触觉反馈的通知理由判定是否许可通知1个触觉反馈的例子进行说明。
图7是示出显示器1的画面中显示的GUI部件的一例的说明图。
在图7的例子中,GUI部件即窗口101具有包含菜单要素(1)~(4)的GUI部件即菜单104、以及包含子菜单要素(1)~(5)的GUI部件即子菜单105。
在图7的例子中,菜单104内的菜单要素(1)具有子菜单105,在焦点到达菜单104内的菜单要素(1)时,在进行了点击菜单要素(1)的操作或使焦点位置向下方向移动的操作时显示子菜单105。
菜单104内的菜单要素(2)~(4)不具有子菜单105。
在图7的例子中,在焦点到达菜单104内的菜单要素(1)时,在检测到使焦点位置移动到子菜单105的事件的情况下,GUI部件即菜单104请求事件管理部8通知触觉反馈,以使用户得知焦点位置移动到其他GUI部件。下面,设该通知请求为通知请求R4。
此外,GUI部件即窗口101显示子菜单105,因此,请求事件管理部8通知触觉反馈。下面,设该通知请求为通知请求R5。
事件管理部8在通知请求R4和通知请求R5连续的情况下,判断为触觉反馈的通知理由符合可以许可通知的理由,许可通知1个触觉反馈。
另一方面,事件管理部8在通知请求R4和通知请求R5不连续的情况下,判断为事件引起的触觉反馈的通知理由不符合可以许可通知的理由,不许可通知1个触觉反馈。
由此,仅在通知请求R4和通知请求R5连续时,通知1个触觉反馈,因此,与上述实施方式1同样,用户不用事前设定优先顺位,能够减少不必要的通知,防止用户可能觉得不舒适的触觉反馈通知。
在本实施方式2中,示出事件管理部8在通知请求R4和通知请求R5连续时许可通知1个触觉反馈的例子,但是不限于此,在2个以上的通知请求的组合符合可以许可通知的理由时许可通知1个触觉反馈即可。
实施方式3
在本实施方式3中,说明如下例子:事件管理部8在许可通知焦点到达GUI部件的末端这样的理由的触觉反馈后,接着进行了使焦点位置到达GUI部件的末端的操作的情况下,不许可通知该操作的触觉反馈。
图8是示出显示器1的画面中显示的GUI部件的一例的说明图。
在图8的例子中,GUI部件即窗口101包含列表102。
在本实施方式3中,例如,在显示器1的画面中显示有图8所示的GUI部件时,用户连续多次进行使焦点位置向下方向从列表102内的列表要素(3)的位置移动到到达列表102下端的位置的操作,由此,由操作受理部2受理多个操作。
该情况下,在进行了第1次操作时,焦点位置到达列表102的末端,因此,触觉反馈的通知请求R2从列表102输出到事件管理部8。
事件管理部8从列表102接收到触觉反馈的通知请求R2时,与上述实施方式1同样,许可通知焦点位置到达列表102末端的理由的触觉反馈。
但是,当连续许可通知相同理由的触觉反馈时,用户可能觉得不舒适。
因此,即使由于从第2次起的操作而从列表102输出触觉反馈的通知请求,事件管理部8也不许可通知触觉反馈。
另外,本发明申请能够在其发明范围内进行各实施方式的自由组合、或各实施方式的任意结构要素的变形、或在各实施方式中省略任意结构要素。
产业上的可利用性
本发明适用于通知触觉反馈的用户界面装置。
标号说明
1:显示器;2:操作受理部;3:触摸面板;4:鼠标;5:键盘;6:运算装置;7:事件检测部;8:事件管理部;9:事件处理部;10:通知指示部;11:反馈通知部;21:操作受理电路;22:事件检测电路;23:事件管理电路;24:事件处理电路;25:通知指示电路;26:触觉反馈器件;31:存储器;32:处理器;101:窗口;102:列表;103:按钮;104:菜单;105:子菜单;111:表示窗口101的节点;112:表示列表102的节点;113:表示按钮103的节点;114:表示列表要素(1)的节点;115:表示列表要素(2)的节点;116:表示列表要素(3)的节点。

Claims (3)

1.一种用户界面装置,该用户界面装置具有:
操作受理部,其受理针对显示有图形用户界面即GUI部件的画面的操作;
事件检测部,其使由所述操作受理部受理的操作从作为当前的操作对象的GUI部件根据GUI部件的树构造向母GUI部件传播,检测所述操作作为事件;
事件管理部,如果由所述事件检测部检测到的事件是伴有刺激用户触觉的触觉反馈通知的事件,则该事件管理部根据由所述事件检测部检测到的事件引起的触觉反馈的通知理由,判定是否许可通知所述触觉反馈;以及
反馈通知部,如果所述事件管理部的判定结果示出许可通知的意思,则该反馈通知部通知所述触觉反馈,
每当针对由所述操作受理部受理的1个操作,由所述事件检测部在GUI部件的树构造中从作为所述操作对象的GUI部件向所述母GUI部件依次检测到事件时,所述事件管理部判定所述检测到的事件是否是伴有所述触觉反馈通知的事件,如果是伴有所述触觉反馈通知的事件,则将所述检测到的事件存储到先入先出方式的队列中,
在所述队列中存储有2个以上的事件的状况下,所述事件管理部根据触觉反馈的通知理由,判定是否许可通知所述触觉反馈,决定最终通知的触觉反馈,
所述事件管理部在所述队列中存储有2个以上的事件的状况下,从所述队列中读出第1个事件和第2个事件,判定是否许可通知所述第1个事件引起的触觉反馈后,将所述第2个事件视为第1个事件,判定是否许可通知被视为所述第1个事件的第2个事件引起的触觉反馈。
2.根据权利要求1所述的用户界面装置,其特征在于,
所述事件管理部根据由所述事件检测部检测到的多个事件引起的触觉反馈的通知理由,判定是否许可通知1个触觉反馈。
3.一种用户界面装置,该用户界面装置具有:
操作受理部,其受理针对显示有图形用户界面即GUI部件的画面的操作;
事件检测部,其使由所述操作受理部受理的操作从作为当前的操作对象的GUI部件根据GUI部件的树构造向母GUI部件传播,检测所述操作作为事件;
事件管理部,如果由所述事件检测部检测到的事件是伴有刺激用户触觉的触觉反馈通知的事件,则该事件管理部根据由所述事件检测部检测到的事件引起的触觉反馈的通知理由,判定是否许可通知所述触觉反馈;以及
反馈通知部,如果所述事件管理部的判定结果示出许可通知的意思,则该反馈通知部通知所述触觉反馈,
每当针对由所述操作受理部受理的1个操作,由所述事件检测部在GUI部件的树构造中从作为所述操作对象的GUI部件向所述母GUI部件依次检测到事件时,所述事件管理部判定所述检测到的事件是否是伴有所述触觉反馈通知的事件,如果是伴有所述触觉反馈通知的事件,则将所述检测到的事件存储到先入先出方式的队列中,
在所述队列中存储有2个以上的事件的状况下,所述事件管理部根据触觉反馈的通知理由,判定是否许可通知所述触觉反馈,决定最终通知的触觉反馈,
由所述操作受理部连续多次受理使焦点位置到达GUI部件的末端的操作,由所述事件检测部检测多个事件,
所述事件管理部许可通知由所述事件检测部检测到的多个事件中的作为第1次操作而检测到的事件引起的触觉反馈,不许可通知作为从第2次起的操作而检测到的事件引起的触觉反馈。
CN201780089259.XA 2017-04-10 2017-04-10 用户界面装置 Active CN110506248B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/014671 WO2018189784A1 (ja) 2017-04-10 2017-04-10 ユーザインタフェース装置

Publications (2)

Publication Number Publication Date
CN110506248A CN110506248A (zh) 2019-11-26
CN110506248B true CN110506248B (zh) 2023-05-12

Family

ID=63036772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780089259.XA Active CN110506248B (zh) 2017-04-10 2017-04-10 用户界面装置

Country Status (5)

Country Link
US (1) US10921894B2 (zh)
JP (1) JP6366863B1 (zh)
CN (1) CN110506248B (zh)
DE (1) DE112017007223T5 (zh)
WO (1) WO2018189784A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105278746A (zh) * 2014-07-21 2016-01-27 意美森公司 用于确定对多触摸输入的触觉效果的系统和方法
CN105793905A (zh) * 2013-11-27 2016-07-20 谷歌公司 将通知的警报延期特定时间
CN106061569A (zh) * 2014-03-07 2016-10-26 科乐美数码娱乐株式会社 游戏控制装置、游戏系统、程序及信息存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100354856C (zh) * 2001-09-24 2007-12-12 伊梅森公司 用于过滤数据的触觉反馈系统和过滤数据的方法
US8315652B2 (en) 2007-05-18 2012-11-20 Immersion Corporation Haptically enabled messaging
JP4561888B2 (ja) * 2008-07-01 2010-10-13 ソニー株式会社 情報処理装置、及び情報処理装置における振動制御方法
JP5635274B2 (ja) * 2010-01-27 2014-12-03 京セラ株式会社 触感呈示装置および触感呈示方法
JP6061528B2 (ja) * 2012-07-23 2017-01-18 キヤノン株式会社 操作装置、その制御方法及びプログラム並びに記録媒体
US9202350B2 (en) * 2012-12-19 2015-12-01 Nokia Technologies Oy User interfaces and associated methods
US9223403B2 (en) * 2012-12-19 2015-12-29 Panasonic Intellectual Property Management Co., Ltd. Tactile input and output device
US9189098B2 (en) 2013-03-14 2015-11-17 Immersion Corporation Systems and methods for syncing haptic feedback calls
US10359857B2 (en) * 2013-07-18 2019-07-23 Immersion Corporation Usable hidden controls with haptic feedback
CN115756154A (zh) * 2014-09-02 2023-03-07 苹果公司 用于可变触觉输出的语义框架
JP6001611B2 (ja) * 2014-09-03 2016-10-05 レノボ・シンガポール・プライベート・リミテッド 入力装置および触覚フィードバックをする方法
US9841883B2 (en) * 2014-09-04 2017-12-12 Home Box Office, Inc. User interfaces for media application
US10365719B2 (en) * 2017-07-26 2019-07-30 Google Llc Haptic feedback of user interface scrolling with synchronized visual animation components

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105793905A (zh) * 2013-11-27 2016-07-20 谷歌公司 将通知的警报延期特定时间
CN106061569A (zh) * 2014-03-07 2016-10-26 科乐美数码娱乐株式会社 游戏控制装置、游戏系统、程序及信息存储介质
CN105278746A (zh) * 2014-07-21 2016-01-27 意美森公司 用于确定对多触摸输入的触觉效果的系统和方法

Also Published As

Publication number Publication date
JPWO2018189784A1 (ja) 2019-04-18
WO2018189784A1 (ja) 2018-10-18
US20200026358A1 (en) 2020-01-23
CN110506248A (zh) 2019-11-26
US10921894B2 (en) 2021-02-16
DE112017007223T5 (de) 2019-12-05
JP6366863B1 (ja) 2018-08-01

Similar Documents

Publication Publication Date Title
US10019065B2 (en) Device, method, and user interface for processing intensity of touch contacts
CN106662978B (zh) 用于改善设备的单手操作的用户界面
JP6180563B2 (ja) イベント認識
US11526270B2 (en) User interface for limiting notifications and alerts
JP5204286B2 (ja) 電子機器および入力方法
JP4904375B2 (ja) ユーザインタフェース装置及び携帯端末装置
JP6337115B2 (ja) アプリケーションプログラム制御方法および関連装置
US20160065505A1 (en) Anchored approach to scrolling
EP3159836A1 (en) Structured suggestions
US8988379B2 (en) Display method, electronic device, and non-transitory storage medium
EP3000016B1 (en) User input using hovering input
US20220229547A1 (en) Devices and Methods for Processing Inputs Using Gesture Recognizers
US20160292989A1 (en) Method and system for remote battery notification
CN110506248B (zh) 用户界面装置
CN106201017A (zh) 一种输入方法和终端
JP6131686B2 (ja) 表示制御装置
JP2015114799A (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
EP2849058A1 (en) Method and device for displaying a message associated with an application
JP6057466B2 (ja) 電子機器及びコンテンツ表示方法
JP5624662B2 (ja) 電子機器、表示制御方法およびプログラム
JP5646669B2 (ja) 情報処理装置、方法及びコンピュータプログラム
JP2011187083A (ja) ユーザインタフェース装置及び携帯端末装置
JP2018190186A (ja) 情報処理装置
GB2535755A (en) Method and apparatus for managing graphical user interface items

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant