CN110036357A - 控制用户界面的方法、程序及装置 - Google Patents

控制用户界面的方法、程序及装置 Download PDF

Info

Publication number
CN110036357A
CN110036357A CN201780062909.1A CN201780062909A CN110036357A CN 110036357 A CN110036357 A CN 110036357A CN 201780062909 A CN201780062909 A CN 201780062909A CN 110036357 A CN110036357 A CN 110036357A
Authority
CN
China
Prior art keywords
user
application program
picture
movement
display content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780062909.1A
Other languages
English (en)
Inventor
青山智信
佐佐木竜生
片冈诚一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ying Zhi Ai Software Co Ltd
HI Corp
Original Assignee
Ying Zhi Ai Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ying Zhi Ai Software Co Ltd filed Critical Ying Zhi Ai Software Co Ltd
Publication of CN110036357A publication Critical patent/CN110036357A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3614—Destination input or retrieval through interaction with a road map, e.g. selecting a POI icon on a road map
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Abstract

提供一种控制用户界面的方法，所述用户界面根据用户对显示画面进行的操作来对应用程序发出指示，所述控制用户界面的方法包括：由具有所述画面的装置取得所述显示内容的步骤；抽出所取得的所述显示内容中存在的1个以上的特征的步骤；接收用户的动作的步骤；根据接收的所述动作及抽出的所述1个以上的特征，从数据库中检索规定操作的步骤；将检索到的与所述动作不同的规定操作相应地应用于所述显示内容，从而向所述应用程序发出指示的步骤。

Description

控制用户界面的方法、程序及装置
技术领域
本发明涉及一种控制用户界面的方法、程序及装置。
背景技术
移动电话、平板计算机等便携式终端、音乐播放装置、笔记本计算机等具备CPU的设备中，可运行多种多样的应用程序。这些应用程序具备用户界面，用于接收用户发出的指示并向用户提供信息。
在这些设备中运行的应用程序各为独自设计，各有独自的用户界面，并以独自的方式实现用户与设备之间的互动。当然，在同一操作系统中运行的应用程序中，对操作系统提供的基本用户界面进行统一化的情况居多。另外，由同一企业根据同一设计思想开发出的应用程序群中，多采用相同的用户界面。
然而，世界上存在多种操作系统，并且，在操作系统水平受到支持的周边设备也有多种，因此所述基本用户界面会有根据操作系统而异的情况。另外，即使是同一企业根据同一设计思想制作的应用程序群，其中也会有用户界面具有相异部分的情况。此外，即使是相同应用程序，根据不同版本，用户界面会有变更。由此，用户与设备之互动根据每个应用程序而异的情况较多。
此外，在驾驶汽车等的情况下，有时无法操作便携式终端，有时会造成驾驶中的应用程序操作障碍。
因此，例如扩大显示画面时，根据应用程序，可以通过扩大手势(pinch out)发出指示，通过双击鼠标发出指示，通过使鼠标滑轮旋转而发出指示等，存在各种指示方式。
从而，即使在发出相同指示的情况下，根据各个应用程序，会要求用户进行不同的操作。另外，还有驾驶中等导致操作本身受障碍的情况。
现在已有在这种情况下将用户通过界面进行的操作置换成其他操作的技术。
例如，利用具备声音及/或手动用户界面，进入(access)可以通过选项单阶层来进行存取的装置功能，从而能够根据被称为声音捷径的一种声音指令进行分支捷径化。所述装置具有：用于存储用户的相互作用系列的存储元件；用于寻找与存储的相互作用系列对应的声音捷径的元件；在发现了声音捷径的情况下，向用户发出信息，以向用户通知所述声音捷径的存在情况的元件(例如，参照专利文献1)。
此外，在用于从数据库查询及显示记录的用户界面，被赋予用户特定档(userprofile)及进行操作，以与其他基准相同的方式协助查询。例如已有一种技术，采用与由用户将明示性选择以规则形式组入用户特定档的、更为典型的选择特定档相同的方式，将所述“默认的”特定档追加到查询中(例如，专利文献2参照)。
然而，这种置换操作技术是一种以通过对特定应用程序实现捷径等来达到节省操作者的时间劳力等目的的技术。因此，根据这种历来技术，为了按照每个应用程序进行与用户的各操作对应的动作，需要按各应用程序进行设计。
依然是，应用程序的开发者需要按每个应用程序来制作用户界面，用户需要学习与所述用户界面相应的操作。
因此，被要求在各种利用状况下进一步提高用户对各种应用程序的易存取性、易用性等(可及性)。
<现有技术文献>
<专利文献>
专利文献1:日本特开2000-231398号公报
专利文献2:日本特表2003-529154号公报
发明内容
<本发明要解决的课题>
本发明的技术其目的在于进一步提高用户对各种应用程序的易存取性、易用性等(可及性)。
<解决上述课题的手段>
一个实施方式公开了一种控制用户界面的方法，所述用户界面根据用户对显示画面进行的操作，来对应用程序发出指示，所述方法包括：由具有所述画面的装置取得所述显示的步骤；抽出所取得的所述显示中存在的1个以上的特征的步骤；接收用户的动作的步骤；根据接收的所述动作及抽出的所述1个以上的特征，从数据库中检索规定操作的步骤；将检索到的与所述动作不同的所述规定操作，相应地应用于所述显示，从而向所述应用程序发出指示的步骤。
<发明的效果>
根据本发明的技术，能够进一步提高用户对各种应用程序的易进接性、易用性等(可及性)。
附图说明
图1是例示一个实施方式的设备结构的图。
图2是说明一个实施方式的功能概要的图。
图3是例示一个实施方式中的动作定义的图。
图4是例示应用程序的具体显示的图。
图5是例示画面的扩大及缩小指示的图。
图6是表示一个实施方式的动作的流程图。
图7是例示实现一个实施方式的用户界面控制程序的运行环境的图。
图8是例示实现一个实施方式的用户界面控制程序的运行动作环境的图。
图9是例示从用户的动作、显示画面的特征抽出结果等，作成用于抽出适当的指示及操作的数据库的图。
图10是例示硬件结构的图。
具体实施方式
＜设备结构的例示＞
图1表示一个实施方式的设备结构例。本实施方式包括便携式终端100、服务器110及界面装置160。其中，服务器110及界面装置160并非是必不可少的结构，也可以仅由便携式终端100实现本实施方式。
本实施方式可由例如在便携式终端100中运行的程序实现。或者，本实施方式亦可由便携式终端100与其他装置(例如，服务器110、界面装置160)共同实现。还可以作为方法发明实现本实施方式。另外，实施方式也可以通过装置等物体发明实现。
界面装置160接收例如用户142发出的声音140、人的手指的手势152、手势154、来自开关SW130的信号等信息。界面装置160将接收的信息变换成电信号，并能够通过无线或有线的通信145，将变换后的信息发送给便携式终端。
便携式终端100中设置有移动电话网、无线局域网(WiFi)、蓝牙(注册商标)、近距离无限通信(NFC)等通信功能。便携式终端100利用通信功能，例如利用互联网等网络或P2P通信，与其他便携式终端或服务器110等的各种计算机进行通信，从而能够传递各种信息。
另外，便携式终端100也可以不经过界面装置160就接收声音140、人的手指的手势152、手势154、来自开关SW130的信号等信息。便携式终端100具有1个以上的照相机102，能够以动画或静止画的方式取得例如人的手指的手势152、手势154等。另外，便携式终端100可以通过传声器106取得用户142发出的声音140。另外，可以利用与便携式终端连接的开关SW130，使便携式终端100获取由用户142输入的指示。便携式终端100还可以具备用于连接开关SW130的端子(未图示)。或者，便携式终端100与开关SW130可以是无线连接。另外，便携式终端具有显示器104。显示器104的显示画面，在本实施方式中利用于模式识别。
一个实施方式中，如下所述，可以通过网络NW120从服务器110向便携式终端提供数据库的更新信息。或者，可以通过网络NW120从便携式终端100向服务器110中的数据库发送检索指示，便携式终端100从服务器110取得检索结果。下述数据库存在于与网络NW120连接的任意的硬件结构中即可。
在此，图1中表示移动电话形式的便携式终端100，但便携式终端100并不限定于移动电话，例如，还可以是埋设固定在汽车前面板(front panel)等的硬件结构。或，便携式终端100还可以是具有通信功能的手表，或其他可穿戴式的设备。另外，界面装置160还可以是固定在汽车方向盘等的硬件结构。
图2是说明一个实施方式的功能概要的图。
更详细而言，图2表示对便携式终端中运行的用于显示地图的应用程序的用户界面进行控制的实施方式。
首先，说明图2的地图应用程序的动作。其后说明一个实施方式。
＜地图应用程序的原本动作的说明＞
图2(A)中，表示便携式终端100的显示画面210。箭头标记211是表示地图上的目的地的符号。星形标记212是表示地图上的当前位置(便携式终端100当前所在的位置)的符号。
由四边框包围显示的“目的地”214，是用于发出将目的地显示在画面中央的指示的按键。用户的手指轻击所述按键“目的地”214的位置时，能够向地图应用程序发出将目的地显示在画面中央的指示。图2(A)的显示画面210表示的是按键“目的地”214刚被轻击之后的状态。因此，代表目的地的箭头标记211被显示在显示画面210的中央。
由四边框包围显示的“当前位置”216，是用于发出将当前位置显示在画面中央的指示的按键。用户用手指轻击所述按键“当前位置”216的位置时，能够向地图应用程序发出将当前位置显示在画面中央的指示。
图2(B)的显示画面220表示的是“当前位置”216刚被轻击之后的状态。因此，代表当前位置的星形标记212被显示在显示画面210的中央。
＜第1实施方式的动作说明＞
本实施方式中，将说明利用用户的声音来向地图应用程序发出指示的例子。在此，关于动作详情见后文叙述，图2中说明本实施方式的动作概要。
地图应用程序具备用于接收用户对画面进行的轻击操作的功能。而本实施方式中，通过对所述地图应用程序进行轻击之外的操作，例如用户的声音，也能够向地图应用程序发出与轻击相同的指示。
由此，实施方式中，通过分析显示画面210的内容，在地图应用程序的画面中，识别按键“目的地”214及按键“当前位置”216存在于显示画面中的情况。关于该识别，利用本领域技术人员周知的现有模式识别技术，在本实施方式中可预先抽出特征。另外，按键“目的地”214及按键“当前位置”216存在于显示画面的左下部，因此还能认确定地图应用程序。另外，根据按键“目的地”214及按键“当前位置”216呈四边形，基于此特征也能够判断地图应用程序。通过判断出地图应用程序，能够更正确地预测地图应用程序的举动。因此，优选预先对地图应用程序的种类进行判断。
或者，在能够从操作系统取得地图应用程序的种类的情况下，能够推测所述地图应用程序的显示画面布局，例如，能够从显示画面的规定位置开始进行对“目的地”214及按键“当前位置”216的模式识别，以加快模式识别的速度。
本实施方式中，在用户发出的声音为“当前位置”的情况下，将对地图应用程序发出如同轻击按键“当前位置”216的操作。即，例如在用户的发音为“当前位置”的情况下，用于实现本实施方式的程序会识别出用户发出的“当前位置”之音。并且，用于实现本实施方式的程序会向便携式终端100的操作系统发出表示按键“当前位置”216所在的画面位置被轻击的结果。然后，操作系统会向地图应用程序传达按键“当前位置”216的画面位置被轻击的情况，由此，地图应用程序会识别为接到按键“当前位置”216被轻击的指示，如图2(B)的显示画面220所示，会以表示当前位置的星形标记212位于显示画面中央的方式，在显示画面220上显示地图。
在用户发音“目的地”的情况下，本实施方式的程序向操作系统传达按键“目的地”214被轻击的事项。然后，操作系统会向地图应用程序传达按键“目的地”214的画面位置被轻击的情况，由此，地图应用程序会识别为接到按键“目的地”214被轻击的指示，如图2(A)的显示画面210所示，以表示目的地的箭头的标记211位于显示画面中央的方式，在显示画面210上显示地图。关于这些动作的详情，以下将参照图7及图8进行说明。
＜第2实施方式＞
图3是例示一个实施方式中的动作定义的图。
图3的表300中，无论用户的动作是手势还是声音，均可对多个应用程序(应用程序X、应用程序Y、应用程序Z)发出规定的指示。以下，详细说明表300。
列310表示为了向应用程序发出相应的指示，作为用户的动作应识别何种手势。
列312表示，为了向应用程序发出相应的指示，作为用户的动作应识别何种声音。
列314表示，向应用程序发出的指示。
列316表示，应用程序X原本根据用户发出的何种操作来执行相应的指示。
列318表示，应用程序Y原本根据用户发出的何种操作来执行相应的指示。
列319表示，应用程序Z原本根据用户发出的何种操作来执行相应的指示。
在此，例如，作为用户的动作(手势)，以通过界面装置160或便携式终端100的照相机102，便携式终端100识别出列310、行340中记载的“食指朝下的手的动作”的情况为例进行说明。在此情况下，其表示列314、行340所示的指示“将当前位置显示在画面中心的指示”(用户发音“当前位置”，并识别出所述发音的情况也与此相同)。
因此，在上述情况下，例如应用程序X正在运行的情况下，用于实现本实施方式的程序会向对应用程序X进行“向应用程序X发出轻击‘当前位置’的显示部分的操作”。其结果，应用程序X会将当前位置显示在画面中心。向应用程序X发出所述操作时，操作系统可以参与。
另外，应用程序Y正在运行的情况下，用于实现本实施方式的程序会对应用程序Y进行“向应用程序Y发出点击按键‘当前位置’的显示部分的操作”。其结果，应用程序Y会将当前位置显示在画面中心。向应用程序X发出所述操作时，操作系统可以参与。
另外，应用程序Z正在运行的情况下，用于实现本实施方式的程序会对应用程序Z进行“向应用程序Z发出轻击符号B的操作”。其结果，应用程序Z会将当前位置显示在画面中心。
在识别出其他的用户动作(手势或声音)的情况下，如表300所示，也对现在运行的应用程序传达对应的操作，从而能够执行相应的指示。
在此，表300中，作为用户的动作，表示了与各个指示对应的手势及声音两者，也可以仅由其中一者表示相应的特定指示。
在此，例如可以采用本领域技术人员周知的模式识别技术，从便携式终端100的照相机102拍摄的映像中识别出用户的手势。另外，例如可以采用本领域技术人员周知的模式识别技术，从界面装置160或便携式终端100的传声器106取得的音响信号中识别出用户的声音。
还可以通过判断用户使用图1的SW130例如在规定时间内对开关进行了几次按压，来识别用户的动作(未图示)。另外，可以通过便携式终端100具备的各种传感器1162，来识别用户的动作(未图示)。
根据本实施方式，相对于历来的应用程序中若不进行轻击画面、点击动作等较为繁琐的规定操作就无法发出指示的应用程序而言，用户通过简单的手势或发出声音等简便的动作，就能够向应用程序发出指示。
另外，在向来传达相同指示时需要进行不同操作的多个应用程序中，也能够通过用户的相同动作，发出相同指示。
此外，对于各个应用程序，无需加以修改，就能够自由变更用户界面。
另外，取代SW130，若连接上可自动进行预定的开关操作的装置，则无需由用户进行操作，本实施方式还可以用于自动检查应用程序举动的用途。
另外，当用户正驾驶汽车等而无法操作便携式终端100的情况下，通过用户的手势或声音，能够对应用程序发出所希望的指示。
图4是表示图3的多个应用程序的具体显示例的图。
图4(A)例示了图3的列318所示的应用程序Y的画面。在地图410的下部，从左起依序显示有出发地414、当前位置416及目的地418。并且，地图410中，标出了表示出发地的十字标记411、表示当前位置的黑圆标记412及表示目的地的星形标记413，连接这些的路径由黑线表示。例如，若点击出发地414，表示出发地的十字标记411会被显示在地图410的中心。另外，如图3的行330所示，根据用户伸出食指的手势，或发出“出发地”的声音，用于实现本实施方式的程序会向应用程序Y传达点击按键“出发地”的显示部分的操作。由此，与上述原来的操作同样，表示出发地的十字标记411将被显示在地图410的中心。
另外，根据在地图410的下部从左起依序显示有出发地414、当前位置416、目的地418的特征，用于实现本实施方式的程序能够识别出正在显示应用程序Y的画面。通过识别出哪个应用程序正在运行，能够对应用程序发出用于传达更适当的指示的操作。
图4(B)例示了图3中列319的应用程序Z的画面。在显示画面420的左下部分显示有倒三角形的符号A426及双重圆圈的符号B428。所述两个符号位于显示画面的左下，由此还能够识别出应用程序Z正在运行。
黑圆标记422表示当前位置。箭头的尖端423表示目的地。例如，通过轻击倒三角形的符号A426，表示目的地的箭头的尖端423将被显示在显示画面420的中心。如图3的行350所示，通过用户的拇指上伸的手势，或发出“目的地”的声音，用于实现本实施方式的程序会向应用程序Z发出轻击符号A的操作。由此，与上述原来的操作同样，表示目的地的箭头的尖端423会被显示在显示画面420的中心。
图5是例示画面的扩大及缩小的指示的图。
图5(B)表示图5(A)的显示画面510被扩大后的显示画面512。图5(C)表示图5(B)的显示画面512被进一步扩大后的显示画面514。
图5(D)中握拳的手势520与图3的行370所示的手势相同。例如，在显示图5(C)的显示画面514时，若识别出手势520，画面将被缩小成图50(B)的显示画面512。并且，例如，在显示图5(B)的显示画面512时，若识别出手势520，画面将被缩小成图5(A)的显示画面510。
图5(E)的开掌手势530与图3的行360所示的手势相同。例如，在显示图5(A)的显示画面510时，若识别出手势530，画面将被扩大成图5(B)的显示画面512。并且，例如，在显示图5(B)的显示画面512时，若识别出手势530，画面将被扩大为图5(C)的显示画面514。
箭头522及箭头532表示画面迁移的方向。
如上所述，无需触碰画面，而是根据用户的规定手势，就能够更简单地实现画面的扩大或缩小操作。通过用户进行发出“缩小”的声音及发出“扩大”的声音的操作，也能够实现上述操作。
另外，还可以通过各种传感器1162识别用户的其他动作，来进行扩大或缩小操作。
图6是表示一个实施方式的动作的流程图。
在步骤S602，实施方式的程序取得显示画面。
在步骤S604，实施方式的程序进行例如以下动作。
1.分析所取得的显示画面，识别运行中的应用程序。
2.根据识别出的应用程序，识别所取得的显示画面中存在的各目标(object)，并确定各自的位置。
另外，在所述步骤中，通过分析所取得的显示画面来识别运行中的应用程序，此外也可以从操作系统取得运行中的应用程序是什么程序。
在步骤S606，实施方式的程序取得用户的动作(声音、手势等)。
在步骤S608，实施方式的程序识别所取得的用户的动作(声音、手势等)。
在步骤S610，实施方式的程序利用应用程序所运行的操作系统的信息、识别出的运行中应用程序、识别出的目标及目标位置、及识别出的用户的动作等，对数据库进行检索，以抽出用户应该对运行中的应用程序进行的操作。在此，关于操作系统的信息，可由用于实现本实施方式的程序从操作系统中直接取得用于确定操作系统的信息。另外，如上述用于确定运行中应用程序的信息，也可以从操作系统直接取得。
在步骤S612，实施方式的程序代替用户，将抽出的操作应用于运行中的应用程序。
在步骤S614，实施方式的程序使运行中的应用程序执行所希望的动作。
如上所述，本实施方式中通过识别显示画面，能够灵活指定与适于显示画面的指示相对应的操作。由此，即使在驾驶汽车等的情况下，用户无法直接操作便携式终端的画面时，也能够向便携式终端发出用户所希望的适当指示。
并且，能够避免为了实现上述处理而对应用程序的程序本身加以调整的情况。
图7是一个实施方式的功能方块图。
显示画面取得部702取得便携式终端100的显示画面。所述显示画面可以是图像画面。例如，可以从操作系统取得显示画面。也可以从对画面进行的描画信号取得显示画面。或者，还可以用照相机等拍摄画面，取得显示画面。
显示画面特征抽出部704从取得的显示画面中抽取1个以上的特征。作为特征，是指能够确定作为轻击对象的符号显示、按键显示、这些符号等存在的位置、应用程序的特征等。
用户动作取得部706，例如，取得用户的手的动作的画像、取得发出的声音信息、按压开关的信息等。
从用户动作识别部708获得的信息，例如是用户的手的状态的识别结果、声音识别结果、用户的面部表情、用户本人认证结果、在规定时间内的开关按压次数等。
操作检索部710，基于显示画面特征抽出部704、用户动作识别部708及其他信息(操作系统的识别信息等)，检索数据库712，抽取与被要求的指示对应的操作。在此，如上所述，操作检索部710可以从操作系统取得便携式终端100的显示器104的前景(foreground)中现在显示的应用程序的种类信息，并将所述现在显示的应用程序的种类信息用于数据库712的检索。或，可由显示画面特征抽出部704从所取得的显示画面的特征中，抽出便携式终端100的显示器104的前景中现在显示的应用程序的种类信息。
应用程序指示部714代替用户，将抽出的指示发给运行中的应用程序。其结果，可传达对应用程序要求的指示。并且，应用程序依据所述指示进行处理。
图8是例示用于实现实施方式的用户界面控制程序的运行环境的图。
应用程序806是由本实施方式代替用户传达操作的对象应用程序。
用户界面控制程序804是用于实现实施方式的程序。应用程序806及用户界面控制程序804能够在安装在便携式终端100的操作系统802中运行。在此，用户的动作810(手势、声音等)被硬件800取得，并被传递给操作系统802。
以上的运行环境为一例，实施方式并不限定于所述运行环境。
图9是例示制作数据库的图，所述数据库用于从用户的动作、显示画面的特征抽出结果等中抽取适当的指示及操作。
如图9所示，操作者910可以向数据库制作部920输入用于存入数据库中的条目(entry)信息930，并将条目信息930存放在数据库中。
条目信息930，如“针对应用程序的指示”栏中所示，其表示对应用程序发出“在画面的中央显示当前位置”的指示的条目内容。
即，在“显示画面的特征”是“应用程序Z”，且“符号B的存在”及“符号B的位置”是规定位置的情况下，并识别出了以下(a)或(b)的任一个用户的动作或声音的情况下，能够抽出对显示画面应用“轻击符号B”的操作。
(a)“用户的动作”为“食指朝下”的动作的情况
(b)“用户的声音”为“当前位置”的情况
存放有此类条目信息930的数据库的检索如下所示。
以识别出的“显示画面的特征”及“用户的动作”作为检索关键词，检索数据库，可抽出“应用于显示画面的操作”。或，以识别出的“显示画面的特征”及“用户的声音”作为检索关键词，检索数据库，可抽出“适用于显示画面的操作”。
如上所述，完成用于在应用程序Z运行中的情况下显示当前位置的数据库的条目记入处理。
通过按每个应用程序，以涵盖各操作的方式进行以上处理，来作成各条目并保存于数据库中，由此完成数据库。
<变形例>
在以上的实施方式中，接收用户的动作，并对接收的用户的动作进行识别，然而各实施方式并不限定于以用户的动作作为对象。例如，还可以接收画在纸上等的画像、绘图、文字、显示器的显示、照片、或景色、物体等的拍摄信息等，并识别其内容。
本实施方式可由在1个以上的硬件结构中执行的1个以上的程序实现。或，也可以由多个装置结构，且多个装置通过通信电路等彼此配合的方式来实现本实施方式。
在一个实施方式中，获取便携式终端的显示画面时，可对显示画面进行密码化。
取得的显示画面例如可以是便携式终端100的显示画面的一部分。
另外，还可以在显示画面的一部分显示基于本实施方式的程序的规定标记等。通过采用这种方式，本实施方式的程序能够确认该画面是本实施方式的程序对用户界面进行控制的对象显示画面。
＜硬件结构例＞
图10是表示便携式终端100及服务器110的硬件结构的图。图10中一并记载了便携式终端100及服务器110的硬件结构。
硬件结构中，包括显示控制部1110、显示部1112、CPU1120、存储器1130、通信控制部1140、外部存储器控制部1150、存储介质1152、输入界面1160、各种传感器1162、照相机1164、传声器1166、输出界面1170、扬声器1172、显示器1174、振动器1176、触控面板控制部1180、触控面板1182等。在此，通信控制部1140上连接有可进行通信的无线网络1142，此外也可以连接可进行通信的有线网络。另外，各结构要素可以通过总线(bus)1190彼此连接。
可以省略便携式终端100及服务器110的这些硬件结构中的一部分，也可以设置在其他硬件结构中。
在此，本实施方式的全部或一部分可由程序实现。可将所述程序存储在存储介质1152中。存储介质1152是指具有相应结构的1个以上的非临时性(non-transitory)存储介质。例如，作为存储介质1152，有磁性记录媒体、光碟、光磁性记录媒体、半导体存储器、非挥发性存储器等。半导体存储器包括RAM、ROM、SD存储器等。磁性记录媒体包括HDD、软性磁碟(FD)、、磁带(MT)等。光碟包括DVD(Digital Versatile Disc)、DVD-RAM、CD-ROM(CompactDisc-Read Only Memory)、CD-R(Recordable)/RW(Rewritable)等。另外，光磁气记录媒体包括MO(Magneto-Optical disk)等。通过读取记录媒体中存放的程序，并由CPU执行，从而可实施各实施方式的全部或一部分。
各实施方式用于理解本发明，应注意其并非用于限定本发明的范围。另外，上述多个实施方式并不彼此排斥。因此，还应注意其意味着只要不存在矛盾，可对不同实施方式的各要素进行组合。另外，权利要求中记载的方法或程序的发明，只要不存在矛盾，可变更处理的顺序，或，可同时进行多个处理。当然，这些实施方式也属于权利要求所记载的发明的技术范围中。
另外，不仅能够通过执行由计算机读取的程序编码，来实现上述实施方式的功能，还能够根据所述程序编码的指示，由计算机中运行的操作系统等的其他程序进行实际处理的一部分或全部，以这些处理来实现实施方式的功能，当然所述方式也属于本发明中。
另外，也可以由物理性分离的多个硬件结构来实现各种实施方式的各自的结构要素。另外，本发明的各种实施方式的各自的结构要素，也可以分散为1个计算机中运行的多个空想设备来实现。
本申请根据2016年10月12日向日本专利厅提出的基础申请2016-201171号请求优先权，并参照其所有内容。
符号说明
100 便携式终端
102 照相机
104 显示器
106 传声器
110 服务器
120 网络NW
130 开关SW
140 声音
142 用户
152 手势
154 手势
160 界面装置

Claims (6)

1.一种对用户界面进行控制的方法，所述用户界面根据用户对画面的显示内容进行的操作来发出针对应用程序的指示，所述方法包括由具有所述画面的装置进行的如下步骤：
取得步骤，取得所述显示内容；
抽出步骤，抽出所取得的所述显示内容中存在的1个以上的特征；
接收步骤，接收用户的动作；
检索步骤，根据接收的所述动作及抽出的所述1个以上的特征，从数据库中检索规定操作；及
指示步骤，将检索到的与所述动作不同的所述规定操作，相应地应用于所述显示内容，从而向所述应用程序发出指示。
2.根据权利要求1所述的方法，其中，
在所述抽出步骤中，利用对所述显示内容的模式识别方法，抽出所述1个以上的特征。
3.根据权利要求1或2所述的方法，其中，
所述动作是由照相机拍摄的用户的身体动作或是由传声器取得的用户的声音。
4.根据权利要求1至3中的任一项所述的方法，其中，
具有所述画面的装置与所述应用程序运行的装置是不同的装置。
5.一种程序，其用于，
使具有所述画面的装置执行权利要求1至4中的任一项所述的方法。
6.一种控制用户界面的装置，所述用户界面根据用户对画面的显示内容进行的操作来发出针对运行中的应用程序的指示，
所述装置包括：
显示内容取得部，取得所述显示内容；
特征抽出部，抽出所取得的所述显示内容中存在的1个以上的特征；
动作接收部，接收用户的动作；
检索部，根据接收的所述动作及抽出的所述1个以上的特征，从数据库中检索规定操作；及
指示部，将检索到的与所述动作不同的所述规定操作，相应地应用于所述显示内容，从而对所述应用程序发出指示。
CN201780062909.1A 2016-10-12 2017-10-10 控制用户界面的方法、程序及装置 Pending CN110036357A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016201171A JP6208837B1 (ja) 2016-10-12 2016-10-12 ユーザインタフェースを制御する方法、プログラム及び装置
JP2016-201171 2016-10-12
PCT/JP2017/036692 WO2018070385A1 (ja) 2016-10-12 2017-10-10 ユーザインタフェースを制御する方法、プログラム及び装置

Publications (1)

Publication Number Publication Date
CN110036357A true CN110036357A (zh) 2019-07-19

Family

ID=59997796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780062909.1A Pending CN110036357A (zh) 2016-10-12 2017-10-10 控制用户界面的方法、程序及装置

Country Status (6)

Country Link
US (1) US10318009B2 (zh)
EP (1) EP3528088A4 (zh)
JP (1) JP6208837B1 (zh)
CN (1) CN110036357A (zh)
TW (1) TWI703492B (zh)
WO (1) WO2018070385A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114489462A (zh) * 2021-12-31 2022-05-13 广州视声智能股份有限公司 一种无线按键开关面板及其控制方法
CN115695635A (zh) * 2021-07-29 2023-02-03 上海博泰悦臻网络技术服务有限公司 操作提示方法、存储介质及电子设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9406535B2 (en) 2014-08-29 2016-08-02 Lam Research Corporation Ion injector and lens system for ion beam milling
CN106302330B (zh) * 2015-05-21 2021-01-05 腾讯科技（深圳）有限公司 身份验证方法、装置和系统
TWI779310B (zh) * 2019-09-26 2022-10-01 華碩電腦股份有限公司 電子裝置之控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090172606A1 (en) * 2007-12-31 2009-07-02 Motorola, Inc. Method and apparatus for two-handed computer user interface with gesture recognition
CN101855521A (zh) * 2007-11-12 2010-10-06 大众汽车有限公司 用于信息的输入和展示的驾驶员辅助系统的多形态的用户接口
CN102222431A (zh) * 2010-06-04 2011-10-19 微软公司 基于机器的手语翻译器
WO2015027790A1 (zh) * 2013-08-28 2015-03-05 华为终端有限公司 应用关联处理方法及装置
CN105824404A (zh) * 2015-11-20 2016-08-03 维沃移动通信有限公司 一种手势操控方法及移动终端

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2788615B1 (fr) 1999-01-18 2001-02-16 Thomson Multimedia Sa Appareil comportant une interface utilisateur vocale ou manuelle et procede d'aide a l'apprentissage des commandes vocales d'un tel appareil
US6484164B1 (en) 2000-03-29 2002-11-19 Koninklijke Philips Electronics N.V. Data search user interface with ergonomic mechanism for user profile definition and manipulation
WO2005033888A2 (en) * 2003-10-03 2005-04-14 Qmotions Inc. Input system and method
CN1894703B (zh) * 2003-12-16 2011-04-20 佳能株式会社 模式识别方法和设备
US7949157B2 (en) * 2007-08-10 2011-05-24 Nitin Afzulpurkar Interpreting sign language gestures
GB2455316B (en) * 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
JP5483899B2 (ja) * 2009-02-19 2014-05-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
US9898675B2 (en) * 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US20130282602A1 (en) * 2012-04-18 2013-10-24 Yingjie Wang TaxiZag
CN103229127A (zh) * 2012-05-21 2013-07-31 华为技术有限公司 一种非接触式手势控制方法及装置
JP5900393B2 (ja) * 2013-03-21 2016-04-06 ソニー株式会社 情報処理装置、操作制御方法及びプログラム
JP2016201171A (ja) 2015-04-07 2016-12-01 日東工業株式会社 配線用遮断器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101855521A (zh) * 2007-11-12 2010-10-06 大众汽车有限公司 用于信息的输入和展示的驾驶员辅助系统的多形态的用户接口
US20090172606A1 (en) * 2007-12-31 2009-07-02 Motorola, Inc. Method and apparatus for two-handed computer user interface with gesture recognition
CN102222431A (zh) * 2010-06-04 2011-10-19 微软公司 基于机器的手语翻译器
WO2015027790A1 (zh) * 2013-08-28 2015-03-05 华为终端有限公司 应用关联处理方法及装置
CN105824404A (zh) * 2015-11-20 2016-08-03 维沃移动通信有限公司 一种手势操控方法及移动终端

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115695635A (zh) * 2021-07-29 2023-02-03 上海博泰悦臻网络技术服务有限公司 操作提示方法、存储介质及电子设备
CN115695635B (zh) * 2021-07-29 2024-04-05 上海博泰悦臻网络技术服务有限公司 操作提示方法、存储介质及电子设备
CN114489462A (zh) * 2021-12-31 2022-05-13 广州视声智能股份有限公司 一种无线按键开关面板及其控制方法

Also Published As

Publication number Publication date
JP2018063552A (ja) 2018-04-19
US10318009B2 (en) 2019-06-11
TWI703492B (zh) 2020-09-01
JP6208837B1 (ja) 2017-10-04
US20180101236A1 (en) 2018-04-12
WO2018070385A1 (ja) 2018-04-19
TW201820109A (zh) 2018-06-01
EP3528088A1 (en) 2019-08-21
EP3528088A4 (en) 2020-05-13

Similar Documents

Publication Publication Date Title
CN110036357A (zh) 控制用户界面的方法、程序及装置
CN104063175B (zh) 元数据标记系统和用户终端装置
CN102754352B (zh) 提供多个应用的信息的方法和装置
CN104321751B (zh) 用于在邻近设备之间的操作路由的方法、装置
CN110431514B (zh) 用于情境驱动智能的系统和方法
KR102157327B1 (ko) 이미지 형식의 객체를 텍스트 형식으로 변환하는 전자 장치 및 방법
EP3214894A2 (en) Device and method for adaptively changing task-performing subjects
CN107102746A (zh) 候选词生成方法、装置以及用于候选词生成的装置
CN107832036A (zh) 语音控制方法、装置及计算机可读存储介质
CN104077026A (zh) 显示用于执行应用的服务页的方法和设备
CN106789551B (zh) 会话消息展示方法及装置
CN106202223A (zh) 内容收藏方法、装置和用于收藏应用程序中内容的装置
US11496806B2 (en) Content providing server, content providing terminal, and content providing method
JP5872264B2 (ja) 携帯端末における電子書籍サービス提供方法及び装置
JP2014049140A (ja) 使用者デバイスで入力文字を利用した知能型サービス提供方法及び装置
US20210073476A1 (en) Recording medium, conversation control method, and information processing apparatus
CN107730847A (zh) 共享物品寻找方法及装置
CN106775202A (zh) 一种信息传输的方法及装置
KR20110099991A (ko) 컬러센서를 이용한 휴대단말의 기능 제공 방법 및 장치
CN106648141A (zh) 显示候选词的方法及装置
CN113572889A (zh) 简化用户接口生成
KR102208361B1 (ko) 키워드 검색 방법 및 장치
US10915778B2 (en) User interface framework for multi-selection and operation of non-consecutive segmented information
US11599383B2 (en) Concurrent execution of task instances relating to a plurality of applications
CN111159472B (zh) 多模态聊天技术

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190719