CN106255950B - 用户界面系统、用户界面控制装置和用户界面控制方法 - Google Patents

用户界面系统、用户界面控制装置和用户界面控制方法 Download PDF

Info

Publication number
CN106255950B
CN106255950B CN201480078090.4A CN201480078090A CN106255950B CN 106255950 B CN106255950 B CN 106255950B CN 201480078090 A CN201480078090 A CN 201480078090A CN 106255950 B CN106255950 B CN 106255950B
Authority
CN
China
Prior art keywords
function
candidate
user
user interface
operational means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480078090.4A
Other languages
English (en)
Other versions
CN106255950A (zh
Inventor
岛田淳
平井正人
今中英夫
坂田礼子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN106255950A publication Critical patent/CN106255950A/zh
Application granted granted Critical
Publication of CN106255950B publication Critical patent/CN106255950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B60K35/29—
    • B60K35/81—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3608—Destination input or retrieval using speech input, e.g. using speech recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895—Guidance during keyboard input operation, e.g. prompting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • B60K2360/122—
    • B60K2360/143—
    • B60K2360/1438—
    • B60K2360/146—
    • B60K2360/1464—
    • B60K2360/148—
    • B60K2360/186—
    • B60K2360/197—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Abstract

本发明目的在于能够利用对用户来说容易操作的操作手段执行目标功能。为了实现该目的，本发明的用户界面系统具有：功能/手段存储部(5)，其存储多个功能的候选和用于指示各功能的执行的多个操作手段的候选；估计部(3)，其根据与当前状况相关的信息，从功能/手段存储部(5)所存储的候选中，估计用户期望的功能和用于指示该功能的执行的操作手段；以及提示部(6)，其将由估计部(3)估计出的功能的候选与用于执行该功能的操作手段的候选一起进行提示。

Description

用户界面系统、用户界面控制装置和用户界面控制方法
技术领域
本发明涉及能够利用语音操作、手操作等各种手段执行功能的用户界面系统、用户界面控制装置和用户界面控制程序。
背景技术
以往，已知一种能够显示根据行驶历史而估计的目的地的候选并选择所显示的目的地的候选的用户界面(专利文献1)。
此外，作为选择所显示的候选的手段，已知一种能够进行触摸操作(手操作)和语音操作的用户界面(专利文献2)。
现有技术文献
专利文献
专利文献1：日本特开2009-180651号公报
专利文献2：WO2013/015364号公报
发明内容
发明要解决的课题
但是，在估计用户期望的功能的候选时，没有考虑到指示执行该功能的操作手段，因此，并不一定是对用户而言容易操作的界面。
本发明是为了解决上述问题而完成的，其目的在于能够利用对用户而言容易操作的操作手段来执行目标的功能。
用于解决课题的手段
本发明的用户界面系统具有：功能/手段存储部，其存储多个功能的候选和用于指示各功能的执行的多个操作手段的候选；估计部，其根据与当前状况相关的信息，从功能/手段存储部所存储的候选中估计用户期望的功能和用于指示该功能的执行的操作手段；以及提示部，其将由估计部估计出的功能的候选与用于执行该功能的操作手段的候选一起进行提示。
本发明的用户界面控制装置具有：估计部，其根据与当前状况相关的信息，估计用户期望的功能和用于指示该功能的执行的操作手段；和提示控制部，其对提示部进行控制，提示部将由估计部估计出的功能的候选与用于执行该功能的操作手段的候选一起进行提示。
本发明的用户界面控制方法包括以下步骤：根据与当前状况相关的信息估计用户期望的功能和用于指示该功能的执行的操作手段；以及对提示部进行控制，该提示部将通过估计步骤估计出的功能的候选与用于执行该功能的操作手段的候选一起进行提示。
本发明的用户界面控制程序使计算机执行下述处理：估计处理，根据与当前状况相关的信息估计用户期望的功能和用于指示该功能的执行的操作手段；以及提示控制处理，对提示部进行控制，该提示部将通过估计处理估计出的功能的候选与用于执行该功能的操作手段的候选一起进行提示。
发明的效果
根据本发明，考虑到操作手段来估计符合用户意图的功能的候选，由此，能够利用对用户来说容易操作的操作手段来执行目标功能。
附图说明
图1是示出实施方式1中的用户界面系统的结构的图。
图2是示出实施方式1中的车辆信息的存储数据例。
图3是示出实施方式1中的环境信息的存储数据例。
图4是实施方式1中的估计结果的例子。
图5是实施方式1中的估计结果的提示例。
图6是示出实施方式1中的用户界面系统的动作的流程图。
图7是示出实施方式2中的用户界面系统的结构的图。
图8是示出实施方式2中的用户界面系统的动作的流程图。
图9是示出实施方式3中的用户界面系统的结构的图。
图10是示出实施方式3中的用户界面系统的动作的流程图。
图11是示出实施方式4中的用户界面系统的结构的图。
图12是示出实施方式4中的用户界面系统的动作的流程图。
图13是示出实施方式5中的用户界面系统的结构的图。
图14是示出实施方式1～5中的用户界面控制装置的硬件结构例的图。
具体实施方式
实施方式1.
图1是示出本发明的实施方式1中的用户界面系统的图。用户界面系统1具有用户界面控制装置2、功能/手段存储部5和提示部6。提示部6由用户界面控制装置2控制。用户界面控制装置2具有估计部3和提示控制部4。以下，以用户界面系统1用于汽车驾驶的情况为例进行说明。
功能/手段存储部5将车内的汽车导航装置、音频装置、空调、电话机等设备执行的功能的候选和指示这些功能候选的执行的用户操作手段的候选组合起来进行存储。功能是指，例如汽车导航装置设定目的地的功能、音频装置再现音乐的功能、空调使温度变成28度的功能以及电话机向家里打电话的功能。操作手段是指，例如手操作、语音操作以及手势操作。手操作包含触摸触摸面板、或按压按钮的操作，除了通过一次操作执行功能的情况外，还包含从上位概念到下位概念按照等级来确定功能的文件夹操作。手势操作是通过动作或手势来进行输入的操作手段。
估计部3实时地取得与当前状况相关的信息，对在当前时刻用户想做什么、以及通过何种操作手段实现进行估计。即，从功能/手段存储部5所存储的功能和操作手段的组合中，估计在当前时刻用户可能进行的功能的候选、即用户期望的功能的候选和用于指示这些功能的执行的操作手段的候选。功能/手段存储部5可以存储于服务器的存储部中，也可以存储于用户界面控制装置2内的存储部中。
与当前状况相关的信息是指例如外部环境信息和历史信息。估计部3可以使用双方的信息，也可以使用任意一方的信息。外部环境信息是指例如车辆信息和环境信息。车辆信息是指例如本车的当前车速、驾驶状态(是驾驶过程中还是停车中等)、制动器的状态和目的地等，是使用CAN(Controller Area Network)等取得的。图2中示出车辆信息的存储数据例。环境信息是指例如日期、星期几、当前时刻、气温、当前位置、道路类别(是一般道路还是高速道路等)和堵塞信息。气温是使用温度传感器等取得的，当前位置是利用从GPS(Global Positioning System)卫星发送的GPS信号取得的。图3中示出环境信息的存储数据例。
历史信息是指以前用户进行了目的地设定的设施、用户操作的汽车导航装置等设备的设定信息、以及用户从所提示的候选中选择的内容等，与各自的发生日期以及位置信息等一起存储。因此，估计部3使用历史信息中的与当前时刻或当前位置相关联的信息进行估计。这样，即使是以前的信息，影响到当前情况的信息也包含在与当前情况相关的信息中。历史信息可以存储于用户界面控制装置2内的存储部，也可以存储于服务器的存储部。
估计部3对于例如功能/手段存储部5所存储的所有功能和操作手段的组合赋予符合用户意图的概率，输出至提示控制部4。或者，也可以输出符合用户意图的概率为规定值以上的组合，也可以输出规定数量的组合。图4中示出估计结果的示例。例如，将想通过“语音操作”而执行“设定目的地”的功能的用户意图估计为85％，将想通过“手操作”而执行“再现音乐”的功能的用户意图估计为82％，将想通过“手势操作”而执行“使温度变成28度”的功能的用户意图估计为68％等。
提示控制部4按照符合用户意图的概率从高到低的顺序，将可由提示部6提示的数量的候选输出至提示部6。提示部6将从提示控制部4接收到的候选作为估计结果提示给用户，使得用户能够通过期望的操作手段选择期望的功能。以下，假设提示部6是触摸面板显示器而进行说明。图5中示出显示图4的估计结果中的上位6个估计结果的情况的示例。
以用户能够识别用于指示各功能的执行的操作手段的方式显示各功能的候选。在图5的示例中，与表示操作手段的图标一起显示各功能的候选。这样，由于具有用于识别操作手段的显示，因此，用户能够掌握通过何种操作手段执行该功能即可，因此，能够安心地开始操作。例如，关于进行目的地设定的功能，显示“目的地设定”的文字和语音操作的图标。关于进行便利店检索的功能，显示“便利店”的文字和表示手操作输入的图标。关于进行音乐再现的功能，显示“音乐再现”的文字和表示文件夹操作输入的图标。此外，关于进行温度设定的功能，显示“温度设定”的文字和表示手势操作的图标。另外，用于识别操作手段的显示也可以是颜色、文字等、图标以外的显示。此外，在图5的示例中，显示6个候选，但所显示的候选的数量、显示顺序和布局可以是任意的。
用户从显示的候选中选择想执行的功能的候选。关于选择的方法，触摸显示在触摸面板显示器上的候选而进行选择即可。在选择进行语音操作的功能的情况下，一旦触摸显示的候选之后，进行语音输入。例如，在对“目的地设定”的显示进行触摸操作之后，输出“去哪里？”这样的引导，用户回答该引导，由此，以语音的方式输入目的地。所选择的功能与时刻信息以及位置信息等一起作为历史信息而被蓄积，用于将来的功能的候选估计。
图6是对实施方式1中的用户界面系统的动作进行说明的流程图。流程图中，ST101和ST102的动作是用户界面控制装置的动作(即，用户界面控制程序的处理步骤)。使用图1～图6，对用户界面控制装置和用户界面系统的动作进行说明。
估计部3取得与当前情况相关的信息(外部环境信息、操作历史等)(ST101)，估计用户想执行的功能和用户想使用的操作手段的候选(ST102)。在例如将用户界面系统用作车载装置的情况下，可以从发动机起动开始例如按照每1秒定期进行该估计的动作，也可以在外部环境变化的时机进行该估计的动作。
提示控制部4提取提示部6提示的功能和操作手段的候选，生成提示的数据，提示部6根据由提示控制部4生成的数据提示功能和操作手段的候选(ST103)。反复进行ST101至ST103的动作直至驾驶结束为止。
在上述的说明中，将提示部6设定为触摸面板显示器，通过触摸所显示的候选来选择期望的功能，通过期望的操作方法开始输入，但提示部6的结构不限于此。例如，也可以利用控制杆等对显示器上显示的候选进行光标操作来进行选择。此外，也可以在方向盘等上设置与显示器上显示的候选对应的硬按键，通过按压该硬按键进行选择。而且，也可以从扬声器以语音的形式输出所估计的候选，使用户通过按钮操作、控制杆操作或语音操作进行选择。在该情况下，扬声器为提示部6。
此外，在上述的说明中，将功能的候选和操作手段的候选进行组合而存储到功能/手段存储部5中，但也可以不进行组合而分别存储。该情况下，只要估计部3计算出各个组合符合用户意图的概率即可。此外，也可以分别提取符合用户意图的概率较高的功能的候选和符合用户意图的概率较高的操作手段的候选，按照概率从高到低的顺序进行组合，将预先确定的数量的候选输出至提示控制部4。
如上所述，根据实施方式1中的用户界面系统和用户界面控制装置，根据状况来提示用户期望的功能的候选和操作手段的候选，因此，能够以对用户来说容易操作的手段执行目标功能。
实施方式2.
在本实施方式2中，对根据用户的选择来更新功能/手段存储部5的存储内容的用户界面系统和用户界面控制装置进行说明。此外，实施方式2中的用户界面系统和用户界面控制装置使用外部环境信息和历史信息双方作为与当前状况相关的信息。图7是示出本实施方式2中的用户界面系统的图。关于本实施方式，主要对与实施方式1的不同之处进行说明。
输入部7用于供用户从提示部6提示的候选中选择1个候选。例如，如果提示部6是触摸面板，则用户通过触摸触摸面板来选择候选，因此，触摸面板本身是输入部7。此外，也可以将提示部6和输入部7构成为分体。例如，也可以利用控制杆等对显示器上显示的候选进行光标操作来进行选择。该情况下，显示器是提示部6，控制杆等是输入部7。此外，也可以在方向盘等上设置与显示器上显示的候选对应的硬按键，通过按压该硬按键的方式进行选择。该情况下，显示器是提示部6，硬按键是输入部7。此外，也可以利用手势操作来选择所显示的候选。该情况下，用于检测手势操作的照相机等是输入部7。此外，也可以从扬声器以语音的形式输出所估计的候选，使用户通过按钮操作、控制杆操作或语音操作进行选择。该情况下，扬声器是提示部6，硬按键、控制杆或麦克风是输入部7。而且，输入部7不仅具有选择提示出的候选的作用，还具有通过文件夹操作从提示出的候选中参照层次选择目标功能的作用。
操作部9例如是空调的操作按钮、音频装置的操作按钮等按照用户的意愿选择目标功能而与估计部3的估计分开的部分。
用户利用输入部7从由提示部6提示出的候选(表示功能和用于指示该功能的执行的操作手段的候选)中选择1个功能后，选择的功能和操作手段被输出至历史信息存储部8。所选择的功能以及操作手段的信息与用户进行选择的时刻的信息以及位置信息等一起存储到历史信息存储部8中。通过更新历史信息，能够提高在下次估计时提示该功能和操作手段作为估计结果的概率，能够提高估计的精度。
此外，在用户选择功能后例如通过文件夹操作或语音操作而最终选择了下位的层次的功能的情况下，当该最终被选择的功能是第一次被选择的功能时，将该功能新存储到功能/手段存储部5中。例如，在提示的功能是“目的地设定”并且最终设定的目的地是第一次设定的“···高尔夫球场”的情况下，将“···高尔夫球场”新存储到功能/手段存储部5中。此时，将新的功能与所有的操作手段组合起来进行存储。在以后的估计中，提示部6根据外部环境信息和历史信息，将“···高尔夫球场”作为估计结果与操作手段一起提示。
在用户从操作部9选择了目标功能、且该功能是未存储于功能/手段存储部5的功能的情况下，该功能新存储到功能/手段存储部5中。此时，新的功能与所有的操作手段组合起来进行存储。此外，操作部9所选择的功能被输出至历史信息存储部8。所选择的功能与用户选择的时刻的信息以及位置信息等一起存储到历史信息存储部8。
图8是实施方式2中的用户界面系统的流程图。在流程图中，至少ST201和ST202的动作是用户界面控制装置的动作(即，用户界面控制程序的处理步骤)。在图8中，ST201～ST203与用于说明实施方式1的图6的ST101～ST103相同，因此，省略说明。
在用户利用输入部7或操作部9进行功能的选择后，输入部7、操作部9或未图示的判断部判断所选择的功能是否是新的功能(ST204)，在选择了新的功能的情况下，更新功能/手段存储部5(ST205)。另一方面，在未选择新的功能的情况下，返回ST201，反复进行符合用户意图的功能和操作手段的估计。另外，也可以通过从功能/手段存储部5中删除未被输入部7或操作部9选择过的功能或选择的频率少的功能而更新功能/手段存储部5。通过删除不需要的功能，能够削减存储容量，使得估计处理加快。
在上述的说明中，说明了在所选择的功能是新的功能的情况下更新功能/手段存储部5的例子，但也可以根据所选择的操作手段来更新功能/手段存储部5。例如，在用户不进行语音操作的情况下，也可以从功能/手段存储部5中删除包含“语音操作”的候选。在一旦删除之后用户进行了语音操作时，也可以将此时执行的功能和语音操作组合起来新存储到功能/手段存储部5。这样，对于操作手段也进行更新，能够存储与用户的喜好对应的功能和操作手段的组合，进一步提高功能的候选和操作手段的候选的估计精度。
在上述的说明中，说明了将新的功能与所有的操作手段组合起来存储到功能/手段存储部5的例子，但功能/手段存储部5的更新的方法不限于该例。在功能/手段存储部5是不将功能和操作手段进行组合而分别进行存储的存储部的情况下，只要将新的功能直接追加到功能/手段存储部5进行存储即可。在该情况下，只要估计部3将功能和操作手段进行组合并计算各个组合符合用户意图的概率即可。此外，也可以分别提取符合用户意图的概率高的功能的候选和符合用户意图的概率高的操作手段的候选，按照概率从高到低的顺序进行组合，将预先确定的数量的候选输出至提示控制部4。
此外，在上述的说明中，说明了在用户界面控制装置2内具有功能/手段存储部5和历史信息存储部8的例子，但也可以形成为不包含于用户界面控制装置2中(例如设置于服务器中)的结构。
如上所述，根据实施方式2中的用户界面系统和用户界面控制装置，根据用户的选择而更新功能/手段存储部，因此，进一步提高了用户期望的功能的候选和操作手段的候选的估计精度。
实施方式3.
本实施方式3的特征在于，分别存储功能候选的列表和操作手段的候选的列表并根据用户的操作来更新各列表；以及具有根据更新后的列表生成功能和操作手段的新的组合的功能/手段结合部。关于本实施方式，主要对与实施方式2的不同之处进行说明。
图9是示出实施方式3中的用户界面系统的图。功能存储部10存储车内的汽车导航装置、音频装置、空调、电话机等设备所执行的功能的候选。手段存储部11存储指示功能的执行的用户的操作手段。功能/手段结合部12关于存储于功能存储部10的功能的候选和存储于手段存储部11的操作手段，生成所有的组合。并且，在每次更新功能存储部10时，生成新的组合。在功能/手段结合部12生成了新的组合时，更新功能/手段存储部5。
图10是实施方式3中的用户界面系统的流程图。在流程图中，至少ST301、ST302和ST306的动作是用户界面控制装置的动作(即，用户界面控制程序的处理步骤)。在图10中，ST301～ST303与用于说明实施方式1的图6的ST101～ST103相同，因此，省略说明。
在用户利用输入部7或操作部9进行功能的选择后，输入部7、操作部9或未图示的判断部判断所选择的功能是否是新的功能(ST304)，在选择了新的功能的情况下，更新功能存储部5(ST305)。在更新功能存储部5后，功能/手段结合部12生成与手段存储部11所存储的操作手段的所有组合(ST306)。通过将所生成的新的功能和操作手段的组合存储到功能/手段存储部5来更新功能/手段存储部5(ST307)。另一方面，在未选择新的功能的情况下，返回ST301，反复进行符合用户意图的功能和操作手段的估计。
在上述的说明中，对更新功能存储部10的示例进行了说明，但也可以构成为根据用户的操作来更新手段存储部11。例如，在用户不进行语音操作的情况下，也可以从手段存储部11中删除“语音操作”这样的候选。在一旦删除后用户进行了语音操作时，也可以追加“语音操作”这样的候选。这样，只要也更新存储于手段存储部11的操作手段的列表，则能够生成与用户的喜好对应的功能和操作手段的组合，进一步提高了功能的候选和操作手段的候选的估计精度。
此外，在上述的说明中，功能/手段结合部12生成功能和操作手段的所有组合，但也可以根据功能的种类来改变组合。例如，在所选择的功能是关系到最终执行的具体的下位概念的功能(例如“回家”这样的功能)的情况下，为了执行该功能无需进行语音操作或文件夹操作，因此，可以使该功能的候选仅与手操作以及手势操作结合。在进行这样的处理的情况下，设置存储从上位概念到下位概念按照层次对功能候选进行分类而成的列表的存储部，功能/手段结合部12参照该列表。这样，只要根据功能的种类改变组合的操作手段，就能够削减存储容量，使估计处理加快。
此外，在图9中，构成为用户界面控制装置2中不包含功能存储部10、手段存储部11、功能/手段存储部5和历史信息存储部8(例如设置于服务器中)，但也可以构成为设置于用户界面控制装置2中。
如上所述，根据实施方式3中的用户界面系统和用户界面控制装置，根据用户的功能选择来更新功能/手段存储部，因此，与实施方式2同样，进一步提高了用户期望的功能的候选和操作手段的候选的估计精度。
实施方式4.
实施方式4中的用户界面系统和用户界面控制装置的特征在于，对当前状况进行判断，从功能/手段存储部5所存储的功能和操作手段的组合中排除在当前状况下不可能产生的组合、或者提高提示更适于当前状况的功能和手段的组合的概率。关于本实施方式，主要对与实施方式3的不同之处进行说明。
图11是示出实施方式4中的用户界面系统的图。状况判断部13取得外部环境信息即车辆信息和环境信息，判断当前状况。例如，状况判断部13根据车辆信息判断是在驾驶中还是停车中，根据环境信息判断当前位置是高速道路还是一般道路。并且，将其判断结果与从功能/手段存储部5取得的功能和操作手段的组合进行对照，以提高提示更适于当前状况的功能和手段的组合作为估计结果的概率的方式，将指示信息输出至估计部3。
图12是实施方式4中的用户界面系统的流程图。在流程图中，ST401～ST403的动作是用户界面控制装置的动作(即，用户界面控制程序的处理步骤)。状况判断部13取得外部环境信息即车辆信息和环境信息(ST401)。此外，状况判断部13从功能/手段存储部5取得功能和操作手段的组合的候选(ST401)。
状况判断部13根据从外部环境信息判断出的当前状况，对功能的候选和操作手段的候选的组合进行加权(ST402)。即，当估计部3对各候选赋予符合用户意图的概率并将估计结果输出至提示部6时，以将与当前状况对应的功能和操作手段的候选作为估计结果进行输出的方式对候选加权。估计部3使用外部环境信息和用户的操作历史的信息来估计用户期望的概率高的候选，与此相对，状况判断部13与用户的操作历史无关地判断符合根据外部环境信息判断的当前状况的功能或操作手段是什么。例如，在根据车辆信息判断为处于驾驶中的情况下，禁止驾驶中的文件夹操作，因此，包含文件夹操作的候选被排除。此外，在根据车辆信息判断为处于停车中的情况下，时间充裕，并且手操作的可靠性高于语音操作，因此，对包含手操作的候选加权。此外，在根据环境信息判断为当前行驶中的道路是一般道路(市区)并且根据车辆信息判断为处于驾驶中的情况下，在人流拥挤的市区难以使视线离开前方，因此，对包含语音操作的候选加权。而且，也可以在从自己家出发后不久排除“回家”这样的功能。
估计部3对加权后的候选赋予符合用户意图的概率，由此，估计用户想执行哪个功能、以及通过何种操作手段实现该功能(ST403)。提示控制部4按照符合用户意图的概率从高到低的顺序，将可由提示部6提示的数量的候选作为估计结果输出至提示部6。提示部6提示从提示控制部4取得的候选(ST404)。关于ST404以后的动作，与图10中的ST303以后的动作相同，因此，省略说明。
以上，作为在实施方式3中的用户界面中追加状况判断部13的结构进行了说明，但也可以在实施方式1或实施方式2中的用户界面中追加状况判断部13。
在上述的说明中，说明了在用户界面控制装置2内具有功能存储部10、手段存储部11、功能/手段存储部5和历史信息存储部8的例子，但也可以构成为不包含于用户界面控制装置2中(例如设置于服务器中)。
根据实施方式4中的用户界面系统和用户界面控制装置，能够防止由于提示实际上无法操作的操作手段而产生的驾驶障碍。
实施方式5.
在上述实施方式1～4中，构成为，使用功能/手段存储部来估计用户期望的功能和操作手段的组合，实施方式5中的用户界面系统和用户界面控制装置的特征在于，独立地进行功能的估计和操作手段的估计。关于本实施方式，主要对与实施方式3的不同之处进行说明。
图13是示出实施方式5中的用户界面系统的图。功能估计部14实时地取得外部环境信息和历史信息，根据当前的外部环境信息和历史信息，从功能存储部10所存储的功能中估计用户想做什么即用户想执行的功能(用户期望的功能)。手段估计部15针对由功能估计部14估计的功能，根据历史信息和外部环境情况，使用手段存储部11估计用户想通过何种操作手段来执行该功能。另外，功能估计部14和手段估计部15构成本发明中的“估计部”。此外，在本实施方式中，功能存储部10和手段存储部11构成本发明中的“功能/手段存储部”。
例如通过赋予符合用户意图的概率进行估计。例如，用户再次使用以前选择该功能时所使用的操作手段的可能性大，因此，符合用户意图的概率较高。此外，根据以前的历史判断用户的特性、即用户存在使用哪个操作手段的倾向，提高用户经常使用的操作手段的概率。此外，也可以按照每个用户预先存储经常使用的操作手段的倾向，使用与当前用户对应的存储信息进行估计。该情况下，按照每个用户存储的表示用户特性的信息相当于与当前状况相关的信息。而且，也可以根据当前的驾驶状态来估计适当的操作手段。例如，如果是驾驶中，则使语音操作的概率高于手操作的概率。
在上述的说明中，在功能的估计之后进行操作手段的估计，但也可以先进行操作手段的估计，然后进行功能的估计。
在上述的说明中，说明了在用户界面控制装置2内具有功能存储部10、手段存储部11和历史信息存储部8的例子，但也可以构成为不包含于用户界面控制装置2中(例如设置于服务器中)。
根据实施方式5中的用户界面系统和用户界面控制装置，根据当前状况来估计适当的操作手段，因此，进一步提高了符合用户意图的功能的候选和操作手段的候选的估计精度。
图14是示出实施方式1～5中的用户界面控制装置2的硬件结构的一例的图。用户界面控制装置2是计算机，具有存储装置20、处理装置30、输入装置40、输出装置50等硬件。硬件由用户界面控制装置2的各部分(估计部3、提示控制部4、功能/手段结合部12、状况判断部13等)使用。
存储装置20例如是ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)。能够通过存储装置20实现服务器的存储部和用户界面控制装置2的存储部。存储装置20中存储有程序21和文件22。程序21中包含用于执行各部分的处理的程序。文件22中包含利用各部进行输入、输出、运算等的数据、信息、信号等。此外，在用户界面控制装置2中包含功能/手段存储部5、历史信息存储部8、功能存储部10、手段存储部11的情况下，这些部分也包含在文件22中。
处理装置30例如是CPU(Central Processing Unit)。处理装置30从存储装置20读出程序21，并执行程序21。能够利用处理装置30实现用户界面控制装置2的各部的动作。
用户界面控制装置2的各部利用输入装置40进行数据、信息、信号等的输入(接收)。此外，用户界面控制装置2的各部利用输出装置50进行数据、信息、信号等的输出(发送)。
标号说明
1：用户界面系统；2：用户界面控制装置；3：估计部；4：提示控制部；5：功能/手段存储部；6：提示部；7：输入部；8：历史信息存储部；9：操作部；10：功能存储部；11：手段存储部；12：功能/手段结合部；13：状况判断部；14：功能估计部；15：手段估计部；20：存储装置；21：程序；22：文件；30：处理装置；40：输入装置；50：输出装置。

Claims (8)

1.一种用户界面系统，其具有：
功能/手段存储部，其存储多个功能的候选和用于指示各功能的执行的多个操作手段的候选，并且，存储的内容是根据用户选择的操作手段进行更新的；
功能/手段结合部，其参照从上位概念到下位概念按照层次对功能候选进行分类而成的列表，根据所述功能的种类来改变所述功能和所述操作手段的组合；
估计部，其根据与当前状况相关的信息，从所述功能/手段存储部所存储的候选中估计用户期望的功能和用于指示该功能的执行的、用户期望的操作手段；以及
提示部，其将由所述估计部估计出的功能的候选与用于指示该功能的执行的操作手段的候选一起进行提示。
2.根据权利要求1所述的用户界面系统，其特征在于，
所述估计部根据外部环境信息和历史信息估计用户期望的功能和用于指示该功能的执行的操作手段。
3.根据权利要求1所述的用户界面系统，其特征在于，
所述估计部使用与根据外部环境信息判断的当前状况对应的功能或操作手段来估计用户期望的功能和操作手段。
4.一种用户界面控制装置，其具有：
功能/手段存储部，其存储多个功能的候选和用于指示各功能的执行的多个操作手段的候选，并且，存储的内容是根据用户选择的操作手段进行更新的；
功能/手段结合部，其参照从上位概念到下位概念按照层次对功能候选进行分类而成的列表，根据所述功能的种类来改变所述功能和所述操作手段的组合；
估计部，其根据与当前状况相关的信息，从所述功能/手段存储部所存储的候选中估计用户期望的功能和用于指示该功能的执行的、用户期望的操作手段；和
提示控制部，其对提示部进行控制，所述提示部将由所述估计部估计出的功能的候选与用于指示该功能的执行的操作手段的候选一起进行提示。
5.根据权利要求4所述的用户界面控制装置，其特征在于，
在用户选择了新功能时或用户使用了新操作手段时，该功能/手段结合部使用所述新功能或所述新操作手段生成功能与操作手段的新组合，所述估计部使用所述新组合进行估计。
6.根据权利要求4或5所述的用户界面控制装置，其特征在于，
所述估计部根据外部环境信息和历史信息估计用户期望的功能和用于指示该功能的执行的操作手段。
7.根据权利要求4或5所述的用户界面控制装置，其特征在于，
所述用户界面控制装置还具有状况判断部，该状况判断部根据外部环境信息判断与当前状况对应的功能或操作手段是什么，所述估计部根据所述判断结果估计用户期望的功能和操作手段。
8.一种用户界面控制方法，包括以下步骤：
存储多个功能的候选和用于指示各功能的执行的多个操作手段的候选，并且，存储的内容是根据用户选择的操作手段进行更新的；
参照从上位概念到下位概念按照层次对功能候选进行分类而成的列表，根据所述功能的种类来改变所述功能和所述操作手段的组合；
根据与当前状况相关的信息，从存储的候选中估计用户期望的功能和用于指示该功能的执行的、用户期望的操作手段；以及
对提示部进行控制，该提示部将通过所述估计步骤估计出的功能的候选与用于指示该功能的执行的操作手段的候选一起进行提示。
CN201480078090.4A 2014-04-22 2014-04-22 用户界面系统、用户界面控制装置和用户界面控制方法 Active CN106255950B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/002265 WO2015162639A1 (ja) 2014-04-22 2014-04-22 ユーザインターフェースシステム、ユーザインターフェース制御装置、ユーザインターフェース制御方法およびユーザインターフェース制御プログラム

Publications (2)

Publication Number Publication Date
CN106255950A CN106255950A (zh) 2016-12-21
CN106255950B true CN106255950B (zh) 2019-03-22

Family

ID=54331840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480078090.4A Active CN106255950B (zh) 2014-04-22 2014-04-22 用户界面系统、用户界面控制装置和用户界面控制方法

Country Status (5)

Country Link
US (1) US20170017497A1 (zh)
JP (1) JP5955486B2 (zh)
CN (1) CN106255950B (zh)
DE (1) DE112014006613T5 (zh)
WO (1) WO2015162639A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107153498B (zh) * 2016-03-30 2021-01-08 斑马智行网络(香港)有限公司 一种页面处理方法、装置和智能终端
DE102018206653A1 (de) 2018-04-30 2019-10-31 Audi Ag Verfahren zum dynamischen Anpassen einer Bedienvorrichtung in einem Kraftfahrzeug sowie Bedienvorrichtung und Kraftfahrzeug
DE102019210008A1 (de) * 2019-07-08 2021-01-14 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Bediensystems und Bediensystem
JP7387061B2 (ja) * 2021-04-08 2023-11-27 三菱電機株式会社 シーケンス自動生成装置、シーケンス自動生成方法およびプログラム
DE102022109637A1 (de) 2022-04-21 2023-10-26 Audi Aktiengesellschaft Verfahren zum Betreiben einer Steuervorrichtung für ein Kraftfahrzeug

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101331036A (zh) * 2005-12-16 2008-12-24 松下电器产业株式会社 移动体用输入装置及方法
CN101349944A (zh) * 2008-09-03 2009-01-21 宏碁股份有限公司 手势引导系统及以触控手势控制计算机系统的方法
CN102529979A (zh) * 2010-12-30 2012-07-04 上海博泰悦臻电子设备制造有限公司 车载电子系统的模式自动选择方法
CN102741858A (zh) * 2009-10-28 2012-10-17 数字标记公司 基于传感器的移动搜索、相关方法和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1027089A (ja) * 1996-07-11 1998-01-27 Fuji Xerox Co Ltd コンピュータ操作支援装置
JP4713129B2 (ja) * 2004-11-16 2011-06-29 ソニー株式会社 音楽コンテンツの再生装置、音楽コンテンツの再生方法および音楽コンテンツおよびその属性情報の記録装置
US20090182562A1 (en) * 2008-01-14 2009-07-16 Garmin Ltd. Dynamic user interface for automated speech recognition
US9104537B1 (en) * 2011-04-22 2015-08-11 Angel A. Penilla Methods and systems for generating setting recommendation to user accounts for registered vehicles via cloud systems and remotely applying settings
CN102646016B (zh) * 2012-02-13 2016-03-02 百纳（武汉）信息技术有限公司 显示手势语音交互统一界面的用户终端及其显示方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101331036A (zh) * 2005-12-16 2008-12-24 松下电器产业株式会社 移动体用输入装置及方法
CN101349944A (zh) * 2008-09-03 2009-01-21 宏碁股份有限公司 手势引导系统及以触控手势控制计算机系统的方法
CN102741858A (zh) * 2009-10-28 2012-10-17 数字标记公司 基于传感器的移动搜索、相关方法和系统
CN102529979A (zh) * 2010-12-30 2012-07-04 上海博泰悦臻电子设备制造有限公司 车载电子系统的模式自动选择方法

Also Published As

Publication number Publication date
CN106255950A (zh) 2016-12-21
DE112014006613T5 (de) 2017-01-12
JPWO2015162639A1 (ja) 2017-04-13
US20170017497A1 (en) 2017-01-19
JP5955486B2 (ja) 2016-07-20
WO2015162639A1 (ja) 2015-10-29

Similar Documents

Publication Publication Date Title
US10991248B2 (en) Parking identification and availability prediction
CN106255950B (zh) 用户界面系统、用户界面控制装置和用户界面控制方法
US10935389B2 (en) Mobile search based on predicted location
CN104520673B (zh) 用于自动完成和对齐用户手势的系统和方法
WO2012148556A2 (en) Navigation to dynamic endpoint
US20170138746A1 (en) Optimized generation of navigation instructions based on computed parking probability values
US10228260B2 (en) Infotainment system for recommending a task during a traffic transit time
CN104380047A (zh) 导航系统
GB2527184A (en) Usage prediction for contextual interface
US20100049696A1 (en) Systems and Methods for Smart City Search
EP3123430A1 (en) Building user trust in profile creation and recommendations based on managed interaction with user
CN109631922A (zh) 信息处理装置、信息处理方法和存储程序的非暂时性存储介质
CN110954118A (zh) 一种用于车机的服务推荐方法及系统
WO2009143876A1 (en) Navigation system and method for providing travel information in a navigation system
WO2018034265A1 (ja) ナビゲーションシステム及びコンピュータプログラム
EP2932195B1 (en) Method and apparatus for vehicle usage recording
US10949483B2 (en) Location tagging for ubiquitous access
AU2013360865A1 (en) Method and apparatus for vehicle usage recording
CN106331310A (zh) 移动终端及其控制方法
CN115649191A (zh) 车辆换道决策方法、装置、计算机设备和存储介质
CN111694907B (zh) 电子地图绘制方法、装置、终端设备及存储介质
JP2019168277A (ja) ナビゲーション装置およびナビゲーション方法、ならびにプログラム
CN102809383A (zh) 行驶引导系统、行驶引导装置、行驶引导方法及程序
CN104374398A (zh) 一种增强的车辆导航系统及导航方法
CN109718530B (zh) 一种运动路线获取方法及装置、存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant