CN107148555A - 声音输入辅助装置、声音输入辅助系统及声音输入方法 - Google Patents

声音输入辅助装置、声音输入辅助系统及声音输入方法 Download PDF

Info

Publication number
CN107148555A
CN107148555A CN201580057276.6A CN201580057276A CN107148555A CN 107148555 A CN107148555 A CN 107148555A CN 201580057276 A CN201580057276 A CN 201580057276A CN 107148555 A CN107148555 A CN 107148555A
Authority
CN
China
Prior art keywords
mentioned
degree
ellipsis
input device
auxiliary input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580057276.6A
Other languages
English (en)
Inventor
清水淳史
山口隆
永井靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of CN107148555A publication Critical patent/CN107148555A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3608—Destination input or retrieval using speech input, e.g. using speech recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供一种能够使得越是推测为希望的操作项目则通过省略得越短的言语来操作的技术。一种声音输入辅助装置，其特征在于，具备：省略语存储部，将操作项目和与操作项目的希望的程度相应的省略语建立对应而存储；希望度推测部，使用规定的指标，推测各个操作项目的希望的程度，根据希望的程度从省略语存储部中确定省略语；以及输出处理部，提示由希望度推测部确定的省略语。

Description

声音输入辅助装置、声音输入辅助系统及声音输入方法
技术领域
本发明涉及声音输入辅助装置、声音输入辅助系统及声音输入方法的技术。本发明主张2014年12月12日提出的日本专利申请第2014－251442号的优先权，关于被认可基于文献参照的引入的指定国，上述申请中记载的内容通过参照引入到本申请中。
背景技术
作为本技术领域的背景技术，有特开2002－055694号公报(专利文献1)。在该公报中记载有：“一种声音操作装置，具有能够进行设备的声音操作的操作开关、能够使用的操作声音的存储机构、存储在上述存储机构中的操作声音的有选择的显示机构、和对于上述设备的操作声音的识别机构；上述存储机构按各层级存储可接受的操作声音数据和上述各层级中的各操作声音的使用次数；当上述操作开关被开启时及/或上述识别机构识别出1个层级中的操作声音时，上述显示机构在画面上显示以上述各层级中被使用的次数由多到少的顺序对上述操作声音赋予了代码的操作声音菜单；上述识别机构构成为，能够将上述代码的声音还识别为被赋予了该代码的操作声音。”。
现有技术文献
专利文献
专利文献1：特开2002－055694号公报
发明内容
发明要解决的问题
在上述技术中，用户需要说出不是自然语言的代码来进行操作，为了选择所说出的代码而需要目视画面来确认代码。
本发明是为了解决上述问题而做出的，目的是使得越是推测为希望的操作项目、能够通过省略得越短的言语来操作。
解决问题所采用的手段
本申请包含多个解决上述问题的至少一部分的手段，举出其例子如下。为了解决上述问题，有关本发明的声音输入辅助装置的特征在于，具备：省略语存储部，将操作项目和与上述操作项目的希望的程度相应的省略语建立对应而存储；希望度推测部，使用规定的指标，推测各个上述操作项目的希望的程度，根据上述希望的程度从上述省略语存储部中确定省略语；以及输出处理部，提示由上述希望度推测部确定的省略语。
发明效果
根据本发明，能够使得越是推测为希望的操作项目，能够通过省略得越短的言语来操作。上述以外的课题、结构及效果通过以下的实施方式的说明会变得清楚。
附图说明
图1是表示有关本发明的实施方式的声音输入辅助系统的结构例的图。
图2是表示服务器装置的结构例的图。
图3是表示声音输入辅助装置及周边设备的结构例的图。
图4是表示说话实际结果存储部的数据构造的图。
图5是表示省略语存储部的数据构造的图。
图6是表示操作指示语存储部的数据构造的图。
图7是表示应用利用状态存储部的数据构造的图。
图8是表示构成声音输入辅助系统的硬件的结构的图。
图9是表示希望度推测处理的处理流程的图。
图10是表示省略语提示处理的处理流程的图。
图11是表示声音识别省略语显示画面的例子的图。
图12是表示声音识别处理的处理流程的图。
图13是表示声音识别显示画面的例子的图。
具体实施方式
以下，参照附图对采用了有关本发明的实施方式的声音输入辅助系统1的例子进行说明。
图1是表示应用了有关本发明的第一实施方式的声音输入辅助系统1的整体结构例的图。在声音输入辅助系统1中，如图1所示，能够使服务器装置100、能够经由因特网等网络15而与服务器装置100通信的声音输入辅助装置200、以及与声音输入辅助装置200以有线或无线可通信地连接的周边设备300协同而动作。
另外，在本实施方式中，声音输入辅助装置200及周边设备300中，例如包括无线通信路由器、智能电话终端、所谓的平板终端等独立地动作并能够与因特网等连接而通信的全部移动设备。此外，声音输入辅助装置200中，例如包括装备在移动体上的导航装置或装备在移动体上但即使拆下也能够独立动作的可移动型导航装置。
在本实施方式中，用户10能够通过说出由声音输入辅助装置200提示的用于声音输入的省略语，使用输入输出接口进行与省略语建立了对应的省略前的各种操作。此外，在本实施方式中，用户10不仅使用声音输入辅助装置200的输入输出接口进行声音输入辅助装置200的操作，还能够使用包括声音输入辅助装置200的声音输入接口的输入输出接口进行设置在周边设备300中的音乐再现应用软件等各种软件的操作。
网络15例如是无线LAN(Local Area Network)、Bluetooth(蓝牙，注册商标)等无线通信路径。另外，声音输入辅助装置200与周边设备300之间的通信并不限于经由网络15，也可以是USB(Universal Serial Bus)等有线通信路径，或者无线LAN、Bluetooth等无线通信路径。
图2是表示本实施方式的服务器装置100的结构例的图。服务器装置100包括控制部110、通信部120和存储部130。控制部110包括声音识别部111、省略语适用判定部112、频繁出现话语确定部113、各种服务处理部114和话语储存部115。存储部130包括说话实际结果存储部131、省略语存储部132和声音识别信息存储部133。
图4是表示说话实际结果存储部131的数据构造的图。在说话实际结果存储部131中，包括车辆状态131a、说话件数131b和说话信息131c。车辆状态131a是表示声音输入辅助装置200所属的车辆的状态的信息。例如，在车辆状态131a中，包含确定车辆的位置所属的地域的信息、或由车辆确定的时段等的信息。
说话件数131b是表示储存有由车辆状态131a确定的车辆状态下的、与说话信息131c有关的话语被储存的件数的信息。说话信息131c是说出的文章被文本化的信息。
图5是表示省略语存储部132的数据构造的图。在省略语存储部132中，包括应用名132a、序号132b、指示语132c、轻省略指示语132d和重省略指示语132e。
应用名132a是确定应用软件的名称的信息。序号132b是被分配给指示语132c的唯一的信息。指示语132c是用来进行通过声音输入的操作的预先设定的语句。轻省略指示语132d是对有关指示语132c的指示语实施了轻度的省略的指示语。另外，“轻度”是指省略的程度比有关重省略指示语132e的指示语小。例如，轻省略指示语132d是针对指示语至少提取名词或动词而设为可操作的项目的语句，对于指示语“使音乐的音量变大”，可以考虑轻省略指示语“音乐音量大”等。
重省略指示语132e是对有关指示语132c的指示语实施了重度的省略的指示语。另外，“重度”是指省略的程度比有关轻省略指示语132d的指示语大。例如，重省略指示语132e是针对指示语提取表示动作的形态的语句而设为可操作的项目的语句，对于指示语“使音乐的音量变大”，可以考虑重省略指示语“音量大”等。
另外，关于上述省略的程度的轻重不过是一例，关于指示语，只要轻度、重度这样随着省略的程度逐渐变大成为越简单的表现就可以。因而，并不严格限定于名词或动词、表示动作的形态的语句，也可以是省略宾语的语句等按照指示语及言语而在现实上可想到的具体的省略使用、匹配于略语等适当地设定的语句。此外，关于指示语及省略语，既可以基于从外部的装置分发的信息而进行更新，也可以在执行时根据指示语实施省略而生成省略语。
回到图2的说明。声音识别部111使用保存在声音识别信息存储部133中的用于通常的声音识别的信息，进行包含在声音信息中的语言的识别。另外，声音识别部111从声音输入辅助装置200接收包含省略语的用户的说话声音(以后，记作“用户说话声音(省略语)”)、省略语适用操作项目列表和车辆信息。
此外，声音识别部111将用户说话声音(省略语)变换为作为文本形式的数据的用户话语(省略语)。并且，声音识别部111将用户话语(省略语)和省略语适用操作项目列表向省略语适用判定部112移交。此外，声音识别部111将用户话语(省略语)和车辆信息向话语储存部115移交。
省略语适用判定部112参照移交来的用户话语(省略语)和移交来的省略语适用操作项目列表，判定用户话语(省略语)是否对应于该列表的省略语中的某一个，在对应于某一个的情况下，将用户话语(省略语)变换为对应的操作指示语(无省略)。在哪个都不对应的情况下，将用户话语(省略语)看作操作指示语(无省略)而进行变换。并且，省略语适用判定部112将操作指示语(无省略)向声音输入辅助装置200发送。
频繁出现话语确定部113在接收到从声音输入辅助装置200发送的车辆信息的情况下，通过参照说话实际结果存储部131，提取由许多用户针对与接收到的车辆信息一致或类似的车辆信息说出的话语。例如，频繁出现话语确定部113提取说话的件数排前的话语。此外，频繁出现话语确定部113将提取出的话语与说话的件数一起向声音输入辅助装置200发送。
各种服务处理部114将执行服务器装置100提供的各种服务的引擎或服务执行。例如，各种服务处理部114接受声音对话服务等的对话型的输入，执行对作为POI(Point OfInterest：兴趣点)的地点或施设进行提示的POI检索的服务等。
话语储存部115从声音识别部111接收用户话语(无省略)和车辆信息。并且，将接收到的车辆信息、如果有已经存储在说话实际结果存储部131中的共通的车辆信息，则建立对应而保存用户话语(无省略)。
通信部120进行与连接在因特网等网络15上的其他装置的通信。即，可以说声音识别部111和各种服务处理部114受理从其他装置受理的信息。此外，省略语适用判定部112、频繁出现话语确定部113和各种服务处理部114发送向其他装置发送的信息。
以上是服务器装置100的结构的概要。另外，服务器装置100典型地是通用计算机等，但并不限于此，也可以是个人计算机装置、便携电话终端、平板电脑终端、PDA(PersonalDigital Assistant)等电子信息终端。
图3是表示本实施方式的声音输入辅助装置200及周边设备300的结构的图。声音输入辅助装置200包括控制部210、通信部220、存储部230和周边设备连接部240。控制部210包括声音处理部211、输出处理部212、软件执行控制部213、希望度推测部214、应用利用水平管理部215、频繁出现话语提示部216、车辆信息取得部217和并行执行部218。存储部230包括操作指示语存储部231、应用利用状态存储部232和省略语存储部233。
图6是表示操作指示语存储部231的数据构造的图。操作指示语存储部231包括确定说话的日期时间的日期时间231a、确定说话时的车辆的状态的车辆状态231b、确定作为说话的对象的应用软件的指示对象应用231c、和作为说话的语言表现的说话信息231d。
在车辆状态231b中，例如保存地域、车速、时段、剩余燃料、车种、表示是否正在实施推荐路径等的路径引导的信息等的车辆的信息。在指示对象应用231c中，保存确定应用软件的种类的信息。在说话信息231d中，将实际用户说出的语言表现进行文本化而保存。
图7是表示应用利用状态存储部232的数据构造的图。应用利用状态存储部232包括应用名232a、启动状态232b、操作状况232c、资源利用状况232d、画面显示状况232e和应用利用水平232f。
在应用名232a中，保存用于确定在声音输入辅助装置200或连接的周边设备300中能够利用的应用软件的信息。在启动状态232b中，保存用于确定由应用名232a确定的应用软件是否处于启动状态的信息。
在操作状况232c中，保存用于确定由应用名232a确定的应用软件是否处于操作状态的信息。
在资源利用状况232d中，保存用于确定由应用名232a确定的应用软件所利用的资源的信息。例如，资源中包括扬声器、Bluetooth(注册商标)的无线通信资源等。
在画面显示状况232e中，保存用于确定由应用名232a确定的应用软件的画面显示的状态的信息。例如，画面显示的状态中，包括表示画面被显示的状态的前台(foreground，以下表述为FG)、表示画面没有被显示的状态的后台(background，以下表述为BG)等。
在应用利用水平232f中，保存用于确定表示由应用名232a确定的应用软件的利用程度的值即应用利用水平的信息。例如，应用利用水平保存使用启动状态232b、操作状况232c、资源利用状况232d和画面显示状况232e的信息采用规定的计算式计算出的值。另外，应用利用水平的值是按每个应用表示该应用以何种程度被利用的状况的指标，并且是越频繁被利用的应用则处于越高的利用水平的值。因此，该计算方法并不限于上述，当然也可以从与上述计算方法不同的视点使用不同的基准值计算。
省略语存储部233具备与图5所示的省略语存储部132的数据构造同样的数据构造。即，省略语存储部233中包括应用名132a、序号132b、指示语132c、轻省略指示语132d和重省略指示语132e。对操作指示语及省略语存储部233的数据而言，在应用的追加或删除的定时，用来操作这些应用的操作指示语及省略语被追加或删除。此外，并不限于此，也可以在声音输入辅助装置200中搭载用来编辑该数据的工具软件，接受系统运用者或用户的操作来进行追加、更新或删除。或者，该数据也可以由声音输入辅助装置200经由网络15从服务器装置100等的外部的服务器装置下载而取得，也可以经由USB(Universal Serial Bus)存储器等的外部存储装置取得。此外，关于在服务器装置100中不包含的省略语，也可以经由频繁出现话语提示部216向服务器装置100上载而作为与指示语对应的省略语追加。另外，操作指示语通常省略程度越大越容易发生操作指示语间的省略语的重复，所以关于该追加，以避免重复的方式生成多个省略语的候选并变更省略语来上载。
回到图3的说明。声音处理部211受理用户说话的声音。并且，声音处理部211从车辆信息取得部217接受车辆信息。声音处理部211将用户说话声音、省略语适用操作项目列表和车辆信息向服务器装置100的声音识别部111发送。另外，省略语适用操作项目列表是希望度推测部214生成的信息。此外，车辆信息是包含具备声音输入辅助装置200的车辆所在的地域(坐标)、时间段、车速、剩余燃料、车种、表示是否正在实施推荐路径等的路径引导的信息等的表示车辆的状态的信息。
此外，声音处理部211在声音输入辅助装置200中设有受理基于麦克风的声音输入受理指示的麦克风开关的情况下，检测用户对麦克风开关的按下，根据按下方法及按下位置的不同，检测是说话方法显示请求、说话准备请求或显示前进请求中的哪种请求。
这里，说话方法显示是指表示为了进行声音操作应怎样说话。此外，说话准备是指开始受理说话声音的处理。此外，显示前进是指将后述的“希望度排前的操作项目”中包含的项目变更。
输出处理部212生成对用户公开的画面信息。特别是从希望度推测部214接收说话方法(包括省略语)，为了向用户提示而构成画面信息并输出。即，可以说输出处理部212对于由希望度推测部214推测为希望的可操作的操作，通过根据希望的程度改变了省略的程度的表现作为可操作的项目进行提示。
软件执行控制部213使能够在声音输入辅助装置200中动作的软件动作。此外，软件执行控制部213使用由动作的软件输出的信息来生成显示画面。
希望度推测部214取得后述的频繁出现话语提示部216提示的频繁出现话语中的被频繁说出的多个频繁出现话语，根据说话次数的多寡来推测希望度。此外，希望度推测部214取得后述的应用利用水平管理部215计算的应用利用水平为规定以上高的操作项目，根据应用利用水平来推测希望度。即，可以说希望度推测部214推测希望的操作项目和其程度。此外，可以说希望度推测部214将声音输入辅助装置200自身中已经被执行的处理的希望的程度推测为比没有被执行的处理高。此外，也可以说希望度推测部214将在声音输入辅助装置200自身中已经被执行的处理及与声音输入辅助装置200自身连接的其他装置的某一个中已经执行中的处理的上述希望的程度推测为更高。
这里，对希望度进行说明。希望度是指当推测为用户希望指示时表示该希望的强度的程度的指标。例如，在高速公路上行驶的过程中，如果知道在前方发生了较长的拥堵的信息，则可以说用户希望从高速公路脱离的路径也包括在内进行避开路径的搜索的指示的程度较高。又例如，在听音乐的状态下，可以说希望音量的变更指示的程度比没有听音乐的状态高。
这里，对应用利用水平进行说明。应用利用水平是指表示用户所利用的应用的重要性的程度的指标。关于应用利用水平，使用将各应用软件的1)启动状况、2)用户操作状况、3)资源利用状况(麦克风、扬声器、通信路径等)、4)应用间的相对的画面显示状况(是FG还是BG)数值化而得到的应用利用水平指标通过规定的数式来计算。该数式只要由四则运算等的运算规则、及对于各应用利用水平指标的加权参数等构成就可以。
作为在应用利用水平的计算中使用的数式，具体而言，可以举出在右边作为变量而具有上述1)至4)的至少一个指标、通过对该变量输入上述数值来得到数式的左边(应用利用水平的分数)的式子。例如，可以举出如果各应用软件处于启动状态则获得规定的分数作为应用利用水平，对其加上与用户操作状况、资源利用状况、应用间的相对的画面显示状况对应的规定的分数，作为最终的应用利用水平计算的式子。
此外，希望度推测部214确定为，将推测出的希望度排前的操作项目及该操作项目的省略语从排前的操作项目起以降序排序并作为省略语适用操作项目列表来输出。
这里，作为希望度的次序的决定方法，可以考虑根据说话件数、有关应用利用水平的分数、说话件数的偏差值、有关应用利用水平的分数的偏差值中的某一个或它们的复合值的大小来决定的方法。
例如，有将从频繁出现话语中提取的操作项目和从应用利用水平的计算结果中提取的操作项目双方作为希望度排前的操作项目来提取的情况。既可以生成输出信息以将它们同时显示在单一画面的内部的单一的显示窗的内部，也可以生成输出信息以将它们同时显示在单一画面的内部的不同的显示窗的内部。或者，也可以生成输出信息以将它们分别在不同的单一画面上以不同的定时(例如，分别在提取了频繁出现话语时和计算出应用利用水平时)显示。
应用利用水平管理部215从各应用接收应用的状态及上述的应用利用水平指标。另外，应用的状态及上述的应用利用水平指标的接收既可以周期性地进行，也可以不是周期性的，而以麦克风开关按下等的事件为契机。此外，应用利用水平管理部215参照由后述的周边设备连接部240生成的可控制应用列表，在该列表中存在可控制的应用的名称或识别码的情况下，看作该应用正在周边设备中动作，接收在该周边设备动作中的应用的状态和应用利用水平指标。
此外，应用利用水平管理部215基于应用的状态，确定在该应用中能够实施的操作项目。
频繁出现话语提示部216从服务器装置100接收包含与表示车辆的状态的信息对应的频繁出现话语及作为说出该频繁出现话语的次数的件数的信息。另外，频繁出现话语是指在规定的车辆状态下多个用户说出的话语中的、说出次数排前的话语。
车辆信息取得部217从关联的传感器等装置取得包含设有声音输入辅助装置200的车辆的车速及位置信息、剩余燃料、时段等信息在内的信息。
并行执行部218在希望度推测部214推测的希望度排前的操作指示语中，确定可逆的处理、即通过执行而状态不变化、即使再执行也不发生矛盾的处理，通过将该操作指示语对各应用发送，并行地控制应用的先行执行。
通信部220进行与连接在因特网等网络15上的其他装置的通信。
周边设备连接部240实施与连接在声音输入辅助装置200上的周边设备300之间的通信的建立、维持及通信的放弃等。另外，周边设备连接部240通过Bluetooth、无线LAN、NFC等近距离无线通信或USB、HDMI等经由通信线缆等的有线通信而与周边设备300通信、连接。此外，周边设备连接部240在连接的周边设备300中被执行的应用软件是受理来自声音输入辅助装置200的操作的软件的情况下，取得该应用软件的名称等并取得操作项目。
以上是声音输入辅助装置200的结构的概要。另外，声音输入辅助装置200典型的是搭载在车辆上的导航装置，但并不限于此，也可以是移动设备、个人计算机装置、便携电话终端、平板终端、PDA等电子信息终端。
周边设备300包括控制部310和周边设备连接部340。控制部310包括输入受理部311、输出处理部312、信息终端通信部313和应用管理部314。
输入受理部311受理从设置在周边设备300所具备的画面上的触摸面板传来的指针信息中的、与按压、离开、移动等的画面操作关联的信息。
输出处理部312进行与在声音输入辅助装置200及周边设备300中动作的软件关联的画面的显示。信息终端通信部313在与声音输入辅助装置200之间进行信息的交换。
应用管理部314使能够在周边设备300中动作的软件动作。此外，应用管理部314使用由动作的软件输出的信息生成显示画面。此外，应用管理部314对于经由周边设备连接部340连接的声音输入辅助装置200，输出由周边设备300执行的应用软件的名称、和在声音输入辅助装置200中能够受理操作的操作项目。
周边设备连接部340实施与连接在周边设备300上的声音输入辅助装置200之间的通信的建立、维持及通信的放弃等。另外，周边设备连接部340通过Bluetooth、无线LAN、NFC等近距离无线通信或USB、HDMI等经由通信线缆等的有线通信，与声音输入辅助装置200通信、连接。此外，周边设备连接部340对于连接的声音输入辅助装置200，在由周边设备300执行的应用软件是受理来自声音输入辅助装置200的操作的软件的情况下，将该应用软件的名称、操作项目等移交。
以上是周边设备300的结构的概要。另外，周边设备300典型的是便携电话终端，但并不限于此，也可以是导航装置、个人计算机装置、便携电话终端、平板终端、PDA等电子信息终端。
图8是表示构成声音输入辅助系统1的各设备的硬件结构的图。服务器装置100包括显示器等输出装置151、网卡等通信装置152、键盘等输入装置153、CPU(CentralProsessing Unit)154、HDD(Hard Disk Drive)或SSD(Solid State Drive)等辅助存储装置155、RAM(Random Access Memory)156而构成。
输出装置151是显示器等显示装置，显示CPU154的处理的结果。通信装置152连接在因特网等网络15上，与连接在网络15上的其他装置进行各种数据的交换。
输入装置153是触摸面板、键盘、鼠标等，受理来自用户的指示。
CPU154是按照装载到RAM156上的程序进行运算的控制单元。
辅助存储装置155是存储程序中所利用的各种数据的存储装置。
RAM156是装载存储在辅助存储装置155中的程序的存储装置。此外，RAM156将数据暂时保存。
上述服务器装置100的控制部110由使CPU154进行处理的程序实现。该程序被存储到辅助存储装置155中，当执行时被装载到RAM156上，由CPU154执行。
此外，通信部120由通信装置152实现。存储部130由辅助存储装置155或RAM156实现。
以上是本实施方式的服务器装置100的硬件结构例。但是，并不限于此，也可以使用其他同样的硬件构成。
声音输入辅助装置200包括显示装置251、ROM252、操作装置253、RAM254、辅助存储装置255、设备间通信接口256、测位传感器257、CPU258、陀螺仪传感器259、加速度传感器260、通信装置261和车辆间接口262而构成。
显示装置251是液晶显示器或有机EL显示器等显示图像信息的装置。
ROM252是写入有控制程序等的读出专用的存储装置。
操作装置253是通过手指的接触动作等对声音输入辅助装置200进行操作的按钮、开关、键盘、触摸面板等的受理来自用户的操作的装置。
RAM254是将存储在辅助存储装置255中的程序装载而将数据暂时保存的存储装置。
辅助存储装置255是存储由软件利用的各种数据的存储装置。
设备间通信接口256与周边设备300连接，收发数据。另外，设备间通信接口256具备的连接方式既可以是依据USB或HDMI等的规格的有线连接，也可以是依据无线LAN的IEEE802.11a/b/g/n/ac或Bluetooth等的规格的无线连接。
测位传感器257是确定位置并以由经度、纬度构成的坐标系输出的传感器。
CPU258是控制声音输入辅助装置200的各部、按照装载到RAM254上的程序进行运算的控制单元。
陀螺仪传感器259是用来计测设有声音输入辅助装置200的车辆的水平方向的角度、角速度的传感器。
加速度传感器260是用来计测作用到设有声音输入辅助装置200的车辆上的多轴的加速度的传感器。
通信装置261利用无线通信线路网连接到因特网等的网络15，与连接在网络15上的装置进行各种数据的收发。
车辆间接口262是用来连接车辆信号线的接口，能够取入车辆行驶状态、内部状态(例如，包括车速、剩余燃料、位置、时段的信息)。或者，车辆间接口262与作为车辆内的网络的CAN(Control Area Network)连接，收发车辆的车速信息等的控制信息。
上述声音输入辅助装置200的控制部210由使CPU258进行处理的程序实现。该程序被存储到辅助存储装置255中，当执行时被装载到RAM254上，由CPU258执行。
此外，通信部220由通信装置261实现。存储部230由辅助存储装置255或RAM254实现。此外，周边设备连接部240由设备间通信接口256实现。
以上是本实施方式的声音输入辅助装置200的硬件结构例。但是，并不限于此，也可以使用其他的同样的硬件构成。
周边设备300包括显示装置351、ROM352、操作装置353、RAM354、辅助存储装置355、设备间通信接口356、CPU357和通信装置358而构成。
显示装置351是液晶显示器、有机EL(Electro－Luminescence)显示器等显示图像信息的装置。
ROM352是写入有控制程序等的读出专用的存储装置。
操作装置353是通过手指的接触动作等对周边设备300进行操作的按钮、开关、键盘、触摸面板等的受理来自用户的操作的装置。
RAM354是将存储在辅助存储装置355中的程序装载并暂时保存数据的存储装置。
辅助存储装置355是存储由软件利用的各种数据的存储装置。
设备间通信接口356与声音输入辅助装置200连接，收发数据。另外，设备间通信接口356具备的连接方式既可以是依据USB或HDMI等的规格的有线连接，也可以是依据无线LAN的IEEE 802.11a/b/g/n/ac或Bluetooth等的规格的无线连接。
CPU357是控制周边设备300的各部、按照装载到RAM354上的程序进行运算的控制单元。
通信装置358利用无线通信线路网连接到因特网等的网络15上，与连接在网络15上的装置进行各种数据的收发。
上述周边设备300的控制部310由使CPU357进行处理的程序实现。该程序被存储在辅助存储装置355中，当执行时被装载到RAM354上，由CPU357执行。
此外，周边设备连接部340由设备间通信接口356实现。
以上是本实施方式的周边设备300的硬件结构例。但是，并不限于此，也可以使用其他同样的硬件构成。
[动作的说明]
接着，使用图9说明本实施方式的希望度推测处理的动作。
图9是表示希望度推测处理的处理内容的图。如果声音输入辅助装置200及周边设备300被连接到服务器装置100上，则实施希望度推测处理。另外，不论是否连接着周边设备300都实施希望度推测处理，在此情况下，声音输入辅助装置200可以忽视关于从周边设备300不能得到信息的错误的发生。
首先，软件执行控制部213对于应用利用水平管理部215发送应用利用状况信息(步骤S001)。具体而言，软件执行控制部213将执行中的应用软件的名称、启动状态、操作状况、资源利用状况和画面显示状况向应用利用水平管理部215发送。该处理既可以在任意的定时执行，也可以例如周期性地执行，也可以在发生了规定的事件的情况下执行。
此外，周边设备300的应用管理部314在周边设备300连接在声音输入辅助装置200上的情况下，发送应用利用状况信息(步骤S002)。具体而言，应用管理部314将由周边设备300执行中的应用软件的名称、启动状态、操作状况、资源利用状况和画面显示状况向应用利用水平管理部215发送。该处理既可以在任意的定时执行，也可以例如周期性地执行，也可以在发生了规定的事件的情况下执行。
并且，应用利用水平管理部215确定应用利用水平(步骤S003)。具体而言，应用利用水平管理部215使用在步骤S001及步骤S002中发送的应用利用状况信息，按各应用软件确定利用水平。在该应用利用水平的确定处理中，应用利用水平管理部215通过进行与上述的应用利用水平指标的信息相应的分数的合计，计算并确定应用利用水平。
并且，希望度推测部214在规定的定时对应用利用水平管理部215请求应用利用水平(步骤S004)。该定时例如可以是定期性的定时，也可以是按每规定的时刻表的定时，也可以是对应于规定的事件发生的定时。
应用利用水平管理部215如果受理步骤S004的应用利用水平请求，则发送应用利用水平(步骤S005)。具体而言，应用利用水平管理部215对希望度推测部214发送将通过步骤S003确定的应用利用水平与应用软件的名称建立了对应的信息。
并且，希望度推测部214在规定的定时对频繁出现话语提示部216请求频繁出现话语(步骤S006)。该定时例如可以是定期性的定时，也可以是按每规定的时刻表的定时，也可以是对应于规定的事件发生的定时。
频繁出现话语提示部216使用在规定的定时从车辆信息取得部217对频繁出现话语提示部216发送的(后述的步骤S009)车辆信息，取得频繁出现话语并发送(步骤S007)。具体而言，频繁出现话语提示部216确定在车辆信息的各信息类似的状况下进行的说话及其件数，向希望度推测部214发送。另外，在频繁出现话语及其件数的确定处理中，频繁出现话语提示部216将地域、时段、剩余燃料、车速、车种、表示是否正在实施推荐路径等的路径引导的信息等的车辆信息向服务器装置100的频繁出现话语确定部113发送，取得返送的话语和说话的件数。并且，频繁出现话语提示部216将所取得的话语和说话的件数向希望度推测部214发送。即，可以说希望度推测部214使用在搭载声音输入辅助装置200的车辆的状态与其他车辆的状态类似的状态下说出的实际结果来推测希望的程度。
并且，希望度推测部214从频繁出现话语中提取应用利用水平高的应用的话语(步骤S008)。具体而言，希望度推测部214在步骤S007中取得的频繁出现话语中，提取有关应用利用水平高的应用软件的频繁出现话语，生成用来向用户显示的画面信息。
车辆信息取得部217在与这些希望度推测处理同步的定时或自律性的定时，将车辆信息向频繁出现话语提示部216发送(步骤S009)。
以上是希望度推测处理的流程。根据希望度推测处理，能够提取在车辆状况类似的状况下频繁说出的应用软件的指示语中的、应用软件的利用的重要性高的指示语并向用户提示。由此，可以说能够根据上下文先行地推测用户的指示。
图10是表示省略语提示处理的处理流程的图。省略语提示处理中，在接受说话指示之前并行地执行希望度排前的操作的话语。由此，能够比接受指示后开始的情况更早地取得结果，能够得到对于用户的观感上的应答速度。或者，也可以以希望度排前的操作项目变化的事项为契机来进行省略语提示处理的执行。
首先，并行执行部218向希望度推测部214请求希望度排前的操作的话语(步骤S101)。并且，希望度推测部214将在希望度推测处理的步骤S008中提取出的希望度排前的操作的话语向并行执行部218发送(步骤S102)。
并行执行部218将频繁出现话语执行指示向软件执行控制部213发送(步骤S103)。具体而言，并行执行部218关于在步骤S102中接收到的希望度排前的操作的话语的规定数量，向软件执行控制部213进行执行指示。另外，在该处理中，并行执行部218指示执行可取消的处理、即检索或参照等的不伴随着数据变更的处理，而关于不可取消的处理、即更新或删除等的伴随着数据变更的处理的执行则排除。
软件执行控制部213执行应用软件并保持结果(步骤S104)。具体而言，软件执行控制部213执行与由并行执行部218指示了执行的频繁出现话语有关的软件的操作，将结果进行高速缓存。并且，以后关于同内容的执行指示，将该高速缓存的结果作为处理结果移交。
此外，希望度推测部214接收说话方法显示请求(步骤S105)。该请求的接收例如由检测到麦克风开关的规定的操作按钮的按下等的声音输入辅助装置200的未图示的操作系统等发送。
并且，希望度推测部214采用与希望度对应的省略语并发送(步骤S106)。具体而言，希望度推测部214关于希望度排前的操作的话语，分别确定对希望度排前的操作的话语使省略的程度变大的省略语，作为省略语来采用，向并行执行部218发送。
并且，并行执行部218进行省略语的选择显示输出指示(步骤S107)。具体而言，并行执行部218针对在步骤S106中发送的省略语进行画面构成，以便用户能够理解并且能够说出省略语。另外，并行执行部218使得在构成的画面上至少包含省略语、和表示省略语是哪个应用软件的操作指示语的省略的信息。并且，将构成的画面信息向输出处理部212发送。
输出处理部212显示省略语和对象应用软件(步骤S108)。具体而言，输出处理部212显示在步骤S107中发送的画面信息。另外，输出处理部212在可操作的项目与其他可操作的项目为相同的表现的情况下，变更省略的程度而使表现不同，以强调不同点(例如显示下划线等)的方式表现。
以上是省略语提示处理的流程。根据省略语提示处理，能够向用户提示越是希望度高的操作则省略的程度越大的省略语。因此，用户可以通过说出省略语来直接进行操作指示。
图11是表示声音识别省略语显示画面的例的图。在声音识别省略语显示画面500中，按希望度从高到低的顺序，将操作指示语的省略语与表示应用软件的种类的辅助信息建立对应而显示多个。例如，在朝向画面的左侧的列中，朝向铅直下方显示“音量大”显示栏511、“向导音量大”显示栏512和“以关键字缩减”显示栏513。此外，关于各显示栏的字符的大小，希望度越高则以越大的字符强调显示。此外，希望度越高则省略的程度越高，在希望度最高的“音量大”显示栏511中，记载有被重省略的操作指示语，接着在“向导音量大”显示栏512中记载有被轻省略的操作指示语，在“用关键字缩减”显示栏513中记载有无省略的操作指示语。此外，在朝向画面的右侧的列中，与“音量大”显示栏511、“向导音量大”显示栏512和“用关键字缩减”显示栏513建立对应而分别显示“音乐”、“导航”、“POI检索”的辅助信息521、522、523。这表示在“音量大”显示栏511中记载有与“音乐”功能有关的操作指示。同样，表示在“向导音量大”显示栏512中记载有与“导航”功能有关的操作指示。此外，表示在“用关键字缩减”显示栏513中记载有与“POI检索”功能有关的操作指示。
图12是表示声音识别处理的处理流程的图。如果由用户通过麦克风开关等进行了声音输入指示，则开始声音识别处理。
声音处理部211将声音指示向服务器装置100的声音识别部111发送(步骤S201)。
并且，声音识别部111将发送来的声音指示进行解析，进行声音文本变换(步骤S202)。并且，声音识别部111将变换结果向省略语适用判定部112发送。
省略语适用判定部112如果受理了作为发送来的声音文本变换结果的文本信息，则确定指示语(步骤S203)。具体而言，省略语适用判定部112参照省略语存储部132，确定说出的省略语是关于哪个操作指示语的省略语。并且，省略语适用判定部112将所确定的指示语向声音输入辅助装置200的声音处理部211发送。
声音处理部211进行对象应用执行指示(步骤S204)。具体而言，使软件执行控制部213执行由指示语操作的应用软件和其操作指示。
软件执行控制部213关于被指示的操作判定是否有已执行结果(步骤S205)。具体而言，软件执行控制部213判定是否存在在省略语提示处理的步骤S104中执行的高速缓存。
在有已执行结果的情况下(步骤S205中“是”的情况下)，软件执行控制部213进行结果的保留(步骤S206)。
在没有已执行结果的情况下(步骤S205中“否”的情况下)，软件执行控制部213执行应用软件(步骤S207)。具体而言，软件执行控制部213执行在步骤S204中被指示了执行的应用软件的操作，并得到结果。另外，在执行对象的操作是没有启动的应用软件上的操作的情况下，软件执行控制部213也可以进行应用软件的启动而执行该操作，在使应用软件的启动结束的操作的情况下，对应用软件给出指示以将执行中的处理结束。
并且，软件执行控制部213进行结果的输出构成(步骤S208)。具体而言，软件执行控制部213使用执行应用软件的结果得到的输出信息，作为结果的输出信息向输出处理部212移交。
输出处理部212进行所构成的输出信息的输出(步骤S209)。具体而言，输出处理部212进行在步骤S208中构成的输出画面的输出。
以上是声音识别处理的处理流程。根据声音识别处理，即使在以省略语进行了声音操作的情况下，也能够正确地进行操作。此外，当存在之前在说出前并行执行的结果的情况下，能够通过得到该结果来提高应答性。
以上，对第一实施方式进行了说明。根据第一实施方式，能够通过越是推测为希望的操作项目则省略得越短的言语进行操作。
在第一实施方式中，省略语适用判定部112、声音识别部111及省略语存储部132设置于服务器装置100，但本发明并不限于此。例如也可以是设置于声音输入辅助装置200的结构。
此外，在希望度推测处理中，在步骤S008中实施从频繁出现话语中提取应用利用水平高的应用的话语并输出的处理，但并不限于此。例如，也可以将应用利用水平高的应用的话语和作为频繁出现话语提取的话语按希望度从高到低的顺序不考虑重复而罗列。例如，也可以以应用利用水平高的应用的话语中的希望度高的话语和频繁出现话语中的希望度高的话语混杂的方式进行显示。
图13是表示声音识别显示画面的例子的图。声音识别显示画面600是这样的按希望度从高到低的顺序不考虑重复而罗列的输出例。在声音识别显示画面600中，按希望度从高到低的顺序，将操作指示语与表示应用软件的种类的辅助信息建立对应而显示多个。例如，在朝向画面的左侧的列中，朝向铅直下方显示“使音乐的音量变大”操作显示栏611、“将音乐停止”操作显示栏612、“使向导的音量变大”操作显示栏613、“使音乐的音量变大”操作显示栏614和“用关键字缩减”操作显示栏615。此外，“使音乐的音量变大”操作显示栏611中，记载有频繁出现话语的希望度为最大的操作指示语，在“将音乐停止”操作显示栏612中，记载有应用利用水平为最大的操作指示语。同样，在“使向导的音量变大”操作显示栏613中，记载有频繁出现话语的希望度为次高的操作指示语，在“使音乐的音量变大”操作显示栏614中，记载有应用利用水平为次高的操作指示语。此外，在“用关键字缩减”操作显示栏615中，记载有频繁出现话语的希望度为第三的操作指示语。
此外，在声音识别显示画面600中，在朝向画面的右侧的列中分别显示“音乐”、“音乐”“导航”、“外部音乐”、“POI检索”的辅助信息621、622、623、624、625。
此外，在说话实际结果存储部131中，关于对任何应用软件都存在的多义的操作，也可以预先基于黑名单来进行登记排除。例如，翻页操作的“下一个”、“返回”、“下一个候选”“(选出选择分支)3号”等操作是许多软件共通的操作，作为确定实质上进行了哪个操作的操作语，不能说妥当性高。因此，也可以具备将这样的操作语预先排除以使其不包含在说话实际结果中而进行登记的处理部。通过这样，储存的话语的质量提高，能够更适当地确定频繁出现话语。
另外，关于上述第一实施方式的控制线及信息线，示出了认为在说明上必要的部分，不一定在产品上示出了全部的控制线及信息线。可以认为实际中几乎全部的结构被相互连接。
此外，关于上述各结构、功能、处理部等，例如也可以将它们的一部分或全部通过用集成电路设计等而由硬件实现。此外，上述实施方式的技术要素既可以单独采用，也可以分为程序部件和硬件部件那样的多个部分来采用。
以上，以实施方式为中心对本发明进行了说明。
标号说明
1声音输入辅助系统；10用户；15网络；100服务器装置；110控制部；111声音识别部；112省略语适用判定部；113频繁出现话语确定部；114各种服务处理部；115话语储存部；120通信部；130存储部；131说话实际结果存储部；132省略语存储部；133声音识别信息存储部；200声音输入辅助装置；210控制部；211声音处理部；212输出处理部；213软件执行控制部；214希望度推测部；215应用利用水平管理部；216频繁出现话语提示部；217车辆信息取得部；218并行执行部；220通信部；230存储部；231操作指示语存储部；232应用利用状态存储部；233省略语存储部；240周边设备连接部；300周边设备；310控制部；311输入受理部；312输出处理部；313信息终端通信部；314应用管理部；340周边设备连接部。

Claims (14)

1.一种声音输入辅助装置，其特征在于，具备：
省略语存储部，将操作项目和与上述操作项目的希望的程度相应的省略语建立对应而存储；
希望度推测部，使用规定的指标，推测各个上述操作项目的希望的程度，并根据上述希望的程度从上述省略语存储部中确定省略语；以及
输出处理部，提示由上述希望度推测部确定的省略语。
2.如权利要求1所述的声音输入辅助装置，其特征在于，
上述希望度推测部收集搭载上述声音输入辅助装置的车辆的状态，使用在与收集到的上述车辆的状态类似的状态下在其他车辆中进行的说话实际结果，推测上述希望的程度。
3.如权利要求1所述的声音输入辅助装置，其特征在于，
上述希望度推测部收集搭载上述声音输入辅助装置的车辆的状态，使用在与收集到的上述车辆的状态类似的状态下在其他车辆中进行的说话实际结果，推测上述希望的程度；
作为上述车辆的状态，使用地域、时间段、车速、剩余燃料、车种、表示是否正在实施推荐路径等的路径引导的信息中的至少某一个指标来判定类似。
4.如权利要求1所述的声音输入辅助装置，其特征在于，
上述希望度推测部将与在上述声音输入辅助装置中利用度高的处理有关的上述希望的程度推测为更高。
5.如权利要求1所述的声音输入辅助装置，其特征在于，
上述希望度推测部将与在上述声音输入辅助装置及与上述声音输入辅助装置连接的装置中的某一个中利用度高的处理有关的上述希望的程度推测为更高。
6.如权利要求1所述的声音输入辅助装置，其特征在于，
上述希望度推测部将与在上述声音输入辅助装置中利用度高的处理有关的上述希望的程度推测为更高；
在上述利用度高的处理的计算时，针对各处理，根据启动状况、用户的操作状况、资源利用状况、相对的画面显示状况中的至少某一个指标来确定上述利用度。
7.如权利要求1所述的声音输入辅助装置，其特征在于，
上述希望度推测部针对被推测为较强烈地希望的上述操作，使省略的程度更高。
8.如权利要求1所述的声音输入辅助装置，其特征在于，
上述希望度推测部针对被推测为希望的上述操作，从上述操作项目的名称中至少提取名词或动词作为省略语。
9.如权利要求1所述的声音输入辅助装置，其特征在于，
上述希望度推测部针对被推测为希望的上述操作，从上述操作项目的名称中提取表示动作的形态的语句作为省略语。
10.如权利要求1所述的声音输入辅助装置，其特征在于，
上述希望度推测部在提示上述操作项目的省略语的处理中，当为与其他操作项目的省略语相同的表现的情况下，将一方的操作项目的省略的程度变更而使表现不同，并与上述省略语一起确定不同点的强调表现。
11.如权利要求1所述的声音输入辅助装置，其特征在于，
具备省略语适用判定部，该省略语适用判定部在受理了与被省略的上述操作项目有关的声音输入的情况下，确定与对应的上述操作项目有关的操作。
12.如权利要求1所述的声音输入辅助装置，其特征在于，
具备并行执行部，该并行执行部针对与由上述希望度推测部推测为希望的操作项目有关的操作中的某一个，即使没有受理操作指示也预先执行。
13.一种声音输入辅助系统，包括服务器装置、以及与上述服务器装置可通信地连接的声音输入辅助装置，其特征在于，
上述服务器装置具备：
说话实际结果存储部，与上述声音输入辅助装置所属的车辆的状态建立对应而保存说话信息的实际结果；
话语储存部，从上述声音输入辅助装置，与表示上述声音输入辅助装置所属的车辆的状态的信息一起取得说话信息，向上述说话实际结果存储部储存；以及
频繁出现话语确定部，在从上述声音输入辅助装置受理了表示车辆的状态的信息的情况下，从上述说话实际结果存储部中提取与上述车辆的状态建立了对应的说话频度高的说话信息，向上述声音输入辅助装置发送；
上述声音输入辅助装置具备：
省略语存储部，将操作项目和与上述操作项目的希望的程度相应的省略语建立对应而存储；
希望度推测部，对上述服务器装置发送上述表示车辆的状态的信息，将从上述服务器装置发送的上述说话频度高的说话信息及说话频度分别推测为希望的操作项目和其希望的程度，根据上述希望的程度从上述省略语存储部中确定省略语；以及
输出处理部，提示由上述希望度推测部确定的省略语。
14.一种声音输入方法，使用声音输入辅助装置，其特征在于，
上述声音输入辅助装置具备省略语存储部和控制部，所述省略语存储部将操作项目和与上述操作项目的希望的程度相应的省略语建立对应而存储；
上述控制部实施以下步骤：
希望度推测步骤，使用规定的指标，推测各个上述操作项目的希望的程度，根据上述希望的程度从上述省略语存储部中确定省略语；以及
输出处理步骤，提示通过上述希望度推测步骤确定的省略语。
CN201580057276.6A 2014-12-12 2015-10-06 声音输入辅助装置、声音输入辅助系统及声音输入方法 Pending CN107148555A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014251442A JP6348831B2 (ja) 2014-12-12 2014-12-12 音声入力補助装置、音声入力補助システムおよび音声入力方法
JP2014-251442 2014-12-12
PCT/JP2015/078339 WO2016092946A1 (ja) 2014-12-12 2015-10-06 音声入力補助装置、音声入力補助システムおよび音声入力方法

Publications (1)

Publication Number Publication Date
CN107148555A true CN107148555A (zh) 2017-09-08

Family

ID=56107141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580057276.6A Pending CN107148555A (zh) 2014-12-12 2015-10-06 声音输入辅助装置、声音输入辅助系统及声音输入方法

Country Status (5)

Country Link
US (1) US20170323641A1 (zh)
EP (1) EP3232160A4 (zh)
JP (1) JP6348831B2 (zh)
CN (1) CN107148555A (zh)
WO (1) WO2016092946A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110027491A (zh) * 2018-01-11 2019-07-19 丰田自动车株式会社 信息处理设备、方法和程序存储介质
CN110060670A (zh) * 2017-12-28 2019-07-26 夏普株式会社 操作辅助装置、操作辅助系统以及操作辅助方法
CN111433736A (zh) * 2017-12-01 2020-07-17 雅马哈株式会社 机器控制系统、机器控制方法、以及程序

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6819383B2 (ja) * 2017-03-17 2021-01-27 ヤマハ株式会社 制御方法及び制御装置
KR102419728B1 (ko) * 2017-05-30 2022-07-13 현대자동차주식회사 상황 기반 동작 결정 시스템, 상황 기반으로 결정된 동작을 수행 가능한 차량 및 상황 기반 동작 결정 방법
US11205421B2 (en) * 2017-07-28 2021-12-21 Cerence Operating Company Selection system and method
JP6826324B2 (ja) * 2017-09-27 2021-02-03 トヨタ自動車株式会社 サービス提供装置及びサービス提供プログラム
CN109840062B (zh) * 2017-11-28 2022-10-28 株式会社东芝 输入辅助装置以及记录介质
CN108022586B (zh) * 2017-11-30 2019-10-18 百度在线网络技术（北京）有限公司 用于控制页面的方法和装置
US10664522B2 (en) * 2017-12-07 2020-05-26 International Business Machines Corporation Interactive voice based assistant for object assistance
KR102485342B1 (ko) * 2017-12-11 2023-01-05 현대자동차주식회사 차량의 환경에 기반한 추천 신뢰도 판단 장치 및 방법
JP7239963B2 (ja) * 2018-04-07 2023-03-15 ナレルシステム株式会社 グループ音声通信と過去音声確認のためのコンピュータプログラム、方法及び装置
JP7091807B2 (ja) * 2018-04-23 2022-06-28 トヨタ自動車株式会社 情報提供システムおよび情報提供方法
JP2021139920A (ja) * 2018-05-31 2021-09-16 ソニーグループ株式会社 音声処理装置および音声処理方法
JP2020071764A (ja) * 2018-11-01 2020-05-07 東芝テック株式会社 指示管理装置及びその制御プログラム
KR20200067673A (ko) * 2018-12-04 2020-06-12 (주)이더블유비엠 공유 ai 스피커
WO2020213245A1 (ja) * 2019-04-16 2020-10-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10999374B2 (en) * 2019-04-26 2021-05-04 Samsara Inc. Event detection system
US11080568B2 (en) 2019-04-26 2021-08-03 Samsara Inc. Object-model based event detection system
JP7264071B2 (ja) * 2020-01-23 2023-04-25 トヨタ自動車株式会社 情報処理システム、情報処理装置、及びプログラム
US20220415321A1 (en) * 2021-06-25 2022-12-29 Samsung Electronics Co., Ltd. Electronic device mounted in vehicle, and method of operating the same

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006011002A (ja) * 2004-06-25 2006-01-12 Advanced Telecommunication Research Institute International 音声応答装置、音声応答方法および音声応答プログラム
JP2006107148A (ja) * 2004-10-06 2006-04-20 Hitachi Ltd 音声情報提供装置
US20100121643A1 (en) * 2008-10-31 2010-05-13 Melodis Corporation Melodis crystal decoder method and device
US20100161339A1 (en) * 2008-12-19 2010-06-24 Honeywell International Inc. Method and system for operating a vehicular electronic system with voice command capability
US20130080177A1 (en) * 2011-09-28 2013-03-28 Lik Harry Chen Speech recognition repair using contextual information
JP2013235330A (ja) * 2012-05-07 2013-11-21 Sumitomo Electric Ind Ltd 光ビーコン、及び路車間通信システム
US20140095171A1 (en) * 2012-10-01 2014-04-03 Nuance Communications, Inc. Systems and methods for providing a voice agent user interface
JP2014134657A (ja) * 2013-01-10 2014-07-24 Olympus Corp 走査型レーザ顕微鏡および顕微鏡観察方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0781498A (ja) * 1993-09-20 1995-03-28 Mitsubishi Electric Corp 車両用走行制御装置
JP4155383B2 (ja) * 2001-03-05 2008-09-24 アルパイン株式会社 音声認識機器操作装置
JP2003167895A (ja) * 2001-11-30 2003-06-13 Denso Corp 情報検索システム、サーバおよび車載端末
EP1884421B1 (en) * 2006-08-04 2008-10-08 Harman Becker Automotive Systems GmbH Method and system for processing voice commands in a vehicle enviroment
JP5620814B2 (ja) * 2010-12-28 2014-11-05 ヤフー株式会社 トピック作成支援装置、トピック作成支援方法およびトピック作成支援プログラム
DE102011109932B4 (de) * 2011-08-10 2014-10-02 Audi Ag Verfahren zum Ansteuern funktioneller Einrichtungen in einem Fahrzeug bei Sprachbefehl-Bedienung
JP6122642B2 (ja) * 2013-01-10 2017-04-26 株式会社Ｎｔｔドコモ 機能実行システム及び発話例出力方法
JP5633613B2 (ja) * 2013-08-28 2014-12-03 トヨタ自動車株式会社 データベース管理システム及びナビゲーション装置
JP5968578B2 (ja) * 2014-04-22 2016-08-10 三菱電機株式会社 ユーザインターフェースシステム、ユーザインターフェース制御装置、ユーザインターフェース制御方法およびユーザインターフェース制御プログラム
EP2949536B1 (en) * 2014-05-30 2016-10-05 Honda Research Institute Europe GmbH Method for controlling a driver assistance system
US20160196823A1 (en) * 2015-01-02 2016-07-07 Atieva, Inc. Voice Command Activated Vehicle Camera System

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006011002A (ja) * 2004-06-25 2006-01-12 Advanced Telecommunication Research Institute International 音声応答装置、音声応答方法および音声応答プログラム
JP2006107148A (ja) * 2004-10-06 2006-04-20 Hitachi Ltd 音声情報提供装置
US20100121643A1 (en) * 2008-10-31 2010-05-13 Melodis Corporation Melodis crystal decoder method and device
US20100161339A1 (en) * 2008-12-19 2010-06-24 Honeywell International Inc. Method and system for operating a vehicular electronic system with voice command capability
US20130080177A1 (en) * 2011-09-28 2013-03-28 Lik Harry Chen Speech recognition repair using contextual information
JP2013235330A (ja) * 2012-05-07 2013-11-21 Sumitomo Electric Ind Ltd 光ビーコン、及び路車間通信システム
US20140095171A1 (en) * 2012-10-01 2014-04-03 Nuance Communications, Inc. Systems and methods for providing a voice agent user interface
JP2014134657A (ja) * 2013-01-10 2014-07-24 Olympus Corp 走査型レーザ顕微鏡および顕微鏡観察方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111433736A (zh) * 2017-12-01 2020-07-17 雅马哈株式会社 机器控制系统、机器控制方法、以及程序
CN111433736B (zh) * 2017-12-01 2024-05-07 雅马哈株式会社 机器控制系统以及机器控制方法
CN110060670A (zh) * 2017-12-28 2019-07-26 夏普株式会社 操作辅助装置、操作辅助系统以及操作辅助方法
CN110027491A (zh) * 2018-01-11 2019-07-19 丰田自动车株式会社 信息处理设备、方法和程序存储介质

Also Published As

Publication number Publication date
WO2016092946A1 (ja) 2016-06-16
US20170323641A1 (en) 2017-11-09
JP2016114395A (ja) 2016-06-23
EP3232160A1 (en) 2017-10-18
EP3232160A4 (en) 2018-07-25
JP6348831B2 (ja) 2018-06-27

Similar Documents

Publication Publication Date Title
CN107148555A (zh) 声音输入辅助装置、声音输入辅助系统及声音输入方法
US9865264B2 (en) Selective speech recognition for chat and digital personal assistant systems
CN104604274B (zh) 利用语音在用户设备之间连接服务的方法和装置
CN103345467B (zh) 语音翻译系统
CN103456298A (zh) 提供语音识别服务的方法及其电子装置
CN110457214B (zh) 应用测试方法及装置、电子设备
JP6652231B1 (ja) 会話制御プログラム、会話制御方法および情報処理装置
US9258406B2 (en) Apparatus and method for controlling mobile device by conversation recognition, and apparatus for providing information by conversation recognition during meeting
CN109919244A (zh) 用于生成场景识别模型的方法和装置
CN106340308A (zh) 语音答复方法及装置
CN108038102A (zh) 表情图像的推荐方法、装置、终端及存储介质
CN110827826A (zh) 语音转换文字方法、电子设备
WO2020240838A1 (ja) 会話制御プログラム、会話制御方法および情報処理装置
CN106126080A (zh) 语音管理方法及装置
CN109829164A (zh) 用于生成文本的方法和装置
CN107358233A (zh) 信息获取方法及装置
KR20200106703A (ko) 사용자 선택 기반의 정보를 제공하는 방법 및 장치
CN111612482A (zh) 对话管理方法、装置和设备
CN110659387A (zh) 用于提供视频的方法和设备
CN112242143B (zh) 一种语音交互方法、装置、终端设备及存储介质
CN111178055B (zh) 语料识别方法、装置、终端设备和介质
CN102957741B (zh) 用于访问基于位置的服务的方法和设备
CN107885720A (zh) 关键词生成装置以及关键词生成方法
CN113391856B (zh) 跨任务栈的页面处理方法、装置、设备及介质
CN114969299A (zh) 一种对话管理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170908