CN111742363B - 语音控制信息输出系统、语音控制信息输出方法以及记录介质 - Google Patents

语音控制信息输出系统、语音控制信息输出方法以及记录介质 Download PDF

Info

Publication number
CN111742363B
CN111742363B CN201980014568.XA CN201980014568A CN111742363B CN 111742363 B CN111742363 B CN 111742363B CN 201980014568 A CN201980014568 A CN 201980014568A CN 111742363 B CN111742363 B CN 111742363B
Authority
CN
China
Prior art keywords
information
voice
person
control information
voice control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980014568.XA
Other languages
English (en)
Other versions
CN111742363A (zh
Inventor
田中敬一
城户清规
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN111742363A publication Critical patent/CN111742363A/zh
Application granted granted Critical
Publication of CN111742363B publication Critical patent/CN111742363B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Abstract

语音控制信息输出系统(30)具备：语音控制信息获取部(51)，其从输出语音控制信息的语音控制系统(20)获取语音控制信息，该语音控制信息用于基于由语音输入终端(21)获取到的语音来控制设备(63)；以及输出部(52)，其输出用于进行与语音控制信息相关联的显示的显示关联信息。

Description

语音控制信息输出系统、语音控制信息输出方法以及记录 介质
技术领域
本发明涉及一种语音控制信息输出系统、语音控制信息输出方法以及记录介质。
背景技术
被称为VPA(Virtual Personal Assistance：虚拟个人助理)的通过语音来操作设备的服务开始普及。在专利文献1中公开了一种通过语音输入自然语句来控制设备的动作的语音控制系统。
现有技术文献
专利文献
专利文献1：国际公开第2014/171144号
发明内容
发明要解决的问题
在语音控制系统中，通过语音来针对用户输出与用于基于从该用户获取到的语音来控制设备的语音控制信息相关联的信息。例如，针对用户的“请打开空调”的语音输入，从语音控制系统输出“打开空调”的语音。对于此，存在想要在视觉上确认与语音控制信息相关联的信息的需求。
本发明提供一种能够在视觉上确认与语音控制信息相关联的信息的语音控制信息输出系统等。
用于解决问题的方案
本发明的一个方式所涉及的语音控制信息输出系统具备：语音控制信息获取部，其从输出语音控制信息的语音控制系统获取所述语音控制信息，所述语音控制信息用于基于由语音获取部获取到的语音来控制设备；以及输出部，其输出用于进行与所述语音控制信息相关联的显示的显示关联信息。
本发明的一个方式所涉及的语音控制信息输出方法包括以下步骤：语音控制信息获取步骤，从输出语音控制信息的语音控制系统获取所述语音控制信息，所述语音控制信息用于基于由语音获取部获取到的语音来控制设备；以及输出步骤，输出用于进行与所述语音控制信息相关联的显示的显示关联信息。
本发明的一个方式所涉及的记录介质是一种计算机可读记录介质，记录有用于使计算机执行上述的语音控制信息输出方法的程序。
发明的效果
根据本发明，能够在视觉上确认与语音控制信息相关联的信息。
附图说明
图1是示出实施方式所涉及的语音识别系统的功能结构的框图。
图2是示出实施方式所涉及的设备控制装置的功能结构的框图。
图3是实施方式所涉及的语音控制信息输出系统的动作例1的流程图。
图4是实施方式所涉及的语音控制信息输出系统的动作例2的流程图。
图5是用于说明实施方式所涉及的语音控制信息输出系统的动作例2的图。
图6是用于说明显示关联信息的一例的图。
图7是用于说明显示关联信息的一例的图。
图8是用于说明显示关联信息的一例的图。
图9是用于说明显示关联信息的一例的图。
图10是用于说明显示关联信息的一例的图。
图11是用于说明显示关联信息的一例的图。
具体实施方式
下面，参照附图来具体地说明实施方式。此外，下面说明的实施方式均表示总括的或具体的例子。下面的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置及连接方式、步骤、步骤的顺序等是一例，并非旨在限定本发明。另外，关于下面的实施方式的构成要素中的未记载于表示最上位概念的独立权利要求中的构成要素，设为任意的构成要素进行说明。
此外，各图为示意图，未必严格地进行图示。另外，在各图中，对实质相同的结构标注相同的标记，有时省略或简化重复的说明。
(实施方式)
[结构]
首先，对实施方式所涉及的系统的结构进行说明。图1是示出实施方式所涉及的语音识别系统10的功能结构的框图。
如图1所示，实施方式所涉及的语音识别系统10具备语音控制系统20、语音控制信息输出系统30、人探测装置61、监视器62、设备63以及路由器70。在室内设置有语音控制系统20的语音输入终端21以及语音控制信息输出系统30的设备控制装置50。语音控制系统20的语音识别服务器22和语音控制信息输出系统30的设备控制服务器40作为云端(云服务器)实现。另外，在图1中，也图示了配置于室外的语音输入终端80。
[语音控制系统的结构]
语音控制系统20是用于以语音为输入来控制作为控制对象的设备63的系统。语音控制系统20具备语音输入终端21和语音识别服务器22。
语音输入终端21是获取用户等的语音的语音输入接口装置。语音输入终端21是语音获取部的一例。语音输入终端21例如是智能音箱(smart speaker)等固置型终端，也可以是智能手机等移动终端。语音输入终端21只要具备麦克风等收音装置以及将获取到的语音的语音信号发送到语音识别服务器22的通信电路等，可以是任意的装置。另外，在本实施方式中，语音输入终端21具有输出语音的功能。语音输入终端80一般是移动终端。语音输入终端80具有与语音输入终端21相同的功能，因此省略说明，但是例如在语音输入终端21和80为移动终端的情况下，该移动终端在室内使用时为语音输入终端21，在室外使用时为语音输入终端80。
路由器70是对室内的局域通信网络和室外的因特网等广域通信网络(例如因特网)进行中继的中继装置。路由器70例如将由语音输入终端21获取到的语音的语音信号发送到云端上的语音识别服务器22。
语音识别服务器22是对从语音输入终端21发送的语音信号进行语音识别处理的服务器。提供语音识别服务的运营商使用语音识别服务器22来提供该语音识别服务。语音识别服务器22例如将从语音输入终端21发送的语音信号变换为文本信息，并将文本信息变换为与文本信息对应的命令。命令是用于基于由语音输入终端21获取到的语音来控制设备63的语音控制信息的一例。例如，在文本信息表示“请打开空调”的文本的情况下，像这样的文本信息被变换为用于使空调开始动作的命令。另外，语音识别服务器22将命令发送到语音控制信息输出系统30的设备控制服务器40。
[语音控制信息输出系统的结构]
语音控制信息输出系统30是与语音控制系统20协作地对设置于室内的设备63等进行控制的系统。语音控制信息输出系统30具备设备控制服务器40和设备控制装置50。
设备控制服务器40是包括处理器(微处理器)、存储器、通信接口(通信电路)等的计算机，是基于从语音识别服务器22发送的命令来进行室内的设备控制装置50的控制的服务器。提供设备控制服务的运营商使用设备控制服务器40来提供该设备控制服务。设备控制服务器40能够通过通信接口来与语音识别服务器22及设备控制装置50进行通信。
设备控制装置50是包括处理器(微处理器)、存储器、通信接口(通信电路)、用户接口(监视器等)等的网关装置。设备控制装置50与设置于室内的人探测装置61、监视器62、设备63等连接，具有基于语音控制信息来控制设备63的功能。另外，详细内容在后面记述，设备控制装置50根据人探测装置61的探测结果，判断是否使监视器62显示信息。设备控制装置50能够通过通信接口来与设备控制服务器40、人探测装置61、监视器62及设备63进行通信。此外，设备控制装置50与人探测装置61、监视器62及设备63之间的通信可以为有线通信，也可以为无线通信。
人探测装置61探测成为由语音输入终端21获取语音的对象的规定区域(也就是说，室内的规定区域)内的人的状态，并输出表示人的状态的信息。人的状态例如为是否有人。人探测装置61可以作为单独的装置实现，也可以作为其它装置的一部分实现。人探测装置61例如是直接探测室内是否有人的装置，具体地说，是探测从人体发出的红外线的传感器。另外，人探测装置61也可以是不仅能够探测是否有人还能够探测人的状态的摄像机。
另外，人探测装置61也可以是间接探测室内是否有人的装置。在该情况下，具体地说，人探测装置61可以是玄关门的锁定装置。在该情况下，基于玄关门的锁定状态来估计室内是否有人。例如，在玄关门没有被锁住时，估计为室内有人。另外，人探测装置61也可以是测量室内的消耗电力的电力测量装置，在该情况下，基于室内的消耗电力信息来估计室内是否有人。例如，在室内的消耗电力为规定值以上的情况下，估计为室内有人。
另外，人探测装置61也可以是与语音输入终端21分开的收音装置。在该情况下，基于语音的获取情况来估计是否有人。例如，在获取到规定的声压水平以上的语音时，估计为室内有人。
人探测装置61也可以是探测用户携带着的IC标签、或者内置于用户携带的移动终端的IC标签的探测装置。此外，人探测装置61只要是能够探测IC标签的探测装置，就能够探测出在规定区域内是否存在特定的人。
监视器62是用于进行与语音控制信息相关联的显示的显示器，例如是平板电脑、智能手机、电视等所具有的显示器。具体地说，平板电脑、智能手机、电视等基于用于进行与语音控制信息相关联的显示的显示关联信息，来在监视器62上进行与语音控制信息相关联的显示。此外，监视器62也可以是设备控制装置50所具有的显示器。
设备63例如是空调等家用电器，但是也可以是门(例如玄关的门)的锁定装置等除家用电器以外的设备。
[设备控制装置的具体结构]
图2是示出实施方式所涉及的设备控制装置50的功能结构的框图。
在实施方式中，设备控制装置50具备语音控制信息输出系统30中的本发明的特征性的功能构成要素、即语音控制信息获取部51、输出部52以及人信息获取部53。
语音控制信息获取部51从输出语音控制信息的语音控制系统20获取语音控制信息，该语音控制信息用于基于由语音输入终端21或80获取到的语音来控制设备63。在本实施方式中，语音控制信息获取部51经由设备控制服务器40来从语音控制系统20获取语音控制信息。
输出部52输出用于进行与语音控制信息相关联的显示的显示关联信息。在本实施方式中，输出部52向监视器62输出显示关联信息。另外，输出部52基于语音控制信息，输出用于控制设备63的控制信息。
人信息获取部53获取由人探测装置61输出的表示规定区域内的人的状态的人信息。
通过处理器执行设备控制装置50所具有的存储器中存储的程序来实现语音控制信息获取部51、输出部52以及人信息获取部53。
此外，语音控制信息获取部51、输出部52以及人信息获取部53也可以在语音控制信息输出系统30中分散地配置于设备控制服务器40和设备控制装置50，也可以是设备控制服务器40具备这些功能构成要素的全部。
[语音控制信息输出系统的动作例1]
接着，对语音控制信息输出系统30的动作例1进行说明。图3是语音控制信息输出系统30的动作例1的流程图。
首先，语音控制信息获取部51获取语音控制信息(步骤S11)。接着，输出部52输出用于进行与语音控制信息相关联的显示的显示关联信息(步骤S12)。由此，在监视器62上进行与语音控制信息相关联的显示，用户能够在视觉上确认与语音控制信息相关联的信息(显示关联信息)。关于显示关联信息的具体例，在后述的图6至图11中进行说明。
作为使用这样的语音识别系统10的事例，考虑用户处于室内的情况和用户处于室外的情况。在用户处于室内的情况下，该用户向语音输入终端21发出语音以控制设备63，与其对应地，在监视器62上进行与语音控制信息相关联的显示。另一方面，在用户处于室外的情况下，即使该用户为了控制设备63而向语音输入终端80(移动终端等)发出语音，也不需要在监视器62上进行与语音控制信息相关联的显示。反而，在与在室外发出了语音的用户不同的用户处于室内的情况下，当在监视器62上进行与语音控制信息相关联的显示时，有可能导致室内的用户不知道监视器62为何开启而误认为产生了问题。
因此，语音控制信息输出系统30(在本实施方式中为设备控制装置50)具备人信息获取部53，输出部52基于人信息获取部53获取到的人的状态，输出显示关联信息。
[语音控制信息输出系统的动作例2]
关于此，设为基于人信息获取部53获取到的人信息所表示的人的状态的、语音控制信息输出系统30的动作例2进行说明。图4是实施方式所涉及的语音控制信息输出系统30的动作例2的流程图。在此，人信息获取部53获取表示室内的规定区域内的人的状态的人信息，人信息例如为表示是否有人的信息。
首先，输出部52判定在规定区域内是否有人，具体地说，判定人信息获取部53获取到的人信息是否表示在规定区域内有人(步骤S21)。
输出部52在判定为人信息表示在规定区域内有人的情况下(步骤S21：“是”)，输出显示关联信息(步骤S22)。另一方面，输出部52在判定为人信息表示在规定区域内没有人的情况下(步骤S21：“否”)，不输出显示关联信息(步骤S23)。关于动作例2，使用图5来详细地说明。
图5是用于说明实施方式所涉及的语音控制信息输出系统30的动作例2的图。
在用户100a处于室内的规定区域的情况下(在人探测装置61在规定区域内探测出人的存在的情况下)，语音输入终端21获取用户100a的语音，并将所获取到的语音的语音信号发送到语音识别服务器22。语音识别服务器22对从语音输入终端21发送的语音信号进行语音识别处理，将从语音信号变换得到的语音控制信号发送到语音控制信息输出系统30。此时，由于人信息获取部53从人探测装置61获取到的人信息表示在规定区域内有人，因此输出部52将用于进行与语音控制信号相关联的显示的显示关联信息发送到监视器62。由此，用户100a通过观看监视器62，就能够在视觉上确认显示关联信息。
接着，在用户未处于室内的规定区域且由用户100b(例如，应用语音控制信息输出系统30的设施的相关人员)远程地控制设备63的情况下，语音输入终端80获取用户100b的语音，并将所获取到的语音的语音信号发送到语音识别服务器22。语音识别服务器22对从语音输入终端80发送的语音信号进行语音识别处理，并将从语音信号变换得到的语音控制信号发送到语音控制信息输出系统30。此时，由于人信息获取部53从人探测装置61获取到的人信息表示在规定区域内没有人，因此输出部52不向监视器62发送用于进行与语音控制信号相关联的显示的显示关联信息。由此，即使在室内的规定区域外有其他用户，也能够抑制监视器开启。
接着，在用户未处于室内的规定区域且例如室外的有恶意的用户100c试图从室外大声地向室内的语音输入终端21输入语音的情况下，语音输入终端21有时会获取用户100c的语音，并将所获取到的语音的语音信号发送到语音识别服务器22。语音识别服务器22对从语音输入终端21发送的语音信号进行语音识别处理，并将从语音信号变换得到的语音控制信号发送到语音控制信息输出系统30。此时，由于人信息获取部53从人探测装置61获取到的人信息表示在规定区域内没有人，因此输出部52不向监视器62发送用于进行与语音控制信号相关联的显示的显示关联信息。由此，即使在室内的规定区域外有用户，也能够抑制监视器开启。
像这样，能够设为：在想要使用语音输入终端21控制设备63的用户不在室内的规定区域的情况下，即使从室外进行对设备63的控制，也不会向监视器62输出显示关联信息。
[显示关联信息的具体例]
接着，使用图6至图11来说明显示关联信息的具体例。
图6至图11是用于说明显示关联信息的一例的图。在图6至图9中，将设备63设为空调。
例如，显示关联信息包含与基于语音控制信息而被控制的设备63的状态有关的信息。关于此，使用图6进行说明。
如图6所示，语音输入终端21获取用户100a的“请打开客厅的空调”的语音。语音识别服务器22通过对从语音输入终端21发送的语音信号进行语音识别处理，来生成用于控制设备63的语音控制信号，语音控制信息输出系统30基于语音控制信号来控制设备63。在此，语音控制信息输出系统30使设备63(空调)开始动作。与此同时，语音控制信息输出系统30将表示使设备63开始动作的信息发送到语音控制系统20，语音输入终端21例如输出为“打开客厅的空调”。此时，在监视器62上显示与基于语音控制信息而被控制的设备63的状态有关的信息。例如，在设备63为空调的情况下，与设备63的状态有关的信息为空调的运转模式、设定温度、风量、风向等信息。由此，用户100a能够在视觉上确认设备63的状态，例如，在设备63的当前的状态不是用户100a所期望的状态的情况下，用户100a能够进行用于变更设备63的状态的指示。
另外，例如，显示关联信息包含与设备63的控制相关联的提醒信息。关于此，使用图7进行说明。
如图7所示，语音输入终端21获取用户100a的“请打开客厅的空调”的语音。语音识别服务器22通过对从语音输入终端21发送的语音信号进行语音识别处理，来生成用于控制设备63的语音控制信号，语音控制信息输出系统30基于语音控制信号来控制设备63。在此，语音控制信息输出系统30使设备63(空调)开始动作。此时，该设备63(设置于客厅的空调)与安装于客厅的窗户上的用于探测该窗户的打开和关闭的开闭传感器等建立关联，在监视器62上显示与设备63的控制相关联的提醒信息。例如，提醒信息是表示所控制的设备63(在此为空调)被设置的房间(在此为客厅)的窗户打开着的信息。由此，用户100a能够在视觉上确认与设备63的控制相关联的提醒信息，例如能够通过关闭客厅的窗户，来使设置于客厅的空调高效地动作。
另外，例如，显示关联信息包含用于基于语音控制信息来控制设备63的信息。具体地说，用于控制设备63的信息包含用于确定设备63的控制内容的信息、或者用于确定设为控制对象的设备63的信息。关于此，使用图8进行说明。
如图8所示，语音输入终端21获取用户100a的“请打开空调”的语音。语音识别服务器22通过对从语音输入终端21发送的语音信号进行语音识别处理，来生成用于控制设备63的语音控制信号，语音控制信息输出系统30基于语音控制信号来控制设备63。此时，在语音控制信息输出系统30能够控制的空调有三台的情况下，如果只有用户100a的“请打开空调”的语音，则语音控制信息输出系统30不知道要打开哪个空调，因此向语音控制系统20发送表示不知道要打开哪个空调的信息，语音输入终端21例如输出为“打开哪个场地的空调？”。此时，在监视器62上显示用于确定设为控制对象的设备63的信息。例如，该信息是表示能够控制的空调(已登记的空调)被设置的场地有客厅、卧室、儿童房的信息。由此，用户100a能够在视觉上确认能够打开哪个场地的空调，从而能够使希望的房间的空调开始动作。
此外，虽未图示，但是也可以在监视器62上显示例如能够对设备63进行的控制内容(例如变更在制冷/制热模式下动作的温度、风量、风向等)，来作为用于确定设备63的控制内容的信息。由此，用户100a能够在视觉上确认能够如何控制空调，从而能够以希望的控制内容使空调动作。
另外，例如在无法基于语音控制信息来控制设备63时，显示关联信息包含与无法控制设备63有关的信息以及用于将设备63设为基于语音控制信息的控制状态的信息中的至少一方。关于此，使用图9进行说明。
如图9所示，语音输入终端21获取用户100a的“请打开客厅的空调”的语音。语音识别服务器22通过对从语音输入终端21发送的语音信号进行语音识别处理，来生成用于控制设备63的语音控制信号，语音控制信息输出系统30基于语音控制信号来控制设备63。但是，在设备63损坏、或者设备控制装置50与设备63之间的连接有问题的情况下，有时语音控制信息输出系统30无法控制设备63。在该情况下，语音控制信息输出系统30向语音控制系统20发送表示无法控制空调的信息，语音输入终端21例如输出为“无法控制”。此时，在语音控制信息输出系统30获知无法控制的原因是与网络连接有关的问题的情况下，在监视器62上显示用于将设备63设为基于语音控制信息的控制状态(在此为使空调开始动作的状态)的信息。例如，该信息是催促用户将网络连接恢复正常的信息。由此，用户100a能够在视觉上确认怎样才能使空调开始动作的状态，能够通过将网络连接恢复正常来使空调开始动作。
此外，虽未图示，但是也可以在监视器62上显示与无法控制设备63有关的信息(例如“无法控制”等)。由此，用户100a能够在视觉上确认无法使空调开始动作。
另外，例如，语音控制信息包含针对由语音输入终端21获取到的语音的回答信息，显示关联信息包含与回答信息相关联的信息。关于此，使用图10进行说明。
如图10所示，语音输入终端21获取用户100a的“本月的电费是多少？”的语音。语音识别服务器22通过对从语音输入终端21发送的语音信号进行语音识别处理，来生成用于控制设备63的语音控制信号。在此，设备63是能够对用户100a的设施的电费进行管理的设备等，用于控制设备63的语音控制信号为用于生成针对由语音输入终端21获取到的语音的回答的回答信息。语音控制信息输出系统30向语音控制系统20发送所生成的回答，语音输入终端21例如输出为“是3240日元”。在监视器62上显示作为上述回答的本月的电费来作为与回答信息相关联的信息。由此，用户100a能够在视觉上确认回答(本月的电费)。
另外，与回答信息相关联的信息也可以包含比回答信息更详细的信息。具体地说，不只是如图10那样在监视器62上仅显示本月的电费，也可以如图11那样通过图表来表示为详细的信息、或者不仅示出本月的信息还示出上个月等的信息。
[效果等]
如以上说明的那样，语音控制信息输出系统30具备：语音控制信息获取部51，其从输出语音控制信息的语音控制系统20获取语音控制信息，该语音控制信息用于基于由语音获取部(语音输入终端21或80)获取到的语音来控制设备63；以及输出部52，其输出用于进行与语音控制信息相关联的显示的显示关联信息。
由此，通过将用于进行与语音控制信息相关联的显示的显示关联信息输出到监视器62等，由此用户100a能够在视觉上确认与语音控制信息相关联的信息。
另外，例如，显示关联信息包含与基于语音控制信息而被控制的设备63的状态有关的信息。
由此，用户100a能够在视觉上确认设备63的状态。例如，用户100a容易地识别设备63的当前的状态与希望的状态之间的差别。
另外，例如，显示关联信息包含用于基于语音控制信息来控制设备63的信息。具体地说，用于控制设备63的信息包含用于确定设备63的控制内容的信息、或者用于确定设为控制对象的设备63的信息。
由此，用户100a能够在视觉上确认用于确定设备63的控制内容的信息、或者用于确定设为控制对象的设备63的信息。例如，用户100a容易地指示希望的控制内容、控制对象。
另外，例如，语音控制信息包含针对由语音获取部(语音输入终端21或80)获取到的语音的回答信息，显示关联信息包含与回答信息相关联的信息。
由此，用户100a能够在视觉上确认与回答信息相关联的信息。
另外，例如，与回答信息相关联的信息包含比回答信息更详细的信息。
由此，用户100a能够在视觉上确认比回答信息更详细的信息。
另外，例如，在无法基于语音控制信息控制设备63时，显示关联信息包含与无法控制设备63有关的信息以及用于将设备63设为基于语音控制信息的控制状态的信息中的至少一方。
由此，用户100a能够在视觉上确认与无法控制设备63有关的信息、或者用于将设备63设为基于语音控制信息的控制状态的信息。例如，用户100a容易地识别设备63等存在问题、问题的应对方法。
另外，例如，显示关联信息包含与设备63的控制相关联的提醒信息。
由此，用户100a能够在视觉上确认与设备63的控制相关联的提醒信息。
另外，例如，语音控制信息输出系统30还具有获取表示规定区域内的人的状态的人信息的人信息获取部53，输出部52基于人信息获取部53获取到的人信息所表示的人的状态，输出显示关联信息。具体地说，人信息为表示是否有人的信息，在人信息表示在规定区域内有人的情况下，输出部52输出显示关联信息，在人信息表示在规定区域内没有人的情况下，不输出显示关联信息。
由此，能够设为：在想要使用语音输入终端21控制设备63的用户不处于室内的规定区域的情况下，即使从室外进行了设备63的控制，也不向监视器62输出显示关联信息。
(其它实施方式)
以上对实施方式进行了说明，但是本发明并不限定于上述实施方式。
例如，在上述实施方式中，人的状态为是否有人，输出部52在有人的情况下，输出显示关联信息，在没有人的情况下，不输出显示关联信息，但是不限于此。例如，在监视器62为电视所具有的显示器的情况下，在人信息获取部53获取到表示规定区域内的人的状态为正在看电视的状态的信息时，输出部52可以不输出显示关联信息。由此，能够设为在人正在看电视时不在该电视上进行与语音控制信息相关联的显示。
另外，例如，在上述实施方式中，语音控制信息输出系统30具备人信息获取部53，但是也可以不具备人信息获取部53。也就是说，语音控制信息输出系统30也可以不具有基于室内的规定区域内的人的状态输出显示关联信息的功能。
另外，本发明不仅能够实现为语音控制信息输出系统30，也能够实现为包括由构成语音控制信息输出系统30的各构成要素进行的步骤(处理)的语音控制信息输出方法。
具体地说，如图3所示，语音控制信息输出方法包括以下步骤：语音控制信息获取步骤(步骤S11)，从输出语音控制信息的语音控制系统20获取语音控制信息，该语音控制信息用于基于由语音获取部(语音输入终端21或80)获取到的语音来控制设备63；以及输出步骤(步骤S12)，输出用于进行与语音控制信息相关联的显示的显示关联信息。
例如，这些步骤可以由计算机(计算机系统)来执行。而且，本发明能够实现为用于使计算机执行这些方法所包含的步骤的程序(整理辅助程序)。并且，本发明能够实现为记录有该程序的CD-ROM等非暂时性的计算机可读记录介质。
例如，在本发明通过程序(软件)来实现的情况下，通过利用计算机的CPU、存储器以及输入输出电路等硬件资源执行程序，由此执行各步骤。也就是说，通过CPU从存储器或输入输出电路等获取数据并进行运算、或者将运算结果输出到存储器或输入输出电路等，由此执行各步骤。
另外，上述实施方式的语音控制信息输出系统30中包括的各构成要素也可以实现为专用或通用的电路。
另外，上述实施方式的语音控制信息输出系统30中包括的各构成要素也可以实现为作为集成电路(IC：Integrated Circuit)的LSI(Large Scale Integration：大规模集成电路)。
另外，集成电路不限于LSI，也可以由专用电路或通用处理器实现。还可以利用可编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)、或者能够重构LSI内部的电路单元的连接和设定的可重构处理器。
并且，如果由于半导体技术的进步或衍生的其它技术而出现替代LSI的集成电路化的技术，当然也可以使用该技术来进行语音控制信息输出系统30中包括的各构成要素的集成电路化。
除此之外，通过将对实施方式实施本领域技术人员想到的各种变形而得到的方式、通过在不脱离本发明的宗旨的范围内将各实施方式中的构成要素及功能任意组合而实现的方式也包含在本发明中。
附图标记说明
20：语音控制系统；21、80：语音输入终端(语音获取部)；30：语音控制信息输出系统；51：语音控制信息获取部；52：输出部；53：人信息获取部；63：设备。

Claims (11)

1.一种语音控制信息输出系统，具备：
语音控制信息获取部，其从输出语音控制信息的语音控制系统获取所述语音控制信息，所述语音控制信息用于基于由语音获取部获取到的语音来控制设备；以及
输出部，其向监视器输出用于进行与所述语音控制信息相关联的显示的显示关联信息，向所述设备输出用于控制所述设备的控制信息；以及
人信息获取部，其获取表示规定区域内的人的状态的人信息，
其中，所述输出部基于所述人信息获取部获取到的所述人信息所表示的所述人的状态，输出所述显示关联信息，
所述人信息为表示是否有人的信息，
在所述人信息表示在所述规定区域内有人的情况下，所述输出部输出所述显示关联信息，在所述人信息表示在所述规定区域内没有人的情况下，不输出所述显示关联信息，
所述监视器与所述设备分开设置。
2.根据权利要求1所述的语音控制信息输出系统，其中，
所述显示关联信息包含与基于所述语音控制信息而被控制的设备的状态有关的信息。
3.根据权利要求1所述的语音控制信息输出系统，其中，
所述显示关联信息包含用于基于所述语音控制信息来控制设备的信息。
4.根据权利要求3所述的语音控制信息输出系统，其中，
用于控制所述设备的信息包含用于确定所述设备的控制内容的信息、或者用于确定设为控制对象的所述设备的信息。
5.根据权利要求1所述的语音控制信息输出系统，其中，
所述语音控制信息包含针对由所述语音获取部获取到的语音的回答信息，
所述显示关联信息包含与所述回答信息相关联的信息。
6.根据权利要求5所述的语音控制信息输出系统，其中，
与所述回答信息相关联的信息包含比所述回答信息更详细的信息。
7.根据权利要求1所述的语音控制信息输出系统，其中，
在无法基于所述语音控制信息控制设备时，所述显示关联信息包含与无法控制所述设备有关的信息以及用于将所述设备设为基于所述语音控制信息的控制状态的信息中的至少一方。
8.根据权利要求1所述的语音控制信息输出系统，其中，
所述显示关联信息包含与设备的控制相关联的提醒信息。
9.根据权利要求1所述的语音控制信息输出系统，其中，
所述语音获取部设置于所述规定区域内和所述规定区域外这两方。
10.一种语音控制信息输出方法，包括以下步骤：
语音控制信息获取步骤，从输出语音控制信息的语音控制系统获取所述语音控制信息，所述语音控制信息用于基于由语音获取部获取到的语音来控制设备；
输出步骤，向监视器输出用于进行与所述语音控制信息相关联的显示的显示关联信息，向所述设备输出用于控制所述设备的控制信息；以及
人信息获取步骤，获取表示规定区域内的人的状态的人信息，
其中，在所述输出步骤中，基于在所述人信息获取步骤中获取到的所述人信息所表示的所述人的状态，输出所述显示关联信息，
所述人信息为表示是否有人的信息，
在所述输出步骤中，在所述人信息表示在所述规定区域内有人的情况下，输出所述显示关联信息，在所述人信息表示在所述规定区域内没有人的情况下，不输出所述显示关联信息，
所述监视器与所述设备分开设置。
11.一种计算机可读记录介质，记录有用于使计算机执行根据权利要求10所述的语音控制信息输出方法的程序。
CN201980014568.XA 2018-02-22 2019-01-15 语音控制信息输出系统、语音控制信息输出方法以及记录介质 Active CN111742363B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018029713A JP7281683B2 (ja) 2018-02-22 2018-02-22 音声制御情報出力システム、音声制御情報出力方法およびプログラム
JP2018-029713 2018-02-22
PCT/JP2019/000955 WO2019163333A1 (ja) 2018-02-22 2019-01-15 音声制御情報出力システム、音声制御情報出力方法およびプログラム

Publications (2)

Publication Number Publication Date
CN111742363A CN111742363A (zh) 2020-10-02
CN111742363B true CN111742363B (zh) 2024-03-29

Family

ID=67687576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980014568.XA Active CN111742363B (zh) 2018-02-22 2019-01-15 语音控制信息输出系统、语音控制信息输出方法以及记录介质

Country Status (4)

Country Link
US (1) US11443743B2 (zh)
JP (1) JP7281683B2 (zh)
CN (1) CN111742363B (zh)
WO (1) WO2019163333A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240392B1 (en) * 1996-08-29 2001-05-29 Hanan Butnaru Communication device and method for deaf and mute persons
JP2011215942A (ja) * 2010-03-31 2011-10-27 Nec Personal Products Co Ltd ユーザ認証装置、ユーザ認証システム、ユーザ認証方法及びプログラム
WO2015029304A1 (ja) * 2013-08-29 2015-03-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 音声認識方法及び音声認識装置
CN105246743A (zh) * 2013-05-21 2016-01-13 三菱电机株式会社 语音识别装置、识别结果显示装置及显示方法
JP2016014967A (ja) * 2014-07-01 2016-01-28 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報管理方法
JP2016134770A (ja) * 2015-01-20 2016-07-25 アプリックスＩｐホールディングス株式会社 電子機器制御装置、電子機器制御システム、電子機器、および、その制御方法
CN105874405A (zh) * 2013-12-11 2016-08-17 Lg电子株式会社 智能家用电器、其操作方法及使用智能家用电器的语音识别系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120086877A1 (en) * 2010-10-06 2012-04-12 Kaoh Andy K F Sensor-activated still and video image display
WO2014171144A1 (ja) 2013-04-19 2014-10-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 家電機器の制御方法、家電機器制御システム、及びゲートウェイ
JP6014568B2 (ja) * 2013-09-27 2016-10-25 シャープ株式会社 制御装置、制御方法、制御システム、制御プログラム、および報知機器
KR102166777B1 (ko) * 2013-09-30 2020-11-04 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
NZ737663A (en) * 2015-05-04 2019-06-28 Johnson Controls Tech Co User control device with cantilevered display
JP6516585B2 (ja) * 2015-06-24 2019-05-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 制御装置、その方法及びプログラム
US20170017763A1 (en) * 2015-07-15 2017-01-19 Peter G. Zimmer Systems and methods for assisting people with a physical, mental or emotional impairment

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240392B1 (en) * 1996-08-29 2001-05-29 Hanan Butnaru Communication device and method for deaf and mute persons
JP2011215942A (ja) * 2010-03-31 2011-10-27 Nec Personal Products Co Ltd ユーザ認証装置、ユーザ認証システム、ユーザ認証方法及びプログラム
CN105246743A (zh) * 2013-05-21 2016-01-13 三菱电机株式会社 语音识别装置、识别结果显示装置及显示方法
WO2015029304A1 (ja) * 2013-08-29 2015-03-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 音声認識方法及び音声認識装置
CN105874405A (zh) * 2013-12-11 2016-08-17 Lg电子株式会社 智能家用电器、其操作方法及使用智能家用电器的语音识别系统
JP2016014967A (ja) * 2014-07-01 2016-01-28 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報管理方法
JP2016134770A (ja) * 2015-01-20 2016-07-25 アプリックスＩｐホールディングス株式会社 電子機器制御装置、電子機器制御システム、電子機器、および、その制御方法

Also Published As

Publication number Publication date
US20210118441A1 (en) 2021-04-22
WO2019163333A1 (ja) 2019-08-29
US11443743B2 (en) 2022-09-13
JP7281683B2 (ja) 2023-05-26
JP2019144459A (ja) 2019-08-29
CN111742363A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
US11680722B2 (en) Device control system
EP2713351A1 (en) Electronic apparatus and control method of the same
EP2930704A1 (en) Method and device for remote intelligent control
US11875659B2 (en) Privacy-preserving radar-based fall monitoring
US10455271B1 (en) Voice control component installation
US20160253884A1 (en) Home automation systems, methods, and computer-readable media
CN111936981A (zh) 设备控制系统和设备控制方法
JP6284402B2 (ja) 制御システムおよび制御方法
JP2003284161A (ja) 動作制御装置
CN111742363B (zh) 语音控制信息输出系统、语音控制信息输出方法以及记录介质
US11978337B2 (en) Thermostat and system and method for use of same
JP2003283524A (ja) 信号中継装置
US20160065910A1 (en) Video gateway device
EP3919831A1 (en) Air conditioning system
US20220036876A1 (en) Speech apparatus, server, and control system
KR101800797B1 (ko) 홈 네트워크 시스템 제어가 가능한 댁내제어장치용 거치장치 및 그 제어 방법
CN111526504B (zh) 设备交互方法、装置、移动机器人和物联网系统
JP7300670B2 (ja) 制御装置、設定装置、プログラム
CN112402797B (zh) 除颤器的配置更新方法、装置及系统
JP7321203B2 (ja) 通信制御装置及び情報処理システム
KR101902312B1 (ko) 직관적인 위젯 타입으로 정보 영역을 표시하는 스마트 디스플레이 장치 및 그 동작 방법
US11450070B2 (en) Alerts of mixed reality devices
KR20170131941A (ko) 도어벨 통신 시스템 및 그 방법
KR20220001903A (ko) 클라우드 플랫폼 기반의 공동주택의 스마트홈 시스템
KR101599673B1 (ko) 스마트 모니터링 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant