JP2022013035A

JP2022013035A - Voice control system and voice control method

Info

Publication number: JP2022013035A
Application number: JP2020115318A
Authority: JP
Inventors: 彩衣吉川; Sae Yoshikawa
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2020-07-03
Filing date: 2020-07-03
Publication date: 2022-01-18

Abstract

To provide a voice control system capable of, after an uttered voice intending to control an apparatus is input, switching between execution and non-execution of execution confirmation of the control.SOLUTION: A voice control system 100 includes: a first acquisition unit 34 that acquires, from a voice recognition server 20 that performs voice recognition processing on a user's uttered voice input to a voice UI device 10 and that is located outside a facility 80, information for executing control over an apparatus 50 installed in the facility 80, the control being instructed by the uttered voice; a second acquisition unit 35 that acquires setting information indicating setting about whether confirmation of execution of the control indicated by the acquired information is necessary; and an execution unit 36 that, based on the acquired setting information, causes the voice UI device 10 to output a confirmation voice for the confirmation before executing the control.SELECTED DRAWING: Figure 1

Description

本発明は、音声制御システム、及び、音声制御方法に関する。 The present invention relates to a voice control system and a voice control method.

ＶＰＡ（ＶｉｒｔｕａｌＰｅｒｓｏｎａｌＡｓｓｉｓｔａｎｔ）と呼ばれるサービスが普及し始めている。このようなＶＰＡの一形態として音声で機器を操作するサービスがある。特許文献１には、ネットワークに接続可能な集音機器が音声情報を収集し、収集した音声情報に基づいて、ネットワークを介して家電機器を制御する家電機器制御システムが開示されている。 A service called VPA (Virtual Personal Assistant) is beginning to spread. As one form of such VPA, there is a service of operating a device by voice. Patent Document 1 discloses a home appliance control system in which a sound collecting device connectable to a network collects voice information and controls the home appliance via the network based on the collected voice information.

国際公開第２０１４／１７１１４４号International Publication No. 2014/171144

本発明は、機器の制御を意図した発話音声が入力された後に当該制御の実行確認を行うか否かを切り替えることができる音声制御システム、及び、音声制御方法を提供する。 The present invention provides a voice control system capable of switching whether or not to confirm execution of the control after an utterance voice intended to control the device is input, and a voice control method.

本発明の一態様に係る音声制御システムは、音声ＵＩ（ＵｓｅｒＩｎｔｅｒｆａｃｅ）装置に入力されるユーザの発話音声によって指示される機器の制御を実行するための情報を取得する第一取得部と、取得された前記情報が示す前記制御の実行に対する確認の要否の設定を示す設定情報を取得する第二取得部と、取得された前記設定情報に基づいて、前記制御を実行する前に前記音声ＵＩ装置に前記確認のための確認音声を出力させる実行部とを備える。 The voice control system according to one aspect of the present invention has a first acquisition unit for acquiring information for executing control of a device instructed by a user's spoken voice input to a voice UI (User Interface) device, and an acquisition unit. The second acquisition unit that acquires the setting information indicating the setting of the necessity of confirmation for the execution of the control indicated by the said information, and the voice UI before executing the control based on the acquired setting information. The device is provided with an execution unit that outputs a confirmation voice for the confirmation.

本発明の一態様に係る音声制御方法は、音声ＵＩ装置に入力されるユーザの発話音声によって指示される機器の制御を実行するための情報を取得する第一取得ステップと、取得された前記情報が示す前記制御の実行に対する確認の要否の設定を示す設定情報を取得する第二取得ステップと、取得された前記設定情報に基づいて、前記制御を実行する前に前記音声ＵＩ装置に前記確認のための確認音声を出力させる実行ステップとを含む。 The voice control method according to one aspect of the present invention includes a first acquisition step of acquiring information for executing control of a device instructed by a user's spoken voice input to a voice UI device, and the acquired information. The second acquisition step for acquiring the setting information indicating the setting of the necessity of confirmation for the execution of the control indicated by the above, and the confirmation to the voice UI device before executing the control based on the acquired setting information. Includes an execution step to output a confirmation voice for.

本発明の一態様に係るプログラムは、前記音声制御方法をコンピュータに実行させるためのプログラムである。 The program according to one aspect of the present invention is a program for causing a computer to execute the voice control method.

本発明の一態様に係る音声制御システム及び音声制御方法は、機器の制御を意図した発話音声が入力された後に当該制御の実行確認を行うか否かを切り替えることができる。 The voice control system and the voice control method according to one aspect of the present invention can switch whether or not to confirm the execution of the control after the spoken voice intended to control the device is input.

図１は、実施の形態に係る音声制御システムの機能構成を示すブロック図である。FIG. 1 is a block diagram showing a functional configuration of a voice control system according to an embodiment. 図２は、機器を個別制御するときのユーザと音声ＵＩ装置の対話の第一の例を示す図である。FIG. 2 is a diagram showing a first example of a dialogue between a user and a voice UI device when individually controlling a device. 図２は、機器を個別制御するときのユーザと音声ＵＩ装置の対話の第二の例を示す図である。FIG. 2 is a diagram showing a second example of a dialogue between a user and a voice UI device when individually controlling a device. 図４は、機器の個別制御に対するアクション設定の設定画面の第一の例を示す図である。FIG. 4 is a diagram showing a first example of an action setting setting screen for individual control of devices. 図５は、機器の個別制御に対するアクション設定の設定画面の第二の例を示す図である。FIG. 5 is a diagram showing a second example of the setting screen of the action setting for the individual control of the device. 図６は、機器の個別制御に対するアクション設定の設定画面の第三の例を示す図である。FIG. 6 is a diagram showing a third example of the setting screen of the action setting for the individual control of the device. 図７は、実施の形態に係る音声制御システムの動作例１のシーケンス図である。FIG. 7 is a sequence diagram of operation example 1 of the voice control system according to the embodiment. 図８は、実施の形態に係る音声制御システムの動作例２のシーケンス図である。FIG. 8 is a sequence diagram of operation example 2 of the voice control system according to the embodiment. 図９は、シーン制御を実行するための制御情報の一例を示す図である。FIG. 9 is a diagram showing an example of control information for executing scene control. 図１０は、シーン制御に対するアクション設定の設定画面の第一の例を示す図である。FIG. 10 is a diagram showing a first example of an action setting setting screen for scene control. 図１１は、シーン制御に対するアクション設定の設定画面の第二の例を示す図である。FIG. 11 is a diagram showing a second example of an action setting setting screen for scene control. 図１２は、シーン制御に対するアクション設定の判定動作のフローチャートである。FIG. 12 is a flowchart of an action setting determination operation for scene control.

以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。 Hereinafter, embodiments will be specifically described with reference to the drawings. It should be noted that all of the embodiments described below are comprehensive or specific examples. The numerical values, shapes, materials, components, arrangement positions and connection forms of the components, steps, the order of steps, etc. shown in the following embodiments are examples, and are not intended to limit the present invention. Further, among the components in the following embodiments, the components not described in the independent claims are described as arbitrary components.

なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。 It should be noted that each figure is a schematic view and is not necessarily exactly shown. Further, in each figure, the same reference numerals may be given to substantially the same configurations, and duplicate explanations may be omitted or simplified.

（実施の形態）
［構成］
まず、実施の形態に係る音声制御システムの構成について説明する。図１は、実施の形態に係る音声制御システムの機能構成を示すブロック図である。 (Embodiment)
[Constitution]
First, the configuration of the voice control system according to the embodiment will be described. FIG. 1 is a block diagram showing a functional configuration of a voice control system according to an embodiment.

実施の形態に係る音声制御システム１００は、ユーザの発話音声に基づいて、施設８０に設置された機器５０を制御することができるシステムである。つまり、音声制御システム１００は、音声に基づく機器制御システムである。施設８０は、例えば、集合住宅または戸建住宅などの住宅であるが、オフィスなどの住宅以外の施設であってもよい。 The voice control system 100 according to the embodiment is a system capable of controlling the device 50 installed in the facility 80 based on the voice spoken by the user. That is, the voice control system 100 is a voice-based device control system. The facility 80 is, for example, a house such as an apartment house or a detached house, but may be a facility other than a house such as an office.

図１に示されるように、音声制御システム１００は、音声ＵＩ装置１０と、音声認識サーバ２０と、機器制御サーバ３０と、制御装置４０と、複数の機器５０と、携帯端末６０とを備える。 As shown in FIG. 1, the voice control system 100 includes a voice UI device 10, a voice recognition server 20, a device control server 30, a control device 40, a plurality of devices 50, and a portable terminal 60.

まず、音声ＵＩ装置１０について説明する。音声ＵＩ装置１０は、ユーザの発話音声が入力される情報端末であり、入力された発話音声の音声信号を、インターネットなどの広域通信ネットワーク７０を介して音声認識サーバ２０へ送信する。音声ＵＩ装置１０は、例えば、施設８０に設置されるスマートスピーカである。なお、図１では、音声ＵＩ装置１０とは別に制御装置４０が記載されているが、制御装置４０自体が音声ＵＩ装置１０として使用されてもよい。同様に、図１では、音声ＵＩ装置１０とは別に携帯端末６０が記載されているが、携帯端末６０自体が音声ＵＩ装置１０として使用されてもよい。音声ＵＩ装置１０は、具体的には、マイクロフォン１１、表示部１２、及び、スピーカ１３を有する。 First, the voice UI device 10 will be described. The voice UI device 10 is an information terminal into which the user's spoken voice is input, and transmits the voice signal of the input spoken voice to the voice recognition server 20 via a wide area communication network 70 such as the Internet. The voice UI device 10 is, for example, a smart speaker installed in the facility 80. Although the control device 40 is shown separately from the voice UI device 10 in FIG. 1, the control device 40 itself may be used as the voice UI device 10. Similarly, in FIG. 1, the mobile terminal 60 is described separately from the voice UI device 10, but the mobile terminal 60 itself may be used as the voice UI device 10. Specifically, the voice UI device 10 has a microphone 11, a display unit 12, and a speaker 13.

マイクロフォン１１は、ユーザが発する音声（発話音声）を取得する。マイクロフォン１１は、具体的には、コンデンサマイク、ダイナミックマイク、または、ＭＥＭＳ（ＭｉｃｒｏＥｌｅｃｔｒｏＭｅｃｈａｎｉｃａｌＳｙｓｔｅｍｓ）マイクなどである。 The microphone 11 acquires a voice (spoken voice) emitted by the user. Specifically, the microphone 11 is a condenser microphone, a dynamic microphone, a MEMS (Micro Electro Electro Mechanical Systems) microphone, or the like.

表示部１２は、画像の表示機能、及び、ユーザの手動入力を受け付ける機能を有する表示デバイスである。表示部１２は、タッチパネル、及び、液晶パネルまたは有機ＥＬパネルなどの表示パネルによって実現される。タッチパネルは、例えば、静電容量方式のタッチパネルであるが、抵抗膜方式のタッチパネルであってもよい。 The display unit 12 is a display device having an image display function and a function of accepting manual input by the user. The display unit 12 is realized by a touch panel and a display panel such as a liquid crystal panel or an organic EL panel. The touch panel is, for example, a capacitance type touch panel, but may be a resistance film type touch panel.

スピーカ１３は、マイクロフォン１１によって取得された発話音声への応答として、音声（機械音声）を出力する。これにより、ユーザは対話形式で機器５０を制御することができる（詳細は後述）。 The speaker 13 outputs voice (machine voice) as a response to the spoken voice acquired by the microphone 11. As a result, the user can interactively control the device 50 (details will be described later).

次に、音声認識サーバ２０について説明する。音声認識サーバ２０は、施設８０外に位置するコンピュータである。音声認識サーバ２０は、具体的には、音声ＵＩ装置１０によって送信される音声信号を受信し、受信した音声信号に対して音声認識処理を行うクラウドサーバである。音声認識サービスを提供する事業者は、音声認識サーバ２０を用いて当該音声認識サービスを提供する。音声認識サーバ２０は、例えば、音声ＵＩ装置１０によって送信される音声信号をテキスト情報に変換し、テキスト情報を機器制御サーバ３０に送信する。 Next, the voice recognition server 20 will be described. The voice recognition server 20 is a computer located outside the facility 80. Specifically, the voice recognition server 20 is a cloud server that receives a voice signal transmitted by the voice UI device 10 and performs voice recognition processing on the received voice signal. The business operator that provides the voice recognition service provides the voice recognition service by using the voice recognition server 20. The voice recognition server 20 converts, for example, a voice signal transmitted by the voice UI device 10 into text information, and transmits the text information to the device control server 30.

次に、機器制御サーバ３０について説明する。施設８０外に位置するコンピュータである。機器制御サーバ３０は、具体的には、音声認識サーバ２０から送信されるテキスト情報に基づいて制御命令を生成し、生成した制御命令を制御装置４０に送信するクラウドサーバである。制御命令は、制御装置４０を介して機器５０によって受信される。機器制御サーバ３０は、通信部３１と、情報処理部３２と、記憶部３３とを備える。 Next, the device control server 30 will be described. It is a computer located outside the facility 80. Specifically, the device control server 30 is a cloud server that generates control commands based on text information transmitted from the voice recognition server 20 and transmits the generated control commands to the control device 40. The control command is received by the device 50 via the control device 40. The device control server 30 includes a communication unit 31, an information processing unit 32, and a storage unit 33.

通信部３１は、機器制御サーバ３０が広域通信ネットワーク７０を介して、音声ＵＩ装置１０、音声認識サーバ２０、制御装置４０、及び、携帯端末６０などと通信を行うための通信モジュール（通信回路）である。通信部３１によって行われる通信は、例えば、有線通信であるが、無線通信であってもよい。通信に用いられる通信規格についても特に限定されない。 The communication unit 31 is a communication module (communication circuit) for the device control server 30 to communicate with the voice UI device 10, the voice recognition server 20, the control device 40, the mobile terminal 60, and the like via the wide area communication network 70. Is. The communication performed by the communication unit 31 is, for example, wired communication, but may be wireless communication. The communication standard used for communication is also not particularly limited.

情報処理部３２は、機器５０の制御に関する情報処理を行う。情報処理部３２は、例えば、マイクロコンピュータによって実現されるが、プロセッサによって実現されてもよい。情報処理部３２は、第一取得部３４と、第二取得部３５と、実行部３６とを有する。第一取得部３４、第二取得部３５、及び、実行部３６の機能の詳細については後述する。 The information processing unit 32 performs information processing related to the control of the device 50. The information processing unit 32 is realized by, for example, a microcomputer, but may be realized by a processor. The information processing unit 32 has a first acquisition unit 34, a second acquisition unit 35, and an execution unit 36. Details of the functions of the first acquisition unit 34, the second acquisition unit 35, and the execution unit 36 will be described later.

記憶部３３は、機器５０の制御の実行に対する確認の要否の設定を示す設定情報、及び、情報処理部３２が実行する制御プログラムなどが記憶される記憶装置である。記憶部３３は、例えば、ＨＤＤ（ＨａｒｄＤｉｓｃＤｒｉｖｅ）などによって実現される。 The storage unit 33 is a storage device that stores setting information indicating whether or not confirmation is required for the execution of control of the device 50, a control program executed by the information processing unit 32, and the like. The storage unit 33 is realized by, for example, an HDD (Hard Disk Drive) or the like.

次に、制御装置４０について説明する。制御装置４０は、例えば、エネルギーマネジメント機能を有するＨＥＭＳ（ＨｏｍｅＥｎｅｒｇｙＭａｎａｇｅｍｅｎｔＳｙｓｔｅｍ）コントローラである。制御装置４０は、施設８０内に設置され、施設８０に設置された複数の機器５０の電気使用量（言い換えれば、消費電力量）を管理する。また、制御装置４０は、ユーザの音声に基づいて施設８０内（あるいは、施設８０の敷地内）に設置された複数の機器５０の制御を行う。制御装置４０は、ＨＥＭＳコントローラに限定されず、エネルギーマネジメント機能を有しない他のホームコントローラ、または、ゲートウェイ装置であってもよい。 Next, the control device 40 will be described. The control device 40 is, for example, a HEMS (Home Energy Management System) controller having an energy management function. The control device 40 is installed in the facility 80 and manages the amount of electricity used (in other words, the amount of power consumption) of the plurality of devices 50 installed in the facility 80. Further, the control device 40 controls a plurality of devices 50 installed in the facility 80 (or in the premises of the facility 80) based on the voice of the user. The control device 40 is not limited to the HEMS controller, and may be another home controller or a gateway device that does not have an energy management function.

制御装置４０は、具体的には、表示部４１と、第一通信部４２と、第二通信部４３と、制御部４４と、記憶部４５とを備える。 Specifically, the control device 40 includes a display unit 41, a first communication unit 42, a second communication unit 43, a control unit 44, and a storage unit 45.

表示部４１は、画像の表示機能、及び、ユーザの手動入力を受け付ける機能を有する表示デバイスである。表示部４１は、タッチパネル、及び、液晶パネルまたは有機ＥＬパネルなどの表示パネルによって実現される。タッチパネルは、例えば、静電容量方式のタッチパネルであるが、抵抗膜方式のタッチパネルであってもよい。 The display unit 41 is a display device having an image display function and a function of accepting manual input by the user. The display unit 41 is realized by a touch panel and a display panel such as a liquid crystal panel or an organic EL panel. The touch panel is, for example, a capacitance type touch panel, but may be a resistance film type touch panel.

第一通信部４２は、制御装置４０が、複数の機器５０などと局所通信ネットワークを介して通信を行うための通信モジュール（通信回路）である。第一通信部４２は、例えば、無線通信を行う無線通信回路であるが、有線通信を行う有線通信回路であってもよい。第一通信部４２が行う通信の通信規格は、例えば、ＥＣＨＯＮＥＴＬｉｔｅ（登録商標）であるが、特に限定されない。第一通信部４２は、通信相手の機器５０に応じて異なる通信規格で通信を行ってもよい。 The first communication unit 42 is a communication module (communication circuit) for the control device 40 to communicate with a plurality of devices 50 and the like via a local communication network. The first communication unit 42 is, for example, a wireless communication circuit that performs wireless communication, but may be a wired communication circuit that performs wired communication. The communication standard for communication performed by the first communication unit 42 is, for example, ECHONET Lite (registered trademark), but is not particularly limited. The first communication unit 42 may perform communication according to a different communication standard depending on the device 50 of the communication partner.

第二通信部４３は、制御装置４０が、音声ＵＩ装置１０、音声認識サーバ２０、機器制御サーバ３０、及び、携帯端末６０などと広域通信ネットワーク７０を介して通信を行うための通信回路である。第二通信部４３は、例えば、無線通信を行う無線通信回路であるが、有線通信を行う有線通信回路であってもよい。第二通信部４３が行う通信の通信規格については特に限定されない。 The second communication unit 43 is a communication circuit for the control device 40 to communicate with the voice UI device 10, the voice recognition server 20, the device control server 30, the mobile terminal 60, and the like via the wide area communication network 70. .. The second communication unit 43 is, for example, a wireless communication circuit that performs wireless communication, but may be a wired communication circuit that performs wired communication. The communication standard of the communication performed by the second communication unit 43 is not particularly limited.

制御部４４は、機器５０の制御に関する情報処理を行う。制御部４４は、例えば、マイクロコンピュータによって実現されるが、プロセッサまたは専用回路によって実現されてもよい。 The control unit 44 performs information processing related to the control of the device 50. The control unit 44 is realized by, for example, a microcomputer, but may be realized by a processor or a dedicated circuit.

記憶部４５は、制御部４４が実行する制御プログラムなどが記憶される記憶装置である。記憶部４５は、例えば、半導体メモリによって実現される。 The storage unit 45 is a storage device that stores a control program or the like executed by the control unit 44. The storage unit 45 is realized by, for example, a semiconductor memory.

次に、複数の機器５０について説明する。複数の機器５０は、施設８０に設置される、音声制御システム１００における制御対象機器である。複数の機器５０は、制御装置４０の第一通信部４２から送信される制御命令によって制御される。複数の機器５０には、空調機器５１、照明機器５２、電動シャッター５３、及び、電気錠５４などが含まれる。 Next, a plurality of devices 50 will be described. The plurality of devices 50 are the devices to be controlled in the voice control system 100 installed in the facility 80. The plurality of devices 50 are controlled by a control command transmitted from the first communication unit 42 of the control device 40. The plurality of devices 50 include an air conditioning device 51, a lighting device 52, an electric shutter 53, an electric lock 54, and the like.

空調機器５１は、一般家庭用の空調機器である。空調機器５１は、熱交換器（図示せず）などを有することにより、空調機器５１から送出される風の温度の調整が可能な空調機器である。つまり、空調機器５１は、温度調整機能（送風機能及び冷暖房機能）を有する。空調機器５１は、一般家庭用の空調機器に限定されず、産業用の空調機器であってもよい。 The air conditioner 51 is a general household air conditioner. The air conditioner 51 is an air conditioner capable of adjusting the temperature of the wind sent from the air conditioner 51 by having a heat exchanger (not shown) or the like. That is, the air conditioning device 51 has a temperature adjusting function (blower function and cooling / heating function). The air-conditioning device 51 is not limited to general household air-conditioning equipment, and may be industrial air-conditioning equipment.

照明機器５２は、施設８０の中（室内）を照明する。照明機器５２は、例えば、シーリングライトであるが、照明機器５２の具体的態様は、特に限定されない。照明機器５２は、ダウンライト、ペンダントライト、スポットライト、または、ブラケットライトなどであってもよい。また、照明機器５２は、施設８０の外（室外）を照明する機器であってもよい。 The lighting device 52 illuminates the inside (indoor) of the facility 80. The lighting device 52 is, for example, a ceiling light, but the specific embodiment of the lighting device 52 is not particularly limited. The lighting device 52 may be a downlight, a pendant light, a spotlight, a bracket light, or the like. Further, the lighting device 52 may be a device that illuminates the outside (outdoor) of the facility 80.

電動シャッター５３は、施設８０が有する窓の外側（または内側）に配置され、施設８０内への外光の取り入れ量を調整する。電動シャッター５３は、例えば、電動ブラインドなどであり、物理的に光の遮蔽物が開閉する構成を有する。電動シャッター５３は、液晶パネルなどを備え、物性的に光の透過率が変化する構成であってもよい。 The electric shutter 53 is arranged outside (or inside) the window of the facility 80, and adjusts the amount of external light taken into the facility 80. The electric shutter 53 is, for example, an electric blind or the like, and has a configuration in which a light shield physically opens and closes. The electric shutter 53 may be provided with a liquid crystal panel or the like, and may have a configuration in which the light transmittance changes physically.

電気錠５４は、施設８０が有するドア（または窓など）の開錠及び施錠を制御する防犯機器である。電気錠５４は、例えば、カードキーなどから鍵情報を取得するＲＦＩＤリーダを備える。また、電気錠５４は、指紋などの生体情報を鍵情報として取得する生体センサを備えてもよい。以下の実施の形態では、電気錠５４は、玄関のドアに設けられた電気錠であるものとして説明される。 The electric lock 54 is a security device that controls the unlocking and locking of the door (or window, etc.) of the facility 80. The electric lock 54 includes, for example, an RFID reader that acquires key information from a card key or the like. Further, the electric lock 54 may include a biosensor that acquires biometric information such as a fingerprint as key information. In the following embodiments, the electric lock 54 is described as being an electric lock provided on a front door.

次に、携帯端末６０について説明する。携帯端末６０は、ユーザが設定情報の内容を変更するために操作する携帯型の情報端末であり、具体的には、スマートフォンまたはタブレット端末などである。携帯端末６０は、表示部６１を有する。 Next, the mobile terminal 60 will be described. The mobile terminal 60 is a portable information terminal operated by the user to change the content of the setting information, and specifically, is a smartphone, a tablet terminal, or the like. The mobile terminal 60 has a display unit 61.

表示部６１は、画像の表示機能、及び、ユーザの手動入力を受け付ける機能を有する表示デバイスである。表示部６１は、タッチパネル、及び、液晶パネルまたは有機ＥＬパネルなどの表示パネルによって実現される。タッチパネルは、例えば、静電容量方式のタッチパネルであるが、抵抗膜方式のタッチパネルであってもよい。 The display unit 61 is a display device having an image display function and a function of accepting manual input by the user. The display unit 61 is realized by a touch panel and a display panel such as a liquid crystal panel or an organic EL panel. The touch panel is, for example, a capacitance type touch panel, but may be a resistance film type touch panel.

［機器の制御の概要］
音声制御システム１００において、ユーザは音声ＵＩ装置１０との対話形式で機器５０を制御することができる。図２及び図３は、機器５０を制御するときのユーザと音声ＵＩ装置１０の対話の一例を示す図である。 [Overview of device control]
In the voice control system 100, the user can control the device 50 in an interactive manner with the voice UI device 10. 2 and 3 are diagrams showing an example of a dialogue between the user and the voice UI device 10 when controlling the device 50.

図２の例では、（ａ）ユーザが「エアコンをつけて」と発話すると、（ｂ）音声ＵＩ装置１０は、「エアコンをスイッチオンしました」と応答し、空調機器５１が動作を開始する。一方、図３の例では、（ａ）ユーザが「エアコンをつけて」と発話すると、（ｂ）音声ＵＩ装置１０は、「エアコンをスイッチオンしてもよいですか？」と応答する。これに対して、（ｃ）ユーザが「はい」と発話すると、（ｄ）音声ＵＩ装置１０は、「エアコンをスイッチオンしました」と応答し、空調機器５１が動作を開始する。 In the example of FIG. 2, when (a) the user utters "turn on the air conditioner", (b) the voice UI device 10 responds "the air conditioner has been switched on", and the air conditioner device 51 starts operating. .. On the other hand, in the example of FIG. 3, when (a) the user utters "turn on the air conditioner", (b) the voice UI device 10 responds with "may I switch on the air conditioner?". On the other hand, (c) when the user utters "yes", (d) the voice UI device 10 responds "the air conditioner has been switched on", and the air conditioner device 51 starts operation.

図２のようにユーザが一度発話するだけで機器５０を制御することができる構成（以下、シングルアクション構成とも記載される）は、簡単に機器５０を制御することができるが、音声の誤認識などより機器５０が誤作動してしまう可能性がある。一方、図３では、音声ＵＩ装置１０から本当に機器５０制御してもよいかの確認音声（確認メッセージ）が出力されるため、ユーザは二度発話しなければ機器５０を制御できない構成（以下、ダブルアクション構成とも記載される）である。この構成では、機器５０が誤作動してしまうことが抑制される。 A configuration in which the user can control the device 50 only by speaking once as shown in FIG. 2 (hereinafter, also referred to as a single action configuration) can easily control the device 50, but erroneous recognition of voice. There is a possibility that the device 50 may malfunction due to the above. On the other hand, in FIG. 3, since the voice UI device 10 outputs a confirmation voice (confirmation message) as to whether the device 50 can really be controlled, the user cannot control the device 50 unless he / she speaks twice (hereinafter,). It is also described as a double action configuration). With this configuration, it is possible to prevent the device 50 from malfunctioning.

このように音声に基づいて機器５０を制御する際に、シングルアクション構成を採用するか、ダブルアクション構成を採用するかは、システムの設計者等により定められることが一般的である。これに対し、音声制御システム１００においては、シングルアクション構成を採用するか、ダブルアクション構成を採用するかの設定（以下、アクション設定とも記載される）をユーザが変更することができる。これにより、ユーザの好みに応じた機器５０の音声制御が実現される。なお、アクション設定（つまり、機器５０の制御の実行に対する確認の要否の設定）を示す設定情報は、機器制御サーバ３０の記憶部３３に記憶される。 When controlling the device 50 based on the voice in this way, it is generally determined by the system designer or the like whether to adopt the single action configuration or the double action configuration. On the other hand, in the voice control system 100, the user can change the setting of whether to adopt the single action configuration or the double action configuration (hereinafter, also referred to as an action setting). As a result, voice control of the device 50 according to the user's preference is realized. The setting information indicating the action setting (that is, the setting of the necessity of confirmation for the execution of the control of the device 50) is stored in the storage unit 33 of the device control server 30.

なお、音声制御システム１００では、ユーザは施設８０内で発話し、これに基づいて施設８０に設置される機器５０が制御される。しかしながら、発話音声の音声信号は、施設８０外に位置する音声認識サーバ２０に送信される。このため、音声制御システム１００における機器５０の制御は、施設８０外からの遠隔制御とみなされ、機器５０の制御は、電安法などの法律を遵守する観点から慎重に実行される必要がある。ダブルアクション構成は、慎重に機器５０を制御するための手法の一例である。 In the voice control system 100, the user speaks in the facility 80, and the device 50 installed in the facility 80 is controlled based on the utterance. However, the voice signal of the spoken voice is transmitted to the voice recognition server 20 located outside the facility 80. Therefore, the control of the device 50 in the voice control system 100 is regarded as remote control from outside the facility 80, and the control of the device 50 needs to be carefully executed from the viewpoint of complying with laws such as the Electric Safety Law. .. The double action configuration is an example of a method for carefully controlling the device 50.

［アクション設定の変更方法］
次に、アクション設定の変更方法（記憶部３３に記憶される設定情報の設定内容の変更方法）について説明する。ユーザは、音声制御システム１００の導入時に、携帯端末６０を操作することによりユーザ登録を行う。このとき、ユーザは、音声制御システム１００の利用規約に同意する必要がある。アクション設定は、例えば、利用規約への同意と合わせて携帯端末６０への手動入力に基づいて行われる。図４は、アクション設定の設定画面の第一の例を示す図である。 [How to change the action settings]
Next, a method of changing the action setting (a method of changing the setting content of the setting information stored in the storage unit 33) will be described. When the voice control system 100 is introduced, the user registers the user by operating the mobile terminal 60. At this time, the user needs to agree to the terms of use of the voice control system 100. The action setting is performed, for example, based on the manual input to the mobile terminal 60 together with the agreement to the terms of use. FIG. 4 is a diagram showing a first example of an action setting setting screen.

図４の例では、ダブルアクションがデフォルト設定となっており、シングルアクションに設定することへのリスクを示すメッセージが表示されている。これにより、ユーザは、このようなリスクを認識したうえで、シングルアクションへ設定変更することができる。なお、携帯端末６０の表示部６１によってアクション設定を変更する手動入力が受け付けられると、設定変更を指示する情報が携帯端末６０から機器制御サーバ３０へ送信され、記憶部３３に記憶された設定情報に変更内容が反映される。 In the example of FIG. 4, the double action is the default setting, and a message indicating the risk of setting the single action is displayed. As a result, the user can change the setting to a single action while recognizing such a risk. When the display unit 61 of the mobile terminal 60 accepts the manual input for changing the action setting, the information instructing the setting change is transmitted from the mobile terminal 60 to the device control server 30, and the setting information stored in the storage unit 33. The changes are reflected in.

また、音声制御システム１００のユーザは、制御装置４０を操作することにより、事前に制御装置４０に機器５０を登録（無線接続）する必要がある。そこで、アクション設定は、機器５０の登録時に、制御装置４０への手動入力に基づいて行われてもよい。図５は、アクション設定の設定画面の第二の例を示す図である。なお、制御装置４０の表示部４１によってアクション設定を変更する手動入力が受け付けられると、設定変更を指示する情報が制御装置４０から機器制御サーバ３０へ送信され、記憶部３３に記憶された設定情報に変更内容が反映される。 Further, the user of the voice control system 100 needs to register (wirelessly connect) the device 50 in the control device 40 in advance by operating the control device 40. Therefore, the action setting may be performed based on the manual input to the control device 40 at the time of registration of the device 50. FIG. 5 is a diagram showing a second example of the action setting setting screen. When the display unit 41 of the control device 40 accepts the manual input for changing the action setting, the information for instructing the setting change is transmitted from the control device 40 to the device control server 30, and the setting information stored in the storage unit 33. The changes are reflected in.

また、図５の例では、施設８０に設置された複数の機器５０は、一括してシングルアクション及びダブルアクションのいずれかに設定される。言い換えれば、記憶部３３に記憶される設定情報においては、確認音声の要否が複数の機器５０に対して１つ定められる。しかしながら、施設８０に設置された複数の機器５０は、個別にシングルアクション及びダブルアクションのいずれかに設定されてもよい。言い換えれば、記憶部３３に記憶される設定情報においては、確認音声の要否が、施設８０に設置された複数の機器５０のそれぞれに対して個別に定められてもよい。図６は、このようなアクション設定の設定画面の第三の例を示す図である。 Further, in the example of FIG. 5, the plurality of devices 50 installed in the facility 80 are collectively set to either single action or double action. In other words, in the setting information stored in the storage unit 33, the necessity of the confirmation voice is determined once for the plurality of devices 50. However, the plurality of devices 50 installed in the facility 80 may be individually set to either single action or double action. In other words, in the setting information stored in the storage unit 33, the necessity of the confirmation voice may be individually determined for each of the plurality of devices 50 installed in the facility 80. FIG. 6 is a diagram showing a third example of the setting screen of such an action setting.

なお、図示されないが、図６のような設定画面において、複数の機器５０のアクション設定を一括して変更するためのオブジェクト（一括変更ボタン）が設けられてもよい。また、図６のアクション設定画面は一例である。設定画面は、当該設定画面においてチェックを入れた機器５０だけがシングルアクションに設定変更されるような設定画面であってもよい。 Although not shown, an object (batch change button) for collectively changing the action settings of the plurality of devices 50 may be provided on the setting screen as shown in FIG. The action setting screen in FIG. 6 is an example. The setting screen may be a setting screen in which only the device 50 checked in the setting screen is changed to a single action.

以上、アクション設定の変更方法について説明したが、アクション設定の変更方法は、上記に限定されない。例えば、アクション設定の変更は、音声ＵＩ装置１０が備える表示部１２への手動入力によって行われてもよいし、音声ＵＩ装置１０が備えるマイクロフォン１１への音声入力によって行われてもよい。この場合、設定変更を指示する情報が音声ＵＩ装置１０から（例えば、音声認識サーバ２０を介して）機器制御サーバ３０へ送信され、記憶部３３に記憶された設定情報に変更内容が反映される。 Although the method of changing the action setting has been described above, the method of changing the action setting is not limited to the above. For example, the action setting may be changed by manual input to the display unit 12 included in the voice UI device 10, or by voice input to the microphone 11 included in the voice UI device 10. In this case, the information instructing the setting change is transmitted from the voice UI device 10 (for example, via the voice recognition server 20) to the device control server 30, and the change content is reflected in the setting information stored in the storage unit 33. ..

アクション設定の変更は、音声ＵＩ装置１０、制御装置４０、及び、携帯端末６０の少なくとも１つを通じて行われればよく、音声制御システム１００の導入時（例えば、利用規約に同意するとき）に行われてもよいし、音声制御システム１００の導入後（例えば、機器５０の登録時）に行われてもよい。いずれのケースにおいても、アクション設定は、機器５０ごとに個別に変更されてもよいし、複数の機器５０に対して一括変更されてもよい。 The action setting may be changed through at least one of the voice UI device 10, the control device 40, and the mobile terminal 60, and is performed when the voice control system 100 is introduced (for example, when the terms of use are agreed). It may be performed after the introduction of the voice control system 100 (for example, at the time of registration of the device 50). In any case, the action setting may be changed individually for each device 50, or may be changed collectively for a plurality of devices 50.

［動作例１：シングルアクションに設定された機器の制御］
次に、シングルアクションに設定された機器５０を制御するときの音声制御システム１００の動作について説明する。図７は、このような音声制御システム１００の動作例１のシーケンス図である。 [Operation example 1: Control of equipment set to single action]
Next, the operation of the voice control system 100 when controlling the device 50 set to the single action will be described. FIG. 7 is a sequence diagram of an operation example 1 of such a voice control system 100.

ユーザが機器５０の制御を意図した音声を発すると、音声ＵＩ装置１０のマイクロフォン１１は、この発話音声（例えば、図２の（ａ））を取得する（Ｓ１１）。音声ＵＩ装置１０は、取得した発話音声の音声信号を音声認識サーバ２０へ送信する（Ｓ１２）。 When the user emits a voice intended to control the device 50, the microphone 11 of the voice UI device 10 acquires the uttered voice (for example, (a) of FIG. 2) (S11). The voice UI device 10 transmits the voice signal of the acquired spoken voice to the voice recognition server 20 (S12).

音声認識サーバ２０は音声信号を受信すると、受信した音声信号（つまり、発話音声）に対して音声認識処理を行う（Ｓ１３）。音声認識サーバ２０は、具体的には、受信した音声信号をテキスト情報に変換し、テキスト情報を機器制御サーバ３０に送信する。 When the voice recognition server 20 receives the voice signal, the voice recognition server 20 performs voice recognition processing on the received voice signal (that is, spoken voice) (S13). Specifically, the voice recognition server 20 converts the received voice signal into text information and transmits the text information to the device control server 30.

機器制御サーバ３０の第一取得部３４は、通信部３１を介して音声認識サーバ２０からテキスト情報を取得する（Ｓ１４）。テキスト情報は、機器５０の制御を実行するための情報の一例である。なお、音声認識サーバ２０はテキスト情報をコマンド情報（後述の制御命令に類似する情報）に変換し、第一取得部３４は、通信部３１を介して音声認識サーバ２０からコマンド情報を取得してもよい。この場合のコマンド情報は、機器５０の制御を実行するための情報の別の一例である。 The first acquisition unit 34 of the device control server 30 acquires text information from the voice recognition server 20 via the communication unit 31 (S14). The text information is an example of information for executing the control of the device 50. The voice recognition server 20 converts text information into command information (information similar to a control command described later), and the first acquisition unit 34 acquires command information from the voice recognition server 20 via the communication unit 31. May be good. The command information in this case is another example of the information for executing the control of the device 50.

第二取得部３５は、記憶部３３から設定情報を取得する（Ｓ１５）。実行部３６は、第一取得部３４によって取得されたテキスト情報に基づいてユーザが意図する制御の制御対象の機器５０を特定し、第二取得部３５によって取得された設定情報に基づいて、特定した機器５０のアクション設定を判定する（Ｓ１６）。例えば、テキスト情報が「エアコンをつけて」というテキストを示す場合、実行部３６は、設定情報において空調機器５１に紐づけられたアクション設定を参照することで、空調機器５１のアクション設定を判定することができる。 The second acquisition unit 35 acquires the setting information from the storage unit 33 (S15). The execution unit 36 identifies the device 50 to be controlled by the control intended by the user based on the text information acquired by the first acquisition unit 34, and specifies the device 50 based on the setting information acquired by the second acquisition unit 35. The action setting of the device 50 is determined (S16). For example, when the text information indicates the text "Turn on the air conditioner", the execution unit 36 determines the action setting of the air conditioner device 51 by referring to the action setting associated with the air conditioner device 51 in the setting information. be able to.

動作例１では、実行部３６は、機器５０がシングルアクションに設定されていると判定し、制御命令を通信部３１に制御装置４０へ送信させる（Ｓ１７）。上述のようにテキスト情報が「エアコンをつけて」というテキストを示す場合、実行部３６は、空調機器５１をオンするための制御命令を通信部３１に送信させる。 In operation example 1, the execution unit 36 determines that the device 50 is set to a single action, and causes the communication unit 31 to transmit a control command to the control device 40 (S17). When the text information indicates the text "Turn on the air conditioner" as described above, the execution unit 36 causes the communication unit 31 to transmit a control command for turning on the air conditioner device 51.

制御装置４０の第二通信部４３は、制御命令を機器制御サーバ３０から受信する。制御部４４は、受信された制御命令を第一通信部４２に機器５０（この場合、空調機器５１へ送信させる（Ｓ１８）。機器５０は、制御命令を受信すると制御命令にしたがって動作（または停止）する（Ｓ１９）。そして、機器５０は、動作（または停止）が完了したことを示す完了応答を制御装置４０へ送信する（Ｓ２０）。 The second communication unit 43 of the control device 40 receives the control command from the device control server 30. The control unit 44 causes the first communication unit 42 to transmit the received control command to the device 50 (in this case, the air conditioning device 51 (S18). When the device 50 receives the control command, the device 50 operates (or stops) according to the control command. (S19). Then, the device 50 transmits a completion response indicating that the operation (or stop) is completed to the control device 40 (S20).

制御装置４０の第一通信部４２は、完了応答を機器５０から受信する。制御部４４は、受信された完了応答を第二通信部４３に機器制御サーバ３０へ送信させる（Ｓ２１）。 The first communication unit 42 of the control device 40 receives the completion response from the device 50. The control unit 44 causes the second communication unit 43 to transmit the received completion response to the device control server 30 (S21).

機器制御サーバ３０の通信部３１は、完了応答を受信する。実行部３６は、完了応答が受信されると、完了通知を通信部３１に音声認識サーバ２０へ送信させる（Ｓ２２）。 The communication unit 31 of the device control server 30 receives the completion response. When the execution unit 36 receives the completion response, the execution unit 36 causes the communication unit 31 to transmit the completion notification to the voice recognition server 20 (S22).

音声認識サーバ２０は、完了通知を受信すると、音声ＵＩ装置１０へ完了通知を送信する（Ｓ２３）。音声ＵＩ装置１０は、完了通知を受信すると、受信した完了通知に基づいてスピーカ１３から完了音声（例えば、図２の（ｂ））を出力する（Ｓ２４）。 Upon receiving the completion notification, the voice recognition server 20 transmits the completion notification to the voice UI device 10 (S23). When the voice UI device 10 receives the completion notification, the voice UI device 10 outputs the completion voice (for example, (b) of FIG. 2) from the speaker 13 based on the received completion notification (S24).

このように、実行部３６は、記憶部３３に記憶された設定情報に基づいて機器５０がシングルアクションに設定（制御の実行確認が不要に設定）されていると判定すると、音声ＵＩ装置１０に確認音声を出力させずに機器５０の制御を実行する。これにより、ユーザが確認音声に対する応答（つまり、２度目の発話）を煩わしく感じてしまうことが抑制される。 In this way, when the execution unit 36 determines that the device 50 is set to the single action (setting that the execution confirmation of control is unnecessary) based on the setting information stored in the storage unit 33, the voice UI device 10 is notified. The control of the device 50 is executed without outputting the confirmation voice. As a result, it is possible to prevent the user from feeling annoyed by the response to the confirmation voice (that is, the second utterance).

［動作例２：ダブルアクションに設定された機器の制御］
次に、ダブルアクションに設定された機器５０を制御するときの音声制御システム１００の動作について説明する。図８は、このような音声制御システム１００の動作例２のシーケンス図である。 [Operation example 2: Control of equipment set to double action]
Next, the operation of the voice control system 100 when controlling the device 50 set to the double action will be described. FIG. 8 is a sequence diagram of operation example 2 of such a voice control system 100.

ステップＳ１１～ステップＳ１５の処理は、動作例１と同様である。ステップＳ１５の後、実行部３６は、第一取得部３４によって取得されたテキスト情報に基づいてユーザが意図する制御の制御対象の機器５０を特定し、第二取得部３５によって取得された設定情報に基づいて、特定した機器５０のアクション設定を判定する（Ｓ３１）。例えば、テキスト情報が「エアコンをつけて」というテキストを示す場合、実行部３６は、設定情報において空調機器５１に紐づけられたアクション設定を参照することで、空調機器５１のアクション設定を判定することができる。 The processing of steps S11 to S15 is the same as that of the operation example 1. After step S15, the execution unit 36 identifies the device 50 to be controlled by the control intended by the user based on the text information acquired by the first acquisition unit 34, and the setting information acquired by the second acquisition unit 35. Based on the above, the action setting of the specified device 50 is determined (S31). For example, when the text information indicates the text "Turn on the air conditioner", the execution unit 36 determines the action setting of the air conditioner device 51 by referring to the action setting associated with the air conditioner device 51 in the setting information. be able to.

動作例２では、実行部３６は、機器５０がダブルアクションに設定されていると判定し、音声ＵＩ装置１０に確認音声を出力させるための確認命令を通信部３１に音声認識サーバ２０へ送信させる（Ｓ３２）。 In the operation example 2, the execution unit 36 determines that the device 50 is set to the double action, and causes the communication unit 31 to transmit a confirmation command for outputting the confirmation voice to the voice UI device 10 to the voice recognition server 20. (S32).

音声認識サーバ２０は、確認命令を受信すると、音声ＵＩ装置１０へ確認命令を送信する（Ｓ３３）。音声ＵＩ装置１０は、確認命令を受信すると、受信した確認命令に基づいてスピーカ１３から確認音声（例えば、図３の（ｂ））を出力する（Ｓ３４）。 Upon receiving the confirmation command, the voice recognition server 20 transmits the confirmation command to the voice UI device 10 (S33). When the voice UI device 10 receives the confirmation command, the voice UI device 10 outputs the confirmation voice (for example, (b) in FIG. 3) from the speaker 13 based on the received confirmation command (S34).

ユーザが機器５０の制御に同意することを意図した音声を発すると、音声ＵＩ装置１０のマイクロフォン１１は、この発話音声（例えば、図３の（ｃ））を取得する（Ｓ３５）。音声ＵＩ装置１０は、取得した発話音声の音声信号を音声認識サーバ２０へ送信する（Ｓ３６）。 When the user emits a voice intended to consent to the control of the device 50, the microphone 11 of the voice UI device 10 acquires this uttered voice (for example, (c) of FIG. 3) (S35). The voice UI device 10 transmits the voice signal of the acquired spoken voice to the voice recognition server 20 (S36).

音声認識サーバ２０は音声信号を受信すると、受信した音声信号（つまり、発話音声）に対して音声認識処理を行う（Ｓ３７）。音声認識サーバ２０は、具体的には、受信した音声信号をテキスト情報に変換し、テキスト情報を機器制御サーバ３０に送信する。 When the voice recognition server 20 receives the voice signal, the voice recognition server 20 performs voice recognition processing on the received voice signal (that is, spoken voice) (S37). Specifically, the voice recognition server 20 converts the received voice signal into text information and transmits the text information to the device control server 30.

機器制御サーバ３０の第一取得部３４は、通信部３１を介して音声認識サーバ２０からテキスト情報を取得する（Ｓ３８）。 The first acquisition unit 34 of the device control server 30 acquires text information from the voice recognition server 20 via the communication unit 31 (S38).

実行部３６は、取得されたテキスト情報がユーザが機器５０の制御に同意することを示すと判定し、制御命令を通信部３１に制御装置４０へ送信させる（Ｓ１７）。上述のようにテキスト情報が「エアコンをつけて」というテキストを示す場合、実行部３６は、空調機器５１をオンするための制御命令を通信部３１に送信させる。以降の処理は、動作例１と同様である。 The execution unit 36 determines that the acquired text information indicates that the user agrees to the control of the device 50, and causes the communication unit 31 to transmit the control command to the control device 40 (S17). When the text information indicates the text "Turn on the air conditioner" as described above, the execution unit 36 causes the communication unit 31 to transmit a control command for turning on the air conditioner device 51. Subsequent processing is the same as in operation example 1.

なお、ステップＳ３５で取得された発話音声がユーザが機器５０の制御に同意しないことを意図した音声である場合、ステップＳ３８の後、実行部３６は、取得されたテキスト情報がユーザが機器５０の制御に同意しないことを示すと判定し、ステップＳ１７以降の処理を行わない。 If the spoken voice acquired in step S35 is a voice intended for the user to disagree with the control of the device 50, after step S38, the execution unit 36 displays the acquired text information on the device 50 by the user. It is determined that the control is not agreed, and the processing after step S17 is not performed.

このように、実行部３６は、記憶部３３に記憶された設定情報に基づいて機器５０がダブルアクションに設定（制御の実行確認が必要に設定）されていると判定すると、機器５０の制御を実行する前に音声ＵＩ装置１０に確認音声を出力させる。これにより、発話音声の誤認識などによって機器５０が誤作動してしまうことが抑制される。 In this way, when the execution unit 36 determines that the device 50 is set to the double action (set to require confirmation of execution of control) based on the setting information stored in the storage unit 33, the execution unit 36 controls the device 50. Before the execution, the voice UI device 10 is made to output a confirmation voice. As a result, it is possible to prevent the device 50 from malfunctioning due to erroneous recognition of the spoken voice.

［シーン制御に対するアクション設定］
ところで、音声制御システム１００のユーザは、発話音声により、シーン制御（定型アクションなどと呼ばれる場合もある）を実行することもできる。シーン制御は、施設８０内を所定の室内環境に近づけるために、施設８０内に配置された２以上の機器５０を一括して動作させる制御である。図９は、シーン制御を実行するための制御情報の一例を示す図である。 [Action settings for scene control]
By the way, the user of the voice control system 100 can also execute scene control (sometimes called a routine action) by the spoken voice. The scene control is a control in which two or more devices 50 arranged in the facility 80 are collectively operated in order to bring the inside of the facility 80 closer to a predetermined indoor environment. FIG. 9 is a diagram showing an example of control information for executing scene control.

シーン制御の制御情報においては、起床、外出、及び、就寝などの生活シーン（シーン名称）のそれぞれに対して、機器５０の制御内容が紐づけられている。例えば、ユーザは、音声ＵＩ装置１０に対して「「帰宅」を有効にして」と発話すると、機器制御サーバ３０の実行部３６は、記憶部３３に記憶された制御情報を参照して機器５０を制御する。この結果、空調機器５１及び照明機器５２があらかじめ登録された設定（明るさ、設定温度など）でオンし、電動シャッター５３が開く。シーン制御を実行するときの動作シーケンスは、動作例１または動作例２と同様である。「帰宅」のシーン制御の実行が指示されたときに、どのような機器５０がどのような動作を行うかは、ユーザが設定することができる。 In the control information of the scene control, the control contents of the device 50 are associated with each of the life scenes (scene names) such as getting up, going out, and going to bed. For example, when the user utters "enable" return home "" to the voice UI device 10, the execution unit 36 of the device control server 30 refers to the control information stored in the storage unit 33 and refers to the device 50. To control. As a result, the air-conditioning device 51 and the lighting device 52 are turned on with the settings (brightness, set temperature, etc.) registered in advance, and the electric shutter 53 is opened. The operation sequence when executing the scene control is the same as that of the operation example 1 or the operation example 2. The user can set what kind of device 50 performs what kind of operation when the execution of the scene control of "returning home" is instructed.

ここで、音声制御システム１００は、シーン制御に対してもアクション設定が可能であってもよい。言い換えれば、設定情報は、シーン制御（複数の機器５０の一括制御）の実行に対する確認の要否の設定を示す情報であってもよい。図１０は、シーン制御に対するアクション設定の設定画面の第一の例を示す図である。 Here, the voice control system 100 may be capable of setting actions for scene control as well. In other words, the setting information may be information indicating the setting of the necessity of confirmation for the execution of the scene control (collective control of a plurality of devices 50). FIG. 10 is a diagram showing a first example of an action setting setting screen for scene control.

図１０の例では、機器５０を個別に制御するときのアクション設定と、シーン制御（複数の機器５０の一括制御）を実行するときのアクション設定とが区別されている。ユーザは、機器５０を個別に制御するときにはダブルアクション設定、シーン制御を行うときには、シングルアクション設定というような設定が可能である。 In the example of FIG. 10, an action setting when individually controlling the devices 50 and an action setting when executing scene control (collective control of a plurality of devices 50) are distinguished. The user can make settings such as a double action setting when individually controlling the device 50 and a single action setting when performing scene control.

図１０の例では、登録された全てのシーン制御は、一括してシングルアクション及びダブルアクションのいずれかに設定される。言い換えれば、記憶部３３に記憶される設定情報においては、確認音声の要否が複数のシーン制御に対して１つ定められる。しかしながら、複数のシーン制御は、個別にシングルアクション及びダブルアクションのいずれかに設定されてもよい。言い換えれば、記憶部３３に記憶される設定情報においては、確認音声の要否が、複数のシーン制御のそれぞれに対して個別に定められてもよい。図１１は、このようなシーン制御に対するアクション設定の設定画面の第二の例を示す図である。 In the example of FIG. 10, all the registered scene controls are collectively set to either single action or double action. In other words, in the setting information stored in the storage unit 33, the necessity of the confirmation voice is determined once for the plurality of scene controls. However, the plurality of scene controls may be individually set to either single action or double action. In other words, in the setting information stored in the storage unit 33, the necessity of the confirmation voice may be individually determined for each of the plurality of scene controls. FIG. 11 is a diagram showing a second example of the setting screen of the action setting for such a scene control.

なお、図示されないが、図１１のような設定画面において、複数のシーン制御のアクション設定を一括して変更するためのオブジェクト（一括変更ボタン）が設けられてもよい。また、図１１の設定画面は一例である。設定画面は、当該設定画面においてチェックを入れたシーン制御だけがシングルアクションに設定変更されるような設定画面であってもよい。 Although not shown, an object (batch change button) for collectively changing a plurality of scene control action settings may be provided on the setting screen as shown in FIG. The setting screen of FIG. 11 is an example. The setting screen may be a setting screen in which only the scene control checked in the setting screen is changed to a single action.

なお、図１０及び図１１は、制御装置４０の表示部４１への手動入力によってシーン制御に対するアクション設定の変更が行われる例を示しているが、シーン制御に対するアクション設定の変更は、上述した個別制御に対するアクション設定の変更と同様に、音声ＵＩ装置１０、制御装置４０、及び、携帯端末６０の少なくとも１つを通じて行われればよい。 Although FIGS. 10 and 11 show an example in which the action setting for the scene control is changed by the manual input to the display unit 41 of the control device 40, the change of the action setting for the scene control is described individually. Similar to the change of the action setting for the control, it may be performed through at least one of the voice UI device 10, the control device 40, and the mobile terminal 60.

［シーン制御時のアクション設定の判定］
また、音声制御システム１００は、シーン制御に対してはアクション設定が不可能であり、実行部３６は、シーン制御の制御対象の複数の機器５０に対するアクション設定に基づいてシーン制御のアクション設定をシングルアクションにするかダブルアクションにするかを判定してもよい。図１２は、シーン制御に対するアクション設定の判定動作のフローチャートである。なお、図１２に示される判定動作は、複数の機器５０が個別にシングルアクション及びダブルアクションのいずれかに設定されることが前提となる。 [Judgment of action settings during scene control]
Further, the voice control system 100 cannot set an action for the scene control, and the execution unit 36 singles the action setting for the scene control based on the action setting for the plurality of devices 50 to be controlled by the scene control. You may decide whether to make it an action or a double action. FIG. 12 is a flowchart of an action setting determination operation for scene control. The determination operation shown in FIG. 12 is premised on the fact that the plurality of devices 50 are individually set to either single action or double action.

まず、機器制御サーバ３０の第一取得部３４は、シーン制御を意図したユーザの発話音声に基づくテキスト情報を、通信部３１を介して音声認識サーバ２０から取得する（Ｓ４１）。 First, the first acquisition unit 34 of the device control server 30 acquires text information based on the spoken voice of the user intended for scene control from the voice recognition server 20 via the communication unit 31 (S41).

次に、第二取得部３５は、記憶部３３から設定情報を取得する（Ｓ４２）。実行部３６は、第一取得部３４によって取得されたテキスト情報に基づいてユーザが意図するシーン制御の制御対象となる複数の機器５０を特定し（Ｓ４３）、第二取得部３５によって取得された設定情報に基づいて、特定した複数の機器５０のアクション設定を特定する（Ｓ４４）。 Next, the second acquisition unit 35 acquires the setting information from the storage unit 33 (S42). The execution unit 36 identifies a plurality of devices 50 to be controlled by the scene control intended by the user based on the text information acquired by the first acquisition unit 34 (S43), and is acquired by the second acquisition unit 35. Based on the setting information, the action settings of the specified plurality of devices 50 are specified (S44).

次に、実行部３６は、ステップＳ４４の特定結果に基づいて、ステップＳ４３で特定した制御対象の複数の機器５０の中にダブルアクションに設定されている機器が含まれるか否かを判定する（Ｓ４５）。 Next, the execution unit 36 determines, based on the specific result of step S44, whether or not the plurality of devices 50 to be controlled specified in step S43 include the device set for the double action (the execution unit 36). S45).

実行部３６は、複数の機器５０の中にダブルアクションに設定されている機器５０が含まれると判定すると（Ｓ４５でＹｅｓ）、音声ＵＩ装置１０に確認音声を出力させた後（Ｓ４６）、ユーザが意図するシーン制御を実行する（Ｓ４７）。言い換えれば、実行部３６は、シーン制御に対するアクション設定をダブルアクション設定とみなし、シーン制御を実行する前に音声ＵＩ装置１０に確認音声を出力させる。 When the execution unit 36 determines that the device 50 set to the double action is included in the plurality of devices 50 (Yes in S45), the execution unit 36 causes the voice UI device 10 to output a confirmation voice (S46), and then the user. Executes the intended scene control (S47). In other words, the execution unit 36 regards the action setting for the scene control as the double action setting, and causes the voice UI device 10 to output a confirmation voice before executing the scene control.

一方、実行部３６は、複数の機器５０の中にダブルアクションに設定されている機器５０が含まれないと判定すると（Ｓ４５でＮｏ）、音声ＵＩ装置１０に確認音声を出力させずにユーザが意図するシーン制御を実行する（Ｓ４７）。言い換えれば、実行部３６は、シーン制御に対するアクション設定をシングルアクション設定とみなし、シーン制御を実行する前に音声ＵＩ装置１０に確認音声を出力させない。 On the other hand, when the execution unit 36 determines that the device 50 set to the double action is not included in the plurality of devices 50 (No in S45), the user does not output the confirmation voice to the voice UI device 10. The intended scene control is executed (S47). In other words, the execution unit 36 regards the action setting for the scene control as the single action setting, and does not cause the voice UI device 10 to output the confirmation voice before executing the scene control.

このように、実行部３６は、設定情報が示す複数の機器５０のそれぞれの設定に基づいて、シーン制御を実行する前に音声ＵＩ装置１０に確認音声を出力させる。これにより、音声制御システム１００は、シーン制御に対するアクション設定を省略して、複数の機器５０の一括制御の前に確認音声を出力するか否かの切り換えを実現することができる。 In this way, the execution unit 36 causes the voice UI device 10 to output a confirmation voice before executing the scene control based on the respective settings of the plurality of devices 50 indicated by the setting information. Thereby, the voice control system 100 can omit the action setting for the scene control and realize the switching of whether or not to output the confirmation voice before the collective control of the plurality of devices 50.

なお、図１２の判定動作は一例である。例えば、ステップＳ４５では、制御対象の複数の機器５０の中にシングルアクションに設定されている機器が含まれるか否かが判定されてもよい。この場合、実行部３６は、複数の機器５０の中にシングルアクションに設定されている機器５０が含まれると判定すると、シーン制御を実行する前に音声ＵＩ装置１０に確認音声を出力させ、複数の機器５０の中にシングルアクションに設定されている機器５０が含まれないと判定すると、シーン制御を実行する前に音声ＵＩ装置１０に確認音声を出力させない。 The determination operation in FIG. 12 is an example. For example, in step S45, it may be determined whether or not the plurality of devices 50 to be controlled include devices set to single action. In this case, when the execution unit 36 determines that the device 50 set to the single action is included in the plurality of devices 50, the execution unit 36 causes the voice UI device 10 to output a confirmation voice before executing the scene control, and a plurality of devices 50 are output. If it is determined that the device 50 set to the single action is not included in the device 50 of the above, the voice UI device 10 is not made to output the confirmation voice before executing the scene control.

また、実行部３６は、制御対象の複数の機器５０に含まれるシングルアクションに設定されている機器５０の数、及び、制御対象の複数の機器５０に含まれるダブルアクションに設定されている機器５０の数に基づいて、シーン制御に対するアクション設定を多数決で決定してもよい。 Further, the execution unit 36 includes the number of devices 50 set to single action included in the plurality of devices 50 to be controlled, and the devices 50 set to double action included in the plurality of devices 50 to be controlled. The action setting for the scene control may be decided by majority vote based on the number of.

［効果等］
以上説明したように、音声制御システム１００は、音声ＵＩ装置１０に入力されるユーザの発話音声によって指示される機器５０の制御を実行するための情報を取得する第一取得部３４と、取得された情報が示す上記制御の実行に対する確認の要否の設定を示す設定情報を取得する第二取得部３５と、取得された設定情報に基づいて、上記制御を実行する前に音声ＵＩ装置１０に上記確認のための確認音声を出力させる実行部３６とを備える。 [Effects, etc.]
As described above, the voice control system 100 is acquired by the first acquisition unit 34 that acquires information for executing the control of the device 50 instructed by the voice spoken by the user input to the voice UI device 10. The second acquisition unit 35 that acquires the setting information indicating the setting of the necessity of confirmation for the execution of the control indicated by the information, and the voice UI device 10 before executing the control based on the acquired setting information. It is provided with an execution unit 36 that outputs a confirmation voice for the above confirmation.

このような音声制御システム１００は、機器５０の制御の前に確認音声を出力するか否かを設定情報に基づいて切り替えることができる。つまり、音声制御システム１００は、機器５０の制御を意図した発話音声が入力された後に当該制御の実行確認を行うか否かを切り替えることができる。 Such a voice control system 100 can switch whether or not to output a confirmation voice before the control of the device 50 based on the setting information. That is, the voice control system 100 can switch whether or not to confirm the execution of the control after the spoken voice intended to control the device 50 is input.

また、例えば、設定情報においては、確認の要否が、機器５０を含む複数の機器５０に対して１つ定められる。 Further, for example, in the setting information, the necessity of confirmation is determined once for a plurality of devices 50 including the device 50.

このような音声制御システム１００は、機器５０の制御の前に確認音声を出力するか否かを一括して設定することができる。 Such a voice control system 100 can collectively set whether or not to output a confirmation voice before controlling the device 50.

また、例えば、設定情報においては、確認の要否が、機器５０を含む複数の機器５０のそれぞれに対して個別に定められる。 Further, for example, in the setting information, the necessity of confirmation is individually determined for each of the plurality of devices 50 including the device 50.

このような音声制御システム１００は、機器５０の制御の前に確認音声を出力するか否かを機器５０ごとに個別に設定することができる。 In such a voice control system 100, whether or not to output a confirmation voice before the control of the device 50 can be individually set for each device 50.

また、例えば、設定情報の内容は、音声ＵＩ装置１０に入力される発話音声に基づいて変更される。 Further, for example, the content of the setting information is changed based on the spoken voice input to the voice UI device 10.

このような音声制御システム１００によれば、ユーザは、設定情報の内容を発話音声（音声入力）によって変更することができる。 According to such a voice control system 100, the user can change the content of the setting information by the spoken voice (voice input).

また、例えば、音声制御システム１００は、さらに、情報端末と通信する通信部３１を備える。設定情報の内容は、情報端末への手動入力に基づいて変更される。情報端末は、例えば、音声ＵＩ装置１０、制御装置４０、または、携帯端末６０である。 Further, for example, the voice control system 100 further includes a communication unit 31 that communicates with an information terminal. The content of the setting information is changed based on the manual input to the information terminal. The information terminal is, for example, a voice UI device 10, a control device 40, or a mobile terminal 60.

このような音声制御システム１００によれば、ユーザは、設定情報の内容を音声ＵＩ装置１０、制御装置４０、または、携帯端末６０への手動入力によって変更することができる。 According to such a voice control system 100, the user can change the content of the setting information by manual input to the voice UI device 10, the control device 40, or the mobile terminal 60.

また、例えば、実行部３６は、制御装置４０を介して機器５０の制御を実行し、設定情報の内容は、制御装置４０への手動入力に基づいて変更される。 Further, for example, the execution unit 36 executes control of the device 50 via the control device 40, and the content of the setting information is changed based on the manual input to the control device 40.

このような音声制御システム１００によれば、ユーザは、制御装置４０への手動入力によって変更することができる。 According to such a voice control system 100, the user can change it by manual input to the control device 40.

また、例えば、上記制御は、機器５０を含む複数の機器５０の一括制御である。設定情報は、一括制御の実行に対する確認の要否の設定を示す。 Further, for example, the control is a collective control of a plurality of devices 50 including the device 50. The setting information indicates the setting of the necessity of confirmation for the execution of the batch control.

このような音声制御システム１００は、複数の機器５０の一括制御の前に確認音声を出力するか否かを設定情報に基づいて切り替えることができる。つまり、音声制御システム１００は、複数の機器５０の一括制御の前に確認音声を出力するか否かの切り換えを実現することができる。 Such a voice control system 100 can switch whether or not to output a confirmation voice before batch control of a plurality of devices 50 based on the setting information. That is, the voice control system 100 can realize switching of whether or not to output the confirmation voice before the collective control of the plurality of devices 50.

また、例えば、上記制御は、複数の機器５０の一括制御であり、実行部３６は、設定情報が示す複数の機器５０のそれぞれの設定に基づいて、一括制御を実行する前に音声ＵＩ装置１０に確認音声を出力させる。 Further, for example, the control is a batch control of a plurality of devices 50, and the execution unit 36 is a voice UI device 10 before executing the batch control based on the respective settings of the plurality of devices 50 indicated by the setting information. To output a confirmation voice.

このような音声制御システム１００は、複数の機器５０の一括制御の前に確認音声を出力するか否かを複数の機器５０の個別の設定に基づいて切り替えることができる。つまり、音声制御システム１００は、複数の機器５０の一括制御に対する設定を省略して、複数の機器５０の一括制御の前に確認音声を出力するか否かの切り換えを実現することができる。 Such a voice control system 100 can switch whether or not to output confirmation voice before batch control of a plurality of devices 50 based on individual settings of the plurality of devices 50. That is, the voice control system 100 can omit the setting for the collective control of the plurality of devices 50 and realize the switching of whether or not to output the confirmation voice before the collective control of the plurality of devices 50.

また、例えば、実行部３６は、複数の機器５０の中に確認が必要であると設定されている機器５０が含まれる場合に、一括制御を実行する前に音声ＵＩ装置１０に確認音声を出力させ、複数の機器５０の中に確認が必要であると設定されている機器５０が含まれない場合に、一括制御を実行する前に音声ＵＩ装置１０に確認音声を出力させない。 Further, for example, when the plurality of devices 50 include the device 50 that is set to need confirmation, the execution unit 36 outputs the confirmation voice to the voice UI device 10 before executing the batch control. If the device 50 that is set to require confirmation is not included in the plurality of devices 50, the voice UI device 10 does not output the confirmation voice before executing the batch control.

このような音声制御システム１００は、一括制御の対象となる複数の機器５０の中に１つでも確認が必要であると設定された機器５０があるときに、確認音声を出力することができる。 Such a voice control system 100 can output a confirmation voice when there is a device 50 set to require confirmation among a plurality of devices 50 to be collectively controlled.

また、例えば、設定情報の内容は、機器５０が音声制御システム１００に登録されるときに変更可能である。 Further, for example, the content of the setting information can be changed when the device 50 is registered in the voice control system 100.

このような音声制御システム１００によれば、ユーザは、機器５０の音声制御システム１００への登録時に設定情報の内容を変更することができる。 According to such a voice control system 100, the user can change the content of the setting information when the device 50 is registered in the voice control system 100.

また、例えば、機器５０は、施設８０に設置され、設定情報の内容は、音声制御システム１００が施設８０に導入されるときに変更可能である。 Further, for example, the device 50 is installed in the facility 80, and the content of the setting information can be changed when the voice control system 100 is introduced in the facility 80.

このような音声制御システム１００によれば、ユーザは、音声制御システム１００が施設８０に導入されるときに設定情報の内容を変更することができる。 According to such a voice control system 100, the user can change the content of the setting information when the voice control system 100 is introduced into the facility 80.

また、例えば、機器５０は、施設８０に設置され、音声制御システム１００は、さらに、音声ＵＩ装置１０と、発話音声に対して音声認識処理を行うことにより上記情報を送信する、施設８０外に位置する音声認識サーバ２０とを備える。第一取得部３４は、音声認識サーバ２０によって送信された上記情報を取得する。音声認識サーバ２０は、コンピュータの一例である。 Further, for example, the device 50 is installed in the facility 80, and the voice control system 100 further transmits the above information by performing voice recognition processing on the voice UI device 10 and the spoken voice, outside the facility 80. It includes a voice recognition server 20 located. The first acquisition unit 34 acquires the above information transmitted by the voice recognition server 20. The voice recognition server 20 is an example of a computer.

このような音声制御システム１００は、施設８０外に位置する音声認識サーバ２０を利用して音声認識処理を行うことができる。 Such a voice control system 100 can perform voice recognition processing by using a voice recognition server 20 located outside the facility 80.

また、音声制御システム１００などのコンピュータが実行する音声制御方法は、音声ＵＩ装置１０に入力されるユーザの発話音声によって指示される機器５０の制御を実行するための情報を取得する第一取得ステップと、取得された情報が示す上記制御の実行に対する確認の要否の設定を示す設定情報を取得する第二取得ステップと、取得された設定情報に基づいて、上記制御を実行する前に音声ＵＩ装置１０に確認のための確認音声を出力させる実行ステップとを含む。 Further, in the voice control method executed by a computer such as the voice control system 100, the first acquisition step of acquiring information for executing the control of the device 50 instructed by the voice spoken by the user input to the voice UI device 10. And the second acquisition step to acquire the setting information indicating the setting of the necessity of confirmation for the execution of the control indicated by the acquired information, and the voice UI before executing the control based on the acquired setting information. It includes an execution step of causing the device 10 to output a confirmation voice for confirmation.

このような音声制御方法は、機器５０の制御の前に確認音声を出力するか否かを設定情報に基づいて切り替えることができる。つまり、音声制御方法は、機器５０の制御を意図した発話音声が入力された後に当該制御の実行確認を行うか否かを切り替えることができる。 In such a voice control method, it is possible to switch whether or not to output a confirmation voice before controlling the device 50 based on the setting information. That is, the voice control method can switch whether or not to confirm the execution of the control after the utterance voice intended to control the device 50 is input.

（その他の実施の形態）
以上、実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではない。 (Other embodiments)
Although the embodiments have been described above, the present invention is not limited to the above embodiments.

例えば、上記実施の形態では、音声制御システムは、複数の装置によって実現されたが、単一の装置によって実現されてもよい。例えば、音声制御システムは、上記実施の形態の機器制御サーバに相当する単一の装置として実現されてもよい。音声制御システムが複数の装置によって実現される場合、各システムが備える構成要素（機能）は、複数の装置にどのように振り分けられてもよい。例えば、上記実施の形態では、音声認識処理は、音声認識サーバによって行われたが、音声ＵＩ装置または制御装置などの他の装置によって行われてもよい。 For example, in the above embodiment, the voice control system is realized by a plurality of devices, but may be realized by a single device. For example, the voice control system may be realized as a single device corresponding to the device control server of the above embodiment. When the voice control system is realized by a plurality of devices, the components (functions) included in each system may be distributed to the plurality of devices in any way. For example, in the above embodiment, the voice recognition process is performed by the voice recognition server, but may be performed by another device such as a voice UI device or a control device.

また、例えば、上記実施の形態における装置間の通信方法については特に限定されるものではない。また、装置間の通信においては、図示されない中継装置が介在してもよい。また、上記実施の形態で説明された情報の伝達経路は、シーケンス図に示される伝達経路に限定されない。 Further, for example, the communication method between the devices in the above embodiment is not particularly limited. Further, in the communication between the devices, a relay device (not shown) may intervene. Further, the information transmission path described in the above embodiment is not limited to the transmission path shown in the sequence diagram.

また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。 Further, in the above embodiment, another processing unit may execute the processing executed by the specific processing unit. Further, the order of the plurality of processes may be changed, or the plurality of processes may be executed in parallel.

また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。 Further, in the above embodiment, each component may be realized by executing a software program suitable for each component. Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.

また、各構成要素は、ハードウェアによって実現されてもよい。例えば、各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。 In addition, each component may be realized by hardware. For example, each component may be a circuit (or integrated circuit). These circuits may form one circuit as a whole, or may be separate circuits from each other. Further, each of these circuits may be a general-purpose circuit or a dedicated circuit.

また、本発明の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。 In addition, general or specific embodiments of the present invention may be realized in a recording medium such as a system, an apparatus, a method, an integrated circuit, a computer program, or a computer-readable CD-ROM. Further, it may be realized by any combination of a system, an apparatus, a method, an integrated circuit, a computer program and a recording medium.

例えば、本発明は、上記実施の形態に係る制御装置またはこれに相当する音声制御システムとして実現されてもよい。また、本発明は、音声制御システムなどのコンピュータが実行する音声制御方法として実現されてもよいし、このような音声制御方法をコンピュータに実行させるためのプログラムとして実現されてもよい。本発明は、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。 For example, the present invention may be realized as a control device according to the above embodiment or a voice control system corresponding thereto. Further, the present invention may be realized as a voice control method executed by a computer such as a voice control system, or may be realized as a program for causing a computer to execute such a voice control method. The present invention may be realized as a computer-readable non-temporary recording medium in which such a program is recorded.

その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。 In addition, it is realized by a form obtained by applying various modifications to each embodiment that a person skilled in the art can think of, or by arbitrarily combining the components and functions in each embodiment within the range not deviating from the gist of the present invention. Also included in the present invention.

１０音声ＵＩ装置
２０音声認識サーバ（コンピュータ）
３１通信部
３４第一取得部
３５第二取得部
３６実行部
４０制御装置
５０機器
１００音声制御システム 10 Voice UI device 20 Voice recognition server (computer)
31 Communication unit 34 1st acquisition unit 35 2nd acquisition unit 36 Execution unit 40 Control device 50 Equipment 100 Voice control system

Claims

A first acquisition unit that acquires information for executing control of a device instructed by a user's spoken voice input to a voice UI (User Interface) device, and
The second acquisition unit that acquires the setting information indicating the setting of the necessity of confirmation for the execution of the control indicated by the acquired information, and the second acquisition unit.
A voice control system including an execution unit that causes the voice UI device to output a confirmation voice for confirmation before executing the control based on the acquired setting information.

The voice control system according to claim 1, wherein in the setting information, the necessity of the confirmation is determined once for a plurality of devices including the device.

The voice control system according to claim 1, wherein in the setting information, the necessity of the confirmation is individually determined for each of the plurality of devices including the device.

The voice control system according to any one of claims 1 to 3, wherein the content of the setting information is changed based on the spoken voice input to the voice UI device.

In addition, it is equipped with a communication unit that communicates with information terminals.
The voice control system according to any one of claims 1 to 4, wherein the content of the setting information is changed based on manual input to the information terminal.

The execution unit executes control of the device via the control device, and the execution unit executes control of the device.
The voice control system according to any one of claims 1 to 5, wherein the content of the setting information is changed based on a manual input to the control device.

The control is a collective control of a plurality of devices including the device.
The voice control system according to any one of claims 1 to 6, wherein the setting information indicates a setting of necessity of confirmation for execution of the batch control.

The control is a collective control of the plurality of devices.
The voice control system according to claim 3, wherein the execution unit causes the voice UI device to output the confirmation voice before executing the batch control based on the settings of the plurality of devices indicated by the setting information. ..

The execution unit
When the plurality of devices include a device that is set to require the confirmation, the voice UI device is made to output the confirmation voice before executing the batch control.
The eighth aspect of claim 8 is that when the plurality of devices do not include a device that is set to require confirmation, the voice UI device does not output the confirmation voice before executing the batch control. Voice control system.

The voice control system according to any one of claims 1 to 9, wherein the content of the setting information can be changed when the device is registered in the voice control system.

The equipment is installed in the facility
The voice control system according to any one of claims 1 to 10, wherein the content of the setting information can be changed when the voice control system is introduced into the facility.

The equipment is installed in the facility
The voice control system further
With the voice UI device
A computer located outside the facility, which transmits the information by performing voice recognition processing on the spoken voice, is provided.
The voice control system according to any one of claims 1 to 11, wherein the first acquisition unit acquires the information transmitted by the computer.

The first acquisition step to acquire the information for executing the control of the device instructed by the voice of the user input to the voice UI device, and
The second acquisition step of acquiring the setting information indicating the setting of the necessity of confirmation for the execution of the control indicated by the acquired information, and the second acquisition step.
A voice control method including an execution step of causing the voice UI device to output a confirmation voice for confirmation before executing the control based on the acquired setting information.

A program for causing a computer to execute the voice control method according to claim 13.