JP2020141235A - Apparatus control system, apparatus control method and program - Google Patents
Apparatus control system, apparatus control method and program Download PDFInfo
- Publication number
- JP2020141235A JP2020141235A JP2019034919A JP2019034919A JP2020141235A JP 2020141235 A JP2020141235 A JP 2020141235A JP 2019034919 A JP2019034919 A JP 2019034919A JP 2019034919 A JP2019034919 A JP 2019034919A JP 2020141235 A JP2020141235 A JP 2020141235A
- Authority
- JP
- Japan
- Prior art keywords
- information
- control
- command
- additional information
- voice input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000008569 process Effects 0.000 claims description 38
- 230000006854 communication Effects 0.000 description 28
- 238000004891 communication Methods 0.000 description 28
- 230000006870 function Effects 0.000 description 12
- 230000015654 memory Effects 0.000 description 11
- 230000004044 response Effects 0.000 description 10
- 238000004378 air conditioning Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000001816 cooling Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000035876 healing Effects 0.000 description 4
- 230000007175 bidirectional communication Effects 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 238000010438 heat treatment Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000037007 arousal Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002618 waking effect Effects 0.000 description 2
- 206010002953 Aphonia Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 208000005809 status epilepticus Diseases 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
Abstract
Description
本開示は、一般に機器制御システム、機器制御方法及びプログラムに関し、より詳細には、少なくとも１つの機器からなる制御対象を制御するための機器制御システム、機器制御方法及びプログラムに関する。 The present disclosure relates generally to device control systems, device control methods and programs, and more specifically to device control systems, device control methods and programs for controlling control objects consisting of at least one device.
特許文献１には、ユーザにより発せられた音声指令に基づいて機器（浴室の電気機器）を制御する機器制御システムが記載されている。特許文献１に記載の機器制御システムは、ユーザにより発せられた音声が入力され、当該入力された音声を認識する音声認識部を備えている。
特許文献１において、例えば、ユーザが「ヒーリングライトをつけて」と音声で指令を出すと、機器制御システムは、入力された音声データがいずれの指令に対応するかが判断される。この結果、入力された音声データが「ヒーリングライトをつけて」という指令であると認識できた場合には、機器制御システムは、ヒーリングライトに作動信号を送信し、ヒーリングライトを作動させる。
In
特許文献１に記載の機器制御システムは、ユーザが発した音声の認識結果に従って機器を制御するので、ユーザが同じように発話した場合には機器は一義的に制御される。
Since the device control system described in
本開示は上記事由に鑑みてなされており、ユーザが同じように発話した場合でも機器を柔軟に制御可能な機器制御システム、機器制御方法及びプログラムを提供することを目的とする。 The present disclosure has been made in view of the above reasons, and an object of the present invention is to provide a device control system, a device control method, and a program capable of flexibly controlling a device even when a user speaks in the same manner.
本開示の一態様に係る機器制御システムは、第１取得部と、第２取得部と、制御部と、を備える。前記第１取得部は、コマンド情報を取得する。前記コマンド情報は、音声入力装置に入力された音声の認識結果に関する情報である。前記第２取得部は、付加情報を取得する。前記付加情報は、前記コマンド情報とは別の情報からなる。前記制御部は、前記コマンド情報と前記付加情報との両方に基づく制御命令により、少なくとも１つの機器からなる制御対象を制御する。 The device control system according to one aspect of the present disclosure includes a first acquisition unit, a second acquisition unit, and a control unit. The first acquisition unit acquires command information. The command information is information regarding the recognition result of the voice input to the voice input device. The second acquisition unit acquires additional information. The additional information includes information different from the command information. The control unit controls a control target including at least one device by a control command based on both the command information and the additional information.
本開示の一態様に係る機器制御方法は、第１取得処理と、第２取得処理と、制御処理と、を有する。前記第１取得処理は、コマンド情報を取得する処理である。前記コマンド情報は、音声入力装置に入力された音声の認識結果に関する情報である。前記第２取得処理は、付加情報を取得する処理である。前記付加情報は、前記コマンド情報とは別の情報からなる。前記制御処理は、前記コマンド情報と前記付加情報との両方に基づく制御命令により、少なくとも１つの機器からなる制御対象を制御する処理である。 The device control method according to one aspect of the present disclosure includes a first acquisition process, a second acquisition process, and a control process. The first acquisition process is a process for acquiring command information. The command information is information regarding the recognition result of the voice input to the voice input device. The second acquisition process is a process for acquiring additional information. The additional information includes information different from the command information. The control process is a process of controlling a control target composed of at least one device by a control command based on both the command information and the additional information.
本開示の一態様に係るプログラムは、前記機器制御方法を、１以上のプロセッサに実行させるためのプログラムである。 The program according to one aspect of the present disclosure is a program for causing one or more processors to execute the device control method.
本開示によれば、ユーザが同じように発話した場合でも機器を柔軟に制御可能である、という利点がある。 According to the present disclosure, there is an advantage that the device can be flexibly controlled even when the user speaks in the same manner.
（実施形態１）
（１）概要
本実施形態に係る機器制御システム１の概要について、図１及び図２を参照して説明する。
(Embodiment 1)
(1) Outline An outline of the
機器制御システム１は、少なくとも１つの機器５１〜５５からなる制御対象Ｔ１（図２参照）を制御するためのシステムである。複数の機器５１〜５５を特に区別しない場合、複数の機器５１〜５５の各々を単に「機器５」ともいう。機器制御システム１は、制御対象Ｔ１としての機器５に対して、機器５の外部から制御命令を送信することで、制御命令に従って機器５を制御する。
The
ここで、本実施形態に係る機器制御システム１は、音声入力装置２に入力された音声に基づいて、制御対象Ｔ１の制御を行う。すなわち、機器制御システム１によれば、ユーザＵ１は、音声にて制御対象Ｔ１を制御する、いわゆる音声操作が可能になる。したがって、ユーザＵ１は、例えば、両手が塞がっている状態でも、発話する（つまり、音声を発する）ことで制御対象Ｔ１の操作が可能となる。
Here, the
よって、機器制御システム１を用いることで、例えば、音声入力装置２との通信機能を持たず、かつ音声操作に対応していない機器５であっても、ユーザＵ１の音声入力に応じて、機器制御システム１を介した間接的な音声操作が可能となる。要するに、機器制御システム１によれば、機器制御システム１が音声入力装置２と連携することにより、機器５が音声入力装置２に直接的には連動していなくても、機器５を音声入力装置２に間接的に連動させることができる。
Therefore, by using the
ところで、本実施形態に係る機器制御システム１は、第１取得部１１と、第２取得部１２と、制御部１３と、を備えている。第１取得部１１は、コマンド情報Ｉ１を取得する。コマンド情報Ｉ１は、音声入力装置２に入力された音声の認識結果に関する情報である。第２取得部１２は、付加情報Ｉ２を取得する。付加情報Ｉ２は、コマンド情報Ｉ１とは別の情報からなる。制御部１３は、コマンド情報Ｉ１及び付加情報Ｉ２との両方に基づく制御命令Ｉ３により、少なくとも１つの機器５からなる制御対象Ｔ１を制御する。
By the way, the
上述した構成によれば、機器制御システム１は、制御対象Ｔ１の制御に、音声入力装置２に入力された音声に基づくコマンド情報Ｉ１だけでなく、コマンド情報Ｉ１とは別の付加情報Ｉ２も用いている。そのため、例えば、音声入力装置２に入力される音声が同じ場合であっても、少なくとも１つの機器５からなる制御対象Ｔ１に対しては、機器制御システム１により、一義的ではなく、付加情報Ｉ２次第で異なる制御がなされる。したがって、機器制御システム１によれば、ユーザＵ１が同じように発話した場合でも機器５を柔軟に制御可能である、という利点がある。
According to the above-described configuration, the
（２）構成
以下、本実施形態に係る機器制御システム１の構成について、図１及び図２を参照して詳しく説明する。
(2) Configuration Hereinafter, the configuration of the
（２．１）前提
本実施形態では一例として、機器制御システム１は、施設Ｆ１に導入され、この施設Ｆ１に設置されている複数の機器５の少なくとも１つを制御対象Ｔ１とすることと仮定する。本開示でいう「施設」は、戸建住宅、集合住宅、又は集合住宅の各住戸等の住宅施設、及びオフィス、工場、ビル、店舗、学校、福祉施設又は病院等の非住宅施設を含む。非住宅施設には、劇場、映画館、公会堂、遊技場、複合施設、飲食店、百貨店、ホテル、旅館、幼稚園、図書館、博物館、美術館、地下街、駅及び空港等も含む。さらには、本開示でいう「施設」には、建物（建造物）だけでなく、球場、庭、駐車場、グランド及び公園等の屋外施設を含む。
(2.1) Premise In the present embodiment, as an example, it is assumed that the
本実施形態では特に、機器制御システム１が導入される施設Ｆ１が戸建住宅である場合を例として説明する。よって、本実施形態では、機器制御システム１は、施設Ｆ１（ここでは戸建住宅）に設置されている複数の機器５の少なくとも１つを制御対象Ｔ１として、制御対象Ｔ１の制御を行う。より具体的には、本実施形態では、施設Ｆ１には父、母、姉及び弟の４人家族が住む戸建住宅である場合を想定する。そのため、本実施形態において、施設Ｆ１の住人である父、母、姉及び弟は、機器制御システム１のユーザＵ１となり得る。
In the present embodiment, a case where the facility F1 into which the
本開示でいう「機器」は、機器制御システム１からの制御命令を受けて制御される機器であって、一例として、電力を用いる電気機器、据置型又は可搬型の設備、装置及びシステムを含む。本実施形態では、施設Ｆ１には、制御対象Ｔ１となり得る複数の機器５１〜５５が設置されている。図１の例では、機器５１，５４は空調機器であって、機器５２，５５は照明器具であって、機器５３は電動シャッタである。
The "device" referred to in the present disclosure is a device controlled by receiving a control command from the
本開示でいう「音声」は、人が発声器官を通じて発する言語音に加えて、例えば、口笛、フィンガースナップ（finger snapping）音、及び拍手（clapping）音等の、人が意図的に発する音全般を含む。 The "voice" referred to in the present disclosure refers to all sounds intentionally produced by a person, such as whistle, finger snapping sound, and clapping sound, in addition to the speech sound produced by the person through the vocal organs. including.
（２．２）全体構成
本実施形態に係る機器制御システム１は、図１に示すように、コントローラ１０及び制御用サーバ１００を備えている。
(2.2) Overall Configuration As shown in FIG. 1, the
コントローラ１０と制御用サーバ１００とは、互いに通信可能に構成されている。本開示でいう「通信可能」とは、有線通信又は無線通信の適宜の通信方式により、直接的、又はネットワーク若しくは中継器等を介して間接的に、信号を授受できることを意味する。すなわち、コントローラ１０と制御用サーバ１００とは、互いに信号を授受することができる。コントローラ１０及び制御用サーバ１００はいずれもインターネット等のネットワークに接続されており、ネットワークを介して互いに双方向に信号を授受できる。
The
さらに、機器制御システム１（コントローラ１０及び制御用サーバ１００）は、図１に示すように、音声入力装置２、音声認識サーバ３及び機器５（制御対象Ｔ１）の各々と、通信可能に構成されている。つまり、機器制御システム１は、音声入力装置２、音声認識サーバ３及び機器５の各々との間で、互いに信号を授受することができる。
Further, the device control system 1 (
本実施形態では、機器制御システム１は、音声入力装置２、音声認識サーバ３及び機器５の各々を構成要素に含まない。ただし、音声入力装置２、音声認識サーバ３及び機器５の少なくとも１つは、機器制御システム１の構成要素に含まれていてもよい。一例として、機器制御システム１は、音声認識サーバ３を構成要素に含んでいてもよい。
In the present embodiment, the
本実施形態では一例として、コントローラ１０、制御用サーバ１００、音声入力装置２及び音声認識サーバ３の各々は、１以上のプロセッサ及び１以上のメモリを有するコンピュータシステム（サーバ、クラウドコンピューティングを含む）を主構成とする。プロセッサは、メモリに記録されているプログラムを実行することにより、コントローラ１０、制御用サーバ１００、音声入力装置２及び音声認識サーバ３の各々の機能を実現する。プログラムは、予めメモリに記録されていてもよいし、メモリカードのような非一時的記録媒体に記録されて提供されたり、電気通信回線を通して提供されたりしてもよい。言い換えれば、上記プログラムは、１以上のプロセッサを、コントローラ１０、制御用サーバ１００、音声入力装置２及び音声認識サーバ３の各々として機能させるためのプログラムである。
In the present embodiment, as an example, each of the
機器制御システム１の構成要素は、コントローラ１０及び制御用サーバ１００に分散して配置されている。ここで、コントローラ１０は施設Ｆ１に設置され、制御用サーバ１００は施設Ｆ１の外部に設置されている。制御用サーバ１００は、例えば、機器５を音声操作可能とする機器制御方法をサービスとしてユーザＵ１に提供するサービス提供会社によって運用される。機器制御システム１の構成について詳しくは「（２．３）機器制御システムの構成」の欄で説明する。
The components of the
音声入力装置２は、例えば、ユーザＵ１の音声に反応して、音楽の再生及び特定の家電機器の制御等を行う、家庭用の音声アシスタントデバイスである。この種の音声入力装置２は、機械学習及び対話型の人工知能（ＡＩ：Artificial Intelligence）等の技術を用いて、音声認識及びその他の動作を行う。本開示でいう「音声認識」は、ユーザＵ１の音声を文字列に変換する処理だけでなく、意味解析及び文脈解析等の自然言語処理を含む。
The
音声入力装置２は、施設Ｆ１に設置されている。音声入力装置２は、音声認識サーバ３と通信可能に構成されている。具体的には、音声入力装置２は、例えば、電波を媒体とする無線通信によりルータに接続される。これにより、音声入力装置２は、ルータ及びネットワークを介して、音声認識サーバ３との双方向の通信が可能となる。音声入力装置２の通信方式は、一例として、Ｗｉ−Ｆｉ（登録商標）又はＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信である。
The
音声入力装置２は、メモリに記憶された登録ワードを用いて音声入力装置２に入力された音声の認識（音声認識）を行う。音声入力装置２は、入力された音声の認識結果を、音声認識サーバ３に出力する。登録ワードには、音響モデル及び認識辞書等が含まれている。すなわち、音声入力装置２は、登録ワードを参照して、ユーザＵ１から入力された音声を分析して音響特徴量を抽出し、認識辞書を参照して音声認識を実行する。音声入力装置２には、例えば、ユーザＵ１ごとに登録ワードが記憶されている。さらに、音声入力装置２は、音声を発したユーザＵ１を識別するための話者識別を行うことにより、予め登録されたユーザＵ１以外の音声、例えば、来客の音声、テレビ番組又はラジオ番組等の音声による音声入力装置２の誤動作を抑制することができる。
The
音声入力装置２は、例えば、「リビング」等、施設Ｆ１（ここでは戸建住宅）内においてユーザＵ１の音声が比較的届きやすい場所に配置されている。音声入力装置２は、特定の事象をトリガにして、ユーザＵ１の音声操作の受け付けを開始する。本実施形態では一例として、特定の事象は、ユーザＵ１から「音声操作開始」等の特定のキーワード（ウェイクワード）を表す音声が入力されることである。そのため、ユーザＵ１は、例えば、両手が塞がっている状態でも、音声入力装置２に対する音声操作を開始することができる。ただし、ユーザＵ１の音声操作の受け付けを開始するための特定の事象は、特定の音声（言葉）が入力されることに限らず、例えば、音声入力装置２の正面にユーザＵ１が移動すること、又は音声入力装置２のボタンが押されること等であってもよい。
The
また、本実施形態では、音声入力装置２は、ユーザＵ１の音声を電気信号に変換するマイクロフォンに加えて、電気信号を音に変換するスピーカを有している。そのため、音声入力装置２は、ユーザＵ１の音声による操作（音声入力）を受け付けるだけでなく、ユーザＵ１に対して音（音声、ビープ音及びメロディ等を含む）を出力することができる。したがって、ユーザＵ１は、ハンズフリーでインタラクティブに音声入力装置２の操作を行うことができる。
Further, in the present embodiment, the
音声認識サーバ３は、上述したように、音声入力装置２と通信可能に構成されている。つまり、音声認識サーバ３は、インターネット等のネットワークに接続されており、音声入力装置２との間でネットワークを介して互いに双方向に信号を授受できる。音声認識サーバ３は、音声入力装置２から、少なくとも音声の認識結果を受信する。音声認識サーバ３が音声入力装置２から受信する認識結果は、少なくとも音声入力装置２に音声として入力された言葉を含み、かつ音声認識サーバ３の１以上のプロセッサにて処理可能なデータである。例えば、ユーザＵ１が音声入力装置２に向けて「おはよう」という言葉を発した（発話した）場合、音声認識サーバ３が音声入力装置２から受信する認識結果には、少なくとも「おはよう」という言葉が含まれる。
As described above, the
さらに、音声認識サーバ３は、機器制御システム１の制御用サーバ１００とも通信可能に構成されている。音声認識サーバ３及び制御用サーバ１００はいずれもインターネット等のネットワークに接続されており、ネットワークを介して互いに双方向に信号を授受できる。
Further, the
音声認識サーバ３は、音声入力装置２から認識結果を受信すると、この認識結果が、制御ワードであるか否かを判断する。ここでは、音声認識サーバ３は、例えば、「おはよう」、「おやすみ」、「いってきます」、「ただいま」、「明るくして」、「暗くして」、「温度を上げて」及び「温度を下げて」等の特定のキーワードを、制御ワードとして予め記憶している。制御ワードは、後述する設定部１６により、ユーザＵ１が任意に設定し、登録することが可能である。
When the
特に、「おはよう」、「おやすみ」、「いってきます」、「ただいま」といった制御ワードは、機器５の制御を直接的に示しておらず、単に、ユーザＵ１の生活の中での起床、就寝、外出、帰宅といったシーンを示す言葉（「シーンワード」ともいう）である。このようなシーンワードを制御ワードとすることで、ユーザＵ１が生活の中で、各シーンにおいて自然と発する言葉を制御ワードとして、機器５の制御を実現することが可能である。本実施形態では、このようなシーンワードが制御ワードとして登録されている場合を想定する。
In particular, control words such as "good morning," "good night," "come," and "I'm home" do not directly indicate control of
音声認識サーバ３は、受信した認識結果が制御ワードである場合、つまり認識結果が制御ワードに該当する場合に、制御用サーバ１００に対してコマンド情報Ｉ１を出力（送信）する。本開示でいう「コマンド情報」は、音声入力装置２に入力された音声の認識結果に関する情報である。つまり、コマンド情報Ｉ１は、音声認識サーバ３が音声入力装置２から受信した認識結果そのものを含む情報でもよいし、認識結果を基に生成される情報であってもよい。一例として、音声認識サーバ３は、「おはよう」という言葉が含まれる認識結果を音声入力装置２から受信した場合に、「おはよう」という言葉を含むコマンド情報Ｉ１を生成し、制御用サーバ１００にコマンド情報Ｉ１を出力する。
The
音声認識サーバ３は、受信した認識結果が制御ワードでない場合、つまり認識結果が制御ワードに該当しない場合、制御用サーバ１００へのコマンド情報Ｉ１の出力を行わない。
The
（２．３）機器制御システムの構成
次に、機器制御システム１の構成についてより詳しく説明する。
(2.3) Configuration of Device Control System Next, the configuration of the
機器制御システム１は、上述した通り、それぞれ１以上のプロセッサ及び１以上のメモリを有するコンピュータシステム（サーバ、クラウドコンピューティングを含む）を主構成とする、コントローラ１０と制御用サーバ１００とを備えている。
As described above, the
また、本実施形態に係る機器制御システム１は、上述したように、第１取得部１１と、第２取得部１２と、制御部１３と、を備えている。さらに、本実施形態では、機器制御システム１は、図２に示すように、第１取得部１１、第２取得部１２及び制御部１３に加えて、入力部１４、表示部１５、設定部１６、記憶部１７、通信部１８及び情報生成部１９を更に備えている。
Further, as described above, the
ここでは一例として、第１取得部１１、第２取得部１２、制御部１３、入力部１４、表示部１５、設定部１６、記憶部１７及び通信部１８は、いずれもコントローラ１０に設けられており、情報生成部１９は、制御用サーバ１００に設けられている。すなわち、本実施形態においては、第１取得部１１、第２取得部１２、制御部１３、入力部１４、表示部１５、設定部１６、記憶部１７、通信部１８及び情報生成部１９の構成要素が、コントローラ１０と制御用サーバ１００とに分散して配置されている。
Here, as an example, the
第１取得部１１は、上述したように、コマンド情報Ｉ１を取得する。コマンド情報Ｉ１は、音声入力装置２に入力された音声の認識結果に関する情報であって、例えば、音声認識サーバ３が音声入力装置２から受信した認識結果そのものを含む情報である。本実施形態では一例として、第１取得部１１は、「おはよう」という言葉が含まれるコマンド情報Ｉ１を、音声認識サーバ３から取得する。第１取得部１１がコマンド情報Ｉ１を取得するタイミングは、音声認識サーバ３がコマンド情報Ｉ１を出力するタイミングによって決まる。
As described above, the
第２取得部１２は、上述したように、付加情報Ｉ２を取得する。付加情報Ｉ２は、コマンド情報Ｉ１とは別の情報からなる。本実施形態では、付加情報Ｉ２は、コマンド情報Ｉ１から独立した外部情報を含む。本開示でいう「外部情報」とは、コマンド情報Ｉ１から独立した、つまりコマンド情報Ｉ１に依存しない情報である。例えば、第１取得部１１でのコマンド情報Ｉ１の取得回数又は取得頻度等のように、コマンド情報Ｉ１に依存する、つまりコマンド情報Ｉ１との相関がある情報を「内部情報」とすると、コマンド情報Ｉ１に依存しない情報「外部情報」である。本実施形態では、付加情報Ｉ２は、内部情報を含まず、外部情報と内部情報とのうちの外部情報のみを含む。
The
具体的には、付加情報Ｉ２は、人（ユーザＵ１）の操作に応じて変化する入力情報を含む。つまり、例えば、ユーザＵ１がスイッチ等を手で操作することによって変化する入力情報が、付加情報Ｉ２に含まれている。また、付加情報Ｉ２は、期間に関する期間情報を含む。本開示でいう「期間」は、時間軸上においてある幅で規定される区間を意味し、一例として、時間帯、日（曜日、平日／祝日を含む）、月、年及び季節等を単位とする期間を含む。つまり、例えば、季節を単位とする場合、付加情報Ｉ２は、現在の季節が春、夏、秋、冬のいずれであるかを示す期間情報を含む。 Specifically, the additional information I2 includes input information that changes according to the operation of a person (user U1). That is, for example, the additional information I2 includes input information that changes when the user U1 manually operates a switch or the like. In addition, the additional information I2 includes period information regarding the period. The term "period" as used in the present disclosure means a section defined by a certain width on the time axis, and as an example, the unit is time zone, day (including day of the week, weekday / holiday), month, year, season, etc. Includes the period to do. That is, for example, when the unit is a season, the additional information I2 includes period information indicating whether the current season is spring, summer, autumn, or winter.
また、付加情報Ｉ２は、音声入力装置２に入力された音声を発した話者（ユーザＵ１）に関する話者情報を含む。つまり、例えば、音声入力装置２に入力された音声を発したユーザＵ１が、父、母、姉及び弟のいずれであるかを示す話者情報が、付加情報Ｉ２に含まれている。さらに、付加情報Ｉ２は、音声入力装置２に入力された音声から抽出され、音声を発した話者の状態に関連する状態情報を含む。本開示でいう「話者の状態」は、音声入力装置２に入力された音声から抽出し得る情報であって、例えば、声の大きさ（声量）及び調子等から推定される、話者の感情又は体調等を含む。話者の感情は、一例として、覚醒の度合いである覚醒感（Arousal Level）と、快適さの度合いである快適感（Valence Level）と、を２軸とする人の感情の二次元モデル（ラッセル円環モデル）を用いて推定可能である。
Further, the additional information I2 includes speaker information regarding the speaker (user U1) who has emitted the voice input to the
上述したような、入力情報、期間情報、話者情報及び状態情報は、いずれもコマンド情報Ｉ１に依存しない、つまりコマンド情報Ｉ１から独立した情報であるので、「外部情報」に含まれる。 The input information, the period information, the speaker information, and the state information as described above are all included in the "external information" because they do not depend on the command information I1, that is, they are information independent of the command information I1.
第２取得部１２が付加情報Ｉ２を取得するタイミングは、第１取得部１１がコマンド情報Ｉ１を取得するタイミングと同期している。つまり、第２取得部１２が付加情報Ｉ２を取得するタイミングは、音声認識サーバ３がコマンド情報Ｉ１を出力するタイミングによって決まる。
The timing at which the
制御部１３は、上述したように、コマンド情報Ｉ１及び付加情報Ｉ２との両方に基づく制御命令Ｉ３により、少なくとも１つの機器５からなる制御対象Ｔ１を制御する。すなわち、制御部１３は、第１取得部１１が取得したコマンド情報Ｉ１、及び第２取得部１２が取得した付加情報Ｉ２との両方に基づいて、制御命令Ｉ３を生成する。このようにして生成される制御命令Ｉ３により、制御部１３は、少なくとも１つの機器５からなる制御対象Ｔ１の制御を実行する。
As described above, the
すなわち、制御部１３は、コマンド情報Ｉ１だけでなく、付加情報Ｉ２についても制御対象Ｔ１の制御に反映する。例えば、コマンド情報Ｉ１が同じであっても、付加情報Ｉ２が異なる条件を満たす場合には、制御部１３は、異なる制御命令Ｉ３にて制御対象Ｔ１の制御を実行する。つまり、制御部１３は、コマンド情報Ｉ１が同じでも、付加情報Ｉ２が第１条件を満たす場合には第１の制御命令Ｉ３にて制御対象Ｔ１を制御し、付加情報Ｉ２が第２条件を満たす場合には、第２の制御命令Ｉ３にて制御対象Ｔ１を制御する。ここで、第２条件は第１条件とは異なる条件であって、第２の制御命令Ｉ３は第１の制御命令Ｉ３とは異なる制御命令Ｉ３である。
That is, the
本実施形態では、付加情報Ｉ２は、上述したように、入力情報、期間情報、話者情報及び状態情報を含み得る。そこで、制御部１３は、入力情報、期間情報、話者情報及び状態情報が付加情報Ｉ２に含まれる場合、入力情報、期間情報、話者情報及び状態情報に応じて制御命令Ｉ３を変化させる。すなわち、付加情報Ｉ２が入力情報を含む場合、制御部１３は、少なくとも入力情報に応じて制御命令Ｉ３を変化させる。また、付加情報Ｉ２が期間情報を含む場合、制御部１３は、少なくとも期間情報に応じて制御命令Ｉ３を変化させる。また、付加情報Ｉ２が話者情報を含む場合、制御部１３は、少なくとも話者情報に応じて制御命令Ｉ３を変化させる。また、付加情報Ｉ２が状態情報を含む場合、制御部１３は、少なくとも状態情報に応じて制御命令Ｉ３を変化させる。さらに、これら入力情報、期間情報、話者情報及び状態情報のうちの２つ以上の情報が付加情報Ｉ２に含まれる場合、制御部１３は、これら２つ以上の情報に応じて制御命令Ｉ３を変化させる。
In the present embodiment, the additional information I2 may include input information, period information, speaker information, and state information, as described above. Therefore, when the input information, the period information, the speaker information, and the state information are included in the additional information I2, the
ところで、本開示でいう「制御命令」は、複数の機器５のうちの制御対象Ｔ１となる少なくとも１つの機器５を特定する対象特定項目と、制御対象Ｔ１の動作を特定する内容特定項目と、を含んでいる。そして、制御部１３は、コマンド情報Ｉ１及び付加情報Ｉ２との両方に基づいて、対象特定項目及び内容特定項目を決定する。
By the way, the "control command" referred to in the present disclosure includes a target specific item that specifies at least one
つまり、制御命令Ｉ３は、対象特定項目にて、制御対象Ｔ１となる少なくとも１つの機器５を特定可能とする。対象特定項目は、例えば、複数の機器５の各々に個別に割り当てられ、各機器５に記憶されている識別情報（アドレス等）で表される。
That is, the control command I3 makes it possible to specify at least one
また、制御命令Ｉ３は、内容特定項目にて、制御対象Ｔ１をどのように制御するかを特定可能とする。例えば、空調機器からなる機器５１，５４が制御対象Ｔ１であれば、制御対象Ｔ１の動作モード（冷房／暖房等）、設定温度、風向、風量及び運転時間（タイマ）等の動作が、内容特定項目にて規定される。照明器具からなる機器５２，５５が制御対象Ｔ１であれば、制御対象Ｔ１の消灯、点灯、調光点灯、調光レベル（明るさ）、光色（色温度）及び運転時間（タイマ）等の動作が、内容特定項目にて規定される。電動シャッタからなる機器５３が制御対象Ｔ１であれば、制御対象Ｔ１の開／閉及び開度等の動作が、内容特定項目にて規定される。
Further, the control command I3 makes it possible to specify how to control the control target T1 in the content specifying item. For example, if the
これにより、制御部１３は、制御命令Ｉ３を出力することにより、複数の機器５のうちのいずれの機器５を制御対象Ｔ１とし、かつ制御対象Ｔ１をどのように制御するか、を指定することができる。
As a result, the
また、本実施形態では、制御部１３は、コマンド情報Ｉ１と付加情報Ｉ２との両方に基づいて、複数の機器５の中から２つ以上の機器５を制御対象Ｔ１として選択する。つまり、制御部１３は、１つの機器５を制御対象Ｔ１とするのみでなく、複数（２つ以上）の機器５を制御対象Ｔ１として選択することが可能である。これにより、制御部１３は、複数の機器５をまとめて（一括して）制御することが可能である。制御対象Ｔ１として選択される２つ以上の機器５は、同種の機器５であってもよいし、例えば、空調機器及び照明器具等のように、異種の機器５を含んでいてもよい。
Further, in the present embodiment, the
ところで、本実施形態では一例として、上述したような制御命令Ｉ３（対象特定項目及び内容特定項目）に相当する命令候補を複数含む制御リスト（制御テーブル）を、後述する記憶部１７が記憶している。そして、制御部１３は、記憶部１７に記憶されている制御リストに含まれる複数の命令候補の中から、いずれかの命令候補を選択し、選択した命令候補に相当する制御命令Ｉ３に従って制御対象Ｔ１の制御を実行する。
By the way, in the present embodiment, as an example, a
ここで、制御リストにおいては、１つのコマンド情報Ｉ１に対して、２以上の命令候補が対応付けられている。すなわち、コマンド情報Ｉ１のみでは、命令候補を１つに絞ることができないところ、本実施形態に係る制御部１３は、コマンド情報Ｉ１に加えて付加情報Ｉ２を用いることで、命令候補を一つに絞り込むことを可能とする。要するに、制御部１３は、１つのコマンド情報Ｉ１に対応付けられている複数の命令候補の中から、付加情報Ｉ２に基づいて一の命令候補を選択し、選択した一の命令候補を制御命令Ｉ３として制御対象Ｔ１を制御する。
Here, in the control list, two or more instruction candidates are associated with one command information I1. That is, where the command information I1 alone cannot narrow down the instruction candidates to one, the
さらに、付加情報Ｉ２が判別不能である場合等で、付加情報Ｉ２による命令候補の絞り込みができない場合に対処できるように、本実施形態では、制御リスト中にデフォルトの命令候補が用意されている。すなわち、付加情報Ｉ２による命令候補の絞り込みができない場合であっても、制御部１３が、デフォルトの命令候補を制御命令Ｉ３として採用することにより、制御対象Ｔ１の制御が可能となる。要するに、制御部１３は、付加情報Ｉ２が判定条件を満たした場合に、判定条件に従って一の命令候補を選択し、選択した一の命令候補を制御命令Ｉ３として制御対象Ｔ１を制御する。一方、付加情報Ｉ２が判定条件を満たさない場合に、制御部１３は、複数の命令候補の中のデフォルトの命令候補を選択し、デフォルトの命令候補を制御命令Ｉ３として制御対象Ｔ１を制御する。
Further, in the present embodiment, a default instruction candidate is prepared in the control list so that it can be dealt with when the additional information I2 cannot be discriminated and the instruction candidates cannot be narrowed down by the additional information I2. That is, even when the command candidates cannot be narrowed down by the additional information I2, the
入力部１４は、ユーザＵ１の操作に応じた入力信号の入力を受け付ける。すなわち、機器制御システム１は、ユーザＵ１の操作を受け付けることが可能である。ここで、入力部１４が受け付ける入力信号は、ユーザＵ１の音声操作以外の操作、基本的には、ユーザＵ１が自らの手で行う操作によって発生する。入力部１４は、一例として、コントローラ１０に設けられたタッチパネルディスプレイ、又は押ボタンの操作によって発生する入力信号の入力を受け付ける。
The
表示部１５は、表示によりユーザＵ１に情報を提示する機能を有している。本実施形態では、表示部１５及び入力部１４は、例えば、タッチパネルディスプレイにて実現される。そのため、コントローラ１０は、タッチパネルディスプレイに表示される各画面上でのボタン等のオブジェクトの操作（タップ、スワイプ、ドラッグ等）を検出することをもって、ボタン等のオブジェクトが操作されたことと判断する。つまり、表示部１５は、タッチパネルディスプレイに含まれる、例えば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等にて実現される。
The
設定部１６は、コマンド情報Ｉ１と付加情報Ｉ２と制御命令Ｉ３との対応関係を設定する。本実施形態では、設定部１６は、設定を無効にする通常モードと、手動設定モードと、の２つのモードを有している。通常モードにおいては、設定部１６は、コマンド情報Ｉ１と付加情報Ｉ２と制御命令Ｉ３との対応関係を固定し、コマンド情報Ｉ１と付加情報Ｉ２と制御命令Ｉ３との対応関係の設定（変更）を行わない。手動設定モードは、コマンド情報Ｉ１と付加情報Ｉ２と制御命令Ｉ３との対応関係を、ユーザＵ１が手動で設定できるモードである。手動設定モードにおいては、設定部１６は、例えば、入力部１４が受け付けた入力信号、つまりユーザＵ１の操作に応じた入力信号に従って、コマンド情報Ｉ１と付加情報Ｉ２と制御命令Ｉ３との対応関係を設定（変更）する。具体的には、ユーザＵ１は、制御リスト上において、コマンド情報Ｉ１及び付加情報Ｉ２の１つの組み合わせに対して、一の命令候補を対応付ける。
The setting
また、本実施形態では、設定部１６は、通常モード及び手動設定モードに加えて、学習モードを有している。学習モードは、制御対象Ｔ１に対して制御命令Ｉ３に相当する制御が行われた場合に、制御命令Ｉ３と、コマンド情報Ｉ１と付加情報Ｉ２との対応関係を生成するモードである。すなわち、学習モードにおいては、設定部１６は、コマンド情報Ｉ１と付加情報Ｉ２と制御命令Ｉ３との対応関係を、自動的に学習して調整（変更）する。具体的には、設定部１６は、コマンド情報Ｉ１及び付加情報Ｉ２の１つの組み合わせに対して、相関の高い機器５の操作をユーザＵ１が行った場合に、この操作に相当する命令候補を生成し、制御リストに追加する。または、設定部１６は、コマンド情報Ｉ１及び付加情報Ｉ２の１つの組み合わせに対して、相関の高い機器５の操作をユーザＵ１が行った場合に、この操作に応じて制御リスト内の命令候補を変更（削除を含む）する。学習モードにおける設定部１６での学習は、例えば、制御用サーバ１００に構築されたニューラルネットワークにて訓練（学習）がされることにより行われてもよい。
Further, in the present embodiment, the setting
記憶部１７は、例えば、命令候補を複数含む制御リスト等を記憶する。また、記憶部１７は、制御部１３等での演算に必要な情報等を更に記憶する。記憶部１７は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）のような書き換え可能な不揮発性メモリを含む。
The
通信部１８は、制御用サーバ１００及び制御対象Ｔ１の各々との通信機能を有する。通信部１８は、制御用サーバ１００との間で、例えば、ネットワークを介して双方向の通信が可能である。また、通信部１８は、制御対象Ｔ１との間で、例えば、電波を媒体とした無線通信により双方向の通信が可能である。無線通信の一例としては、９２０ＭＨｚ帯の特定小電力無線局（免許を要しない無線局）、Ｗｉ−Ｆｉ（登録商標）、又はＢｌｕｅｔｏｏｔｈ（登録商標）等の通信規格に準拠した通信方式がある。また、通信部１８（コントローラ１０）と、制御対象Ｔ１との間の通信における通信プロトコルは、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）、ＥＣＨＯＮＥＴ Ｌｉｔｅ（登録商標）等である。
The
制御用サーバ１００に設けられている情報生成部１９は、付加情報Ｉ２に含まれ得る種々の情報を生成する。例えば、付加情報Ｉ２が、季節を示す期間情報を含む場合、情報生成部１９は、現在時刻（月日も含む）に従って現在の季節が春、夏、秋、冬のいずれであるかを示す期間情報を生成する。この場合、制御用サーバ１００は、例えば、ＮＴＰ（Network Time Protocol）サーバ等との通信により、正確な現在時刻を計時する。また、例えば、付加情報Ｉ２が、話者情報を含む場合、情報生成部１９は、音声認識サーバ３と通信することで、音声入力装置２に入力された音声を発したユーザＵ１が、父、母、姉及び弟のいずれであるかを示す話者情報を生成する。例えば、付加情報Ｉ２が、状態情報を含む場合、情報生成部１９は、音声認識サーバ３と通信することで、音声入力装置２に入力された音声を発した話者（ユーザＵ１）の状態を示す状態情報を生成する。
The information generation unit 19 provided in the
（３）動作
次に、本実施形態に係る機器制御システム１の動作、つまり本実施形態に係る機器制御方法について説明する。
(3) Operation Next, the operation of the
（３．１）基本動作例
図３は、機器制御システム１の動作の一例を示すフローチャートである。
(3.1) Example of Basic Operation FIG. 3 is a flowchart showing an example of the operation of the
すなわち、まずは音声入力装置２に対する、音声入力の有無が判断される（Ｓ１）。本実施形態では、音声入力装置２は、ユーザＵ１から「音声操作開始」等の特定のキーワード（ウェイクワード）を表す音声が入力されることをトリガにして、ユーザＵ１の音声操作の受け付けを開始する。つまり、音声入力装置２は、ユーザＵ１からウェイクワードの入力を受け付けるまでは音声入力なし（Ｓ１：Ｎｏ）と判断し、処理Ｓ１を繰り返し実行する。
That is, first, the presence / absence of voice input to the
一方、音声入力装置２がユーザＵ１からウェイクワードの入力を受け付けると、音声入力装置２は、音声入力あり（Ｓ１：Ｙｅｓ）と判断し、ユーザＵ１からの音声を受け付ける。このとき、音声入力装置２に入力された音声の認識結果は、音声入力装置２から音声認識サーバ３に送信される。そして、音声認識サーバ３は、音声入力装置２から受信した認識結果が制御ワードであるか否かを判断する（Ｓ２）。音声入力装置２から受信した認識結果が制御ワードでなければ（Ｓ２：Ｎｏ）、処理Ｓ１を繰り返し実行する。
On the other hand, when the
音声入力装置２から受信した認識結果が制御ワードであれば（Ｓ２：Ｙｅｓ）、音声認識サーバ３は、制御用サーバ１００に対してコマンド情報Ｉ１を出力する。これにより、機器制御システム１は、第１取得部１１にてコマンド情報Ｉ１を取得する（Ｓ３）。このとき、第１取得部１１は、制御用サーバ１００を介して、音声認識サーバ３からのコマンド情報Ｉ１を取得する。さらに、機器制御システム１は、第２取得部１２にて付加情報Ｉ２を取得する（Ｓ４）。このとき、第２取得部１２は、例えば、制御用サーバ１００（情報生成部１９）で生成された付加情報Ｉ２を、制御用サーバ１００から取得する。
If the recognition result received from the
次に、機器制御システム１は、制御部１３にて、記憶部１７に記憶されている制御リストに含まれる複数の命令候補の中から、まずはコマンド情報Ｉ１による命令候補の絞り込みを行う（Ｓ５）。このとき、制御部１３は、複数の命令候補のうち、取得したコマンド情報Ｉ１に対応する２以上の命令候補を、一次候補として選択する。
Next, the
そして、機器制御システム１は、制御部１３にて、付加情報Ｉ２が判定条件を満たすか否かを判断する（Ｓ６）。判定条件は、例えば、付加情報Ｉ２が、季節を示す期間情報を含む場合に、期間情報が「夏」又は「冬」のいずれかを示すこと、である。この場合、付加情報Ｉ２が、「夏」又は「冬」を示す期間情報を含んでいれば、判定条件を満たすことになり、「春」又は「秋」を示す期間情報を含んでいるか期間情報が判別不能であれば、判定条件を満たさない。
Then, the
付加情報Ｉ２が判定条件を満たす場合（Ｓ６：Ｙｅｓ）、機器制御システム１は、制御部１３にて、一次候補として選択されている２以上の命令候補の中から、付加情報Ｉ２による命令候補の絞り込みを行う（Ｓ７）。このとき、制御部１３は、判定条件に従って一次候補の中から一の命令候補を選択する。このように、制御部１３は、コマンド情報Ｉ１に加えて付加情報Ｉ２を用いることで、命令候補を一つに絞り込むことができる。
When the additional information I2 satisfies the determination condition (S6: Yes), the
一方、付加情報Ｉ２が判定条件を満たさなければ（Ｓ６：Ｎｏ）、機器制御システム１は、制御部１３にて、一次候補として選択されている２以上の命令候補の中から、デフォルトの命令候補を選択する（Ｓ８）。このように、付加情報Ｉ２が判別不能である場合等で、付加情報Ｉ２による命令候補の絞り込みができない場合であっても、制御部１３は、命令候補を一つに絞り込むことができる。
On the other hand, if the additional information I2 does not satisfy the determination condition (S6: No), the
そして、制御部１３は、処理Ｓ７又は処理Ｓ８にて選択した一の命令候補を制御命令Ｉ３とし、制御命令Ｉ３により制御対象Ｔ１を制御する（Ｓ９）。このとき、制御命令Ｉ３に含まれる対象特定項目にて、複数の機器５の中から、制御対象Ｔ１となる少なくとも１つの機器５が特定される。さらに、制御命令Ｉ３に含まれる内容特定項目にて、制御対象Ｔ１をどのように制御するかが特定される。
Then, the
図３のフローチャートは、機器制御システム１の動作の一例に過ぎず、処理を適宜省略又は追加してもよいし、処理の順番が適宜変更されていてもよい。例えば、第１取得部１１にてコマンド情報Ｉ１を取得する処理（Ｓ３）と、第２取得部１２にて付加情報Ｉ２を取得する処理（Ｓ４）とは、順番が逆であってもよい。
The flowchart of FIG. 3 is merely an example of the operation of the
（３．２）具体動作例
次に、機器制御システム１の具体動作例について、図４を参照して説明する。図４は、ユーザＵ１が発話してから機器５が制御され、かつ制御結果がユーザＵ１にフィードバックされる一連の処理を、模式的に表すシーケンス図である。
(3.2) Specific Operation Example Next, a specific operation example of the
図４の例では、「夏」の季節において、起床したユーザＵ１が、音声入力装置２に向けて、制御ワードの１つである「おはよう」という言葉を発する場合を想定する。ここでは、「おはよう」という言葉を含むコマンド情報Ｉ１には、機器５１〜５５のうち、「リビング」にある機器５１〜５３の制御に関する２つの命令候補が対応付けられていることと仮定する。
In the example of FIG. 4, it is assumed that the user U1 who wakes up in the "summer" season utters the word "good morning", which is one of the control words, toward the
これら２つの命令候補のうち、「夏」という期間情報を含む付加情報Ｉ２に対応付けられた命令候補は、空調機器からなる機器５１、照明器具からなる機器５２、及び電動シャッタからなる機器５３を制御対象Ｔ１として特定する対象特定項目を含む。さらに、この命令候補は、機器５１については動作モードを「冷房」としてオンし、機器５２を点灯し、機器５３について「開」とするための内容特定項目を含む。一方、２つの命令候補のうち、「冬」という期間情報を含む付加情報Ｉ２に対応付けられた命令候補は、空調機器からなる機器５１及び照明器具からなる機器５２を制御対象Ｔ１として特定する対象特定項目を含む。さらに、この命令候補は、機器５１については動作モードを「暖房」としてオンし、機器５２を点灯するための内容特定項目を含む。
Of these two command candidates, the command candidates associated with the additional information I2 including the period information "summer" include a
図４の例では、音声入力装置２がユーザＵ１の音声操作の受け付けを開始後、ユーザＵ１が、音声入力装置２に対して、「おはよう」という言葉を発する（Ｓ１１）。音声入力装置２は、ユーザＵ１から入力された音声を受けて、音声コマンドの検出を行う。すなわち、音声入力装置２は、ユーザＵ１の発した音声について音声認識を行い、「おはよう」という言葉を含む認識結果を音声認識サーバ３に送信する（Ｓ１２）。
In the example of FIG. 4, after the
音声認識サーバ３は、認識結果が制御ワードであるので、「おはよう」という言葉を含むコマンド情報Ｉ１を制御用サーバ１００に送信する（Ｓ１３）。コマンド情報Ｉ１を受けた制御用サーバ１００は、コマンド情報Ｉ１を受信したタイミングで、付加情報Ｉ２を生成する（Ｓ１４）。このとき生成される付加情報Ｉ２は、少なくとも「夏」を示す期間情報を含んでいる。
Since the recognition result is the control word, the
そして、制御用サーバ１００は、コマンド情報Ｉ１及び付加情報Ｉ２を１組にして、この１組のデータ（コマンド情報Ｉ１及び付加情報Ｉ２）をコントローラ１０に送信する（Ｓ１５）。このとき、コントローラ１０には、「おはよう」という言葉を含むコマンド情報Ｉ１と、「夏」を示す期間情報を含む付加情報Ｉ２と、が送信されることになる。
Then, the
コマンド情報Ｉ１及び付加情報Ｉ２を取得したコントローラ１０は、コマンド情報Ｉ１及び付加情報Ｉ２に基づいて制御命令Ｉ３を生成し、制御対象Ｔ１としての機器５１〜５３に制御命令Ｉ３を送信する（Ｓ１６）。このとき、「おはよう」という言葉を含むコマンド情報Ｉ１に対応付けられている２つの命令候補のうち、「夏」という期間情報を含む付加情報Ｉ２に対応付けられた命令候補が、制御命令Ｉ３として選択される。これにより、制御対象Ｔ１としての機器５１〜５３は、コマンド情報Ｉ１（「おはよう」）及び付加情報Ｉ２（「夏」）に基づく制御命令Ｉ３に従って制御される。結果的に、空調機器からなる機器５１は動作モードが「冷房」でオンし、照明器具からなる機器５２は点灯し、電動シャッタからなる機器５３は「開」となる。
The
また、制御対象Ｔ１としての機器５１〜５３からは、コントローラ１０、制御用サーバ１００、音声認識サーバ３をこの順で通して、音声入力装置２に応答信号が送信される（Ｓ１７〜Ｓ２０）。応答信号は、制御命令Ｉ３による機器５の制御の結果を表す情報である。機器５は、基本的には、応答信号を送信した後で、制御命令Ｉ３に従って動作するが、この例に限らず、制御命令Ｉ３に従って動作した後で応答信号を送信してもよい。
Further, the
応答信号を受信した音声入力装置２は、ユーザＵ１に対して報知音を出力する（Ｓ２１）。このとき、音声入力装置２が出力する報知音は、一例として「ＯＫ」という音声、又はビープ音等である。また、応答信号を受信した音声入力装置２は、報知音に代えて又は加えて、表示（単なる発光を含む）等によって、機器５の制御の結果をユーザＵ１に報知してもよい。
The
一方、季節が「冬」であれば、図４の例と同様に、ユーザＵ１が音声入力装置２に向けて、制御ワードの１つである「おはよう」という言葉を発した場合でも、機器制御システム１による機器５の制御は、図４の例とは異なる。すなわち、季節が「冬」であれば、付加情報Ｉ２に含まれる期間情報が「冬」になるため、コントローラ１０で生成される制御命令Ｉ３が、図４の例とは異なる。具体的には、空調機器からなる機器５１は動作モードが「暖房」でオンし、照明器具からなる機器５２は点灯し、電動シャッタからなる機器５３は動作しない。要するに、コマンド情報Ｉ１（「おはよう」）が同じであっても、付加情報Ｉ２が異なることで、機器制御システム１は、機器５に対して異なる制御を行うことになる。
On the other hand, if the season is "winter", as in the example of FIG. 4, even if the user U1 speaks the word "good morning", which is one of the control words, to the
以上説明したように、機器制御システム１によれば、ユーザＵ１は、「おはよう」という言葉を発するだけで、少なくとも１つ（ここでは３つ）の機器５からなる制御対象Ｔ１の制御を実現することができる。しかも、機器制御システム１では、制御対象Ｔ１の制御に、音声入力装置２に入力された音声に基づくコマンド情報Ｉ１だけでなく、付加情報Ｉ２も用いているため、ユーザＵ１が同じ言葉を発した場合でも、付加情報Ｉ２次第で異なる制御を実現できる。つまり、「夏」の起床時と、「冬」の起床時とでは、ユーザＵ１が同じように「おはよう」という言葉を発した場合でも、上述のように機器５に対して異なる制御が実行される。
As described above, according to the
上述したコマンド情報Ｉ１等は一例に過ぎず、適宜変更が可能である。例えば、「おやすみ」といった制御ワードが設定されている場合、就寝時にユーザＵ１が「おやすみ」との言葉を発することで、就寝時用に設定されている機器５の制御を実現できる。また、例えば「いってきます」、「ただいま」といった制御ワードが設定されている場合、外出時又は帰宅時にユーザＵ１が「いってきます」又は「ただいま」との言葉を発することで、外出時又は帰宅時用に設定されている機器５の制御を実現できる。しかも、これらの場合であっても、機器制御システム１では、制御対象Ｔ１の制御に、コマンド情報Ｉ１だけでなく、付加情報Ｉ２も用いているため、ユーザＵ１が同じ言葉を発した場合でも、付加情報Ｉ２次第で異なる制御を実現できる。その結果、例えば、「夏」の就寝時と、「冬」の就寝時とでは、ユーザＵ１が同じように「おやすみ」という言葉を発しただけでも、機器５に対して異なる制御が実行される。
The above-mentioned command information I1 and the like are merely examples, and can be changed as appropriate. For example, when a control word such as "good night" is set, the user U1 can say "good night" at bedtime to control the
（３．３）その他の具体動作例
次に、機器制御システム１のその他の具体動作例について説明する。以下では、付加情報Ｉ２が季節以外の情報を含むことを前提として、起床したユーザＵ１が、音声入力装置２に向けて、制御ワードの１つである「おはよう」という言葉を発する場合を想定する。ここでは、「おはよう」という言葉を含むコマンド情報Ｉ１には、機器５１〜５５のうち、「リビング」にある機器５１〜５３の制御に関する２つの命令候補が対応付けられていることと仮定する。
(3.3) Other Specific Operation Examples Next, other specific operation examples of the
まず、１つ目の例として、付加情報Ｉ２が「時間帯」を単位とする期間情報として含む場合について説明する。この場合、制御部１３は、少なくとも期間情報に応じて制御命令Ｉ３を変化させるので、例えば、ユーザＵ１が「おはよう」という言葉を発する時間帯が、６時台（６時〜７時）、７時台（７時〜８時）のいずれの時間帯かによって、制御命令Ｉ３が変化する。
First, as a first example, a case where the additional information I2 is included as period information in units of "time zone" will be described. In this case, since the
２つ目の例として、付加情報Ｉ２が入力情報を含む場合について説明する。この場合、制御部１３は、少なくとも入力情報に応じて制御命令Ｉ３を変化させる。したがって、例えば、ユーザＵ１が「おはよう」という言葉を発するときに、コントローラ１０に設けられている押ボタンが操作されている（つまり入力部１４がユーザＵ１の操作に応じた入力信号を受ける）か否かによって、制御命令Ｉ３が変化する。この場合、例えば、コントローラ１０において、入力部１４が受ける入力信号に応じた入力情報を含む付加情報Ｉ２が生成され、第２取得部１２は、コントローラ１０内で生成された付加情報Ｉ２を取得してもよい。
As a second example, a case where the additional information I2 includes input information will be described. In this case, the
３つ目の例として、付加情報Ｉ２が話者情報を含む場合について説明する。この場合、制御部１３は、少なくとも話者情報に応じて制御命令Ｉ３を変化させる。したがって、例えば、「おはよう」という言葉を発したユーザＵ１が、父、母、姉又は弟のいずれかによって、制御命令Ｉ３が変化する。この場合、例えば、音声認識サーバ３において、話者情報を含む付加情報Ｉ２が生成され、第２取得部１２は、音声認識サーバ３から（制御用サーバ１００経由で）、付加情報Ｉ２を取得してもよい。
As a third example, a case where the additional information I2 includes speaker information will be described. In this case, the
４つ目の例として、付加情報Ｉ２が状態情報を含む場合について説明する。この場合、制御部１３は、少なくとも状態情報に応じて制御命令Ｉ３を変化させる。したがって、例えば、「おはよう」という言葉を発したユーザＵ１の体調の良否によって、制御命令Ｉ３が変化する。この場合、例えば、音声認識サーバ３において、状態情報を含む付加情報Ｉ２が生成され、第２取得部１２は、音声認識サーバ３から（制御用サーバ１００経由で）、付加情報Ｉ２を取得してもよい。
As a fourth example, a case where the additional information I2 includes state information will be described. In this case, the
以上説明したような動作は、適宜組み合わせて適用可能である。 The operations described above can be applied in combination as appropriate.
（３．４）設定動作
次に、設定部１６による設定動作（手動設定モード又は学習モード）について説明する。本実施形態では、設定動作において設定される情報は、少なくともコマンド情報Ｉ１と付加情報Ｉ２と制御命令Ｉ３との対応関係である。さらに、制御ワード等についても、設定動作において設定される。
(3.4) Setting operation Next, the setting operation (manual setting mode or learning mode) by the setting
機器制御システム１は、特定の事象をトリガにして、設定動作（手動設定モード又は学習モード）を開始する。本実施形態では一例として、特定の事象は、ユーザＵ１から「設定モード」等の特定のキーワードを表す音声が音声入力装置２に入力されることである。ただし、設定動作を開始するための特定の事象は、特定の音声（言葉）が入力されることに限らず、例えば、コントローラ１０に対する特定の操作等であってもよい。
The
設定部１６は、手動設定モードで設定動作を開始すると、例えば、入力部１４が受け付けた入力信号、つまりユーザＵ１の操作に応じた入力信号に従って、コマンド情報Ｉ１と付加情報Ｉ２と制御命令Ｉ３との対応関係を変更する。このとき、ユーザＵ１は、記憶部１７に記憶されている制御リスト上において、コマンド情報Ｉ１及び付加情報Ｉ２の１つの組み合わせに対して、一の命令候補を対応付ける。ここで、設定部１６は、命令候補（制御命令Ｉ３）に含まれている対象特定項目及び内容特定項目の各々を個別に変更可能である。また、設定部１６は、コマンド情報Ｉ１と付加情報Ｉ２と制御命令Ｉ３との対応関係を追加してもよいし、削除してもよい。設定部１６は、制御リストを変更後、記憶部１７に記憶されている制御リストの更新を行う。
When the
一方、設定部１６は、学習モードで設定動作を開始すると、例えば、コマンド情報Ｉ１と付加情報Ｉ２と制御命令Ｉ３との対応関係を、自動的に学習して調整（変更）する。具体的には、設定部１６は、コマンド情報Ｉ１及び付加情報Ｉ２の１つの組み合わせに対して、相関の高い機器５の操作をユーザＵ１が行った場合に、この操作に相当する命令候補を生成し、制御リストに追加する。一例として、あるコマンド情報Ｉ１（「おはよう」）及び付加情報Ｉ２（「夏」）を機器制御システム１が取得した時点の前及び／又は後の一定時間（例えば１分間）において、ユーザＵ１が電動シャッタからなる機器５３を「開」とする操作を行ったとする。この場合、設定部１６は、電動シャッタからなる機器５３を「開」とする操作を、コマンド情報Ｉ１（「おはよう」）及び付加情報Ｉ２（「夏」）の組み合わせに対して、相関の高い操作として、この操作に相当する命令候補を生成し、制御リストに追加する。
On the other hand, when the setting operation is started in the learning mode, the setting
または、設定部１６は、コマンド情報Ｉ１及び付加情報Ｉ２の１つの組み合わせに対して、相関の高い機器５の操作をユーザＵ１が行った場合に、この操作に応じて制御リスト内の命令候補を変更（削除を含む）する。一例として、あるコマンド情報Ｉ１（「おはよう」）及び付加情報Ｉ２（「夏」）の組み合わせに対して、照明器具からなる機器５２を点灯させる命令候補が対応付けられている場合を想定する。この場合に、コマンド情報Ｉ１（「おはよう」）及び付加情報Ｉ２（「夏」）を機器制御システム１が取得し、機器５２を点灯させる制御を行った直後（例えば１分以内）に、ユーザＵ１が機器５２を消灯させる操作を行ったとする。この場合、設定部１６は、照明器具からなる機器５２を点灯させる操作を、コマンド情報Ｉ１（「おはよう」）及び付加情報Ｉ２（「夏」）の組み合わせに対して、相関の高い操作として、この操作に応じて命令候補を変更する。上述のケースでは、設定部１６は、照明器具からなる機器５２を点灯させる命令候補を削除するか、照明器具からなる機器５２を消灯させる命令候補に変更する。
Alternatively, when the user U1 performs an operation of the
学習モードにおいても、設定部１６は、制御リストを変更後、記憶部１７に記憶されている制御リストの更新を行う。
Even in the learning mode, the setting
（４）変形例
実施形態１は、本開示の様々な実施形態の一つに過ぎない。実施形態１は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。本開示において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。また、実施形態１に係る機器制御システム１と同様の機能は、機器制御方法、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。一態様に係る機器制御方法は、第１取得処理（図３の「Ｓ３」に相当）と、第２取得処理（図３の「Ｓ４」に相当）と、制御処理（図３の「Ｓ５〜Ｓ９」に相当）と、を有する。第１取得処理は、コマンド情報Ｉ１を取得する処理である。コマンド情報Ｉ１は、音声入力装置２に入力された音声の認識結果に関する情報である。第２取得処理は、付加情報Ｉ２を取得する処理である。付加情報Ｉ２は、コマンド情報Ｉ１とは別の情報からなる。制御処理は、コマンド情報Ｉ１と付加情報Ｉ２との両方に基づく制御命令Ｉ３により、少なくとも１つの機器５からなる制御対象Ｔ１を制御する処理である。一態様に係る（コンピュータ）プログラムは、上記の機器制御方法を、１以上のプロセッサに実行させるためのプログラムである。
(4) Modified
以下、実施形態１の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。 Hereinafter, modifications of the first embodiment will be listed. The modifications described below can be applied in combination as appropriate.
本開示における機器制御システム１は、例えば、制御用サーバ１００及びコントローラ１０に、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における機器制御システム１としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１ないし複数の電子回路で構成される。ここでいうＩＣ又はＬＳＩ等の集積回路は、集積の度合いによって呼び方が異なっており、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）、又はＵＬＳＩ（Ultra Large Scale Integration）と呼ばれる集積回路を含む。さらに、ＬＳＩの製造後にプログラムされる、ＦＰＧＡ（Field-Programmable Gate Array）、又はＬＳＩ内部の接合関係の再構成若しくはＬＳＩ内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む１ないし複数の電子回路で構成される。
The
また、機器制御システム１の少なくとも一部の機能が、１つの筐体内に集約されていることは機器制御システム１に必須の構成ではなく、機器制御システム１の構成要素は、複数の筐体に分散して設けられていてもよい。例えば、機器制御システム１のうちの第２取得部１２は、第１取得部１１と同じコントローラ１０の筐体に集約されている必要はなく、第１取得部１１とは別の筐体に設けられていてもよい。さらに、機器制御システム１の少なくとも一部の機能、例えば、制御部１３の機能が、複数の筐体に分散して設けられてもよいし、クラウド（クラウドコンピューティング）等によって実現されてもよい。
Further, it is not an essential configuration for the
反対に、実施形態１において、複数の装置に分散されている少なくとも一部の機能が、１つの筐体内に集約されていてもよい。例えば、制御用サーバ１００とコントローラ１０とに分散されている機能が、１つの筐体内に集約されていてもよい。
On the contrary, in the first embodiment, at least a part of the functions distributed in a plurality of devices may be integrated in one housing. For example, the functions distributed to the
また、付加情報Ｉ２に含まれ得る種々の情報を生成する情報生成部１９は、制御用サーバ１００に設けられる構成に限らず、例えば、コントローラ１０に設けられていてもよいし、機器制御システム１以外の装置に設けられていてもよい。例えば、付加情報Ｉ２が入力情報を含む場合、情報生成部１９は、コントローラ１０に設けられていてもよい。この場合、情報生成部１９は、コントローラ１０において入力部１４が受ける入力信号に応じた入力情報を含む付加情報Ｉ２を生成し、第２取得部１２は、コントローラ１０内で生成された付加情報Ｉ２を取得する。また、例えば、付加情報Ｉ２が話者情報を含む場合、情報生成部１９は、音声認識サーバ３に設けられていてもよい。この場合、情報生成部１９は、音声認識サーバ３において話者情報を含む付加情報Ｉ２を生成し、第２取得部１２は、音声認識サーバ３から、（制御用サーバ１００経由で）話者情報を含む付加情報Ｉ２を取得する。また、例えば、付加情報Ｉ２が状態情報を含む場合、情報生成部１９は、音声認識サーバ３に設けられていてもよい。この場合、情報生成部１９は、音声認識サーバ３において状態情報を含む付加情報Ｉ２を生成し、第２取得部１２は、音声認識サーバ３から、（制御用サーバ１００経由で）状態情報を含む付加情報Ｉ２を取得する。
Further, the information generation unit 19 that generates various information that can be included in the additional information I2 is not limited to the configuration provided in the
また、制御対象Ｔ１となり得る機器５は、機器制御システム１からの制御命令を受けて制御される機器であればよく、空調機器、照明器具及び電動シャッタ等に限らない。例えば、機器５は、インターホン装置、テレビジョン受像機、洗濯機、冷蔵庫、複合機、電気錠、太陽光発電設備、蓄電設備、配線器具、電動車両用充電器及び携帯端末等であってもよい。さらに、制御対象Ｔ１としての機器５が分岐ブレーカ又は壁スイッチ等の配線器具である場合には、機器制御システム１は、制御対象Ｔ１としての機器５を制御することで、分岐回路等の回路単位で通電状態を制御することができる。
Further, the
また、実施形態１では、登録ワード（音響モデル及び認識辞書等を含む）は、音声入力装置２に記憶されているが、この構成は機器制御システム１に必須の構成ではない。例えば、登録ワード（音響モデル及び認識辞書等を含む）は、音声認識サーバ３に記憶されていてもよい。この場合、音声入力装置２は、スタンドアローンで動作するのではなく、音声認識サーバ３と連携して音声認識を実行する。
Further, in the first embodiment, the registered word (including the acoustic model and the recognition dictionary) is stored in the
また、実施形態１では、付加情報Ｉ２は、外部情報と内部情報とのうちの外部情報のみを含むが、これに限らず、付加情報Ｉ２は、外部情報と内部情報との両方を含んでもよい。さらにまた、付加情報Ｉ２は、外部情報を含まず、外部情報と内部情報とのうちの内部情報のみを含んでもよい。 Further, in the first embodiment, the additional information I2 includes only the external information of the external information and the internal information, but the additional information I2 may include both the external information and the internal information. .. Furthermore, the additional information I2 may not include the external information but may include only the internal information of the external information and the internal information.
また、付加情報Ｉ２は、入力情報、期間情報、話者情報及び状態情報に加えて又は代えて、例えば、気象情報及び要求情報等の外部情報を含んでいてもよい。ここでいう気象情報は、施設Ｆ１の周辺の気象に関する情報であって、例えば、天気、外気温及び花粉の飛散量等の情報である。要求情報は、例えば、電気事業者（電力会社等）が発行するピークカット及びピークシフト等を需要家に求めるための情報である。気象情報及び要求情報は、それぞれ気象サーバ及び電気事業者のサーバ等から、制御用サーバ１００又はコントローラ１０が取得する。
Further, the additional information I2 may include external information such as weather information and request information in addition to or in place of the input information, the period information, the speaker information and the state information. The weather information referred to here is information on the weather around the facility F1, such as the weather, the outside air temperature, and the amount of pollen scattered. The request information is, for example, information for requesting a customer for a peak cut, a peak shift, or the like issued by an electric power company (electric power company, etc.). The weather information and the request information are acquired by the
また、機器制御システム１で用いられる各通信方式は、実施形態１で例示した通信方式に限らず、適宜変更可能である。例えば、コントローラ１０（通信部１８）と、制御対象Ｔ１との間の通信方式は、無線通信に限らず、有線ＬＡＮ（Local Area Network）等の通信規格に準拠した有線通信であってもよい。
Further, each communication method used in the
また、設定部１６が、通常モードと、手動設定モードと、学習モードと、の３つのモードを有することは、機器制御システム１に必須の構成ではなく、例えば、学習モードのみを有していてもよい。
Further, the fact that the setting
また、付加情報Ｉ２は、施設Ｆ１の状態に関する施設情報を含んでいてもよい。ここでいう施設Ｆ１の状態は、例えば、施設Ｆ１の開口部（扉及び窓等）の開閉状態及び施解錠状態、並びに施設Ｆ１における人の在否状態を含む。人の在否状態は、例えば、施設Ｆ１に居る人の属性（年齢、性別等）も含む。この場合、制御部１３は、少なくとも施設情報に応じて制御命令Ｉ３を変化させる。したがって、例えば、ユーザＵ１が「おはよう」という言葉を発するときに、施設Ｆ１に大人が居るか居ない（つまり「姉」及び「弟」しか居ない）かによって、制御命令Ｉ３が変化する。
Further, the additional information I2 may include facility information regarding the state of the facility F1. The state of the facility F1 referred to here includes, for example, an open / closed state and a locked / unlocked state of an opening (door, window, etc.) of the facility F1, and a presence / absence state of a person in the facility F1. The presence / absence status of a person also includes, for example, the attributes (age, gender, etc.) of the person in the facility F1. In this case, the
（実施形態２）
本実施形態に係る機器制御システム１Ａは、図５に示すように、制御用サーバ１００Ａからコントローラ１０Ａに制御命令Ｉ３が送信される点で、実施形態１に係る機器制御システム１と相違する。以下、実施形態１と同様の構成については共通の符号を付して適宜説明を省略する。
(Embodiment 2)
As shown in FIG. 5, the
本実施形態では、第１取得部１１（図２参照）、第２取得部１２（図２参照）及び制御部１３（図２参照）は、コントローラ１０Ａではなく、制御用サーバ１００Ａに設けられている。コントローラ１０Ａは、制御用サーバ１００Ａから受信した制御命令Ｉ３を、制御対象Ｔ１としての機器５に送信（転送）することで、機器５の制御を実現する。
In the present embodiment, the first acquisition unit 11 (see FIG. 2), the second acquisition unit 12 (see FIG. 2), and the control unit 13 (see FIG. 2) are provided not in the
本実施形態に係る機器制御システム１Ａにおいては、例えば、図５に示すように、音声認識サーバ３は、「おはよう」という言葉を含む認識結果を受信すると、認識結果に基づいて、コマンド情報Ｉ１を生成する。音声認識サーバ３が生成するコマンド情報Ｉ１は、例えば、一例として、空調機器からなる機器５１をオンすることを示す「空調オン」という項目を含む。このコマンド情報Ｉ１は、音声認識サーバ３が、音声入力装置２から受信した認識結果に基づいて生成する情報である。つまり、「おはよう」という言葉を含む認識結果には、「空調オン」という項目を含むコマンド情報Ｉ１が対応付けられており、音声認識サーバ３は、この対応関係に基づいて、コマンド情報Ｉ１を生成する。
In the
音声認識サーバ３は、生成したコマンド情報Ｉ１を、制御用サーバ１００Ａに送信する。コマンド情報Ｉ１（「空調オン」）を受信した制御用サーバ１００Ａは、情報生成部１９にて、付加情報Ｉ２に含まれ得る種々の情報を生成する。例えば、付加情報Ｉ２が、季節を示す期間情報を含む場合、情報生成部１９は、現在時刻（月日も含む）に従って現在の季節が春、夏、秋、冬のいずれであるかを示す期間情報を生成する（図５の例では「夏」）。制御用サーバ１００Ａの第１取得部１１及び第２取得部１２は、それぞれコマンド情報Ｉ１及び付加情報Ｉ２を取得する。そして、制御用サーバ１００Ａは、制御部１３にて、コマンド情報Ｉ１（「空調オン」）及び付加情報Ｉ２（「夏」）に基づく制御命令Ｉ３を生成する。ここでは一例として、制御命令Ｉ３は、空調機器からなる機器５１を制御対象Ｔ１とし、かつ制御対象Ｔ１（機器５１）の動作モードを「冷房」とするための、対象特定項目及び内容特定項目を含む。制御用サーバ１００Ａは、このような制御命令Ｉ３をコントローラ１０Ａに送信する。
The
これにより、コントローラ１０Ａは、制御命令Ｉ３に従って機器５の制御を実行する。その結果、一例として、空調機器からなる機器５１は動作モードが「冷房」でオンすることになる。
As a result, the
また、実施形態２に係る機器制御システム１Ａにおいて、空調機器からなる機器５１を制御対象Ｔ１とすることは必須の構成ではなく、例えば、２つ以上の機器５を制御対象Ｔ１としてもよい。
Further, in the
実施形態２で説明した種々の構成（変形例を含む）は、実施形態１で説明した種々の構成（変形例を含む）と適宜組み合わせて採用可能である。 The various configurations (including the modified examples) described in the second embodiment can be appropriately combined with the various configurations (including the modified examples) described in the first embodiment.
（まとめ）
以上説明したように、第１の態様に係る機器制御システム（１，１Ａ）は、第１取得部（１１）と、第２取得部（１２）と、制御部（１３）と、を備える。第１取得部（１１）は、コマンド情報（Ｉ１）を取得する。コマンド情報（Ｉ１）は、音声入力装置（２）に入力された音声の認識結果に関する情報である。第２取得部（１２）は、付加情報（Ｉ２）を取得する。付加情報（Ｉ２）は、コマンド情報（Ｉ１）とは別の情報からなる。制御部（１３）は、コマンド情報（Ｉ１）と付加情報（Ｉ２）との両方に基づく制御命令（Ｉ３）により、少なくとも１つの機器（５）からなる制御対象（Ｔ１）を制御する。
(Summary)
As described above, the device control system (1,1A) according to the first aspect includes a first acquisition unit (11), a second acquisition unit (12), and a control unit (13). The first acquisition unit (11) acquires command information (I1). The command information (I1) is information regarding the recognition result of the voice input to the voice input device (2). The second acquisition unit (12) acquires the additional information (I2). The additional information (I2) consists of information different from the command information (I1). The control unit (13) controls a control target (T1) including at least one device (5) by a control command (I3) based on both command information (I1) and additional information (I2).
この態様によれば、制御対象（Ｔ１）の制御に、音声入力装置（２）に入力された音声に基づくコマンド情報（Ｉ１）だけでなく、コマンド情報（Ｉ１）とは別の付加情報（Ｉ２）が用いられる。そのため、例えば、音声入力装置（２）に入力される音声が同じ場合であっても、少なくとも１つの機器（５）からなる制御対象（Ｔ１）に対しては、一義的ではなく、付加情報（Ｉ２）次第で異なる制御がなされる。したがって、機器制御システム（１，１Ａ）によれば、ユーザ（Ｕ１）が同じように発話した場合でも機器（５）を柔軟に制御可能である、という利点がある。 According to this aspect, not only the command information (I1) based on the voice input to the voice input device (2) but also additional information (I2) different from the command information (I1) is used to control the control target (T1). ) Is used. Therefore, for example, even if the voice input to the voice input device (2) is the same, the additional information (T1) including at least one device (5) is not unique. Different controls are made depending on I2). Therefore, according to the device control system (1,1A), there is an advantage that the device (5) can be flexibly controlled even when the user (U1) speaks in the same manner.
第２の態様に係る機器制御システム（１，１Ａ）では、第１の態様において、付加情報（Ｉ２）は、ユーザ（Ｕ１）の操作に応じて変化する入力情報を含む。制御部（１３）は、少なくとも入力情報に応じて制御命令（Ｉ３）を変化させる。 In the device control system (1,1A) according to the second aspect, in the first aspect, the additional information (I2) includes input information that changes according to the operation of the user (U1). The control unit (13) changes the control command (I3) at least according to the input information.
この態様によれば、ユーザ（Ｕ１）が同じように発話した場合でも、ユーザ（Ｕ１）の操作次第で、機器（５）に対して異なる制御を実現できる。 According to this aspect, even when the user (U1) speaks in the same way, different control can be realized for the device (5) depending on the operation of the user (U1).
第３の態様に係る機器制御システム（１，１Ａ）では、第１又は２の態様において、付加情報（Ｉ２）は、期間に関する期間情報を含む。制御部（１３）は、少なくとも期間情報に応じて制御命令（Ｉ３）を変化させる。 In the device control system (1,1A) according to the third aspect, in the first or second aspect, the additional information (I2) includes the period information regarding the period. The control unit (13) changes the control command (I3) at least according to the period information.
この態様によれば、ユーザ（Ｕ１）が同じように発話した場合でも、例えば、季節又は時間帯等の期間次第で、機器（５）に対して異なる制御を実現できる。 According to this aspect, even when the user (U1) speaks in the same way, different control can be realized for the device (5) depending on a period such as a season or a time zone.
第４の態様に係る機器制御システム（１，１Ａ）では、第１〜３のいずれかの態様において、付加情報（Ｉ２）は、音声入力装置（２）に入力された音声を発した話者に関する話者情報を含む。制御部（１３）は、少なくとも話者情報に応じて制御命令（Ｉ３）を変化させる。 In the device control system (1,1A) according to the fourth aspect, in any one of the first to third aspects, the additional information (I2) is the speaker who emitted the voice input to the voice input device (2). Includes speaker information about. The control unit (13) changes the control command (I3) at least according to the speaker information.
この態様によれば、ユーザ（Ｕ１）が同じように発話した場合でも、話者によって、機器（５）に対して異なる制御を実現できる。 According to this aspect, even when the user (U1) speaks in the same way, different control can be realized for the device (5) depending on the speaker.
第５の態様に係る機器制御システム（１，１Ａ）では、第１〜４のいずれかの態様において、付加情報（Ｉ２）は、コマンド情報（Ｉ１）から独立した外部情報を含む。 In the device control system (1,1A) according to the fifth aspect, in any one of the first to fourth aspects, the additional information (I2) includes external information independent of the command information (I1).
この態様によれば、付加情報（Ｉ２）に含まれる外部情報は、コマンド情報（Ｉ１）に依存しないため、コマンド情報（Ｉ１）と付加情報（Ｉ２）との組み合わせにより、多様な制御を実現できる。 According to this aspect, since the external information included in the additional information (I2) does not depend on the command information (I1), various controls can be realized by combining the command information (I1) and the additional information (I2). ..
第６の態様に係る機器制御システム（１，１Ａ）では、第１〜５のいずれかの態様において、付加情報（Ｉ２）は、状態情報を含む。状態情報は、音声入力装置（２）に入力された音声から抽出され、音声を発した話者の状態に関連する情報である。制御部（１３）は、少なくとも状態情報に応じて制御命令（Ｉ３）を変化させる。 In the device control system (1,1A) according to the sixth aspect, in any one of the first to fifth aspects, the additional information (I2) includes the state information. The state information is information related to the state of the speaker who utters the voice, which is extracted from the voice input to the voice input device (2). The control unit (13) changes the control command (I3) at least according to the state information.
この態様によれば、ユーザ（Ｕ１）が同じように発話した場合でも、話者の状態次第で、機器（５）に対して異なる制御を実現できる。 According to this aspect, even when the user (U1) speaks in the same way, different control can be realized for the device (5) depending on the state of the speaker.
第７の態様に係る機器制御システム（１，１Ａ）では、第１〜６のいずれかの態様において、制御命令（Ｉ３）は、対象特定項目と、内容特定項目と、を含む。対象特定項目は、複数の機器（５）のうちの制御対象（Ｔ１）となる少なくとも１つの機器（５）を特定する。内容特定項目は、制御対象（Ｔ１）の動作を特定する。制御部（１３）は、コマンド情報（Ｉ１）及び付加情報（Ｉ２）との両方に基づいて、対象特定項目及び内容特定項目を決定する。 In the device control system (1,1A) according to the seventh aspect, in any one of the first to sixth aspects, the control command (I3) includes a target specific item and a content specific item. The target identification item specifies at least one device (5) that is a control target (T1) among the plurality of devices (5). The content specification item specifies the operation of the control target (T1). The control unit (13) determines the target specific item and the content specific item based on both the command information (I1) and the additional information (I2).
この態様によれば、制御命令（Ｉ３）により、いずれの機器（５）を、どのように制御するのか、を規定することが可能である。 According to this aspect, it is possible to specify which device (5) is controlled and how by the control command (I3).
第８の態様に係る機器制御システム（１，１Ａ）では、第１〜７のいずれかの態様において、制御部（１３）は、コマンド情報（Ｉ１）と付加情報（Ｉ２）との両方に基づいて、複数の機器（５）の中から２つ以上の機器（５）を制御対象（Ｔ１）として選択する。 In the device control system (1,1A) according to the eighth aspect, in any one of the first to seventh aspects, the control unit (13) is based on both the command information (I1) and the additional information (I2). Then, two or more devices (5) are selected as the control target (T1) from the plurality of devices (5).
この態様によれば、２つ以上の機器（５）をまとめて制御することが可能である。 According to this aspect, it is possible to collectively control two or more devices (5).
第９の態様に係る機器制御システム（１，１Ａ）では、第１〜８のいずれかの態様において、制御部（１３）は、１つのコマンド情報（Ｉ１）に対応付けられている複数の命令候補の中から、付加情報（Ｉ２）に基づいて一の命令候補を選択する。制御部（１３）は、一の命令候補を制御命令（Ｉ３）として制御対象（Ｔ１）を制御する。 In the device control system (1, 1A) according to the ninth aspect, in any one of the first to eighth aspects, the control unit (13) has a plurality of commands associated with one command information (I1). From the candidates, one instruction candidate is selected based on the additional information (I2). The control unit (13) controls the control target (T1) with one command candidate as the control command (I3).
この態様によれば、複数の命令候補の中からコマンド情報（Ｉ１）にて命令候補の絞り込みを行い、更に付加情報（Ｉ２）に基づいて一の命令候補を選択することができ、一の命令候補を選択する処理負荷の低減を図ることができる。 According to this aspect, command candidates can be narrowed down by command information (I1) from a plurality of command candidates, and one command candidate can be selected based on additional information (I2), and one command can be selected. It is possible to reduce the processing load for selecting candidates.
第１０の態様に係る機器制御システム（１，１Ａ）では、第９の態様において、制御部（１３）は、付加情報（Ｉ２）が判定条件を満たした場合に、判定条件に従って一の命令候補を選択する。制御部（１３）は、付加情報（Ｉ２）が判定条件を満たさない場合に、複数の命令候補の中のデフォルトの命令候補を選択し、デフォルトの命令候補を制御命令（Ｉ３）として制御対象（Ｔ１）を制御する。 In the device control system (1,1A) according to the tenth aspect, in the ninth aspect, when the additional information (I2) satisfies the determination condition, the control unit (13) is one instruction candidate according to the determination condition. Select. When the additional information (I2) does not satisfy the determination condition, the control unit (13) selects the default instruction candidate from the plurality of instruction candidates, and sets the default instruction candidate as the control instruction (I3) to control (I3). T1) is controlled.
この態様によれば、付加情報（Ｉ２）による命令候補の絞り込みができない場合であっても、デフォルトの命令候補を制御命令（Ｉ３）として採用することにより、制御対象（Ｔ１）の制御が可能となる。 According to this aspect, even when the command candidates cannot be narrowed down by the additional information (I2), the control target (T1) can be controlled by adopting the default command candidate as the control command (I3). Become.
第１１の態様に係る機器制御システム（１，１Ａ）は、第１〜１０のいずれかの態様において、設定部（１６）を更に備える。設定部（１６）は、コマンド情報（Ｉ１）と付加情報（Ｉ２）と制御命令（Ｉ３）との対応関係を設定する。 The device control system (1,1A) according to the eleventh aspect further includes a setting unit (16) in any one of the first to tenth aspects. The setting unit (16) sets the correspondence between the command information (I1), the additional information (I2), and the control command (I3).
この態様によれば、コマンド情報（Ｉ１）と付加情報（Ｉ２）と制御命令（Ｉ３）との対応関係を変更することができる。 According to this aspect, the correspondence between the command information (I1), the additional information (I2), and the control command (I3) can be changed.
第１２の態様に係る機器制御システム（１，１Ａ）では、第１１の態様において、設定部（１６）は、学習モードを有する。学習モードは、制御対象（Ｔ１）に対して制御命令（Ｉ３）に相当する制御が行われた場合に、制御命令（Ｉ３）と、コマンド情報（Ｉ１）と付加情報（Ｉ２）との対応関係を生成するモードである。 In the device control system (1,1A) according to the twelfth aspect, in the eleventh aspect, the setting unit (16) has a learning mode. In the learning mode, when control corresponding to the control command (I3) is performed on the control target (T1), the correspondence between the control command (I3), the command information (I1), and the additional information (I2). Is the mode to generate.
この態様によれば、学習モードにおいては、コマンド情報（Ｉ１）と付加情報（Ｉ２）と制御命令（Ｉ３）との対応関係を自動的に変更することができる。 According to this aspect, in the learning mode, the correspondence between the command information (I1), the additional information (I2), and the control command (I3) can be automatically changed.
第１３の態様に係る機器制御方法は、第１取得処理と、第２取得処理と、制御処理と、を有する。第１取得処理は、コマンド情報（Ｉ１）を取得する処理である。コマンド情報（Ｉ１）は、音声入力装置（２）に入力された音声の認識結果に関する情報である。第２取得処理は、付加情報（Ｉ２）を取得する処理である。付加情報（Ｉ２）は、コマンド情報（Ｉ１）とは別の情報からなる。制御処理は、コマンド情報（Ｉ１）と付加情報（Ｉ２）との両方に基づく制御命令（Ｉ３）により、少なくとも１つの機器（５）からなる制御対象（Ｔ１）を制御する処理である。 The device control method according to the thirteenth aspect includes a first acquisition process, a second acquisition process, and a control process. The first acquisition process is a process for acquiring command information (I1). The command information (I1) is information regarding the recognition result of the voice input to the voice input device (2). The second acquisition process is a process for acquiring additional information (I2). The additional information (I2) consists of information different from the command information (I1). The control process is a process of controlling a control target (T1) composed of at least one device (5) by a control command (I3) based on both command information (I1) and additional information (I2).
この態様によれば、制御対象（Ｔ１）の制御に、音声入力装置（２）に入力された音声に基づくコマンド情報（Ｉ１）だけでなく、コマンド情報（Ｉ１）とは別の付加情報（Ｉ２）が用いられる。そのため、例えば、音声入力装置（２）に入力される音声が同じ場合であっても、少なくとも１つの機器（５）からなる制御対象（Ｔ１）に対しては、一義的ではなく、付加情報（Ｉ２）次第で異なる制御がなされる。したがって、機器制御方法によれば、ユーザ（Ｕ１）が同じように発話した場合でも機器（５）を柔軟に制御可能である、という利点がある。 According to this aspect, not only the command information (I1) based on the voice input to the voice input device (2) but also additional information (I2) different from the command information (I1) is used to control the control target (T1). ) Is used. Therefore, for example, even if the voice input to the voice input device (2) is the same, the additional information (T1) including at least one device (5) is not unique. Different controls are made depending on I2). Therefore, according to the device control method, there is an advantage that the device (5) can be flexibly controlled even when the user (U1) speaks in the same manner.
第１４の態様に係るプログラムは、第１３の態様に係る機器制御方法を、１以上のプロセッサに実行させるためのプログラムである。 The program according to the fourteenth aspect is a program for causing one or more processors to execute the device control method according to the thirteenth aspect.
この態様によれば、制御対象（Ｔ１）の制御に、音声入力装置（２）に入力された音声に基づくコマンド情報（Ｉ１）だけでなく、コマンド情報（Ｉ１）とは別の付加情報（Ｉ２）が用いられる。そのため、例えば、音声入力装置（２）に入力される音声が同じ場合であっても、少なくとも１つの機器（５）からなる制御対象（Ｔ１）に対しては、一義的ではなく、付加情報（Ｉ２）次第で異なる制御がなされる。したがって、上記プログラムによれば、ユーザ（Ｕ１）が同じように発話した場合でも機器（５）を柔軟に制御可能である、という利点がある。 According to this aspect, not only the command information (I1) based on the voice input to the voice input device (2) but also additional information (I2) different from the command information (I1) is used to control the control target (T1). ) Is used. Therefore, for example, even if the voice input to the voice input device (2) is the same, the additional information (T1) including at least one device (5) is not unique. Different controls are made depending on I2). Therefore, according to the above program, there is an advantage that the device (5) can be flexibly controlled even when the user (U1) speaks in the same manner.
上記態様に限らず、実施形態１及び実施形態２に係る機器制御システム（１，１Ａ）の種々の構成（変形例を含む）は、機器制御方法又はプログラムにて具現化可能である。 Not limited to the above aspects, various configurations (including modifications) of the device control system (1,1A) according to the first and second embodiments can be embodied by a device control method or a program.
第２〜１２の態様に係る構成については、機器制御システム（１，１Ａ）に必須の構成ではなく、適宜省略可能である。 The configuration according to the second to twelfth aspects is not an essential configuration for the device control system (1,1A) and can be omitted as appropriate.
１，１Ａ 機器制御システム
２ 音声入力装置
５ 機器
１１ 第１取得部
１２ 第２取得部
１３ 制御部
１６ 設定部
Ｉ１ コマンド情報
Ｉ２ 付加情報
Ｉ３ 制御命令
Ｔ１ 制御対象
Ｕ１ ユーザ
1,1A
Claims (14)
前記コマンド情報とは別の情報からなる付加情報を取得する第２取得部と、
前記コマンド情報と前記付加情報との両方に基づく制御命令により、少なくとも１つの機器からなる制御対象を制御する制御部と、を備える、
機器制御システム。 The first acquisition unit that acquires command information related to the recognition result of the voice input to the voice input device, and
A second acquisition unit that acquires additional information consisting of information other than the command information, and
A control unit that controls a control target composed of at least one device by a control command based on both the command information and the additional information is provided.
Equipment control system.
前記制御部は、少なくとも前記入力情報に応じて前記制御命令を変化させる、
請求項１に記載の機器制御システム。 The additional information includes input information that changes according to the operation of the user.
The control unit changes the control command at least according to the input information.
The device control system according to claim 1.
前記制御部は、少なくとも前記期間情報に応じて前記制御命令を変化させる、
請求項１又は２に記載の機器制御システム。 The additional information includes period information relating to the period.
The control unit changes the control command at least according to the period information.
The device control system according to claim 1 or 2.
前記制御部は、少なくとも前記話者情報に応じて前記制御命令を変化させる、
請求項１〜３のいずれか１項に記載の機器制御システム。 The additional information includes speaker information about a speaker who has emitted the voice input to the voice input device.
The control unit changes the control command at least according to the speaker information.
The device control system according to any one of claims 1 to 3.
請求項１〜４のいずれか１項に記載の機器制御システム。 The additional information includes external information independent of the command information.
The device control system according to any one of claims 1 to 4.
前記制御部は、少なくとも前記状態情報に応じて前記制御命令を変化させる、
請求項１〜５のいずれか１項に記載の機器制御システム。 The additional information is extracted from the voice input to the voice input device, and includes state information related to the state of the speaker who emitted the voice.
The control unit changes the control command at least according to the state information.
The device control system according to any one of claims 1 to 5.
前記制御部は、前記コマンド情報及び前記付加情報との両方に基づいて、前記対象特定項目及び前記内容特定項目を決定する、
請求項１〜６のいずれか１項に記載の機器制御システム。 The control command includes a target specific item that specifies at least one device to be controlled among a plurality of devices, and a content specific item that specifies the operation of the control target.
The control unit determines the target specific item and the content specific item based on both the command information and the additional information.
The device control system according to any one of claims 1 to 6.
請求項１〜７のいずれか１項に記載の機器制御システム。 The control unit selects two or more devices as the control target from a plurality of devices based on both the command information and the additional information.
The device control system according to any one of claims 1 to 7.
請求項１〜８のいずれか１項に記載の機器制御システム。 The control unit selects one instruction candidate based on the additional information from a plurality of instruction candidates associated with the one command information, and controls the one instruction candidate as the control instruction. Control the target,
The device control system according to any one of claims 1 to 8.
前記付加情報が判定条件を満たした場合に、前記判定条件に従って前記一の命令候補を選択し、
前記付加情報が前記判定条件を満たさない場合に、前記複数の命令候補の中のデフォルトの命令候補を選択し、前記デフォルトの命令候補を前記制御命令として前記制御対象を制御する、
請求項９に記載の機器制御システム。 The control unit
When the additional information satisfies the determination condition, the one instruction candidate is selected according to the determination condition.
When the additional information does not satisfy the determination condition, a default instruction candidate among the plurality of instruction candidates is selected, and the control target is controlled using the default instruction candidate as the control instruction.
The device control system according to claim 9.
請求項１〜１０のいずれか１項に記載の機器制御システム。 A setting unit for setting the correspondence between the command information, the additional information, and the control command is further provided.
The device control system according to any one of claims 1 to 10.
請求項１１に記載の機器制御システム。 The setting unit has a learning mode that generates a correspondence relationship between the control command, the command information, and the additional information when the control target is controlled to correspond to the control command.
The device control system according to claim 11.
前記コマンド情報とは別の情報からなる付加情報を取得する第２取得処理と、
前記コマンド情報と前記付加情報との両方に基づく制御命令により、少なくとも１つの機器からなる制御対象を制御する制御処理と、を有する、
機器制御方法。 The first acquisition process to acquire command information related to the recognition result of the voice input to the voice input device, and
A second acquisition process for acquiring additional information consisting of information other than the command information, and
It has a control process for controlling a control target composed of at least one device by a control command based on both the command information and the additional information.
Device control method.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019034919A JP2020141235A (en) | 2019-02-27 | 2019-02-27 | Apparatus control system, apparatus control method and program |
| PCT/JP2020/006636 WO2020175293A1 (en) | 2019-02-27 | 2020-02-19 | Apparatus control system, apparatus control method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019034919A JP2020141235A (en) | 2019-02-27 | 2019-02-27 | Apparatus control system, apparatus control method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020141235A true JP2020141235A (en) | 2020-09-03 |
Family
ID=72239029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019034919A Pending JP2020141235A (en) | 2019-02-27 | 2019-02-27 | Apparatus control system, apparatus control method and program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2020141235A (en) |
| WO (1) | WO2020175293A1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111243587A (en) * | 2020-01-08 | 2020-06-05 | 北京松果电子有限公司 | Voice interaction method, device, equipment and storage medium |
| US20220165260A1 (en) * | 2020-11-24 | 2022-05-26 | International Business Machines Corporation | Ar (augmented reality) based selective sound inclusion from the surrounding while executing any voice command |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002182680A (en) * | 2000-12-19 | 2002-06-26 | Alpine Electronics Inc | Operation indication device |
| JP2005086768A (en) * | 2003-09-11 | 2005-03-31 | Toshiba Corp | Controller, control method, and program |
| WO2013099322A1 (en) * | 2011-12-28 | 2013-07-04 | 株式会社 東芝 | Power management server device, power management method and power management program |
| JP2014183491A (en) * | 2013-03-19 | 2014-09-29 | Sharp Corp | Electric equipment control apparatus, electric equipment control system, program, and electric equipment control method |
| WO2015029379A1 (en) * | 2013-08-29 | 2015-03-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Device control method, display control method, and purchase payment method |
| WO2016157537A1 (en) * | 2015-04-03 | 2016-10-06 | 三菱電機株式会社 | Air-conditioning system |
-
2019
- 2019-02-27 JP JP2019034919A patent/JP2020141235A/en active Pending
-
2020
- 2020-02-19 WO PCT/JP2020/006636 patent/WO2020175293A1/en active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002182680A (en) * | 2000-12-19 | 2002-06-26 | Alpine Electronics Inc | Operation indication device |
| JP2005086768A (en) * | 2003-09-11 | 2005-03-31 | Toshiba Corp | Controller, control method, and program |
| WO2013099322A1 (en) * | 2011-12-28 | 2013-07-04 | 株式会社 東芝 | Power management server device, power management method and power management program |
| JP2014183491A (en) * | 2013-03-19 | 2014-09-29 | Sharp Corp | Electric equipment control apparatus, electric equipment control system, program, and electric equipment control method |
| WO2015029379A1 (en) * | 2013-08-29 | 2015-03-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Device control method, display control method, and purchase payment method |
| WO2016157537A1 (en) * | 2015-04-03 | 2016-10-06 | 三菱電機株式会社 | Air-conditioning system |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020175293A1 (en) | 2020-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11133953B2 (en) | Systems and methods for home automation control | |
| US11602033B1 (en) | Electronic devices for controlling lights | |
| US10985936B2 (en) | Customized interface based on vocal input | |
| US6967565B2 (en) | Building automation system | |
| US20190229943A1 (en) | System and method for crowdsourcing generalized smart home automation scenes | |
| CN107895574A (en) | Voice command is handled based on device topological structure | |
| US11929844B2 (en) | Customized interface based on vocal input | |
| CN110709785A (en) | Equipment control system | |
| CN113516979A (en) | Server-provided visual output at a voice interface device | |
| US11039520B1 (en) | Electronic devices for controlling lights | |
| US11665796B2 (en) | Multi-purpose voice activated lighting apparatus | |
| CN111970180B (en) | Networking configuration method and device for intelligent household equipment, electronic equipment and storage medium | |
| CN110794693A (en) | Device configuration method and device, electronic device and storage medium | |
| CN111917591A (en) | Intelligent device networking scheme generation method and device and electronic device | |
| JP2020141235A (en) | Apparatus control system, apparatus control method and program | |
| WO2021106737A1 (en) | Space staging method, program, and space staging system | |
| JP7340764B2 (en) | voice control system | |
| CN109164713A (en) | A kind of intelligent home furnishing control method and device | |
| KR20200058015A (en) | System for reomte control of device | |
| CN110347125A (en) | A kind of lighting system of software definition | |
| Alkan et al. | Indoor Soundscapes of the Future: Listening to Smart Houses | |
| WO2020223967A1 (en) | Active intelligent control method and system, and intelligent apparatus | |
| JP2022087694A (en) | Wiring system, and communication system | |
| HOuSE | perpetuum |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211011 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220802 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220921 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230322 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230522 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230718 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231024 |