JP2020060951A - Control apparatus, device control system, device control method and program - Google Patents

Control apparatus, device control system, device control method and program Download PDF

Info

Publication number
JP2020060951A
JP2020060951A JP2018191861A JP2018191861A JP2020060951A JP 2020060951 A JP2020060951 A JP 2020060951A JP 2018191861 A JP2018191861 A JP 2018191861A JP 2018191861 A JP2018191861 A JP 2018191861A JP 2020060951 A JP2020060951 A JP 2020060951A
Authority
JP
Japan
Prior art keywords
control
voice
content
user
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018191861A
Other languages
Japanese (ja)
Inventor
友博 古瀬
Tomohiro Furuse
友博 古瀬
明敏 廣澤
Akitoshi Hirozawa
明敏 廣澤
淳子 貴島
Junko Kishima
淳子 貴島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2018191861A priority Critical patent/JP2020060951A/en
Publication of JP2020060951A publication Critical patent/JP2020060951A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Selective Calling Equipment (AREA)

Abstract

To provide a voice operation service that aims to achieve both the user friendliness and the energy saving.SOLUTION: A voice recognizing unit 502 obtains details of voice uttered by a user. A position identifying unit 501 obtains position information indicating a position of the user. A device control unit 503 selects, on the basis of the details of the voice uttered by the user and of the position information, one or more candidate devices as candidates to be controlled, among the plurality of devices. The device control unit 503 determines, among the candidate devices, a candidate device that has a smallest power consumption when operated on the basis of the details of the obtained voice as the device to be controlled, determines control details for the device to be controlled, and generates a control command to the device to be controlled on the basis of the determined control details. A control command transmitting unit 507 transmits the generated control command to the device to be controlled.SELECTED DRAWING: Figure 9

Description

本発明は、制御装置、機器制御システム、機器制御方法及びプログラムに関する。   The present invention relates to a control device, a device control system, a device control method, and a program.

近年、ＡＩスピーカ（スマートスピーカともいう。）を介した音声操作により、ＩｏＴ（Internet of Things）機器、情報家電、ネット家電等と称されるインターネットに接続される機器を操作するシステムが提案され（例えば、特許文献１）、また、一般家庭においても利用されつつある。   In recent years, there has been proposed a system for operating a device connected to the Internet, which is called an IoT (Internet of Things) device, an information home appliance, an internet home appliance, or the like, by a voice operation via an AI speaker (also referred to as a smart speaker). For example, Patent Document 1), and is also being used in general households.

国際公開第２０１４／１７１１４４号International Publication No. 2014/171144

しかしながら、従来のこの種のシステムにおいては、省エネルギー化の観点での機器の制御が実現されていないのが実情である。   However, in the conventional system of this type, the control of the device is not realized from the viewpoint of energy saving.

本発明は、上記実情に鑑みてなされたものであり、ユーザの音声に基づく機器の制御において、ユーザの利便性と省エネルギー化の両立が図れる制御装置等を提供することを目的とする。   The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a control device and the like that can achieve both user convenience and energy saving in device control based on a user's voice.

上記目的を達成するため、本発明に係る制御装置は、
建物に居るユーザが発した音声の内容を取得する音声内容取得手段と、
前記建物における前記ユーザの位置を示す位置情報を取得するユーザ位置取得手段と、
前記取得された音声の内容と、前記取得された位置情報とに基づいて、前記建物に設置されている複数の機器から制御対象の候補となる１又は複数の候補機器を選択する機器選択手段と、
前記各候補機器の内、前記取得された音声の内容に基づいて動作させた際の消費電力が最も小さい候補機器を制御対象の機器として決定すると共に、前記制御対象の機器の制御内容を決定する対象機器決定手段と、
前記決定された制御内容に基づいて、前記制御対象の機器に対する制御指令を生成する制御指令生成手段と、
前記生成された制御指令を前記制御対象の機器に送信する制御指令送信手段と、を備える。 In order to achieve the above object, the control device according to the present invention,
Voice content acquisition means for acquiring the content of the voice uttered by the user in the building,
User position acquisition means for acquiring position information indicating the position of the user in the building,
Device selection means for selecting one or more candidate devices that are candidates for a control target from a plurality of devices installed in the building, based on the acquired content of the voice and the acquired position information. ,
Among the candidate devices, the candidate device that consumes the least power when operated based on the content of the acquired voice is determined as the control target device, and the control content of the control target device is determined. Target device determination means,
Based on the determined control content, control command generation means for generating a control command for the device to be controlled,
And a control command transmitting unit that transmits the generated control command to the device to be controlled.

本発明によれば、ユーザの音声に基づく機器の制御において、ユーザの利便性と省エネルギー化の両立を図ることが可能となる。   According to the present invention, it is possible to achieve both user convenience and energy saving in controlling a device based on a user's voice.

本発明の実施の形態に係る機器制御システムの全体構成を示す図The figure which shows the whole structure of the equipment control system which concerns on embodiment of this invention. 本実施の形態の家電機器のハードウェア構成を示すブロック図Block diagram showing the hardware configuration of the home electric appliance of the present embodiment 本実施の形態の音声入力装置のハードウェア構成を示すブロック図Block diagram showing the hardware configuration of the voice input device of the present embodiment 本実施の形態の音声入力装置の機能構成を示すブロック図Block diagram showing the functional configuration of the voice input device of the present embodiment 本実施の形態の制御装置のハードウェア構成を示すブロック図Block diagram showing the hardware configuration of the control device of the present embodiment 本実施の形態の制御装置が備える補助記憶装置について説明するための図The figure for demonstrating the auxiliary storage device with which the control apparatus of this Embodiment is equipped. 本実施の形態の機器情報テーブルの一例を示す図The figure which shows an example of the device information table of this Embodiment 本実施の形態の機能コードテーブルの一例を示す図The figure which shows an example of the function code table of this Embodiment 本実施の形態の制御装置の機能構成を示すブロック図Block diagram showing the functional configuration of the control device of the present embodiment 本実施の形態の制御装置の機能構成において、機器制御部の詳細構成を示す図The figure which shows the detailed structure of an apparatus control part in the functional structure of the control apparatus of this Embodiment. 本実施の形態の制御装置が実行する機器制御処理の手順を示すフローチャートThe flowchart which shows the procedure of the equipment control process which the control apparatus of this Embodiment performs. 本実施の形態の機器制御処理に含まれる対象機器決定処理の手順を示すフローチャートThe flowchart which shows the procedure of the target device determination process contained in the device control process of this Embodiment.

以下、本発明の実施の形態について図面を参照して詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図１は、本発明の実施の形態に係る機器制御システム１の全体構成を示す図である。機器制御システム１は、家屋Ｈに設置された家電機器２ａ，２ｂ，…を音声操作により制御できるようにしたシステムであり、家電機器２ａ，２ｂ，…と、音声入力装置３と、ホームゲートウェイ４と、制御装置５と、気象サーバ６とを備える。   FIG. 1 is a diagram showing an overall configuration of a device control system 1 according to an embodiment of the present invention. The device control system 1 is a system capable of controlling the home appliances 2a, 2b, ... Installed in the house H by voice operation. The home appliances 2a, 2b, ..., the voice input device 3, and the home gateway 4 are included. And a control device 5 and a weather server 6.

家電機器２ａ，２ｂ，…は、エアコン、換気装置、床暖房システム、床冷暖房システム、テレビ、オーディオ、ヘルス機器、照明機器、給湯器、太陽光発電システム、蓄電システム、電動窓、電動シャッター、電動ブラインド、電動カーテン、電子錠、インターフォン等であり、家屋Ｈ（敷地も含む）内に設置される。以下、家電機器２ａ，２ｂ，…にて共通する説明については、特に個々を指定せずに家電機器２と表記する。   The home electric appliances 2a, 2b, ... Are air conditioners, ventilation devices, floor heating systems, floor heating and cooling systems, TVs, audios, health equipment, lighting devices, water heaters, solar power generation systems, power storage systems, electric windows, electric shutters, electric motors. They are blinds, electric curtains, electronic locks, intercoms, etc., and are installed in the house H (including the site). Hereinafter, a description common to the home electric appliances 2a, 2b, ... Will be referred to as the home electric appliance 2 without specifically designating each individual.

家電機器２は、いわゆるＩｏＴ（Internet of Things）機器、情報家電、ネット家電、スマート家電等と称され、ネットワークＮ１を介してブロードバンドルータとしての機能を有するホームゲートウェイ４に接続され、ホームゲートウェイ４を介してネットワークＮ２に接続される。家電機器２は、図２に示すように、メインユニット２０と、通信インタフェース２１と、ＣＰＵ２２と、ＲＯＭ２３と、ＲＡＭ２４と、補助記憶装置２５とを備える。これらの構成部は、バス２６を介して相互に接続される。   The home electric appliances 2 are so-called IoT (Internet of Things) appliances, information home appliances, net home appliances, smart home appliances, etc., and are connected to the home gateway 4 having a function as a broadband router via the network N1. Via the network N2. As shown in FIG. 2, the home electric appliance 2 includes a main unit 20, a communication interface 21, a CPU 22, a ROM 23, a RAM 24, and an auxiliary storage device 25. These components are connected to each other via a bus 26.

メインユニット２０は、当該家電機器２の本来的な機能を実現するための構成部である。例えば、当該家電機器２が、エアコン（室内機）である場合、メインユニット２０には、ファン、熱交換器、温度センサ等が含まれ、当該家電機器２が、照明機器である場合、メインユニット２０には、ＬＥＤが含まれる。   The main unit 20 is a component for realizing the original function of the home electric appliance 2. For example, when the home electric appliance 2 is an air conditioner (indoor unit), the main unit 20 includes a fan, a heat exchanger, a temperature sensor, and the like, and when the home electric appliance 2 is an illumination device, the main unit 20 is a main unit. 20 includes an LED.

通信インタフェース２１は、ネットワークＮ１を介してホームゲートウェイ４と有線又は無線にて通信接続し、ネットワークＮ２に接続される制御装置５を含む他の装置とホームゲートウェイ４を介して通信するためのネットワークカードを備える。このネットワークカードは、例えば、ＩＥＥＥ８０２．３シリーズの有線ＬＡＮ（Local Area Network）、ＩＥＥＥ８０２．１１シリーズの無線ＬＡＮ等の規格に則ったものである。ネットワークＮ２として、インターネットが例示される。なお、家電機器２は、通信インタフェース２１を備える代わりに、外付けの通信アダプタを介して、ホームゲートウェイ４と有線又は無線にて通信接続し、ネットワークＮ２に接続される制御装置５を含む他の装置とホームゲートウェイ４を介して通信する構成であってもよい。   The communication interface 21 is connected to the home gateway 4 via the network N1 by wire or wirelessly, and is connected to the network N2 with other devices including the control device 5 via the home gateway 4. Equipped with. This network card conforms to the standards such as IEEE 802.3 series wired LAN (Local Area Network) and IEEE 802.11 series wireless LAN. The Internet is exemplified as the network N2. Note that, instead of including the communication interface 21, the home electric appliance 2 is connected to the home gateway 4 via an external communication adapter in a wired or wireless manner, and includes another control device 5 connected to the network N2. It may be configured to communicate with the device via the home gateway 4.

ＣＰＵ（Central Processing Unit）２２は、当該家電機器２を統括的に制御する。ＲＯＭ（Read Only Memory）２３は、複数のファームウェア及びこれらのファームウェアの実行時に使用されるデータを記憶する。ＲＡＭ（Random Access Memory）２４は、ＣＰＵ２２の作業領域として使用される。   A CPU (Central Processing Unit) 22 centrally controls the home electric appliance 2. A ROM (Read Only Memory) 23 stores a plurality of firmware and data used when these firmwares are executed. A RAM (Random Access Memory) 24 is used as a work area of the CPU 22.

補助記憶装置２５は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリ等の読み書き可能な不揮発性の半導体メモリ又はＨＤＤ（Hard Disk Drive）を含んで構成される。補助記憶装置２５は、制御装置５と通信するためのプログラムと、メインユニット２０の動作を制御するためのプログラムと、これらのプログラムの実行時に使用されるデータとを記憶する。   The auxiliary storage device 25 includes an EEPROM (Electrically Erasable Programmable Read-Only Memory), a readable / writable nonvolatile semiconductor memory such as a flash memory, or an HDD (Hard Disk Drive). The auxiliary storage device 25 stores a program for communicating with the control device 5, a program for controlling the operation of the main unit 20, and data used when these programs are executed.

図１に戻り、音声入力装置３は、ユーザの発話により入力された音声に基づいて様々なサービスを提供する装置であり、いわゆるＡＩスピーカ（スマートスピーカともいう。）である。音声入力装置３は、図３に示すように、マイク３０と、Ａ／Ｄコンバータ３１と、スピーカ３２と、通信インタフェース３３と、ＣＰＵ３４と、ＲＯＭ３５と、ＲＡＭ３６と、補助記憶装置３７とを備える。これらの構成部は、バス３８を介して相互に接続される。   Returning to FIG. 1, the voice input device 3 is a device that provides various services based on a voice input by a user's utterance, and is a so-called AI speaker (also referred to as a smart speaker). As shown in FIG. 3, the voice input device 3 includes a microphone 30, an A / D converter 31, a speaker 32, a communication interface 33, a CPU 34, a ROM 35, a RAM 36, and an auxiliary storage device 37. These components are connected to each other via a bus 38.

マイク３０は、ユーザが発した音声を入力し、入力した音声からアナログ音声信号を生成して、Ａ／Ｄコンバータ３１に出力する。Ａ／Ｄコンバータ３１は、マイク３０から出力されたアナログ音声信号からノイズを除去し、デジタル音声信号を生成し、ＣＰＵ３４に供給する。スピーカ３２は、ＣＰＵ３４から供給されたデジタル音声信号に対応する音声を出力する。   The microphone 30 inputs the voice uttered by the user, generates an analog voice signal from the input voice, and outputs the analog voice signal to the A / D converter 31. The A / D converter 31 removes noise from the analog audio signal output from the microphone 30, generates a digital audio signal, and supplies the digital audio signal to the CPU 34. The speaker 32 outputs a sound corresponding to the digital sound signal supplied from the CPU 34.

通信インタフェース３３は、ネットワークＮ１を介してホームゲートウェイ４と有線又は無線にて通信接続し、ネットワークＮ２に接続される制御装置５を含む他の装置とホームゲートウェイ４を介して通信するためのネットワークカードを備える。このネットワークカードは、例えば、ＩＥＥＥ８０２．３シリーズの有線ＬＡＮ、ＩＥＥＥ８０２．１１シリーズの無線ＬＡＮ等の規格に則ったものである。   The communication interface 33 is connected to the home gateway 4 via the network N1 by wire or wirelessly, and is connected to the network N2 with other devices including the control device 5 via the home gateway 4. Equipped with. This network card conforms to the standards such as IEEE 802.3 series wired LAN and IEEE 802.11 series wireless LAN.

ＣＰＵ３４は、当該音声入力装置３を統括的に制御する。ＣＰＵ３４によって実現される音声入力装置３の機能の詳細については後述する。ＲＯＭ３５は、複数のファームウェア及びこれらのファームウェアの実行時に使用されるデータを記憶する。ＲＡＭ３６は、ＣＰＵ３４の作業領域として使用される。   The CPU 34 centrally controls the voice input device 3. Details of the functions of the voice input device 3 realized by the CPU 34 will be described later. The ROM 35 stores a plurality of firmware and data used when these firmware are executed. The RAM 36 is used as a work area of the CPU 34.

補助記憶装置３７は、ＥＥＰＲＯＭ、フラッシュメモリ等の読み書き可能な不揮発性の半導体メモリ又はＨＤＤを含んで構成される。補助記憶装置３７は、音声操作入力プログラムと、かかる音声操作入力プログラムの実行時に使用されるデータとを記憶する。音声操作入力プログラムは、ユーザの音声操作を入力し、入力した音声操作に基づく音声データを制御装置５に送信する処理と、制御装置５から結果データ又は問合せデータを受信し、受信した結果データ又は問合せデータに基づく音声を出力する処理とが記述されたプログラムである。   The auxiliary storage device 37 is configured to include a readable / writable nonvolatile semiconductor memory such as an EEPROM or a flash memory, or an HDD. The auxiliary storage device 37 stores a voice operation input program and data used when the voice operation input program is executed. The voice operation input program receives a voice operation of a user, transmits voice data based on the input voice operation to the control device 5, receives result data or inquiry data from the control device 5, and receives the received result data or It is a program in which a process of outputting a voice based on inquiry data is described.

音声入力装置３は、機能的には、図４に示すように、音声入力部３００と、送信部３０１と、受信部３０２と、音声出力部３０３とを備える。これらの機能部は、ＣＰＵ３４が補助記憶装置３７に記憶されている上記の音声操作入力プログラムを実行することで実現される。   Functionally, the voice input device 3 includes a voice input unit 300, a transmission unit 301, a reception unit 302, and a voice output unit 303, as shown in FIG. These functional units are realized by the CPU 34 executing the voice operation input program stored in the auxiliary storage device 37.

音声入力部３００は、本発明に係る入力手段の一例である。音声入力部３００は、ユーザが発話した音声を入力し、入力した音声に基づく音声データを生成する。詳細には、音声入力部３００は、ユーザの音声を示すアナログ音声信号にＰＣＭ（Pulse Code Modulation: パルス符号変調）を適用してデジタル音声信号に変換し、さらに非可逆圧縮を適用することにより音声データを生成する。なお、音声入力部３００は、予め定めたキーワードをユーザが発したか否かを判定し、当該キーワードをユーザが発した場合に、続いて発話された音声に基づく音声データを生成する。これにより、ユーザが不用意に発した音声により、家電機器２がユーザの意図しない動作を開始してしまうことを防止できる。   The voice input unit 300 is an example of an input unit according to the present invention. The voice input unit 300 inputs the voice uttered by the user and generates voice data based on the input voice. More specifically, the voice input unit 300 applies PCM (Pulse Code Modulation) to an analog voice signal indicating a user's voice to convert the analog voice signal into a digital voice signal, and further applies lossy compression to output the voice. Generate data. The voice input unit 300 determines whether or not the user has uttered a predetermined keyword, and when the user utters the keyword, generates voice data based on the subsequently uttered voice. As a result, it is possible to prevent the home electric appliance 2 from starting an operation that is not intended by the user due to the voice carelessly uttered by the user.

送信部３０１は、本発明に係る送信手段の一例である。送信部３０１は、音声入力部３００により生成された音声データをホームゲートウェイ４を介して制御装置５に送信する。その際、ホームゲートウェイ４は、音声入力装置３から送信された音声データに、当該音声入力装置３のＭＡＣアドレス（Media Access Control address）を付与して暗号化を行い、ネットワークＮ２を介して制御装置５に送信する。   The transmitting unit 301 is an example of transmitting means according to the present invention. The transmitting unit 301 transmits the voice data generated by the voice input unit 300 to the control device 5 via the home gateway 4. At that time, the home gateway 4 adds the MAC address (Media Access Control address) of the voice input device 3 to the voice data transmitted from the voice input device 3 to encrypt the voice data, and the control device via the network N2. Send to 5.

受信部３０２は、制御装置５から送信された結果データ又は問合せデータをホームゲートウェイ４を介して受信する。結果データとは、ユーザの音声に従い制御装置５により、何れかの家電機器２が制御されたか否かの結果を示すデータである。詳細には、何れかの家電機器２が制御された場合、結果データには、“リビングのエアコンをＯＮにしました”、“寝室の照明をＯＮにしました”等、当該家電機器２が制御されたことを示すデジタル音声データが格納されている。一方、何れの家電機器２も制御されなかった場合、即ち、何れの家電機器２も制御できなかった場合、結果データには、“操作できません”等、家電機器２の制御ができなかったことを示すデジタル音声データが格納されている。問合せデータについては後述する。   The reception unit 302 receives the result data or inquiry data transmitted from the control device 5 via the home gateway 4. The result data is data indicating a result of whether or not any one of the home electric appliances 2 is controlled by the control device 5 according to the voice of the user. In detail, when one of the home appliances 2 is controlled, the result data indicates that the home appliances 2 is controlled such as "Living air conditioner turned on", "Bedroom lighting turned on", etc. The digital audio data indicating that it has been stored is stored. On the other hand, when none of the home appliances 2 is controlled, that is, when none of the home appliances 2 can be controlled, the result data indicates that the home appliances 2 cannot be controlled such as "cannot operate". The digital audio data shown is stored. The inquiry data will be described later.

音声出力部３０３は、受信部３０２により受信された結果データ又は問合せデータに格納されているデジタル音声データに基づく音声を出力する。   The voice output unit 303 outputs a voice based on the digital voice data stored in the result data or the inquiry data received by the receiving unit 302.

図１に戻り、制御装置５は、家電機器２及び音声入力装置３のメーカ、販売会社等によって設置され、運用されるサーバコンピュータであり、一般的なＷｅｂサーバとしての機能を有し、ネットワークＮ２に接続される。制御装置５は、顧客、即ち、家屋Ｈの居住者であるユーザに対して、利便性と省エネルギー化の両立を図った音声操作サービスを提供する。   Returning to FIG. 1, the control device 5 is a server computer installed and operated by a manufacturer, a sales company, or the like of the home electric appliance 2 and the voice input device 3, has a function as a general Web server, and has a network N2. Connected to. The control device 5 provides a customer, that is, a user who is a resident of the house H, with a voice operation service that achieves both convenience and energy saving.

制御装置５は、図５に示すように、通信インタフェース５０と、ＣＰＵ５１と、ＲＯＭ５２と、ＲＡＭ５３と、補助記憶装置５４とを備える。これらの構成部は、バス５５を介して相互に接続される。   As shown in FIG. 5, the control device 5 includes a communication interface 50, a CPU 51, a ROM 52, a RAM 53, and an auxiliary storage device 54. These components are connected to each other via a bus 55.

通信インタフェース５０は、ネットワークＮ２に接続して、ホームゲートウェイ４、気象サーバ６等の他の装置と通信するためのインタフェースである。ＣＰＵ５１は、当該制御装置５を統括的に制御する。ＣＰＵ５１によって実現される制御装置５の機能の詳細については後述する。   The communication interface 50 is an interface for connecting to the network N2 and communicating with other devices such as the home gateway 4 and the weather server 6. The CPU 51 centrally controls the control device 5. Details of the functions of the control device 5 realized by the CPU 51 will be described later.

ＲＯＭ５２は、複数のファームウェアとこれらのファームウェアの実行時に使用されるデータを記憶する。ＲＡＭ５３は、ＣＰＵ５１の作業領域として使用される。   The ROM 52 stores a plurality of firmware and data used when these firmware are executed. The RAM 53 is used as a work area of the CPU 51.

補助記憶装置５４は、ＥＥＰＲＯＭ、フラッシュメモリ等の読み書き可能な不揮発性の半導体メモリ又はＨＤＤを含んで構成される大容量の記憶装置である。補助記憶装置５４は、図６に示すように、機器制御プログラム５４０と、顧客情報テーブル５４１と、機器情報テーブル５４２と、機能コードテーブル５４３とを記憶する。なお、この他にも、補助記憶装置５４は、音声認識のためのデータベースである音声認識ＤＢ等を記憶する。   The auxiliary storage device 54 is a large-capacity storage device including a readable / writable nonvolatile semiconductor memory such as an EEPROM or a flash memory, or an HDD. As shown in FIG. 6, the auxiliary storage device 54 stores a device control program 540, a customer information table 541, a device information table 542, and a function code table 543. In addition to this, the auxiliary storage device 54 stores a voice recognition DB, which is a database for voice recognition.

機器制御プログラム５４０は、音声操作サービスを実現するためのプログラムである。機器制御プログラム５４０には、音声入力装置３から送信された音声データを解析して音声の内容を取得する処理、制御対象の家電機器２を決定する処理、制御対象の家電機器２に対して制御指令を送信する処理等が記述されている。   The device control program 540 is a program for realizing a voice operation service. The device control program 540 includes a process of analyzing the voice data transmitted from the voice input device 3 to obtain the content of the voice, a process of determining the control target home electric device 2, and a control of the control target home electric device 2. The process of transmitting a command and the like are described.

顧客情報テーブル５４１は、音声入力装置３を購入し、音声操作サービスに加入している顧客に関する情報（以下、顧客情報という。）を管理するためのデータテーブルである。顧客情報には、何れも図示しないが、顧客ＩＤ（identification）と、当該顧客の個人情報（氏名、住所、性別、生年月日等）と、認証用に当該顧客が設定したパスワードと、当該顧客のパソコン、スマートフォン等のメールアドレスと、当該顧客宅のホームゲートウェイ４のＩＰ（Internet Protocol）アドレスとが含まれている。顧客情報は、音声入力装置３を購入したユーザのパソコン、スマートフォン等から送信された加入手続情報に基づいて、制御装置５のＣＰＵ５１により生成され顧客情報テーブル５４１に登録される。   The customer information table 541 is a data table for managing information about customers who purchase the voice input device 3 and subscribe to the voice operation service (hereinafter referred to as customer information). Although not shown in the customer information, the customer ID (identification), the personal information of the customer (name, address, gender, date of birth, etc.), the password set by the customer for authentication, and the customer The personal computer, smart phone, and other mail addresses and the IP (Internet Protocol) address of the home gateway 4 of the customer's house are included. The customer information is generated by the CPU 51 of the control device 5 and registered in the customer information table 541 based on the subscription procedure information transmitted from the personal computer, the smartphone or the like of the user who purchased the voice input device 3.

音声入力装置３を購入したユーザは、自宅のパソコン、スマートフォン等に予めインストールされた音声操作サービスを利用するためのアプリケーションプログラム（以下、音声操作アプリという。）を起動し、予め定められた加入手続操作を行う。これにより、上記の加入手続情報が、当該パソコン、スマートフォン等から制御装置５に送信される。上記の音声操作アプリは、制御装置５、その他のプログラム配布サーバ等から当該パソコン、スマートフォン等にダウンロードすることができる。   A user who purchases the voice input device 3 activates an application program (hereinafter, referred to as a voice operation application) for using a voice operation service preinstalled on a home personal computer, a smartphone, or the like, and a predetermined subscription procedure. Do the operation. As a result, the above-mentioned joining procedure information is transmitted to the control device 5 from the personal computer, smartphone or the like. The above-described voice operation application can be downloaded from the control device 5, other program distribution server, or the like to the personal computer, smartphone, or the like.

機器情報テーブル５４２は、各顧客宅の家電機器２、音声入力装置３に関する情報（以下、機器情報という。）が登録されるデータテーブルである。図７に示すように、機器情報には、機器ＩＤ、顧客ＩＤ、名称、設置場所、ＭＡＣアドレス、機能コード、消費電力１、消費電力２等が含まれている。機器情報は、音声操作サービスに加入したユーザのパソコン、スマートフォン等から送信された登録手続情報に基づいて、制御装置５のＣＰＵ５１により生成され機器情報テーブル５４２に登録される。   The device information table 542 is a data table in which information (hereinafter, referred to as device information) regarding the home electric appliances 2 and the voice input devices 3 in each customer's house is registered. As shown in FIG. 7, the device information includes a device ID, a customer ID, a name, an installation location, a MAC address, a function code, power consumption 1, power consumption 2, and the like. The device information is generated by the CPU 51 of the control device 5 and registered in the device information table 542 based on the registration procedure information transmitted from a personal computer, a smartphone or the like of a user who has subscribed to the voice operation service.

ユーザにより、自宅のパソコン、スマートフォン等にインストールされている上記の音声操作アプリが起動され、予め定められた登録手続操作が行われると、上記の登録手続情報が、当該パソコン、スマートフォン等から制御装置５に送信される。   When the user activates the above voice operation application installed on a personal computer, smartphone, etc. at home and performs a predetermined registration procedure operation, the above registration procedure information is transferred from the personal computer, smartphone, etc. to the control device. 5 is sent.

機器情報において、機能コードとは、当該家電機器２が備える機能と、後述する機能コードテーブル５４３とに基づいて、ＣＰＵ５１により付与されるコードである。   In the device information, the function code is a code given by the CPU 51 based on the function of the home electric appliance 2 and a function code table 543 described later.

消費電力１，２，…とは、当該家電機器２の各動作状態に応じた消費電力の値（単位は、Ｗ）である。例えば、エアコンのように、冷房、暖房、送風等、運転モードの種類により負荷が異なる家電機器２では、運転モードの種類等に基づいて、消費電力１，２，…として、各消費電力の値が格納される。このようにすることで、よりユースケースに応じた消費電力の値を採用することができる。制御装置５は、消費電力１，２，…に関する情報を、当該ユーザ宅に設置された図示しない電力計測装置から通信により取得したり、当該家電機器２から通信により取得することで、機器情報テーブル５４２に反映することができる。あるいは、制御装置５は、図示しないサーバから、当該家電機器２の定格電力に関する情報を通信により取得することで、当該家電機器２の消費電力１，２，…の各値を機器情報テーブル５４２に反映してもよい。   The power consumption 1, 2, ... Is a value (unit: W) of power consumption according to each operation state of the home electric appliance 2. For example, in an electric home appliance 2 such as an air conditioner that has a different load depending on the type of operation mode such as cooling, heating, and air blowing, the power consumption values are 1, 2, ... Is stored. By doing so, it is possible to adopt a value of power consumption more suited to the use case. The control device 5 obtains information about power consumption 1, 2, ... From a power measurement device (not shown) installed in the user's house by communication, or from the home electric appliance 2 by communication, thereby obtaining a device information table. This can be reflected in 542. Alternatively, the control device 5 obtains the information about the rated power of the home electric appliance 2 from a server (not shown) by communication, and stores the values of the power consumption 1, 2, ... Of the home electric appliance 2 in the device information table 542. May be reflected.

機能コードテーブル５４３は、図８に示すように、機能コード毎に、家電機器２の機能と、音声の内容とを対応付けたレコードが登録されたデータテーブルである。機能コードテーブル５４３は、家電機器２に機能コードを付与する際に使用される。例えば、エアコン１〜３は、“室内温度を下げる”機能と、“室内温度を上げる”機能とを備えるため、機能コード“１”，“２”が付与される。また、例えば、照明１，２は、“室内を明るくする”機能と、“室内を暗くする”機能とを備えるため、機能コード“３”，“４”が付与される。また、例えば、電動窓１、シャッター１は、“室内温度を下げる”機能と、“室内温度を上げる”機能と、“室内を明るくする”機能と、“室内を暗くする”機能とを備えるため、機能コード“１”〜“４”が付与される。なお、機能コードテーブル５４３に登録されている何れの機能も備えない家電機器２に対しては、機能コードは付与されない。   As shown in FIG. 8, the function code table 543 is a data table in which a record in which the function of the home electric appliance 2 and the content of voice are associated with each other is registered for each function code. The function code table 543 is used when assigning a function code to the home electric appliance 2. For example, since the air conditioners 1 to 3 have the function of "decreasing the room temperature" and the function of "increasing the room temperature", the function codes "1" and "2" are given. Further, for example, the illuminations 1 and 2 have the function of "brightening the room" and the function of "darkening the room", so that the function codes "3" and "4" are given. Further, for example, the electric window 1 and the shutter 1 have a function of “decreasing the room temperature”, a function of “increasing the room temperature”, a function of “brightening the room”, and a function of “darkening the room”. , Function codes “1” to “4” are given. Note that no function code is assigned to the home electric appliance 2 that does not have any of the functions registered in the function code table 543.

また、機能コードテーブル５４３は、ユーザの音声に対応する家電機器２、即ち、ユーザの環境に対する改善の要望に対応する家電機器２を同定する際に使用される。例えば、ユーザが発した音声の内容が、“暑い”を示す場合、ユーザの要望に対応する家電機器２として、機能コード“１”が付与された家電機器２、即ち、“室内温度を下げる”機能を備える家電機器２が同定される。また、例えば、ユーザが発した音声の内容が、“寒い”を示す場合、ユーザの要望に対応する家電機器２として、機能コード“２”が付与された家電機器２、即ち、“室内温度を上げる”機能を備える家電機器２が同定される。   Further, the function code table 543 is used when identifying the home electric appliance 2 corresponding to the user's voice, that is, the home electric appliance 2 corresponding to the user's request for improvement in the environment. For example, when the content of the voice uttered by the user indicates "hot", the electric home appliance 2 to which the function code "1" is assigned, that is, "reduce the room temperature" as the electric home appliance 2 corresponding to the user's request. The home electric appliance 2 having a function is identified. In addition, for example, when the content of the voice uttered by the user indicates "cold", the home electric appliance 2 assigned with the function code "2", that is, "indoor temperature The home electric appliance 2 having the function of “up” is identified.

また、例えば、ユーザが発した音声の内容が、“暗い”を示す場合、ユーザの要望に対応する家電機器２として、機能コード“３”が付与された家電機器２、即ち、“室内を明るくする”機能を備える家電機器２が同定される。また、例えば、ユーザが発した音声の内容が、“明るい”を示す場合、ユーザの要望に対応する家電機器２として、機能コード“４”が付与された家電機器２、即ち、“室内を暗くする”機能を備える家電機器２が同定される。   In addition, for example, when the content of the voice uttered by the user indicates “dark”, the home electric appliance 2 to which the function code “3” is assigned, that is, “the room is bright”, corresponds to the user's request. The home electric appliance 2 having the function of "doing" is identified. In addition, for example, when the content of the voice uttered by the user indicates “bright”, the home electric appliance 2 to which the function code “4” is assigned, that is, “darken the room” is set as the home electric appliance 2 corresponding to the user's request. The home electric appliance 2 having the function of "doing" is identified.

図１に戻り、気象サーバ６は、気象庁、気象事業者等によって運営されるデータサーバであって、気象情報を通信により提供する。気象サーバ６は、制御装置５とネットワークＮ２を介して通信可能に接続されており、ネットワークＮ２を介して制御装置５に気象情報を配信する。気象情報には、家屋Ｈを含む地域における現在の天気、気温、湿度、日射量等の情報が含まれている。   Returning to FIG. 1, the weather server 6 is a data server operated by the Meteorological Agency, a weather operator, etc., and provides weather information by communication. The weather server 6 is communicably connected to the control device 5 via the network N2, and delivers the weather information to the control device 5 via the network N2. The weather information includes information such as the current weather, temperature, humidity, and the amount of solar radiation in the area including the house H.

続いて、制御装置５の機能について説明する。制御装置５は、機能的には、図９に示すように、音声データ受信部５００と、位置特定部５０１と、音声認識部５０２と、機器制御部５０３と、機器状態取得部５０４と、気象情報取得部５０５と、問合せデータ送信部５０６と、制御指令送信部５０７と、応答データ受信部５０８と、結果データ送信部５０９とを備える。これらの機能部は、ＣＰＵ５１が補助記憶装置５４に記憶されている機器制御プログラム５４０を実行することで実現される。   Next, the function of the control device 5 will be described. As shown in FIG. 9, the control device 5 functionally includes a voice data receiving unit 500, a position specifying unit 501, a voice recognition unit 502, a device control unit 503, a device state acquisition unit 504, and a weather condition. An information acquisition unit 505, an inquiry data transmission unit 506, a control command transmission unit 507, a response data reception unit 508, and a result data transmission unit 509 are provided. These functional units are realized by the CPU 51 executing the device control program 540 stored in the auxiliary storage device 54.

音声データ受信部５００は、本発明に係る音声データ受信手段の一例である。音声データ受信部５００は、音声入力装置３からホームゲートウェイ４を介して送信された音声データを受信する。位置特定部５０１は、本発明に係るユーザ位置取得手段の一例である。位置特定部５０１は、当該音声入力装置３に対して発話したユーザの位置を特定する。   The voice data receiving section 500 is an example of voice data receiving means according to the present invention. The voice data receiving unit 500 receives voice data transmitted from the voice input device 3 via the home gateway 4. The position specifying unit 501 is an example of a user position acquisition unit according to the present invention. The position specifying unit 501 specifies the position of the user who speaks to the voice input device 3.

詳細には、位置特定部５０１は、当該音声データの送信元のホームゲートウェイ４のＩＰアドレスから顧客情報テーブル５４１を参照して、当該ユーザの顧客ＩＤを特定する。そして、位置特定部５０１は、特定した顧客ＩＤと、当該音声データに含まれる音声入力装置３のＭＡＣアドレスとから、機器情報テーブル５４２を参照して、当該ユーザの家屋Ｈにおける当該音声入力装置３が設置されている場所を特定する。位置特定部５０１は、特定した当該音声入力装置３が設置されている場所をユーザの位置として特定する。位置特定部５０１は、特定した当該ユーザの顧客ＩＤと、特定した位置に関する情報（以下、位置情報という。）と、当該ユーザ宅のホームゲートウェイ４のＩＰアドレスとを機器制御部５０３に通知する。   Specifically, the position identifying unit 501 identifies the customer ID of the user by referring to the customer information table 541 from the IP address of the home gateway 4 that is the transmission source of the voice data. Then, the position identifying unit 501 refers to the device information table 542 from the identified customer ID and the MAC address of the voice input device 3 included in the voice data, and refers to the voice input device 3 in the house H of the user. Identify where the is installed. The position specifying unit 501 specifies the place where the specified voice input device 3 is installed as the position of the user. The position specifying unit 501 notifies the device control unit 503 of the specified customer ID of the user, information on the specified position (hereinafter referred to as position information), and the IP address of the home gateway 4 of the user's house.

音声認識部５０２は、本発明に係る音声内容取得手段の一例である。音声認識部５０２は、音声データ受信部５００により受信された音声データを音声認識ＤＢを用いて公知の音声認識手法で解析し、ユーザが発した音声の内容を特定し、特定した音声の内容を示すテキストデータ（以下、音声内容データという。）を生成する。音声認識部５０２は、生成した音声内容データを機器制御部５０３に通知する。   The voice recognition unit 502 is an example of a voice content acquisition unit according to the present invention. The voice recognition unit 502 analyzes the voice data received by the voice data receiving unit 500 by a known voice recognition method using the voice recognition DB, identifies the content of the voice uttered by the user, and identifies the content of the identified voice. The text data shown below (hereinafter referred to as voice content data) is generated. The voice recognition unit 502 notifies the device control unit 503 of the generated voice content data.

機器制御部５０３は、ユーザが発した音声の内容に基づいて、当該ユーザの家屋Ｈにおける当該ユーザが居る場所に設置された何れかの家電機器２を制御する。詳細には、機器制御部５０３は、図１０に示すように、機器選択部５０３０と、対象機器決定部５０３１と、問合せデータ生成部５０３２と、制御指令生成部５０３３と、結果データ生成部５０３４とを備える。   The device control unit 503 controls one of the home electric devices 2 installed in the place where the user is in the house H of the user based on the content of the voice uttered by the user. Specifically, as shown in FIG. 10, the device control unit 503 includes a device selection unit 5030, a target device determination unit 5031, an inquiry data generation unit 5032, a control command generation unit 5033, and a result data generation unit 5034. Equipped with.

機器選択部５０３０は、本発明に係る機器選択手段の一例である。機器選択部５０３０は、音声認識部５０２から通知された音声内容データと、位置特定部５０１から通知された当該ユーザの位置情報等とに基づいて、当該ユーザの家屋Ｈに設置されている複数の家電機器２から制御対象の候補となる１又は複数の候補機器を選択する。詳細には、先ず、機器選択部５０３０は、位置特定部５０１から通知された顧客ＩＤと、位置情報とから機器情報テーブル５４２を参照して、ユーザが居る場所に設置された全ての家電機器２を特定する。例えば、当該ユーザ宅に設置された各家電機器２に対応する機器情報の内容が図７に示すような場合であって、当該ユーザがリビングに居る場合、機器選択部５０３０は、エアコン１、テレビ１、照明１及び電動窓１を、当該ユーザが居る場所に設置された家電機器２として特定する。   The device selection unit 5030 is an example of a device selection unit according to the present invention. The device selection unit 5030 is based on the voice content data notified from the voice recognition unit 502, the position information of the user notified from the position identification unit 501, and the like, and is installed in the house H of the user. One or a plurality of candidate devices that are candidates for the control target are selected from the home electric appliances 2. Specifically, first, the device selection unit 5030 refers to the device information table 542 based on the customer ID notified from the position identification unit 501 and the position information, and refers to all the home electric devices 2 installed in the place where the user is. Specify. For example, when the content of the device information corresponding to each home electric device 2 installed in the user's home is as shown in FIG. 7 and the user is in the living room, the device selection unit 5030 causes the air conditioner 1, the TV 1, the lighting 1 and the electric window 1 are specified as the home appliances 2 installed in the place where the user is.

次に、機器選択部５０３０は、音声内容データから機能コードテーブル５４３を参照して、当該ユーザが発話した音声の内容に対応する家電機器２の機能コードを取得する。そして、機器選択部５０３０は、特定した全ての家電機器２の内から、取得した機能コードと一致する家電機器２を候補機器として選択する。例えば、音声内容データが“暑い”を示す場合、機器選択部５０３０は、エアコン１、テレビ１、照明１、電動窓１の内から、エアコン１と電動窓１を候補機器として選択する。   Next, the device selection unit 5030 refers to the function code table 543 from the voice content data, and acquires the function code of the home electric device 2 corresponding to the content of the voice uttered by the user. Then, the device selection unit 5030 selects, as a candidate device, the home electric appliance 2 that matches the acquired function code from all the specified home electric appliances 2. For example, when the audio content data indicates “hot”, the device selection unit 5030 selects the air conditioner 1 and the electric window 1 as candidate devices from the air conditioner 1, the television 1, the lighting 1, and the electric window 1.

機器状態取得部５０４は、本発明に係る機器状態取得手段の一例である。機器状態取得部５０４は、機器選択部５０３０により選択された各候補機器の現在の動作状態を取得する。詳細には、各候補機器に対して、動作状態を要求するデータ（以下、動作状態要求データという。）を送信する。そして、機器状態取得部５０４は、かかる動作状態要求データに応答して各候補機器から送られてきた動作状態データを受信する。受信した動作状態データには、当該候補機器の現在の動作状態を示す情報が格納されている。機器状態取得部５０４は、取得した各候補機器の動作状態を機器制御部５０３に通知する。   The device status acquisition unit 504 is an example of a device status acquisition unit according to the present invention. The device status acquisition unit 504 acquires the current operation status of each candidate device selected by the device selection unit 5030. Specifically, data requesting an operating state (hereinafter referred to as operating state request data) is transmitted to each candidate device. Then, the device state acquisition unit 504 receives the operation state data sent from each candidate device in response to the operation state request data. Information indicating the current operating state of the candidate device is stored in the received operating state data. The device status acquisition unit 504 notifies the device control unit 503 of the acquired operation status of each candidate device.

気象情報取得部５０５は、本発明に係る気象情報取得手段の一例である。気象情報取得部５０５は、気象サーバ６から気象情報を取得する。詳細には、気象情報取得部５０５は、気象サーバ６に気象情報を要求するデータ（以下、気象情報要求データという。）を送信する。そして、気象情報取得部５０５は、かかる気象情報要求データに応答して気象サーバ６から送られてきた気象情報を受信して取得する。気象情報取得部５０５は、取得した気象情報を機器制御部５０３に通知する。   The weather information acquisition unit 505 is an example of weather information acquisition means according to the present invention. The weather information acquisition unit 505 acquires weather information from the weather server 6. Specifically, the weather information acquisition unit 505 transmits data requesting weather information (hereinafter referred to as weather information request data) to the weather server 6. Then, the weather information acquisition unit 505 receives and acquires the weather information sent from the weather server 6 in response to the weather information request data. The weather information acquisition unit 505 notifies the device control unit 503 of the acquired weather information.

機器制御部５０３の対象機器決定部５０３１は、本発明に係る対象機器決定手段の一例である。対象機器決定部５０３１は、音声認識部５０２から通知された音声内容データと、機器情報テーブル５４２と、機器状態取得部５０４から通知された各候補機器の現在の動作状態と、気象情報取得部５０５から通知された気象情報と、現在の時刻等との各情報に基づいて、何れか１つの候補機器を制御対象となる対象機器として決定する。その際、対象機器決定部５０３１は、音声内容データで示されるユーザの要望を適えつつ、より省エネルギー化が図れる候補機器を対象機器として決定する。   The target device determination unit 5031 of the device control unit 503 is an example of target device determination means according to the present invention. The target device determination unit 5031 includes the voice content data notified from the voice recognition unit 502, the device information table 542, the current operation state of each candidate device notified from the device state acquisition unit 504, and the weather information acquisition unit 505. Any one of the candidate devices is determined as a target device to be controlled, based on the weather information notified from, and the current time and the like. At that time, the target device determination unit 5031 determines, as the target device, a candidate device capable of further saving energy while satisfying the user's request indicated by the voice content data.

詳細には、対象機器決定部５０３１は、候補機器の内から、機器情報テーブル５４２で保持される消費電力の情報に基づいて、消費電力がより小さい家電機器２を選定する。その際、例えば、当該家電機器２がエアコンの場合、室内を冷やすために冷房運転にするか、あるいは、消費電力が小さい送風運転にするか等、室内外の温度状態と当該家電機器２の運転モードとを考慮して、上記の選定を行う。また、対象機器決定部５０３１は、候補機器の内、動作状態がユーザの要望と逆行しているものがあるか否かについても確認する。例えば、ユーザが“暑い”と発話した場合、当該ユーザが居る部屋のエアコンが暖房運転を行っている場合には、当該エアコンの運転を停止することも室温を下げる手段として選択することができる。   Specifically, the target device determining unit 5031 selects the home electric appliance 2 having a smaller power consumption from the candidate devices based on the power consumption information held in the device information table 542. At that time, for example, in the case where the household electric appliance 2 is an air conditioner, whether the air-conditioning operation is performed to cool the room or the ventilation operation with low power consumption is performed. The above selection is performed in consideration of the mode. Further, the target device determination unit 5031 also confirms whether or not, among the candidate devices, the operating state is in reverse to the user's request. For example, when the user utters "hot", and when the air conditioner in the room in which the user is present is performing heating operation, stopping the operation of the air conditioner can also be selected as a means for lowering the room temperature.

以下、具体例として、ユーザがＡＩスピーカ１に対して、“暑い”と発話したケース（ケースＡ）と、ユーザがＡＩスピーカ２に対して、“暗い”と発話したケース（ケースＢ）について説明する。   Hereinafter, as specific examples, a case in which the user utters “hot” to the AI speaker 1 (case A) and a case in which the user utters “dark” to the AI speaker 2 (case B) are described. To do.

＜ケースＡ＞
外気温がリビングの室温より低く、天候が雨以外であり、且つ、電動窓１の現在の動作状態が“閉”状態である場合、対象機器決定部５０３１は、電動窓１を対象機器として決定する。一方、外気温がリビングの室温以上、天候が雨、又は、電動窓１の現在の動作状態が“開”状態である場合、対象機器決定部５０３１は、エアコン１を対象機器として決定する。 <Case A>
When the outside temperature is lower than the room temperature of the living room, the weather is other than rain, and the current operating state of the electric window 1 is the “closed” state, the target device determination unit 5031 determines the electric window 1 as the target device. To do. On the other hand, when the outside air temperature is equal to or higher than the room temperature of the living room, the weather is rain, or the current operating state of the electric window 1 is the “open” state, the target device determination unit 5031 determines the air conditioner 1 as the target device.

＜ケースＢ＞
日中で、天候が晴れであり、且つ、シャッター１の現在の動作状態が“閉”状態である場合、対象機器決定部５０３１は、シャッター１を対象機器として決定する。一方、日中以外、天候が晴れ以外、又は、シャッター１の現在の動作状態が“開”状態である場合、対象機器決定部５０３１は、照明２を対象機器として決定する。 <Case B>
In the daytime, when the weather is fine and the current operating state of the shutter 1 is the “closed” state, the target device determination unit 5031 determines the shutter 1 as the target device. On the other hand, when it is not during daytime, the weather is not sunny, or the current operation state of the shutter 1 is the "open" state, the target device determination unit 5031 determines the illumination 2 as the target device.

また、対象機器決定部５０３１は、対象機器の決定と共に、当該対象機器の制御内容を決定する。例えば、上記のケースＡにおいて、電動窓１を対象機器に決定した場合、対象機器決定部５０３１は、電動窓１を開状態にする制御を行うことを決定する。一方、エアコン１を対象機器に決定した場合、対象機器決定部５０３１は、エアコン１に冷房運転又は送風運転させる制御を行うことを決定する。   Further, the target device determination unit 5031 determines the target device and the control content of the target device. For example, in the above case A, when the electric window 1 is determined as the target device, the target device determination unit 5031 determines to perform control to open the electric window 1. On the other hand, when the air conditioner 1 is determined as the target device, the target device determination unit 5031 determines to perform control for causing the air conditioner 1 to perform the cooling operation or the air blowing operation.

また、例えば、上記のケースＢにおいて、シャッター１を対象機器に決定した場合、対象機器決定部５０３１は、シャッター１を開状態にする制御を行うことを決定する。一方、照明２を対象機器に決定した場合、対象機器決定部５０３１は、照明２を点灯する制御を行うことを決定する。   Further, for example, in the above case B, when the shutter 1 is determined as the target device, the target device determination unit 5031 determines to perform control to open the shutter 1. On the other hand, when the illumination 2 is determined as the target device, the target device determination unit 5031 determines to perform control to turn on the illumination 2.

問合せデータ生成部５０３２は、対象機器決定部５０３１により決定された対象機器及びその制御内容に基づく制御の提案の認否をユーザに問い合わせるための問合せデータを生成する。詳細には、問合せデータ生成部５０３２は、対象機器決定部５０３１により決定された対象機器の名称と決定された制御内容とから、公知の音声合成処理によりデジタル音声データを生成し、生成したデジタル音声データが格納された問合せデータを生成する。例えば、問合せデータ生成部５０３２は、“リビングの電動窓を開けてもよろしいでしょうか”との音声を示すデジタル音声データを生成する。   The inquiry data generation unit 5032 generates inquiry data for inquiring of the user about approval or rejection of the control proposal based on the target device determined by the target device determination unit 5031 and the control content thereof. Specifically, the inquiry data generation unit 5032 generates digital voice data by a known voice synthesis process from the name of the target device determined by the target device determination unit 5031 and the determined control content, and generates the generated digital voice. Generate query data that contains the data. For example, the inquiry data generation unit 5032 generates digital voice data indicating a voice, "Are you sure you want to open the electric window in the living room?"

問合せデータ送信部５０６は、本発明に係る問合せデータ送信手段の一例である。問合せデータ送信部５０６は、問合せデータ生成部５０３２により生成された問合せデータを、先に受信した音声データの送信元の音声入力装置３（例えば、ＡＩスピーカ１）に対して送信する。問合せデータ生成部５０３２及び問合せデータ送信部５０６は、本発明に係る問合せ手段の一例である。   The inquiry data transmitting unit 506 is an example of inquiry data transmitting means according to the present invention. The inquiry data transmitting unit 506 transmits the inquiry data generated by the inquiry data generating unit 5032 to the voice input device 3 (for example, the AI speaker 1) that is the transmission source of the voice data received previously. The inquiry data generation unit 5032 and the inquiry data transmission unit 506 are an example of an inquiry unit according to the present invention.

上記の問合せデータに応答して、当該音声入力装置３から、制御の提案を認めない旨の音声データが送信されると、対象機器決定部５０３１は、残りの候補機器の内から、ユーザの要望と、省エネルギー化の観点から最も適したものを新たな対象機器として決定し、その制御内容を決定する。そして、問合せデータ生成部５０３２は、対象機器決定部５０３１により決定された対象機器及びその制御内容に基づいて問合せデータを生成し、問合せデータ送信部５０６は、問合せデータ生成部５０３２により生成された問合せデータを、当該音声入力装置３に送信する。   When, in response to the inquiry data, voice data indicating that the control proposal is not accepted is transmitted from the voice input device 3, the target device determination unit 5031 selects the user's request from the remaining candidate devices. Then, from the viewpoint of energy saving, the most suitable one is determined as a new target device, and its control content is determined. Then, the inquiry data generation unit 5032 generates inquiry data based on the target device determined by the target device determination unit 5031 and the control content thereof, and the inquiry data transmission unit 506 generates the inquiry data generated by the inquiry data generation unit 5032. The data is transmitted to the voice input device 3.

一方、送信した問合せデータに応答して、当該音声入力装置３から、制御の提案を認める旨の音声データが送信されると、制御指令生成部５０３３は、対象機器決定部５０３１によって決定された対象機器及び制御内容に基づいて、当該対象機器に対する制御指令を生成する。制御指令送信部５０７は、制御指令生成部５０３３により生成された制御指令を当該対象機器に送信する。制御指令生成部５０３３は、本発明に係る制御指令生成手段の一例であり、制御指令送信部５０７は、本発明に係る制御指令送信手段の一例である。   On the other hand, in response to the transmitted inquiry data, when the voice data indicating that the control proposal is accepted is transmitted from the voice input device 3, the control command generation unit 5033 causes the target device determination unit 5031 to determine the target. A control command for the target device is generated based on the device and the control content. The control command transmitter 507 transmits the control command generated by the control command generator 5033 to the target device. The control command generation unit 5033 is an example of the control command generation unit according to the present invention, and the control command transmission unit 507 is an example of the control command transmission unit according to the present invention.

応答データ受信部５０８は、制御指令送信部５０７により制御指令が送信された後、当該対象機器から送られてくる応答データを受信する。かかる応答データには、制御指令に従った動作を行ったか否かを示す情報が含まれている。応答データに、制御指令に従った動作を行ったことを示す情報が含まれている場合、応答データ受信部５０８は、対象機器から正常応答が返ってきたことを機器制御部５０３の結果データ生成部５０３４に通知する。   The response data receiving unit 508 receives the response data sent from the target device after the control command is sent by the control command sending unit 507. The response data includes information indicating whether the operation according to the control command is performed. When the response data includes the information indicating that the operation according to the control command is performed, the response data receiving unit 508 generates the result data of the device control unit 503 that the normal response is returned from the target device. Notify the unit 5034.

一方、応答データに、制御指令に従った動作を行っていないことを示す情報が含まれている場合、応答データ受信部５０８は、対象機器から正常応答が返ってこなかったことを結果データ生成部５０３４に通知する。また、応答データ受信部５０８は、制御指令が対象機器に送信された後、予め定めた時間が経過しても当該対象機器から応答データを受信できなかった場合、対象機器から正常応答が返ってこなかったことを結果データ生成部５０３４に通知する。   On the other hand, when the response data includes the information indicating that the operation according to the control command is not performed, the response data receiving unit 508 determines that the normal response is not returned from the target device. Notify 5034. In addition, the response data receiving unit 508 returns a normal response from the target device if the response data cannot be received from the target device even after a lapse of a predetermined time after the control command is transmitted to the target device. The result data generation unit 5034 is notified of the absence.

結果データ生成部５０３４は、応答データ受信部５０８からの通知内容に基づいて、制御結果をユーザに通知するための結果データを生成する。詳細には、応答データ受信部５０８からの通知内容が、対象機器から正常応答が返ってきたことを示す場合、結果データ生成部５０３４は、当該対象機器の名称と、制御内容とから、公知の音声合成処理によりデジタル音声データを生成し、生成したデジタル音声データが格納された結果データを生成する。例えば、結果データ生成部５０３４は、“リビングの電動窓を開けました”との音声を示すデジタル音声データを生成する。   The result data generation unit 5034 generates result data for notifying the user of the control result based on the notification content from the response data reception unit 508. Specifically, when the notification content from the response data receiving unit 508 indicates that a normal response has been returned from the target device, the result data generating unit 5034 uses the known name from the target device and the control content. Digital voice data is generated by voice synthesis processing, and result data in which the generated digital voice data is stored is generated. For example, the result data generation unit 5034 generates digital voice data indicating the voice "I opened the electric window in the living room."

一方、応答データ受信部５０８からの通知内容が、対象機器から正常応答が返ってこなかったことを示す場合、結果データ生成部５０３４は、“操作できません”との音声を示すデジタル音声データを生成し、生成したデジタル音声データが格納された結果データを生成する。   On the other hand, when the content of the notification from the response data receiving unit 508 indicates that the target device does not return the normal response, the result data generating unit 5034 generates digital voice data indicating the voice "Operation not possible". , To generate result data in which the generated digital audio data is stored.

結果データ送信部５０９は、結果データ生成部５０３４により生成された結果データを、当該音声入力装置３に対して送信する。   The result data transmitting unit 509 transmits the result data generated by the result data generating unit 5034 to the voice input device 3.

図１１は、制御装置５が実行する機器制御処理の手順を示すフローチャートである。音声入力装置３から送信された音声データを受信すると（ステップＳ１０１：ＹＥＳ）、位置特定部５０１は、当該音声入力装置３に対して発話したユーザの位置を特定する（ステップＳ１０２）。   FIG. 11 is a flowchart showing a procedure of device control processing executed by the control device 5. When the voice data transmitted from the voice input device 3 is received (step S101: YES), the position specifying unit 501 specifies the position of the user who uttered the voice input device 3 (step S102).

音声認識部５０２は、受信された音声データを音声認識ＤＢを用いて公知の音声認識手法で解析し、ユーザが発した音声の内容を特定する（ステップＳ１０３）。ユーザが発した音声の内容が、例えば、“暑い”、“暗い”等といった家電機器２に対する制御の要望を示す場合（ステップＳ１０４；ＹＥＳ）、機器選択部５０３０は、当該ユーザの家屋Ｈに設置されている複数の家電機器２から制御対象の候補となる１又は複数の候補機器を選択する（ステップＳ１０５）。一方、ユーザが発した音声の内容が、制御の提案に対する回答を示す場合（ステップＳ１０４；ＮＯ）、ステップＳ１１１に移行する。   The voice recognition unit 502 analyzes the received voice data by a known voice recognition method using the voice recognition DB, and specifies the content of the voice uttered by the user (step S103). When the content of the voice uttered by the user indicates a request for control of the home electric appliance 2 such as “hot” or “dark” (step S104; YES), the device selection unit 5030 is installed in the house H of the user. One or a plurality of candidate devices that are candidates for the control target are selected from the plurality of stored home appliances 2 (step S105). On the other hand, when the content of the voice uttered by the user indicates an answer to the control proposal (step S104; NO), the process proceeds to step S111.

機器状態取得部５０４は、各候補機器の現在の動作状態を取得する（ステップＳ１０６）。また、気象情報取得部５０５は、気象サーバ６から気象情報を取得する（ステップＳ１０７）。対象機器決定部５０３１は、ユーザが発した音声の内容と、機器情報テーブル５４２と、各候補機器の現在の動作状態と、気象情報と、現在の時刻等との各情報に基づいて、制御対象となる対象機器と、その制御内容とを決定する対象機器決定処理を実行する（ステップＳ１０８）。   The device status acquisition unit 504 acquires the current operation status of each candidate device (step S106). The weather information acquisition unit 505 also acquires weather information from the weather server 6 (step S107). The target device determining unit 5031 controls the target based on the contents of the voice uttered by the user, the device information table 542, the current operating state of each candidate device, the weather information, the current time, and the like. Target device determination processing for determining the target device and the control content thereof is executed (step S108).

図１２は、対象機器決定処理の手順を示すフローチャートである。対象機器決定部５０３１は、機器選択部５０３０が選択した全ての候補機器の内、動作状態がユーザの要望と逆行しているものがあるか否かを判定する（ステップＳ２０１）。ユーザの要望と逆行した動作状態の候補機器がある場合（ステップＳ２０１；ＹＥＳ）、対象機器決定部５０３１は、当該候補機器を対象機器として決定し、当該動作を停止させる制御を行うことを決定する（ステップＳ２０２）。その後、図１１のフローチャートのステップＳ１０９に移行する。例えば、候補機器であるエアコンが暖房運転を行っているときに、ユーザが発した音声の内容が“暑い”である場合、対象機器決定部５０３１は、当該エアコンの運転を停止させる制御を行う。   FIG. 12 is a flowchart showing the procedure of target device determination processing. The target device determination unit 5031 determines whether or not the operation state of all the candidate devices selected by the device selection unit 5030 is reverse to the user's request (step S201). When there is a candidate device in an operation state that runs counter to the user's request (step S201; YES), the target device determination unit 5031 determines the candidate device as a target device and determines to perform control to stop the operation. (Step S202). Then, the process proceeds to step S109 in the flowchart of FIG. For example, when the content of the voice uttered by the user is “hot” when the air conditioner that is the candidate device is performing heating operation, the target device determination unit 5031 performs control to stop the operation of the air conditioner.

一方、ユーザの要望と逆行した動作状態の候補機器がない場合（ステップＳ２０１；ＮＯ）、対象機器決定部５０３１は、ユーザの要望に適う機能での動作を最も小さい消費電力で行うことができる候補機器を抽出する（ステップＳ２０３）。対象機器決定部５０３１は、抽出した候補機器における当該動作が、現在の気象状況の下で不適切か否かを判定する（ステップＳ２０４）。抽出した候補機器の当該動作が現在の気象状況の下で不適切な場合（ステップＳ２０４；ＹＥＳ）、ステップＳ２０３に戻る。例えば、雨が降っている場合、電動窓１の“開”状態となる動作は不適切であると判定される。一方、抽出した候補機器の当該動作が現在の気象状況の下で不適切ではない場合（ステップＳ２０４；ＮＯ）、対象機器決定部５０３１は、当該候補機器の制御が可能であるか否かを判定する（ステップＳ２０５）。   On the other hand, when there is no candidate device whose operation state is in the opposite direction to the user's request (step S201; NO), the target device determining unit 5031 is a candidate that can perform an operation with a function that meets the user's request with the smallest power consumption. A device is extracted (step S203). The target device determination unit 5031 determines whether or not the operation of the extracted candidate device is inappropriate under the current weather conditions (step S204). If the operation of the extracted candidate device is inappropriate under the current weather conditions (step S204; YES), the process returns to step S203. For example, when it is raining, it is determined that the operation of bringing the electric window 1 into the “open” state is inappropriate. On the other hand, if the operation of the extracted candidate device is not inappropriate under the current weather conditions (step S204; NO), the target device determination unit 5031 determines whether the candidate device can be controlled. Yes (step S205).

対象機器決定部５０３１は、当該候補機器が既に当該動作を行っている場合、当該候補機器の制御が可能でないと判定し、当該候補機器が当該動作を行っていない場合、当該候補機器の制御が可能であると判定する。具体的には、例えば、当該候補機器がシャッター１であり、ユーザの要望に適う機能での動作が、開状態となる動作であって、現在のシャッター１の動作状態が、開状態である場合、対象機器決定部５０３１は、当該候補機器の制御が可能でないと判定する。当該候補機器の制御が可能でない場合（ステップＳ２０５；ＮＯ）、ステップＳ２０３に戻る。一方、当該候補機器の制御が可能である場合（ステップＳ２０５；ＹＥＳ）、対象機器決定部５０３１は、当該候補機器を対象機器として決定し、当該動作を行わせる制御を行うことを決定する（ステップＳ２０６）。その後、図１１のフローチャートのステップＳ１０９に移行する。   When the candidate device has already performed the operation, the target device determination unit 5031 determines that the candidate device cannot be controlled, and when the candidate device does not perform the operation, the candidate device is controlled. Determined to be possible. Specifically, for example, when the candidate device is the shutter 1 and the operation of the function that meets the user's request is the open state, and the current operation state of the shutter 1 is the open state. The target device determination unit 5031 determines that the candidate device cannot be controlled. When the control of the candidate device is not possible (step S205; NO), the process returns to step S203. On the other hand, when the candidate device can be controlled (step S205; YES), the target device determination unit 5031 determines the candidate device as the target device and determines to perform the control to perform the operation (step). S206). Then, the process proceeds to step S109 in the flowchart of FIG.

図１１のフローチャートに戻り、問合せデータ生成部５０３２は、対象機器決定処理で決定された対象機器及びその制御内容に基づく制御の提案の認否をユーザに問い合わせるための問合せデータを生成する（ステップＳ１０９）。問合せデータ送信部５０６は、問合せデータ生成部５０３２により生成された問合せデータを、先に受信した音声データの送信元の音声入力装置３に対して送信する（ステップＳ１１０）。その後、ステップＳ１０１に戻る。   Returning to the flowchart of FIG. 11, the inquiry data generation unit 5032 generates inquiry data for inquiring of the user whether the target device determined in the target device determination process and the control proposal based on the control content thereof is instructed to the user (step S109). . The inquiry data transmitting unit 506 transmits the inquiry data generated by the inquiry data generating unit 5032 to the voice input device 3 which is the transmission source of the voice data received previously (step S110). Then, it returns to step S101.

ステップＳ１１１では、機器制御部５０３は、ユーザからの回答が了承を示すか否かを判別する。ユーザからの回答が了承を示さない場合（ステップＳ１１１；ＮＯ）、ステップＳ１０８に戻り、対象機器決定部５０３１は、新たな対象機器とその制御内容を決定する。   In step S111, the device control unit 503 determines whether the answer from the user indicates approval. When the response from the user does not indicate approval (step S111; NO), the process returns to step S108, and the target device determination unit 5031 determines a new target device and its control content.

一方、ユーザからの回答が了承を示す場合（ステップＳ１１１；ＹＥＳ）、制御指令生成部５０３３は、当該対象機器に対する制御指令を生成する（ステップＳ１１２）。制御指令送信部５０７は、制御指令生成部５０３３により生成された制御指令を当該対象機器に送信する（ステップＳ１１３）。   On the other hand, when the response from the user indicates approval (step S111; YES), the control command generation unit 5033 generates a control command for the target device (step S112). The control command transmission unit 507 transmits the control command generated by the control command generation unit 5033 to the target device (step S113).

以上説明したように、本実施の形態に係る機器制御システム１では、ユーザは、音声入力装置３に対して、家電機器２に対する制御の要望を示す音声を発話すると、制御装置５は、当該ユーザの居る場所に設置され、ユーザの要望に沿った動作が可能な機能を備えた１又は複数の家電機器２（即ち、１又は複数の候補機器）の内から、ユーザの要望を適えつつ、より省エネルギー化が図れる家電機器２を対象機器として決定する。   As described above, in the device control system 1 according to the present embodiment, when the user utters the voice indicating the control request for the home electric appliance 2 to the voice input device 3, the control device 5 notifies the user. While meeting the user's request from among one or a plurality of home electric appliances 2 (that is, one or a plurality of candidate devices) having a function capable of operating in accordance with the user's request, The home electric appliance 2 capable of further energy saving is determined as a target device.

したがって、ユーザの利便性と省エネルギー化の両立を図った音声操作サービスを提供することが可能となる。   Therefore, it is possible to provide a voice operation service that achieves both user convenience and energy saving.

また、決定した対象機器及びその制御内容の認否をユーザに問い合わせるため、ユーザの意図しない制御の実行は回避される。なお、このような制御装置５の問合せ機能について、有効／無効にする設定を、ユーザは、パソコン、スマートフォン等を介した操作により適宜変更できるようにしてもよい。例えば、ユーザにより問合せ機能が無効に設定されている場合、制御装置５は、ユーザに問い合わせることなく、決定した対象機器を決定した制御内容で制御してもよい。   In addition, since the user is inquired about the approval or disapproval of the determined target device and its control content, execution of control not intended by the user is avoided. The user may be allowed to appropriately change the setting for enabling / disabling the inquiry function of the control device 5 through an operation via a personal computer, a smartphone, or the like. For example, when the inquiry function is disabled by the user, the control device 5 may control the determined target device with the determined control content without inquiring the user.

本発明は、上記の実施の形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。   The present invention is not limited to the above embodiment, and various modifications can of course be made without departing from the gist of the present invention.

例えば、他の実施の形態の機器制御システム１においては、制御装置５は、音声データ受信部５００と音声認識部５０２とを備えず、ネットワークＮ２に接続される図示しない音声認識サーバにより、音声データ受信部５００及び音声認識部５０２と同様の処理が実行されるようにしてもよい。詳細には、当該音声認識サーバは、音声入力装置３からの音声データを受信し、受信した音声データを解析して、ユーザが発した音声の内容を特定し、特定した音声の内容を示すテキストデータ（即ち、音声内容データ）を含む音声認識情報を制御装置５に送信する。制御装置５は、音声認識サーバから音声認識情報を受信するための図示しない音声認識情報受信部を備える。音声認識情報受信部は、本発明に係る音声内容取得手段の他の例である。音声認識情報には、制御装置５において当該ユーザを特定できる情報（例えば、顧客ＩＤ）と、当該音声入力装置３の設置場所に関する情報とが含まれる。なお、音声入力装置３の設置場所に関する情報の代わりに、制御装置５において当該音声入力装置３を特定できる情報（例えば、ＭＡＣアドレス）が含まれるようにしてもよい。   For example, in the device control system 1 according to another embodiment, the control device 5 does not include the voice data receiving unit 500 and the voice recognizing unit 502, and a voice recognizing server (not shown) connected to the network N2 causes voice data to be transmitted. Processing similar to that of the reception unit 500 and the voice recognition unit 502 may be executed. Specifically, the voice recognition server receives voice data from the voice input device 3, analyzes the received voice data, identifies the content of the voice uttered by the user, and a text indicating the content of the identified voice. The voice recognition information including the data (that is, the voice content data) is transmitted to the control device 5. The control device 5 includes a voice recognition information receiving unit (not shown) for receiving voice recognition information from the voice recognition server. The voice recognition information receiving unit is another example of the voice content acquisition means according to the present invention. The voice recognition information includes information that allows the control device 5 to identify the user (for example, a customer ID) and information about the installation location of the voice input device 3. It should be noted that instead of the information on the installation location of the voice input device 3, the control device 5 may include information (for example, a MAC address) by which the voice input device 3 can be specified.

また、上記の実施の形態に係る制御装置５の少なくとも一部の機能が、ホームゲートウェイ４で実現されてもよい。このようにすると、制御装置５の処理負荷が軽減されるため、より多くの顧客に対して音声操作サービスを提供することが可能となる。   Moreover, at least a part of the functions of the control device 5 according to the above-described embodiment may be realized by the home gateway 4. In this way, the processing load on the control device 5 is reduced, and it is possible to provide the voice operation service to more customers.

また、ホームゲートウェイ４の機能が、音声入力装置３で実現されてもよい。また、各家電機器２が、ホームゲートウェイ４を介さずにネットワークＮ２に接続される仕様であってもよい。   Further, the function of the home gateway 4 may be realized by the voice input device 3. Further, the specification may be such that each home electric appliance 2 is connected to the network N2 without going through the home gateway 4.

上記の実施の形態では、ＣＰＵ５１によって補助記憶装置５４に記憶されている機器制御プログラム５４０が実行されることで、制御装置５の機能部（図９、図１０参照）が実現された。しかし、制御装置５の機能部の全部又は一部が、専用のハードウェアで実現されるようにしてもよい。専用のハードウェアとは、例えば、単一回路、複合回路、プログラム化されたプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、又は、これらの組み合わせである。   In the above-described embodiment, the CPU 51 executes the device control program 540 stored in the auxiliary storage device 54, whereby the functional unit (see FIGS. 9 and 10) of the control device 5 is realized. However, all or some of the functional units of the control device 5 may be realized by dedicated hardware. The dedicated hardware is, for example, a single circuit, a composite circuit, a programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a combination thereof.

上記の実施の形態において、機器制御プログラム５４０は、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、光磁気ディスク（Magneto-Optical Disc）、ＵＳＢ（Universal Serial Bus）メモリ、メモリカード、ＨＤＤ等のコンピュータ読み取り可能な記録媒体に格納して配布することも可能である。そして、このように配布した機器制御プログラム５４０を特定の又は汎用のコンピュータにインストールすることによって、当該コンピュータを上記の実施の形態における制御装置５として機能させることも可能である。   In the above-described embodiment, the device control program 540 includes a CD-ROM (Compact Disc Read Only Memory), a DVD (Digital Versatile Disc), a magneto-optical disc (Magneto-Optical Disc), a USB (Universal Serial Bus) memory, and a memory. It is also possible to store it in a computer-readable recording medium such as a card or HDD and distribute it. By installing the device control program 540 thus distributed in a specific or general-purpose computer, it is possible to cause the computer to function as the control device 5 in the above-described embodiment.

また、機器制御プログラム５４０をインターネット上の図示しないサーバが有する記憶装置に格納しておき、当該サーバから制御装置５に機器制御プログラム５４０がダウンロードされるようにしてもよい。   Alternatively, the device control program 540 may be stored in a storage device included in a server (not shown) on the Internet, and the device control program 540 may be downloaded from the server to the control device 5.

本発明は、広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能である。また、上述した実施の形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。   The present invention can be variously modified and embodied without departing from the broad spirit and scope thereof. Further, the above-described embodiments are for explaining the present invention, and do not limit the scope of the present invention. In other words, the scope of the present invention is shown not by the embodiments but by the claims. Various modifications made within the scope of the claims and the scope of the invention equivalent thereto are considered to be within the scope of the present invention.

１ 機器制御システム、２（２ａ，２ｂ） 家電機器、３ 音声入力装置、４ ホームゲートウェイ、５ 制御装置、６ 気象サーバ、２０ メインユニット、２１，３３，５０ 通信インタフェース、２２，３４，５１ ＣＰＵ、２３，３５，５２ ＲＯＭ、２４，３６，５３ ＲＡＭ、２５，３７，５４ 補助記憶装置、２６，３８，５５ バス、３０ マイク、３１ Ａ／Ｄコンバータ、３２ スピーカ、３００ 音声入力部、３０１ 送信部、３０２ 受信部、３０３ 音声出力部、５００ 音声データ受信部、５０１ 位置特定部、５０２ 音声認識部、５０３ 機器制御部、５０４ 機器状態取得部、５０５ 気象情報取得部、５０６ 問合せデータ送信部、５０７ 制御指令送信部、５０８ 応答データ受信部、５０９ 結果データ送信部、５４０ 機器制御プログラム、５４１ 顧客情報テーブル、５４２ 機器情報テーブル、５４３ 機能コードテーブル、５０３０ 機器選択部、５０３１ 対象機器決定部、５０３２ 問合せデータ生成部、５０３３ 制御指令生成部、５０３４ 結果データ生成部   1 equipment control system, 2 (2a, 2b) household appliances, 3 voice input device, 4 home gateway, 5 control device, 6 weather server, 20 main unit, 21, 33, 50 communication interface, 22, 34, 51 CPU, 23, 35, 52 ROM, 24, 36, 53 RAM, 25, 37, 54 Auxiliary storage device, 26, 38, 55 bus, 30 microphone, 31 A / D converter, 32 speaker, 300 voice input section, 301 transmission section , 302 reception unit, 303 voice output unit, 500 voice data reception unit, 501 position specification unit, 502 voice recognition unit, 503 device control unit, 504 device state acquisition unit, 505 weather information acquisition unit, 506 inquiry data transmission unit, 507 Control command transmitter, 508 response data receiver, 509 result data transmitter, 540 Device control program, 541 Customer information table, 542 Device information table, 543 Function code table, 5030 Device selection unit, 5031 Target device determination unit, 5032 Query data generation unit, 5033 Control command generation unit, 5034 Result data generation unit

Claims (8)

建物に居るユーザが発した音声の内容を取得する音声内容取得手段と、
前記建物における前記ユーザの位置を示す位置情報を取得するユーザ位置取得手段と、
前記取得された音声の内容と、前記取得された位置情報とに基づいて、前記建物に設置されている複数の機器から制御対象の候補となる１又は複数の候補機器を選択する機器選択手段と、
前記各候補機器の内、前記取得された音声の内容に基づいて動作させた際の消費電力が最も小さい候補機器を制御対象の機器として決定すると共に、前記制御対象の機器の制御内容を決定する対象機器決定手段と、
前記決定された制御内容に基づいて、前記制御対象の機器に対する制御指令を生成する制御指令生成手段と、
前記生成された制御指令を前記制御対象の機器に送信する制御指令送信手段と、を備える、制御装置。 Voice content acquisition means for acquiring the content of the voice uttered by the user in the building,
User position acquisition means for acquiring position information indicating the position of the user in the building,
Device selection means for selecting one or more candidate devices that are candidates for a control target from a plurality of devices installed in the building, based on the acquired content of the voice and the acquired position information. ,
Among the candidate devices, the candidate device that consumes the least power when operated based on the content of the acquired voice is determined as the control target device, and the control content of the control target device is determined. Target device determination means,
Based on the determined control content, control command generation means for generating a control command for the device to be controlled,
And a control command transmitting unit that transmits the generated control command to the device to be controlled. 前記選択された各候補機器の動作状態を取得する機器状態取得手段をさらに備え、
前記対象機器決定手段は、前記各候補機器の動作状態も加味して、前記制御対象の機器及び当該制御対象の機器の制御内容を決定する、請求項１に記載の制御装置。 Further comprising a device status acquisition unit for acquiring an operation status of each of the selected candidate devices,
The control device according to claim 1, wherein the target device determination unit determines the control content of the control target device and the control content of the control target device in consideration of the operating states of the candidate devices. 前記建物を含む地域の気象情報を取得する気象情報取得手段をさらに備え、
前記対象機器決定手段は、前記気象情報も加味して、前記制御対象の機器及び当該制御対象の機器の制御内容を決定する、請求項１又は２に記載の制御装置。 Further comprising weather information acquisition means for acquiring weather information of the area including the building,
The control device according to claim 1 or 2, wherein the target device determining unit determines the control target device and the control content of the control target device in consideration of the weather information. 前記対象機器決定手段により決定された制御対象の機器及び制御内容に基づく制御の提案の認否をユーザに問い合わせる問合せ手段をさらに備え、
前記制御指令生成手段は、ユーザが前記制御の提案を認めた場合に、前記制御対象の機器に対する制御指令を生成する、請求項１から３の何れか１項に記載の制御装置。 Further comprising an inquiry unit for inquiring of the user about approval or disapproval of the control proposal based on the control target device and the control content determined by the target device determination unit,
The control device according to any one of claims 1 to 3, wherein the control command generation unit generates a control command for the device to be controlled when the user approves the control proposal. 音声入力装置と、制御装置と、を備え、
前記音声入力装置は、
建物に居るユーザが発した音声を入力する入力手段と、
前記入力された音声に基づいた音声データを前記制御装置に送信する送信手段と、を備え、
前記制御装置は、
前記音声入力装置から前記音声データを受信する音声データ受信手段と、
前記受信された音声データを解析して、前記ユーザが発した音声の内容を取得する音声内容取得手段と、
前記建物における前記ユーザの位置を示す位置情報を取得するユーザ位置取得手段と、
前記取得された音声の内容と、前記取得された位置情報とに基づいて、前記建物に設置されている複数の機器から制御対象の候補となる１又は複数の候補機器を選択する機器選択手段と、
前記各候補機器の内、前記取得された音声の内容に基づいて動作させた際の消費電力が最も小さい候補機器を制御対象の機器として決定すると共に、前記制御対象の機器の制御内容を決定する対象機器決定手段と、
前記決定された制御内容に基づいて、前記制御対象の機器に対する制御指令を生成する制御指令生成手段と、
前記生成された制御指令を前記制御対象の機器に送信する制御指令送信手段と、を備える、機器制御システム。 A voice input device and a control device are provided,
The voice input device,
An input means for inputting a voice uttered by a user in the building,
Transmission means for transmitting voice data based on the input voice to the control device,
The control device is
Audio data receiving means for receiving the audio data from the audio input device,
Voice content acquisition means for analyzing the received voice data to obtain the content of the voice uttered by the user,
User position acquisition means for acquiring position information indicating the position of the user in the building,
Device selection means for selecting one or more candidate devices that are candidates for a control target from a plurality of devices installed in the building, based on the acquired content of the voice and the acquired position information. ,
Among the candidate devices, the candidate device that consumes the least power when operated based on the content of the acquired voice is determined as the control target device, and the control content of the control target device is determined. Target device determination means,
Based on the determined control content, control command generation means for generating a control command for the device to be controlled,
A device control system, comprising: a control command transmitting unit that transmits the generated control command to the device to be controlled. 前記対象機器決定手段により決定された制御対象の機器及び制御内容に基づく制御の提案の認否を前記ユーザに問い合わせるための問合せデータを前記音声入力装置に送信する問合せデータ送信手段をさらに備え、
前記制御指令生成手段は、前記音声入力装置から、前記ユーザが前記制御の提案を認める旨の応答が返ってきた場合に、前記制御対象の機器に対する制御指令を生成する、請求項５に記載の機器制御システム。 Further comprising an inquiry data transmitting unit for transmitting inquiry data for inquiring to the user whether to approve or reject the control proposal based on the device to be controlled and the control content determined by the target device determining unit,
6. The control command generation unit generates a control command for the device to be controlled, when a response indicating that the user approves the control proposal is returned from the voice input device. Equipment control system. 音声内容取得手段が、建物に居るユーザが発した音声の内容を取得し、
ユーザ位置取得手段が、前記建物における前記ユーザの位置を示す位置情報を取得し、
機器選択手段が、前記取得された音声の内容と、前記取得された位置情報とに基づいて、前記建物に設置されている複数の機器から制御対象の候補となる１又は複数の候補機器を選択し、
対象機器決定手段が、前記各候補機器の内、前記取得された音声の内容に基づいて動作させた際の消費電力が最も小さい候補機器を制御対象の機器として決定すると共に、前記制御対象の機器の制御内容を決定し、
制御指令生成手段が、前記決定された制御内容に基づいて、前記制御対象の機器に対する制御指令を生成し、
制御指令送信手段が、前記生成された制御指令を前記制御対象の機器に送信する、機器制御方法。 The voice content acquisition means acquires the content of the voice uttered by the user in the building,
User position acquisition means acquires position information indicating the position of the user in the building,
A device selection unit selects one or more candidate devices that are candidates for a control target from a plurality of devices installed in the building, based on the acquired voice content and the acquired position information. Then
The target device determining means determines, as the device to be controlled, the candidate device having the smallest power consumption when operated based on the content of the acquired voice among the candidate devices, and the device to be controlled. Control content of
Control command generation means, based on the determined control content, generates a control command for the device to be controlled,
A device control method, wherein the control command transmitting means transmits the generated control command to the device to be controlled. コンピュータを、
建物に居るユーザが発した音声の内容を取得する音声内容取得手段、
前記建物における前記ユーザの位置を示す位置情報を取得するユーザ位置取得手段、
前記取得された音声の内容と、前記取得された位置情報とに基づいて、前記建物に設置されている複数の機器から制御対象の候補となる１又は複数の候補機器を選択する機器選択手段、
前記各候補機器の内、前記取得された音声の内容に基づいて動作させた際の消費電力が最も小さい候補機器を制御対象の機器として決定すると共に、前記制御対象の機器の制御内容を決定する対象機器決定手段、
前記決定された制御内容に基づいて、前記制御対象の機器に対する制御指令を生成する制御指令生成手段、
前記生成された制御指令を前記制御対象の機器に送信する制御指令送信手段、として機能させる、プログラム。 Computer,
A voice content acquisition means for acquiring the content of the voice uttered by the user in the building,
User position acquisition means for acquiring position information indicating the position of the user in the building,
A device selection unit that selects one or more candidate devices that are candidates for a control target from a plurality of devices installed in the building, based on the acquired content of the voice and the acquired position information,
Among the candidate devices, the candidate device that consumes the least power when operated based on the content of the acquired voice is determined as the control target device, and the control content of the control target device is determined. Target device determination means,
Control command generation means for generating a control command for the device to be controlled based on the determined control content,
A program that causes the generated control command to function as a control command transmitting unit that transmits the generated control command to the device to be controlled.
JP2018191861A 2018-10-10 2018-10-10 Control apparatus, device control system, device control method and program Pending JP2020060951A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018191861A JP2020060951A (en) 2018-10-10 2018-10-10 Control apparatus, device control system, device control method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018191861A JP2020060951A (en) 2018-10-10 2018-10-10 Control apparatus, device control system, device control method and program

Publications (1)

Publication Number Publication Date
JP2020060951A true JP2020060951A (en) 2020-04-16

Family

ID=70219958

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018191861A Pending JP2020060951A (en) 2018-10-10 2018-10-10 Control apparatus, device control system, device control method and program

Country Status (1)

Country Link
JP (1) JP2020060951A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020089241A (en) * 2018-11-30 2020-06-04 パナソニックＩｐマネジメント株式会社 Power management system, power information system, interface system, control method, and program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005344940A (en) * 2004-05-31 2005-12-15 Tiger Vacuum Bottle Co Ltd Network appliance
JP2006235886A (en) * 2005-02-23 2006-09-07 Matsushita Electric Works Ltd Equipment monitoring control system
WO2013179769A1 (en) * 2012-05-28 2013-12-05 船井電機株式会社 Electronic apparatus, electronic apparatus system, and electronic apparatus control method
WO2014171144A1 (en) * 2013-04-19 2014-10-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Control method for household electrical appliance, household electrical appliance control system, and gateway
JP2017010176A (en) * 2015-06-18 2017-01-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ Device specifying method, device specifying apparatus, and program
WO2018085671A1 (en) * 2016-11-03 2018-05-11 Google Llc Focus session at a voice interface device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005344940A (en) * 2004-05-31 2005-12-15 Tiger Vacuum Bottle Co Ltd Network appliance
JP2006235886A (en) * 2005-02-23 2006-09-07 Matsushita Electric Works Ltd Equipment monitoring control system
WO2013179769A1 (en) * 2012-05-28 2013-12-05 船井電機株式会社 Electronic apparatus, electronic apparatus system, and electronic apparatus control method
WO2014171144A1 (en) * 2013-04-19 2014-10-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Control method for household electrical appliance, household electrical appliance control system, and gateway
JP2017010176A (en) * 2015-06-18 2017-01-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ Device specifying method, device specifying apparatus, and program
WO2018085671A1 (en) * 2016-11-03 2018-05-11 Google Llc Focus session at a voice interface device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020089241A (en) * 2018-11-30 2020-06-04 パナソニックＩｐマネジメント株式会社 Power management system, power information system, interface system, control method, and program
JP7117587B2 (en) 2018-11-30 2022-08-15 パナソニックＩｐマネジメント株式会社 Power management system, power information system, interface system, control method, and program

Similar Documents

Publication Publication Date Title
US10185534B2 (en) Control method, controller, and recording medium
US10985936B2 (en) Customized interface based on vocal input
JP6918215B2 (en) Equipment control system and equipment control method
US9825773B2 (en) Device control by speech commands with microphone and camera to acquire line-of-sight information
US11929844B2 (en) Customized interface based on vocal input
JP6140214B2 (en) CONTROL DEVICE, CONTROL DEVICE CONTROL METHOD, CONTROL SYSTEM, ENVIRONMENT CONTROL DEVICE, AND CONTROL PROGRAM
US11303955B2 (en) Video integration with home assistant
WO2020135487A1 (en) Method for dynamically building environment conditioning rule list in smart home, and device
TW201417539A (en) Gateway, smart home system and smart control method of home appliance thereof
US20210201910A1 (en) VOICE OPERATION ASSISTANCE SYSTEM, VOICE PROCESSING DEVICE, AND VOICE OPERATION ASSISTANCE DEVICE (as amended)
WO2020107698A1 (en) Air-conditioning device control method and air-conditioning device
JP2020060951A (en) Control apparatus, device control system, device control method and program
CN110661888A (en) Voice control method and device for household appliance and readable storage medium
JP2005086473A (en) Controller, program and storage medium
JPWO2018158894A1 (en) Air conditioning control device, air conditioning control method and program
CN112213964B (en) Control system and method based on intelligent sound box
JP6927237B2 (en) Air conditioning system
JP2021047012A (en) Air-conditioning system
JP7236919B2 (en) VOICE INPUT DEVICE, VOICE OPERATION SYSTEM, VOICE OPERATION METHOD AND PROGRAM
KR20200062623A (en) Electronic device and method for controlling another electonic device thereof
US20240187276A1 (en) Multi-Source Smart-Home Device Control
US20210035578A1 (en) Control information obtaining system and control information obtaining method
JP2020057857A (en) Data management device, device control system, data management method, and program
JP2021071682A (en) Appliance operation system, appliance operation method, information processing device, and computer program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230307