JP2021071682A - Appliance operation system, appliance operation method, information processing device, and computer program - Google Patents

Appliance operation system, appliance operation method, information processing device, and computer program Download PDF

Info

Publication number
JP2021071682A
JP2021071682A JP2019199878A JP2019199878A JP2021071682A JP 2021071682 A JP2021071682 A JP 2021071682A JP 2019199878 A JP2019199878 A JP 2019199878A JP 2019199878 A JP2019199878 A JP 2019199878A JP 2021071682 A JP2021071682 A JP 2021071682A
Authority
JP
Japan
Prior art keywords
voice
voice input
home appliance
attribute
home
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019199878A
Other languages
Japanese (ja)
Other versions
JP7433841B2 (en
Inventor
正史 瀧川
Masashi Takigawa
正史 瀧川
裕樹 丸谷
Hiroki Marutani
裕樹 丸谷
達也 中川
Tatsuya Nakagawa
達也 中川
将也 金山
Masaya Kanayama
将也 金山
博紀 神田
Hironori Kanda
博紀 神田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Lifestyle Products and Services Corp
Original Assignee
Toshiba Lifestyle Products and Services Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Lifestyle Products and Services Corp filed Critical Toshiba Lifestyle Products and Services Corp
Priority to JP2019199878A priority Critical patent/JP7433841B2/en
Priority to CN202010894933.5A priority patent/CN112786037B/en
Publication of JP2021071682A publication Critical patent/JP2021071682A/en
Application granted granted Critical
Publication of JP7433841B2 publication Critical patent/JP7433841B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Selective Calling Equipment (AREA)

Abstract

To provide an appliance operation system, an appliance operation method, an information processing device, and a computer program that can improve user convenience for a service of operating a household electric appliance based on a voice instruction.SOLUTION: An appliance operation system of an embodiment includes one or more voice input units, a voice recognition unit, and an appliance control unit. The voice input unit inputs a voice of a user. The voice recognition unit performs voice recognition processing of recognizing the content of the voice input by the voice input unit. The appliance control unit recognizes an operation that a household electric appliance which is an operation target to be caused to perform based on the content of the voice, and selects the household electric appliance which is the operation target based on first attribute information indicating attributes of each household electric appliance or second attribute information indicating attributes of the voice input unit.SELECTED DRAWING: Figure 3

Description

本発明の実施形態は、機器操作システム、機器操作方法、情報処理装置及びコンピュータプログラムに関する。 Embodiments of the present invention relate to device operation systems, device operation methods, information processing devices, and computer programs.

従来、音声による指示に基づいて家電機器を操作することが行われている。一般に、このような家電機器の操作方法では、ユーザは、家電機器に対する動作指示に必要な文言を所定のルールに従って発声する必要がある。そして、家電機器に対する動作指示に必要な文言には、操作対象機器の名称や家電機器に指示する動作の名称を示す既定の文言が含まれることが多い。そのため、ユーザは家電機器に対して音声による動作指示を行うに際して、既定の文言を予め記憶しておく必要があるとともに、必要な文言を全て含んだ文章を発声する必要があった。このように、従来の音声による家電機器の操作方法は、ユーザにとって必ずしも利便性の高いものではなかった。 Conventionally, home appliances have been operated based on voice instructions. Generally, in such an operation method of a home electric appliance, the user needs to utter a wording necessary for an operation instruction to the home electric appliance according to a predetermined rule. The wording required for the operation instruction for the home electric appliance often includes the name of the operation target device and the default wording indicating the name of the operation instructed to the home electric appliance. Therefore, when the user gives an operation instruction by voice to the home electric appliance, it is necessary to memorize the default wording in advance and to utter a sentence including all the necessary wording. As described above, the conventional method of operating the home electric appliance by voice is not always highly convenient for the user.

特開２０１８−６３５３７号公報JP-A-2018-63537 特開２００２−１８２６７９号公報Japanese Unexamined Patent Publication No. 2002-182679 特開２０１６−０７６７９９号公報Japanese Unexamined Patent Publication No. 2016-076799 特開２０１９−０６６７０２号公報Japanese Unexamined Patent Publication No. 2019-066702 特開２００５−０８６７６８号公報Japanese Unexamined Patent Publication No. 2005-086768

本発明が解決しようとする課題は、音声による指示に基づいて家電機器を操作するサービスについて、ユーザの利便性を向上させることができる機器操作システム、機器操作方法、情報処理装置及びコンピュータプログラムを提供することである。 The problem to be solved by the present invention is to provide a device operation system, a device operation method, an information processing device, and a computer program capable of improving user convenience for a service of operating a home appliance based on a voice instruction. It is to be.

実施形態の機器操作システムは、１つ以上の音声入力部と、音声認識部と、機器制御部と、を持つ。音声入力部は、ユーザの音声を入力する。音声認識部は、前記音声入力部が入力した音声の内容を認識する音声認識処理を行う。機器制御部は、前記音声の内容に基づいて操作対象の家電機器に対して行わせる動作を識別するとともに、前記操作対象の家電機器を、前記家電機器の属性を示す第１の属性情報、又は前記音声入力部の属性を示す第２の属性情報に基づいて選択する。 The device operation system of the embodiment includes one or more voice input units, a voice recognition unit, and a device control unit. The voice input unit inputs the user's voice. The voice recognition unit performs voice recognition processing for recognizing the content of the voice input by the voice input unit. The device control unit identifies the operation to be performed by the home appliance to be operated based on the content of the voice, and the home appliance to be operated is subjected to the first attribute information indicating the attribute of the home appliance or the first attribute information indicating the attribute of the home appliance. The selection is made based on the second attribute information indicating the attribute of the voice input unit.

第１の実施形態における機器操作システムのシステム構成の具体例を示すシステム構成図。FIG. 5 is a system configuration diagram showing a specific example of the system configuration of the device operation system according to the first embodiment. 第１の実施形態における音声入力装置の機能構成の具体例を示す機能ブロック図。The functional block diagram which shows the specific example of the functional structure of the voice input device in 1st Embodiment. 第１の実施形態における家電操作サーバの機能構成の具体例を示す機能ブロック図。The functional block diagram which shows the specific example of the functional structure of the home appliance operation server in 1st Embodiment. 第１の実施形態における第１の属性情報の具体例を示す図である。It is a figure which shows the specific example of the 1st attribute information in 1st Embodiment. 第１の実施形態における第２の属性情報の具体例を示す図である。It is a figure which shows the specific example of the 2nd attribute information in 1st Embodiment. 第１の実施形態の機器操作システムにおいて家電操作サーバが各部屋に設置された音声入力装置から取得される音声データに基づいて、ユーザが指定した家電機器にユーザが指定した動作を行わせる処理の流れの具体例を示すフローチャート。In the device operation system of the first embodiment, the home appliance operation server is a process of causing the home appliance specified by the user to perform the operation specified by the user based on the voice data acquired from the voice input device installed in each room. A flowchart showing a specific example of the flow. 第２の実施形態における音声入力装置の機能構成の具体例を示す機能ブロック図。The functional block diagram which shows the specific example of the functional structure of the voice input device in 2nd Embodiment. 第２の実施形態における家電操作サーバの機能構成の具体例を示す機能ブロック図。The functional block diagram which shows the specific example of the functional structure of the home appliance operation server in 2nd Embodiment. 第３の実施形態における家電操作サーバの機能構成の具体例を示す機能ブロック図。The functional block diagram which shows the specific example of the functional structure of the home appliance operation server in 3rd Embodiment.

以下、実施形態の機器操作システム、機器操作方法、情報処理装置及びコンピュータプログラムを、図面を参照して説明する。 Hereinafter, the device operation system, the device operation method, the information processing device, and the computer program of the embodiment will be described with reference to the drawings.

（第１の実施形態）
図１は、第１の実施形態における機器操作システムのシステム構成の具体例を示すシステム構成図である。図１に示す機器操作システム１００は、本実施形態における機器操作システムの一具体例であり、ユーザ宅内の家電機器１をユーザの音声による指示に基づいて操作することを可能にするシステムである。図１内の破線は、ユーザ宅内にリビング、洗面所、寝室、書斎などの各部屋（各空間）が存在することを表している。機器操作システム１００は１つ以上の家電機器１と、１つ以上の音声入力装置２と、家電操作サーバ３とを備える。図１は１つ以上の家電機器１の具体例として家電機器１−１〜１−１１を示す。 (First Embodiment)
FIG. 1 is a system configuration diagram showing a specific example of the system configuration of the device operation system according to the first embodiment. The device operation system 100 shown in FIG. 1 is a specific example of the device operation system according to the present embodiment, and is a system that enables the home appliance 1 in the user's home to be operated based on a user's voice instruction. The broken line in FIG. 1 indicates that each room (each space) such as a living room, a washroom, a bedroom, and a study exists in the user's house. The device operation system 100 includes one or more home appliances 1, one or more voice input devices 2, and a home appliance operation server 3. FIG. 1 shows home appliances 1-1 to 1-11 as specific examples of one or more home appliances 1.

例えばリビングには家電機器１−１〜１−４として冷蔵庫、照明機器、テレビ、エアコンが設置され、洗面所には家電機器１−５及び１−６として洗濯機及び照明機器が設置される。また、寝室には家電機器１−７〜１−９としてテレビ、照明機器、エアコンが設置され、書斎には家電機器１−１０及び１−１１として照明機器、エアコンが設置される。これらは操作対象となる家電機器の一例であり、操作対象の家電機器を図１に示す家電機器１に限定するものではない。家電機器１は家電操作サーバ３の指示に応じて動作を変更することができれば図１に例示した以外のどのような機器であってもよい。 For example, a refrigerator, lighting equipment, a television, and an air conditioner are installed as home appliances 1-1 to 1-4 in the living room, and a washing machine and lighting equipment are installed as home appliances 1-5 and 1-6 in the washroom. In addition, televisions, lighting equipment, and air conditioners are installed as home appliances 1-7 to 1-9 in the bedroom, and lighting equipment and air conditioners are installed as home appliances 1-10 and 1-11 in the study. These are examples of home appliances to be operated, and the home appliances to be operated are not limited to the home appliances 1 shown in FIG. The home appliance 1 may be any device other than those illustrated in FIG. 1 as long as the operation can be changed according to the instruction of the home appliance operation server 3.

音声入力装置２は家電機器１に対する動作指示を示す音声（以下「指示音声」という。）を入力する装置である。例えば、音声入力装置２はマイク等の集音装置を備え、自装置付近のユーザが発した指示音声を電気信号に変換して入力する。例えば、音声入力装置２は、スマートスピーカ、スマートフォン、タブレット、ＰＣ、リモコン等の情報処理装置を用いて構成される。図１は１つ以上の音声入力装置２の具体例として、ユーザ宅内の各部屋に１つずつ設置された音声入力装置２−１〜２−４を示す。 The voice input device 2 is a device for inputting a voice (hereinafter referred to as "instruction voice") indicating an operation instruction to the home electric appliance 1. For example, the voice input device 2 is provided with a sound collecting device such as a microphone, and converts an instruction voice emitted by a user near the own device into an electric signal and inputs it. For example, the voice input device 2 is configured by using an information processing device such as a smart speaker, a smartphone, a tablet, a PC, or a remote controller. FIG. 1 shows, as a specific example of one or more voice input devices 2, voice input devices 2-1 to 2-4 installed one by one in each room in the user's house.

なお、家電機器１及び音声入力装置２は無線ＬＡＮ（Local Area Network）等の無線通信機能を備え、ルータ４１と無線通信可能に接続される。また、ルータ４１はＷＡＮ（Wide Area Network）４２に接続されており、家電機器１はルータ４１及びＷＡＮ４２を介して家電操作サーバ３と通信可能である。音声入力装置２は入力した音声信号（音声データ）を家電操作サーバ３に送信する。 The home appliance 1 and the voice input device 2 have a wireless communication function such as a wireless LAN (Local Area Network), and are connected to the router 41 so as to be capable of wireless communication. Further, the router 41 is connected to the WAN (Wide Area Network) 42, and the home appliance 1 can communicate with the home appliance operation server 3 via the router 41 and the WAN 42. The voice input device 2 transmits the input voice signal (voice data) to the home appliance operation server 3.

家電操作サーバ３は音声入力装置２から受信された音声信号に基づいて、ユーザの指定する家電機器１に対してユーザの所望する動作を行わせる機能を有する。具体的には、家電操作サーバ３は、音声信号に基づいてその音声の内容を示す文字データを取得し、取得した文字データに基づいて操作対象の家電機器１と、操作対象の家電機器１に行わせる動作（以下「対象動作」という。）を識別する。家電操作サーバ３は、対象動作を指示する制御情報を生成して操作対象の家電機器１に送信する。 The home appliance operation server 3 has a function of causing the home appliance 1 designated by the user to perform an operation desired by the user based on the voice signal received from the voice input device 2. Specifically, the home appliance operation server 3 acquires character data indicating the content of the voice based on the voice signal, and based on the acquired character data, the home appliance 1 to be operated and the home appliance 1 to be operated Identify the action to be performed (hereinafter referred to as "target action"). The home appliance operation server 3 generates control information instructing the target operation and transmits it to the home appliance 1 to be operated.

図２は、第１の実施形態における音声入力装置２の機能構成の具体例を示す機能ブロック図である。音声入力装置２は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、プログラムを実行する。音声入力装置２は、プログラムの実行によって通信部２１、音声入力部２２及び音声データ送信部２３を備える装置として機能する。なお、音声入力装置２の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。 FIG. 2 is a functional block diagram showing a specific example of the functional configuration of the voice input device 2 according to the first embodiment. The voice input device 2 includes a CPU (Central Processing Unit), a memory, an auxiliary storage device, and the like connected by a bus, and executes a program. The voice input device 2 functions as a device including a communication unit 21, a voice input unit 22, and a voice data transmission unit 23 by executing a program. All or part of each function of the voice input device 2 may be realized by using hardware such as an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), or an FPGA (Field Programmable Gate Array). .. The program may be recorded on a computer-readable recording medium. The computer-readable recording medium is, for example, a flexible disk, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, or a storage device such as a hard disk built in a computer system. The program may be transmitted over a telecommunication line.

通信部２１は、音声入力装置２をルータ４１に無線接続する無線通信インタフェースを含んで構成される。音声入力装置２はルータ４１を介して家電操作サーバ３と通信する。 The communication unit 21 includes a wireless communication interface that wirelessly connects the voice input device 2 to the router 41. The voice input device 2 communicates with the home appliance operation server 3 via the router 41.

音声入力部２２は、マイク等の集音装置を含んで構成される。音声入力部２２は、自装置周辺の音声を電子信号に変換して音声データ送信部２３に出力する。 The voice input unit 22 includes a sound collecting device such as a microphone. The voice input unit 22 converts the voice around the own device into an electronic signal and outputs it to the voice data transmission unit 23.

音声データ送信部２３は、電気信号に変換された音声信号を音声入力部２２から入力し、入力した音声信号を示す音声データを家電操作サーバ３に送信する。具体的には、音声データ送信部２３は、入力した音声信号から所定のキーワードを示す音声信号を検出し、検出したキーワードに続く音声信号を音声データとして家電操作サーバ３に送信する。 The voice data transmission unit 23 inputs a voice signal converted into an electric signal from the voice input unit 22, and transmits voice data indicating the input voice signal to the home appliance operation server 3. Specifically, the voice data transmission unit 23 detects a voice signal indicating a predetermined keyword from the input voice signal, and transmits the voice signal following the detected keyword to the home appliance operation server 3 as voice data.

図３は、第１の実施形態における家電操作サーバ３の機能構成の具体例を示す機能ブロック図である。家電操作サーバ３は、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、プログラムを実行する。家電操作サーバ３は、プログラムの実行によって通信部３１、設定情報記憶部３２、音声データ取得部３３、音声認識部３４、及び機器制御部３５を備える装置として機能する。なお、家電操作サーバ３の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。 FIG. 3 is a functional block diagram showing a specific example of the functional configuration of the home appliance operation server 3 according to the first embodiment. The home appliance operation server 3 includes a CPU, a memory, an auxiliary storage device, and the like connected by a bus, and executes a program. The home appliance operation server 3 functions as a device including a communication unit 31, a setting information storage unit 32, a voice data acquisition unit 33, a voice recognition unit 34, and a device control unit 35 by executing a program. In addition, all or a part of each function of the home appliance operation server 3 may be realized by using hardware such as ASIC, PLD and FPGA. The program may be recorded on a computer-readable recording medium. The computer-readable recording medium is, for example, a flexible disk, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, or a storage device such as a hard disk built in a computer system. The program may be transmitted over a telecommunication line.

通信部３１は、家電操作サーバ３をＷＡＮ４２に接続する通信インタフェースを含んで構成される。家電操作サーバ３はルータ４１及びＷＡＮ４２を介して家電機器１及び音声入力装置２と通信する。 The communication unit 31 includes a communication interface for connecting the home appliance operation server 3 to the WAN 42. The home appliance operation server 3 communicates with the home appliance 1 and the voice input device 2 via the router 41 and WAN 42.

設定情報記憶部３２は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。設定情報記憶部３２は家電操作サーバ３の動作に必要な各種の設定情報を記憶する。具体的には設定情報記憶部３２は、各家電機器１が有する属性を示す第１の属性情報と、各音声入力装置２が有する属性を示す第２の属性情報とを予め記憶している。 The setting information storage unit 32 is configured by using a storage device such as a magnetic hard disk device or a semiconductor storage device. The setting information storage unit 32 stores various setting information necessary for the operation of the home appliance operation server 3. Specifically, the setting information storage unit 32 stores in advance the first attribute information indicating the attributes possessed by each home appliance device 1 and the second attribute information indicating the attributes possessed by each voice input device 2.

音声データ取得部３３は、通信部３１を介して音声入力装置２から音声データを取得する。音声データ取得部３３は、取得した音声データを音声認識部３４に出力する。 The voice data acquisition unit 33 acquires voice data from the voice input device 2 via the communication unit 31. The voice data acquisition unit 33 outputs the acquired voice data to the voice recognition unit 34.

音声認識部３４は、音声データ取得部３３から音声データを入力し、入力した音声データをテキストデータに変換する。音声認識部３４は、音声データの変換によって得たテキストデータを機器制御部３５に出力する。なお、音声認識部３４は、音声データから取得される声の特徴量に基づいて、その音声データにより示される指示音声を発したユーザを識別する機能を有してもよい。例えば、各ユーザの声の特徴量を示す情報（以下「ユーザ情報」という。）が予め設定情報記憶部３２に記憶されている場合、音声認識部３４は入力した音声データに基づいて取得された特徴量をユーザ情報に登録されている特徴量と比較することにより、その指示音声を発したユーザを特定することができる。 The voice recognition unit 34 inputs voice data from the voice data acquisition unit 33, and converts the input voice data into text data. The voice recognition unit 34 outputs the text data obtained by converting the voice data to the device control unit 35. The voice recognition unit 34 may have a function of identifying the user who has issued the instruction voice indicated by the voice data based on the feature amount of the voice acquired from the voice data. For example, when information indicating the feature amount of each user's voice (hereinafter referred to as "user information") is stored in the setting information storage unit 32 in advance, the voice recognition unit 34 is acquired based on the input voice data. By comparing the feature amount with the feature amount registered in the user information, the user who issued the instruction voice can be specified.

機器制御部３５は、音声データから変換されたテキストデータを音声認識部３４から入力し、入力したテキストデータ及び各種設定情報に基づいて、操作対象の家電機器１に対して所定の動作を指示するための制御情報を生成する。機器制御部３５は、生成した制御情報を通信部３１を介して操作対象の家電機器１に送信する。 The device control unit 35 inputs text data converted from the voice data from the voice recognition unit 34, and instructs the home appliance device 1 to be operated to perform a predetermined operation based on the input text data and various setting information. Generate control information for. The device control unit 35 transmits the generated control information to the home appliance 1 to be operated via the communication unit 31.

図４は、第１の実施形態における第１の属性情報の具体例を示す図である。例えば、第１の属性情報は図４に示す属性情報テーブルＴ１として設定情報記憶部３２に記憶される。属性情報テーブルＴ１は家電機器ＩＤごとのレコードを有する。属性情報テーブルＴ１の各レコードは家電機器ＩＤ、第１項目及び第２項目の各値を有する。家電機器ＩＤは、機器操作システム１００において操作対象となる家電機器１の識別情報を表す。第１項目及び第２項目は、対応する家電機器１が有する各属性の値を表す。例えば、図４に示す第１の属性情報は、第１項目として各家電機器１の設置場所を表し、第２項目として各家電機器１に対して事前に対応づけられて登録されているユーザを表している。 FIG. 4 is a diagram showing a specific example of the first attribute information in the first embodiment. For example, the first attribute information is stored in the setting information storage unit 32 as the attribute information table T1 shown in FIG. The attribute information table T1 has a record for each home appliance ID. Each record in the attribute information table T1 has a home appliance ID, and each value of the first item and the second item. The home appliance ID represents the identification information of the home appliance 1 to be operated in the device operation system 100. The first item and the second item represent the value of each attribute possessed by the corresponding home electric appliance 1. For example, the first attribute information shown in FIG. 4 represents the installation location of each home electric appliance 1 as the first item, and the user registered in advance as the second item associated with each home electric appliance 1. Represents.

図５は、第１の実施形態における第２の属性情報の具体例を示す図である。例えば、第２の属性情報は図５に示す属性情報テーブルＴ２として設定情報記憶部３２に記憶される。属性情報テーブルＴ２は入力装置ＩＤごとのレコードを有する。属性情報テーブルＴ２の各レコードは入力装置ＩＤ及び第３項目の各値を有する。入力装置ＩＤは、機器操作システム１００においてユーザの指示音声を入力する音声入力装置２の識別情報を表す。第３項目は、対応する音声入力装置２が有する属性の値を表す。例えば、図５に示す第２の属性情報は、各音声入力装置２の設置場所を第３項目として表す。 FIG. 5 is a diagram showing a specific example of the second attribute information in the first embodiment. For example, the second attribute information is stored in the setting information storage unit 32 as the attribute information table T2 shown in FIG. The attribute information table T2 has a record for each input device ID. Each record in the attribute information table T2 has an input device ID and each value of the third item. The input device ID represents the identification information of the voice input device 2 for inputting the user's instruction voice in the device operation system 100. The third item represents the value of the attribute possessed by the corresponding voice input device 2. For example, the second attribute information shown in FIG. 5 represents the installation location of each voice input device 2 as a third item.

図６は、実施形態の機器操作システム１００において家電操作サーバ３が各部屋に設置された音声入力装置２から取得される音声データに基づいて、ユーザが指定した家電機器１に対して、そのユーザが指定した動作を行わせる処理の流れの具体例を示すフローチャートである。まず、家電操作サーバ３において、音声データ取得部３３がユーザ宅の各部屋に設置された音声入力装置２から音声データを取得する（ステップＳ１０１）とともに、音声データの取得元の音声入力装置２を特定する（ステップＳ１０２）。なお、ここで取得される音声データは、音声データ送信部２３によって検出された上述のキーワードに続く指示音声を示すものとする。 FIG. 6 shows the user of the home appliance 1 designated by the user based on the voice data acquired from the voice input device 2 installed in each room of the home appliance operation server 3 in the device operation system 100 of the embodiment. It is a flowchart which shows the specific example of the flow of the process which performs the operation specified by. First, in the home appliance operation server 3, the voice data acquisition unit 33 acquires voice data from the voice input device 2 installed in each room of the user's house (step S101), and at the same time, the voice input device 2 from which the voice data is acquired is used. Specify (step S102). The voice data acquired here is assumed to indicate an instruction voice following the above-mentioned keyword detected by the voice data transmission unit 23.

例えば、音声データ取得部３３は、音声データの送信元情報を参照することにより、その音声データを送信した音声入力装置２を識別する。例えば、音声データ取得部３３は、送信元情報に含まれるＭＡＣ（Media Access Control）アドレスやＩＰ（Internet Protocol）アドレスによって送信元の音声入力装置２を識別することができる。音声データ取得部３３は、取得した音声データと、その送信元の音声入力装置２を示す入力装置ＩＤを音声認識部３４に出力する。入力装置ＩＤは、上記のＭＡＣアドレスやＩＰアドレスによって表されてもよい。 For example, the voice data acquisition unit 33 identifies the voice input device 2 that has transmitted the voice data by referring to the voice data transmission source information. For example, the voice data acquisition unit 33 can identify the source voice input device 2 by the MAC (Media Access Control) address or IP (Internet Protocol) address included in the source information. The voice data acquisition unit 33 outputs the acquired voice data and an input device ID indicating the voice input device 2 of the transmission source to the voice recognition unit 34. The input device ID may be represented by the above MAC address or IP address.

続いて、音声認識部３４が、音声データ取得部３３から取得した音声データについて音声認識処理を実行する（ステップＳ１０３）。この音声認識処理の実行により音声データの内容を示すテキストデータが生成される。音声認識部３４は、生成したテキストデータを機器制御部３５に出力する。なお、音声認識処理では、テキストデータの生成に加え、その指示音声を発したユーザを特定する処理が行われてもよい。この場合、音声認識部３４は特定したユーザの識別情報とテキストデータとを機器制御部３５に出力する。 Subsequently, the voice recognition unit 34 executes voice recognition processing on the voice data acquired from the voice data acquisition unit 33 (step S103). By executing this voice recognition process, text data indicating the content of the voice data is generated. The voice recognition unit 34 outputs the generated text data to the device control unit 35. In the voice recognition process, in addition to the generation of text data, a process of identifying the user who issued the instruction voice may be performed. In this case, the voice recognition unit 34 outputs the identification information and the text data of the specified user to the device control unit 35.

続いて、機器制御部３５が、音声認識部３４から出力されたテキストデータに基づいて操作対象の家電機器１を識別する（ステップＳ１０４）とともに、操作対象の家電機器１に行わせる動作を識別する（ステップＳ１０５）。 Subsequently, the device control unit 35 identifies the home appliance 1 to be operated based on the text data output from the voice recognition unit 34 (step S104), and identifies the operation to be performed by the home appliance 1 to be operated. (Step S105).

例えば、機器制御部３５は、テキストデータが示す文字列から所定の文字列を検出し、検出した文字列から始まる一文を動作指示を示す文字列として抽出する。機器制御部３５は、このように抽出した文字列から操作対象の家電機器１を示す文字列と、操作対象の家電機器１に対して行わせる動作を示す文字列を抽出する。例えば機器制御部３５は、『（キーワード）リビングの照明をつけて。・・・』という内容のテキストデータを入力した場合、キーワードから始まる一文を抽出し、抽出した一文から「リビングの照明」を操作対象の家電機器１として識別し、「照明をつける」ことを操作対象の家電機器１に対して行わせる動作として識別する。 For example, the device control unit 35 detects a predetermined character string from the character string indicated by the text data, and extracts a sentence starting from the detected character string as a character string indicating an operation instruction. The device control unit 35 extracts from the character string extracted in this way a character string indicating the home electric appliance 1 to be operated and a character string indicating an operation to be performed on the home electric appliance 1 to be operated. For example, the device control unit 35 says, "(Keyword) Turn on the lighting in the living room. If you enter text data with the content "...", extract a sentence starting with the keyword, identify "living room lighting" as the home appliance 1 to be operated from the extracted sentence, and operate "turn on the lighting". It is identified as an operation to be performed on the target home electric appliance 1.

続いて、機器制御部３５は、識別した操作対象の家電機器１に対して、識別した動作を行わせる制御情報を生成する（ステップＳ１０６）。機器制御部３５は、生成した制御情報を操作対象の家電機器１に送信する（ステップＳ１０７）。操作対象の家電機器１が、家電操作サーバ３から受信される制御情報に基づいて動作を行うことり、ユーザが指定した家電機器１において、ユーザが指定した動作が行われる。 Subsequently, the device control unit 35 generates control information for causing the identified home appliance 1 to be operated to perform the identified operation (step S106). The device control unit 35 transmits the generated control information to the home appliance 1 to be operated (step S107). The home appliance 1 to be operated performs an operation based on the control information received from the home appliance operation server 3, and the home appliance 1 designated by the user performs the operation specified by the user.

図６は、本実施形態の機器操作システム１００において家電操作サーバ３が指示音声によって指定された家電機器１に対して、同じく指示音声によって指定された動作を行わせる基本的な処理の流れを示したものであるが、このような機能に加えて本実施形態の機器制御部３５は、各家電機器１の属性を示す第１の属性情報と、各音声入力装置２の属性を示す第２の属性情報とを予め記憶していることにより、ユーザの利便性を向上させることができる。 FIG. 6 shows a basic processing flow in which the home appliance operation server 3 causes the home appliance 1 designated by the instruction voice to perform the operation also designated by the instruction voice in the device operation system 100 of the present embodiment. However, in addition to such a function, the device control unit 35 of the present embodiment has a first attribute information indicating the attributes of each home electric appliance 1 and a second attribute information indicating the attributes of each voice input device 2. By storing the attribute information in advance, the convenience of the user can be improved.

具体的には、本実施形態の家電操作サーバ３が、指示音声を発したユーザに応じた属性を持つ家電機器１、又はその音声データを入力した音声入力装置２に応じた属性を持つ家電機器１を操作対象として決定する機能を有することにより、操作対象の家電機器１を指定しない指示音声が入力された場合であっても、操作対象の家電機器１を適切に設定することが可能となる。 Specifically, the home appliance operation server 3 of the present embodiment has an attribute corresponding to the user who issued the instruction voice, or a home appliance 1 having an attribute corresponding to the voice input device 2 input with the voice data. By having a function of determining 1 as an operation target, it is possible to appropriately set the operation target home appliance 1 even when an instruction voice that does not specify the operation target home appliance 1 is input. ..

具体的には、機器制御部３５は、音声認識部３４によって認識された指示音声の内容に基づいて操作対象の家電機器１に対して行わせる動作を識別するとともに、操作対象の家電機器１を、家電機器１の属性を示す第１の属性情報に基づいて決定する。例えば、第１の属性情報が図４の例のように定義されている場合において、“音声入力装置＃１”から『エアコンをつけて。』という音声が入力された場合、機器制御部３５は属性情報テーブルＴ２を参照し、上記指示音声を入力した音声入力装置＃１の設置場所が“リビング”であることを識別する。続いて、機器制御部３５は、属性情報テーブルＴ１を参照して“リビング”に設置されたエアコンが“エアコン＃１”であることを識別し、この“エアコン＃１”を操作対象の家電機器１として選択する。 Specifically, the device control unit 35 identifies the operation to be performed by the home appliance 1 to be operated based on the content of the instruction voice recognized by the voice recognition unit 34, and sets the home appliance 1 to be operated. , Determined based on the first attribute information indicating the attribute of the home electric appliance 1. For example, when the first attribute information is defined as in the example of FIG. 4, "Turn on the air conditioner" from "Voice input device # 1". The device control unit 35 refers to the attribute information table T2 and identifies that the installation location of the voice input device # 1 into which the instruction voice is input is the “living room”. Subsequently, the device control unit 35 identifies that the air conditioner installed in the “living room” is the “air conditioner # 1” by referring to the attribute information table T1, and the home electric appliance to operate the “air conditioner # 1”. Select as 1.

このような方法で操作対象の家電機器１が決定されることにより、同じ種類の家電機器１が複数存在する状況において、操作対象を指定する文言が省略された指示音声が入力された場合であっても、操作対象の家電機器１を適切に設定することが可能となる。また、これにより、ユーザは自身の近くに位置する家電機器１を操作する場合に、その家電機器１を指定する文言を省略することができ、より自然な話し言葉で家電機器１の操作を指示することが可能となる。 By determining the home electric appliance 1 to be operated by such a method, in a situation where there are a plurality of home electric appliances 1 of the same type, an instruction voice in which the wording for specifying the operation target is omitted is input. However, it is possible to appropriately set the home electric appliance 1 to be operated. Further, as a result, when the user operates the home electric appliance 1 located near himself / herself, the wording for designating the home electric appliance 1 can be omitted, and the operation of the home electric appliance 1 is instructed in a more natural spoken language. It becomes possible.

なお、ここでは「設置場所」という属性（図４の第１項目）で操作対象の家電機器１を決定する場合について説明したが、このような操作対象の決定に使用する属性は設置場所に限定されない。例えば、音声認識部３４が音声認識処理において指示音声を発したユーザを識別する機能を有する場合、操作対象の家電機器１は、各家電機器１に対して予め対応づけられた「ユーザ」の属性（図４の第２項目）に基づいて決定されてもよい。 Here, the case where the home appliance 1 to be operated is determined by the attribute "installation location" (first item in FIG. 4) has been described, but the attribute used for determining such an operation target is limited to the installation location. Not done. For example, when the voice recognition unit 34 has a function of identifying a user who has issued an instruction voice in the voice recognition process, the home appliance 1 to be operated has an attribute of "user" associated with each home appliance 1 in advance. It may be determined based on (the second item of FIG. 4).

例えば、音声認識部３４により、指示音声を発したユーザが“お父さん”であると識別された場合、機器制御部３５は、図４の例の第１の属性情報に基づいて“照明機器＃４”を操作対象の家電機器１として選択することができる。また、例えば、指示音声を発したユーザが“お母さん”であると識別された場合、機器制御部３５は、図４の例の第１の属性情報に基づいて“照明機器＃３”を操作対象の家電機器１として選択することができる。また、例えば、指示音声を発したユーザが“お兄ちゃん”又は“お姉ちゃん”であると識別された場合、機器制御部３５は、図４の例の第１の属性情報に基づいて“照明機器＃５”を操作対象の家電機器１として選択することができる。 For example, when the voice recognition unit 34 identifies the user who issued the instruction voice as the “dad”, the device control unit 35 uses the “lighting device # 4” based on the first attribute information of the example of FIG. Can be selected as the home appliance 1 to be operated. Further, for example, when the user who issued the instruction voice is identified as the "mother", the device control unit 35 operates the "lighting device # 3" based on the first attribute information of the example of FIG. Can be selected as the home appliance 1 of. Further, for example, when the user who issued the instruction voice is identified as "brother" or "sister", the device control unit 35 sets the "lighting device" based on the first attribute information of the example of FIG. # 5 ”can be selected as the home appliance 1 to be operated.

なお、第１の属性情報において各家電機器１に対応づけられる属性は必ずしも２つである必要はなく、１つであってもよいし、３つ以上であってもよい。また、第２の属性情報において各音声入力装置２に対応づけられる属性は必ずしも１つである必要はなく、２つ以上であってもよい。また、操作対象の家電機器１は１つの属性に基づいて決定されてもよいし、２つ以上の属性に基づいて決定されてもよい。また、２つ以上の属性を用いる場合、操作対象の家電機器１は、２つ以上の属性の組み合わせに基づいて決定されてもよいし、２つ以上の属性のうちの最も優先順位の高い属性に基づいて決定されてもよい。このように複数の属性の組み合わせに基づいて操作対象の家電機器１が決定されることにより、より柔軟に又はより正確に操作対象の家電機器１を選択することが可能となる。 It should be noted that the number of attributes associated with each home appliance 1 in the first attribute information does not necessarily have to be two, and may be one or three or more. Further, in the second attribute information, the attribute associated with each voice input device 2 does not necessarily have to be one, and may be two or more. Further, the home electric appliance 1 to be operated may be determined based on one attribute, or may be determined based on two or more attributes. Further, when two or more attributes are used, the home appliance 1 to be operated may be determined based on a combination of two or more attributes, or the attribute having the highest priority among the two or more attributes. It may be determined based on. By determining the home appliance 1 to be operated based on the combination of a plurality of attributes in this way, it becomes possible to select the home appliance 1 to be operated more flexibly or more accurately.

例えば、第１の属性情報に基づいて選択される家電機器１と第２の属性情報に基づいて選択される家電機器１との両方を操作対象とすれば少ない動作指示でより多くの家電機器１を操作することが可能となる。また、例えば、第１の属性情報に基づいて選択される家電機器１と第２の属性情報に基づいて選択される家電機器１との両方に含まれる家電機器１を操作対象とすれば、その状況により適した家電機器１を操作対象として選択することが可能となる。 For example, if both the home appliance 1 selected based on the first attribute information and the home appliance 1 selected based on the second attribute information are targeted for operation, more home appliances 1 can be operated with less operation instructions. Can be operated. Further, for example, if the home appliance 1 included in both the home appliance 1 selected based on the first attribute information and the home appliance 1 selected based on the second attribute information is targeted for operation, the operation target is It is possible to select a home appliance 1 that is more suitable for the situation as an operation target.

例えば、「設置場所」を示す第１の属性情報と、「ユーザ」を示す第２の属性情報とがあり、指示音声により特定の種類の家電機器１が指定され、かつその指示音声を入力した音声入力装置２と同じ場所に存在する場合、機器制御部３５は第１の属性情報に基づいて操作対象の家電機器１を決定する。例えば、図４及び図５に示した第１の属性情報及び第２の属性情報の例では、“リビング”に設置された“音声入力装置＃１”に対して『エアコンをつけて。』という操作対象が明確でない指示音声が入力された場合、機器制御部３５は指示音声を入力した“音声入力装置＃１”と同じ“リビング＃１”に設置された“エアコン＃１”を操作対象として選択する。 For example, there is a first attribute information indicating "installation location" and a second attribute information indicating "user", a specific type of home appliance 1 is designated by an instruction voice, and the instruction voice is input. When present at the same location as the voice input device 2, the device control unit 35 determines the home appliance 1 to be operated based on the first attribute information. For example, in the example of the first attribute information and the second attribute information shown in FIGS. 4 and 5, "Turn on the air conditioner" for the "voice input device # 1" installed in the "living room". When an instruction voice for which the operation target is not clear is input, the device control unit 35 operates the "air conditioner # 1" installed in the same "living room # 1" as the "voice input device # 1" for which the instruction voice is input. Select as a target.

なお、この場合、選択した家電機器１が所定の条件を満たしている場合、機器制御部３５はさらに第２の属性情報に基づいて別の家電機器１を操作対象として決定してもよい。例えば、選択したエアコンが既にＯＮ状態であるという条件を満たしており、かつ指示音声を発したユーザが“お父さん”であると識別された場合、機器制御部３５は“お父さん”という属性値が対応づけられている“書斎”の“エアコン＃３”を操作対象として選択してもよい。 In this case, if the selected home electric appliance 1 satisfies a predetermined condition, the device control unit 35 may further determine another home electric appliance 1 as an operation target based on the second attribute information. For example, if the condition that the selected air conditioner is already ON is satisfied and the user who issued the instruction voice is identified as "dad", the device control unit 35 corresponds to the attribute value "dad". You may select "air conditioner # 3" of the attached "study" as the operation target.

このように、指示音声の操作対象となる家電機器１が複数あり、それら複数の家電機器１の中に当該指示音声によって指示された動作を既に実行している家電機器１がある場合には、その動作をまだ実行していない家電機器１の属性情報又は音声入力装置２の属性情報に基づいて、それら家電機器１の中から操作対象となる家電機器１を決定するようにすることにより、ユーザーの利便性をより向上させることができる。 In this way, when there are a plurality of home appliances 1 to be operated by the instruction voice, and among the plurality of home appliances 1, there is a home appliance 1 that has already executed the operation instructed by the instruction voice. By determining the home electric appliance 1 to be operated from among the home electric appliances 1 based on the attribute information of the home electric appliance 1 or the attribute information of the voice input device 2 that has not yet executed the operation, the user. It is possible to further improve the convenience of.

また例えば、機器制御部３５は、指示音声により指定された特定の種類の家電機器１がその指示音声を入力した音声入力装置２と同じ場所に設置されていない場合に、第２の属性情報に基づいて操作対象の家電機器１を決定してもよい。例えば、図４及び図５に示した第１の属性情報及び第２の属性情報の例では、エアコンが設置されていない“洗面所”において『エアコンをつけて。』という指示音声が入力され、かつ指示音声を発したユーザが“お母さん”であると識別された場合、機器制御部３５は“お母さん”という属性値が対応づけられている“寝室”の“エアコン＃２”を操作対象として選択してもよい。 Further, for example, when the device control unit 35 is not installed in the same place as the voice input device 2 in which the specific type of home appliance 1 designated by the instruction voice is input to the instruction voice, the device control unit 35 is used as the second attribute information. The home electric appliance 1 to be operated may be determined based on the above. For example, in the example of the first attribute information and the second attribute information shown in FIGS. 4 and 5, "Turn on the air conditioner" in the "washroom" where the air conditioner is not installed. When the instruction voice is input and the user who issued the instruction voice is identified as "mother", the device control unit 35 is assigned to the "air conditioner" of the "bedroom" to which the attribute value "mother" is associated. # 2 ”may be selected as the operation target.

また例えば、機器制御部３５は、指示音声により指定された特定の種類の家電機器１の状態に基づいて操作対象の家電機器１を決定するように構成されてもよい。例えば、図４及び図５に示した第１の属性情報及び第２の属性情報の例では、“リビング”の“エアコン＃１”が既にＯＮ状態であるときに、“エアコン＃１”と同じ設置場所の“音声入力装置＃１”から『エアコンをつけて。』という指示音声が入力された場合、機器制御部３５は、ユーザ宅内に設置されたエアコンのうちＯＮ状態でないエアコンを操作対象として選択するように構成されてもよい。この場合、家電機器１の状態は家電機器１の属性の一つとして第１の属性情報によって管理され、第１の属性情報は各家電機器１の状態変化に応じて更新されるものとする。 Further, for example, the device control unit 35 may be configured to determine the home electric appliance 1 to be operated based on the state of the specific type of home electric appliance 1 designated by the instruction voice. For example, in the example of the first attribute information and the second attribute information shown in FIGS. 4 and 5, when the "air conditioner # 1" of the "living room" is already in the ON state, it is the same as the "air conditioner # 1". From "Voice input device # 1" at the installation location, "Turn on the air conditioner. ] Is input, the device control unit 35 may be configured to select an air conditioner that is not in the ON state among the air conditioners installed in the user's home as an operation target. In this case, the state of the home electric appliance 1 is managed by the first attribute information as one of the attributes of the home electric appliance 1, and the first attribute information is updated according to the state change of each home electric appliance 1.

以上のように、家電機器１の属性情報や音声入力装置２の属性情報を利用して、ユーザの指示音声が示す操作対象となる家電機器１を決定した場合、その家電機器１を操作対象として制御する旨をユーザに報知するとよい。報知手段は、音声案内や画面表示などいずれの手段を用いてもよい。制御内容の報知に対して、ユーザが自身の意図した操作対象とは異なる旨の返答をした場合には、その返答に基づき、ユーザの意思に適った家電機器１を制御すればよいし、ユーザの返答前に、特定の家電機器１を操作対象として決定し、決定した家電機器１がその動作を既に実行していた場合は、その動作を取り消すように制御するとよい。 As described above, when the home appliance 1 to be operated by the user's instruction voice is determined by using the attribute information of the home appliance 1 and the attribute information of the voice input device 2, the home appliance 1 is set as the operation target. It is advisable to notify the user that the control is to be performed. As the notification means, any means such as voice guidance and screen display may be used. When the user responds to the notification of the control content to the effect that the operation target is different from the operation target intended by the user, the home appliance 1 suitable for the user's intention may be controlled based on the response. It is preferable to determine a specific home electric appliance 1 as an operation target before replying to the above, and if the determined home electric appliance 1 has already executed the operation, control so as to cancel the operation.

（第２の実施形態）
第２の実施形態における機器操作システム１００ａは、音声入力装置２に代えて音声入力装置２ａを備える点、家電操作サーバ３に代えて家電操作サーバ３ａを備える点で第１の実施形態における機器操作システム１００とは異なる。しかしながら機器操作システム１００ａの基本的なシステム構成は第１の実施形態における機器操作システム１００と同様であるため、ここでは図１における各符号を適宜読み替えることにより機器操作システム１００ａの図示を省略することにする。具体的には、符号１００を１００ａに、符号２を符号２ａに、符号３を符号３ａにそれぞれ読み替える。 (Second Embodiment)
The device operation system 100a according to the second embodiment includes a voice input device 2a instead of the voice input device 2 and a home appliance operation server 3a instead of the home appliance operation server 3. Different from system 100. However, since the basic system configuration of the device operation system 100a is the same as that of the device operation system 100 in the first embodiment, the description of the device operation system 100a is omitted here by appropriately reading each reference numeral in FIG. To. Specifically, reference numeral 100 is replaced with reference numeral 100, reference numeral 2 is replaced with reference numeral 2a, and reference numeral 3 is replaced with reference numeral 3a.

図７は、第２の実施形態における音声入力装置２ａの機能構成の具体例を示す機能ブロック図である。音声入力装置２ａは無線強度通知部２４をさらに備える点で第１の実施形態における音声入力装置２と異なる。他の構成は第１の実施形態と同様のため、図７においては同様の機能部に図２と同じ符号を付すことにより説明を省略する。無線強度通知部２４は自装置における無線電波強度を家電操作サーバ３に通知する機能を有する。例えば、無線強度通知部２４は自装置のＲＳＳＩ（Received Signal Strength Indicator）を取得し、取得したＲＳＳＩを示す情報（以下「無線強度情報」という。）を家電操作サーバ３に送信する。なお、この無線強度情報は、家電操作サーバ３ａが音声入力装置２ａの設置場所を識別するために用いられるため、各音声入力装置２ａは同じ無線通信装置から受信される電波のＲＳＳＩを取得するものとする。例えば、各音声入力装置２ａは、ルータ４１から受信される無線の電波強度を示す無線強度情報を取得する。 FIG. 7 is a functional block diagram showing a specific example of the functional configuration of the voice input device 2a according to the second embodiment. The voice input device 2a is different from the voice input device 2 in the first embodiment in that the radio strength notification unit 24 is further provided. Since the other configurations are the same as those of the first embodiment, the description thereof will be omitted in FIG. 7 by assigning the same reference numerals to the same functional parts as those in FIG. The radio strength notification unit 24 has a function of notifying the home appliance operation server 3 of the radio wave strength of the own device. For example, the wireless strength notification unit 24 acquires the RSSI (Received Signal Strength Indicator) of its own device, and transmits the information indicating the acquired RSSI (hereinafter referred to as “radio strength information”) to the home appliance operation server 3. Since this wireless strength information is used by the home appliance operation server 3a to identify the installation location of the voice input device 2a, each voice input device 2a acquires the RSSI of the radio wave received from the same wireless communication device. And. For example, each voice input device 2a acquires radio strength information indicating the radio wave strength of the radio received from the router 41.

図８は、第２の実施形態における家電操作サーバ３ａの機能構成の具体例を示す機能ブロック図である。家電操作サーバ３ａは機器制御部３５に代えて機器制御部３５ａを備える点で第１の実施形態における家電操作サーバ３と異なる。他の構成は第１の実施形態と同様のため、図８においては同様の機能部に図３と同じ符号を付すことにより説明を省略する。機器制御部３５ａは、音声入力装置２ａの設置場所を音声入力装置２ａから受信される無線強度情報に基づいて識別する点で第１の実施形態における機器制御部３５と異なる。例えば、機器制御部３５ａは、各部屋と各部屋においてルータ４１から受信される無線電波の強度との対応関係を示す情報（以下「対応情報」という。）と、各音声入力装置２ａから取得される無線強度情報とに基づいて、各音声入力装置２ａの設置場所を識別する。対応情報は設定情報記憶部３２に予め記憶されているものとする。 FIG. 8 is a functional block diagram showing a specific example of the functional configuration of the home appliance operation server 3a according to the second embodiment. The home appliance operation server 3a is different from the home appliance operation server 3 in the first embodiment in that the device control unit 35a is provided instead of the device control unit 35. Since the other configurations are the same as those of the first embodiment, the description thereof will be omitted in FIG. 8 by assigning the same reference numerals to the same functional parts as those in FIG. The device control unit 35a differs from the device control unit 35 in the first embodiment in that the installation location of the voice input device 2a is identified based on the radio strength information received from the voice input device 2a. For example, the device control unit 35a acquires information (hereinafter referred to as “correspondence information”) indicating a correspondence relationship between each room and the intensity of radio waves received from the router 41 in each room and each voice input device 2a. The installation location of each voice input device 2a is identified based on the radio wave strength information. Correspondence information is assumed to be stored in advance in the setting information storage unit 32.

このように構成された第２の実施形態の機器操作システム１００ａによれば、家電操作サーバ３ａが音声入力装置２ａから取得される無線強度情報に基づいて音声入力装置２ａの設置場所を識別することができるため、家電操作サーバ３ａは各音声入力装置２ａの設置場所を示す情報（例えば第１の実施形態の図４における第１項目を示す情報）を必ずしも予め記憶しておく必要がない。そのため、音声入力装置２ａの設置位置が変更された場合であっても音声による家電機器１の操作を継続して行うことが可能となる。 According to the device operation system 100a of the second embodiment configured in this way, the home appliance operation server 3a identifies the installation location of the voice input device 2a based on the radio strength information acquired from the voice input device 2a. Therefore, the home appliance operation server 3a does not necessarily have to store information indicating the installation location of each voice input device 2a (for example, information indicating the first item in FIG. 4 of the first embodiment) in advance. Therefore, even if the installation position of the voice input device 2a is changed, it is possible to continue to operate the home electric appliance 1 by voice.

（第３の実施形態）
第３の実施形態における機器操作システム１００ｂは、家電操作サーバ３に代えて家電操作サーバ３ｂを備える点で第１の実施形態における機器操作システム１００とは異なる。しかしながら機器操作システム１００ｂの基本的なシステム構成は第１の実施形態における機器操作システム１００と同様であるため、ここでは図１における各符号を適宜読み替えることにより機器操作システム１００ｂの図示を省略することにする。具体的には、符号１００を１００ｂに、符号３を符号３ｂにそれぞれ読み替える。 (Third Embodiment)
The device operation system 100b in the third embodiment is different from the device operation system 100 in the first embodiment in that the home appliance operation server 3b is provided in place of the home appliance operation server 3. However, since the basic system configuration of the device operation system 100b is the same as that of the device operation system 100 in the first embodiment, the description of the device operation system 100b is omitted here by appropriately reading each reference numeral in FIG. To. Specifically, reference numeral 100 is replaced with reference numeral 100 and reference numeral 3 is replaced with reference numeral 3b.

図９は、第３の実施形態における家電操作サーバ３ｂの機能構成の具体例を示す機能ブロック図である。家電操作サーバ３ｂは機器制御部３５に代えて機器制御部３５ｂを備える点で第１の実施形態における家電操作サーバ３と異なる。他の構成は第１の実施形態と同様のため、図９においては同様の機能部に図３と同じ符号を付すことにより説明を省略する。機器制御部３５ｂは、各音声入力装置２に入力される音声がどの家電機器１を操作対象とするものであるかを学習する機能を有する点で第１の実施形態における機器制御部３５と異なる。 FIG. 9 is a functional block diagram showing a specific example of the functional configuration of the home appliance operation server 3b according to the third embodiment. The home appliance operation server 3b is different from the home appliance operation server 3 in the first embodiment in that the device control unit 35b is provided instead of the device control unit 35. Since the other configurations are the same as those of the first embodiment, the description thereof will be omitted in FIG. 9 by assigning the same reference numerals to the same functional parts as those in FIG. The device control unit 35b is different from the device control unit 35 in the first embodiment in that it has a function of learning which home electric appliance 1 is the operation target of the voice input to each voice input device 2. ..

例えば、図４及び図５に示した第１の属性情報及び第２の属性情報の例では、機器制御部３５ｂは、“リビング”に設置された“音声入力装置＃１”に対して『リビングのエアコンをつけて。』という指示音声が所定回数以上入力された場合、“音声入力装置＃１”に対して入力される『エアコン』という言葉は、“リビング”に設置された“エアコン＃１”を指すということを学習する。この学習結果は、例えば第１の属性情報として記録される。このような学習を行った後、“音声入力装置＃１”に対して『エアコンをつけて。』という音声が入力された場合、機器制御部３５ｂはその指示音声により入力された『エアコン』が“リビング”の“エアコン＃１”であると識別することができる。なお、このような操作対象の識別を行った場合、機器制御部３５ｂは自身が学習結果に基づいて操作対象を識別したことを示すために『リビングのエアコンをＯＮにします。』という音声をユーザにフィードバックしてもよい。 For example, in the example of the first attribute information and the second attribute information shown in FIGS. 4 and 5, the device control unit 35b sets the "living room" to the "voice input device # 1" installed in the "living room". Turn on the air conditioner. When the instruction voice "" is input more than a predetermined number of times, the word "air conditioner" input to "voice input device # 1" refers to "air conditioner # 1" installed in the "living room". learn. This learning result is recorded as, for example, the first attribute information. After doing this kind of learning, "Turn on the air conditioner" for "Voice input device # 1". When the voice "" is input, the device control unit 35b can identify that the "air conditioner" input by the instruction voice is "air conditioner # 1" of the "living room". When the operation target is identified in this way, the device control unit 35b "turns on the air conditioner in the living room" to indicate that it has identified the operation target based on the learning result. ] May be fed back to the user.

このように構成された第３の実施形態の機器操作システム１００ｂによれば、家電操作サーバ３ｂが、各音声入力装置２に操作対象として入力される可能性の高い家電機器１を各音声入力装置２から取得した音声データに基づいて学習することにより、操作対象を特定するための属性情報を音声を入力した音声入力装置２に応じて補完することが可能となる。これにより、家電機器１の操作をより簡便な言葉で指示することが可能となるため、音声による指示に基づいて家電機器を操作するサービスについて、ユーザの利便性を向上させることができる。 According to the device operation system 100b of the third embodiment configured in this way, the home appliance operation server 3b inputs the home appliance 1 that is likely to be input to each voice input device 2 as an operation target for each voice input device. By learning based on the voice data acquired from 2, it is possible to complement the attribute information for specifying the operation target according to the voice input device 2 in which the voice is input. As a result, it is possible to instruct the operation of the home electric appliance 1 in simpler words, so that it is possible to improve the convenience of the user for the service of operating the home electric appliance based on the instruction by voice.

以上説明した少なくともひとつの実施形態によれば、ユーザの音声を入力する音声入力装置（音声入力部）と、音声入力装置が入力した音声の内容を認識する音声認識処理を行う音声認識部と、音声の内容に基づいて操作対象の家電機器に対して行わせる動作を識別するとともに、操作対象の家電機器を、音声入力装置と家電機器との対応関係を示す属性情報（第１の属性情報）、又はユーザと家電機器との対応関係を示す属性情報（第２の属性情報）に基づいて選択する機器制御部と、を持つことにより、音声による指示に基づいて家電機器を操作する機器操作システムについて、ユーザの利便性を向上させることができる。 According to at least one embodiment described above, a voice input device (voice input unit) for inputting a user's voice, a voice recognition unit for performing voice recognition processing for recognizing the content of the voice input by the voice input device, and a voice recognition unit. Attribute information (first attribute information) that identifies the operation to be performed on the home appliance to be operated based on the content of the voice and indicates the correspondence relationship between the voice input device and the home appliance for the home appliance to be operated. Or, a device operation system that operates home appliances based on voice instructions by having a device control unit that selects based on attribute information (second attribute information) indicating the correspondence between the user and the home appliance. It is possible to improve the convenience of the user.

（変形例）
なお、音声認識部及び機器制御部の一方又は両方は、ネットワークを介して音声入力装置と通信可能な家電操作サーバに備えられてもよいし、音声入力装置に備えられてもよい。例えば、音声認識部が音声入力装置に備えられる場合、音声入力装置は音声データに代えて、音声データの内容を示すテキストデータを家電操作サーバに送信するように構成されてもよい。また、例えば、音声認識部及び機器制御部が音声入力装置に備えられる場合、音声入力装置は操作対象として選択した家電機器と、操作対象の家電機器に行わせる動作とを家電操作サーバに通知するように構成されてもよい。この場合、家電操作サーバは通知された操作対象の家電機器に対して通知された動作を行わせる制御情報を生成し、生成した制御情報を操作対象の家電機器に送信するように構成されてもよい。 (Modification example)
One or both of the voice recognition unit and the device control unit may be provided in the home appliance operation server capable of communicating with the voice input device via the network, or may be provided in the voice input device. For example, when the voice recognition unit is provided in the voice input device, the voice input device may be configured to transmit text data indicating the content of the voice data to the home appliance operation server instead of the voice data. Further, for example, when the voice recognition unit and the device control unit are provided in the voice input device, the voice input device notifies the home appliance operation server of the home appliance selected as the operation target and the operation to be performed by the operation target home appliance. It may be configured as follows. In this case, even if the home appliance operation server is configured to generate control information for performing the notified operation on the notified home appliance to be operated and to transmit the generated control information to the home appliance to be operated. Good.

上述の実施形態では、家電機器１及び音声入力装置２がルータ４１を介した無線ＬＡＮにより通信可能であり、また家電機器１及び音声入力装置２はそれぞれルータ４１を介して家電操作サーバ３と通信可能であることを説明したが、通信形態はこれに限定されない。例えば、家電機器１及び音声入力装置２は電力線などの有線により通信可能に構成されてもよいし、家電機器１及び音声入力装置２はルータ４１を介さない態様で通信可能に構成されてもよい。 In the above-described embodiment, the home appliance 1 and the voice input device 2 can communicate with each other via the wireless LAN via the router 41, and the home appliance 1 and the voice input device 2 communicate with the home appliance operation server 3 via the router 41, respectively. Although it has been explained that it is possible, the communication form is not limited to this. For example, the home electric appliance 1 and the voice input device 2 may be configured to be communicable by wire such as a power line, and the home electric appliance 1 and the voice input device 2 may be configured to be communicable without going through a router 41. ..

上述の実施形態では、機器操作システム１００の音声入力機能をスマートスピーカやスマートフォンなどの音声入力装置２を用いて構成する場合について説明したが、音声入力機能は他の態様で実現されてもよい。例えば、いずれかの家電装置１に音声入力機能が組み込まれてもよい。 In the above-described embodiment, the case where the voice input function of the device operation system 100 is configured by using the voice input device 2 such as a smart speaker or a smartphone has been described, but the voice input function may be realized in other embodiments. For example, a voice input function may be incorporated in any home appliance 1.

機器操作システムは、所定の内容を示す音声を出力する音声出力部をさらに備えてもよい。この場合、音声出力部は音声入力装置に備えられてもよいし、専用の音声出力装置として構成されてもよい。このような音声出力部を備えることにより、機器操作システムは、ユーザに対して機器操作に関する情報を通知することができる。 The device operation system may further include an audio output unit that outputs an audio indicating a predetermined content. In this case, the audio output unit may be provided in the audio input device, or may be configured as a dedicated audio output device. By providing such an audio output unit, the device operation system can notify the user of information regarding the device operation.

機器操作システムは、家電機器に対して行わせる動作の手動入力を可能にする入力部をさらに備えてもよい。例えば入力部は、タッチパネル、マウス及びキーボード等の入力装置を用いて構成される。例えば入力部は音声入力装置に備えられる。この場合、音声入力装置は操作対象の家電機器を示す情報と、操作対象の家電機器に行わせる動作を示す情報との入力を受け付け、入力情報を家電操作サーバに送信する。また、例えば、入力部は、家電機器の遠隔操作アプリケーションを実行する遠隔操作端末として実現されてもよい。 The device operating system may further include an input unit that allows manual input of actions to be performed on the home appliance. For example, the input unit is configured by using an input device such as a touch panel, a mouse, and a keyboard. For example, the input unit is provided in the voice input device. In this case, the voice input device accepts the input of the information indicating the home appliance to be operated and the information indicating the operation to be performed by the home appliance to be operated, and transmits the input information to the home appliance operation server. Further, for example, the input unit may be realized as a remote control terminal that executes a remote control application of a home electric appliance.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, as well as in the scope of the invention described in the claims and the equivalent scope thereof.

１００，１００ａ，１００ｂ…機器操作システム、１，１−１〜１−１１…家電機器、２，２−１〜２−４，２ａ…音声入力装置、２１…通信部、２２…音声入力部、２３…音声データ送信部、２４…無線強度通知部、３，３ａ，３ｂ…家電操作サーバ、３１…通信部、３２…設定情報記憶部、３３…音声データ取得部、３４…音声認識部、３５，３５ａ，３５ｂ…機器制御部、４１…ルータ、４２…ＷＡＮ（Wide Area Network）、Ｔ１…第１属性情報テーブル、Ｔ２…第２属性情報テーブル 100, 100a, 100b ... Equipment operation system, 1,1-1 to 1-11 ... Home appliances, 2,2-1 to 2-4, 2a ... Voice input device, 21 ... Communication unit, 22 ... Voice input unit, 23 ... Voice data transmission unit, 24 ... Radio strength notification unit, 3,3a, 3b ... Home appliance operation server, 31 ... Communication unit, 32 ... Setting information storage unit, 33 ... Voice data acquisition unit, 34 ... Voice recognition unit, 35 , 35a, 35b ... Device control unit, 41 ... Router, 42 ... WAN (Wide Area Network), T1 ... First attribute information table, T2 ... Second attribute information table

Claims (13)

ユーザの音声を入力する１以上の音声入力部と、
前記音声入力部が入力した音声の内容を認識する音声認識処理を行う音声認識部と、
前記音声の内容に基づいて操作対象の家電機器に対して行わせる動作を識別するとともに、前記操作対象の家電機器を、各家電機器の属性を示す第１の属性情報、又は前記音声入力部の属性を示す第２の属性情報に基づいて選択する機器制御部と、
を備える機器操作システム。 One or more voice input units for inputting the user's voice,
A voice recognition unit that performs voice recognition processing that recognizes the content of the voice input by the voice input unit, and
The operation to be performed on the home appliance to be operated is identified based on the content of the voice, and the home appliance to be operated is subjected to the first attribute information indicating the attribute of each home appliance, or the voice input unit. A device control unit that selects based on the second attribute information that indicates the attribute,
Equipment operation system equipped with. 前記属性は前記家電機器又は前記音声入力部の設置場所を表す、
請求項２に記載の機器操作システム。 The attribute represents the installation location of the home electric appliance or the voice input unit.
The device operation system according to claim 2. 前記機器制御部は、前記音声の内容が示す種別の家電機器のうち、前記音声を入力した音声入力部と同じ設置場所に設置されている家電機器を前記操作対象として選択する、
請求項２に記載の機器操作システム。 The device control unit selects, among the types of home appliances indicated by the content of the voice, a home appliance installed at the same installation location as the voice input unit into which the voice is input, as the operation target.
The device operation system according to claim 2. 前記属性は前記家電機器又は前記音声入力部に対応づけられたユーザを表す、
請求項１から３のいずれか一項に記載の機器操作システム。 The attribute represents a user associated with the home appliance or the voice input unit.
The device operation system according to any one of claims 1 to 3. 前記音声認識部は前記音声を発したユーザを識別する機能をさらに有し、
前記機器制御部は、前記音声を発したユーザに対応づけられた家電機器を前記操作対象として選択する、
請求項４に記載の機器操作システム。 The voice recognition unit further has a function of identifying the user who has emitted the voice.
The device control unit selects a home electric appliance associated with the user who emits the voice as the operation target.
The device operation system according to claim 4. 前記音声入力部は複数の空間のそれぞれに設けられる、
請求項１から５のいずれか一項に記載の機器操作システム。 The voice input unit is provided in each of a plurality of spaces.
The device operation system according to any one of claims 1 to 5. 前記家電機器又は前記音声入力部には複数の属性が対応づけられ、
前記機器制御部は、前記音声の入力に関して取得される複数の属性値と、前記第１の属性情報又は前記第２の属性情報とに基づいて１つ以上の家電機器を操作対象として選択する、
請求項１から６のいずれか一項に記載の機器操作システム。 A plurality of attributes are associated with the home electric appliance or the voice input unit.
The device control unit selects one or more home electric appliances as operation targets based on a plurality of attribute values acquired with respect to the voice input and the first attribute information or the second attribute information.
The device operation system according to any one of claims 1 to 6. 前記音声認識部及び前記機器制御部の一方又は両方が、ネットワークを介して前記音声入力部を備える音声入力装置と通信可能な情報処理装置に備えられる、
請求項１から７のいずれか一項に記載の機器操作システム。 One or both of the voice recognition unit and the device control unit is provided in an information processing device capable of communicating with a voice input device including the voice input unit via a network.
The device operation system according to any one of claims 1 to 7. 所定の内容を示す音声を出力する音声出力装置をさらに備える、
請求項１から８のいずれか一項に記載の機器操作システム。 Further provided with an audio output device that outputs audio indicating a predetermined content.
The device operation system according to any one of claims 1 to 8. 前記家電機器に対して行わせる動作の手動入力を可能にする入力部をさらに備える、
請求項１から９のいずれか一項に記載の機器操作システム。 Further provided with an input unit that enables manual input of the operation to be performed on the home electric appliance.
The device operation system according to any one of claims 1 to 9. １つ以上の音声入力部によってユーザの音声を入力するステップと、
音声認識部によって前記音声入力部が入力した音声の内容を認識するステップと、
前記音声の内容に基づいて操作対象の家電機器に対して行わせる動作を識別するとともに、前記操作対象の家電機器を、各家電機器の属性を示す第１の属性情報、又は前記音声入力部の属性を示す第２の属性情報に基づいて選択するステップと、
を有する機器操作方法。 A step of inputting the user's voice by one or more voice input units,
A step of recognizing the content of the voice input by the voice input unit by the voice recognition unit, and
The operation to be performed on the home appliance to be operated is identified based on the content of the voice, and the home appliance to be operated is subjected to the first attribute information indicating the attribute of each home appliance, or the voice input unit. A step to select based on the second attribute information indicating the attribute, and
How to operate the equipment. ユーザの音声を入力する１つ以上の音声入力部と、
前記音声入力部が入力した音声の内容を認識する音声認識処理を行う音声認識部と、
前記音声の内容に基づいて操作対象の家電機器に対して行わせる動作を識別するとともに、前記操作対象の家電機器を、各家電機器の属性を示す第１の属性情報、又は前記音声入力部の属性を示す第２の属性情報に基づいて選択する機器制御部と、
を備える情報処理装置。 One or more voice input units for inputting the user's voice,
A voice recognition unit that performs voice recognition processing that recognizes the content of the voice input by the voice input unit, and
The operation to be performed on the home appliance to be operated is identified based on the content of the voice, and the home appliance to be operated is subjected to the first attribute information indicating the attribute of each home appliance, or the voice input unit. A device control unit that selects based on the second attribute information that indicates the attribute,
Information processing device equipped with. １つ以上の音声入力部によってユーザの音声を入力するステップと、
入力した音声の内容を認識する音声認識処理を行うステップと、
前記音声の内容に基づいて操作対象の家電機器に対して行わせる動作を識別するとともに、前記操作対象の家電機器を、各家電機器の属性を示す第１の属性情報、又は前記音声入力部の属性を示す第２の属性情報に基づいて選択するステップと、
をコンピュータに実行させるためのコンピュータプログラム。 A step of inputting the user's voice by one or more voice input units,
Steps to perform voice recognition processing to recognize the contents of the input voice,
The operation to be performed on the home appliance to be operated is identified based on the content of the voice, and the home appliance to be operated is subjected to the first attribute information indicating the attribute of each home appliance, or the voice input unit. A step to select based on the second attribute information indicating the attribute, and
A computer program that lets a computer run.
JP2019199878A 2019-11-01 2019-11-01 Equipment operating system, equipment operating method, information processing device and computer program Active JP7433841B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019199878A JP7433841B2 (en) 2019-11-01 2019-11-01 Equipment operating system, equipment operating method, information processing device and computer program
CN202010894933.5A CN112786037B (en) 2019-11-01 2020-08-31 Device operating system, device operating method, information processing apparatus, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019199878A JP7433841B2 (en) 2019-11-01 2019-11-01 Equipment operating system, equipment operating method, information processing device and computer program

Publications (2)

Publication Number Publication Date
JP2021071682A true JP2021071682A (en) 2021-05-06
JP7433841B2 JP7433841B2 (en) 2024-02-20

Family

ID=75713071

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019199878A Active JP7433841B2 (en) 2019-11-01 2019-11-01 Equipment operating system, equipment operating method, information processing device and computer program

Country Status (2)

Country Link
JP (1) JP7433841B2 (en)
CN (1) CN112786037B (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002318843A (en) * 2001-04-20 2002-10-31 Misawa Homes Co Ltd System, device, and method for remotely managing equipment, and storage medium
JP2004354721A (en) * 2003-05-29 2004-12-16 Shimizu Corp Controller by speech, speech control method, and speech control program
JP2009042298A (en) * 2007-08-06 2009-02-26 Panasonic Electric Works Co Ltd Device controller by means of voice
JP2017010176A (en) * 2015-06-18 2017-01-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ Device specifying method, device specifying apparatus, and program

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7725308B2 (en) * 2006-06-07 2010-05-25 Motorola, Inc. Interactive tool for semi-automatic generation of a natural language grammar from a device descriptor
CN105491114B (en) * 2015-11-25 2019-04-26 小米科技有限责任公司 Controlled plant switching method, apparatus and system
CN109074292B (en) * 2016-04-18 2021-12-14 谷歌有限责任公司 Automated assistant invocation of appropriate agents
CN109416192B (en) * 2016-07-07 2021-04-16 三菱电机株式会社 Air conditioning control device, air conditioning control method, air conditioning system, and house with air conditioning
CN109688442B (en) * 2017-05-16 2021-06-04 苹果公司 Method and interface for home media control
CN109448705B (en) * 2018-10-17 2021-01-29 珠海格力电器股份有限公司 Voice segmentation method and device, computer device and readable storage medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002318843A (en) * 2001-04-20 2002-10-31 Misawa Homes Co Ltd System, device, and method for remotely managing equipment, and storage medium
JP2004354721A (en) * 2003-05-29 2004-12-16 Shimizu Corp Controller by speech, speech control method, and speech control program
JP2009042298A (en) * 2007-08-06 2009-02-26 Panasonic Electric Works Co Ltd Device controller by means of voice
JP2017010176A (en) * 2015-06-18 2017-01-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ Device specifying method, device specifying apparatus, and program

Also Published As

Publication number Publication date
JP7433841B2 (en) 2024-02-20
CN112786037B (en) 2024-08-27
CN112786037A (en) 2021-05-11

Similar Documents

Publication Publication Date Title
US11651771B2 (en) Home appliance and speech recognition server system using artificial intelligence and method for controlling thereof
US10185534B2 (en) Control method, controller, and recording medium
US9721572B2 (en) Device control method and electric device
US9984563B2 (en) Method and device for controlling subordinate electronic device or supporting control of subordinate electronic device by learning IR signal
JP6715283B2 (en) Network system and information processing method
CN114402383A (en) Electronic device and method for controlling voice recognition thereof
CN114299939A (en) Intelligent device, voice control device of intelligent home and control method
JPWO2018158894A1 (en) Air conditioning control device, air conditioning control method and program
JP7433841B2 (en) Equipment operating system, equipment operating method, information processing device and computer program
US11852366B2 (en) System and method to control an air conditioning system using a voice command
EP3886457A1 (en) Information processing device and information processing method
CN111183478A (en) Household appliance system
JP2019028388A (en) Home electric device system
JP2007318319A (en) Remote controller, and control method therefor
JP7429194B2 (en) Dialogue device and dialogue program
JP2021047012A (en) Air-conditioning system
WO2019069597A1 (en) Home electric system
JP7349642B2 (en) Presentation system that accepts turning off notifications
US20240048523A1 (en) Information processing method, non-transitory computer readable recording medium storing information processing program, and information processing device
WO2022215280A1 (en) Speech test method for speaking device, speech test server, speech test system, and program used in terminal communicating with speech test server
JP2020014085A (en) Operation assistance device, operation assistance method, and operation assistance system
JP2017151742A (en) Network system, server, information processing method, and electric appliance
JP2022130218A (en) Server device, display device, and display control method
WO2019221001A1 (en) Processing system and program
JP2020129183A (en) Control device, control system, and control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220610

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240207

R150 Certificate of patent or registration of utility model

Ref document number: 7433841

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150