JP2019068319A - 家電システム - Google Patents

家電システム Download PDF

Info

Publication number
JP2019068319A
JP2019068319A JP2017193539A JP2017193539A JP2019068319A JP 2019068319 A JP2019068319 A JP 2019068319A JP 2017193539 A JP2017193539 A JP 2017193539A JP 2017193539 A JP2017193539 A JP 2017193539A JP 2019068319 A JP2019068319 A JP 2019068319A
Authority
JP
Japan
Prior art keywords
control unit
user
detection device
home
home appliance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017193539A
Other languages
English (en)
Inventor
裕樹 丸谷
Hiroki Marutani
裕樹 丸谷
幸雄 町田
Yukio Machida
幸雄 町田
弘暁 川口
Hiroaki Kawaguchi
弘暁 川口
慶彦 氏田
Yoshihiko UJITA
慶彦 氏田
翼 鷲崎
Tsubasa WASHIZAKI
翼 鷲崎
健吾 松永
Kengo Matsunaga
健吾 松永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Lifestyle Products and Services Corp
Original Assignee
Toshiba Lifestyle Products and Services Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Lifestyle Products and Services Corp filed Critical Toshiba Lifestyle Products and Services Corp
Priority to JP2017193539A priority Critical patent/JP2019068319A/ja
Priority to PCT/JP2018/031589 priority patent/WO2019069587A1/ja
Priority to US16/651,092 priority patent/US20200241838A1/en
Priority to CN201880063007.4A priority patent/CN111164677A/zh
Publication of JP2019068319A publication Critical patent/JP2019068319A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/542—Event management; Broadcasting; Multicasting; Notifications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/2847—Home automation networks characterised by the type of home appliance used
    • H04L2012/285—Generic home appliances, e.g. refrigerators

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Selective Calling Equipment (AREA)

Abstract

【課題】複数の家電機器が存在する場合に、特定の家電機器の名称をユーザが言わない場合であっても、１または複数の家電機器を特定することができる技術を提供する。【解決手段】家電システムは、複数の家電機器と通信可能であってユーザの発話を検知する検知装置と、制御部を備えている。前記制御部が、前記検知装置によって検知されるユーザの発話の内容に基づいて複数の前記家電機器のうちの１または複数の前記家電機器を特定する。【選択図】図１

Description

本明細書に開示する技術は、家電システムに関する。
特許文献１には、音声認識手段と運転制御手段を備えている空気調和機が開示されている。この空気調和機では、音声認識手段が認識した音声が制御指令である場合に、その音声認識結果に従って運転制御手段が空気調和機の運転制御を行っている。
特許第５０２０２２２号公報
一般的な家庭内には、空気調和機の他にも複数の家電機器が存在している。例えば、冷蔵庫、洗濯機、自走式掃除機、エアコン等の家電機器が存在している。また、複数の家電機器が存在する場合に、それら複数の家電機器の運転を制御したい場合がある。特許文献１の音声認識では、複数の家電機器が存在する場合に、それらのうちどの家電機器の運転を制御するのかを認識することができない。そこで本明細書は、複数の家電機器が存在する場合に、特定の家電機器の名称をユーザが言わない場合であっても、１または複数の家電機器を特定することができる技術を提供する。
本明細書に開示する家電システムは、複数の家電機器と通信可能であってユーザの発話を検知する検知装置と、制御部を備えている。前記制御部が、前記検知装置によって検知されるユーザの発話の内容に基づいて複数の前記家電機器のうちの１または複数の前記家電機器を特定する。
第１実施例に係る家電システムの構成を模式的に示す図である。 第１実施例に係る検知装置の構成を模式的に示す図である。 第１実施例に係る検知装置の構成を示すブロック図である。 ユーザの発話内容に含まれているキーワードと家電機器の対応関係の一例を示すテーブルである。 第１実施例に係る家電システムで実行される処理を示すシーケンス図である。 第２実施例に係る家電システムの構成を模式的に示す図である。 第３実施例に係る家電システムで実行される処理を示すシーケンス図である。 第４実施例に係る家電システムで実行される処理を示すシーケンス図である。 第５実施例に係る家電システムで実行される処理を示すシーケンス図である。
［第１実施例］
実施例に係る家電システム１について図面を参照して説明する。図１に示すように、第１実施例に係る家電システム１は、検知装置１０と、複数の家電機器５０を備えている。
検知装置１０は、例えば、家庭内のリビングに配置されている。検知装置１０が配置される位置は特に限定されず、例えば家庭内のキッチン、ダイニング、寝室、子供部屋等に検知装置１０が配置されてもよい。検知装置１０は、家庭内に配置されている複数の家電機器５０と無線通信可能である。検知装置１０と家電機器５０の通信方式は特に限定されない。また、検知装置１０は、無線ルータ９２とモデム９３とインターネット１００を介して外部の第１サーバ９０に接続されており、外部の第１サーバ９０と通信可能である。検知装置１０は、第１サーバ９０を介して複数の家電機器５０と通信可能であってもよい。第１サーバ９０は、インターネット１００を介して外部の第２サーバ９６に接続されている。第１サーバ９０は制御部９１を備えている。
図２に示すように、検知装置１０は、マイク１２とスピーカー１３を備えている。また、図３に示すように、検知装置１０は、無線通信モジュール１４と制御部２０を備えている。検知装置１０は、家電システム１のユーザの発話を検知する装置である。
検知装置１０のマイク１２は、検知装置１０の周囲の音声を取得する装置である。検知装置１０の周囲で家電システム１のユーザが発話すると、その音声をマイク１２が取得する。マイク１２は、例えば、検知装置１０から半径５ｍの範囲内の音声を取得することができる。マイク１２が取得した音声は検知装置１０の制御部２０に送信される。
検知装置１０のスピーカー１３は、検知装置１０の周囲に向けて音声を発する装置である。スピーカー１３は、音声によって家電システム１のユーザに情報を報知する。例えば、スピーカー１３は、家電機器５０に関連する情報を検知装置１０の周囲にいるユーザに向けて音声で報知する。検知装置１０の周囲にいるユーザは、スピーカー１３が発した音声によって報知された情報を認識することができる。
検知装置１０の無線通信モジュール１４は、複数の家電機器５０および無線ルータ９２と無線通信するために設けられている。無線通信モジュール１４を通じて情報の送受信が行われる。
検知装置１０の制御部２０は、音声受信部２１と、音声出力部２２と、記憶部２３と、通信部２４を備えている。制御部２０における音声受信部２１は、マイク１２が取得した音声の信号をマイク１２から受信する。また、音声出力部２２は、検知装置１０の周囲に向けて発するための音声の信号をスピーカー１３に出力する。また、通信部２４は、無線通信モジュール１４を介して情報の送受信を行う。また、記憶部２３には、音声受信部２１がマイク１２から受信した音声を分析するための分析用音声データが記憶されている。検知装置１０の制御部２０が実行する制御の詳細については後述する。
図１に示すように、家電システム１における複数の家電機器５０は、無線ルータ９２とモデム９３とインターネット１００を介して外部の第１サーバ９０に接続されており、外部の第１サーバ９０と通信可能である。各家電機器５０は、図示しない通信部を備えている。家電システム１における複数の家電機器５０は、例えば冷蔵庫５０ａ、洗濯機５０ｂ、自走式掃除機５０ｃ、エアコン５０ｄである。各家電機器５０（５０ａ、５０ｂ、５０ｃ、５０ｄ）は、各制御部６０（６０ａ、６０ｂ、６０ｃ、６０ｄ）を備えている。家電機器５０の種類は特に限定されず、例えば電子レンジ、炊飯器、テレビ、ブルーレイディスクプレーヤー、ＤＶＤプレーヤー等であってもよい。
次に、家電システム１のユーザの発話について説明する。家庭内では、家電システム１のユーザが様々な発話を行う。そのとき、ユーザの発話の内容が、家電システム１における１または複数の家電機器５０に関連していることがある。すなわち、図４に示すように、ユーザの発話に含まれているキーワードが１または複数の家電機器５０に関連していることがある。例えば、ユーザが、「冷蔵庫に何入ってる？」、「乾燥までお願い。」、「掃除して。」、「部屋が暑い。」、「ビール冷やして。」等の発話を行うことがある。ユーザが「冷蔵庫に何入ってる？」、「ビール冷やして。」等と発話した場合は、その発話の内容は、冷蔵庫５０ａに関連している。また、ユーザが「乾燥までお願い。」等と発話した場合は、その発話の内容は、洗濯機５０ｂに関連している。ユーザの各発話内容に含まれているキーワードが、各家電機器５０に関連している。上記の家電システム１では、このようなユーザの発話の内容に基づいて各種の処理を実行する。これについて以下に説明する。なお、図４に示す発話内容とキーワードと家電機器５０の対応関係は一例であり、特に限定されるものではない。
次に、家電システム１で実行される処理について説明する。図５に示すように、家電システム１では、検知装置１０の電源がオンになるとまずステップＳ１０１の処理が実行される。ステップＳ１０１では、検知装置１０の音声受信部２１が、家電システム１のユーザの発話音声を受信する。家電システム１では、ユーザが何かを発話すると、検知装置１０のマイク１２がその音声を取得して制御部２０に送信する。例えば、家電システム１のユーザが「冷蔵庫に何入ってる？」、「ビール冷やして。」と発話したとすると、検知装置１０のマイク１２がその音声を取得して制御部２０に送信する。そして、制御部２０の音声受信部２１がその音声（「冷蔵庫に何入ってる？」、「ビール冷やして。」）を受信する。
続いてステップＳ１０２では、制御部２０が、音声受信部２１が受信した音声を、記憶部２３に記憶されている分析用音声データを用いて分析する。制御部２０は、音声を分析してその音声に含まれているキーワードを抽出する。例えば、制御部２０は、音声受信部２１が受信した「冷蔵庫に何入ってる？」の音声を分析して、図４に示すように、その音声に含まれている「冷蔵庫」というキーワードを抽出する。また、制御部２０は、音声受信部２１が受信した「ビール冷やして。」の音声を分析して、その音声に含まれている「ビール」と「冷やし」というキーワードを抽出する。なお、「冷蔵庫」というキーワードは、機器名称系のキーワードである。また、「ビール」というキーワードは、関連語系のキーワードであり、「冷やし」というキーワードは、制御内容系のキーワードである。
図５に示すように、続いてステップＳ１０３では、制御部２０が、音声分析によって抽出したキーワードに基づいて、そのキーワードに関連する家電機器５０を特定する。例えば、制御部２０は、家電システム１における複数の家電機器５０のうち、抽出したキーワード「冷蔵庫」に関連する家電機器５０すなわち「冷蔵庫５０ａ」を特定する。また、制御部２０は、抽出したキーワード「ビール」、「冷やし」に基づいて、そのキーワードに関連する「冷蔵庫５０ａ」を特定してもよい。
続いてステップＳ１０４では、制御部２０が、上記のステップＳ１０３で特定した家電機器５０（例えば冷蔵庫５０ａ）に対する制御内容を決定する。制御部２０は、音声分析によって抽出したキーワードに基づいて、そのキーワードに関連する制御内容を決定する。例えば、制御部２０は、抽出したキーワード「冷やし」に基づいて、冷蔵庫５０ａの庫内の温度を下げて庫内を冷やす制御内容を決定する。
続いて、制御部２０は、家電機器関連情報を取得する場合は、ステップＳ１０５の処理を実行する。家電機器関連情報は、上記のステップＳ１０３で制御部２０が特定した家電機器５０（例えば冷蔵庫５０ａ）に関連する情報である。家電機器関連情報には、例えば、冷蔵庫５０ａの庫内にある物の情報や庫内の温度の情報が含まれている。
ステップＳ１０５では、検知装置１０の制御部２０が、情報取得要求を家電機器５０（例えば冷蔵庫５０ａ）に送信する。その情報取得要求を家電機器５０の制御部６０が受信する。続いてステップＳ１０６では、家電機器５０の制御部６０が、受信した情報取得要求に応答して、家電機器関連情報を検知装置１０に送信する。その家電機器関連情報を検知装置１０の制御部２０が受信する。
続いて、検知装置１０の制御部２０は、上記のステップＳ１０３で特定した家電機器５０（例えば冷蔵庫５０ａ）の動作を制御する場合は、ステップＳ１０７の処理を実行する。制御部２０は、上記のステップＳ１０４で決定した制御内容に基づいて、家電機器５０（例えば冷蔵庫５０ａ）の動作を制御する。
ステップＳ１０７では、検知装置１０の制御部２０が、制御情報を家電機器５０（例えば冷蔵庫５０ａ）に送信する。その制御情報を家電機器５０の制御部６０が受信する。制御情報は、家電機器５０（例えば冷蔵庫５０ａ）の制御内容に関連する情報である。制御情報には、例えば、冷蔵庫５０ａの庫内の温度を下げて庫内を冷やすための情報が含まれている。続いてステップＳ１０８では、家電機器５０の制御部６０が、受信した制御情報に応答して、制御応答情報を検知装置１０に送信する。その制御応答情報を検知装置１０の制御部２０が受信する。また、家電機器５０の制御部６０は、受信した制御情報に基づいて動作を制御する。例えば、制御部６０は、冷蔵庫５０ａの庫内の温度を下げて庫内を冷やす制御を実行する。
以上、第１実施例に係る家電システム１について説明した。上記の説明から明らかなように、家電システム１は、複数の家電機器５０と通信可能であってユーザの発話を検知する検知装置１０と、検知装置１０における制御部２０を備えている。制御部２０が、検知装置１０によって検知されるユーザの発話の内容に基づいて複数の家電機器５０のうちの１つの家電機器５０（例えば冷蔵庫５０ａ）を特定する。より詳細には、制御部２０が、ユーザの発話に含まれている１または複数のキーワード（例えば「冷蔵庫」、「ビール」、「冷やし」）に基づいて、キーワードに関連する１つの家電機器５０（例えば冷蔵庫５０ａ）を特定する。
この構成によれば、例えば、ユーザが「ビール冷やして。」と発話した場合に、ユーザが特定の家電機器５０（例えば冷蔵庫５０ａ）の名称を言わなくても、その発話（「ビール冷やして。」）の内容から家電機器５０（冷蔵庫５０ａ）を特定することができる。なお、ユーザが特定の家電機器５０（例えば冷蔵庫５０ａ）の名称を言う場合であっても、その家電機器５０（冷蔵庫５０ａ）を特定することができる。また、検知装置１０における制御部２０が家電機器５０を特定するので、制御部２０がローカル環境で情報処理を実行することができ、処理速度が速くなる。なお、上記の説明では、検知装置１０の制御部２０が冷蔵庫５０ａを特定する場合について説明したが、他の家電機器５０（洗濯機５０ｂ、自走式掃除機５０ｃ、エアコン５０ｄ等）を特定する場合でも上記と同様の処理が実行される。
また、上記の家電システム１では、制御部２０が、特定した家電機器５０（例えば冷蔵庫５０ａ）に関連する情報をその家電機器５０（例えば冷蔵庫５０ａ）から取得する。そのため、特定した家電機器５０（例えば冷蔵庫５０ａ）について取得した家電機器関連情報を有効に利用することができる。
また、上記の家電システム１では、制御部２０が、特定した家電機器５０（例えば冷蔵庫５０ａ）の動作をユーザの発話の内容に基づいて制御する。そのため、家電機器５０の動作を適切に制御することができる。例えば、ユーザが「ビール冷やして。」と発話した場合に、制御部２０が、その発話の内容に基づいて、冷蔵庫５０ａの庫内の温度を下げて庫内を冷やす制御をする。したがって、ユーザの要求に応えることができる。
以上、一実施例について説明したが、具体的な態様は上記実施例に限定されるものではない。以下の説明において、上述の説明における構成と同様の構成については、同一の符号を付して説明を省略する。
［第２実施例］
上記の家電システム１では、ユーザの発話の内容に基づいて特定される家電機器５０が複数存在する場合がある。例えば、家電システム１が設置される家庭内に同じ種類の家電機器５０が複数存在する場合がある。より詳細には、図６に示すように、家庭内に複数の部屋（例えば１階のリビング８０ａ、２階の寝室８０ｂ、２階の子供部屋８０ｃ等）が存在しており、複数の部屋のそれぞれに同じ種類の家電機器５０（例えばエアコン５０ｄ）が配置されている場合がある。例えば１階のリビング８０ａに第１エアコン５０ｄ１が配置されており、２階の寝室８０ｂに第２エアコン５０ｄ２が配置されており、２階の子供部屋８０ｃに第３エアコン５０ｄ３が配置されているとする。
この場合に、家電システム１のユーザが例えば「寝室のエアコン消して。」と発話したとする。そうすると、検知装置１０の制御部２０が、ユーザの発話に含まれているキーワード「エアコン」に基づいて、複数のエアコン５０ｄを特定する。また、制御部２０が、ユーザの発話に含まれているキーワード「寝室」に基づいて、寝室８０ｂに配置されている第２エアコン５０ｄ２を特定する。また、ユーザが例えば「２階のエアコン消して。」と発話したとする。そうすると、検知装置１０の制御部２０が、ユーザの発話に含まれているキーワード「２階」と「エアコン」に基づいて、２階の寝室８０ｂに配置されている第２エアコン５０ｄ２と、２階の子供部屋８０ｃに配置されている第３エアコン５０ｄ３を特定する。
以上のように第２実施例に係る家電システム１では、ユーザの発話の内容に基づいて特定される家電機器５０（例えばエアコン５０ｄ）が複数ある場合に、検知装置１０の制御部２０が、ユーザの発話に含まれているキーワードに基づいて、特定された複数の家電機器５０（例えばエアコン５０ｄ）の中から、キーワードに関連する１または複数の家電機器５０（例えば、寝室８０ｂの第２エアコン５０ｄ２または２階の第２エアコン５０ｄ２と第３エアコン５０ｄ３）を特定する。
上記の例におけるユーザの発話に含まれている「寝室」と「２階」のキーワードは、同じ種類の複数の家電機器５０から１または複数の家電機器５０（例えば、寝室８０ｂの第２エアコン５０ｄ２または２階の第２エアコン５０ｄ２と第３エアコン５０ｄ３）を特定するための分別情報の一例である。この構成によれば、同じ種類の複数の家電機器５０が存在する場合であっても、分別情報に基づいて１または複数の家電機器５０を特定することができる。なお、制御部２０が複数の分別情報の組み合わせに基づいて１または複数の家電機器５０を特定してもよい。
［第３実施例］
上記の家電システム１では、キーワードに関連する家電機器５０が重複する場合がある。この場合は、第３実施例に係る処理が実行される。例えば、家電システム１のユーザが「冷えが悪い。」と発話したとする。そうすると、上記のステップＳ１０１では、検知装置１０の音声受信部２１が、ユーザが発話した音声（「冷えが悪い。」）を受信する。また、ステップＳ１０２では、検知装置１０の制御部２０が、音声受信部２１が受信した「冷えが悪い。」の音声を分析して、その音声に含まれている「冷え」というキーワードを抽出する。また、ステップＳ１０３では、制御部２０が、音声分析によって抽出したキーワード「冷え」に基づいて、そのキーワードに関連する家電機器５０を特定する。制御部２０が抽出したキーワード「冷え」に関連する家電機器５０としては、図４に示すように、「冷蔵庫５０ａ」と「エアコン５０ｄ」がある。すなわち、キーワード「冷え」に基づいて特定される家電機器５０の候補が複数存在する（この場合は冷蔵庫５０ａとエアコン５０ｄが存在する。）。この場合は、次のステップＳ１１１の処理が実行される。
図７に示すように、ステップＳ１１１では、制御部２０が、検知装置１０のスピーカー１３によって確認情報をユーザに報知する。確認情報は、制御部２０が抽出したキーワードに基づいて特定される家電機器５０の候補が複数あることを示す情報である。制御部２０は、例えば、検知装置１０の周囲にいるユーザに向かってスピーカー１３から「何の冷えが悪いですか？」、「食品の冷えが悪いですか？」、「部屋の冷えが悪いですか？」等の音声を発する。これらの音声は確認情報の一例である。
家電システム１のユーザが、スピーカー１３から報知された確認情報に対して、「ビールの冷えが悪い。」と発話したとする。そうすると、ステップＳ１１１に続くステップＳ１１２では、検知装置１０のマイク１２がその音声を取得して制御部２０に送信する。制御部２０の音声受信部２１がその音声（「ビールの冷えが悪い。」）を受信する。
続いてステップＳ１１３では、制御部２０が、音声受信部２１が受信した音声を分析する。制御部２０は、音声を分析してその音声に含まれているキーワードを抽出する。例えば、制御部２０は、音声受信部２１が受信した「ビールの冷えが悪い。」の音声を分析して、その音声に含まれている「ビール」というキーワードを抽出する。
続いてステップＳ１１４では、制御部２０が、音声分析によって抽出したキーワード「ビール」に基づいて、そのキーワードに関連する家電機器５０すなわち「冷蔵庫５０ａ」を特定する。なお、家電システム１のユーザが確認情報に対して例えば「寝室の冷えが悪い。」と発話した場合は、制御部２０が、その発話に含まれているキーワード「寝室」に基づいて、寝室８０ｂに配置されている第２エアコン５０ｄ２を特定する。その後、ステップＳ１０４からステップＳ１０８の処理が実行される。ステップＳ１０４からステップＳ１０８の処理については、第１実施例で説明したので詳細な説明を省略する。
以上のように第３実施例に係る家電システム１では、制御部２０が、ユーザの発話の内容に基づいて特定される家電機器５０の候補が複数ある場合に、そのことを示す確認情報をスピーカー１３（報知部の一例）によってユーザに報知する。この構成によれば、例えばユーザが「冷えが悪い。」と発話した場合に、ユーザが特定の家電機器５０（例えば冷蔵庫またはエアコン）の名称を言わなくても、その発話（「冷えが悪い。」）の内容から家電機器５０の候補（冷蔵庫およびエアコン）を特定することができる。また、スピーカー１３によって確認情報が報知されるので、複数の候補の中からユーザが特定の家電機器５０を選択することができる。また、確認情報に対するユーザの発話の内容に基づいて家電機器５０を特定することができる。
［第４実施例］
上記の実施例では、検知装置１０における制御部２０が、ユーザの発話の内容に基づいて家電機器５０（例えば冷蔵庫５０ａ）を特定していたが、この構成に限定されるものではなく、第１サーバ９０における制御部９１が、ユーザの発話の内容に基づいて家電機器５０（例えば冷蔵庫５０ａ）を特定してもよい。第４実施例に係る家電システム１では、図８に示すように、上記のステップＳ１０１の処理に続いてステップＳ１２１の処理が実行される。ステップＳ１２１では、検知装置１０の制御部２０が、ステップＳ１０１で音声受信部２１が受信した音声（例えば「冷蔵庫に何入ってる？」、「ビール冷やして。」）の情報を第１サーバ９０に送信する。その音声情報を第１サーバ９０の制御部９１が受信する。
続いてステップＳ１２２では、第１サーバ９０の制御部９１が、ステップＳ１２１で受信した音声を分析するための分析用音声データが第１サーバ９０に存在するか否かを判断する。分析用音声データが第１サーバ９０に存在する場合は、ステップＳ１２２で制御部９１がＹＥＳと判断してステップＳ１２５に進む。一方、分析用音声データが第１サーバ９０に存在しない場合は、ステップＳ１２２で制御部９１がＮＯと判断してステップＳ１２３の処理を実行する。
ステップＳ１２３では、第１サーバ９０の制御部９１が、情報取得要求を外部の第２サーバ９６に送信する。その情報取得要求を第２サーバ９６の制御部（図示省略）が受信する。続いてステップＳ１２４では、第２サーバ９６の制御部が、受信した情報取得要求に応答して、分析用音声データを第１サーバ９０に送信する。第２サーバ９６には分析用音声データが存在する。その分析用音声データを第１サーバ９０の制御部９１が受信する。
続いてステップＳ１２５では、制御部９１が、上記のステップＳ１２１で受信した音声を、上記のステップＳ１２４で受信した分析用音声データを用いて分析する。制御部９１は、音声を分析してその音声に含まれているキーワードを抽出する。例えば、制御部９１は、「冷蔵庫に何入ってる？」の音声を分析して、その音声に含まれている「冷蔵庫」というキーワードを抽出する。また、制御部９１は、「ビール冷やして。」の音声を分析して、その音声に含まれている「ビール」と「冷やし」というキーワードを抽出する。
続いてステップＳ１２６では、第１サーバ９０の制御部９１が、音声分析によって抽出したキーワードに基づいて、そのキーワードに関連する家電機器５０を特定する。例えば、制御部９１は、家電システム１における複数の家電機器５０のうち、抽出したキーワード「冷蔵庫」に関連する家電機器５０すなわち「冷蔵庫５０ａ」を特定する。また、制御部９１は、抽出したキーワード「ビール」、「冷やし」に基づいて、そのキーワードに関連する「冷蔵庫５０ａ」を特定してもよい。続いてステップＳ１２７では、制御部９１が、ステップＳ１２６で特定した家電機器５０（冷蔵庫５０ａ）の家電機器情報を検知装置１０に送信する。その家電機器情報を検知装置１０の制御部２０が受信する。
続いてステップＳ１２８では、第１サーバ９０の制御部９１が、上記のステップＳ１２６で特定した家電機器５０（例えば冷蔵庫５０ａ）に対する制御内容を決定する。制御部９１は、音声分析によって抽出したキーワードに基づいて、そのキーワードに関連する制御内容を決定する。例えば、制御部９１は、抽出したキーワード「冷やし」に基づいて、冷蔵庫５０ａの庫内の温度を下げて庫内を冷やす制御内容を決定する。続いてステップＳ１２９では、制御部９１が、ステップＳ１２８で決定した制御内容の情報を検知装置１０に送信する。その制御内容情報を検知装置１０の制御部２０が受信する。
その後、検知装置１０の制御部２０が上記のステップＳ１２７とステップＳ１２９で受信した家電機器情報と制御内容情報に基づいて、ステップＳ１０５からステップＳ１０８の処理が実行される。ステップＳ１０５からステップＳ１０８の処理については、第１実施例で説明したので詳細な説明を省略する。
以上のように第４実施例に係る家電システム１では、第１サーバ９０における制御部９１が、ユーザの発話の内容に基づいて家電機器５０（例えば冷蔵庫５０ａ）を特定する。この構成によれば、第１サーバ９０には検知装置１０よりも大きな情報量のデータが記憶されているので、大きな情報量に基づいて家電機器５０を特定することができる。この構成によれば音声分析の精度が高くなる。
［第５実施例］
上記の実施例では、検知装置１０における制御部２０または第１サーバ９０における制御部９１が、ユーザの発話の内容に基づいて家電機器５０（例えば冷蔵庫５０ａ）を特定していたが、この構成に限定されるものではなく、各家電機器５０における各制御部６０が、ユーザの発話の内容に基づいて各家電機器５０（例えば冷蔵庫５０ａ、エアコン５０ｄ等）を特定してもよい。第５実施例に係る家電システム１では、図９に示すように、上記のステップＳ１０１の処理に続いてステップＳ１３１の処理が実行される。ステップＳ１３１では、検知装置１０の制御部２０が、ステップＳ１０１で音声受信部２１が受信した音声（例えば「冷蔵庫に何入ってる？」、「ビール冷やして。」）の情報を家電機器５０に送信する。音声情報の送信先の家電機器５０は、例えば冷蔵庫５０ａである。その音声情報を家電機器５０（例えば冷蔵庫５０ａ）の制御部６０が受信する。
続いてステップＳ１３２では、家電機器５０の制御部６０が、ステップＳ１３１で受信した音声を分析する。家電機器５０の記憶部（図示省略）には音声を分析するための分析用音声データが記憶されている。制御部６０は、記憶部に記憶されている分析用音声データを用いて音声を分析し、その音声に含まれているキーワードを抽出する。例えば、制御部６０は、「冷蔵庫に何入ってる？」の音声を分析して、その音声に含まれている「冷蔵庫」というキーワードを抽出する。また、制御部６０は、「ビール冷やして。」の音声を分析して、その音声に含まれている「ビール」と「冷やし」というキーワードを抽出する。
続いてステップＳ１３３では、家電機器５０の制御部６０が、音声分析によって抽出したキーワードに基づいて、自身の家電機器５０がそのキーワードに関連する家電機器５０であるか否かを判断する。例えば、制御部６０が抽出したキーワードが「冷蔵庫」である場合は、そのキーワードに関連する家電機器５０は冷蔵庫５０ａである。制御部６０は、自身の家電機器５０が冷蔵庫５０ａである場合は、キーワードに関連する家電機器５０（冷蔵庫５０ａ）と一致するので、ステップＳ１３３でＹＥＳと判断する。制御部６０は、ステップＳ１３３でＹＥＳの場合はステップＳ１３４に進む。一方、制御部６０は、自身の家電機器５０がキーワード（例えば冷蔵庫）に関連する家電機器５０でない場合（例えば自身の家電機器５０がエアコン５０ｄである場合）は、ステップＳ１３３でＮＯと判断して処理を終了する。
続いてステップＳ１３４では、家電機器５０の制御部６０が、抽出したキーワード（冷蔵庫）に関連する家電機器５０が自身の家電機器５０（冷蔵庫５０ａ）であることを特定する。続いてステップＳ１３５では、制御部６０が、ステップＳ１３４で特定した家電機器５０（冷蔵庫５０ａ）の家電機器情報を検知装置１０に送信する。その家電機器情報を検知装置１０の制御部２０が受信する。
続いてステップＳ１３６では、家電機器５０の制御部６０が、上記のステップＳ１３４で特定した家電機器５０（例えば冷蔵庫５０ａ）に対する制御内容を決定する。制御部６０は、音声分析によって抽出したキーワードに基づいて、そのキーワードに関連する制御内容を決定する。例えば、制御部６０は、抽出したキーワード「冷やし」に基づいて、冷蔵庫５０ａの庫内の温度を下げて庫内を冷やす制御内容を決定する。続いてステップＳ１３７では、制御部６０が、ステップＳ１３６で決定した制御内容の情報を検知装置１０に送信する。その制御内容情報を検知装置１０の制御部２０が受信する。
その後、検知装置１０の制御部６０が上記のステップＳ１３５とステップＳ１３７で受信した家電機器情報と制御内容情報に基づいて、ステップＳ１０５からステップＳ１０８の処理が実行される。ステップＳ１０５からステップＳ１０８の処理については、第１実施例で説明したので詳細な説明を省略する。
また、上記では家電機器５０が冷蔵庫５０ａである場合について説明したが、その他の家電機器５０（例えば洗濯機５０ｂ、自走式掃除機５０ｃ、エアコン５０ｄ等）についても同様の処理が実行される。以上のように第５実施例に係る家電システム１では、各家電機器５０（例えば冷蔵庫５０ａ、洗濯機５０ｂ、自走式掃除機５０ｃ、エアコン５０ｄ等）における各制御部６０が、ユーザの発話の内容に基づいて各家電機器５０を特定する。この構成によれば、各家電機器５０における各制御部６０が特定処理を実行するので、各家電機器５０を個別に特定することができる。
以上、各実施例について説明したが、具体的な態様は上記実施例に限定されるものではない。例えば、他の実施例では、家電システム１の制御部がユーザの発話の内容に基づいて１または複数の家電機器５０を特定する際に、ディープラーニング等の機械学習によって家電機器５０を特定してもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１ ：家電システム
１０ ：検知装置
１２ ：マイク
１３ ：スピーカー
１４ ：無線通信モジュール
２０ ：制御部
２１ ：音声受信部
２２ ：音声出力部
２３ ：記憶部
２４ ：通信部
５０ ：家電機器
５０ａ ：冷蔵庫
５０ｂ ：洗濯機
５０ｃ ：自走式掃除機
５０ｄ ：エアコン
６０ ：制御部
８０ａ ：リビング
８０ｂ ：寝室
８０ｃ ：子供部屋
９０ ：第１サーバ
９１ ：制御部
９２ ：無線ルータ
９３ ：モデム
９６ ：第２サーバ
１００ ：インターネット

Claims (9)

  1. 複数の家電機器と通信可能であってユーザの発話を検知する検知装置と、
    制御部を備えており、
    前記制御部が、前記検知装置によって検知されるユーザの発話の内容に基づいて複数の前記家電機器のうちの１または複数の前記家電機器を特定する、家電システム。
  2. 前記制御部が、ユーザの発話に含まれている１または複数のキーワードに基づいて、キーワードに関連する１または複数の前記家電機器を特定する、請求項１に記載の家電システム。
  3. 前記制御部が、特定した１または複数の前記家電機器に関連する情報をその家電機器から取得する、請求項１又は２に記載の家電システム。
  4. 前記制御部が、特定した１または複数の前記家電機器の動作をユーザの発話の内容に基づいて制御する、請求項１から３のいずれかに記載の家電システム。
  5. 前記制御部が、ユーザの発話の内容に基づいて特定される前記家電機器が複数ある場合に、ユーザの発話に含まれている１または複数の分別情報に基づいて、特定された複数の前記家電機器の中から、分別情報に関連する１または複数の前記家電機器を特定する、請求項１から４のいずれかに記載の家電システム。
  6. 前記検知装置が報知部を備えており、
    前記制御部が、ユーザの発話の内容に基づいて特定される前記家電機器の候補が複数ある場合に、そのことを示す確認情報を前記報知部によってユーザに報知する、請求項１から５のいずれかに記載の家電システム。
  7. 前記検知装置が前記制御部を備えており、
    前記検知装置における前記制御部が、ユーザの発話の内容に基づいて１または複数の前記家電機器を特定する、請求項１から６のいずれかに記載の家電システム。
  8. 前記検知装置と通信可能なサーバが前記制御部を備えており、
    前記サーバにおける前記制御部が、ユーザの発話の内容に基づいて１または複数の前記家電機器を特定する、請求項１から６のいずれかに記載の家電システム。
  9. 前記検知装置と通信可能な複数の前記家電機器のそれぞれが制御部を備えており、
    各前記家電機器における各前記制御部が、ユーザの発話の内容に基づいて各前記家電機器を特定する、請求項１から６のいずれかに記載の家電システム。
JP2017193539A 2017-10-03 2017-10-03 家電システム Pending JP2019068319A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017193539A JP2019068319A (ja) 2017-10-03 2017-10-03 家電システム
PCT/JP2018/031589 WO2019069587A1 (ja) 2017-10-03 2018-08-27 家電システム
US16/651,092 US20200241838A1 (en) 2017-10-03 2018-08-27 Home appliance system
CN201880063007.4A CN111164677A (zh) 2017-10-03 2018-08-27 家电系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017193539A JP2019068319A (ja) 2017-10-03 2017-10-03 家電システム

Publications (1)

Publication Number Publication Date
JP2019068319A true JP2019068319A (ja) 2019-04-25

Family

ID=65995159

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017193539A Pending JP2019068319A (ja) 2017-10-03 2017-10-03 家電システム

Country Status (4)

Country Link
US (1) US20200241838A1 (ja)
JP (1) JP2019068319A (ja)
CN (1) CN111164677A (ja)
WO (1) WO2019069587A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114343483B (zh) * 2020-10-12 2023-08-18 百度在线网络技术（北京）有限公司 可移动对象的控制方法、装置、设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002247666A (ja) * 2001-02-20 2002-08-30 Seiko Epson Corp 機器制御方法および機器制御システム
JP2016014967A (ja) * 2014-07-01 2016-01-28 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報管理方法
JP2016027688A (ja) * 2014-07-01 2016-02-18 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機器制御方法および電気機器
JP2016066930A (ja) * 2014-09-25 2016-04-28 シャープ株式会社 サーバ、サーバの制御方法、サーバの制御プログラム、制御システム、制御機器、制御機器の制御プログラム、および機器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8271287B1 (en) * 2000-01-14 2012-09-18 Alcatel Lucent Voice command remote control system
JP2016076799A (ja) * 2014-10-03 2016-05-12 シャープ株式会社 家電管理システム、家電、リモコン装置、ロボット

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002247666A (ja) * 2001-02-20 2002-08-30 Seiko Epson Corp 機器制御方法および機器制御システム
JP2016014967A (ja) * 2014-07-01 2016-01-28 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報管理方法
JP2016027688A (ja) * 2014-07-01 2016-02-18 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機器制御方法および電気機器
JP2016066930A (ja) * 2014-09-25 2016-04-28 シャープ株式会社 サーバ、サーバの制御方法、サーバの制御プログラム、制御システム、制御機器、制御機器の制御プログラム、および機器

Also Published As

Publication number Publication date
WO2019069587A1 (ja) 2019-04-11
CN111164677A (zh) 2020-05-15
US20200241838A1 (en) 2020-07-30

Similar Documents

Publication Publication Date Title
US11710487B2 (en) Locally distributed keyword detection
US11854547B2 (en) Network microphone device with command keyword eventing
US10755706B2 (en) Voice-based user interface with dynamically switchable endpoints
US10515641B2 (en) Device control method, device management system, and voice input apparatus
US9741344B2 (en) System and method for operating devices using voice commands
KR102109381B1 (ko) 전기기기 및 그 제어 방법
EP3900395A1 (en) Optimization of network microphone devices using noise classification
JP3838029B2 (ja) 音声認識を用いた機器制御方法および音声認識を用いた機器制御システム
JP6573474B2 (ja) 音声認識システム
US11869503B2 (en) Offline voice control
WO2019069588A1 (ja) 制御システム
WO2019069587A1 (ja) 家電システム
JP7335979B2 (ja) 音声認識を用いて装置を制御する方法、及びこれを具現する装置
WO2022268136A1 (zh) 一种进行语音控制的终端设备及服务器
CN111183478A (zh) 家电系统
JP7036561B2 (ja) 家電システム
WO2019069592A1 (ja) 動作音比較装置
US11830500B2 (en) System and method for digital assistant management
WO2021065558A1 (ja) 情報処理装置及び情報処理方法、並びに、電気機器及び電気機器の処理方法
JP2022080014A (ja) 電気機器および電気機器システム
WO2024073428A1 (en) Systems and methods for disturbance localization

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210707

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211019