JP2020076884A - 冷蔵庫 - Google Patents

冷蔵庫 Download PDF

Info

Publication number
JP2020076884A
JP2020076884A JP2018210624A JP2018210624A JP2020076884A JP 2020076884 A JP2020076884 A JP 2020076884A JP 2018210624 A JP2018210624 A JP 2018210624A JP 2018210624 A JP2018210624 A JP 2018210624A JP 2020076884 A JP2020076884 A JP 2020076884A
Authority
JP
Japan
Prior art keywords
voice
voice recognition
unit
refrigerator
warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018210624A
Other languages
English (en)
Other versions
JP7202853B2 (ja
Inventor
尚志 浅田
Hisashi Asada
尚志 浅田
誠志郎 大峠
Seishiro Otoge
誠志郎 大峠
欽也 山出
Kinya Yamade
欽也 山出
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2018210624A priority Critical patent/JP7202853B2/ja
Priority to US16/669,004 priority patent/US11289081B2/en
Priority to TW108139822A priority patent/TWI840437B/zh
Priority to CN201911059240.8A priority patent/CN111161736A/zh
Publication of JP2020076884A publication Critical patent/JP2020076884A/ja
Application granted granted Critical
Publication of JP7202853B2 publication Critical patent/JP7202853B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00—General constructional features
    • F25D23/02—Doors; Covers
    • F25D23/028—Details
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F25D29/008—Alarm devices
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B23/00—Alarms responsive to unspecified undesired or abnormal conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/04—Structural association of microphone with electric circuitry therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/02—Sensors detecting door opening
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/04—Sensors detecting the presence of a person
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/36—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
    • G08B5/38—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources using flashing light
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Abstract

【課題】適切なタイミングにてユーザの発話を音声認識する。【解決手段】冷蔵庫（１３）の音声認識制御部（３３）は、ドアスイッチ（２６）が冷蔵庫（１３）のドアの開状態を検出したときに、音声取得部（２５）が取得した音声データが所定の音声認識開始条件を満たすかどうかを判定し、音声認識開始条件を満たす場合に、音声認識部により音声認識を行わせる一方、音声認識開始条件を満たさない場合に、音声認識部により音声認識を行わせない。【選択図】図２

Description

本発明は、音声取得機能を有する冷蔵庫に関する。
近年、マイクロフォン（以下、単にマイクと称する）など音声取得装置によってユーザの音声を取得し、取得した音声についての音声認識機能を有する冷蔵庫が開発されている。
特許文献１には、冷蔵庫本体の上部前方部に操作関連機能部が設けられ、その操作関連機能部にマイクやスピーカ等の音声関連機能を内蔵させた構成が開示されている。
特許文献２には、家電である例えば冷蔵庫は、音声取得部を起動させるきっかけとなる予め定められた事象の発生を検知すると、音声取得部が起動して音声を取得し、かつ音声取得部が稼働状態であることをユーザに通知する構成が開示されている。上記事象の発生とは、冷蔵庫のドアが開状態となることや冷蔵庫の所定のボタンが操作されたりすることである。また、音声取得部の稼働状態の通知は、音声出力や通知ランプの点灯にて行われる。通知ランプは、冷蔵庫の前扉の前面に設置された操作パネルに設けられている。特許文献２に記載の冷蔵庫では、上記構成により、ユーザの発話が間違いなく取得されているかどうかや、音声の取得を希望しない場合に音声取得機能が非稼働であるかどうかなど、音声取得機能についてのユーザの不安を解消できるようにしている。
特許第３９０４３９０号公報 特開２０１７−４２３１号公報
しかしながら、特許文献２に記載の構成では、冷蔵庫のドアが開状態である場合に、継続して音声認識を行っている。この場合、音声認識を行っていることはユーザに通知されるものの、音声認識の停止にはユーザ操作が必要である。
すなわち、ユーザが音声認識をしてほしくない場合にはその度に音声認識の停止操作が必要であり、また、ユーザが音声認識の停止操作を忘れた場合には不必要に音声認識が行われることになる。
したがって、本発明の一態様は、適切なタイミングにてユーザの発話を音声認識することができる冷蔵庫の提供を目的としている。
上記の課題を解決するために、本発明の一態様に係る冷蔵庫は、音声取得部と、冷蔵庫のドアの開閉を検出するドア開閉検出部と、前記ドア開閉検出部が前記ドアの開状態を検出したときに、前記音声取得部が取得した音声データが所定の音声認識開始条件を満たすかどうかを判定し、前記音声データが前記音声認識開始条件を満たす場合に、音声認識部により前記音声データの音声認識を行わせる一方、前記音声データが前記音声認識開始条件を満たさない場合に、前記音声認識部により前記音声データの音声認識を行わせない音声認識制御部とを備えている。
本発明の一態様によれば、適切なタイミングにてユーザの発話を音声認識することができる。
本発明の実施形態の冷蔵庫を含む音声対話システムの構成を示す説明図である。 図１に示した冷蔵庫の制御系統の構成を示すブロック図である。 図１に示したサーバの制御系統の構成を示すブロック図である。 図１に示した冷蔵庫の外観を示す斜視図である。 図４に示したカバー部材の上カバーを外した状態における冷蔵庫の上面部分を示す斜視図である。 図４に示した冷蔵庫が有するドアスイッチのオンオフに連動してマイクをオンオフする構成を示す回路図である。 図１に示した音声対話システムにおける冷蔵庫の動作を示すフローチャートである。 図７に示した冷蔵庫の動作のうち、ドアの開閉と音声認識の要否との関係に注目した動作を示すフローチャートである。 本発明の他の実施形態の冷蔵庫の図７に示した動作のうち、ドアの開閉と音声認識の要否との関係に注目した動作を示すフローチャートである。 本発明のさらに他の実施形態の冷蔵庫の警報制御部の動作を示すフローチャートである。 本発明のさらに他の実施形態の冷蔵庫の警報制御部の動作を示すフローチャートである。 本発明のさらに他の実施形態の冷蔵庫の外観を示す斜視図である。 図１２に示したカバー部材の上カバーを外した状態における冷蔵庫の上面部分を示す斜視図である。 図１４の（ａ）は、図５に示したマイク取付け部の構造と第１ドア６１との位置関係を示す縦断面図、１４の（ｂ）は、図１４の（ａ）の構造を下から見た場合の下カバーの下面図である。 図１５の（ａ）は、図１４の（ａ）に示したマイク取付け部の他の例に係るマイク取付け部の構造と第１ドアとの位置関係を示す縦断面図、１５の（ｂ）は、図１５の（ａ）の構造を下から見た場合の下カバーの下面図である。
〔実施形態１〕
以下、本発明の一実施形態について、詳細に説明する。
（音声対話システム１の構成）
図１は、本実施形態の冷蔵庫１３を含む音声対話システム１の構成を示す説明図である。図１に示すように、音声対話システム１では、サーバ１１とユーザ宅１２に設置された冷蔵庫１３とが通信ネットワーク１５を介して接続されている。
冷蔵庫１３は、通信ネットワーク１５に接続してサーバ１１と通信するための無線通信機能を有するネットワーク家電である。無線通信機能は、冷蔵庫１３本体に内蔵されていてもよいし、冷蔵庫１３本体に外付けされる通信アダプタに備えられていてもよい。
ユーザ宅１２には、通信ネットワーク１５の一部をなす無線ＬＡＮ（Wireless Local Area Network）が整備されている。無線ＬＡＮの無線ＡＰ１４は、インターネットを含む通信ネットワーク１５と接続されている。無線ＡＰ１４は、例えばＷｉＦｉ（登録商標）ルータやＷｉＦｉ（登録商標）アクセスポイントなどの通信機器である。本実施の形態では、通信ネットワーク１５としてインターネットを含む構成を例示しているが、電話回線網、移動体通信網、ＣＡＴＶ（CAble TeleVision）通信網、衛星通信網などを利用することもできる。
冷蔵庫１３は、ユーザの発話した音声を取得し、取得した音声に対する回答を発話する音声対話機能を有している。この場合、冷蔵庫１３は取得した音声の音声データをサーバ１１に送信し、サーバ１１は、冷蔵庫１３から受信した音声データの音声認識を行って発話の内容を特定し、特定した内容に基づいた回答の音声データを冷蔵庫１３に送信する。回答の音声データとは、冷蔵庫１３から発話する音声データであって、例えばユーザからの問いかけに返答する音声データや、ユーザの発話内容に対して対話が成立するような音声データである。
なお、冷蔵庫１３が音声認識機能を有し、冷蔵庫１３にて音声認識を行って発話の内容を特定し、特定した内容をサーバ１１に送信して、回答の音声データをサーバ１１から受信する構成としてもよい。あるいは、サーバ１１によらずに、冷蔵庫１３が音声認識を行い、かつ回答する音声データを準備する構成としてもよい。
（冷蔵庫１３の構成）
図２は、冷蔵庫１３の制御系統の構成を示すブロック図である。図２に示すように、冷蔵庫１３は、制御部２１、記憶部２２、通信部２３、音声出力部２４、音声取得部２５、ドアスイッチ（ドア開閉検出部）２６、庫内灯２７、警報ブザー（警告部）２８および操作パネル２９を備えている。制御部２１は、音声出力制御部３１、音声認識制御部３３、点灯制御部３４、警報制御部（警告制御部）３５および操作パネル制御部３６を備えている。
制御部２１は、例えば、ＣＰＵ（Central Processing Unit）や専用プロセッサなどの演算処理部などにより構成されるマイクロコンピュータからなり、冷蔵庫１３の各部の動作を制御する。
記憶部２２は、冷蔵庫１３で用いられる各種情報を記憶し、サーバ１１からダウンロードした発話すべき音声データや音声対話における回答の音声データなども記憶する。通信部２３は、制御部２１の制御により、通信ネットワーク１５を介してサーバ１１と相互通信を行う。
音声出力部２４は、スピーカを有し、音声出力制御部３１の制御により、音声データに基づいた音声を出力する。音声取得部２５は、マイク８１（図５参照）を有し、音声取得制御３２の制御により音声を取得し、取得した音声を電気信号に変換する。
ドアスイッチ２６は、冷蔵庫１３のドアの開閉状態を検知し、例えばドアの開状態にてオン、閉状態にてオフとなる。庫内灯２７は、冷蔵庫１３のドアの開状態において点灯する。警報ブザー２８は、冷蔵庫１３のドアの開状態をユーザに警告するブザーである。
操作パネル２９は、表示部を有し、操作パネル制御部３６の制御により、冷蔵庫１３に対してユーザが指示を入力したり、冷蔵庫１３の状態（庫内温度、設定温度等）を表示部によって通知したりするためのユーザ・インターフェースである。本実施形態において、操作パネル２９は、冷蔵庫１３の庫内に設けられている。
音声出力制御部３１は音声出力部２４を制御する。具体的には、音声出力制御部３１は、発話すべき音声データが存在する場合に、その音声データを音声出力部２４により発話させる。発話すべき音声データには、サーバ１１から受信した音声データや、記憶部２２に記憶されている音声データなどである。
音声認識制御部３３は、音声取得部２５が取得した音声データが示すユーザの発話がサーバ１１での音声認識開始条件を満たす場合に、ユーザの音声データをサーバ１１へ送信して音声認識を開始させる。音声認識制御部３３は、サーバ１１での音声認識の開始以降、音声取得部２５が取得したユーザの音声データを順次サーバ１１へ送信する。
一方、音声認識制御部３３は、音声取得部２５が取得した音声データが示すユーザの発話がサーバ１１での音声認識開始条件を満たさない場合、その音声データをサーバ１１へ送信しない。これにより、サーバ１１での音声認識は開始されない。
また、音声認識制御部３３は、音声取得部２５が取得した音声データが示すユーザの発話がサーバ１１での音声認識終了条件を満たす場合に、サーバ１１への音声データの送信を停止する。あるいは、音声認識制御部３３は、ユーザから（例えば操作パネル２９に対するユーザの操作入力により）サーバ１１での音声認識の終了指示を受けた場合、サーバ１１への音声データの送信を停止する。これにより、サーバ１１での音声認識は終了する。
音声認識開始条件は、例えば、ユーザの発話の語尾が上がっていること、すなわちユーザの発話が疑問形であること、または、ユーザの発話に所定の開始キーワードが含まれていることである。ユーザの疑問形の発話は、例えば「前に○○を買っておいたけど、どこに置いたかな？」といった発話である。開始キーワードは、例えば「あれ？」や「どこ？」といった発話である。なお、ユーザによるこれら疑問形の発話および開始キーワードは、いずれもユーザの冷蔵庫１３との対話の開始の意思を示す発話である。
音声認識終了条件は、ユーザの発話に所定の終了キーワードが含まれていることである。終了キーワードは、例えば「止めて」や「違う」といった発話である。このような終了キーワードは、例えばユーザの冷蔵庫１３との対話の終了の意思を示す発話である。また、音声認識の終了指示は、操作パネル２９の音声認識終了として設定されたキーが操作されることである。
上記の動作を行うために、音声認識制御部３３は、ユーザの音声データについて語尾が上がっていることを検出する周波数解析機能を有している。さらに、ユーザの音声データに開始キーワードが含まれていること、および終了キーワードが含まれていることを検出する音声認識機能を有している。なお、終了キーワードは、サーバ１１での音声認識処理によって検出させてもよい。
点灯制御部３４は、音声取得部２５が取得した音声データを音声認識制御部３３がサーバ１１へ送信している期間中、すなわち音声取得部２５が取得した音声データについての音声認識をサーバ１１が行っている期間中、庫内灯２７が通常の点灯状態とは異なる点灯状態となるように庫内灯２７を制御する。これにより、点灯制御部３４は、ユーザの音声について音声認識中であることをユーザに知らせる。
なお、通常の点灯状態とは異なる点灯状態とは、例えば、庫内灯２７が明るい状態（明状態）と暗い状態（暗状態）とを周期的に繰り返す状態、あるいは庫内灯２７が点滅する状態である。また、点灯制御部３４は、庫内灯２７が点灯色を変化可能なものである場合、音声認識制御部３３が音声データをサーバ１１へ送信している期間中、点灯色を順次変化させるようにしてもよい。
警報制御部３５は、ドアスイッチ２６のオンオフによって冷蔵庫１３のドアの開閉状態を検出し、ドアの開状態の検出時点からドアの開状態が所定時間以上続いた場合に、警報ブザー２８を動作させてユーザに警告を与える。
また、警報制御部３５は、サーバ１１へのユーザの音声データの送信を開始または終了するときに、そのことをユーザに知らせるために、警報ブザー２８を動作させる。
操作パネル制御部３６は、操作パネル２９に対するユーザの入力操作を受け付け、また、冷蔵庫１３の状態（庫内温度、設定温度等）を操作パネル２９の表示部に表示させる。
（サーバ１１の構成）
図３は、サーバ１１の制御系統の構成を示すブロック図である。サーバ１１は、冷蔵庫１３を管理しており、図３に示すように、制御部４１、記憶部４２、通信部４３および音声認識部４４を備えている。制御部４１は音声データ提供部５１を備えている。
制御部２１は、例えば、例えば、ＣＰＵ（Central Processing Unit）や専用プロセッサなどの演算処理部などにより構成されるマイクロコンピュータからなり、サーバ１１の各部の動作を制御する。
記憶部４２は、サーバ１１で用いられる各種情報を記憶し、また、各種の文章例であって、音声データ提供部５１が冷蔵庫１３に提供する音声データの作成時に参照する文章例等を記憶している。通信部４３は、制御部４１の制御により通信ネットワーク１５を介して冷蔵庫１３と通信する。
音声認識部４４は、冷蔵庫１３から送信され、通信部４３が受信した音声データの音声認識を行い、文字列に変換する。音声認識部４４は、音声データの単なる文字列への変換機能だけでなく、意味ある文章に変換する機能等も備えている。
音声データ提供部５１は、音声認識後の音声データに対する回答の音声データを冷蔵庫１３に提供する。この場合、音声データ提供部５１は、回答の音声データを、記憶部４２を参照して作成したり、通信ネットワーク１５を介して取得したりする。
（冷蔵庫１３の構造の概要）
図４は冷蔵庫１３の外観を示す斜視図である。図５は、図４に示したカバー部材（部材）７１の上カバーを外した状態における冷蔵庫１３の上面部分を示す斜視図である。図６は、ドアスイッチ２６のオンオフ（第１ドア６１のドアの開閉）に連動してマイク８１をオンオフする構成を示す回路図である。
図４に示すように、冷蔵庫１３は、上部から下部へ向かって例えば第１から第５ドア６１〜６５を有している。第１ドア６１は冷蔵室のドアであり、第２ドア６２は調整冷凍室のドアであり、第３ドア６３は製氷室のドアであり、第４ドア６４は冷凍室のドアであり、第５ドア６５は野菜室のドアである。第１ドア６１は観音開きタイプである。操作パネル２９は、例えば第１ドア６１の２枚あるドアのうちの大きい方のドアの開放端側に設けられている。
冷蔵庫１３は、上面にカバー部材７１を有する。カバー部材７１の内部には、第１ドア６１を開閉可能に支持するヒンジ、第１ドア６１の開閉を検知するドアスイッチ２６、および音声取得部２５が有するマイク８１が設けられている。
図５に示すように、マイク８１は、カバー部材７１の下カバー７１ａの前端部における冷蔵庫１３の幅方向の中央部分付近のマイク取付け部７２に、音声入力部を下方に向けて取り付けられている。マイク取付け部７２は略円筒形のマイク保持部７２ａを有し、下カバー７１ａのマイク８１の下の部分には、下カバー７１ａを貫通した貫通孔が形成されている。
図６に示すように、ドアスイッチ２６は、例えば第１ドア６１の開状態によりオンとなり、第１ドア６１の閉状態によりオフとなる。マイク８１は、ドアスイッチ２６のオン動作に連動して電源に接続され、オンとなる。これにより、マイク８１は必要に応じて容易にオンオフすることができる。
（冷蔵庫１３の動作）
上記の構成において、音声対話システム１における冷蔵庫１３の動作について以下に説明する。図７は、音声対話システム１における冷蔵庫１３の動作を示すフローチャートである。ここでは、ドアスイッチ２６のオンオフにて第１ドア６１の開閉が検出される場合の動作について説明する。なお、第１ドア６１は単にドアと表現する。
図７に示すように、音声対話システム１が動作を開始すると、制御部２１は、ドアスイッチ２６のオンオフ状態すなわちドアの開閉状態を監視する。制御部２１の音声認識制御部３３は、ドアが開状態（ドアスイッチ２６がオン）になると（Ｓ１１）、音声取得部２５のマイク８１によりユーザの音声を取得し、音声認識開始要かどうかを判定する（Ｓ１２）。この判定では、音声認識制御部３３は、ユーザの発話が前述した音声認識開始条件を満たすかどうかを判定する。
音声認識制御部３３は、Ｓ１２での判定の結果がＹＥＳであれば、マイク８１にて取得したユーザの音声データをサーバ１１へ送信する（Ｓ１３）。
さらに、制御部２１は、ユーザの音声について音声認識中であることをユーザに報知する（Ｓ１４）。このために、点灯制御部３４は、ユーザの音声データをサーバ１１へ送信している期間中、庫内灯２７が通常の点灯状態とは異なる点灯状態となるように制御する。具板的には、庫内灯２７が明状態と暗状態とを周期的に繰り返す状態、あるいは庫内灯２７が点滅する状態となるように制御する。あるいは、点灯制御部３４は、庫内灯２７が点灯色を変化可能なものである場合、サーバ１１へのユーザの音声データの送信期間中、点灯色を順次変化させる。また、警報制御部３５は、サーバ１１へのユーザの音声データの送信を開始するときに、警報ブザー２８を動作させる。なお、点灯制御部３４および警報制御部３５による上記報知動作は、少なくとも一つを行えばよい。
その後、音声認識制御部３３は、音声認識を終了要かどうかを判定する（Ｓ１５）。この判定では、音声認識制御部３３は、ユーザの発話が前述した音声認識終了条件を満たすかどうか、またはユーザから音声認識の終了指示があったかどうかを判定する。Ｓ１５の判定結果がＹＥＳであれば、Ｓ２０へ進み、ユーザの音声データのサーバ１１への送信を終了する。Ｓ２０において、警報制御部３５は、サーバ１１へのユーザの音声データの送信が終了したことをユーザに報知するために、警報ブザー２８を動作させる。このとき、警報ブザー２８は、サーバ１１へのユーザの音声データの送信が開始したことを報知するとき（Ｓ１４）とは音色や音程が異なるようにする。これにより、ユーザは音声データがサーバ１１へ送信開始されたこと、および送信が終了したことを認識でき、音声認識動作の稼働状態についての不安を解消できる。
次に、音声出力制御部３１は、Ｓ１５での判定結果がＮＯであり、サーバ１１から回答の音声データを受信した場合（Ｓ１６）、その音声データを音声出力部２４によって音声に再生させ出力させる（Ｓ１７）。
その後、音声認識制御部３３は、ドアが閉状態（ドアスイッチ２６がオフ）となり（Ｓ１８）、ドアの閉状態が所定時間（例えば１０〜２０秒）以上続くと（ドアの閉状態の検出時点から所定時間経過後に）（Ｓ１９）、ユーザの音声データのサーバ１１への送信を終了する（Ｓ２０）。
また、Ｓ１２での判定の結果がＮＯであり、ドアの開状態が所定時間（例えば１０秒）以上続くと（Ｓ２１）、音声出力制御部３１は、音声出力部２４によりユーザに対して話しかけるような発話を行わせる（Ｓ２２）。ここでの発話は、例えば「何かお話はありませんか？」とか「今日は元気ですか？」とかの内容であり、その音声データは例えば記憶部２２が記憶している。
次に、Ｓ２２での冷蔵庫１３からの発話に対してユーザから何等かの返答があると（Ｓ２３）、Ｓ１３に進み、マイク８１にて取得したユーザの音声データをサーバ１１へ送信する。その後、同様にしてＳ１４以降の動作を行う。
一方、Ｓ２３においてユーザから何等かの返答がなく、ドアの開状態が警報を必要とする時間続くと、警報制御部３５は、ドアの開状態の警報要と判断し（Ｓ２５）、警報ブザー２８を動作させる（Ｓ２６）。その後、Ｓ２４の動作に戻り、ドアが閉状態（ドアスイッチ２６がオフ）になると、音声対話システム１すなわち冷蔵庫１３は、動作を終了する。
また、Ｓ１８において、ドアが開状態（ドアスイッチ２６がオン）であり、ドアの開状態が警報を必要とする時間続くと、警報制御部３５は、ドアの開状態の警報要と判断し（Ｓ２７）、警報ブザー２８を動作させる（Ｓ２８）。その後、Ｓ１３の動作に戻る。
また、Ｓ１９において、音声認識制御部３３は、ドアの閉状態が所定時間未満のときには、ユーザの音声データをサーバ１１へ送信し（Ｓ２９）、制御部２１（点灯制御部３４、警報制御部３５）は、ユーザの音声について音声認識中であることをユーザに報知し（Ｓ３０）、Ｓ１９の動作に戻る。なお、Ｓ２９およびＳ３０の動作の後に、Ｓ１６およびＳ１７の場合と同様、サーバ１１から回答の音声データを受信した場合には、その音声データを音声出力部２４によって音声に再生させ出力させる。
（冷蔵庫１３のドアの開閉と音声認識の要否との関係）
次に、図７に示した冷蔵庫１３の動作のうち、ドアの開閉と音声認識の要否との関係に注目した冷蔵庫１３の動作を図８に示す。図８は、ドアの開閉と音声認識の要否との関係に注目した冷蔵庫１３の動作を示すフローチャートである。
図８の各ステップＳの番号に示す動作は、図７の各ステップＳの番号に示す動作と同様であるので、図８の動作の説明は省略する。
（冷蔵庫１３の利点）
冷蔵庫１３では、冷蔵庫１３のドアが開状態である場合に、マイク８１から音声データを取得し、音声データが示すユーザの発話が、音声認識開始条件を満たす場合に音声認識を開始し、音声認識開始条件を満たさない場合に音声認識を開始しないようになっている。なお、ここでの音声認識開始条件は、ユーザの発話が疑問形であること、または、ユーザの発話に所定の開始キーワードが含まれていることであり、これらは、ユーザの冷蔵庫１３との対話の開始の意思を示す発話である。
したがって、ユーザは、音声認識をしてほしい場合やしてもよい場合に、音声認識開始条件を満たすような発話を行うことにより、操作パネル２９に対する操作等、音声認識の開始を指示するための操作を行うことが不要である。同様に、ユーザは、音声認識をしてほしくない場合に、音声認識開始条件を満たすような発話を行わないことにより、操作パネル２９に対する操作等、音声認識の停止を指示するための操作を行うことが不要である。これにより、冷蔵庫１３は、利便性を向上でき、かつ適切なタイミングにてユーザの発話を音声認識することができる。
また、冷蔵庫１３では、サーバ１１にて音声認識中である場合に、マイク８１から取得した音声データが示すユーザの発話が音声認識終了条件を満たす場合に、音声認識を終了するようになっている。なお、ここでの音声認識終了条件は、ユーザの発話に所定の終了キーワードが含まれていることである。この終了キーワードは、ユーザの冷蔵庫１３との対話の終了の意思を示す発話である。
したがって、ユーザは、音声認識を終了させる場合に、操作パネル２９に対する操作等、音声認識の終了を指示するための操作を行うことが不要である。これにより、冷蔵庫１３は、利便性を向上することができる。
また、冷蔵庫１３は、ドアが閉状態となってから所定時間が経過するまでは、ユーザの音声データを継続して音声認識するようにしている。これにより、冷蔵庫１３は、例えばユーザが発話をしながらドアを閉めた場合やドアを閉めた直後に発話した場合であっても、そのようなユーザの発話を音声認識することができ、利便性を向上することができる。
〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
（冷蔵庫９１の音声認識制御部３３の構成）
前記の実施形態の冷蔵庫１３では、音声認識制御部３３は、音声取得部２５が取得した音声データが示すユーザの発話がサーバ１１での音声認識開始条件を満たす場合に、ユーザの音声データをサーバ１１へ送信して音声認識を開始させるようにした。さらに、この場合の音声認識開始条件は、ユーザの発話が疑問形であること（ユーザの発話の語尾が上がっていること）、または、ユーザの発話に所定の開始キーワードが含まれていることとした。
本実施形態の冷蔵庫９１での音声認識開始条件は、ドアの開状態において、音声取得部２５のマイク８１が取得した音声データが示す音量が所定の閾値以上であり、かつその音声データをユーザの声の音声データと認識した場合とする。したがって、音声認識制御部３３は、ドアの開状態において、マイク８１が取得した音声データが示す音量が所定の閾値以上であり、かつその音声データをユーザの声の音声データと認識した場合に、マイク８１が取得したユーザの音声データをサーバ１１へ送信して音声認識を開始させる。
（冷蔵庫９１の動作）
上記の構成において、音声対話システム１における冷蔵庫９１の動作について以下に説明する。
音声認識制御部３３は、図７の動作において、ドアが開状態（ドアスイッチ２６がオン）になると（Ｓ１１）、音声認識開始要かどうかを判定する（Ｓ１２）。この判定では、音声認識制御部３３は、音声取得部２５のマイク８１により取得した音声データが音声認識開始条件を満たすかどうかを判定する。具体的には、音声認識制御部３３は、Ｓ１２において、マイク８１が取得した音声データが示す音量が所定の閾値以上であり、かつその音声データをユーザの声の音声データと認識した場合に音声認識開始要と判定する。音声認識制御部３３は、Ｓ１２での判定の結果がＹＥＳであれば、マイク８１にて取得した音声データをサーバ１１へ送信する（Ｓ１３）。冷蔵庫９１のその他の動作は、図７にて説明した冷蔵庫１３の動作と同様である。
（冷蔵庫９１のドアの開閉と音声認識の要否との関係）
次に、図７にて説明した冷蔵庫９１の動作のうち、ドアの開閉と音声認識の要否との関係に注目した冷蔵庫９１の動作を図９に示す。図９は、ドアの開閉と音声認識の要否との関係に注目した冷蔵庫９１の動作を示すフローチャートである。なお、図９の各ステップＳの番号に示す動作のうち、図７の各ステップＳの番号と同じ番号の動作は、図７において説明した動作と同様であるので説明を省略する。また、Ｓ５１およびＳ５２の動作は、図７のＳ１２の動作に対応する動作である。
図９に示すように、音声認識制御部３３は、ドアが開状態（ドアスイッチ２６がオン）になると（Ｓ１１）、音声取得部２５のマイク８１により音声データを取得し、取得した音声データから音声認識開始の要否を判定する。この場合、音声認識制御部３３は、マイク８１が取得した音声データが示す音量が所定の閾値以上であり（Ｓ５１）、かつその音声データをユーザの声の音声データと認識すると（Ｓ５２）、ユーザの音声データをサーバ１１へ送信して音声認識を開始させる（Ｓ１３）。
なお、Ｓ５１において、マイク８１が取得した音声データが示す音量が所定の閾値未満である場合、およびＳ５２において、音声データをユーザの声の音声データと認識できない場合には、音声認識制御部３３は何もしない。
また、Ｓ１３において、ユーザの音声データをサーバ１１へ送信して音声認識を開始させた場合には、サーバ１１からユーザに対して適当な返答を行う回答の音声データを冷蔵庫９１へ送信し、冷蔵庫９１からその音声データを再生し出力するようにしてもよい。
（冷蔵庫９１の利点）
冷蔵庫９１では、冷蔵庫９１のドアが開状態である場合に、冷蔵庫１３と同様、マイク８１から音声データを取得し、音声データが示すユーザの発話が、音声認識開始条件を満たす場合に音声認識を開始し、音声認識開始条件を満たさない場合に音声認識を開始しないようになっている。なお、ここでの音声認識開始条件は、マイク８１から取得した音声データが示す音量が所定の閾値以上であり、かつ音声データがユーザの声の音声データと認識した場合である。
したがって、ユーザは、音声認識をしてほしい場合やしてもよい場合に、音声認識開始条件を満たすような発話、すなわち音声データが示す音量が所定の閾値以上となるような音量で発話することにより、操作パネル２９に対する操作等、音声認識の開始を指示するための操作を行うことが不要である。同様に、ユーザは、音声認識をしてほしくない場合に、音声認識開始条件を満たすような上記の発話を行わないことにより、操作パネル２９に対する操作等、音声認識の停止を指示するための操作を行うことが不要である。これにより、冷蔵庫９１は、利便性を向上でき、かつ適切なタイミングにてユーザの発話を音声認識することができる。
〔実施形態３〕
本発明のさらに他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
図１０は、本実施形態の音声対話システム１における冷蔵庫９２の警報制御部３５の動作を示すフローチャートである。図７に示した冷蔵庫１３の警報制御部３５は、ドアの開状態が警報を必要とする時間続くと、ドアの開状態の警報要と判断し（Ｓ２５，Ｓ２７）、単に警報ブザー２８を動作させていた（Ｓ２６，Ｓ２８）。
これに対し、本実施形態の冷蔵庫９２の警報制御部３５は、ドアの開状態の警報要と判断した場合、図１０の動作を行うようになっている。すなわち、冷蔵庫９２の警報制御部３５は、図１０に示すように、ドアが開状態となって（Ｓ６１）、例えばドアの開状態が２分以上（所定時間以上）続くとドアの開状態の警報要と判断する（Ｓ６２）。
この場合、警報制御部３５は、マイク８１が取得した音声データが示す音量が閾値未満であると（Ｓ６３）、警報ブザー２８を動作させることにより（Ｓ６４）、ドアの開状態の警報を行う。その後、Ｓ６６の動作へ進む。警報制御部３５によるこの警報動作は、図７に示したＳ２６およびＳ２８の動作と同様、通常（通常時）の警報動作であり、例えば警報ブザー２８を短い間隔にて長い時間鳴らすものである。
一方、警報制御部３５は、Ｓ６３において、マイク８１が取得した音声データが示す音量が閾値以上であると、短い警告音による警報を行う（Ｓ６５）。その後、Ｓ６６の動作へ進む。警報制御部３５によるこの警報動作は、Ｓ６４の通常の警報動作とは異なり、例えば警報ブザー２８を長い間隔にて短い時間鳴らすものである。
このように、警報制御部３５は、マイク８１が取得した音声データが示す音量が閾値以上である場合、すなわちユーザが冷蔵庫９２のドアを開けた状態にて発話をしていると判断した場合には、例えば警報ブザー２８を長い動作間隔にて短い時間鳴らすようにしている。このような、Ｓ６５の警報制御部３５の警報ブザー２８に対する制御は、Ｓ６４の警報制御部３５の警報ブザー２８に対する通常の制御とは異なる制御であり、警報がユーザの発話およびマイク８１によるユーザの音声データの取得の邪魔にならないようにするものである。
なお、Ｓ６５での警報ブザー２８に対する警報制御部３５の制御は、上記の制御の他、単に警報ブザー２８の動作間隔を長くする制御（無音時間を長くする制御）、単に警報ブザー２８の音量を小さくする制御、あるいは警報ブザー２８の動作間隔を長くし、短い時間、かつ小さい音量にて鳴らす制御であってもよい。あるいは、警報制御部３５は、Ｓ６５での警報ブザー２８による警報動作に代えて、音声出力部２４からの発話により、ドアが開状態であることユーザに警告するようにしてもよい。さらには、後述の冷蔵庫９３のように、警報動作を行わない構成としてもよい。
このような制御は、例えば、警報制御部３５が警報強度弱から警報強度強まで複数段階の警報制御を行うようになっている場合において、警報強度弱に相当する制御である。
（冷蔵庫９２の利点）
冷蔵庫９２は、ドアの開状態が所定時間以上続いてドアの開状態の警報要と判断した場合であって、マイク８１が取得した音声データが示す音量が所定の閾値未満である場合には、ユーザが発話をしていないと判断し、通常の警報動作を行う。一方、冷蔵庫９２は、同様に、ドアの開状態の警報要と判断した場合であって、マイク８１が取得した音声データが示す音量が所定の閾値以上である場合には、ユーザが発話をしていると判断し、警報がユーザの発話およびマイク８１によるユーザの音声データの取得の邪魔にならないように、通常の警報動作とは異なる警報動作を行う。
なお、本実施形態では、冷蔵庫９２（音声認識制御部３３）は、マイク８１が取得した音声データが示す音量が所定の閾値未満である場合と所定の閾値以上である場合とで、上記のように、異なる警報動作が行われるように制御する場合について示した。しかしながら、冷蔵庫９２（音声認識制御部３３）は、マイク８１が取得した音声データが示す音量が所定の閾値未満である場合に代えて、音声取得部２５が音声を取得し、かつサーバ１１にて音声認識を行っていない場合とし、マイク８１が取得した音声データが示す音量が所定の閾値以上である場合に代えて、音声取得部２５が音声を取得し、かつサーバ１１にて音声認識を行っている場合として、上記のように、異なる警報動作が行われるように制御する構成としてもよい。
これにより、冷蔵庫９２は、ドアの開状態が所定時間以上続いてドアの開状態の警報動作を行う場合であっても、警報がユーザの発話およびマイク８１によるユーザの音声データの取得の邪魔にならないようにすることができる。
〔実施形態４〕
本発明のさらに他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
図１１は、本実施形態の音声対話システム１における冷蔵庫９３の警報制御部３５の動作を示すフローチャートである。本実施形態の冷蔵庫９３の警報制御部３５は、図７のＳ２５（Ｓ２７）およびＳ２６（Ｓ２８）の動作に代えて、図１１のＳ７２およびＳ７３動作を行うようになっている。
すなわち、冷蔵庫９３の警報制御部３５は、図１１に示すように、ドアが開状態となって（Ｓ７１）、マイク８１に一定時間以上継続して音声の入力がなければ（Ｓ７２）、ドアの開状態の警報要と判断する。この場合、警報制御部３５は、警報ブザー２８を動作させることにより（Ｓ７３）、ドアの開状態の警報を行う。その後、Ｓ７４の動作へ進む。警報制御部３５によるこの警報動作は、図７に示したＳ２６およびＳ２８の動作と同様、通常の警報動作である。
一方、警報制御部３５は、Ｓ７２において、マイク８１に一定時間以上継続して音声の入力があれば、ドアの開状態の警報を行わず（警報ブザー２８を動作させず）、Ｓ７４の動作へ進む。
このように、警報制御部３５は、マイク８１に一定時間以上継続して音声の入力がある場合、すなわちユーザが冷蔵庫９２のドアを開けた状態にて一定時間以上継続して発話している場合には、ドアの開状態の警報を行わない（警報ブザー２８を動作させない）ようにしている。このような、警報制御部３５の制御は、警報がユーザの発話およびマイク８１によるユーザの音声データの取得の邪魔にならないようにするものである。
なお、警報制御部３５は、Ｓ７２において、マイク８１に一定時間以上継続して音声の入力があれば、ドアの開状態の警報を行わない構成に代えて、冷蔵庫９２の警報制御部３５（例えば図１０のＳ６５の動作）と同様の動作を行う構成であってもよい。
（冷蔵庫９３の利点）
冷蔵庫９３は、ドアの開状態が所定時間以上続いてドアの開状態の警報要と判断した場合であって、マイク８１に一定時間以上継続して音声の入力がない場合には、ユーザが発話をしていないので、通常の警報動作を行う。一方、冷蔵庫９３は、同様に、ドアの開状態の警報要と判断した場合であって、マイク８１に一定時間以上継続して音声の入力がある場合には、ユーザが発話をしていると判断し、警報動作を行わない。
なお、本実施形態では、冷蔵庫９３（音声認識制御部３３）は、マイク８１に一定時間以上継続して音声の入力がない場合とある場合とで、警報動作の有無が切り替わるように制御する場合について示した。しかしながら、冷蔵庫９３（音声認識制御部３３）は、マイク８１に一定時間以上継続して音声の入力がない場合に代えて、音声取得部２５が音声を取得し、かつサーバ１１にて音声認識を行っていない場合とし、マイク８１に一定時間以上継続して音声の入力がある場合に代えて、音声取得部２５が音声を取得し、かつサーバ１１にて音声認識を行っている場合として、上記のように、警報動作の有無が切り替わるように制御する構成としてもよい。
これにより、冷蔵庫９３は、ドアの開状態が所定時間続いた場合に、通常はドアの開状態の警報動作を行う構成であっても、ユーザの発話およびマイク８１によるユーザの音声データの取得の邪魔にならないようにすることができる。
〔実施形態５〕
以上の実施形態では、第１ドア６１を開閉する場合を例として、音声認識動作や警報動作等を制御する場合について説明した。しかしながら、以上の実施形態の構成は、第１ドア６１を開閉する場合に限定されず、他の第２ドア６２〜第５ドア６５を開閉する場合にも同様に適用可能である。
〔実施形態６〕
本発明のさらに他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
図１２は、本実施形態の冷蔵庫９１〜９３の外観を示す斜視図である。図１３は、図１２に示したカバー部材７１の上カバーを外した状態における冷蔵庫１３の上面部分を示す斜視図である。
以上の実施形態では、冷蔵庫９１〜９３が第１ドア６１として観音開きの２枚ドアを有する形式である場合について示した。しかしながら、冷蔵庫９１〜９３は、図１２に示すように、第１ドア６１として右開きおよび左開きが可能な１枚ドアを有する形式であってもよい。
この場合、図１３に示すように、図５の場合と同様に、カバー部材７１の下カバー７１ａのマイク取付け部７２にマイク８１が下向きに取り付けられている。
〔実施形態７〕
図１４の（ａ）は、図５に示したマイク取付け部７２の構造と第１ドア６１との位置関係を示す縦断面図、１４の（ｂ）は、図１４の（ａ）の構造を下から見た場合の下カバー７１ａの下面図である。
図１５の（ａ）は、図１４の（ａ）に示したマイク取付け部７２の他の例に係るマイク取付け部７２の構造と第１ドア６１との位置関係を示す縦断面図、１５の（ｂ）は、図１５の（ａ）の構造を下から見た場合の下カバー７１ａの下面図である。
図１４の（ａ）（ｂ）に示すように、マイク取付け部７２は、マイク８１を保持するマイク保持部７２ａ、下カバー７１ａを貫通した貫通孔７２ｂ、下カバー７１ａの下面側の貫通孔７２ｂの周りを下広がりのコーン形状に加工したコーン形状部７２ｃを有している。マイク取付け部７２は、コーン形状部７２ｃを有することにより、集音性能を高めることができる。
また、マイク取付け部７２と第１ドア６１との位置関係は、図１４の（ａ）に示すように、第１ドア６１を閉じたときに、第１ドア６１（第１ドア６１ａ）の上面によってコーン形状部７２ｃが完全に塞がれる状態であってもよい。あるいは、第１ドア６１を閉じたときに、第１ドア６１（第１ドア６１ｂ）の上面によってコーン形状部７２ｃが完全に塞がれることなく、コーン形状部７２ｃの一部が第１ドア６１（第１ドア６１ｂ）の外面側へはみ出す状態であってもよい。後者の場合には、第１ドア６１（第１ドア６１ｂ）を閉じた状態であっても、マイク８１は外部の音声を取り込み易くなる。したがって、後者の構成は、第１ドア６１以外の第２ドア６２〜第５ドア６５の開閉動作に伴い音声認識動作や警報動作等を制御する場合に好適である。
また、図１４の（ａ）（ｂ）に示したマイク取付け部７２の構造は、図１５（ａ）（ｂ）に示す構造であってもよい。図１５（ａ）（ｂ）に示すマイク取付け部７２は、図１４の（ａ）（ｂ）に示すマイク取付け部７２とは、コーン形状部７２ｃの形状が異なる。
〔まとめ〕
本発明の態様１にかかる冷蔵庫は、音声取得部と、冷蔵庫のドアの開閉を検出するドア開閉検出部と、前記ドア開閉検出部が前記ドアの開状態を検出したときに、前記音声取得部が取得した音声データが所定の音声認識開始条件を満たすかどうかを判定し、前記音声データが前記音声認識開始条件を満たす場合に、音声認識部により前記音声データの音声認識を行わせる一方、前記音声データが前記音声認識開始条件を満たさない場合に、前記音声認識部により前記音声データの音声認識を行わせない音声認識制御部とを備えている。
本発明の態様２にかかる冷蔵庫は、上記態様１において、前記音声認識制御部は、前記音声認識部が音声認識を行っている場合に、前記音声取得部が取得した音声データが所定の音声認識終了条件を満たすかどうかを判定し、前記音声データが前記音声認識終了条件を満たす場合に、前記音声認識部による前記音声データの音声認識を終了させる構成としてもよい。
本発明の態様３にかかる冷蔵庫は、上記態様１または２において、前記音声認識制御部は、前記ドア開閉検出部が前記ドアの閉状態を検出したときに、前記ドアの閉状態の検出時点から所定時間、前記音声認識部による前記音声データの音声認識を継続して行わせ、前記ドアの閉状態の検出時点から所定時間経過後に、前記音声認識部による前記音声データの音声認識を終了させる構成としてもよい。
本発明の態様４にかかる冷蔵庫は、上記態様１から３のいずれか１態様において、ユーザへの警告を行う警告部と、前記ドアの開状態が警告要となる時間続いた場合に、前記警告部を動作させる警告制御部とを備え、前記警告制御部は、前記音声取得部が音声を取得し、かつ前記音声認識部が音声認識を行っていない場合には、通常時の警告動作を行うように前記警告部を制御する一方、前記音声取得部が音声を取得し、かつ前記音声認識部が音声認識を行っている場合には、前記警告部が前記通常時とは異なる動作を行うように前記警告部を制御する構成としてもよい。
本発明の態様５にかかる冷蔵庫は、上記態様１から３のいずれか１態様において、ユーザへの警告を行う警告部と、前記ドアの開状態が警告要となる時間続いた場合に、前記警告部を動作させる警告制御部とを備え、前記警告制御部は、前記音声取得部が取得した音声データが示す音量が所定の閾値未満である場合には、通常時の警告動作を行うように前記警告部を制御する一方、前記音声取得部が取得した音声データが示す音量が所定の閾値以上である場合には、前記警告部が前記通常時とは異なる動作を行うように前記警告部を制御する構成としてもよい。
本発明の態様６にかかる冷蔵庫は、上記態様１から３のいずれか１態様において、ユーザへの警告を行う警告部と、前記ドアの開状態が警告要となる時間続いた場合に、前記警告部を動作させる警告制御部とを備え、前記警告制御部は、前記音声取得部へ一定時間以上継続して音声の入力がない場合には、通常時の警告動作を行うように前記警告部を制御する一方、前記音声取得部へ一定時間以上継続して音声の入力がある場合には、前記警告部が前記通常時とは異なる動作を行うように前記警告部を制御する構成としてもよい。
本発明の態様７にかかる冷蔵庫は、上記態様１から６のいずれか１態様において、前記音声取得部はマイクロフォンを有し、前記マイクロフォンは、冷蔵庫の上面に設けられた、上下方向の貫通孔を有する部材の前記貫通孔に、音声入力部を下方に向けて取り付けられ、前記部材の下面の前記貫通孔の周りは、下方へ広がるコーン形状に形成されている構成としてもよい。
本発明の態様８にかかる冷蔵庫の音声対話システムは、上記態様１から７のいずれか１態様の冷蔵庫と、前記音声認識部を備え、前記冷蔵庫から受信した音声データの音声認識を前記音声認識部により行って発話の内容を特定し、特定した内容に基づいた回答の音声データを冷蔵庫に返信するサーバとを備えている。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
１ 音声対話システム
１１ サーバ
１２ ユーザ宅
１３，９１〜９３ 冷蔵庫
１５ 通信ネットワーク
２１ 制御部
２２ 記憶部
２４ 音声出力部
２５ 音声取得部
２６ ドアスイッチ（ドア開閉検出部）
２７ 庫内灯
２８ 警報ブザー（警告部）
２９ 操作パネル
３１ 音声出力制御部
３２ 音声取得制御
３３ 音声認識制御部
３４ 点灯制御部
３５ 警報制御部（警告制御部）
３６ 操作パネル制御部
４１ 制御部
４２ 記憶部
４４ 音声認識部
５１ 音声データ提供部
６１〜６５ 第１ドア〜第５ドア
６１ａ，６１ｂ 第１ドア
７１ カバー部材（部材）
７１ａ 下カバー
７２ マイク取付け部
７２ａ マイク保持部
７２ｂ 貫通孔
７２ｃ コーン形状部
８１ マイクロフォン

Claims (8)

  1. 音声取得部と、
    冷蔵庫のドアの開閉を検出するドア開閉検出部と、
    前記ドア開閉検出部が前記ドアの開状態を検出したときに、前記音声取得部が取得した音声データが所定の音声認識開始条件を満たすかどうかを判定し、前記音声データが前記音声認識開始条件を満たす場合に、音声認識部により前記音声データの音声認識を行わせる一方、前記音声データが前記音声認識開始条件を満たさない場合に、前記音声認識部により前記音声データの音声認識を行わせない音声認識制御部とを備えていることを特徴とする冷蔵庫。
  2. 前記音声認識制御部は、前記音声認識部が音声認識を行っている場合に、前記音声取得部が取得した音声データが所定の音声認識終了条件を満たすかどうかを判定し、前記音声データが前記音声認識終了条件を満たす場合に、前記音声認識部による前記音声データの音声認識を終了させることを特徴とする請求項１に記載の冷蔵庫。
  3. 前記音声認識制御部は、前記ドア開閉検出部が前記ドアの閉状態を検出したときに、前記ドアの閉状態の検出時点から所定時間、前記音声認識部による前記音声データの音声認識を継続して行わせ、前記ドアの閉状態の検出時点から所定時間経過後に、前記音声認識部による前記音声データの音声認識を終了させることを特徴とする請求項１または２に記載の冷蔵庫。
  4. ユーザへの警告を行う警告部と、
    前記ドアの開状態が警告要となる時間続いた場合に、前記警告部を動作させる警告制御部とを備え、
    前記警告制御部は、前記音声取得部が音声を取得し、かつ前記音声認識部が音声認識を行っていない場合には、通常時の警告動作を行うように前記警告部を制御する一方、前記音声取得部が音声を取得し、かつ前記音声認識部が音声認識を行っている場合には、前記警告部が前記通常時とは異なる動作を行うように前記警告部を制御することを特徴とする請求項１から３のいずれか１項に記載の冷蔵庫。
  5. ユーザへの警告を行う警告部と、
    前記ドアの開状態が警告要となる時間続いた場合に、前記警告部を動作させる警告制御部とを備え、
    前記警告制御部は、前記音声取得部が取得した音声データが示す音量が所定の閾値未満である場合には、通常時の警告動作を行うように前記警告部を制御する一方、前記音声取得部が取得した音声データが示す音量が所定の閾値以上である場合には、前記警告部が前記通常時とは異なる動作を行うように前記警告部を制御することを特徴とする請求項１から３のいずれか１項に記載の冷蔵庫。
  6. ユーザへの警告を行う警告部と、
    前記ドアの開状態が警告要となる時間続いた場合に、前記警告部を動作させる警告制御部とを備え、
    前記警告制御部は、前記音声取得部へ一定時間以上継続して音声の入力がない場合には、通常時の警告動作を行うように前記警告部を制御する一方、前記音声取得部へ一定時間以上継続して音声の入力がある場合には、前記警告部が前記通常時とは異なる動作を行うように前記警告部を制御することを特徴とする請求項１から３のいずれか１項に記載の冷蔵庫。
  7. 前記音声取得部はマイクロフォンを有し、
    前記マイクロフォンは、冷蔵庫の上面に設けられた、上下方向の貫通孔を有する部材の前記貫通孔に、音声入力部を下方に向けて取り付けられ、
    前記部材の下面の前記貫通孔の周りは、下方へ広がるコーン形状に形成されていることを特徴とする請求項１から６のいずれか１項に記載の冷蔵庫。
  8. 請求項１から７のいずれか１項に記載の冷蔵庫と、
    前記音声認識部を備え、前記冷蔵庫から受信した音声データの音声認識を前記音声認識部により行って発話の内容を特定し、特定した内容に基づいた回答の音声データを冷蔵庫に返信するサーバとを備えていることを特徴とする冷蔵庫の音声対話システム。
JP2018210624A 2018-11-08 2018-11-08 冷蔵庫 Active JP7202853B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018210624A JP7202853B2 (ja) 2018-11-08 2018-11-08 冷蔵庫
US16/669,004 US11289081B2 (en) 2018-11-08 2019-10-30 Refrigerator
TW108139822A TWI840437B (zh) 2018-11-08 2019-11-01 冰箱
CN201911059240.8A CN111161736A (zh) 2018-11-08 2019-11-01 冰箱

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018210624A JP7202853B2 (ja) 2018-11-08 2018-11-08 冷蔵庫

Publications (2)

Publication Number Publication Date
JP2020076884A true JP2020076884A (ja) 2020-05-21
JP7202853B2 JP7202853B2 (ja) 2023-01-12

Family

ID=70550649

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018210624A Active JP7202853B2 (ja) 2018-11-08 2018-11-08 冷蔵庫

Country Status (3)

Country Link
US (1) US11289081B2 (ja)
JP (1) JP7202853B2 (ja)
CN (1) CN111161736A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019099049A1 (en) * 2017-11-20 2019-05-23 Whirlpool Corporation Refrigerator with hinge assembly having an external hinge pin
JP7202853B2 (ja) * 2018-11-08 2023-01-12 シャープ株式会社 冷蔵庫
KR20200076441A (ko) * 2018-12-19 2020-06-29 삼성전자주식회사 전자 장치 및 그의 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61140999A (ja) * 1984-12-13 1986-06-28 沖電気工業株式会社 音声区間検出方式
JP2014196847A (ja) * 2013-03-29 2014-10-16 パナソニック株式会社 冷蔵庫
JP2017126223A (ja) * 2016-01-14 2017-07-20 シャープ株式会社 システム、サーバ、装置、端末、システムの制御方法、サーバの制御方法、サーバのプログラム、および、端末のプログラム
JP2017133818A (ja) * 2016-01-26 2017-08-03 東芝ライフスタイル株式会社 冷蔵庫
JP2018095450A (ja) * 2016-12-15 2018-06-21 シャープ株式会社 物品管理装置、物品管理システム、物品管理方法及びプログラム

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57118299A (en) * 1981-01-14 1982-07-23 Nissan Motor Voice load driver
US5857172A (en) * 1995-07-31 1999-01-05 Microsoft Corporation Activation control of a speech recognizer through use of a pointing device
JP3674990B2 (ja) * 1995-08-21 2005-07-27 セイコーエプソン株式会社 音声認識対話装置および音声認識対話処理方法
US6505159B1 (en) * 1998-03-03 2003-01-07 Microsoft Corporation Apparatus and method for providing speech input to a speech recognition system
US6594632B1 (en) * 1998-11-02 2003-07-15 Ncr Corporation Methods and apparatus for hands-free operation of a voice recognition system
JP2000181676A (ja) * 1998-12-11 2000-06-30 Nintendo Co Ltd 画像処理装置
US6243683B1 (en) * 1998-12-29 2001-06-05 Intel Corporation Video control of speech recognition
US6370503B1 (en) * 1999-06-30 2002-04-09 International Business Machines Corp. Method and apparatus for improving speech recognition accuracy
KR20020033813A (ko) * 2000-07-21 2002-05-07 요트.게.아. 롤페즈 복수의 디바이스를 통한 음성 제어
US6629077B1 (en) * 2000-11-22 2003-09-30 Universal Electronics Inc. Universal remote control adapted to receive voice input
GB0029573D0 (en) * 2000-12-02 2001-01-17 Hewlett Packard Co Activation of voice-controlled apparatus
US20020077830A1 (en) * 2000-12-19 2002-06-20 Nokia Corporation Method for activating context sensitive speech recognition in a terminal
JP3904390B2 (ja) 2000-12-21 2007-04-11 シャープ株式会社 冷蔵庫
US7369997B2 (en) * 2001-08-01 2008-05-06 Microsoft Corporation Controlling speech recognition functionality in a computing device
US8229753B2 (en) * 2001-10-21 2012-07-24 Microsoft Corporation Web server controls for web enabled recognition and/or audible prompting
US7711570B2 (en) * 2001-10-21 2010-05-04 Microsoft Corporation Application abstraction with dialog purpose
KR100458460B1 (ko) * 2003-04-22 2004-11-26 엔에이치엔(주) 인터넷 사용자의 접속 의도를 이용한 인터넷 상의 광고유치 및 광고 제공 방법과 그 시스템
US20050021343A1 (en) * 2003-07-24 2005-01-27 Spencer Julian A.Q. Method and apparatus for highlighting during presentations
US8311835B2 (en) * 2003-08-29 2012-11-13 Microsoft Corporation Assisted multi-modal dialogue
JP2005284492A (ja) * 2004-03-29 2005-10-13 Mitsubishi Electric Corp 音声利用操作装置
DE102005016853A1 (de) * 2005-04-12 2006-10-19 Siemens Ag Verfahren zur Kontrolle von sprachgesteuerten Applikationen und zugehöriges Kontrollsystem
US20070005370A1 (en) * 2005-06-30 2007-01-04 Scott Elshout Voice-activated control system
US8207936B2 (en) * 2006-06-30 2012-06-26 Sony Ericsson Mobile Communications Ab Voice remote control
WO2008010688A1 (en) * 2006-07-20 2008-01-24 Lg Electronics Inc. Operation method of interactive refrigerator system
KR101317600B1 (ko) * 2006-12-15 2013-10-18 엘지전자 주식회사 냉장고
US8326636B2 (en) * 2008-01-16 2012-12-04 Canyon Ip Holdings Llc Using a physical phenomenon detector to control operation of a speech recognition engine
CN101802532B (zh) * 2007-09-13 2012-08-08 Lg电子株式会社 冰箱
US8958848B2 (en) * 2008-04-08 2015-02-17 Lg Electronics Inc. Mobile terminal and menu control method thereof
JP5322208B2 (ja) * 2008-06-30 2013-10-23 株式会社東芝 音声認識装置及びその方法
JP5646146B2 (ja) * 2009-03-18 2014-12-24 株式会社東芝 音声入力装置、音声認識システム及び音声認識方法
WO2011036762A1 (ja) * 2009-09-25 2011-03-31 株式会社東芝 音声対話装置およびプログラム
US8452597B2 (en) * 2011-09-30 2013-05-28 Google Inc. Systems and methods for continual speech recognition and detection in mobile computing devices
KR102022318B1 (ko) * 2012-01-11 2019-09-18 삼성전자 주식회사 음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치
KR101946364B1 (ko) * 2012-05-01 2019-02-11 엘지전자 주식회사 적어도 하나의 마이크 센서를 갖는 모바일 디바이스 및 그 제어방법
US9711160B2 (en) * 2012-05-29 2017-07-18 Apple Inc. Smart dock for activating a voice recognition mode of a portable electronic device
KR20140014510A (ko) * 2012-07-24 2014-02-06 삼성전자주식회사 음성 인식에 의하여 형성된 문자의 편집 방법 및 그 단말
US20140149118A1 (en) * 2012-11-28 2014-05-29 Lg Electronics Inc. Apparatus and method for driving electric device using speech recognition
KR102195897B1 (ko) * 2013-06-05 2020-12-28 삼성전자주식회사 음향 사건 검출 장치, 그 동작 방법 및 그 동작 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능 기록 매체
KR102394485B1 (ko) * 2013-08-26 2022-05-06 삼성전자주식회사 음성 인식을 위한 전자 장치 및 방법
US9443527B1 (en) * 2013-09-27 2016-09-13 Amazon Technologies, Inc. Speech recognition capability generation and control
KR102188090B1 (ko) * 2013-12-11 2020-12-04 엘지전자 주식회사 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템
JP2015184563A (ja) * 2014-03-25 2015-10-22 シャープ株式会社 対話型家電システム、サーバ装置、対話型家電機器、家電システムが対話を行なうための方法、当該方法をコンピュータに実現させるためのプログラム
US9569174B2 (en) * 2014-07-08 2017-02-14 Honeywell International Inc. Methods and systems for managing speech recognition in a multi-speech system environment
CN105654270A (zh) * 2014-11-18 2016-06-08 博西华家用电器有限公司 冰箱、终端、冰箱内食材的管理系统及管理方法
JP6748404B2 (ja) 2015-06-09 2020-09-02 シャープ株式会社 電子機器
KR102223627B1 (ko) * 2015-09-03 2021-03-05 삼성전자주식회사 냉장고
KR20170032114A (ko) * 2015-09-14 2017-03-22 삼성전자주식회사 음성 인식 장치 및 그의 제어방법
JP6676324B2 (ja) * 2015-09-30 2020-04-08 シャープ株式会社 電子機器
JP6636303B2 (ja) * 2015-10-29 2020-01-29 シャープ株式会社 対話装置、対話機器、対話装置の制御方法、制御プログラム、および記録媒体
US10431218B2 (en) * 2016-02-15 2019-10-01 EVA Automation, Inc. Integration and probabilistic control of electronic devices
TWM527082U (zh) * 2016-04-11 2016-08-11 Probe Jet Tech 智慧型冰箱
KR20170132622A (ko) * 2016-05-24 2017-12-04 삼성전자주식회사 음성 인식 기능을 갖는 전자 장치 및 전자 장치의 동작 방법
US10373464B2 (en) * 2016-07-07 2019-08-06 Walmart Apollo, Llc Apparatus and method for updating partiality vectors based on monitoring of person and his or her home
US10621992B2 (en) * 2016-07-22 2020-04-14 Lenovo (Singapore) Pte. Ltd. Activating voice assistant based on at least one of user proximity and context
KR20180048089A (ko) * 2016-11-02 2018-05-10 엘지전자 주식회사 냉장고
US20180144397A1 (en) * 2016-11-21 2018-05-24 Wal-Mart Stores, Inc. Selecting products in a virtual environment
KR20180062746A (ko) * 2016-12-01 2018-06-11 삼성전자주식회사 음성 신호를 입력 또는 출력하는 램프 장치 및 상기 램프 장치의 구동 방법
US11003417B2 (en) * 2016-12-15 2021-05-11 Samsung Electronics Co., Ltd. Speech recognition method and apparatus with activation word based on operating environment of the apparatus
WO2018118194A1 (en) * 2016-12-20 2018-06-28 Walmart Apollo, Llc Rules-based audio interface
KR102601892B1 (ko) * 2017-01-02 2023-11-15 엘지전자 주식회사 냉장고
KR102398390B1 (ko) * 2017-03-22 2022-05-16 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
WO2018191451A1 (en) * 2017-04-13 2018-10-18 Walmart Apollo, Llc Systems and methods for receiving retail products at a delivery destination
KR102411766B1 (ko) * 2017-08-25 2022-06-22 삼성전자주식회사 음성 인식 서비스를 활성화하는 방법 및 이를 구현한 전자 장치
US10614805B2 (en) * 2018-03-09 2020-04-07 Midea Group Co., Ltd. Voice-assisted restocking method and system
JP7191561B2 (ja) * 2018-06-29 2022-12-19 シャープ株式会社 冷蔵庫
JP7034855B2 (ja) * 2018-07-26 2022-03-14 シャープ株式会社 冷蔵庫
JP7202853B2 (ja) * 2018-11-08 2023-01-12 シャープ株式会社 冷蔵庫

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61140999A (ja) * 1984-12-13 1986-06-28 沖電気工業株式会社 音声区間検出方式
JP2014196847A (ja) * 2013-03-29 2014-10-16 パナソニック株式会社 冷蔵庫
JP2017126223A (ja) * 2016-01-14 2017-07-20 シャープ株式会社 システム、サーバ、装置、端末、システムの制御方法、サーバの制御方法、サーバのプログラム、および、端末のプログラム
JP2017133818A (ja) * 2016-01-26 2017-08-03 東芝ライフスタイル株式会社 冷蔵庫
JP2018095450A (ja) * 2016-12-15 2018-06-21 シャープ株式会社 物品管理装置、物品管理システム、物品管理方法及びプログラム

Also Published As

Publication number Publication date
JP7202853B2 (ja) 2023-01-12
US11289081B2 (en) 2022-03-29
US20200152192A1 (en) 2020-05-14
TW202018697A (zh) 2020-05-16
CN111161736A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
KR102293063B1 (ko) 사용자 정의 가능한 웨이크업 음성 명령
US10908874B2 (en) Enhanced control and security of a voice controlled device
US11798547B2 (en) Voice activated device for use with a voice-based digital assistant
US20240112669A1 (en) Methods and devices for selectively ignoring captured audio data
JP7202853B2 (ja) 冷蔵庫
US10366699B1 (en) Multi-path calculations for device energy levels
KR102098136B1 (ko) 응답을 제공하기 위한 디바이스 선택
US11949818B1 (en) Selecting user device during communications session
KR102268327B1 (ko) 비동기식 멀티모드 메시징 시스템 및 방법
TWI557599B (zh) 語音控制方法及語音控制系統
KR20190042918A (ko) 전자 장치 및 그의 동작 방법
US20140149118A1 (en) Apparatus and method for driving electric device using speech recognition
US20060074658A1 (en) Systems and methods for hands-free voice-activated devices
KR20050055776A (ko) 음성에 근거하여 장치를 제어하는 방법
US9792901B1 (en) Multiple-source speech dialog input
JP2011118822A (ja) 電子機器、発話検出装置、音声認識操作システム、音声認識操作方法及びプログラム
JP2017084177A (ja) 電子機器およびその制御方法
JP2007501420A (ja) ダイアログシステムの駆動方法
JP3000999B1 (ja) 音声認識方法および音声認識装置ならびに音声認識処理プログラムを記録した記録媒体
CN111862968A (zh) 家用电器及其控制方法
JP6748404B2 (ja) 電子機器
TWI840437B (zh) 冰箱
CN108922523B (zh) 位置提示方法、装置、存储介质及电子设备
KR20190062369A (ko) 키워드 오인식을 방지하는 음성 제어 장치 및 이의 동작 방법
JP2001275176A (ja) リモートコントロール装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221226

R150 Certificate of patent or registration of utility model

Ref document number: 7202853

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150