JP2005311864A - Household appliances, adapter instrument, and household appliance system - Google Patents
Household appliances, adapter instrument, and household appliance system Download PDFInfo
- Publication number
- JP2005311864A JP2005311864A JP2004128316A JP2004128316A JP2005311864A JP 2005311864 A JP2005311864 A JP 2005311864A JP 2004128316 A JP2004128316 A JP 2004128316A JP 2004128316 A JP2004128316 A JP 2004128316A JP 2005311864 A JP2005311864 A JP 2005311864A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- code information
- speech
- information
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、情報サーバなどの外部装置と接続可能な家電機器、家電機器に対し設けられるアダプタ装置および情報サーバと接続された家電機器システムに関する。 The present invention relates to a home appliance that can be connected to an external device such as an information server, an adapter device provided for the home appliance, and a home appliance system connected to the information server.
従来、家電機器を動作させる場合のマンマシンインターフェースには、スイッチやダイアルなどの操作手段、操作パネル上の表示装置、単純な操作確認音を出力するブザーなどが用いられていた。これに対して、操作性を高めるために、音声を用いたマンマシンインターフェースを利用することが考えられる。音声処理、音声認識を行う技術としては、特許文献１に記載された音声認識システムなどが知られている。
近年、家電機器本体の制御は高精度化、高性能化しており、それに伴って制御部の負荷が増大している。このような状況において、家電機器に音声インターフェースに係るハードウェアまたはソフトウェア（例えば音声合成エンジン、音声認識エンジン）を追加すれば、制御部の処理能力が不足する。このため、制御部全体を処理能力の高いものと交換しなければならず、その開発に時間とコストがかかる。 In recent years, the control of the home appliance main body has been improved in accuracy and performance, and the load on the control unit has increased accordingly. In such a situation, if hardware or software related to a voice interface (for example, a voice synthesis engine or a voice recognition engine) is added to the home appliance, the processing capability of the control unit is insufficient. For this reason, it is necessary to replace the entire control unit with one having a high processing capacity, and development takes time and cost.
本発明は上記事情に鑑みてなされたもので、その目的は、家電機器本体の動作を制御する制御部の負荷を増やすことなく、音声インターフェースを利用できる家電機器、アダプタ装置および家電機器システムを提供することにある。 The present invention has been made in view of the above circumstances, and an object thereof is to provide a home appliance, an adapter device, and a home appliance system that can use a voice interface without increasing the load of a control unit that controls the operation of the home appliance main body. There is to do.
請求項１に記載した手段によれば、機器本体の動作を制御する制御部を備えた家電機器において、
音声を出力する音声出力手段と、前記制御部と接続され且つ外部装置と接続可能なアダプタ装置とを備え、
前記アダプタ装置は、
前記制御部から音声合成要求信号を入力する第１の入力手段と、
前記外部装置から音声をテキスト情報として符号化した音声符号情報または音声合成要求信号を入力する第２の入力手段と、
前記音声符号情報を保存する音声符号情報保存手段と、
この音声符号情報保存手段に保存された音声符号情報の中から、前記第１または第２の入力手段により入力した音声合成要求信号に対応した音声符号情報を選択する音声選択手段と、
この選択された音声符号情報に基づいて音声を合成しそれを前記音声出力手段に出力する音声合成手段とを備えていることを特徴とする。
According to the means described in
Audio output means for outputting audio; and an adapter device connected to the control unit and connectable to an external device,
The adapter device is
First input means for inputting a speech synthesis request signal from the control unit;
Second input means for inputting speech code information or speech synthesis request signal obtained by encoding speech as text information from the external device;
Voice code information storage means for storing the voice code information;
Speech selection means for selecting speech code information corresponding to the speech synthesis request signal input by the first or second input means from the speech code information stored in the speech code information storage means;
Voice synthesis means for synthesizing voice based on the selected voice code information and outputting it to the voice output means.
この請求項１に対応した発明として、請求項４に記載した手段は、家電機器に対し設けられるアダプタ装置であり、請求項９に記載した手段は、情報サーバと家電機器とアダプタ装置とからなる家電機器システムである。これらの手段によれば、家電機器に設けられたアダプタ装置は、音声符号情報保存手段に保存された音声符号情報の中から、音声合成要求信号に対応した音声符号情報を選択し、その選択した音声符号情報に基づいて音声を合成して出力する。 As an invention corresponding to the first aspect, the means described in the fourth aspect is an adapter device provided to the household electrical appliance, and the means described in the ninth aspect includes an information server, a household electrical appliance, and an adapter device. Home appliance system. According to these means, the adapter device provided in the home appliance selects the speech code information corresponding to the speech synthesis request signal from the speech code information stored in the speech code information storage means, and the selected A voice is synthesized based on the voice code information and output.
請求項２に記載した手段によれば、機器本体の動作を制御する制御部を備えた家電機器において、
音声を入力する音声入力手段と、前記制御部と接続され且つ外部装置と接続可能なアダプタ装置とを備え、
前記アダプタ装置は、
前記音声入力手段から入力した音声を音声データに変換する音声変換手段と、
この変換された音声データを保存する音声データ保存手段と、
この保存された音声データを前記外部装置に送信し、前記外部装置での音声認識の結果に基づいた動作制御信号を受信する通信手段と、
この通信手段により受信した動作制御信号を前記制御部に出力する出力手段とを備えていることを特徴とする。
According to the means described in
Voice input means for inputting voice; and an adapter device connected to the control unit and connectable to an external device;
The adapter device is
Voice conversion means for converting voice input from the voice input means into voice data;
Audio data storage means for storing the converted audio data;
Communication means for transmitting the stored voice data to the external device and receiving an operation control signal based on a result of voice recognition in the external device;
And an output means for outputting the operation control signal received by the communication means to the control section.
この請求項２に対応した発明として、請求項５に記載した手段は、家電機器に対し設けられるアダプタ装置であり、請求項１０に記載した手段は、情報サーバと家電機器とアダプタ装置とからなる家電機器システムである。これらの手段によれば、家電機器に設けられたアダプタ装置は、入力した音声を音声データに変換して音声データ保存手段に保存し、それを外部装置に送信する。アダプタ装置は、外部装置から受信した動作制御信号を家電機器の制御部に出力する。
As an invention corresponding to
さらに、請求項３に記載した手段のように、請求項１、２にそれぞれ記載した手段を組み合わせてもよい。この請求項３に対応した発明として、請求項６に記載した手段は、家電機器に対し設けられるアダプタ装置であり、請求項１１に記載した手段は、情報サーバと家電機器とアダプタ装置とからなる家電機器システムである。
Furthermore, like the means described in
請求項１、３、４、６、９、１１に記載の発明によれば、家電機器本体の動作を制御する制御部の負荷を増やすことなく、家電機器のユーザに対し音声による通知を行うことができるようになる。従って、比較的処理能力の低い制御部を備えた家電機器であっても、容易に音声インターフェース機能を利用できるようになり、家電機器の操作性を高めることができる。
According to the inventions described in
請求項２、３、５、６、１０、１１に記載の発明によれば、家電機器本体の動作を制御する制御部の負荷を増やすことなく、家電機器のユーザが自らの音声により家電機器の操作を行うことができるようになる。従って、比較的処理能力の低い制御部を備えた家電機器であっても、容易に音声インターフェース機能を利用できるようになり、家電機器の操作性を高めることができる。
According to the inventions described in
（第１の実施形態）
以下、本発明の第１の実施形態について図１ないし図６を参照しながら説明する。
図１は、家電機器システムの全体構成を示している。建物１の内部には、構内ネットワークであるサブネットワーク２が構築されおり、建物１の外部には公衆ネットワークであるインターネット３が構築されている。サブネットワーク２は、例えば、物理層として無線通信プロトコルであるＢｌｕｅｔｏｏｔｈ（登録商標）を用いた無線ネットワークである。
(First embodiment)
Hereinafter, a first embodiment of the present invention will be described with reference to FIGS.
FIG. 1 shows the overall configuration of a home appliance system. A
冷蔵庫４や電子レンジ５などの家電機器６の本体には、無線アダプタ７（アダプタ装置に相当）とスピーカ８（音声出力手段に相当）とが取り付けられており、その無線アダプタ７は、サブネットワーク２の無線回線を通して、建物１内に設けられたホームサーバ９と接続されている。本実施形態において、冷蔵庫４や電子レンジ５などの家電機器６の本体（つまり家電機器制御部６ａ）は、サブネットワーク２への接続機能を備えている必要はない（備えていてもよい）。
A wireless adapter 7 (corresponding to the adapter device) and a speaker 8 (corresponding to audio output means) are attached to the main body of the home appliance 6 such as the
ホームサーバ９は、無線アダプタ７やパソコン１１などの機器と情報サーバ１０（外部装置に相当）との間に介在しており、ホームゲートウェイとしての機能も備えている。すなわち、建物１内にある種々の機器の間で相互に通信が可能となるように、プロトコル（Ｅｔｈｅｒｎｅｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ、ＥＣＨＯＮＥＴ（電力線を通じたネットワーク））の変換を行うとともに、インターネット３上に存在する情報サーバ１０と接続するようになっている。
The home server 9 is interposed between a device such as the wireless adapter 7 and the
また、ホームサーバ９は、家電機器６の各メーカが提供しているＷｅｂサーバにアクセスしたり、メールの送受信を行う機能も備えている。ホームサーバ９は、サブネットワーク２に接続される全ての機器つまり無線アダプタ７、サブネットワーク２への接続機能を有するパソコン１１や家電機器６などに対し、重複のない固有のＩＰアドレスを割り当てるようになっている。これらの機器には、固有の識別情報（家電ＩＤ）としてＭＡＣアドレスが設定されている。
The home server 9 also has a function of accessing a Web server provided by each manufacturer of the home appliance 6 and transmitting and receiving mail. The home server 9 assigns a unique IP address without duplication to all devices connected to the
無線アダプタ７とスピーカ８は、家電機器６に対するオプション装置であって、メーカにおける家電機器本体の製造時、販売店からユーザへの納品時、ユーザによる使用開始後の何れの時点でも家電機器本体に簡単に取り付けることができるようになっている。図４は、電子レンジ５への取り付け方法の一例を模式的に示している。実際の取り付けでは、無線アダプタ７とスピーカ８を電子レンジ５の筐体内に収納することが好ましい。また、予め電子レンジ５本体が備えているスピーカがあれば、スピーカ８に替えてそれを利用してもよい。
The wireless adapter 7 and the
これらを家電機器６に取り付けると、家電機器６を操作する時にスピーカ８から確認メッセージや操作案内メッセージなどが音声出力されるようになり、また、家電機器６の動作状態についてのメッセージも音声出力されるようになる。さらに、情報サーバ１０が提供する種々のサービス情報メッセージも音声出力されるようになる。
When these are attached to the home appliance 6, when operating the home appliance 6, a confirmation message or an operation guidance message is output from the
図２は、無線アダプタ７の機能ブロック図である。無線アダプタ７は、音声選択部１２を含む制御部１３、記憶部１４、音声合成部１５、増幅回路１６、インターフェース部１７、通信部１８および無線ユニット１９から構成されている。このうち、制御部１３、音声合成部１５、インターフェース部１７および通信部１８は、ワンチップマイコンにより構成されている。
FIG. 2 is a functional block diagram of the wireless adapter 7. The wireless adapter 7 includes a
無線アダプタ７は、小型の筐体内に制御基板（図示せず）を収納した構成となっており、その制御基板には、上記ワンチップマイコン、記憶部１４、増幅回路１６および無線ユニット１９が搭載されている。ワンチップマイコン内のＣＰＵは、ワンチップマイコン内の電気的書き換え可能な不揮発性メモリ（図示せず）に格納されている制御プログラムを実行するようになっている。なお、こうしたソフトウェア処理に替えて、全てをハードウェア処理する構成としてもよい。
The wireless adapter 7 has a configuration in which a control board (not shown) is housed in a small casing, and the one-chip microcomputer, the
無線アダプタ７を家電機器６に取り付けると、無線アダプタ７は、コネクタ２０を介して家電機器本体の動作を制御する家電機器制御部６ａ（図１参照：冷蔵庫４の制御部には符号４ａ、電子レンジ５の制御部には符号５ａを付している）と電気的に接続される。図２に示すインターフェース部１７（第１の入力手段に相当）は、家電機器制御部６ａから音声合成要求信号および機器状態信号を入力するようになっている。ここで、音声合成要求信号とは、家電機器６の状態に対応した音声メッセージをスピーカ８から出力するように、家電機器６が無線アダプタ７に対し直接要求する信号であり、機器状態信号とは、家電機器６に対する操作、家電機器６の動作、家電機器６が実行する故障診断結果などの各種状態を示す情報からなる信号である。
When the wireless adapter 7 is attached to the home appliance 6, the wireless adapter 7 controls the home
通信部１８（第２の入力手段に相当）は、機器状態信号を無線ユニット１９を通してホームサーバ９に送信するとともに、ホームサーバ９から送られてきた音声合成要求信号および音声符号情報を無線ユニット１９を通して受信するようになっている。ホームサーバ９は、これら機器状態信号、音声合成要求信号および音声符号情報を情報サーバ１０との間で送受信するようになっている。ここで、音声合成要求信号とは、家電機器６の状態に対応した音声メッセージをスピーカ８から出力するように、情報サーバ１０が無線アダプタ７に対し要求する信号である。また、音声符号情報は、ＡＳＣＩＩコードなどの文字情報（テキスト情報）と発音情報とから構成されている。
The communication unit 18 (corresponding to the second input means) transmits a device status signal to the home server 9 through the
記憶部１４（音声符号情報保存手段に相当）は、電気的に書き換え可能な不揮発性メモリ例えばフラッシュメモリから構成されており、音声符号情報が記憶されている。音声符号情報（音声メッセージ）は、無線アダプタ７が取り付けられる家電機器６の種類により異なっている。例えば冷蔵庫４の場合には、温度設定を変更操作した時に出力される「温度設定を変更します」、ドアを所定時間以上継続して開放している時に出力される「ドアを閉めて下さい」、故障時に出力される「冷凍室の温度が下がりません。故障です。○○に連絡して下さい。」等である。また、電子レンジ５の場合には、調理開始時に出力される「調理を開始します」、調理終了時に出力される「調理が終了しました」、調理モードを設定した時に出力される「○○調理モードに設定しました」、故障時に出力される「調理を開始できません。故障です。○○に連絡して下さい。」等である。
The storage unit 14 (corresponding to the voice code information storage means) is composed of an electrically rewritable nonvolatile memory such as a flash memory, and stores voice code information. The voice code information (voice message) varies depending on the type of home appliance 6 to which the wireless adapter 7 is attached. For example, in the case of the
制御部１３は、上述した機器状態信号、音声合成要求信号および音声符号情報の入出力や送受信を制御し、これらの信号や情報の処理を行うものである。その中の音声選択部１２（音声選択手段に相当）は、記憶部１４に保存されている音声符号情報の中から、インターフェース部１７または通信部１８を通して入力した音声合成要求信号に対応した音声符号情報を選択し、それを音声合成部１５に出力するものである。このため、音声選択部１２は、家電機器６の種類に応じて、音声合成要求信号と音声符号情報との対応関係を示すデータテーブルを有している。このデータテーブルは、情報サーバ１０から送られるデータテーブルにより書き換え可能となっている。
The
音声合成部１５（音声合成手段に相当）は、辞書データを備えており、その辞書データを参照しながら音声選択部１２によって選択された音声符号情報に応じた音声を合成しそれを出力するようになっている。辞書データには、図３（ｂ）に示すように、方言辞書データ（例えば名古屋弁辞書データ、大阪弁辞書データ）、日本語辞書データ、英語辞書データ、男性言葉辞書データ、女性言葉辞書データなどがあり、情報サーバ１０からダウンロードして書き換えられるようになっている。辞書データは必須ではなく、辞書データがない場合または辞書データを使用しない場合には、音声符号情報の発音情報に従った音声を合成するようになっている。合成された音声は、増幅回路１６およびコネクタ２１を通してスピーカ８から出力される。
The voice synthesizer 15 (corresponding to the voice synthesizer) includes dictionary data, and synthesizes voice according to the voice code information selected by the voice selector 12 while referring to the dictionary data, and outputs it. It has become. As shown in FIG. 3B, the dictionary data includes dialect dictionary data (eg, Nagoya dialect dictionary data, Osaka dialect dictionary data), Japanese dictionary data, English dictionary data, male language dictionary data, female language dictionary data, etc. Can be downloaded from the
図３（ａ）は、情報サーバ１０の機能ブロック図である。情報サーバ１０は、音声合成要求信号決定手段２２、故障診断手段２３およびデータベース２４を備えている。データベース２４には、音声符号情報、機器状態信号と音声合成要求信号との対応関係を示すデータテーブル、機器メンテナンス情報および上述の辞書データが格納されている。
音声合成要求信号決定手段２２は、受信した機器状態信号と上記データテーブルを参照して、無線アダプタ７に音声符号情報を選択させるための音声合成要求信号を決定するものである。また、故障診断手段２３は、受信した機器状態信号と上記機器メンテナンス情報に基づいて故障診断を行い、家電機器６の現在の状態（故障状態、誤操作状態）に応じた適切な音声合成要求信号を決定するようになっている。
FIG. 3A is a functional block diagram of the
The speech synthesis request signal determining means 22 refers to the received device status signal and the data table, and determines a speech synthesis request signal for causing the wireless adapter 7 to select speech code information. Further, the failure diagnosis means 23 performs failure diagnosis based on the received device state signal and the device maintenance information, and generates an appropriate speech synthesis request signal according to the current state (failure state, erroneous operation state) of the home appliance 6. It comes to decide.
次に、本実施形態の動作について図５および図６に示すシーケンス図も参照しながら説明する。
図５は、電子レンジ５が調理を終了した時の音声メッセージの出力シーケンスを示している。電子レンジ５の制御部５ａは、調理を終了すると無線アダプタ７に対し調理終了信号（機器状態信号に相当）と音声合成要求信号とを出力する。無線アダプタ７は、その調理終了信号をサブネットワーク２の無線回線を通してホームサーバ９に送信し、ホームサーバ９は、受信した調理終了信号をインターネット３を通して情報サーバ１０に送信する。情報サーバ１０は、ホームサーバ９から電子レンジ５の調理終了信号を受信すると、音声合成要求信号決定手段２２において、「調理が終了しました」という音声符号情報を選択させるための音声合成要求信号を決定し、それをホームサーバ９に送信する。
Next, the operation of the present embodiment will be described with reference to the sequence diagrams shown in FIGS.
FIG. 5 shows a voice message output sequence when the
電子レンジ５に取り付けられた無線アダプタ７の記憶部１４には、予め電子レンジ５に適した標準的な音声符号情報（その具体例は既述した）が格納されている。無線アダプタ７は、情報サーバ１０からホームサーバ９を介して音声合成要求信号を受信すると、音声選択部１２においてデータテーブルを参照して音声合成要求信号に対応した音声符号情報を選択し、音声合成部１５において辞書データに基づいて音声符号情報に応じた音声を合成する。その結果、スピーカ８から「調理が終了しました」という音声メッセージが出力される。電子レンジ５の調理終了から音声メッセージの出力までの時間は、ユーザが違和感を感じない程度の非常に短い時間である。
In the
なお、故障などによりホームサーバ９と情報サーバ１０とが接続されていない時には、無線アダプタ７は、電子レンジ５から入力した音声合成要求信号を用いて、音声選択部１２においてその音声合成要求信号に対応した音声符号情報を選択し音声合成を行う。
情報サーバ１０のデータベース２４には、常に最新のデータテーブル、機器メンテナンス情報が格納されている。このため、情報サーバ１０は、例えば電子レンジ５に故障が生じた場合に、故障診断手段２３において、受信した機器状態信号と最新の機器メンテナンス情報に基づいて故障診断を行い、電子レンジ５の現在の故障状態に最適な音声合成要求信号を決定する。従って、情報サーバ１０から送られる音声合成要求信号を用いた方がより的確な音声メッセージが得られる。
When the home server 9 and the
The
図６は、情報サーバ１０から無線アダプタ７に対し音声符号情報を送信する際のシーケンスを示している。この送信シーケンスは、ユーザが家電機器６を購入した後で新たに無線アダプタ７とスピーカ８を購入し家電機器６に取り付ける場合や、既設の無線アダプタ７とスピーカ８を用いて、情報サーバ１０に追加された新たな情報サービスに対応した音声メッセージを出力可能とする場合などに用いられる。
FIG. 6 shows a sequence when transmitting the voice code information from the
例えば情報サーバ１０に新たなサービスが追加されると、情報サーバ１０は、ホームサーバ９を通して無線アダプタ７に対し、そのサービスに対応した音声符号情報ファイルの受信準備を要求する。無線アダプタ７は、音声符号情報ファイルの受信準備が完了すると、情報サーバ１０に準備完了通知を送信する。情報サーバ１０は、その準備完了通知に応じて、無線アダプタ７に対し音声符号情報ファイルを送信する。無線アダプタ７は、通信部１８により音声符号情報ファイルを受信すると、その音声符号情報を記憶部１４に保存し、情報サーバ１０に対しＡＣＫ（アクノリッジ）を返す。また、情報サーバ１０は、必要ならば、無線アダプタ７に対し音声合成要求信号と音声符号情報との対応関係を示す最新のデータテーブルを送信する。
For example, when a new service is added to the
なお、無線アダプタ７に対する音声符号情報および辞書データの送信は、パソコン１１（外部装置に相当）からも行うことができる。建物１内にあるパソコン１１は、サブネットワーク２の無線回線を通してホームサーバ９と接続されており、情報サーバ１０から一旦パソコン１１にダウンロードした音声符号情報等、または記録媒体（ＣＤ、ＤＶＤ等）からパソコン１１に直接取り込んだ音声符号情報等を、ホームサーバ９を経由して無線アダプタ７に送信することができる。
The voice code information and the dictionary data can be transmitted to the wireless adapter 7 from the personal computer 11 (corresponding to an external device). The
また、パソコン１１（情報表示装置に相当）は、情報サーバ１０から送信された音声符号情報を受信する受信手段に加え、ディスプレイ１１ａ（表示手段に相当）を備えているため、情報サーバ１０からホームサーバ９を介して受信した音声符号情報をディスプレイ１１ａに表示することもできる。この場合、音声符号情報をそのままテキストで表示する他、そのテキストに応じた絵、写真、図形、記号などを表示してもよい。また、情報サーバ１０から情報を受信したことだけを表示または音声通知してもよい。このような用途は、家電機器６の詳細な取り扱い説明、調理のレシピ情報など情報サーバ１０が提供するサービス情報を表示するのに有用である。
The personal computer 11 (corresponding to the information display device) includes a
以上説明した本実施形態によれば、家電機器６にオプション装置として無線アダプタ７とスピーカ８とを取り付けることにより、家電機器本体の動作を制御する家電機器制御部６ａの負荷を増やすことなく、家電機器６のユーザに対し確認メッセージ、操作案内メッセージ、サービス情報メッセージ、故障診断メッセージなどを音声により知らせることができるようになる。従って、比較的処理能力の低い制御部６ａを備えた家電機器６であっても、容易に音声インターフェース機能を利用できるようになり、家電機器６の操作性を高めることができる。
According to the present embodiment described above, the home appliance 6 is attached with the wireless adapter 7 and the
また、従来の家電機器システムに本実施形態で説明した家電機器システムを適用する場合でも、従来の家電機器６に対し例えばＣＰＵを交換するような大規模な設計変更は必要なく、従来の家電機器６に対し無線アダプタ７とのインターフェース部を追加すればよい。このため、従来システムからの移行も容易となる。 Further, even when the home appliance system described in the present embodiment is applied to a conventional home appliance system, there is no need for a large-scale design change such as replacing the CPU with respect to the conventional home appliance 6. 6, an interface unit with the wireless adapter 7 may be added. For this reason, migration from the conventional system is also facilitated.
音声メッセージに対応する音声符号情報は、情報サーバ１０から無線アダプタ７に送信して書き換えまたは追加することができるので、新たな情報サービスに対応した音声メッセージも容易に利用可能となる。また、無線アダプタ７の音声合成部１５が用いる辞書データは、情報サーバ１０からダウンロードして書き換えられるので、ユーザの好みに応じた言葉（言語、発音、方言等）による音声メッセージが得られる。
Since the voice code information corresponding to the voice message can be transmitted from the
故障などによりホームサーバ９と情報サーバ１０とが接続されていない時でも、無線アダプタ７は、電子レンジ５から入力した音声合成要求信号を用いて音声符号情報を選択し音声合成を行うことができる。従って、例えば通常の基本操作程度の範囲内であれば、情報サーバ１０との接続状態にかかわらず、ユーザは音声インターフェースを利用することができる。
Even when the home server 9 and the
（第２の実施形態）
次に、本発明の第２の実施形態について図７ないし図１１を参照しながら説明する。
図７、図８、図９は、それぞれ家電機器システムの全体構成図、無線アダプタの機能ブロック図、情報サーバの機能ブロック図である。図７、図８において、それぞれ図１、図２と同一の構成部分には同一符号を付して示しており、ここでは異なった部分について説明する。
(Second Embodiment)
Next, a second embodiment of the present invention will be described with reference to FIGS.
7, 8, and 9 are an overall configuration diagram of a home appliance system, a functional block diagram of a wireless adapter, and a functional block diagram of an information server, respectively. 7 and 8, the same components as those in FIGS. 1 and 2 are denoted by the same reference numerals, and different portions will be described here.
まず、図７において、冷蔵庫４や電子レンジ５などの家電機器６の本体には、無線アダプタ２５（アダプタ装置に相当）とマイク２６（音声入力手段に相当）とが取り付けられており、その無線アダプタ２５は、サブネットワーク２の無線回線を通して、建物１内に設けられたホームサーバ９と接続されている。ホームサーバ９は、無線アダプタ２５と情報サーバ２７（外部装置に相当）との間に介在している。本実施形態において、冷蔵庫４や電子レンジ５などの家電機器６の本体（つまり家電機器制御部６ａ）は、サブネットワーク２への接続機能を備えている必要はない（備えていてもよい）。
First, in FIG. 7, a wireless adapter 25 (corresponding to an adapter device) and a microphone 26 (corresponding to voice input means) are attached to the main body of a household electric appliance 6 such as a
無線アダプタ２５とマイク２６は、家電機器６に対するオプション装置であって、第１の実施形態と同様に、家電機器本体の製造時、販売（納品）時、使用開始後の何れの時点でも家電機器本体に簡単に取り付けることができるようになっている。図１０は、電子レンジ５への取り付け方法の一例を模式的に示している。実際の取り付けでは、無線アダプタ２５とマイク２６を電子レンジ５の筐体内に収納するとよい。これらを家電機器６に取り付けると、ユーザがマイク２６に対し所定の言葉を発した時に、家電機器６がその音声に応じた動作を行うようになる。
The
無線アダプタ２５は、図８に示すように、インターフェース部１７、通信部１８、無線ユニット１９、制御部２８、記憶部２９、音声変換部３０および増幅回路３１から構成されている。このうち、制御部２８、音声変換部３０、インターフェース部１７および通信部１８は、ワンチップマイコンにより構成されている。
As shown in FIG. 8, the
インターフェース部１７（出力手段に相当）は、家電機器６に対しその動作を制御するための動作制御信号を出力するようになっている。家電機器６は、無線アダプタ２５から入力した動作制御信号を自身の制御部６ａの動作制御信号よりも優先して動作を行うようになっている。通信部１８（通信手段に相当）は、記憶部２９に保存された音声データを無線ユニット１９を通してホームサーバ９に送信するとともに、ホームサーバ９から送られてきた動作制御信号を無線ユニット１９を通して受信するようになっている。ホームサーバ９は、これら音声データおよび動作制御信号を情報サーバ２７との間で送受信するようになっている。
The interface unit 17 (corresponding to the output means) outputs an operation control signal for controlling the operation of the home appliance 6. The household electrical appliance 6 operates with priority given to the operation control signal input from the
音声変換部３０（音声変換手段に相当）は、マイク２６からコネクタ３２および増幅回路３１を通して入力した音声信号を音声データに変換する。音声データは、例えばＷＡＶＥファイルなどの形式を持つデータである。記憶部２９（音声データ保存手段に相当）は、電気的に書き換え可能な不揮発性メモリ例えばフラッシュメモリから構成されており、この変換後の音声データを記憶するようになっている。制御部２８は、音声変換部３０における音声変換処理、記憶部２９への音声データの書き込みと読み出し、および音声データと動作制御信号の送受信を制御するようになっている。
The sound conversion unit 30 (corresponding to sound conversion means) converts a sound signal input from the
一方、情報サーバ２７は、図９に示すように、音声認識手段３３、動作制御信号決定手段３４およびデータベース３５を備えている。データベース３５には、家電機器６についてテキストデータと動作制御信号との対応関係を示すデータテーブルが格納されている。音声認識手段３３は、受信した音声データの音声認識を行いテキストデータを出力するもので、動作制御信号決定手段３４は、上記データテーブルを参照して、認識したテキストデータに対応した家電機器６の動作制御信号を決定するものである。
On the other hand, the
次に、本実施形態の動作について図１１に示すシーケンス図も参照しながら説明する。
例えば、電子レンジ５に取り付けられたマイク２６に対しユーザが動作指令として「調理開始」と言うと、無線アダプタ２５は、音声変換部３０においてその音声信号を音声データに変換し、その音声データを記憶部２９に保存する。無線アダプタ２５（制御部２８）は、音声が入力されると直ちにまたは誤動作防止用の遅延時間が経過した後に、ホームサーバ９を介して情報サーバ２７との間で接続状態の確認を行う。
Next, the operation of the present embodiment will be described with reference to the sequence diagram shown in FIG.
For example, when the user says “start cooking” as an operation command to the
接続が確認できた場合には、記憶部２９から音声データを読み出してそれをホームサーバ９に送信する。ホームサーバ９は、その音声データをインターネット３を介して情報サーバ２７に送信する。一方、故障などにより接続が確認できない場合には、その後所定時間ごとに接続状態の確認を行い、接続確認ができた時点で音声データを送信する。それまでの間、入力した音声データは記憶部２９に保存される。
If the connection is confirmed, the voice data is read from the
音声データを受信した情報サーバ２７は、音声認識手段３３において音声データの音声認識を行いテキストデータを生成する。そして、動作制御信号決定手段３４においてテキストデータに対応した電子レンジ５の動作制御信号（ここでは調理開始指令信号）を決定し、それをホームサーバ９に送信する。電子レンジ５に取り付けられた無線アダプタ２５は、ホームサーバ９から動作制御信号を受信すると、それを電子レンジ５の制御部５ａに出力する。電子レンジ５は、動作制御信号（調理開始指令信号）を入力すると直ちに調理を開始する。マイク２６への音声入力から電子レンジ５が調理を開始するまでの時間は、ユーザが違和感を感じない程度の非常に短い時間である。
The
さらに、電子レンジ５は、正常に調理を開始したことまたは正常に調理を開始できなかったことを示す機器状態信号を無線アダプタ２５に出力する。無線アダプタ２５は、この機器状態信号をホームサーバ９を通して情報サーバ２７に送信する。情報サーバ２７は、正常に調理を開始できなかったことを示す機器状態信号を受信すると、調理開始指令信号を再送信したり、特定の機器状態信号についての送信要求や電子レンジ５の簡易自己診断の実行要求などを送信することにより、調理が正常に開始されるように対処する。
Furthermore, the
なお、ここでは電子レンジ５に取り付けられた無線アダプタ２５とマイク２６を用いて電子レンジ５の動作を制御する場合を説明したが、冷蔵庫４など他の家電機器６に取り付けられた無線アダプタ２５とマイク２６を用いて電子レンジ５の動作を制御することもできる。この場合には、ユーザは、例えば冷蔵庫４に取り付けられたマイク２６に対し、「電子レンジ、調理開始」のように対象とする家電機器６の名称と動作指令とを併せて言えばよい。音声データを受信した情報サーバ２７は、機器名称の音声認識結果に基づいて制御対象家電機器を認識し、その家電機器６に取り付けられた無線アダプタ２５に対して動作制御信号を送信する。
In addition, although the case where the operation | movement of the
同様にして、複数の家電機器６を一斉に制御することができる。例えば、マイク２６に対し、「すべて、電源オフ」と言うと、無線アダプタ２５が取り付けられた家電機器６（ただし、冷蔵庫４など電源をオフすべきでない家電機器を除く）の電源を一斉にオフすることができる。また、「すべてのエアコン、オフ」と言うと、無線アダプタ２５が取り付けられた全てのエアコンを一斉にオフすることができる。動作指令は、オンオフのみならずタイマー予約、設定変更、簡易自己診断の実行などであってもよい。
Similarly, a plurality of home appliances 6 can be controlled simultaneously. For example, when saying “all power off” to the
以上説明した本実施形態によれば、家電機器６にオプション装置として無線アダプタ２５とマイク２６とを取り付け、情報サーバ２７に設けられた音声認識手段３３を用いて音声認識を行うことにより、家電機器本体の動作を制御する家電機器制御部６ａの負荷を増やすことなく、家電機器６のユーザが自らの音声により家電機器６の操作を行うことができる。従って、比較的処理能力の低い制御部６ａを備えた家電機器６であっても、容易に音声インターフェース機能を利用できるようになり、家電機器６の操作性を高めることができる。
According to the present embodiment described above, the home appliance 6 is attached with the
また、従来の家電機器システムに本実施形態で説明した家電機器システムを適用する場合でも、従来の家電機器６に対し例えばＣＰＵを交換するような大規模な設計変更は必要なく、従来の家電機器６に対し無線アダプタ２５とのインターフェース部を変更すればよい。このため、従来システムからの移行も容易となる。
無線アダプタ２５は、サブネットワーク２、インターネット３または情報サーバ２７との接続ができない場合であっても、音声の入力と変換とを随時行い、変換した音声データを記憶部２９に保存するので、入力した音声データを失うことがない。
Further, even when the home appliance system described in the present embodiment is applied to a conventional home appliance system, there is no need for a large-scale design change such as replacing the CPU with respect to the conventional home appliance 6. 6, the interface unit with the
Even when the
（第３の実施形態）
次に、本発明の第３の実施形態について図１２ないし図１６を参照しながら説明する。本実施形態は、上述した第１と第２の実施形態を組み合わせることにより、さらに有用な用途を得るものである。
図１２、図１３、図１４は、それぞれ家電機器システムの全体構成図、無線アダプタの機能ブロック図、情報サーバの機能ブロック図である。各図において、図１ないし図３および図７ないし図９と同一構成部分には同一符号を付して示しており、ここでは異なった部分について説明する。
(Third embodiment)
Next, a third embodiment of the present invention will be described with reference to FIGS. In the present embodiment, a more useful application is obtained by combining the first and second embodiments described above.
FIGS. 12, 13, and 14 are an overall configuration diagram of a home appliance system, a functional block diagram of a wireless adapter, and a functional block diagram of an information server, respectively. In the drawings, the same components as those in FIGS. 1 to 3 and FIGS. 7 to 9 are denoted by the same reference numerals, and different portions will be described here.
まず、図１２において、冷蔵庫４や電子レンジ５などの家電機器６の本体には、無線アダプタ３６（アダプタ装置に相当）、スピーカ８およびマイク２６が取り付けられており、その無線アダプタ３６は、サブネットワーク２の無線回線を通してホームサーバ９と接続されている。インターネット３上にはゲートウェイ３８を介して基地局３９が接続されており、携帯電話機４０（クライアント端末）から情報サーバ３７にインターネット３を通じてアクセス可能となっている。
First, in FIG. 12, a wireless adapter 36 (corresponding to an adapter device), a
無線アダプタ３６は、図８に示すように、音声合成部１５、増幅回路１６、インターフェース部１７、通信部１８、無線ユニット１９、音声変換部３０、増幅回路３１、音声選択部１２を含む制御部４１および記憶部４２から構成されている。このうち、音声変換部３０、インターフェース部１７、通信部１８、音声変換部３０および制御部４１は、ワンチップマイコンにより構成されている。ここで、制御部４１は、第１、第２の実施形態における制御部１３、２８の両機能を併せ持ったもので、記憶部４２（音声符号情報保存手段、音声データ保存手段に相当）は、第１、第２の実施形態における記憶部１４、２９を合わせたものである。
As shown in FIG. 8, the
図１４は、情報サーバ３７の機能ブロック図である。情報サーバ３７は、音声合成要求信号決定手段２２、故障診断手段２３、音声認識手段３３、動作制御信号決定手段３４、音声符号情報変換手段４３およびデータベース４４を備えている。データベース４４には、音声符号情報、機器状態信号と音声合成要求信号との対応関係を示すデータテーブル、音声認識したテキストデータと動作制御信号との対応関係を示すデータテーブル、機器メンテナンス情報および辞書データが格納されている。図１４では、上記２つのデータテーブルを１つのデータテーブルとして表わしている。音声符号情報変換手段４３は、テキストデータ（文字情報）に発音情報を付加して音声符号情報を生成するものである。
FIG. 14 is a functional block diagram of the
次に、本実施形態の動作について図１５および図１６も参照しながら説明する。
本実施形態は、第１と第２の実施形態を組み合わせたものであるため、これらの各実施形態と同様の動作および効果が得られるのは勿論である。ここでは、組み合わせることにより利用できるようになる音声伝達動作について説明する。
Next, the operation of this embodiment will be described with reference to FIGS.
Since this embodiment is a combination of the first and second embodiments, it is needless to say that operations and effects similar to those of these embodiments can be obtained. Here, the voice transmission operation that can be used by combining them will be described.
図１６は、建物１の中での具体的な利用形態を示している。玄関には、インターホンに追加してまたはインターホンに替えて無線アダプタ３６、スピーカ８およびマイク２６が取り付けられている。また、異なる部屋に設置されたテレビ４５、エアコン４６、冷蔵庫４などの家電機器６にもそれぞれ無線アダプタ３６、スピーカ８およびマイク２６が取り付けられている。
FIG. 16 shows a specific usage pattern in the
（ａ）の利用形態
外来者が玄関に設置されたマイク２６に向かって「こんにちは」と言うと、その音声の音声データが無線アダプタ３６から情報サーバ３７に送られ、情報サーバ３７で音声認識して得た音声符号情報がテレビ４５に取り付けられた無線アダプタ３６に送信される。そのスピーカ８からは、合成された「こんにちは」という音声が出力される。玄関のインターホンとして利用できる。
When use form visitor of (a) is into the
（ｂ）の利用形態
台所に設置された冷蔵庫４に取り付けられたマイク２６に向かって「ごはんよ」と言うと、その音声の音声データが無線アダプタ３６から情報サーバ３７に送られ、情報サーバ３７で音声認識して得た音声符号情報がテレビ４５およびエアコン４６に取り付けられた無線アダプタ３６に送信される。そのスピーカ８からは、合成された「ごはんよ」という音声が出力される。泥棒よけや家族の集合の合図に利用できる。
(B) Form of Use When saying “rice” to the
（ｃ）の利用形態
居間で寝ている子供の泣き声は、居間に設置されたエアコン４６に取り付けられたマイク２６に入力される。その音声の音声データが無線アダプタ３６から情報サーバ３７に送られ、情報サーバ３７で音声認識して得た音声符号情報がテレビ４５および冷蔵庫４に取り付けられた無線アダプタ３６に送信される。そのスピーカ８からは、合成された「おぎゃぁ」という音声が出力される。
(C) Form of use The cry of a child sleeping in the living room is input to a
図１５は、図１６に示す利用形態における動作シーケンスを示している。例えば図１６（ａ）について、マイク２６に対し「こんにちは」と言うと、無線アダプタ３６は、音声変換部３０においてその音声信号を音声データに変換し、その音声データを記憶部４２に保存するとともに、ホームサーバ９を介して情報サーバ３７との間で接続状態の確認を行う。接続が確認できると、記憶部４２から音声データを読み出してそれをホームサーバ９に送信する。ホームサーバ９は、その音声データを情報サーバ３７に送信する。
FIG. 15 shows an operation sequence in the usage pattern shown in FIG. For example FIG. 16 (a), the say "hello" to the
音声データを受信した情報サーバ３７は、音声認識手段３３において音声データの音声認識を行ってテキストデータ（「こんにちは」）を生成し、音声符号情報変換手段４３において発音情報を付加して音声符号情報に変換する。情報サーバ３７は、ホームサーバ９を通して特定の無線アダプタ３６（テレビ４５に取り付けられたもの）に対し、音声符号情報ファイルの受信準備を要求する。無線アダプタ３６は、音声符号情報ファイルの受信準備が完了すると、情報サーバ３７に準備完了通知を送信する。情報サーバ３７は、その準備完了通知に応じて、無線アダプタ３６に対し音声符号情報ファイルを送信する。
無線アダプタ３６は、通信部１８により音声符号情報ファイルを受信すると、その音声符号情報を記憶部４２に保存し、情報サーバ３７に対しＡＣＫ（アクノリッジ）を返す。情報サーバ３７は、ＡＣＫを受信すると、送信した音声符号情報（「こんにちは」）を選択させるための音声合成要求信号をホームサーバ９に送信する。テレビ４５に取り付けられた無線アダプタ３６は、音声合成要求信号を受信すると、音声選択部１２において先ほど受信した音声符号情報（「こんにちは」）を選択し、音声合成部１５において辞書データに基づいて音声符号情報に応じた音声を合成する。その結果、スピーカ８から「こんにちは」という音声メッセージが出力される。
When receiving the voice code information file by the
図１６（ｂ）、（ｃ）についても同様の動作となるが、１つの無線アダプタ３６とマイク２６を用いて入力した音声を、他の複数の無線アダプタ３６に付随するスピーカ８から出力する点において異なっている。この場合には、情報サーバ３７は、複数の無線アダプタ３６に対して音声符号情報と音声合成要求信号を送信する。何れの無線アダプタ３６から出力するかは予め設定可能である。
16B and 16C, the same operation is performed, but the sound input using one
また、情報サーバ３７は、音声認識したテキストデータをそのまま音声符号情報に変換して送信するのではなく、そのテキストデータに対応した新たな音声符号情報を送信してもよい。例えば図１６（ｃ）の場合、情報サーバ３７は、受信した音声が子供の泣き声であると認識すると、その泣き声に替えて「赤ちゃんが泣いています」という音声符号情報を送信してもよい。
Further, the
このような音声伝達動作の他に、各家電機器６に取り付けられたマイク２６に対しユーザが音声で動作指令すると、家電機器６が指令された動作を開始するとともに、その動作状態がスピーカ８から音声出力される。例えば、電子レンジ５に取り付けられたマイク２６に対し「調理開始」と言うと、情報サーバ３７は、その無線アダプタ３６に対し電子レンジ５の動作制御信号（調理開始指令信号）を送信し、さらに無線アダプタ３６からの機器状態信号に基づいて調理時間などの動作情報を示す音声符号情報（例えば「調理時間は５分です」）を送信する。
In addition to such voice transmission operation, when the user gives an operation command by voice to the
さらに、本実施形態では、携帯電話機４０に対する以下のようなサービスも可能である。すなわち、情報サーバ３７は、無線アダプタ３６から送信されてきた音声データ、当該音声データを音声認識して得た音声符号情報または当該音声データの音声認識結果に基づいて生成した音声データを予め登録された携帯電話機４０に送信する。音声データは電話として送信し、音声符号情報はその文字情報をメールとして送信する。
Further, in the present embodiment, the following service for the
以上説明した本実施形態によれば、家電機器６にオプション装置として無線アダプタ３６とスピーカ８とマイク２６とを取り付け、情報サーバ３７に設けられた音声認識手段を用いて音声認識を行う構成とすることにより、無線アダプタ３６相互間での音声の伝達、音声認識結果に基づく音声出力、家電機器６の遠隔操作、家電機器６の一斉操作など様々の利用形態が可能となる。また、離れた場所でテレビ電話などを利用した会議を行う場合に、会議ログをその場で自動作成することができ、その会議ログを直ちに閲覧することができる。
According to this embodiment described above, the
（第４の実施形態）
次に、本発明の第４の実施形態について図１７を参照しながら説明する。
本実施形態の家電機器システムは、上述した第３の実施形態に対し、無線アダプタと情報サーバの構成要素の一部をホームサーバに移した構成となっている。図１７（ａ）、（ｂ）は、それぞれ無線アダプタ４７、ホームサーバ４８の機能ブロック図である。各図において、図２または図８と同一構成部分には同一符号を付して示しており、ここでは異なった部分について説明する。
(Fourth embodiment)
Next, a fourth embodiment of the present invention will be described with reference to FIG.
The home appliance system according to the present embodiment has a configuration in which some of the components of the wireless adapter and the information server are moved to the home server in the third embodiment described above. FIGS. 17A and 17B are functional block diagrams of the
無線アダプタ４７は、図１７（ａ）に示すように、増幅回路１６、インターフェース部１７、通信部１８、無線ユニット１９、音声変換部３０、増幅回路３１および制御部４９から構成されている。制御部４９に音声選択部１２は含まれていない。また、ワンチップマイコンのＣＰＵが一時的変数を記憶するメモリ（図示せず）は備えているが、音声符号情報と音声データを記憶する記憶部は備えていない。
As illustrated in FIG. 17A, the
一方、ホームサーバ４８は、図１７（ｂ）に示すように、音声選択部１２を含む制御部５０、音声合成部１５、記憶部４２、音声符号情報変換部５１、通信部５２、無線ユニット５３およびＷＡＮ側通信部５４から構成されている。すなわち、音声選択部１２、音声合成部１５および記憶部４２を無線アダプタ４７からホームサーバ４８に移し、音声符号情報変換部５１を情報サーバからホームサーバ４８に移した構成となっている。なお、通信部５２と無線ユニット５３はサブネットワーク２との接続を行い、ＷＡＮ側通信部５４はインターネット３との接続を行うものである。
On the other hand, as shown in FIG. 17B, the
この構成において、無線アダプタ４７は、音声変換部３０においてマイク２６から入力した音声を音声データに変換し、それを保存することなく直ちにホームサーバ４８に送信する。ホームサーバ４８は、受信した音声データを記憶部４２に保存し、情報サーバとの間で接続状態の確認ができると、その音声データを情報サーバに送信する。
In this configuration, the
本実施形態では、情報サーバから送信される音声符号情報は、文字情報のみを含み発音情報を含んでいない。そこで、ホームサーバ４８は、音声符号情報変換部５１において、受信した音声符号情報（テキスト情報）に発音情報を付加して記憶部４２に保存する。そして、ホームサーバ４８は、情報サーバから音声合成要求信号を受信すると、音声選択部１２において発音情報が付加された音声符号情報を選択し、音声合成部１５において辞書データに基づいて音声符号情報に応じた音声を合成する。この音声信号は無線アダプタ４７に送信され、スピーカ８から出力される。本実施形態によれば、動作主体が一部異なるものの第３の実施形態と同様の動作および効果が得られる。
In the present embodiment, the speech code information transmitted from the information server includes only character information and does not include pronunciation information. Therefore, the
無線アダプタ４７は、家電機器６ごとに取り付けられるので、小型且つ低コストが要求される。これに対し、ホームサーバ４８は、建物１内で１つだけ用いられるので、無線アダプタ４７と比較して回路規模を増やし易い。本実施形態によれば、音声選択部１２、音声合成部１５および記憶部４２を、無線アダプタ４７からホームサーバ４８に移したので、より高度（大規模）な音声合成機能を持つ音声合成エンジンを採用できる。また、ホームサーバ４８では、無線アダプタ４７よりも容量の大きい記憶部４２を設けることができるため、より容量の大きい音声符号情報や入力音声の履歴情報を扱うことができるとともに、より長時間または多件数の音声データを保存することができる。
Since the
（その他の実施形態）
なお、本発明は上記し且つ図面に示す各実施形態に限定されるものではなく、例えば以下のように変形または拡張が可能である。
各実施形態において、ホームサーバ９、４８を、サーバ機能を持つホーム端末とゲートウェイ機能を持つホームゲートウェイとに分けた形態とし、ホームゲートウェイを建物１（例えば台所の天井）に固定し、ホーム端末を携帯可能としてもよい。さらに、ホーム端末にディスプレイ（表示手段）を備え、本発明でいう情報表示装置として動作させれば、情報サーバ１０、３７から送信された音声符号情報を表示することができる。この場合、第１の実施形態におけるパソコン１１と同様に、テキストに応じた絵、写真、図形、記号などを表示することもできる。このような用途は、家電機器６の詳細な取り扱い説明、レシピ情報、買い物情報など情報サーバ１０、３７が提供するサービス情報を表示するのに有用である。
(Other embodiments)
The present invention is not limited to the embodiments described above and shown in the drawings, and can be modified or expanded as follows, for example.
In each embodiment, the
音声符号情報を文字情報と発音情報とから構成したが、音声合成部１５が自ら発音情報を持ち、文字情報に基づいて音声合成が可能な場合には、音声符号情報を文字情報のみから構成してもよい。この場合には、第３の実施形態における情報サーバ３７内の音声符号情報変換手段４３および第４の実施形態におけるホームサーバ４８内の音声符号情報変換部５１は必要ない。
The speech code information is composed of character information and pronunciation information. However, if the
冷蔵庫４や電子レンジ５などの家電機器６がサブネットワーク２への接続機能を備えているネットワーク家電である場合には、家電機器６からホームサーバ９、４８を経由して情報サーバ１０、２７、３７に機器状態信号を送信してもよい。また、情報サーバ２７、３７からホームサーバ９、４８を経由して直接家電機器６に動作制御信号を送信してもよい。
When the home appliances 6 such as the
サブネットワーク２は、無線ネットワークに限らず、例えば電力線等を通信路として用いる有線ネットワーク等としてもよい。この場合、アダプタ装置は、有線アダプタとなる。無線アダプタ７、２５、３６、４７は、家電機器６の本体に取り付けることの他、本体の付属品などに取り付けてもよい。無線アダプタ７、２５、３６、４７は、家電機器６に対し着脱可能とするとよい。無線アダプタ７、２５、３６、４７とスピーカ８、無線アダプタ７、２５、３６、４７とマイク２６、無線アダプタ７、２５、３６、４７とスピーカ８とマイク２６をそれぞれ一体的に構成してもよい。テレビ４５の画面に音声符号情報を表示してもよい。
The
第３の実施形態において、無線アダプタ３６の通信部１８は、直接またはホームサーバ９を経由して、他の無線アダプタ３６の通信部１８と音声データを送受信可能とし、音声変換部３０は、他の無線アダプタ３６から受信した音声データを音声に変換してそれをスピーカ８に出力するように構成してもよい。これにより、情報サーバ３７に接続できない時にも音声伝達機能（インターホン機能）が利用可能となる。
In the third embodiment, the
図面中、４は冷蔵庫（家電機器）、５は電子レンジ（家電機器）、６は家電機器、６ａは家電機器制御部（制御部）、７、２５、３６、４７は無線アダプタ（アダプタ装置）、８はスピーカ（音声出力手段）、９、４８はホームサーバ、１０、２７、３７は情報サーバ（外部装置）、１１はパソコン（外部装置、情報表示装置）、１１ａはディスプレイ（表示手段）、１２は音声選択部（音声選択手段）、１４は記憶部（音声符号情報保存手段）、１５は音声合成部（音声合成手段）１７はインターフェース部（第１の入力手段、出力手段）、１８は通信部（第２の入力手段、通信手段）、２６はマイク（音声入力手段）、２９は記憶部（音声データ保存手段）、３０は音声変換部（音声変換手段）、４０は携帯電話機（携帯電話装置）、４２は記憶部（音声符号情報保存手段、音声データ保存手段）、４３、５１は音声符号情報変換手段である。
In the drawings, 4 is a refrigerator (home appliance), 5 is a microwave oven (home appliance), 6 is a home appliance, 6a is a home appliance control unit (control unit), and 7, 25, 36, and 47 are wireless adapters (adapter devices). , 8 are speakers (sound output means), 9, 48 are home servers, 10, 27, 37 are information servers (external devices), 11 is a personal computer (external device, information display device), 11a is a display (display means), 12 is a voice selection unit (speech selection unit), 14 is a storage unit (speech code information storage unit), 15 is a voice synthesis unit (speech synthesis unit) 17 is an interface unit (first input unit, output unit), 18 is Communication unit (second input unit, communication unit), 26 is a microphone (voice input unit), 29 is a storage unit (voice data storage unit), 30 is a voice conversion unit (voice conversion unit), and 40 is a mobile phone (mobile phone) Telephone equipment), 4 The storage unit (audio code information storage unit, the audio data storage means), 43 and 51 is a speech code information conversion means.
Claims (18)
音声を出力する音声出力手段と、前記制御部と接続され且つ外部装置と接続可能なアダプタ装置とを備え、
前記アダプタ装置は、
前記制御部から音声合成要求信号を入力する第１の入力手段と、
前記外部装置から音声をテキスト情報として符号化した音声符号情報または音声合成要求信号を入力する第２の入力手段と、
前記音声符号情報を保存する音声符号情報保存手段と、
この音声符号情報保存手段に保存された音声符号情報の中から、前記第１または第２の入力手段により入力した音声合成要求信号に対応した音声符号情報を選択する音声選択手段と、
この選択された音声符号情報に基づいて音声を合成しそれを前記音声出力手段に出力する音声合成手段とを備えていることを特徴とする家電機器。 In home appliances equipped with a control unit that controls the operation of the device body,
Audio output means for outputting audio; and an adapter device connected to the control unit and connectable to an external device,
The adapter device is
First input means for inputting a speech synthesis request signal from the control unit;
Second input means for inputting speech code information or speech synthesis request signal obtained by encoding speech as text information from the external device;
Voice code information storage means for storing the voice code information;
Speech selection means for selecting speech code information corresponding to the speech synthesis request signal input by the first or second input means from the speech code information stored in the speech code information storage means;
A home electric appliance characterized by comprising voice synthesis means for synthesizing voice based on the selected voice code information and outputting it to the voice output means.
音声を入力する音声入力手段と、前記制御部と接続され且つ外部装置と接続可能なアダプタ装置とを備え、
前記アダプタ装置は、
前記音声入力手段から入力した音声を音声データに変換する音声変換手段と、
この変換された音声データを保存する音声データ保存手段と、
この保存された音声データを前記外部装置に送信し、前記外部装置での音声認識の結果に基づいた動作制御信号を受信する通信手段と、
この通信手段により受信した動作制御信号を前記制御部に出力する出力手段とを備えていることを特徴とする家電機器。 In home appliances equipped with a control unit that controls the operation of the device body,
Voice input means for inputting voice; and an adapter device connected to the control unit and connectable to an external device;
The adapter device is
Voice conversion means for converting voice input from the voice input means into voice data;
Audio data storage means for storing the converted audio data;
Communication means for transmitting the stored voice data to the external device and receiving an operation control signal based on a result of voice recognition in the external device;
Home appliances comprising output means for outputting an operation control signal received by the communication means to the control unit.
前記通信手段は、前記外部装置から音声をテキスト情報として符号化した音声符号情報または音声合成要求信号を入力するように構成され、
前記アダプタ装置は、さらに
前記制御部から音声合成要求信号を入力する入力手段と、
前記音声符号情報を保存する音声符号情報保存手段と、
この音声符号情報保存手段に保存された音声符号情報の中から、前記通信手段または前記入力手段により入力した音声合成要求信号に対応した音声符号情報を選択する音声選択手段と、
この選択された音声符号情報に基づいて音声を合成しそれを前記音声出力手段に出力する音声合成手段とを備えていることを特徴とする請求項２記載の家電機器。 Provided with an audio output means for outputting audio;
The communication means is configured to input speech code information or speech synthesis request signal obtained by encoding speech as text information from the external device,
The adapter device further includes input means for inputting a speech synthesis request signal from the control unit,
Voice code information storage means for storing the voice code information;
Voice selection means for selecting voice code information corresponding to a voice synthesis request signal input by the communication means or the input means from the voice code information stored in the voice code information storage means;
3. The home appliance according to claim 2, further comprising: a voice synthesizer that synthesizes a voice based on the selected voice code information and outputs the voice to the voice output means.
前記制御部から音声合成要求信号を入力する第１の入力手段と、
前記外部装置から音声をテキスト情報として符号化した音声符号情報または音声合成要求信号を入力する第２の入力手段と、
前記音声符号情報を保存する音声符号情報保存手段と、
この音声符号情報保存手段に保存された音声符号情報の中から、前記第１または第２の入力手段により入力した音声合成要求信号に対応した音声符号情報を選択する音声選択手段と、
この選択された音声符号情報に基づいて音声を合成しそれを出力する音声合成手段とを備えていることを特徴とするアダプタ装置。 Provided for home appliances, and connected to a control unit that controls the operation of the home appliances and can be connected to an external device,
First input means for inputting a speech synthesis request signal from the control unit;
Second input means for inputting speech code information or speech synthesis request signal obtained by encoding speech as text information from the external device;
Voice code information storage means for storing the voice code information;
Speech selection means for selecting speech code information corresponding to the speech synthesis request signal input by the first or second input means from the speech code information stored in the speech code information storage means;
An adapter device comprising: speech synthesis means for synthesizing speech based on the selected speech code information and outputting it.
入力した音声を音声データに変換する音声変換手段と、
この変換された音声データを保存する音声データ保存手段と、
この保存された音声データを前記外部装置に送信し、前記外部装置での音声認識の結果に基づいた動作制御信号を受信する通信手段と、
この通信手段により受信した動作制御信号を前記制御部に出力する出力手段とを備えていることを特徴とするアダプタ装置。 Provided for home appliances, and connected to a control unit that controls the operation of the home appliances and can be connected to an external device,
Voice conversion means for converting the input voice into voice data;
Audio data storage means for storing the converted audio data;
Communication means for transmitting the stored voice data to the external device and receiving an operation control signal based on a result of voice recognition in the external device;
An adapter device comprising: output means for outputting an operation control signal received by the communication means to the control unit.
前記制御部から音声合成要求信号を入力する入力手段と、
前記音声符号情報を保存する音声符号情報保存手段と、
この音声符号情報保存手段に保存された音声符号情報の中から、前記通信手段または前記入力手段により入力した音声合成要求信号に対応した音声符号情報を選択する音声選択手段と、
この選択された音声符号情報に基づいて音声を合成しそれを出力する音声合成手段とを備えていることを特徴とする請求項５記載のアダプタ装置。 The communication means is configured to input speech code information or speech synthesis request signal obtained by encoding speech as text information from the external device,
Input means for inputting a speech synthesis request signal from the control unit;
Voice code information storage means for storing the voice code information;
Voice selection means for selecting voice code information corresponding to a voice synthesis request signal input by the communication means or the input means from the voice code information stored in the voice code information storage means;
6. The adapter apparatus according to claim 5, further comprising: voice synthesis means for synthesizing voice based on the selected voice code information and outputting the voice.
前記音声変換手段は、受信した音声データを音声に変換してそれを出力するように構成されていることを特徴とする請求項６記載のアダプタ装置。 The communication means is configured to be able to transmit and receive the audio data to and from communication means provided in another adapter device.
7. The adapter device according to claim 6, wherein the voice converting means is configured to convert received voice data into voice and output the voice.
機器本体の動作を制御する制御部を備えた家電機器と、
この家電機器に対し設けられ、前記家電機器の制御部と接続されるとともに前記情報サーバと接続可能とされたアダプタ装置とから構成され、
前記アダプタ装置は、
前記家電機器の制御部から音声合成要求信号を入力する第１の入力手段と、
前記情報サーバから音声をテキスト情報として符号化した音声符号情報または音声合成要求信号を入力する第２の入力手段と、
前記音声符号情報を保存する音声符号情報保存手段と、
この音声符号情報保存手段に保存された音声符号情報の中から、前記第１または第２の入力手段により入力した音声合成要求信号に対応した音声符号情報を選択する音声選択手段と、
この選択された音声符号情報に基づいて音声を合成しそれを出力する音声合成手段とを備えていることを特徴とする家電機器システム。 An information server;
Home appliances equipped with a control unit for controlling the operation of the device body;
It is provided for this household electrical appliance, and is composed of an adapter device that is connected to the control unit of the household electrical appliance and is connectable to the information server,
The adapter device is
First input means for inputting a speech synthesis request signal from the control unit of the home appliance;
Second input means for inputting speech code information or speech synthesis request signal obtained by encoding speech as text information from the information server;
Voice code information storage means for storing the voice code information;
Speech selection means for selecting speech code information corresponding to the speech synthesis request signal input by the first or second input means from the speech code information stored in the speech code information storage means;
A home appliance system comprising: speech synthesis means for synthesizing speech based on the selected speech code information and outputting the speech.
機器本体の動作を制御する制御部を備えた家電機器と、
この家電機器に対し設けられ、前記家電機器の制御部と接続されるとともに前記情報サーバと接続可能とされたアダプタ装置とから構成され、
前記アダプタ装置は、
入力した音声を音声データに変換する音声変換手段と、
この変換された音声データを保存する音声データ保存手段と、
この保存された音声データを前記情報サーバに送信し、前記情報サーバから前記家電機器に対する動作制御信号を受信する通信手段と、
この通信手段により受信した動作制御信号を前記家電機器の制御部に出力する出力手段とを備え、
前記情報サーバは、前記アダプタ装置から送信された音声データを前記音声認識手段により認識し、前記アダプタ装置に対し認識結果に基づいて前記家電機器に対する動作制御信号を送信することを特徴とする家電機器システム。 An information server with voice recognition means;
Home appliances equipped with a control unit for controlling the operation of the device body;
It is provided for this household electrical appliance, and is composed of an adapter device that is connected to the control unit of the household electrical appliance and is connectable to the information server,
The adapter device is
Voice conversion means for converting the input voice into voice data;
Audio data storage means for storing the converted audio data;
Communication means for transmitting the stored audio data to the information server, and receiving an operation control signal for the home appliance from the information server;
Output means for outputting the operation control signal received by the communication means to the control unit of the home appliance,
The information server recognizes voice data transmitted from the adapter device by the voice recognition means, and transmits an operation control signal for the home appliance based on a recognition result to the adapter device. system.
前記アダプタ装置は、さらに
前記家電機器の制御部から音声合成要求信号を入力する入力手段と、
前記音声符号情報を保存する音声符号情報保存手段と、
この音声符号情報保存手段に保存された音声符号情報の中から、前記通信手段または前記入力手段により入力した音声合成要求信号に対応した音声符号情報を選択する音声選択手段と、
この選択された音声符号情報に基づいて音声を合成しそれを出力する音声合成手段とを備えていることを特徴とする請求項１０記載の家電機器システム。 The communication unit of the adapter device is configured to input speech code information or speech synthesis request signal obtained by encoding speech as text information from the information server,
The adapter device further includes input means for inputting a speech synthesis request signal from the control unit of the home appliance,
Voice code information storage means for storing the voice code information;
Voice selection means for selecting voice code information corresponding to a voice synthesis request signal input by the communication means or the input means from the voice code information stored in the voice code information storage means;
11. The household electrical appliance system according to claim 10, further comprising: speech synthesis means for synthesizing speech based on the selected speech code information and outputting it.
前記音声変換手段は、受信した音声データを音声に変換して出力するように構成されていることを特徴とする請求項１１記載の家電機器システム。 The communication means of the adapter device is configured to be able to transmit and receive the audio data with other adapter devices,
12. The home appliance system according to claim 11, wherein the voice conversion unit is configured to convert the received voice data into voice and output the voice.
前記音声符号情報保存手段、前記音声選択手段および前記音声合成手段を前記アダプタ装置に替えて前記ホームサーバに設けたことを特徴とする請求項９または１１記載の家電機器システム。 A home server is interposed between the adapter device and the information server,
12. The home appliance system according to claim 9, wherein the voice code information storage unit, the voice selection unit, and the voice synthesis unit are provided in the home server in place of the adapter device.
前記音声データ保存手段を前記アダプタ装置に替えて前記ホームサーバに設けたことを特徴とする請求項１０または１１記載の家電機器システム。 A home server is interposed between the adapter device and the information server,
12. The home appliance system according to claim 10, wherein the voice data storage means is provided in the home server in place of the adapter device.
このホームサーバは、前記情報サーバから送られてくる文字情報からなる音声符号情報に対し発音情報を付加する音声符号情報変換手段を備えていることを特徴とする請求項９または１１記載の家電機器システム。 A home server is interposed between the adapter device and the information server,
12. The home appliance according to claim 9, further comprising: voice code information conversion means for adding pronunciation information to the voice code information composed of character information sent from the information server. system.
10. The speech synthesis means comprises rewritable dictionary data, and is configured to synthesize speech corresponding to the speech code information while referring to the dictionary data and output it. Or the household appliances system of 11.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004128316A JP2005311864A (en) | 2004-04-23 | 2004-04-23 | Household appliances, adapter instrument, and household appliance system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004128316A JP2005311864A (en) | 2004-04-23 | 2004-04-23 | Household appliances, adapter instrument, and household appliance system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005311864A true JP2005311864A (en) | 2005-11-04 |
Family
ID=35440091
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004128316A Pending JP2005311864A (en) | 2004-04-23 | 2004-04-23 | Household appliances, adapter instrument, and household appliance system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005311864A (en) |
Cited By (135)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008072533A (en) * | 2006-09-15 | 2008-03-27 | Ricoh Co Ltd | Wireless usb adapter, data processor, communication method and program |
| JP2012501035A (en) * | 2008-09-09 | 2012-01-12 | アップル インコーポレイテッド | Audio user interface |
| US8892446B2 (en) | 2010-01-18 | 2014-11-18 | Apple Inc. | Service orchestration for intelligent automated assistant |
| JP2015050766A (en) * | 2013-09-03 | 2015-03-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Equipment control method, audio equipment control system and cooking equipment |
| JP2015171210A (en) * | 2014-03-06 | 2015-09-28 | 三菱電機株式会社 | Support information provision system for home electric appliance |
| WO2015174272A1 (en) * | 2014-05-15 | 2015-11-19 | シャープ株式会社 | Network system, server, communication apparatus, information processing method, and program |
| US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
| WO2016027561A1 (en) * | 2014-08-22 | 2016-02-25 | シャープ株式会社 | Network system, sound output method, server, communication terminal, and electrical device |
| JP2016035614A (en) * | 2014-08-01 | 2016-03-17 | シャープ株式会社 | Apparatus, voice output method, voice output program, network system, server, and communication apparatus |
| US9300784B2 (en) | 2013-06-13 | 2016-03-29 | Apple Inc. | System and method for emergency calls initiated by voice command |
| JP2016061856A (en) * | 2014-09-16 | 2016-04-25 | シャープ株式会社 | Electronic equipment and audio output system |
| US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
| US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
| US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
| US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
| US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
| US9535906B2 (en) | 2008-07-31 | 2017-01-03 | Apple Inc. | Mobile device having human language translation capability with positional feedback |
| US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
| US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
| US9606986B2 (en) | 2014-09-29 | 2017-03-28 | Apple Inc. | Integrated word N-gram and class M-gram language models |
| US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
| US9620104B2 (en) | 2013-06-07 | 2017-04-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| US9626955B2 (en) | 2008-04-05 | 2017-04-18 | Apple Inc. | Intelligent text-to-speech conversion |
| US9633674B2 (en) | 2013-06-07 | 2017-04-25 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
| US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
| US9633660B2 (en) | 2010-02-25 | 2017-04-25 | Apple Inc. | User profiling for voice input processing |
| US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
| US9646614B2 (en) | 2000-03-16 | 2017-05-09 | Apple Inc. | Fast, language-independent method for user authentication by voice |
| JP2017082526A (en) * | 2015-10-29 | 2017-05-18 | 文化シヤッター株式会社 | Opening/closing control system and opening/closing control method |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
| US9697822B1 (en) | 2013-03-15 | 2017-07-04 | Apple Inc. | System and method for updating an adaptive speech recognition model |
| US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
| US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
| US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
| US9798393B2 (en) | 2011-08-29 | 2017-10-24 | Apple Inc. | Text correction processing |
| US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
| US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
| US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
| US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
| US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
| US9922642B2 (en) | 2013-03-15 | 2018-03-20 | Apple Inc. | Training an at least partial voice command system |
| US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
| US9953088B2 (en) | 2012-05-14 | 2018-04-24 | Apple Inc. | Crowd sourcing information to fulfill user requests |
| US9959870B2 (en) | 2008-12-11 | 2018-05-01 | Apple Inc. | Speech recognition involving a mobile device |
| US9966068B2 (en) | 2013-06-08 | 2018-05-08 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| US9966065B2 (en) | 2014-05-30 | 2018-05-08 | Apple Inc. | Multi-command single utterance input method |
| US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
| US9971774B2 (en) | 2012-09-19 | 2018-05-15 | Apple Inc. | Voice-based media searching |
| CN108092925A (en) * | 2017-12-05 | 2018-05-29 | 佛山市顺德区美的洗涤电器制造有限公司 | Voice update method and device |
| US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
| US10079014B2 (en) | 2012-06-08 | 2018-09-18 | Apple Inc. | Name recognition system |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| US10089072B2 (en) | 2016-06-11 | 2018-10-02 | Apple Inc. | Intelligent device arbitration and control |
| US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
| US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| US10185542B2 (en) | 2013-06-09 | 2019-01-22 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
| US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| US10199051B2 (en) | 2013-02-07 | 2019-02-05 | Apple Inc. | Voice trigger for a digital assistant |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
| US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
| US10269345B2 (en) | 2016-06-11 | 2019-04-23 | Apple Inc. | Intelligent task discovery |
| US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
| US10283110B2 (en) | 2009-07-02 | 2019-05-07 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
| US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
| US10297253B2 (en) | 2016-06-11 | 2019-05-21 | Apple Inc. | Application integration with a digital assistant |
| US10318871B2 (en) | 2005-09-08 | 2019-06-11 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| US10356243B2 (en) | 2015-06-05 | 2019-07-16 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
| US10354011B2 (en) | 2016-06-09 | 2019-07-16 | Apple Inc. | Intelligent automated assistant in a home environment |
| KR20190084566A (en) * | 2018-01-08 | 2019-07-17 | 엘지전자 주식회사 | Laundry Treating Apparatus Control System by Voice Recognition and operating Method the same |
| CN110058832A (en) * | 2013-10-15 | 2019-07-26 | 三星电子株式会社 | Image processing apparatus and its control method |
| US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
| JP2019143963A (en) * | 2019-04-09 | 2019-08-29 | パナソニックＩｐマネジメント株式会社 | refrigerator |
| US10410637B2 (en) | 2017-05-12 | 2019-09-10 | Apple Inc. | User-specific acoustic models |
| US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
| US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
| US10482874B2 (en) | 2017-05-15 | 2019-11-19 | Apple Inc. | Hierarchical belief states for digital assistants |
| US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
| US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
| US10521466B2 (en) | 2016-06-11 | 2019-12-31 | Apple Inc. | Data driven natural language event detection and classification |
| US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
| US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
| KR20200016642A (en) * | 2018-08-07 | 2020-02-17 | 엘지전자 주식회사 | Home appliance performing based on voice recognition and method for controlling thereof |
| US10568032B2 (en) | 2007-04-03 | 2020-02-18 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| US10607140B2 (en) | 2010-01-25 | 2020-03-31 | Newvaluexchange Ltd. | Apparatuses, methods and systems for a digital conversation management platform |
| US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10706373B2 (en) | 2011-06-03 | 2020-07-07 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
| US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10733993B2 (en) | 2016-06-10 | 2020-08-04 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| JP2020122589A (en) * | 2019-01-29 | 2020-08-13 | シャープ株式会社 | Air conditioner |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US10755703B2 (en) | 2017-05-11 | 2020-08-25 | Apple Inc. | Offline personal assistant |
| US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
| US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
| US10791216B2 (en) | 2013-08-06 | 2020-09-29 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
| US10791176B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Synchronization and task delegation of a digital assistant |
| US10810274B2 (en) | 2017-05-15 | 2020-10-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| JP2020197373A (en) * | 2020-09-08 | 2020-12-10 | パナソニックＩｐマネジメント株式会社 | refrigerator |
| JP2021021759A (en) * | 2019-07-25 | 2021-02-18 | 株式会社ミツトヨ | Measuring instrument |
| US10941955B2 (en) | 2017-10-27 | 2021-03-09 | Dometic Sweden Ab | Systems, methods, and apparatuses for providing communications between climate control devices in a recreational vehicle |
| WO2021042985A1 (en) * | 2019-09-06 | 2021-03-11 | 北京海益同展信息科技有限公司 | Internet of things control apparatus and method, and electronic device |
| US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
| US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
| US11217255B2 (en) | 2017-05-16 | 2022-01-04 | Apple Inc. | Far-field extension for digital assistant services |
| US11254183B2 (en) | 2017-08-25 | 2022-02-22 | Dometic Sweden Ab | Recreational vehicle, cooling device, controlling system and method for controlling the cooling device |
| US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS58193599A (en) * | 1983-04-22 | 1983-11-11 | 松下電器産業株式会社 | Voice synthesizer |
| JP2000322078A (en) * | 1999-05-14 | 2000-11-24 | Sumitomo Electric Ind Ltd | On-vehicle voice recognition device |
| JP2000357146A (en) * | 1999-03-31 | 2000-12-26 | Sony Corp | Device and method for information processing, and recording medium |
| JP2002315079A (en) * | 2001-04-11 | 2002-10-25 | Matsushita Electric Ind Co Ltd | Consulting home electronics system and method of presenting consulting information therefor |
| JP2003058184A (en) * | 2001-08-09 | 2003-02-28 | Casio Comput Co Ltd | Equipment control system, device, method and program for recognizing voice |
| JP2003323189A (en) * | 2002-05-02 | 2003-11-14 | Advanced Media Inc | Electronic product control system by voice recognition |
| JP2004012993A (en) * | 2002-06-10 | 2004-01-15 | Matsushita Electric Ind Co Ltd | Network voice recognition system, method of recognizing network voice, and network voice recognition program |
| JP2004029299A (en) * | 2002-06-25 | 2004-01-29 | Auto Network Gijutsu Kenkyusho:Kk | Voice recognition system |
-
2004
- 2004-04-23 JP JP2004128316A patent/JP2005311864A/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS58193599A (en) * | 1983-04-22 | 1983-11-11 | 松下電器産業株式会社 | Voice synthesizer |
| JP2000357146A (en) * | 1999-03-31 | 2000-12-26 | Sony Corp | Device and method for information processing, and recording medium |
| JP2000322078A (en) * | 1999-05-14 | 2000-11-24 | Sumitomo Electric Ind Ltd | On-vehicle voice recognition device |
| JP2002315079A (en) * | 2001-04-11 | 2002-10-25 | Matsushita Electric Ind Co Ltd | Consulting home electronics system and method of presenting consulting information therefor |
| JP2003058184A (en) * | 2001-08-09 | 2003-02-28 | Casio Comput Co Ltd | Equipment control system, device, method and program for recognizing voice |
| JP2003323189A (en) * | 2002-05-02 | 2003-11-14 | Advanced Media Inc | Electronic product control system by voice recognition |
| JP2004012993A (en) * | 2002-06-10 | 2004-01-15 | Matsushita Electric Ind Co Ltd | Network voice recognition system, method of recognizing network voice, and network voice recognition program |
| JP2004029299A (en) * | 2002-06-25 | 2004-01-29 | Auto Network Gijutsu Kenkyusho:Kk | Voice recognition system |
Cited By (192)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9646614B2 (en) | 2000-03-16 | 2017-05-09 | Apple Inc. | Fast, language-independent method for user authentication by voice |
| US10318871B2 (en) | 2005-09-08 | 2019-06-11 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| US8942986B2 (en) | 2006-09-08 | 2015-01-27 | Apple Inc. | Determining user intent based on ontologies of domains |
| US8930191B2 (en) | 2006-09-08 | 2015-01-06 | Apple Inc. | Paraphrasing of user requests and results by automated digital assistant |
| US9117447B2 (en) | 2006-09-08 | 2015-08-25 | Apple Inc. | Using event alert text as input to an automated assistant |
| JP2008072533A (en) * | 2006-09-15 | 2008-03-27 | Ricoh Co Ltd | Wireless usb adapter, data processor, communication method and program |
| US10568032B2 (en) | 2007-04-03 | 2020-02-18 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| US10381016B2 (en) | 2008-01-03 | 2019-08-13 | Apple Inc. | Methods and apparatus for altering audio output signals |
| US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
| US9865248B2 (en) | 2008-04-05 | 2018-01-09 | Apple Inc. | Intelligent text-to-speech conversion |
| US9626955B2 (en) | 2008-04-05 | 2017-04-18 | Apple Inc. | Intelligent text-to-speech conversion |
| US10108612B2 (en) | 2008-07-31 | 2018-10-23 | Apple Inc. | Mobile device having human language translation capability with positional feedback |
| US9535906B2 (en) | 2008-07-31 | 2017-01-03 | Apple Inc. | Mobile device having human language translation capability with positional feedback |
| JP2012501035A (en) * | 2008-09-09 | 2012-01-12 | アップル インコーポレイテッド | Audio user interface |
| US9959870B2 (en) | 2008-12-11 | 2018-05-01 | Apple Inc. | Speech recognition involving a mobile device |
| US10475446B2 (en) | 2009-06-05 | 2019-11-12 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
| US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
| US11080012B2 (en) | 2009-06-05 | 2021-08-03 | Apple Inc. | Interface for a virtual digital assistant |
| US10795541B2 (en) | 2009-06-05 | 2020-10-06 | Apple Inc. | Intelligent organization of tasks items |
| US10283110B2 (en) | 2009-07-02 | 2019-05-07 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
| US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
| US11423886B2 (en) | 2010-01-18 | 2022-08-23 | Apple Inc. | Task flow identification based on user intent |
| US8892446B2 (en) | 2010-01-18 | 2014-11-18 | Apple Inc. | Service orchestration for intelligent automated assistant |
| US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
| US9548050B2 (en) | 2010-01-18 | 2017-01-17 | Apple Inc. | Intelligent automated assistant |
| US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
| US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
| US8903716B2 (en) | 2010-01-18 | 2014-12-02 | Apple Inc. | Personalized vocabulary for digital assistant |
| US10706841B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Task flow identification based on user intent |
| US10984326B2 (en) | 2010-01-25 | 2021-04-20 | Newvaluexchange Ltd. | Apparatuses, methods and systems for a digital conversation management platform |
| US10984327B2 (en) | 2010-01-25 | 2021-04-20 | New Valuexchange Ltd. | Apparatuses, methods and systems for a digital conversation management platform |
| US10607140B2 (en) | 2010-01-25 | 2020-03-31 | Newvaluexchange Ltd. | Apparatuses, methods and systems for a digital conversation management platform |
| US10607141B2 (en) | 2010-01-25 | 2020-03-31 | Newvaluexchange Ltd. | Apparatuses, methods and systems for a digital conversation management platform |
| US11410053B2 (en) | 2010-01-25 | 2022-08-09 | Newvaluexchange Ltd. | Apparatuses, methods and systems for a digital conversation management platform |
| US10049675B2 (en) | 2010-02-25 | 2018-08-14 | Apple Inc. | User profiling for voice input processing |
| US9633660B2 (en) | 2010-02-25 | 2017-04-25 | Apple Inc. | User profiling for voice input processing |
| US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
| US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
| US10102359B2 (en) | 2011-03-21 | 2018-10-16 | Apple Inc. | Device access using voice authentication |
| US11120372B2 (en) | 2011-06-03 | 2021-09-14 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
| US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
| US10706373B2 (en) | 2011-06-03 | 2020-07-07 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
| US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
| US9798393B2 (en) | 2011-08-29 | 2017-10-24 | Apple Inc. | Text correction processing |
| US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
| US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
| US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
| US9953088B2 (en) | 2012-05-14 | 2018-04-24 | Apple Inc. | Crowd sourcing information to fulfill user requests |
| US10079014B2 (en) | 2012-06-08 | 2018-09-18 | Apple Inc. | Name recognition system |
| US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
| US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
| US9971774B2 (en) | 2012-09-19 | 2018-05-15 | Apple Inc. | Voice-based media searching |
| US10978090B2 (en) | 2013-02-07 | 2021-04-13 | Apple Inc. | Voice trigger for a digital assistant |
| US10199051B2 (en) | 2013-02-07 | 2019-02-05 | Apple Inc. | Voice trigger for a digital assistant |
| US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
| US9922642B2 (en) | 2013-03-15 | 2018-03-20 | Apple Inc. | Training an at least partial voice command system |
| US9697822B1 (en) | 2013-03-15 | 2017-07-04 | Apple Inc. | System and method for updating an adaptive speech recognition model |
| US9966060B2 (en) | 2013-06-07 | 2018-05-08 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
| US9620104B2 (en) | 2013-06-07 | 2017-04-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| US9633674B2 (en) | 2013-06-07 | 2017-04-25 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
| US9966068B2 (en) | 2013-06-08 | 2018-05-08 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| US10657961B2 (en) | 2013-06-08 | 2020-05-19 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| US10185542B2 (en) | 2013-06-09 | 2019-01-22 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
| US9300784B2 (en) | 2013-06-13 | 2016-03-29 | Apple Inc. | System and method for emergency calls initiated by voice command |
| US10791216B2 (en) | 2013-08-06 | 2020-09-29 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
| JP2015050766A (en) * | 2013-09-03 | 2015-03-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Equipment control method, audio equipment control system and cooking equipment |
| CN110058832A (en) * | 2013-10-15 | 2019-07-26 | 三星电子株式会社 | Image processing apparatus and its control method |
| JP2015171210A (en) * | 2014-03-06 | 2015-09-28 | 三菱電機株式会社 | Support information provision system for home electric appliance |
| JP2017220248A (en) * | 2014-05-15 | 2017-12-14 | シャープ株式会社 | Network system, server, and information processing method |
| JPWO2015174272A1 (en) * | 2014-05-15 | 2017-04-20 | シャープ株式会社 | Network system, server, communication device, information processing method, and program |
| CN106255963B (en) * | 2014-05-15 | 2019-02-15 | 夏普株式会社 | Network system, server, communication equipment and information processing method |
| WO2015174272A1 (en) * | 2014-05-15 | 2015-11-19 | シャープ株式会社 | Network system, server, communication apparatus, information processing method, and program |
| US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
| JP2017192158A (en) * | 2014-05-15 | 2017-10-19 | シャープ株式会社 | Network system, server, communication apparatus, and information processing method |
| CN106255963A (en) * | 2014-05-15 | 2016-12-21 | 夏普株式会社 | Network system, server, communication equipment, information processing method and program |
| US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
| US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
| US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
| US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
| US10083690B2 (en) | 2014-05-30 | 2018-09-25 | Apple Inc. | Better resolution when referencing to concepts |
| US10497365B2 (en) | 2014-05-30 | 2019-12-03 | Apple Inc. | Multi-command single utterance input method |
| US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
| US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
| US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
| US11257504B2 (en) | 2014-05-30 | 2022-02-22 | Apple Inc. | Intelligent assistant for home automation |
| US11133008B2 (en) | 2014-05-30 | 2021-09-28 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US10169329B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Exemplar-based natural language processing |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
| US9966065B2 (en) | 2014-05-30 | 2018-05-08 | Apple Inc. | Multi-command single utterance input method |
| US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
| US10904611B2 (en) | 2014-06-30 | 2021-01-26 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US9668024B2 (en) | 2014-06-30 | 2017-05-30 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
| JP2016035614A (en) * | 2014-08-01 | 2016-03-17 | シャープ株式会社 | Apparatus, voice output method, voice output program, network system, server, and communication apparatus |
| WO2016027561A1 (en) * | 2014-08-22 | 2016-02-25 | シャープ株式会社 | Network system, sound output method, server, communication terminal, and electrical device |
| JPWO2016027561A1 (en) * | 2014-08-22 | 2017-06-01 | シャープ株式会社 | Network system, audio output method, server, communication terminal, and electric device |
| JP2018129860A (en) * | 2014-08-22 | 2018-08-16 | シャープ株式会社 | Network system, and information processing method |
| US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
| US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US10431204B2 (en) | 2014-09-11 | 2019-10-01 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
| JP2016061856A (en) * | 2014-09-16 | 2016-04-25 | シャープ株式会社 | Electronic equipment and audio output system |
| US9606986B2 (en) | 2014-09-29 | 2017-03-28 | Apple Inc. | Integrated word N-gram and class M-gram language models |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
| US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
| US9986419B2 (en) | 2014-09-30 | 2018-05-29 | Apple Inc. | Social reminders |
| US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
| US11556230B2 (en) | 2014-12-02 | 2023-01-17 | Apple Inc. | Data detection |
| US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
| US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
| US10311871B2 (en) | 2015-03-08 | 2019-06-04 | Apple Inc. | Competing devices responding to voice triggers |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US11087759B2 (en) | 2015-03-08 | 2021-08-10 | Apple Inc. | Virtual assistant activation |
| US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
| US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
| US10356243B2 (en) | 2015-06-05 | 2019-07-16 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
| US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
| US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
| US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
| US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
| US11500672B2 (en) | 2015-09-08 | 2022-11-15 | Apple Inc. | Distributed personal assistant |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
| US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
| US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
| US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
| JP2017082526A (en) * | 2015-10-29 | 2017-05-18 | 文化シヤッター株式会社 | Opening/closing control system and opening/closing control method |
| US11526368B2 (en) | 2015-11-06 | 2022-12-13 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
| US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
| US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| US11069347B2 (en) | 2016-06-08 | 2021-07-20 | Apple Inc. | Intelligent automated assistant for media exploration |
| US10354011B2 (en) | 2016-06-09 | 2019-07-16 | Apple Inc. | Intelligent automated assistant in a home environment |
| US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
| US11037565B2 (en) | 2016-06-10 | 2021-06-15 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US10733993B2 (en) | 2016-06-10 | 2020-08-04 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| US10089072B2 (en) | 2016-06-11 | 2018-10-02 | Apple Inc. | Intelligent device arbitration and control |
| US10521466B2 (en) | 2016-06-11 | 2019-12-31 | Apple Inc. | Data driven natural language event detection and classification |
| US10269345B2 (en) | 2016-06-11 | 2019-04-23 | Apple Inc. | Intelligent task discovery |
| US10297253B2 (en) | 2016-06-11 | 2019-05-21 | Apple Inc. | Application integration with a digital assistant |
| US11152002B2 (en) | 2016-06-11 | 2021-10-19 | Apple Inc. | Application integration with a digital assistant |
| US10553215B2 (en) | 2016-09-23 | 2020-02-04 | Apple Inc. | Intelligent automated assistant |
| US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| US10755703B2 (en) | 2017-05-11 | 2020-08-25 | Apple Inc. | Offline personal assistant |
| US10410637B2 (en) | 2017-05-12 | 2019-09-10 | Apple Inc. | User-specific acoustic models |
| US11405466B2 (en) | 2017-05-12 | 2022-08-02 | Apple Inc. | Synchronization and task delegation of a digital assistant |
| US10791176B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Synchronization and task delegation of a digital assistant |
| US10482874B2 (en) | 2017-05-15 | 2019-11-19 | Apple Inc. | Hierarchical belief states for digital assistants |
| US10810274B2 (en) | 2017-05-15 | 2020-10-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| US11217255B2 (en) | 2017-05-16 | 2022-01-04 | Apple Inc. | Far-field extension for digital assistant services |
| US11254183B2 (en) | 2017-08-25 | 2022-02-22 | Dometic Sweden Ab | Recreational vehicle, cooling device, controlling system and method for controlling the cooling device |
| US11919363B2 (en) | 2017-08-25 | 2024-03-05 | Dometic Sweden Ab | Recreational vehicle, cooling device, controlling system and method for controlling the cooling device |
| US10941955B2 (en) | 2017-10-27 | 2021-03-09 | Dometic Sweden Ab | Systems, methods, and apparatuses for providing communications between climate control devices in a recreational vehicle |
| CN108092925A (en) * | 2017-12-05 | 2018-05-29 | 佛山市顺德区美的洗涤电器制造有限公司 | Voice update method and device |
| KR102498007B1 (en) * | 2018-01-08 | 2023-02-08 | 엘지전자 주식회사 | Laundry Treating Apparatus Control System by Voice Recognition and operating Method the same |
| KR20190084566A (en) * | 2018-01-08 | 2019-07-17 | 엘지전자 주식회사 | Laundry Treating Apparatus Control System by Voice Recognition and operating Method the same |
| KR20200016642A (en) * | 2018-08-07 | 2020-02-17 | 엘지전자 주식회사 | Home appliance performing based on voice recognition and method for controlling thereof |
| KR102541585B1 (en) * | 2018-08-07 | 2023-06-07 | 엘지전자 주식회사 | Home appliance performing based on voice recognition and artificial intelligence and method for controlling thereof |
| JP7311272B2 (en) | 2019-01-29 | 2023-07-19 | シャープ株式会社 | air conditioner |
| JP2020122589A (en) * | 2019-01-29 | 2020-08-13 | シャープ株式会社 | Air conditioner |
| JP2019143963A (en) * | 2019-04-09 | 2019-08-29 | パナソニックＩｐマネジメント株式会社 | refrigerator |
| JP2021021759A (en) * | 2019-07-25 | 2021-02-18 | 株式会社ミツトヨ | Measuring instrument |
| JP7337447B2 (en) | 2019-07-25 | 2023-09-04 | 株式会社ミツトヨ | measuring equipment |
| WO2021042985A1 (en) * | 2019-09-06 | 2021-03-11 | 北京海益同展信息科技有限公司 | Internet of things control apparatus and method, and electronic device |
| JP2022125367A (en) * | 2020-09-08 | 2022-08-26 | パナソニックＩｐマネジメント株式会社 | System and refrigerator |
| JP7386407B2 (en) | 2020-09-08 | 2023-11-27 | パナソニックＩｐマネジメント株式会社 | system, refrigerator |
| JP2020197373A (en) * | 2020-09-08 | 2020-12-10 | パナソニックＩｐマネジメント株式会社 | refrigerator |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2005311864A (en) | Household appliances, adapter instrument, and household appliance system | |
| JP5785218B2 (en) | Network system, server, home appliance, program, and home appliance linkage method | |
| JP2001319045A (en) | Home agent system using vocal man-machine interface and program recording medium | |
| JP6715283B2 (en) | Network system and information processing method | |
| JP2005072764A (en) | Equipment control system and device thereof, and equipment control method | |
| JP2018019313A (en) | Control system, communication apparatus, control method, and program | |
| CN110174848B (en) | Intelligent home control system and method | |
| TW201834437A (en) | Wireless voice-controlled system and wearable voice transmitting-receiving device thereof | |
| KR20190066401A (en) | Electronic device for network setup of external device and operating method thereof | |
| JP4612296B2 (en) | Status information providing apparatus and method, computer program therefor, recording medium recording the program, and computer programmed by the program | |
| JP2021193849A (en) | Relay system, wiring accessory system, program, voice control system, and communication adapter | |
| JP2002132292A (en) | Home automation system by speech | |
| JP2006277059A (en) | Facility management system | |
| JP4281542B2 (en) | Communication system and communication apparatus | |
| JP2007318319A (en) | Remote controller, and control method therefor | |
| JP7123334B2 (en) | Input support unit and input support system | |
| JP2005025126A (en) | Projector device | |
| JP2005130307A (en) | Home network terminal and room gateway | |
| JP5990311B2 (en) | Server, notification method, program, control target device, and notification system | |
| JPWO2019198222A1 (en) | Equipment control system, equipment, equipment control method and program | |
| WO2022215280A1 (en) | Speech test method for speaking device, speech test server, speech test system, and program used in terminal communicating with speech test server | |
| US20230223019A1 (en) | Information processing device, information processing method, and program | |
| WO2016052107A1 (en) | Network system, server, device, and communication terminal | |
| JP2017151742A (en) | Network system, server, information processing method, and electric appliance | |
| JP2020153634A (en) | Air conditioning system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070326 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100223 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100706 |