JP2016502355A - オートメ−ションシステムの音声制御された構成 - Google Patents

オートメ−ションシステムの音声制御された構成 Download PDF

Info

Publication number
JP2016502355A
JP2016502355A JP2015545123A JP2015545123A JP2016502355A JP 2016502355 A JP2016502355 A JP 2016502355A JP 2015545123 A JP2015545123 A JP 2015545123A JP 2015545123 A JP2015545123 A JP 2015545123A JP 2016502355 A JP2016502355 A JP 2016502355A
Authority
JP
Japan
Prior art keywords
controller
audio signal
user
control
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015545123A
Other languages
English (en)
Other versions
JP2016502355A5 (ja
Inventor
ボイド、ジョン・ディー.
カリー、ジェームズ・ビー.
ベンガー、ジョフレイ・シー.
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016502355A publication Critical patent/JP2016502355A/ja
Publication of JP2016502355A5 publication Critical patent/JP2016502355A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2807Exchanging configuration information on appliance services in a home automation network
    • H04L12/281Exchanging configuration information on appliance services in a home automation network indicating a format for calling an appliance service function in a home automation network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2816Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/2818Controlling appliance services of a home automation network by calling their functionalities from a device located outside both the home and the home network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2816Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/283Processing of data at an internetworking point of a home automation network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/283Processing of data at an internetworking point of a home automation network
    • H04L12/2834Switching of information between an external network and a home network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/74Details of telephonic subscriber devices with voice recognition means

Abstract

コントローラへの音声入力を用いて、家庭又はその他の空間のためにオートメ−ションシステムの制御を構成するための方法及び装置が提供される。オートメ−ションシステム内の機器の起動は、可聴インタフェースを介してコントローラ及びデータ収集プロセスへの機器の能力の提供を開始させる。可聴のユーザ入力は、音声信号に変換され、次に、機器に関する制御入力を決定するためにコントローラによって処理される。可聴の入力は、ユーザの認証のために使用することもできる。その後、コントローラは、制御入力に基づいて機器を制御する。

Description

[0001]本開示の態様は、概して、自動制御のための方法及び装置に関するものであり、より具体的には、家庭又はその他の空間のためのオートメ−ションシステムの音声制御された構成に関するものである。
[0002]家庭、オフィス、又はその他の個人的空間の環境を制御するためのオートメ−ションシステムが知られている。該システムは、有線及び/又は無線のインタフェースを通じて、家庭又はその他の空間における周辺の電子機器と通信する中央コントローラを含むことができる。周辺の電子機器は、例えば、“スマートな”家庭用機器を含むことができ、“スマートでない”機器、例えば、電灯、換気ファン、スペースヒーター、又はその他の希望される機器、に供給される電力を制御するために構成された“スマートな”電力コントローラを含む。該システムの利点は、ユーザが1つの制御ノードから家庭又はその他の空間全体における機器を制御することができることを含むことができる。制御ノードは、許可されたユーザが家庭又はその他の空間全体における機器を遠隔で制御するのを可能にする遠隔アクセスのためのワイドエリアネットワーク又はその他のインタフェースを有することができる。従って、不在の所有者は、照明、温度制御、食料準備、オーディオ出力、セキュリティ、又はその他の機能に関する電子機器の動作を単一の制御ノードを通じて制御することができ、それらは、希望される場合は、遠隔位置から管理することができる。オートメ−ションシステムは、中央の制御ポイントを提供することによって、ユーザが所在する間に機器を制御することもより便利にすることができる。
[0003]該オートメ−ションシステムの利点にもかかわらず、それらは、通常の訓練を受けていない消費者が設定及び維持することが難しいことがある。消費者は、オートメ−ションシステムをセットアップするために専門の技術者を雇うことができるが、これは、初期コストを増大させ、以後の構成変更、例えば、新しい機器の追加及び構成、を行う上で専門家に依存させることになる。先行するオートメ−ションシステムのこれらの及びその他の制限を克服するオートメ−ションシステムを構成するための方法及び装置をユーザに提供するのが望ましいであろう。
[0004]家庭又はその他の空間のためのオートメ−ションシステムの音声制御された構成の方法、装置及びシステムが発明を実施するための形態において詳細に説明され、幾つかの態様が以下において要約される。この発明の概要及び以下の発明を実施するための形態は、統合された開示の補完的な一部であると解釈されるべきであり、冗長な主題及び/又は補足的な主題を含むことができる。いずれかの節において省略されている場合でも、統合明細書において説明される要素が優先されること又は相対的に重要であることを示すものではない。各節間の相違点は、各々の開示から明らかになるように、代替実施形態の補足的な開示、追加の詳細、又は異なる用語を用いた同一の実施形態の代替説明を含むことができる。
[0005]一態様においては、家庭又はその他の空間のためのオートメ−ションシステムの音声制御された構成のための方法は、コンピュータネットワークを介してコンピュータサーバと通信状態にある機器をそのコンピュータサーバによって検出することを含むことができる。コンピュータサーバは、ホームオートメ−ションシステムのための複数の分散型コントローラのうちの1つであることができ、又は1つを含むことができる。代替においては、コンピュータサーバは、ホームオートメ−ションシステムのための集中型コントローラであることができ、又はホームオートメ−ションシステムのための集中型コントローラを含むことができる。方法は、機器の能力を示す情報をコンピュータサーバによって受信することをさらに含むことができる。それらの能力を示す情報を受信することは、リモートサーバに格納されたデータベースから情報を取り出すためにリモートサーバと通信すること、又はネットワークを介して機器から情報を受信することのうちの少なくとも1つを含むことができる。
[0006]方法は、電気音響トランスデューサによって音声信号に変換されたユーザからの音声入力を受信することをさらに含むことができる。方法は、音声信号に基づいて、機器の能力を制御する制御設定を決定することをさらに含むことができる。さらなる態様において、方法は、制御設定に基づいて機器の能力を制御することを含むことができる。
[0007]他の態様においては、方法は、音声信号に基づいて少なくとも1つの機器に関するネットワーク識別子を生成することを含むことができる。方法は、音声信号に基づいてユーザの声のパターンを認識することと、声のパターンに少なくとも部分的に基づいてユーザを認証することと、も含むことができる。
[0008]クライアントデバイスは、ホームオートメ−ションシステムのコンポーネントと調整して、家庭又はその他の空間のためのオートメ−ションシステムの音声制御された構成のための他の方法を実行することができる。方法は、コンピュータネットワークを介してオートメ−ションシステムのコントローラに機器をアドバタイズ(advertise)することを含むことができる。方法は、機器の能力を示す信号をコントローラに送信することを含むことができる。機器の能力を示す信号をコントローラに送信することは、情報を備える遠隔データベースのレコードを示すポインタを提供すること、又はネットワークを介して機器から直接情報を提供することのうちの少なくとも1つを含むことができる。方法は、電気音響トランスデューサを用いて、ユーザからの音声入力を音声信号に変換することをさらに含むことができる。音声入力を変換することは、ユーザインタフェースアプリケーションを動作させるモバイルエンティティを用いて行うことができる。代替においては、変換することは、機器自体のトランスデューサコンポーネントを用いて行うことができる。方法は、音声信号において符号化された機器のための制御設定をコントローラに送信することを含むことができる。他の態様においては、方法は、音声信号において符号化された機器に関するネットワーク識別子を送信することを含むことができる。
[0009]関連する態様においては、上において要約される方法及びそれらの方法の態様を実行するための制御装置を提供することができる。装置は、例えば、メモリに結合されたプロセッサを含むことができ、メモリは、上述される動作を装置に実行させるための命令をプロセッサによる実行のために保持する。該装置の幾つかの態様(例えば、ハードウェアに関する態様)は、コンピュータサーバ、システムコントローラ、制御ポイント又はモバイルコンピューティングデバイス、等の装置によって例証することができる。同様に、プロセッサによって実行されたときに上において要約される方法及びそれらの方法の態様をコンピュータに実行させる符号化された命令を保持するコンピュータによって読み取り可能な記憶媒体を含む製造品を提供することができる。
[0010]音声制御された構成のための要素を含むオートメ−ションシステムの例を概念的に示したブロック図である。 [0011]]音声制御された構成のための要素を含むオートメ−ションシステムの使用事例を示したシーケンス図である。 [0012]代替実施形態による、音声制御された構成のための要素を含むオートメ−ションシステムの例を概念的に示したブロック図である。 [0013]図3の実施形態による、音声制御された構成のための要素を含むオートメ−ションシステムの使用事例を示したシーケンス図である。 [0014]ネットワークエンティティを用いた、オートメ−ションシステムの音声制御された構成のための方法の実施形態を例示した図である。 [0014]ネットワークエンティティを用いた、オートメ−ションシステムの音声制御された構成のための方法の実施形態を例示した図である。 [0014]ネットワークエンティティを用いた、オートメ−ションシステムの音声制御された構成のための方法の実施形態を例示した図である。 [0014]ネットワークエンティティを用いた、オートメ−ションシステムの音声制御された構成のための方法の実施形態を例示した図である。 [0015]図5乃至8の方法を実装するための装置の例を示した図である。 [0016]クライアントデバイスにおけるオートメ−ションシステムの音声制御された構成のための方法の実施形態を例示した図である。 [0016]クライアントデバイスにおけるオートメ−ションシステムの音声制御された構成のための方法の実施形態を例示した図である。 [0016]クライアントデバイスにおけるオートメ−ションシステムの音声制御された構成のための方法の実施形態を例示した図である。 [0017]図10乃至12の方法を実装するための装置の例を示した図である。
[0018]以下の発明を実施するための形態は、添付される図面と関係させて、様々な構成について説明することが意図されるものであり、ここにおいて説明される概念を実践することができる唯一の構成であることが意図されるわけではない。発明を実施するための形態は、様々な概念についての徹底的な理解を提供することを目的して具体的な詳細を含む。しかしながら、これらの概念は、これらの具体的な詳細なしで実践可能であることが当業者にとって明らかであろう。幾つかの例では、非常によく知られた構造及びコンポーネントは、該概念を曖昧にするのを回避するためにブロック図形で示される。
[0019]ホームオートメ−ションシステムでは声による制御が一般的になりつつあり、ユーザが期待する1つの標準的な特徴になる可能性がある。本開示は、新しい制御ポイントをオームオートメ−ションシステムに加えるプロセスを消費者にとってより簡単にするために声による制御を利用するための方法及び装置に関するものである。図形によるユーザインタフェースを介してオートメーションデータベースを更新することが要求される代わりに、ユーザは、選択した場合は、新しい制御ポイントが既存のオートメ−ションシステムに追加されたときにそれらを構成するために声による指令を使用することができる。この音声によって駆動される構成プロセスは、ユーザがシステム内の追加されたコンポーネントにどのようにして対処する(名前を付ける)ことを希望するかをシステムに知らせるために使用することができ、さらに、ユーザ認証にも使用することができる。
[0020]図1を参照し、集中型システムコントローラ(ローカル制御ノードとも呼ばれる)を用いるオートメ−ションシステム100が示される。システム100は、空間124、例えば、家庭、オフィス、又は工場に設置された制御ポイント108(示されている多くのうちの1つ)の有線、無線、又は有線と無線の組み合わせのネットワーク122を含むことができる。ネットワーク122は、WiFi、電力線通信、イーサネット(登録商標)、これらの組み合わせ又はその他のローカルネットワーク技術を使用することができる。1つ以上の電気音響トランスデューサ110、例えば、マイク、をネットワーク122と接続することができ、及び、コントローラ102と通信状態にあることができる。例えば、マイクは、システムの初期設置中にホームオートメ−ションシステムの各部屋に取り付けることができる。さらに、出力トランスデューサ112、例えば、オーディオスピーカー、もネットワーク122及びコントローラ102に結合することができる。
[0021]ローカル制御ノード102は、データ記憶装置104、例えば、特にネットワーク122に関する構成情報及び制御情報を保持するデータベース、に結合することができる。構成情報は、例えば、ネットワーク122に接続された各制御ポイント108に関する説明を含むことができ、該当する場合は、電力又はその他の入力がプロセッサによって制御される“スマートな”制御ポイント108によって制御されるスマートでない機器114(例えば、ランプ、等)に関する説明を含む。代替においては、制御ポイント108は、スマートな機器、例えば、組み込まれたネットワークインタフェースを有するマイクロプロセッサによって制御されるビデオカメラ、であることができる。データ記憶装置104内の構成情報は、ネットワーク122を通じて制御ポイント108と通信するためのアドレス指定情報、及び、制御設定、例えば、制御ポイント108の制御能力をいつ、どのようにして使用すべきかに関する声による指令又はその他のユーザ入力によって指定される制御設定、をさらに含むことができる。例えば、制御設定は、制御ポイント108が機器114の電源を入切すべき1つ以上の時間を定義することができる。
[0022]新しい制御ポイントがシステム100に追加されるとき、又は初期のセットアップ作業を行うときには、コントローラ102に新しい制御ポイントを認識させるべきであり、設置を許可するためのユーザからの認証された権限を受け取るべきである。コントローラ102には、ユーザがオートメ−ションシステム100における制御ポイントを識別及び制御するために使用する参照名を認識させて記録させるべきである。コントローラは、ユーザが制御ポイントの動作を制御するという特定の目的のために定義することを希望することができる1つ以上の声による指令も学習して記録することができる。
[0023]例えば、ユーザ106は、切り換え式のコンセント制御ポイント108をシステム100に追加することができる。コンセント108は、電力線又は無線プロトコルを用いてコントローラ102と通信するように構成することができる。制御ポイント108は、制御される(例えば、電源の入切)デバイスのプラグを標準的な電力コンセントに差し込むことを可能にするように構成することができる。制御ポイント108は、受動的なコンセントに差し込むことによって追加することができる。制御ポイント108をパワーアップさせる行為、又は他のイベント、例えば、ユーザが制御ポイントのボタン又はスイッチを起動させる、は、発見プロトコル、例えば、Bonjour又はWiFi Direct、を用いてシステム100内における自己の存在をコントローラ102にアドバタイズすることを制御ポイントに行わせる。発見プロセスの一環として、制御ポイント108は、それの能力に関する情報をコントローラ102に送信することができ、それは、データ記憶装置104に情報を格納することができる。該能力は、例えば、人間によって話された名前、オン/オフスケジュール設定、薄暗くする割合、又は制御ポイント108に特有のその他の制御設定、を含むことができる。コントローラには、新しい制御ポイント及びそれがサポートすることができる制御設定のタイプを認識させることができる。しかしながら、コントローラ102は、制御設定、例えば、電源を入切するための特定のスケジュール、に関するユーザによって選択される値を定義するためのユーザ入力が依然として必要である。
[0024]発見プロセス中に又は発見プロセス後に、コントローラ102は、制御ポイント108の能力をユーザに知らせる電子話声をスピーカー112に出力させることができる。例えば、コントローラ102は、例えば、“新しい制御ポイントが追加されました。それにどのような名前を付けたいですか。”という話声をスピーカー112に出させることができる。コントローラ102は、同様に、その他の情報に関してユーザを促すことができる。例えば、“この新しい制御ポイントは、薄暗くすることをサポートしています。どの程度の割合をデフォルトとして使用することを希望しますか。”さらに、コントローラは、認証情報を提供するようにユーザ106に求めることができる。例えば、“新しい制御ポイントをホームオートメ−ションシステムに追加中です。5桁のパスコードを言ってください”任意選択で、コントローラ102は、音声入力を供給しているユーザ106の身元を確認するためにトランスデューサ110を介して受け取られた音声入力の声紋解析を行うことができる。
[0025]コントローラ102は、発見プロセス中に学習された制御ポイント108に関するアドレス指定上の詳細及びユーザ106によって述べられた設定を結合させて、制御ポイントに関するデータ記憶装置104内への新しい入力を完了させることができる。コントローラは、例えば、どのマイクがプロセス中に音声入力を受信したかを推論し、制御ポイント108のおおよその位置を決定するために、プロセス中に入手された情報を使用することができる。該位置情報は、例えば、コマンド、例えば、のちに“電灯を点灯させる”の曖昧さをなくすために役立つことができる。
[0026]コントローラ102は、あらゆる適切なネットワークインタフェースを介してワイドエリアネットワーク118に結合することができる。さらに、コントローラは、WAN118を介して遠隔ユーザによる遠隔アクセス及び制御をサポートすることができる。例えば、遠隔アクセスノード120におけるユーザ、例えば、スマートフォン又はその他のポータブルなコンピューティングデバイス、は、無線通信システム116及びWAN118を介してコントローラ102に接続することができる。
[0027]前記の実施形態の他の観点が、図2において例示される使用事例200によって提供される。例示される使用事例は、前記のシステム及び装置に関するその他の使用事例を排除するものではないことが理解されるべきである。例示される使用事例200は、ユーザ202、制御ポイント204、及びローカル制御ノード(システムコントローラ)206の間での対話を含む。
[0028]208において、ユーザは、ドリガイベント、例えば、制御ポイント又は機器をオートメ−ションシステムに接続すること及びパワーアップさせること、を開始する。210において、制御ポイントは、機械の状態の変化に一組の条件を適用し、すべての条件を満足させることによってトリガイベントを検出することによってトリガイベントを検出する。212において、制御ポイントは、例えば、上記の発見プロトコルを用いて、ローカル制御ノード206に自己の存在をアドバタイズする。214において、ローカル制御ノード206は、発見のアドバタイズを受信し、それによって新しい制御ポイントを検出する。
[0029]216において、ローカル制御ノードは、制御能力に関して制御ポイント204に問い合わせることができる。218において、制御ポイント204は、自己の制御能力を詳述した情報をローカル制御ノード206に提供することによって問い合わせに応答することができる。220において、ローカル制御ノードは、ローカルオートメーションデータベースにおいて制御ポイント204に関するレジストリエントリを生成するために能力情報を使用することができる。
[0030]222において、ローカル制御ノードは、制御ポイント204の近くに配置されたスピーカーモジュール又はその他の出力トランスデューサに可聴のユーザ認証問い合わせを向けることができる。ユーザ202は、可聴の認証情報224を含む応答を話すことによって応答することができ、それは、制御ポイントの近くのマイク、等によって受信することができる。ローカル制御ノード226は、ユーザ202に関する各々の格納されたパスコード又は格納された声紋に一致するパスコード及び/又は声紋を区別するために可聴情報を使用することができる。
[0031]次に、228において、ローカル制御ノード206は、同様に、1つ以上の可聴の構成問い合わせをユーザ202に向けることができる。230において、ユーザは、要求された制御設定を提供することによって各構成問い合わせに応答することができる。問い合わせ/応答プロセスは、ユーザ202が、制御に関する質問が行われる話題を示すために声による指令を使用することができるという点で対話形式である。代替においては、又はさらに加えて、ユーザ202は、質問を待たずに声による制御設定入力をローカル制御ノード206に供給することができる。制御設定に関するオプションのうちの1つは、1つ以上の制御設定をのちのために延期することである。ユーザは、ローカル制御サーバ206にログインし、希望される場合は従来の図形によるユーザインタフェースを用いて、制御設定の調整を行うこと、又は新しい設定を追加することができる。これは、複雑な制御能力を有する機器を追加するときにより実際的であることができる。
[0032]制御設定を受信した時点で、232において、ローカル制御ノードは、ローカル制御データベースにその設定を格納することができる。任意選択で、ローカル制御ノードは、234において、制御設定又は関連する制御構成情報を制御ポイント204に提供することができる。236において、必要な場合は、制御ポイント204は、ローカルメモリ内の制御設定に従って内部制御方式を構成することができる。238において、制御ポイント204は、構成が完了していることをローカル制御ノード206に肯定応答することができる。任意選択で、ローカル制御ノード206は、240において、制御設定が受信されていること及び制御ポイント204の構成が完了していることを示す可聴情報をユーザ202に提供することができる。
[0033]その他の実施形態においては、図3に示されるように、分散型制御ポイントを含むオートメ−ションシステム300を、モバイルコンピューティング装置、例えば、スマートフォン又はノートパッドコンピュータ、を用いてセットアップすることができる。該実施形態においては、ユーザ306は、制御ポイント304を購入し、ユーザがモバイルコンピュータ302にインストールする制御ポイント構成アプリケーションを入手することができる。例えば、ユーザは、そのアプリケーションをインターネットからダウンロードすることができる。モバイルコンピュータ302は、組み込み式の電気音響トランスデューサ、例えば、スピーカー308及びマイク310、を含むことができる。モバイルコンピュータ320及び制御ポイント304は、両方とも無線インタフェースを含むことができる。従って、アプリケーションがインストールされた時点で、モバイルコンピュータ302は、制御ポイント304への及び/又はシステム100のコントローラ(示されていない)への無線リンク312を確立することができる。
[0034]さらに、アプリケーションがモバイルコンピュータ302にインストールされ、制御ポイントの電源が入れられた時点で、制御ポイントは、それの存在をアドバタイズすることができ、モバイルコンピュータ302は、制御ポイントを発見することができる。制御ポイント304は、電力回路(例えば、コンセント)にプラグを差し込むことによって電源をオンにすることができ、又は、ユーザによってスイッチを入れて内部のバッテリで動作することができる。
[0035]ユーザ306は、制御ポイント304を構成するためにモバイルデバイス302を使用することができる。例えば、ユーザは、スピーカー308から流れるアプリケーションによって生成された音声によるプロンプトに応答してモバイルデバイス302のマイク310内に話すことができる。アプリケーションは、ユーザ認証を行い、システム100のシステムコントローラと同様の方法でユーザから制御ポイントに関する制御設定を入手することができる。それは、システムコントローラ又は何らかの組み合わせによって使用するために、システムコントローラに情報を中継するスマートなクライアントとして、又は可聴インタフェースデバイス308、310を主に供給するスマートでないコントローラとして動作することができる。さらに、モバイルデバイス302の表示画面上に現れる補足的な図形によるユーザインタフェースによって声によるデータの収集を援助することができる。
[0036]任意選択で、モバイルデバイス302は、声の処理を行って制御設定を決定し、受け入れ可能な通信プロトコルに従って制御設定を含むメッセージを構築し、そのメッセージをシステム100コントローラに送信することができる。代替においては、モバイルデバイスは、単に、生の音声データをシステムコントローラに中継することができる。いずれにおいても、システムコントローラは、ユーザ306との音声インタフェースを介して新しく追加された制御ポイントを制御するために必要な制御設定を入手することができる。モバイルコンピュータ302の機能は、代替実施形態においては、制御ポイント304内に直接組み入れることができる。
[0037]モバイルコンピューティングデバイスを用いる前記の実施形態の他の観点が、図4において例示される使用事例400によって提供される。例示される使用事例は、前記のシステム及び装置に関するその他の使用事例を排除するものではないことが理解されるべきである。例示される使用事例400は、モバイルエンティティ(コンピュータ)202、制御ポイント404、及びローカル制御ノード(システムコントローラ)406の間での対話を含む。
[0038]408において、ユーザは、モバイルデバイス402で制御ポイント404を構成するためのアプリケーションをインストールすることができる。410において、モバイルエンティティ及びローカル制御ノード406は、モバイルデバイス402及びユーザを認証するために無線インタフェースを通じて通信に従事することができる。これは410、例えば、モバイルデバイス402が無線インタフェースのためにローカル制御ノード406に接続された無線トランシーバの範囲内にある間にモバイルデバイス402においてアプリケーションを起動させることによってトリガすることができる。412において、モバイルエンティティ402及びユーザはモバイルデバイスエンティティによって供給された情報によって認証することができると仮定した場合、ローカル制御ノード406は、モバイルエンティティに関する識別子をデータ記憶装置に登録することができる。
[0039]414において、制御ポイント414は、初期構成プロセスをトリガするイベント、例えば、いずれのオートメ−ションシステムにも登録されない又は構成されない状況での電源オンイベント、を検出すること、又は、制御ポイントを構成するための特定のユーザ要求の入力を検出することができる。イベントを検出したことに応答して、416において、制御ポイント404は、適切な発見プロトコル、例えば、モバイルエンティティ402において走るアプリケーションによって認識される無線プロトコル、を用いて自己の存在をアドバタイズすることができる。該無線プロトコルは、例えば、WiFi Direct、Near Field Communication(NFC)、Bluetooth(登録商標) Low Energy(BTLE)、又はオーディオを含むことができる。418において、モバイルエンティティ402は、制御ポイント404からの発見ビーコン又はその他の信号を検出することができる。420において、アプリケーションの制御下で自動的に動作するモバイルエンティティは、制御能力に関して制御ポイント404に問い合わせることができる。422において、制御ポイントは、無線リンクを介してそれの制御能力を定義する情報をモバイルエンティティ402に提供することができる。情報は、制御ポイントから直接、又は、制御ポイントに関するモデル番号又は同様の識別子によって参照される遠隔データベースを介して間接的に提供することができる。424において、モバイルエンティティは、ローカル制御ノードに能力情報を中継することができる。426において、ローカル制御ノードは、モバイルエンティティ402から受信された情報に基づいて、制御ポイント能力情報をデータベースに登録することができる。
[0040]制御ポイントに関する能力情報を入手した後は、モバイルエンティティは、428において、前述される電気音響トランスデューサを用いて、声でのやり取りを介してユーザから制御設定を受信することができる。モバイルエンティティは、アナログ又はデジタルの音声信号を入手するためにマイク又はその他の入力トランスデューサからの音声信号を処理することができ、次に、それは、ユーザによって話された言葉を識別するために話声認識アルゴリズムを用いて処理することができる。幾つかの実施形態においては、モバイルエンティティは、さらなる処理のために話声認識アルゴリズムからコントローラにテキストデータを送信することができる。その他の実施形態においては、モバイルエンティティは、さらなる処理をそれ自体で行うことができる。このさらなる処理は、例えば、言葉が認識されるコンテキストに基づいて決定ツリー又はその他の論理構造を使用することを含むことができ、モバイルエンティティ又はコントローラは、ユーザからの声による入力に基づいて1つ以上の制御設定を推論することができる。前記のように、制御設定は、制御ポイントに関するユーザ名と、1つ以上の制御設定を無期限に延期する設定とを含むことができる。制御設定は、制御ポイントの能力を制御するための1つ以上のパラメータ、例えば、スケジュール設定、電力、動き、温度、又はその他のパラメータ、も含むことができる。
[0041]430において、モバイルエンティティは、制御設定を含む構成情報、又は、コントローラが制御設定を決定することができるテキストデータを制御ポイントに送信することができる。432において、制御ポイントは、例えば、ローカルメモリ内に制御設定を記録することによって、制御設定に従って自己を設定することができ、制御プログラムの変数は、制御設定に基づいて該当する値に設定される。代替においては、又はさらに加えて、幾つかの制御設定は、例えば、ローカル制御ノード406によってシステムレベルで実装することができる。434において、制御ポイント404は、それの構成が完了していることをモバイルエンティティ402に報告することができる。
[0042]436において、モバイルエンティティは、一部の又はすべての制御設定を含む構成情報をローカル制御ノード406に報告することができる。ローカル制御ノード406が制御ポイント404の能力を制御することになる範囲で、又は、システムの故障時のシステムの回復のためのバックアップとして、ローカル制御ノードは、制御設定を制御ポイントに関するレジストリ情報と関連付けてシステムデータベースに格納することができる。
[0043]開示される主題に従って実装することができる方法は、様々なフローチャートを参照することでより良く評価されるであろう。説明を簡素化することを目的として、方法は、一連の行為/動作として示されて説明される。しかしながら、幾つかの動作は、ここにおいて描かれて説明されるその他の動作と異なる順序で及び/又はその他の動作と実質的に同時に生じることができるため、請求される主題は、動作の数又は順序には制限されない。さらに、すべての例示される動作がここにおいて説明される方法を実装するために要求されるわけではない。動作と関連付けられた機能は、ソフトウェア、ハードウェア、それらの組み合わせ又はその他の適切な手段(例えば、デバイス、システム、プロセス、又はコンポーネント)によって実装できることが評価されるべきである。さらに、この明細書全体を通じて開示される方法は、該方法を様々なデバイスにトランスポート及び転送するのを容易にするために符号化された命令及び/又はデータとして製造品に格納可能であることがさらに評価されるべきである。方法は、例えば状態図内におけるように一連の相互に関連する状態又はイベントとして代替で表すことが可能であることを当業者は理解及び評価するであろう。
[0044]図5乃至8は、システムコントローラ、例えば、ローカルエリアネットワーク(LAN)又はその他のローカルネットワークを通じてオートメ−ションシステムを動作させるコンピュータサーバ、を用いたオートメ−ションシステムの音声制御された構成のための関連する方法を例示する。図5において示される方法500は、510において、コンピュータネットワークを介してコンピュータサーバと通信状態にある少なくとも1つの機器をコンピュータサーバによって検出することを含むことができる。機器は、オートメ−ションシステムに新しく追加することができる。機器は、オートメ−ションシステムによって決定された時間に電源が入切される電気機器、例えば、電灯、換気装置、ヒーター、台所用品、オーディオシステム、ビデオカメラ、又は、コントローラ及びネットワークインタフェースを装備したその他の家庭用品、すなわち、“スマートな”機器、であることができる。代替においては、機器は、スマートな電力制御ユニットに結合された“スマートでない”デバイスであることができる。スマートな機器又はスマートでない機器のための補助的なプロセッサ−コントローラ電力制御ユニットは、両方とも、ここでは、機器又は制御ポイントと呼ぶことができる。機器がパワーアップされるときには、ここにおける別の場所において説明されるように、無線又は有線の発見プロトコルを用いてその存在をアドバタイズすることができる。サーバは、アドバタイズされた信号を受信し、それによって、機器がコンピュータネットワークを介してコンピュータサーバと通信状態であることを検出することができる。
[0045]方法500は、520において、少なくとも1つの機器の能力を示す情報をコンピュータサーバ(システムコントローラとも呼ばれる)によって受信することをさらに含むことができる。例えば、情報は、オートメ−ションシステムによって制御することができる1つ以上の動作状態を示すことができる。状態の数は、機器及びそれの制御システムの複雑さに依存して変わることができる。例えば、ランプのような単純な機器は、電源入又は電源切の2つの制御状態のみを有することができる。より複雑な装置は、電源の入切に加えて、それよりもはるかに多くの制御可能な状態を有することができる。例えば、モーターを用いたビデオカメラシステムは、幾つかの能力、例えば、左右へのパン、上限へのパン、ズームイン又はズームアウト、フレームレート又は解像度の変更、又はその他の能力も有することができる。能力を示す情報は、標準のオートメーションプロトコルにより、機器の様々な制御可能な状態を定義することができる。
[0046]方法500は、530において、電気音響トランスデューサによって音声信号に変換されたユーザからの音声入力を受信することをさらに含むことができる。例えば、コンピュータサーバは、アナログ−デジタル変換器からデジタル音声信号を受信することができ、それは、ユーザからの音声入力、例えば、システムコントローラのユーザインタフェースモジュールによって生成された一連の可聴の質問に応じてユーザが答を言う、を受信することができる。
[0047]方法500は、540において、音声信号に基づいて、少なくとも1つの機器の能力を制御する制御設定を決定することをさらに含むことができる。例えば、制御設定は、機器の電源が入れられる又は切られる時間を決定すること、又は、電源が入れられたときに機器によって行われる1つ以上の動作を指定することができる。コンピュータサーバは、コンテキストに基づく声のデータの解析を用いて制御設定を決定することができる。例えば、機器がランプである場合は、可聴のユーザインタフェースは、一連の質問を生成し、各質問の後の応答を待つことができる。サーバは、話声認識アルゴリズムを用いて各質問の後に受信された音声信号を解析し、話声認識及び質問の結果に基づいて質問の応答を推論することができる。例えば、“ランプは、何時に点灯させればよいですか”という質問に応答して、サーバは、“セブンピーエム”等の返答が午後7時を意味すると解釈することができる。幾つかの事例においては、ユーザは、機器の詳細な制御をのちのために延期することを希望することができ、又は異なるインタフェースを介することができる。例えば、複雑な制御方式に関しては、図形によるユーザインタフェースは、より効率的な制御設定定義方法を提供することができる。該場合においては、制御設定は、ユーザによって決定される他の時間に“設定を延期する”ことができる。しかしながら、ユーザは、別の時間に制御されるべき機器をネットワークに好都合に追加することによって依然として利益を得る。
[0048]システムコントローラを用いたオートメ−ションシステムの音声制御された構成のための追加の動作600、700及び800が図7−8において例示され、システムコントローラによって実行される。動作600、700及び800のうちの1つ以上を、任意選択で方法500の一部として実行することができる。動作600、700及び800は、あらゆる動作順序で実行することができ、又は、特定の時間的な実行順序を要求せずに開発アルゴリズムによって包含することができる。動作は、独立して実行することができ、及び互いに排他的でない。従って、該動作のうちのいずれの1つも、他の下流又は上流の動作が実行されるかどうかにかかわらず実行することができる。例えば、方法500が動作600、700及び800のうちの少なくとも1つを含む場合は、方法500は、その少なくとも1つの動作の後に終了することができ、例示されることがある後続する下流の動作を必ずしも含める必要がない。
[0049]図6を参照し、追加の動作600は、610において、システムコントローラが制御設定に基づいて機器の能力を制御することを含むことができる。例えば、システムコントローラは、指示された時間にコンピュータネットワークを介して機器にコマンドを送信することによって、制御設定によって指定された時間に機器の電源を入れさせること又は切らせることができる。動作600は、620において、音声信号に基づいて、少なくとも1つの機器に関するネットワーク識別子を生成することをさらに含むことができる。例えば、コントローラは、オートメ−ションシステムに接続される機器のための名前を提供するように求める可聴の質問を生成して出力することができる。質問に応答して受信された音声データは、話声−テキストアルゴリズムを用いて解析して機器のためのテキストによる名前を生成することができ、それは、ネットワーク識別子として、又は識別子の一部として使用することができる。その名前は、ユーザインタフェース内の機器を識別するために使用することができ、ネットワークアドレス指定のためにシステムコントローラによって生成された一連番号又はその他の一意の識別子と結合することができる。
[0050]図7において示されるように、追加の動作700は、710において、音声信号に基づいてユーザの声のパターンを認識することを含むことができる。声のパターンは、例えば、人間の声を識別するために用いられるアルゴリズム方式の声紋、例えば、スペクトログラフィック解析、を含むことができる。追加の動作700は、720において、声のパターンに少なくとも部分的に基づいてユーザを認証することをさらに含むことができる。例えば、コントローラは、質問に応答して受信された声紋を識別されたユーザに関する格納された声紋と比較し、声による入力が格納される声紋と同じ人からのものである信頼度を決定することができる。さらに、システムコントローラは、従来の認証方法、例えば、パスワード、を使用することができる。
[0051]図8において示されるように、追加の動作800は、810における第1の代替策により、遠隔サーバに格納されるデータベースから情報を取り出すためにそのサーバと通信することによって少なくとも1つの機器の能力を示す情報を受信することを含むことができる(520)。例えば、機器は、モデル識別子をシステムコントローラにアドバタイズすることができ、それは、モデル識別子を用いて遠隔データベース内において機器の能力を検索することができる。820において示される第2の代替策では、能力情報を受信する520ことは、ネットワークを介して機器から直接情報を受信することを含むことができる。例えば、機器は、能力情報をローカルメモリに格納すること及びネットワークプロトコルを用いてコントローラに情報を送信することができる。
[0052]図9を参照し、オートメ−ションシステムの音声制御された構成のために、オートメ−ションシステムにおけるシステムコントローラとして、又は、システムコントローラ内で使用するためのプロセッサ又は同様のデバイスとして構成することができる典型的な装置900が提供される。装置900は、プロセッサ、ソフトウェア、又はそれらの組み合わせ(例えば、ファームウェア)によって実装される機能を表すことができる機能ブロックを含むことができる。
[0053]例示されるように、一実施形態においては、装置900は、コンピュータネットワークを介してシステムコントローラと通信状態にある機器を検出するための電気的コンポーネント又はモジュール902を含むことができる。例えば、電気的コンポーネント902は、ネットワークインタフェース、等に及びネットワークにおける自己の存在をアドバタイズする機器を検出するための命令を有するメモリに結合された少なくとも1つの制御プロセッサを含むことができる。電気的コンポーネント902は、コンピュータネットワークを介して通信状態にある機器を検出するための手段であることができ、又は該手段を含むことができる。該手段は、1つ以上のプロセッサによって実行されるアルゴリズムを含むことができる。そのアルゴリズムは、例えば、コンピュータネットワークにおいて機器からのアドバタイズを受信するためのポートを指定することと、指定されたポートを介して信号が受信されたときに割り込み手順をトリガすることと、指定されたポートを介して受信された識別又はアドレス指定データを処理するために割り込み手順を動作させることと、を含むことができる。
[0054]装置900は、機器の能力を示す情報を受信するための電気的コンポーネント904を含むことができる。例えば、電気的コンポーネント904は、機器の能力を示す情報を受信するための命令を保持するメモリに結合された少なくとも1つの制御プロセッサを含むことができる。電気的コンポーネント904は、機器の能力を示す情報を受信するための手段であることができ、又は該手段を含むことができる。該手段は、1つ以上のプロセッサによって実行されるアルゴリズムを含むことができる。そのアルゴリズムは、例えば、図8と関連させて上述されるアルゴリズム810又は820のうちの1つ以上を含むことができる。
[0055]装置900は、電気音響トランスデューサによって音声信号に変換されたユーザからの音声入力を受信するための電気的コンポーネント906を含むことができる。例えば、電気的コンポーネント906は、電気音響トランスデューサによって音声信号に変換されたユーザからの音声入力に関する命令を保持するメモリに結合された少なくとも1つの制御プロセッサを含むことができる。電気的コンポーネント906は、電気音響トランスデューサによって音声信号に変換されたユーザからの音声入力を受信するための手段であることができ、又は該手段を含むことができる。該手段は、1つ以上のプロセッサによって実行されるアルゴリズムを含むことができる。そのアルゴリズムは、
例えば、パケットデータプロトコル(例えば、TCP/IP)を用いてファイル又はストリーミングデータを受信することと、音声データとして識別されたデータを認識するためにヘッダデータを読み取ることと、指定された音声符号化プロトコルにより音声信号を表すデータとして識別されたデータを処理することと、を含むことができる。
[0056]装置900は、音声信号に基づいて、機器の能力を制御する制御設定を決定するための電気的コンポーネント908を含むことができる。例えば、電気的コンポーネント908は、許可されたユーザからの音声入力に基づいて少なくとも1つの制御設定を決定するための命令を保持するメモリに結合された少なくとも1つの制御プロセッサを含むことができる。少なくとも1つの制御設定は、後続する時間まで又は無期限に機器の詳細な構成を延期するための制御を含むことができる。電気的コンポーネント908は、音声信号に基づいて機器の能力を制御する制御設定を決定するための手段であることができ、又は該手段を含むことができる。該手段は、1つ以上のプロセッサによって実行されるアルゴリズムを含むことができる。そのアルゴリズムは、例えば、音声信号の話声認識、認識された話声の意味論的解析、及び、意味論的解析及び話声が受信されたコンテキストに基づいて制御設定を推論すること、を含むことができる。装置900は、図6−7と関連させて説明される追加の動作600、700又は800のうちのいずれか又はすべてを実行するための類似の電気的コンポーネントを含むことができ、それらは、例示を簡素化するために図9には示されていない。
[0057]関連する態様において、装置900は、任意選択で、システムコントローラ又はコンピュータサーバとして構成された装置900である場合は、少なくとも1つのプロセッサを有するプロセッサコンポーネント910を含むことができる。該場合におけるプロセッサ910は、バス912又は同様の通信カップリングを介してコンポーネント902乃至908と動作上の通信状態にあることができる。プロセッサ910は、電気的コンポーネント902乃至908によって実行されるプロセス又は機能の開始及びスケジューリングを行うことができる。
[0058]さらなる関連する態様においては、装置900は、その他のネットワークエンティティ、例えば、イーサネットポート又は無線インタフェース、と通信するためのネットワークインタフェースコンポーネント914を含むことができる。装置900は、ユーザによって指定された制御設定を認識するために音声信号を処理するための音声プロセッサコンポーネント918、例えば、話声認識モジュール、を含むことができる。装置900は、任意選択で、情報を格納するためのコンポーネント、例えば、メモリデバイス/コンポーネント916、を含むことができる。コンピュータによって読み取り可能な媒体又はメモリコンポーネント916は、バス912、等を介して装置900のその他のコンポーネントに動作可能な形で結合することができる。メモリコンポーネント916は、コンポーネント902乃至908とそれらのサブコンポーネント、又はプロセッサ910の活動を行うためのコンピュータによって読み取り可能な命令及びデータ、追加動作850又は860、又はここにおいて開示される方法を格納するように好適化することができる。メモリコンポーネント916は、コンポーネント902乃至908に関連する機能を実行するための命令を保持することができる。コンポーネント902乃至908は、メモリ916の外部に存在するとして示されているが、メモリ916内に存在することができることが理解されるべきである。
[0059]クライアントデバイス、例えば、モバイルエンティティ、制御ポイント又はスマート機器は、オートメ−ションシステムの音声制御された構成に関してシステムコントローラと協力することができる。従って、図10は、オートメ−ションシステムの音声制御された構成に関して、オートメ−ションシステムのクライアントデバイスによって実行することができる方法1000を例示する。方法1000は、1010において、コンピュータネットワークを介してオートメ−ションシステムのコントローラに機器をアドバタイズすることを含むことができる。上記のように、機器又は接続された制御ポイントは、定義されたイベントの発生に応答して、適切なアドバタイズプロトコルを用いて、有線又は無線のインタフェースを通じて自己の存在をアドバタイズ(例えば、ブロードキャスト)することができる。方法1000は、1020において、機器の能力を示す信号をコントローラに送信することを含むことができる。例えば、コントローラが機器を認識してハンドシェーク又はその他のプロトコルを介して接続を確立した時点で、機器又は制御ポイントは、機器の能力を定義する情報、又は機器の能力のリストの位置を突き止めるための情報をコントローラに提供することができる。上記のように、能力は、オートメ−ションシステムにおいて制御可能である機器の動作状態、例えば、電源の入切、を意味する。能力のさらなる例はここの上において提供されている。
[0060]方法1000は、1030において、電気音響トランスデューサを用いてユーザからの音声入力を音声信号に変換することをさらに含むことができる。例えば、機器内のマイク、制御ポイント、補助的モバイルインタフェース(例えば、スマートフォン)、又はコントローラに結合された静止マイクは、ユーザからの話された入力を受信することができ、それは、アナログ音声信号に変換され、その後に、話声認識アルゴリズムを用いた処理のためにデジタル音声信号に変換することができる。動作1030は、電気音響トランスデューサ、例えば、スピーカー、からの音声出力によって先行することができる。音声出力は、例えば、ユーザによって答えられる質問を表す話声として構成することができる。質問は、例えば、“この機器の名前は何ですか”又は“この機器に関する名前を提供してください”。その他の例がここの上において提供されている。
[0061]方法1000は、1040において、音声信号において符号化された機器に関する制御設定をコントローラに送信することをさらに含むことができる。例えば、機器、接続された制御ポイント、又は補助的モバイルインタフェースデバイスは、アナログ又はデジタル音声信号、又は話声認識アルゴリズムからのテキストデータを、さらなる処理のためにシステムコントローラに中継することができる。代替においては、機器、接続された制御ポイント、又は補助的モバイルインタフェースデバイスは、話声認識/意味論的解析アルゴリズムを用いて、制御設定を決定するために音声信号を処理することができる。後続して、機器は、制御設定に基づいてコントローラによって制御することができる。さらに、ユーザは、初期セットアップのために使用されるのと同じ音声インタフェースを通じて、又はより伝統的な図形によるユーザインタフェースを用いて、制御設定にアクセスして変更すること、又は追加の制御設定を加えることができる。
[0062]さらに、図11−12は、オートメ−ションシステムの音声制御された構成においてクライアントデバイスによって使用するために実装することができる任意選択の動作1100−1200を示す。要素1050は、あらゆる動作順序で行うことができ、又は、特定の時間的な実行順序を要求せずに開発アルゴリズムによって包含することができる。動作は、独立して実行することができ、及び互いに排他的でない。従って、該動作のうちのいずれの1つも、他の下流又は上流の動作が実行されるかどうかにかかわらず実行することができる。例えば、方法1000が図11−12の少なくとも1つの動作を含む場合は、方法1000は、その少なくとも1つの動作の後に終了することができ、例示されることがある後続する下流の動作を必ずしも含める必要がない。
[0063]図11を参照し、追加の動作1100は、1110において、ユーザインタフェースアプリケーションを動作させるモバイルエンティティを用いて音声入力を変換することを含むことができる。例えば、スマートフォン又はノートパッドデバイスは、例えば、Wi−Fi又はBluetooth無線リンクによって機器又接続ポイントに無線でリンクする構成アプリケーションを動作させることができる。スマートフォン又はその他のモバイルコンピューティングデバイスは、機器/制御ポイントと調整して、可聴インタフェースを通じてデータ問い合わせ/収集プロセスを動作させるためのマイク及びスピーカーを含むことができる。これは、モバイルデバイスのディスプレイ上に現れる図形によるユーザインタフェースによって補足することができる。
[0064]追加の要素1100は、1120において、機器のトランスデューサコンポーネントを用いて音声入力の変換を行うことをさらに含むことができる。例えば、機器、接続された制御ポイント、又は補助的モバイルインタフェースデバイス内にマイクを組み込むことができる。代替においては、マイク又はその他のトランスデューサは、機器が接続されているオートメ−ションシステムのコンポーネントであることができる。追加の要素1100は、1130において、音声信号において符号化された機器に関するネットワーク識別子を送信することをさらに含むことができる。例えば、音声信号は、文、例えば、“接続している機器の名前を提供してください”に応答して記録された話声を含むことができる。
[0065]上記のように、クライアントデバイスは、様々な方法で機器の能力を示す信号をコントローラに送信することができる(1020)。従って、図12を参照し、追加の動作1200は、1210において、情報を備える遠隔データベースのレコードを示すポインタを提供することを含むことができる。代替においては、追加の要素1200は、1220において、ネットワークを介して機器から直接情報を提供することをさらに含むことができる。
[0066]図13を参照し、オートメ−ションシステムの音声制御された構成に関して、スマート機器、スマートモバイルデバイス(例えば、スマートフォン又はノートパッドコンピュータ)又は制御ポイントとして、又は、これらのデバイス内で使用するためのプロセッサ又は同様のデバイスとして構成することができる典型的な装置1300が提供される。装置1300は、プロセッサ、ソフトウェア、又はそれらの組み合わせ(例えば、ファームウェア)によって実装される機能を表すことができる機能ブロックを含むことができる。
[0067]例示されるように、一実施形態においては、装置1300は、コンピュータネットワークを介してオートメ−ションシステムのコントローラに機器をアドバタイズするための電気的コンポーネント又はモジュール1302を含むことができる。例えば、電気的コンポーネント1302は、ネットワークインタフェース、等に及びコンピュータネットワークに関する選択された発見プロトコルを用いて機器をアドバタイズするための命令を有するメモリに結合された少なくとも1つの制御プロセッサを含むことができる。電気的コンポーネント1302は、コンピュータネットワークを介してオートメ−ションシステムのコントローラに機器をアドバタイズするための手段であることができ、又は該手段を含むことができる。該手段は、1つ以上のプロセッサによって実行されるアルゴリズムを含むことができる。そのアルゴリズムは、例えば、発見プロトコル、例えば、Bonjour又はWiFi Direct、を用いてネットワークエンティティをアドバタイズすることを含むことができる。
[0068]例示されるように、一実施形態においては、装置1300は、機器の能力を示す信号をコントローラに送信するための電気的コンポーネント又はモジュール1304を含むことができる。例えば、電気的コンポーネント1304は、ネットワークインタフェース、等に及び定義されたプロトコルに従って機器の能力を示す信号を生成し及びコンピュータネットワークを用いてコントローラに信号を送信するための命令を有するメモリに結合された少なくとも1つの制御プロセッサを含むことができる。電気的コンポーネント1304は、機器の能力を示す信号をコントローラに送信するための手段であることができ、又は該手段を含むことができる。該手段は、1つ以上のプロセッサによって実行されるアルゴリズムを含むことができる。そのアルゴリズムは、例えば、機器の能力を定義する情報をコントローラに直接提供することを含むことができ、又は代替においては、指定されたデータ記憶装置における機器能力リストの位置を突き止める(例えば、機器に関するモデル識別子を提供する)ための情報を提供するのを含むことができる。いずれの場合も、アルゴリズムは、ネットワークを通じてシステムコントローラに関する予め定義された通信プロトコルに従って情報を提供することを含むことができる。
[0069]例示されるように、一実施形態においては、装置1300は、電気音響トランスデューサを用いてユーザからの音声入力を音声信号に変換するための電気的コンポーネント又はモジュール1306を含むことができる。例えば、電気的コンポーネント1306は、マイク、等に及びアナログ音声信号をデジタル信号に変換するための命令を有するメモリに結合された少なくとも1つの制御プロセッサを含むことができる。電気的コンポーネント1306は、電気音響トランスデューサを用いてユーザからの音声入力を音声信号に変換するための手段であることができ、又は該手段を含むことができる。該手段は、1つ以上のプロセッサによって実行されるアルゴリズムを含むことができる。そのアルゴリズムは、例えば、可聴の問い合わせに応答してマイクを起動させることと、マイクからアナログ音声信号を収集することと、アナログ信号をデジタル信号に変換することと、を含むことができる。
[0070]例示されるように、一実施形態においては、装置1300は、音声信号において符号化された機器に関する制御設定をコントローラに送信するための電気的コンポーネント又はモジュール1308を含むことができる。例えば、電気的コンポーネント1308は、ネットワークインタフェース、等に及びデジタル又はアナログ音声データをオートメ−ションシステムコントローラに送信するための命令を有するメモリに結合された少なくとも1つの制御プロセッサを含むことができる。電気的コンポーネント1308は、音声信号において符号化された機器に関する制御設定をコントローラに送信するための手段であることができ、又は該手段を含むことができる。該手段は、1つ以上のプロセッサによって実行されるアルゴリズムを含むことができる。そのアルゴリズムは、例えば、コントローラに送信するための音声データの部分組を識別することと、オートメ−ションシステムに関する無線又は有線の通信プロトコルを用いてオートメ−ションシステムコントローラにデジタル又はアナログ音声データを送信することと、を含むことができる。
[0071]装置1300は、図11−12と関連させて説明される追加の動作1100又は1200のうちのいずれか又はすべてを実行するための類似の電気的コンポーネントを含むことができ、それらは、例示を簡素化するために図13には示されていない。
[0072]関連する態様において、装置1300は、任意選択で、クライアントエンティティとして構成された装置1300である場合は、少なくとも1つのプロセッサを有するプロセッサコンポーネント1310を含むことができる。該場合におけるプロセッサ1310は、バス1312又は同様の通信カップリングを介してコンポーネント1302乃至1308と動作上の通信状態にあることができる。プロセッサ1310は、電気的コンポーネント1302乃至1308によって実行されるプロセス又は機能の開始及びスケジューリングを行うことができる。
[0073]さらなる関連する態様においては、装置1300は、ネットワークインタフェースコンポーネント1314と、トランシーバ(示されていない)を含むことができる。装置1300は、電気音響トランスデューサ1318、例えば、マイク及び/又はスピーカーをさらに含むことができる。装置1300は、任意選択で、情報を格納するためのコンポーネント、例えば、メモリデバイス/コンポーネント1316、を含むことができる。コンピュータによって読み取り可能な媒体又はメモリコンポーネント1316は、バス1312、等を介して装置1300のその他のコンポーネントに動作可能な形で結合することができる。メモリコンポーネント1316は、コンポーネント1302乃至1308とそれらのサブコンポーネント、又はプロセッサ910の活動を行うためのコンピュータによって読み取り可能な命令及びデータ、追加態様1100−1200、又はクライアントデバイスに関してここにおいて開示される方法を格納するように好適化することができる。メモリコンポーネント1316は、コンポーネント1302乃至1308に関連する機能を実行するための命令を保持することができる。コンポーネント1302乃至1308は、メモリ1316の外部に存在するとして示されているが、メモリ1316内に存在することができることが理解されるべきである。
[0074]当業者は、情報及び信号は様々な異なる技術及び技法のうちのいずれかを用いて表すことができることを理解するであろう。例えば、上記の説明全体を通じて参照されることがあるデータ、命令、コマンド、情報、信号、ビット、シンボル、及びチップは、電圧、電流、電磁波、磁場、磁粒子、光学場、光学粒子、又はそれらのあらゆる組合せによって表すことができる。
[0075]ここにおける開示と関係させて説明される様々な例示的な論理ブロック、モジュール、回路、及びアルゴリズムのステップは、電子ハードウェア、コンピュータソフトウェア、又は両方の組み合わせとして実装可能であることを当業者はさらに評価するであろう。ハードウェアとソフトウェアのこの互換性を明確に例示するため、上記においては、様々な例示的なコンポーネント、ブロック、モジュール、回路、及びステップが、それらの機能の観点で一般的に説明されている。該機能がハードウェアとして又はソフトウェアとして実装されるかは、特定の用途及び全体的システムに対する設計上の制約事項に依存する。当業者は、説明されている機能を各々の特定の用途に合わせて様々な形で実装することができるが、該実装決定は、本開示の適用範囲からの逸脱を生じさせるものであるとは解釈されるべきではない。
[0076]ここにおける開示と関係させて説明される様々な例示的な論理ブロック、モジュール、及び回路は、ここにおいて説明される機能を果たすように設計された汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、その他のプログラマブル論理デバイス、ディスクリートゲートロジック、ディスクリートトランジスタロジック、ディスクリートハードウェアコンポーネント、又はそれらのあらゆる組合せ、を用いて実装又は実行することが可能である。汎用プロセッサはマイクロプロセッサであることができるが、代替においては、プロセッサは、従来のどのようなプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンであってもよい。プロセッサは、コンピューティングデバイスの組合せ、例えば、DSPと、1つのマイクロプロセッサとの組合せ、複数のマイクロプロセッサとの組合せ、DSPコアと関連する1つ以上のマイクロプロセッサとの組合せ、又はあらゆるその他の構成、として実装することも可能である。
[0077]ここにおける開示と関係させて説明される方法又はアルゴリズムのステップは、直接ハードウェア内において、プロセッサによって実行されるソフトウェアモジュール内において、又はそれらの2つの組み合わせ内において具現化することが可能である。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、取り外し可能なディスク、CD−ROM、又は当業において既知であるその他のあらゆる形態の記憶媒体において常駐することができる。典型的な記憶媒体は、プロセッサが記憶媒体から情報を読み出すこと及び記憶媒体に情報を書き込むことができるようにプロセッサに結合される。代替においては、記憶媒体は、プロセッサと一体化させることができる。プロセッサ及び記憶媒体は、ASIC内に常駐することができる。ASICは、ユーザ端末内に常駐することができる。代替においては、プロセッサ及び記憶媒体は、ユーザ端末内において個別コンポーネントとして常駐することができる。
[0078]1つ以上の典型的な設計において、説明される機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせにおいて実装することができる。ソフトウェアにおいて実装される場合は、これらの機能は、コンピュータによって読み取り可能な媒体において1つ以上の命令又はコードとして格納すること又は送信することができる。コンピュータによって読み取り可能な媒体は、コンピュータ記憶媒体と、1つの場所から他へのコンピュータプログラムの転送を容易にする非一時的な通信媒体との両方を含む。記憶媒体は、汎用又は専用のコンピュータによってアクセス可能なあらゆる利用可能な媒体であることができる。一例として、及び制限することなしに、該記憶(非一時的)コンピュータによって読み取り可能な媒体は、RAM、ROM、EEPROM、CD−ROM又はその他の光学ディスク記憶装置、磁気ディスク記憶装置又はその他の磁気記憶装置、又は、希望されるプログラムコード手段を命令又はデータ構造の形態で搬送又は格納するために用いることができ及び汎用又は専用のコンピュータ又は汎用又は専用のプロセッサによってアクセス可能なその他の媒体、を備えることができる。さらに、いずれの接続も、送信された信号の非一時的な格納を含む範囲でコンピュータによって読み取り可能な媒体であると適切に呼ばれる。ここにおいて用いられるときのディスク(disk及びdisc)は、コンパクトディスク(CD)(disc)と、レーザーディスク(登録商標)(disc)と、光ディスク(disc)と、デジタルバーサタイルディスク(DVD)(disc)と、フロッピー(登録商標)ディスク(disk)と、ブルーレイディスク(disc)と、を含み、ここで、diskは通常は磁気的にデータを符号化し、discは、光学的に符号化されたデータを保持する。上記の組み合わせも、コンピュータによって読み取り可能な媒体の適用範囲内に含められるべきである。
[0079]本開示に関する前の説明は、当業者が本発開示を製造又は使用することを可能にするために提供される。本開示に対する様々な修正は、当業者にとって容易に明確になるであろう、及びここにおいて定められる一般原理は、本開示の精神又は適用範囲を逸脱せずにその他の変形に対しても適用することができる。以上のように、本開示は、ここにおいて説明される例及び設計に限定されることが意図されるものではなく、ここにおいて開示される原理及び新規の特徴に一致する限りにおいて最も広範な適用範囲が認められるべきである。
[0079]本開示に関する前の説明は、当業者が本発開示を製造又は使用することを可能にするために提供される。本開示に対する様々な修正は、当業者にとって容易に明確になるであろう、及びここにおいて定められる一般原理は、本開示の精神又は適用範囲を逸脱せずにその他の変形に対しても適用することができる。以上のように、本開示は、ここにおいて説明される例及び設計に限定されることが意図されるものではなく、ここにおいて開示される原理及び新規の特徴に一致する限りにおいて最も広範な適用範囲が認められるべきである。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
[C1] 方法であって、コンピュータサーバによって、コンピュータネットワークを介して前記コンピュータサーバと通信状態にある機器を検出することと、前記コンピュータサーバによって、前記機器の能力を示す情報を受信することと、電気音響トランスデューサによって音声信号に変換されたユーザからの音声入力を受信することと、前記音声信号に基づいて、前記機器の前記能力を制御する制御設定を決定することと、を備える、方法。
[C2] 前記制御設定に基づいて、前記機器の前記能力を制御することをさらに備えるC1に記載の方法。
[C3] 前記音声信号に基づいて、前記少なくとも1つの機器に関するネットワーク識別子を生成することをさらに備えるC1に記載の方法。
[C4] 前記音声信号に基づいて前記ユーザの声のパターンを認識することと、前記声のパターンに少なくとも部分的に基づいて前記ユーザを認証することと、をさらに備えるC1に記載の方法。
[C5] 前記能力を示す前記情報を受信することは、(a)遠隔サーバに格納されるデータベースから前記情報を取り出すために前記サーバと通信すること、又は(b)前記ネットワークを介して前記機器から前記情報を受信することのうちの少なくとも1つを備えるC1に記載の方法。
[C6] 前記コンピュータサーバは、ホームオートメ−ションシステムに関する集中型コントローラを備えるC1に記載の方法。
[C7] 前記コンピュータサーバは、ホームオートメ−ションシステムに関する複数の分散型コントローラのうちの1つを備えるC1に記載の方法。
[C8] 装置であって、コンピュータネットワークを介して通信状態にある機器を検出し、前記機器の能力を示す情報を受信し、電気音響トランスデューサによって音声信号に変換されたユーザからの音声入力を受信し、及び前記音声信号に基づいて、前記機器の前記能力を制御する制御設定を決定するために構成された少なくとも1つのプロセッサと、データを格納するための、前記少なくとも1つのプロセッサと動作可能な通信状態にあるメモリコンポーネントと、を備える、装置。
[C9] 前記少なくとも1つのプロセッサは、前記制御設定に基づいて、前記機器の前記能力を制御するためにさらに構成されるC8に記載の装置。
[C10] 前記少なくとも1つのプロセッサは、前記音声信号に基づいて、前記少なくとも1つの機器に関するネットワーク識別子を生成するためにさらに構成されるC8に記載の装置。
[C11] 前記少なくとも1つのプロセッサは、前記音声信号に基づいて前記ユーザの声のパターンを認識し、及び、前記声のパターンに少なくとも部分的に基づいて前記ユーザを認証するためにさらに構成されるC8に記載の装置。
[C12] 前記少なくとも1つのプロセッサは、(a)遠隔サーバに格納されるデータベースから前記情報を取り出すために前記サーバと通信すること、又は(b)前記ネットワークを介して前記機器から前記情報を受信することのうちの少なくとも1つによって前記能力を示す前記情報を受信するためにさらに構成されるC8に記載の装置。
[C13] 装置であって、コンピュータネットワークを介して通信状態にある機器を検出するための手段と、前記機器の能力を示す情報を受信するための手段と、電気音響トランスデューサによって音声信号に変換されたユーザからの音声入力を受信するための手段と、前記音声信号に基づいて、前記機器の前記能力を制御する制御設定を決定するための手段と、を備える、装置。
[C14] コンピュータプログラム製品であって、コンピュータネットワークを介して通信状態にある機器を検出し、前記機器の能力を示す情報を受信し、電気音響トランスデューサによって音声信号に変換されたユーザからの音声入力を受信し、及び前記音声信号に基づいて、前記機器の前記能力を制御する制御設定を決定することをコンピュータに行わせるためのコードを備えるコンピュータによって読み取り可能な媒体を備える、コンピュータプログラム製品。
[C15] 方法であって、コンピュータネットワークを介してオートメ−ションシステムのコントローラに機器をアドバタイズすることと、前記機器の能力を示す信号を前記コントローラに送信することと、電気音響トランスデューサを用いて、ユーザからの音声入力を音声信号に変換することと、前記音声信号において符号化された前記機器に関する制御設定を前記コントローラに送信することと、を備える、方法。
[C16] ユーザインタフェースアプリケーションを動作させるモバイルエンティティを用いて前記音声信号を前記変換させることを行うことをさらに備えるC15に記載の方法。
[C17] 前記機器のトランスデューサコンポーネントを用いて前記音声信号を前記変換させることを行うことをさらに備えるC15に記載の方法。
[C18] 前記音声信号において符号化された前記機器に関するネットワーク識別子を送信することをさらに備えるC15に記載の方法。
[C19] 前記機器の能力を示す前記信号を前記コントローラに送信することは、(a)前記情報を備える遠隔データベースのレコードを示すポインタを提供すること、又は(b)前記ネットワークを介して前記機器から直接前記情報を提供することのうちの少なくとも1つを備えるC1に記載の方法。
[C20] 装置であって、コンピュータネットワークを介してオートメ−ションシステムのコントローラに機器をアドバタイズし、前記機器の能力を示す信号を前記コントローラに送信し、電気音響トランスデューサを用いて、ユーザからの音声入力を音声信号に変換し、及び前記音声信号において符号化された前記機器に関する制御設定を前記コントローラに送信するために構成された少なくとも1つのプロセッサと、データを格納するための、前記少なくとも1つのプロセッサと動作可能な通信状態にあるメモリコンポーネントと、を備える、装置。
[C21] 前記少なくとも1つのプロセッサは、ユーザインタフェースアプリケーションを動作させるモバイルエンティティを用いて前記音声信号を前記変換させることを行うためにさらに構成されるC20に記載の装置。
[C22] 前記少なくとも1つのプロセッサは、前記機器のトランスデューサコンポーネントを用いて前記音声信号を前記変換させることを行うためにさらに構成されるC20に記載の装置。
[C23] 前記少なくとも1つのプロセッサは、前記音声信号において符号化された前記機器に関するネットワーク識別子を送信するためにさらに構成されるC20に記載の装置。
[C24] 前記少なくとも1つのプロセッサは、(a)前記情報を備える遠隔データベースのレコードを示すポインタを提供すること、又は(b)前記ネットワークを介して前記機器から直接前記情報を提供することのうちの少なくとも1つによって前記機器の能力を示す前記信号を前記コントローラに送信するためにさらに構成されるC20に記載の装置。
[C25] コンピュータプログラム製品であって、コンピュータネットワークを介してオートメ−ションシステムのコントローラに機器をアドバタイズし、前記機器の能力を示す信号を前記コントローラに送信し、電気音響トランスデューサを用いて、ユーザからの音声入力を音声信号に変換し、及び前記音声信号において符号化された前記機器に関する制御設定を前記コントローラに送信することをコンピュータに行わせるためのコードを備えるコンピュータによって読み取り可能な媒体を備える、コンピュータプログラム製品。
[C26] コントローラを備えるホームオートメ−ションシステムに少なくとも1つの機器を取り付けるための装置であって、コンピュータネットワークを介してオートメ−ションシステムのコントローラに機器をアドバタイズするための手段と、前記機器の能力を示す信号を前記コントローラに送信するための手段と、電気音響トランスデューサを用いて、ユーザからの音声入力を音声信号に変換するための手段と、前記音声信号において符号化された前記機器に関する制御設定を前記コントローラに送信するための手段と、を備える、装置。

Claims (26)

  1. 方法であって、
    コンピュータサーバによって、コンピュータネットワークを介して前記コンピュータサーバと通信状態にある機器を検出することと、
    前記コンピュータサーバによって、前記機器の能力を示す情報を受信することと、
    電気音響トランスデューサによって音声信号に変換されたユーザからの音声入力を受信することと、
    前記音声信号に基づいて、前記機器の前記能力を制御する制御設定を決定することと、を備える、方法。
  2. 前記制御設定に基づいて、前記機器の前記能力を制御することをさらに備える請求項1に記載の方法。
  3. 前記音声信号に基づいて、前記少なくとも1つの機器に関するネットワーク識別子を生成することをさらに備える請求項1に記載の方法。
  4. 前記音声信号に基づいて前記ユーザの声のパターンを認識することと、前記声のパターンに少なくとも部分的に基づいて前記ユーザを認証することと、をさらに備える請求項1に記載の方法。
  5. 前記能力を示す前記情報を受信することは、(a)遠隔サーバに格納されるデータベースから前記情報を取り出すために前記サーバと通信すること、又は(b)前記ネットワークを介して前記機器から前記情報を受信することのうちの少なくとも1つを備える請求項1に記載の方法。
  6. 前記コンピュータサーバは、ホームオートメ−ションシステムに関する集中型コントローラを備える請求項1に記載の方法。
  7. 前記コンピュータサーバは、ホームオートメ−ションシステムに関する複数の分散型コントローラのうちの1つを備える請求項1に記載の方法。
  8. 装置であって、
    コンピュータネットワークを介して通信状態にある機器を検出し、前記機器の能力を示す情報を受信し、電気音響トランスデューサによって音声信号に変換されたユーザからの音声入力を受信し、及び前記音声信号に基づいて、前記機器の前記能力を制御する制御設定を決定するために構成された少なくとも1つのプロセッサと、
    データを格納するための、前記少なくとも1つのプロセッサと動作可能な通信状態にあるメモリコンポーネントと、を備える、装置。
  9. 前記少なくとも1つのプロセッサは、前記制御設定に基づいて、前記機器の前記能力を制御するためにさらに構成される請求項8に記載の装置。
  10. 前記少なくとも1つのプロセッサは、前記音声信号に基づいて、前記少なくとも1つの機器に関するネットワーク識別子を生成するためにさらに構成される請求項8に記載の装置。
  11. 前記少なくとも1つのプロセッサは、前記音声信号に基づいて前記ユーザの声のパターンを認識し、及び、前記声のパターンに少なくとも部分的に基づいて前記ユーザを認証するためにさらに構成される請求項8に記載の装置。
  12. 前記少なくとも1つのプロセッサは、(a)遠隔サーバに格納されるデータベースから前記情報を取り出すために前記サーバと通信すること、又は(b)前記ネットワークを介して前記機器から前記情報を受信することのうちの少なくとも1つによって前記能力を示す前記情報を受信するためにさらに構成される請求項8に記載の装置。
  13. 装置であって、
    コンピュータネットワークを介して通信状態にある機器を検出するための手段と、
    前記機器の能力を示す情報を受信するための手段と、
    電気音響トランスデューサによって音声信号に変換されたユーザからの音声入力を受信するための手段と、
    前記音声信号に基づいて、前記機器の前記能力を制御する制御設定を決定するための手段と、を備える、装置。
  14. コンピュータプログラム製品であって、
    コンピュータネットワークを介して通信状態にある機器を検出し、
    前記機器の能力を示す情報を受信し、
    電気音響トランスデューサによって音声信号に変換されたユーザからの音声入力を受信し、及び
    前記音声信号に基づいて、前記機器の前記能力を制御する制御設定を決定することをコンピュータに行わせるためのコードを備えるコンピュータによって読み取り可能な媒体を備える、コンピュータプログラム製品。
  15. 方法であって、
    コンピュータネットワークを介してオートメ−ションシステムのコントローラに機器をアドバタイズすることと、
    前記機器の能力を示す信号を前記コントローラに送信することと、
    電気音響トランスデューサを用いて、ユーザからの音声入力を音声信号に変換することと、
    前記音声信号において符号化された前記機器に関する制御設定を前記コントローラに送信することと、を備える、方法。
  16. ユーザインタフェースアプリケーションを動作させるモバイルエンティティを用いて前記音声信号を前記変換させることを行うことをさらに備える請求項15に記載の方法。
  17. 前記機器のトランスデューサコンポーネントを用いて前記音声信号を前記変換させることを行うことをさらに備える請求項15に記載の方法。
  18. 前記音声信号において符号化された前記機器に関するネットワーク識別子を送信することをさらに備える請求項15に記載の方法。
  19. 前記機器の能力を示す前記信号を前記コントローラに送信することは、(a)前記情報を備える遠隔データベースのレコードを示すポインタを提供すること、又は(b)前記ネットワークを介して前記機器から直接前記情報を提供することのうちの少なくとも1つを備える請求項1に記載の方法。
  20. 装置であって、
    コンピュータネットワークを介してオートメ−ションシステムのコントローラに機器をアドバタイズし、前記機器の能力を示す信号を前記コントローラに送信し、電気音響トランスデューサを用いて、ユーザからの音声入力を音声信号に変換し、及び前記音声信号において符号化された前記機器に関する制御設定を前記コントローラに送信するために構成された少なくとも1つのプロセッサと、
    データを格納するための、前記少なくとも1つのプロセッサと動作可能な通信状態にあるメモリコンポーネントと、を備える、装置。
  21. 前記少なくとも1つのプロセッサは、ユーザインタフェースアプリケーションを動作させるモバイルエンティティを用いて前記音声信号を前記変換させることを行うためにさらに構成される請求項20に記載の装置。
  22. 前記少なくとも1つのプロセッサは、前記機器のトランスデューサコンポーネントを用いて前記音声信号を前記変換させることを行うためにさらに構成される請求項20に記載の装置。
  23. 前記少なくとも1つのプロセッサは、前記音声信号において符号化された前記機器に関するネットワーク識別子を送信するためにさらに構成される請求項20に記載の装置。
  24. 前記少なくとも1つのプロセッサは、(a)前記情報を備える遠隔データベースのレコードを示すポインタを提供すること、又は(b)前記ネットワークを介して前記機器から直接前記情報を提供することのうちの少なくとも1つによって前記機器の能力を示す前記信号を前記コントローラに送信するためにさらに構成される請求項20に記載の装置。
  25. コンピュータプログラム製品であって、
    コンピュータネットワークを介してオートメ−ションシステムのコントローラに機器をアドバタイズし、
    前記機器の能力を示す信号を前記コントローラに送信し、
    電気音響トランスデューサを用いて、ユーザからの音声入力を音声信号に変換し、及び
    前記音声信号において符号化された前記機器に関する制御設定を前記コントローラに送信することをコンピュータに行わせるためのコードを備えるコンピュータによって読み取り可能な媒体を備える、コンピュータプログラム製品。
  26. コントローラを備えるホームオートメ−ションシステムに少なくとも1つの機器を取り付けるための装置であって、
    コンピュータネットワークを介してオートメ−ションシステムのコントローラに機器をアドバタイズするための手段と、
    前記機器の能力を示す信号を前記コントローラに送信するための手段と、
    電気音響トランスデューサを用いて、ユーザからの音声入力を音声信号に変換するための手段と、
    前記音声信号において符号化された前記機器に関する制御設定を前記コントローラに送信するための手段と、を備える、装置。
JP2015545123A 2012-12-03 2013-11-22 オートメ−ションシステムの音声制御された構成 Pending JP2016502355A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/692,489 US20140156281A1 (en) 2012-12-03 2012-12-03 Voice-controlled configuration of an automation system
US13/692,489 2012-12-03
PCT/US2013/071445 WO2014088845A1 (en) 2012-12-03 2013-11-22 Voice-controlled configuration of an automation system

Publications (2)

Publication Number Publication Date
JP2016502355A true JP2016502355A (ja) 2016-01-21
JP2016502355A5 JP2016502355A5 (ja) 2016-12-15

Family

ID=49759579

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015545123A Pending JP2016502355A (ja) 2012-12-03 2013-11-22 オートメ−ションシステムの音声制御された構成

Country Status (6)

Country Link
US (1) US20140156281A1 (ja)
EP (1) EP2926502B1 (ja)
JP (1) JP2016502355A (ja)
KR (1) KR20150092206A (ja)
CN (1) CN104823411B (ja)
WO (1) WO2014088845A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017149868A1 (ja) * 2016-03-01 2017-09-08 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019521411A (ja) * 2016-04-26 2019-07-25 ビュー, インコーポレイテッド 光学的に切り換え可能なデバイスの制御
US11592723B2 (en) 2009-12-22 2023-02-28 View, Inc. Automated commissioning of controllers in a window network
US11687045B2 (en) 2012-04-13 2023-06-27 View, Inc. Monitoring sites containing switchable optical devices and controllers
US11733660B2 (en) 2014-03-05 2023-08-22 View, Inc. Monitoring sites containing switchable optical devices and controllers
US11735183B2 (en) 2012-04-13 2023-08-22 View, Inc. Controlling optically-switchable devices

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140094936A1 (en) * 2012-09-28 2014-04-03 Brent E Saunders Multi-function touch screen wall switch with video sensor system, wifi connectivity, and other integrated sensor systems
US10372397B2 (en) * 2013-03-15 2019-08-06 Infocus Corporation Multimedia output and display device selection
US9504132B2 (en) * 2013-05-28 2016-11-22 Abl Ip Holding Llc Distributed processing using resources of intelligent lighting elements of a lighting system
US9747899B2 (en) 2013-06-27 2017-08-29 Amazon Technologies, Inc. Detecting self-generated wake expressions
US10089976B2 (en) * 2013-10-14 2018-10-02 Honeywell International Inc. Building automation systems with voice control
USRE49284E1 (en) 2013-10-17 2022-11-08 Panasonic Intellectual Property Corporation Of America Method for controlling cordless telephone device, handset of cordless telephone device, and cordless telephone device
JP6309382B2 (ja) * 2013-10-17 2018-04-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America コードレス電話機器の制御方法、コードレス電話機器の子機及びコードレス電話機器
CN103928025B (zh) * 2014-04-08 2017-06-27 华为技术有限公司 一种语音识别的方法及移动终端
US9000896B1 (en) * 2014-05-30 2015-04-07 Belkin International Inc. Network addressable appliance interface device
US10560975B2 (en) 2014-04-16 2020-02-11 Belkin International, Inc. Discovery of connected devices to determine control capabilities and meta-information
US10314088B2 (en) 2014-04-16 2019-06-04 Belkin International, Inc. Associating devices and users with a local area network using network identifiers
US9526115B1 (en) * 2014-04-18 2016-12-20 Amazon Technologies, Inc. Multiple protocol support in distributed device systems
US9860076B2 (en) * 2014-05-07 2018-01-02 Vivint, Inc. Home automation via voice control
US9641885B2 (en) * 2014-05-07 2017-05-02 Vivint, Inc. Voice control component installation
US10169983B2 (en) * 2014-05-15 2019-01-01 Honeywell International Inc. Method of noise suppression for voice based interactive devices
KR102216048B1 (ko) * 2014-05-20 2021-02-15 삼성전자주식회사 음성 명령 인식 장치 및 방법
CN104202222B (zh) * 2014-08-20 2019-09-20 惠州Tcl移动通信有限公司 智能家居控制器及其通信方法
CN104168666A (zh) * 2014-08-28 2014-11-26 四川长虹电器股份有限公司 WiFi遥控智能家电设备系统及方法
CN105490890A (zh) * 2014-09-16 2016-04-13 中兴通讯股份有限公司 智能家庭终端及其控制方法
US9318107B1 (en) * 2014-10-09 2016-04-19 Google Inc. Hotword detection on multiple devices
US9811312B2 (en) * 2014-12-22 2017-11-07 Intel Corporation Connected device voice command support
US9693207B2 (en) * 2015-02-26 2017-06-27 Sony Corporation Unified notification and response system
CN104821168B (zh) * 2015-04-30 2017-03-29 北京京东方多媒体科技有限公司 一种语音识别方法及装置
CN106302034A (zh) * 2015-05-25 2017-01-04 四川长虹电器股份有限公司 一种基于wifi实现家电设备无线本地控制的方法和系统
US10274911B2 (en) 2015-06-25 2019-04-30 Intel Corporation Conversational interface for matching text of spoken input based on context model
JP6710037B2 (ja) * 2015-10-23 2020-06-17 シャープ株式会社 通信装置
CN105974804A (zh) * 2016-05-09 2016-09-28 北京小米移动软件有限公司 控制设备的方法及装置
US10382274B2 (en) * 2017-06-26 2019-08-13 Cisco Technology, Inc. System and method for wide area zero-configuration network auto configuration
CN107368541A (zh) * 2017-06-27 2017-11-21 国网浙江省电力公司宁波供电公司 一种基于调控非典型数据的解析与校对方法
CN107450390B (zh) * 2017-07-31 2019-12-10 合肥美菱物联科技有限公司 一种智能家电控制装置、控制方法及控制系统
US11662826B2 (en) * 2017-12-19 2023-05-30 Pontificia Universidad Javeriana System and method for interacting with a mobile device using a head-up display
CN108322557B (zh) * 2018-05-10 2021-09-24 海尔优家智能科技(北京)有限公司 一种应用设备发现方法、装置、计算机设备及存储介质
US10719066B2 (en) * 2018-08-29 2020-07-21 Rockwell Automation Technologies, Inc. Audio recognition-based industrial automation control
US11627012B2 (en) 2018-10-09 2023-04-11 NewTekSol, LLC Home automation management system
US11176935B2 (en) 2019-02-15 2021-11-16 Wipro Limited System and method for controlling devices through voice interaction
KR20210142783A (ko) * 2019-04-18 2021-11-26 엘지전자 주식회사 전자장치, 그 동작방법, 및 복수의 인공지능장치를 포함한 시스템
EP3836043A1 (en) * 2019-12-11 2021-06-16 Carrier Corporation A method and an equipment for configuring a service
US20220308555A1 (en) * 2021-03-24 2022-09-29 Yokogawa Electric Corporation Commissioning devices to process automation systems using portable setup devices

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11311996A (ja) * 1997-10-23 1999-11-09 Sony Internatl Europ Gmbh 音声装置及び遠隔制御可能なネットワーク機器
JP2001296881A (ja) * 2000-04-14 2001-10-26 Sony Corp 情報処理装置および方法、並びに記録媒体
JP2002318843A (ja) * 2001-04-20 2002-10-31 Misawa Homes Co Ltd 設備機器遠隔管理システム、設備機器遠隔管理装置、設備機器遠隔管理方法および記憶媒体
JP2006155329A (ja) * 2004-11-30 2006-06-15 Toshiba Corp 機器の制御方法及び装置
JP2006301998A (ja) * 2005-04-21 2006-11-02 Victor Co Of Japan Ltd 機器制御方法
JP2006318329A (ja) * 2005-05-16 2006-11-24 Sony Corp 通信システム、通信方法、通信プログラムおよび記録媒体、遠隔制御装置、コマンドセット格納装置、ならびに、電子または電気機器
JP2009104025A (ja) * 2007-10-25 2009-05-14 Panasonic Electric Works Co Ltd 音声認識制御装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL119948A (en) * 1996-12-31 2004-09-27 News Datacom Ltd Voice activated communication system and program guide
US7966078B2 (en) * 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US6513006B2 (en) * 1999-08-26 2003-01-28 Matsushita Electronic Industrial Co., Ltd. Automatic control of household activity using speech recognition and natural language
US20080228904A1 (en) * 2002-03-20 2008-09-18 Daniel Crespo-Dubie Home Gateway Architecture and State Based Distributed System and Method
US7098772B2 (en) * 2002-05-28 2006-08-29 Cohen Richard S Method and apparatus for remotely controlling a plurality of devices
US7464035B2 (en) * 2002-07-24 2008-12-09 Robert Bosch Corporation Voice control of home automation systems via telephone
KR100932813B1 (ko) * 2002-10-01 2009-12-21 엘지전자 주식회사 동일 유형의 홈 네트웍 기기를 위치별로 구분 및 표시하는장치
US7136709B2 (en) * 2003-11-04 2006-11-14 Universal Electronics Inc. Home appliance control system and methods in a networked environment
US8572249B2 (en) * 2003-12-10 2013-10-29 Aventail Llc Network appliance for balancing load and platform services
US20060075429A1 (en) * 2004-04-30 2006-04-06 Vulcan Inc. Voice control of television-related information
CN101305350A (zh) * 2005-06-09 2008-11-12 惠而浦公司 与家用电器内的至少一个部件通信以及对其进行管理的软件体系系统和方法
US8880047B2 (en) * 2005-08-03 2014-11-04 Jeffrey C. Konicek Realtime, location-based cell phone enhancements, uses, and applications
US9614964B2 (en) * 2005-08-19 2017-04-04 Nextstep, Inc. Consumer electronic registration, control and support concierge device and method
US9363346B2 (en) * 2006-05-10 2016-06-07 Marvell World Trade Ltd. Remote control of network appliances using voice over internet protocol phone
US20100150001A1 (en) * 2006-09-11 2010-06-17 Shinichi Tsuchiya Communication device
US7504930B2 (en) * 2006-12-15 2009-03-17 Joseph William Beyda Alarm clock synchronized with an electric coffeemaker
US8635316B2 (en) * 2007-10-12 2014-01-21 Pie Digital, Inc. System and method for automatic configuration and management of home network devices
US8473325B2 (en) * 2007-10-12 2013-06-25 Pie Digital, Inc. System and method for automatic configuration and management of home network devices using a hierarchical index model
US8154398B2 (en) * 2007-10-23 2012-04-10 La Crosse Technology Remote location monitoring
US20100161720A1 (en) * 2008-12-23 2010-06-24 Palm, Inc. System and method for providing content to a mobile device
KR101180349B1 (ko) * 2010-11-11 2012-09-10 박수홍 원격단말을 이용한 개인맞춤형 생활 하드웨어 제어 시스템
US20130325997A1 (en) * 2010-11-19 2013-12-05 Alektrona Corporation Remote asset control systems and methods
US20130079931A1 (en) * 2011-09-26 2013-03-28 Mohan Wanchoo Method and system to monitor and control energy

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11311996A (ja) * 1997-10-23 1999-11-09 Sony Internatl Europ Gmbh 音声装置及び遠隔制御可能なネットワーク機器
JP2001296881A (ja) * 2000-04-14 2001-10-26 Sony Corp 情報処理装置および方法、並びに記録媒体
JP2002318843A (ja) * 2001-04-20 2002-10-31 Misawa Homes Co Ltd 設備機器遠隔管理システム、設備機器遠隔管理装置、設備機器遠隔管理方法および記憶媒体
JP2006155329A (ja) * 2004-11-30 2006-06-15 Toshiba Corp 機器の制御方法及び装置
JP2006301998A (ja) * 2005-04-21 2006-11-02 Victor Co Of Japan Ltd 機器制御方法
JP2006318329A (ja) * 2005-05-16 2006-11-24 Sony Corp 通信システム、通信方法、通信プログラムおよび記録媒体、遠隔制御装置、コマンドセット格納装置、ならびに、電子または電気機器
JP2009104025A (ja) * 2007-10-25 2009-05-14 Panasonic Electric Works Co Ltd 音声認識制御装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11592723B2 (en) 2009-12-22 2023-02-28 View, Inc. Automated commissioning of controllers in a window network
US11687045B2 (en) 2012-04-13 2023-06-27 View, Inc. Monitoring sites containing switchable optical devices and controllers
US11735183B2 (en) 2012-04-13 2023-08-22 View, Inc. Controlling optically-switchable devices
US11733660B2 (en) 2014-03-05 2023-08-22 View, Inc. Monitoring sites containing switchable optical devices and controllers
WO2017149868A1 (ja) * 2016-03-01 2017-09-08 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10522145B2 (en) 2016-03-01 2019-12-31 Sony Corporation Information processing apparatus and information processing method
JP2019521411A (ja) * 2016-04-26 2019-07-25 ビュー, インコーポレイテッド 光学的に切り換え可能なデバイスの制御
JP7078206B2 (ja) 2016-04-26 2022-05-31 ビュー, インコーポレイテッド 光学的に切り換え可能なデバイスの制御

Also Published As

Publication number Publication date
CN104823411B (zh) 2019-01-01
KR20150092206A (ko) 2015-08-12
EP2926502B1 (en) 2016-06-29
WO2014088845A1 (en) 2014-06-12
CN104823411A (zh) 2015-08-05
US20140156281A1 (en) 2014-06-05
EP2926502A1 (en) 2015-10-07

Similar Documents

Publication Publication Date Title
JP2016502355A (ja) オートメ−ションシステムの音声制御された構成
CN108022590B (zh) 语音接口设备处的聚焦会话
CN113516979B (zh) 在语音接口设备处的服务器提供的视觉输出
KR102114003B1 (ko) 음성 사용자 인터페이스들의 시각적 어포던스를 위한 led 설계 언어
US20200043489A1 (en) Voice Assistant Devices
USRE48569E1 (en) Control method for household electrical appliance, household electrical appliance control system, and gateway
JP6543676B2 (ja) 送信制御装置及びプログラム
JP6016371B2 (ja) 通知システム、通知方法、及びサーバ装置
Yue et al. Voice activated smart home design and implementation
US20200104094A1 (en) Customizable embedded vocal command sets for a lighting and/or other environmental controller
WO2015084659A1 (en) Natural language control of secondary device
TWI385932B (zh) 遙控器以及其系統
CN111754997B (zh) 控制装置及其操作方法,和语音交互装置及其操作方法
CN110632854A (zh) 语音控制方法及装置、语音控制节点及系统及存储介质
CN112838967B (zh) 主控设备、智能家居及其控制装置、控制系统及控制方法
JP2017192091A (ja) 音声制御機能付きiotシステム及びその情報処理方法
JP2019066702A (ja) 対話型電子装置制御システム、対話型電子装置、対話型電子装置制御方法
WO2019128632A1 (zh) 播放音频的方法、装置和系统
US20220189480A1 (en) Voice Orchestrated Infrastructure System
JP6921311B2 (ja) 機器制御システム、機器、機器制御方法及びプログラム
US20180006869A1 (en) Control method and system, and electronic apparatus thereof
WO2017113528A1 (zh) 一种智能家居设备匹配的方法、装置、设备以及系统
JP7182154B2 (ja) 機器制御システム
CN113674738A (zh) 一种全屋分布式语音的系统和方法
JP2020014085A (ja) 操作補助装置、操作補助方法及び操作補助システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161027

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161027

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181128

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190507