JP2005500772A - ウェブカメラの画像を用いて家庭用電化装置を遠隔で制御するシステム - Google Patents
ウェブカメラの画像を用いて家庭用電化装置を遠隔で制御するシステム Download PDFInfo
- Publication number
- JP2005500772A JP2005500772A JP2003522056A JP2003522056A JP2005500772A JP 2005500772 A JP2005500772 A JP 2005500772A JP 2003522056 A JP2003522056 A JP 2003522056A JP 2003522056 A JP2003522056 A JP 2003522056A JP 2005500772 A JP2005500772 A JP 2005500772A
- Authority
- JP
- Japan
- Prior art keywords
- image
- control
- user
- command
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
- G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
- H04L12/2818—Controlling appliance services of a home automation network by calling their functionalities from a device located outside both the home and the home network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
- H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/04—Protocols specially adapted for terminals or networks with limited capabilities; specially adapted for terminal portability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/75—Indicating network or usage conditions on the user display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C2201/00—Transmission systems of control signals via wireless link
- G08C2201/40—Remote control systems using repeaters, converters, gateways
- G08C2201/42—Transmitting or receiving remote control signals via a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2807—Exchanging configuration information on appliance services in a home automation network
- H04L12/2814—Exchanging control software or macros for controlling appliance services in a home automation network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L2012/284—Home automation networks characterised by the type of medium used
- H04L2012/2841—Wireless
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L2012/2847—Home automation networks characterised by the type of home appliance used
- H04L2012/2849—Audio/video appliances
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L2012/2847—Home automation networks characterised by the type of home appliance used
- H04L2012/285—Generic home appliances, e.g. refrigerators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
Abstract
ユーザによって制御される環境の画像を生成するカメラを用いるシステムが提供される。画像は、制御装置のディスプレイモニタに表示される。制御装置は、ユーザがディスプレイモニタの画像の領域と相互作用することを可能にする。その領域は、環境の画像内に表示された制御可能な家庭用電化（CE）装置に対応する。その領域との相互作用により、CE装置が事前にプログラムされた方法で制御されることをもたらす。
Description
【技術分野】
【０００１】
本発明は特に家庭用電化（CE）装置の遠隔制御に関する。
【背景技術】
【０００２】
遠隔制御ユニットは周知である。一例は、ロイヤル・フィリップス・エレクトロニクス（Royal Philips Electronics）により製造されるプロント（Pronto）（商標）である。プロント（Pront）（商標）は、IRを介してCE装置を制御するためのいわゆる万能のプログラム可能遠隔制御ユニットである。それは、実質的に何らかの既存の家庭用電化（CE）装置のIRコードを保存することを可能にする。プロント（Pronto）（商標）は、グラフィカル・ユーザ・インタフェース（GUI）としてタッチスクリーン機能を備えたLCDを有する。プロント（Pronto）（商標）の制御機能は、ユーザ自身で完全にカスタマイズされ得る。個々の制御機能はアイコンとしてグラフィカルに表され得る。プロント（Pronto）（商標）は、ユーザがタッチスクリーンのLCDに表示され、検索され得る各ページのアイコンの各グループをクラスター化することを可能にする。
【発明の開示】
【課題を解決するための手段】
【０００３】
本発明はユーザによって制御される環境の画像を生成するためにカメラを用いる。前記画像は制御装置のディスプレイモニタに表示される。前記制御装置は、ユーザがディスプレイモニタ上のイメージの領域と相互作用することを可能にする。前記領域は、環境の画像内に表示された制御可能な家庭用電化（CE）装置に対応する。前記領域との相互作用により、CE装置が事前にプログラムされた方法で制御されることをもたらす。
【０００４】
本方法は、例えばウェブカメラ、すなわちウェブブラウザとつなげられたビデオカメラを用いて、カメラが取得しているもの、例えば生の映像又は静止画像を遠隔でユーザが見ることを可能にする。ウェブカメラで取得された画像は、ウェブサーバとインターネット又は他のデータネットワークを介して、セットトップボックス又はウェブブラウザを有するパーソナルコンピュータに送信され得る。
【０００５】
制御され得るＣＥ装置と、カメラから取得された画像の２次元座標を関連付けるために、トレーニングモードが用いられる。例えば、数回ランプをつけて消すことにより、本発明のシステムは、取得された画像のどのピクセルがランプに関連付けられているかを学習し、画像マップを構成するためにその情報を用いる。
【０００６】
一例として、本発明のシステムが家庭環境で用いられている場合、ユーザは遠隔でウェブカメラを制御し、ユーザの制御可能な家庭用装置の一部の画像を取得する。家庭用装置は、例えばランプや、スプリンクラーの装置や、コーヒーメーカーや、家庭内気候調節装置等からなる。取得された画像は、ユーザによって相互作用される制御装置のディスプレイスクリーンに表示される。装置の特定の一部を表示する画像の領域は、装置の前記の特定の一部を制御するために割り当てられたアクティブな領域を表す。例えばタッチスクリーンを介して、又は領域内でカーソルの位置を合わせてコンピュータマウスをクリックすることにより、ユーザが制御装置の前記の画像の領域をアクティブにすると、制御装置から関連する装置の一部に送信されるコマンドが生成される。
【０００７】
本発明の実施例は、ハンドヘルド装置につなげられたグラフィカル・ユーザ・インタフェース（GUI）と無線モデムを備えたハンドヘルド装置、例えばPDA（個人情報端末）を有する情報処理システムを提供する。無線モデムは、インターネットのようなデータネットワークを介してサーバとの通信を可能にする。制御ネットワークは、サーバと制御可能な装置との間につなげられる。ハンドヘルド装置は、インターネットとサーバを介して装置の無線遠隔制御装置として機能することができる。本システムはまた、ハードウェアとソフトウェアを共に備えたビデオカメラ、例えばウェブカメラを有し、PDAのLCDスクリーンに表示されるのに適した形式を合わせた静止画像を作る。
【０００８】
画像はハンドヘルド装置のグラフィカル・ユーザ・インタフェースとしての役割をする。表示されたウェブカメラの画像又はその領域がクリックされ、又は押されて、ウェブカメラの画像内に表示された遠隔制御CE又は他の電子装置に送信されるコマンドを実行する。例えば、ユーザはウェブカメラの画像のランプの画像を押し、ランプをつけたり消したりするコマンドをランプに送信するコマンドを遠隔で送信するプログラムをサーバが実行する命令をすることができる。ランプがビデオカメラの視野の範囲に存在する場合には、リアルタイムのウェブカメラのビデオ画像を介して、ランプのスイッチのオン又はオフが視覚によって確かめられ得る。
【０００９】
以下の特許文献が参照として取り込まれる。
【００１０】
インターネットを介して遠隔制御を行う無線モデムを有するPDA（PDA HAS WIRELESS MODEM FOR REMOTE CONTROL VIA THE INTERNET）としてJoost KeminkとRik Sagarにより1999年10月27日に出願された米国出願第09/427,821号。この文献は、インターネットとローカルホームサーバを介してCE装置の遠隔制御を可能にするPDAと無線モデムの組み合わせに関する。
【００１１】
サーバを介した装置の制御のためにサーバからユーザインタフェースを検索するハンドヘルド（HANDHELD RETRIEVES UI FROM SERVER FOR CONTROL OF APPARATUS VIA SERVER）としてRik Sagarにより2000年4月6日に出願された米国出願第09/544,666号。この文献は、インターネットのサーバに識別子を送信する無線モデムを有するハンドヘルドのリモコンに関する。サーバは、識別子をURLに関連付ける参照テーブルを有する。URLはインターネットの他の機械のCGIプログラムを指示する。機械はCGIプログラムの実行を通じて装置を制御する。
【００１２】
制御構成の検索を起動するリモコン（REMOTE INITIATES RETRIEVAL OF CONTROL CONFIGURATION）としてMartin FreemanとBonghan Choにより1999年11月4日に出願された米国出願第09/434,155号。この文献は、ユニットの外部のストレージ装置から制御構成の検索を起動可能なプログラム可能遠隔制御ユニットに関する。ユニットは検索された制御構成を保存するメモリと、構成を表すアイコンを表示するディスプレイと、表示されたアイコンに基づいて選択を入力するタッチスクリーンとを有する。ストレージ装置はCE装置の構成要素である。装置自体の特定の装置の制御構成を保存又はバックアップすることにより、リモコンが真に広くプログラム可能になる。
【００１３】
ユーザプロフィールに基づくインターネット可能な装置のカスタマイズされたアップグレード（CUSTOMIZED UPGRADING OF INTERNET-ENABLED DEVICES BASED ON USER-PROFILE）としてAdrian TurnerとSimon PearceとDavid EvesとAllan Timmsにより1998年9月25日に出願された米国出願第09/160,490号と、ホームネットワークの共同の側面のアップグレード（UPGRADING OF SYNERGETIC ASPECTS OF HOME NETWORKS）としてEugene Shuteynにより1998年11月10日に出願された米国出願第09/189.535号であり、双方ともに、ネットワーク可能な家庭用電化装置の特定のエンドユーザのユーザプロフィールと、前記の形式の装置の新しい技術的特性のデータベースを維持するサーバシステムに関する。プロフィールと新しい技術的特性との間に一致があり、ユーザが更新又はセールスオファーについての情報を受信したいとユーザが示していると、ユーザはネットワークを介してその特性を取得するオプションを通知される。ユーザに更なる使用の可能性又はユーザの装置の拡張を知らせるために、ユーザの装置の一部の間に相互作用が検出される。
【発明を実施するための最良の形態】
【００１４】
本発明は一例として添付の図面を参照して説明される。
【００１５】
本発明は２つの例に関連して以下に説明される。第１の例は、インターネットを介してランプをつけたり消したりするリモコンの使用である。第２の例は、ホームサーバから保存された画像を検索することに関する。
【００１６】
図１は、本発明のシステム１００のブロック図である。システム１００は、無線モデム１０４を介してデータネットワーク１０６、例えばインターネットに接続される個人情報端末（PDA）のようなハンドヘルド装置１０２、例えば3COMによって製造されたPalmIIIx又はWindows（登録商標） CEベースのハンドヘルドを含む。モデム１０４は、例えばMinstrel又はRicochetである。ノバテル・ワイヤレス（Novatel Wireless）によって販売されるMinstrelは、とりわけユーザにウェブをブラウズし、電子メールを受信することを可能にするPDAのための双方向無線モデムである。
【００１７】
更に一般的な意味において、Minstrel又はRicochetのような無線モデムは、（スループットと遅延と対象範囲内での）通信のためにインターネットを用いる何らかの形式のアプリケーションによって用いられ得るIPアドレスをハンドヘルド装置１０２に提供する。Minstrelは、携帯電話サービスプロバイダによって対応されているセルラ・デジタル・パケット・データ（Cellular Digital Packet Data）（CDPD）と称される技術を用いる。ウェブサーフィンは、CDPDの速度上限の19.2kbpsに制限される。
【００１８】
メトリコム（Metricom）からのRicochetは、28.8kbpsの範囲の更に早い接続速度を有するが、３つのメトロポリタンセンター（サンフランシスコのベイエリアとシアトルとワシントン）で対応されているのみである。本発明のシステムの遠隔制御機能は、高速のデータ速度を必要としない。通信される情報は大きさに制限がある。この例におけるデータ速度は約9,600ボーである。
【００１９】
ハンドヘルド装置１０２はPDA以外の装置であることが考えられる。例えば、ハンドヘルド装置１０２は、RF信号を出すことができる装置、又はインターネットのようなデータネットワークに直接接続された（すなわち無線でなく）パーソナルコンピュータであることが創造される。
【００２０】
システム１００は、サーバ１０８と、X-10コントローラ１１０と、X-10スイッチモジュール１１２とランプ１１４とを更に有する。X-10は電子装置の制御のための通信プロトコルである。前記プロトコルは、標準的な家庭の配線１１６で通信するX-10送信機とX-10受信機との間の通信のために設計されたものである。X-10はここでは一例として述べられる。CEBusや（IRブラスターを通じた）IR等のような電力供給線を使わない他の制御機構が実現可能である。スイッチ１１２は、コントローラ１１０の制御の下で、本線の電力供給１１６にランプ１１４を接続する。次に、コントローラ１１０はサーバ１０８から制御入力を取得する。
【００２１】
PDA１０２は、タッチスクリーン又はグラフィカルなタブレット機能を備えたディスプレイ又はグラフィカル・ユーザ・インタフェース（GUI）と、クライアントアプリケーション１２０を有する。クライアントアプリケーション１２０は、ディスプレイ１１８のソフトボタンの生成を制御する。
【００２２】
ユーザがディスプレイ１１８のオンボタンをアクティブにすると、アプリケーション１２０は無線モデム１０４を用いて、インターネット１０６を介してサーバ１０８にコマンドを送信する。サーバ１０８は、ウェブサーバ１２２を作動するPCのハードウェアと、ウェブサーバ１２２によって作動されるCGIスクリプトを含むソフトウェアモジュール１２４とを含む。CGIは共通ゲートウェイ・インタフェースを意味し、HTTPプロトコルの一部である。CGIはウェブサーバ１２２とクライアントアプリケーションのようなアプリケーションとの間で情報を往復して情報を転送するために用いられる。
【００２３】
PC１０８で作動するウェブサーバ１２２は、インターネット１０６上でPDA１０２から受信したコマンドを解釈する。解釈の機構は、例えば検索されるそれぞれの特定のコマンドが特定の動作にリンクされるPC１０８のデータベースを用いる。前記データベースはユーザによって完全にカスタマイズされ得る。この例におけるコマンドは、ランプ１１４をつけるという動作として解釈される。
【００２４】
このため、PC１０８は、例えばRS232ケーブルを介して、コントローラ１１０と通信を行い、後者にランプ１１４をつけるスイッチ１１２にコマンドを発行する命令をする。スイッチ１１２はコマンドを受信し、電力線１１６にランプ１１４を接続する。同様に、その後ユーザがディスプレイ１１８でオフボタンを押すと、クライアントアプリケーション１２０は、インターネット１０６を介して対応するコマンドをモデム１０４を介してPC１０８に送信する。ウェブブラウザ１２２はコマンドを解釈して、スイッチ１１２にランプ１１４を消す命令をコントローラ１１０にする。
【００２５】
システム１００は、ここで信頼性のあるホームサーバ（RHS）と称されるサーバ１２６と、ウェブカメラのようなビデオカメラ１２８とを更に含む。この例において、RHS１２６はサーバ１２２内の構成要素であってもよく、又は分離した低価格のサーバであってもよい。その他、ウェブサーバ１２２とスクリプト１２４はサーバ１２６の構成要素になり得る。
【００２６】
ビデオカメラ１２８は、ビデオカメラが取得しているもの、例えば生の映像又は自動的にリフレッシュされる静止画像をユーザが遠隔で見ることを可能にする。
【００２７】
RHS１２６は、少なくとも１つの映像情報源、この例ではビデオカメラ１２８からのビデオ画像から画像を受信するハードウェアとソフトウェアを含み、その画像をPDA１０２又はウェブブラウザを備えた他のコンピュータに転送する。クライアントアプリケーション１２０は、押した場合に、アプリケーション１２０にモデム１０４とインターネット１０６を介してサーバ１０８にコマンドを送信させるソフトボタン、例えば「見る」を提供する。PC１０８で作動するウェブサーバ１２２は、コマンドを受信し、それを解釈し、ビデオ画像をウェブサーバ１２２に送信するようにRHS１２６に命令する。後者は、ビデオ画像の形式をPDA１０２のGUI１１８のディスプレイに適切なように変換し、形式をあわせた画像をPC１０８のメモリ内のデータベースに保存する。
【００２８】
ユーザがクライアントアプリケーション１２０によって作られた他のソフトボタン、例えば「画像」を押す。関連付けられたコマンドがモデム１０４とインターネット１０６を介してPC１０８に送信される。ウェブブラウザ１２２がコマンドを受信し、それを解釈し、その結果、データベースから保存された画像を検索し、共通のインターネットプロトコルを介してPDA１０２にそれを戻す。そして、PDA１０２は、クライアントアプリケーション１２０の制御の下でGUI１１８に画像を表示する。
【００２９】
GUI１１８によって表示された画像は、クリックされて又は押されて、ランプ１１４と他の電子装置を遠隔で制御するクリック可能なユーザインタフェース（画像のマップ）をもたらす。例えば、ユーザは画像上のランプ１１４の画像を押し、ランプ１１４にオン／オフのコマンドを遠隔で送信するプログラムをウェブサーバ１２２に実行させる命令を行い得る。ランプ１１４がネットワーク可能（例えばインターネット可能）である場合、ランプ１１４は、固有のインターネットアドレスとウェブサーバ１１２を介して直接制御され得る。ランプ１１４がネットワーク可能でない場合、ランプ１１４はRHS１２６につなげられ、それを通じて間接的に制御可能になる。
【００３０】
セキュリティ目的のため、RHS１２６が例えばパスワードを通じて条件付きのアクセスを与えることが考えられる。定期的にリフレッシュされ、GUI１１８によって表示されるリアルタイムのウェブカメラのビデオ画像を押すことにより、ランプ１１４を制御することも更に考えられる。従って、ランプ１１４がビデオカメラの視野の範囲にある場合、ランプ１１４のスイッチのオン又はオフは、リアルタイムのビデオ画像を介して視覚的に確かめられ得る、すなわち、ついたり消えたりするランプ１１４は、画像の色又は輝度に影響を与える。他の例において、水の噴出の存在又は欠如が、スプリンクラーがオンになっているかオフになっているかを確かめる。コーヒーメーカー又はヒーターの“オン”のライトが、電源オンのモードを確かめる。
【００３１】
その他、ウェブカメラのビデオ画像上の装置の画像がクリックされ、又は押されると、スライダー・コントロール・パネル（slider control panel）のようなユーザインタフェースがポップアップし得る。例えば、ユーザがウェブカメラのビデオ画像上のラジオの画像を押して、ラジオをつけたり、音量を調整したり、カセットを再生したりする等のような、多様な制御オプションを有するスライダー・コントロール・パネル（slider control panel）をポップアップする。１つ以上の多様な制御オプションを押すことにより、その結果、ウェブサーバ１１２は、ラジオを遠隔で制御するプログラムを実行する命令が行われる。したがって、ビデオカメラ１２８によって取得されると、制御される装置の画像は直感的なユーザインタフェースとしての役割をする。
【００３２】
制御され得るCE及び電気器具と、ビデオカメラ１２８から取得されたビデオ画像の２次元座標とを関連付けるために、トレーニングモードが用いられる。例えば、数回ランプをつけて消すことにより、システムが取得された画像のどのピクセルがランプに関連付けられているかを学習し、画像マップを構成するためにその情報を用いる。
【００３３】
本発明のシステムをトレーニングして、画像又はその領域と、特定のタスク、例えば個々の制御コマンドを関連付けることも想像される。画像又はその領域は、ユーザインタフェースのコマンドを表すための役割をする。トレーニングセッション（群）の間に画像が取得され、将来の利用のために保存される。使用中、制御される装置の異なる状態を示す画像又は他の所定の表示（例えばアイコン）がユーザに提示される。ユーザは、例えば選択されたイメージをクリックすることにより、又は他の確認動作を実行することにより、選択された画像によって示された装置の状態を選択又は実施する。
【００３４】
更に、本発明のシステムは、アイコンをハイライトすることにより、又はドラッグ・アンド・ドロップのアイコンのインタフェースを用いることにより、ユーザが制御される装置の望ましい状態の表示を作ることを可能にし、各アイコンは効力、例えばライトのオン／オフを表す。システムをより容易に使えるようにするために、実際の環境（部屋や、劇場のステージ等）の画像は背景として用いられ得る。制御される装置の状態と、特定の要素、又はハイライト又はドラッグ・アンド・ドロップされるアイコンとを関連付けるようにシステムがトレーニングされる。
【００３５】
その他、ドラッグ・アンド・ドロップのアイコンは、その効果に関連付けられた特性を有する場合があり、その特性を満たす空間に配置され得る。例えば、ライト又はランプのアイコンは、ランプが照らす領域の特定の座標に関連付けられる。ライト又はランプのアイコンがドラッグ・アンド・ドロップのインタフェースの特定の座標に配置されると、ランプがオンになる。アイコンが特定の座標から移動されると、ランプがオフになる。
【００３６】
本発明の遠隔制御システムは、いくつかの概念的に簡単な例を参照して説明された。本発明を用いて、他の更に高度なシナリオが実現され得ることは明らかである。例えば、ユーザが好みのテレビ番組を記録するように装置を設定し忘れた、又は設定できなかったことに気付くと、VCR又はTiVoのような記録装置は、世界のどこからでもプログラムされ得る。これに関して、時間と位置によるパーソナル化されたテレビ（TIME-AND LOCATION-DRIVEN PERSONALIZED TV）としてEugene Shteynにより1999年4月1日に出願された米国出願第09/283,545号（代理人管理番号PHA23,633）を参照し、その内容が参照として取り込まれる。他の例として、夜遅くに車で家に戻る間に、ユーザは中央暖房装置をオンにしたり、家や庭のライトをつけたりし得る。他の例として、仕事中又は旅行中に、ユーザは家の庭のスプリンクラーの装置をプログラムしたり、又はアクティブにしたりし得る。
【００３７】
本発明のシステムはまた、遠隔のユーザに家を監視することを可能にするセキュリティシステムとして、又は親が子供を異なる場所で監視することを可能にする万一のためのベビーシッターのシステムとしての役割をすることも想像される。
【００３８】
従って、ここで説明したものは単に本発明の原理の適用の例証である。それ故に、本発明の範囲と意図を逸脱することなく、その技術に熟練した人によって他の構成と方法が実現され得る。
【図面の簡単な説明】
【００３９】
【図１】本発明によるシステムのブロック図である。
【０００１】
本発明は特に家庭用電化（CE）装置の遠隔制御に関する。
【背景技術】
【０００２】
遠隔制御ユニットは周知である。一例は、ロイヤル・フィリップス・エレクトロニクス（Royal Philips Electronics）により製造されるプロント（Pronto）（商標）である。プロント（Pront）（商標）は、IRを介してCE装置を制御するためのいわゆる万能のプログラム可能遠隔制御ユニットである。それは、実質的に何らかの既存の家庭用電化（CE）装置のIRコードを保存することを可能にする。プロント（Pronto）（商標）は、グラフィカル・ユーザ・インタフェース（GUI）としてタッチスクリーン機能を備えたLCDを有する。プロント（Pronto）（商標）の制御機能は、ユーザ自身で完全にカスタマイズされ得る。個々の制御機能はアイコンとしてグラフィカルに表され得る。プロント（Pronto）（商標）は、ユーザがタッチスクリーンのLCDに表示され、検索され得る各ページのアイコンの各グループをクラスター化することを可能にする。
【発明の開示】
【課題を解決するための手段】
【０００３】
本発明はユーザによって制御される環境の画像を生成するためにカメラを用いる。前記画像は制御装置のディスプレイモニタに表示される。前記制御装置は、ユーザがディスプレイモニタ上のイメージの領域と相互作用することを可能にする。前記領域は、環境の画像内に表示された制御可能な家庭用電化（CE）装置に対応する。前記領域との相互作用により、CE装置が事前にプログラムされた方法で制御されることをもたらす。
【０００４】
本方法は、例えばウェブカメラ、すなわちウェブブラウザとつなげられたビデオカメラを用いて、カメラが取得しているもの、例えば生の映像又は静止画像を遠隔でユーザが見ることを可能にする。ウェブカメラで取得された画像は、ウェブサーバとインターネット又は他のデータネットワークを介して、セットトップボックス又はウェブブラウザを有するパーソナルコンピュータに送信され得る。
【０００５】
制御され得るＣＥ装置と、カメラから取得された画像の２次元座標を関連付けるために、トレーニングモードが用いられる。例えば、数回ランプをつけて消すことにより、本発明のシステムは、取得された画像のどのピクセルがランプに関連付けられているかを学習し、画像マップを構成するためにその情報を用いる。
【０００６】
一例として、本発明のシステムが家庭環境で用いられている場合、ユーザは遠隔でウェブカメラを制御し、ユーザの制御可能な家庭用装置の一部の画像を取得する。家庭用装置は、例えばランプや、スプリンクラーの装置や、コーヒーメーカーや、家庭内気候調節装置等からなる。取得された画像は、ユーザによって相互作用される制御装置のディスプレイスクリーンに表示される。装置の特定の一部を表示する画像の領域は、装置の前記の特定の一部を制御するために割り当てられたアクティブな領域を表す。例えばタッチスクリーンを介して、又は領域内でカーソルの位置を合わせてコンピュータマウスをクリックすることにより、ユーザが制御装置の前記の画像の領域をアクティブにすると、制御装置から関連する装置の一部に送信されるコマンドが生成される。
【０００７】
本発明の実施例は、ハンドヘルド装置につなげられたグラフィカル・ユーザ・インタフェース（GUI）と無線モデムを備えたハンドヘルド装置、例えばPDA（個人情報端末）を有する情報処理システムを提供する。無線モデムは、インターネットのようなデータネットワークを介してサーバとの通信を可能にする。制御ネットワークは、サーバと制御可能な装置との間につなげられる。ハンドヘルド装置は、インターネットとサーバを介して装置の無線遠隔制御装置として機能することができる。本システムはまた、ハードウェアとソフトウェアを共に備えたビデオカメラ、例えばウェブカメラを有し、PDAのLCDスクリーンに表示されるのに適した形式を合わせた静止画像を作る。
【０００８】
画像はハンドヘルド装置のグラフィカル・ユーザ・インタフェースとしての役割をする。表示されたウェブカメラの画像又はその領域がクリックされ、又は押されて、ウェブカメラの画像内に表示された遠隔制御CE又は他の電子装置に送信されるコマンドを実行する。例えば、ユーザはウェブカメラの画像のランプの画像を押し、ランプをつけたり消したりするコマンドをランプに送信するコマンドを遠隔で送信するプログラムをサーバが実行する命令をすることができる。ランプがビデオカメラの視野の範囲に存在する場合には、リアルタイムのウェブカメラのビデオ画像を介して、ランプのスイッチのオン又はオフが視覚によって確かめられ得る。
【０００９】
以下の特許文献が参照として取り込まれる。
【００１０】
インターネットを介して遠隔制御を行う無線モデムを有するPDA（PDA HAS WIRELESS MODEM FOR REMOTE CONTROL VIA THE INTERNET）としてJoost KeminkとRik Sagarにより1999年10月27日に出願された米国出願第09/427,821号。この文献は、インターネットとローカルホームサーバを介してCE装置の遠隔制御を可能にするPDAと無線モデムの組み合わせに関する。
【００１１】
サーバを介した装置の制御のためにサーバからユーザインタフェースを検索するハンドヘルド（HANDHELD RETRIEVES UI FROM SERVER FOR CONTROL OF APPARATUS VIA SERVER）としてRik Sagarにより2000年4月6日に出願された米国出願第09/544,666号。この文献は、インターネットのサーバに識別子を送信する無線モデムを有するハンドヘルドのリモコンに関する。サーバは、識別子をURLに関連付ける参照テーブルを有する。URLはインターネットの他の機械のCGIプログラムを指示する。機械はCGIプログラムの実行を通じて装置を制御する。
【００１２】
制御構成の検索を起動するリモコン（REMOTE INITIATES RETRIEVAL OF CONTROL CONFIGURATION）としてMartin FreemanとBonghan Choにより1999年11月4日に出願された米国出願第09/434,155号。この文献は、ユニットの外部のストレージ装置から制御構成の検索を起動可能なプログラム可能遠隔制御ユニットに関する。ユニットは検索された制御構成を保存するメモリと、構成を表すアイコンを表示するディスプレイと、表示されたアイコンに基づいて選択を入力するタッチスクリーンとを有する。ストレージ装置はCE装置の構成要素である。装置自体の特定の装置の制御構成を保存又はバックアップすることにより、リモコンが真に広くプログラム可能になる。
【００１３】
ユーザプロフィールに基づくインターネット可能な装置のカスタマイズされたアップグレード（CUSTOMIZED UPGRADING OF INTERNET-ENABLED DEVICES BASED ON USER-PROFILE）としてAdrian TurnerとSimon PearceとDavid EvesとAllan Timmsにより1998年9月25日に出願された米国出願第09/160,490号と、ホームネットワークの共同の側面のアップグレード（UPGRADING OF SYNERGETIC ASPECTS OF HOME NETWORKS）としてEugene Shuteynにより1998年11月10日に出願された米国出願第09/189.535号であり、双方ともに、ネットワーク可能な家庭用電化装置の特定のエンドユーザのユーザプロフィールと、前記の形式の装置の新しい技術的特性のデータベースを維持するサーバシステムに関する。プロフィールと新しい技術的特性との間に一致があり、ユーザが更新又はセールスオファーについての情報を受信したいとユーザが示していると、ユーザはネットワークを介してその特性を取得するオプションを通知される。ユーザに更なる使用の可能性又はユーザの装置の拡張を知らせるために、ユーザの装置の一部の間に相互作用が検出される。
【発明を実施するための最良の形態】
【００１４】
本発明は一例として添付の図面を参照して説明される。
【００１５】
本発明は２つの例に関連して以下に説明される。第１の例は、インターネットを介してランプをつけたり消したりするリモコンの使用である。第２の例は、ホームサーバから保存された画像を検索することに関する。
【００１６】
図１は、本発明のシステム１００のブロック図である。システム１００は、無線モデム１０４を介してデータネットワーク１０６、例えばインターネットに接続される個人情報端末（PDA）のようなハンドヘルド装置１０２、例えば3COMによって製造されたPalmIIIx又はWindows（登録商標） CEベースのハンドヘルドを含む。モデム１０４は、例えばMinstrel又はRicochetである。ノバテル・ワイヤレス（Novatel Wireless）によって販売されるMinstrelは、とりわけユーザにウェブをブラウズし、電子メールを受信することを可能にするPDAのための双方向無線モデムである。
【００１７】
更に一般的な意味において、Minstrel又はRicochetのような無線モデムは、（スループットと遅延と対象範囲内での）通信のためにインターネットを用いる何らかの形式のアプリケーションによって用いられ得るIPアドレスをハンドヘルド装置１０２に提供する。Minstrelは、携帯電話サービスプロバイダによって対応されているセルラ・デジタル・パケット・データ（Cellular Digital Packet Data）（CDPD）と称される技術を用いる。ウェブサーフィンは、CDPDの速度上限の19.2kbpsに制限される。
【００１８】
メトリコム（Metricom）からのRicochetは、28.8kbpsの範囲の更に早い接続速度を有するが、３つのメトロポリタンセンター（サンフランシスコのベイエリアとシアトルとワシントン）で対応されているのみである。本発明のシステムの遠隔制御機能は、高速のデータ速度を必要としない。通信される情報は大きさに制限がある。この例におけるデータ速度は約9,600ボーである。
【００１９】
ハンドヘルド装置１０２はPDA以外の装置であることが考えられる。例えば、ハンドヘルド装置１０２は、RF信号を出すことができる装置、又はインターネットのようなデータネットワークに直接接続された（すなわち無線でなく）パーソナルコンピュータであることが創造される。
【００２０】
システム１００は、サーバ１０８と、X-10コントローラ１１０と、X-10スイッチモジュール１１２とランプ１１４とを更に有する。X-10は電子装置の制御のための通信プロトコルである。前記プロトコルは、標準的な家庭の配線１１６で通信するX-10送信機とX-10受信機との間の通信のために設計されたものである。X-10はここでは一例として述べられる。CEBusや（IRブラスターを通じた）IR等のような電力供給線を使わない他の制御機構が実現可能である。スイッチ１１２は、コントローラ１１０の制御の下で、本線の電力供給１１６にランプ１１４を接続する。次に、コントローラ１１０はサーバ１０８から制御入力を取得する。
【００２１】
PDA１０２は、タッチスクリーン又はグラフィカルなタブレット機能を備えたディスプレイ又はグラフィカル・ユーザ・インタフェース（GUI）と、クライアントアプリケーション１２０を有する。クライアントアプリケーション１２０は、ディスプレイ１１８のソフトボタンの生成を制御する。
【００２２】
ユーザがディスプレイ１１８のオンボタンをアクティブにすると、アプリケーション１２０は無線モデム１０４を用いて、インターネット１０６を介してサーバ１０８にコマンドを送信する。サーバ１０８は、ウェブサーバ１２２を作動するPCのハードウェアと、ウェブサーバ１２２によって作動されるCGIスクリプトを含むソフトウェアモジュール１２４とを含む。CGIは共通ゲートウェイ・インタフェースを意味し、HTTPプロトコルの一部である。CGIはウェブサーバ１２２とクライアントアプリケーションのようなアプリケーションとの間で情報を往復して情報を転送するために用いられる。
【００２３】
PC１０８で作動するウェブサーバ１２２は、インターネット１０６上でPDA１０２から受信したコマンドを解釈する。解釈の機構は、例えば検索されるそれぞれの特定のコマンドが特定の動作にリンクされるPC１０８のデータベースを用いる。前記データベースはユーザによって完全にカスタマイズされ得る。この例におけるコマンドは、ランプ１１４をつけるという動作として解釈される。
【００２４】
このため、PC１０８は、例えばRS232ケーブルを介して、コントローラ１１０と通信を行い、後者にランプ１１４をつけるスイッチ１１２にコマンドを発行する命令をする。スイッチ１１２はコマンドを受信し、電力線１１６にランプ１１４を接続する。同様に、その後ユーザがディスプレイ１１８でオフボタンを押すと、クライアントアプリケーション１２０は、インターネット１０６を介して対応するコマンドをモデム１０４を介してPC１０８に送信する。ウェブブラウザ１２２はコマンドを解釈して、スイッチ１１２にランプ１１４を消す命令をコントローラ１１０にする。
【００２５】
システム１００は、ここで信頼性のあるホームサーバ（RHS）と称されるサーバ１２６と、ウェブカメラのようなビデオカメラ１２８とを更に含む。この例において、RHS１２６はサーバ１２２内の構成要素であってもよく、又は分離した低価格のサーバであってもよい。その他、ウェブサーバ１２２とスクリプト１２４はサーバ１２６の構成要素になり得る。
【００２６】
ビデオカメラ１２８は、ビデオカメラが取得しているもの、例えば生の映像又は自動的にリフレッシュされる静止画像をユーザが遠隔で見ることを可能にする。
【００２７】
RHS１２６は、少なくとも１つの映像情報源、この例ではビデオカメラ１２８からのビデオ画像から画像を受信するハードウェアとソフトウェアを含み、その画像をPDA１０２又はウェブブラウザを備えた他のコンピュータに転送する。クライアントアプリケーション１２０は、押した場合に、アプリケーション１２０にモデム１０４とインターネット１０６を介してサーバ１０８にコマンドを送信させるソフトボタン、例えば「見る」を提供する。PC１０８で作動するウェブサーバ１２２は、コマンドを受信し、それを解釈し、ビデオ画像をウェブサーバ１２２に送信するようにRHS１２６に命令する。後者は、ビデオ画像の形式をPDA１０２のGUI１１８のディスプレイに適切なように変換し、形式をあわせた画像をPC１０８のメモリ内のデータベースに保存する。
【００２８】
ユーザがクライアントアプリケーション１２０によって作られた他のソフトボタン、例えば「画像」を押す。関連付けられたコマンドがモデム１０４とインターネット１０６を介してPC１０８に送信される。ウェブブラウザ１２２がコマンドを受信し、それを解釈し、その結果、データベースから保存された画像を検索し、共通のインターネットプロトコルを介してPDA１０２にそれを戻す。そして、PDA１０２は、クライアントアプリケーション１２０の制御の下でGUI１１８に画像を表示する。
【００２９】
GUI１１８によって表示された画像は、クリックされて又は押されて、ランプ１１４と他の電子装置を遠隔で制御するクリック可能なユーザインタフェース（画像のマップ）をもたらす。例えば、ユーザは画像上のランプ１１４の画像を押し、ランプ１１４にオン／オフのコマンドを遠隔で送信するプログラムをウェブサーバ１２２に実行させる命令を行い得る。ランプ１１４がネットワーク可能（例えばインターネット可能）である場合、ランプ１１４は、固有のインターネットアドレスとウェブサーバ１１２を介して直接制御され得る。ランプ１１４がネットワーク可能でない場合、ランプ１１４はRHS１２６につなげられ、それを通じて間接的に制御可能になる。
【００３０】
セキュリティ目的のため、RHS１２６が例えばパスワードを通じて条件付きのアクセスを与えることが考えられる。定期的にリフレッシュされ、GUI１１８によって表示されるリアルタイムのウェブカメラのビデオ画像を押すことにより、ランプ１１４を制御することも更に考えられる。従って、ランプ１１４がビデオカメラの視野の範囲にある場合、ランプ１１４のスイッチのオン又はオフは、リアルタイムのビデオ画像を介して視覚的に確かめられ得る、すなわち、ついたり消えたりするランプ１１４は、画像の色又は輝度に影響を与える。他の例において、水の噴出の存在又は欠如が、スプリンクラーがオンになっているかオフになっているかを確かめる。コーヒーメーカー又はヒーターの“オン”のライトが、電源オンのモードを確かめる。
【００３１】
その他、ウェブカメラのビデオ画像上の装置の画像がクリックされ、又は押されると、スライダー・コントロール・パネル（slider control panel）のようなユーザインタフェースがポップアップし得る。例えば、ユーザがウェブカメラのビデオ画像上のラジオの画像を押して、ラジオをつけたり、音量を調整したり、カセットを再生したりする等のような、多様な制御オプションを有するスライダー・コントロール・パネル（slider control panel）をポップアップする。１つ以上の多様な制御オプションを押すことにより、その結果、ウェブサーバ１１２は、ラジオを遠隔で制御するプログラムを実行する命令が行われる。したがって、ビデオカメラ１２８によって取得されると、制御される装置の画像は直感的なユーザインタフェースとしての役割をする。
【００３２】
制御され得るCE及び電気器具と、ビデオカメラ１２８から取得されたビデオ画像の２次元座標とを関連付けるために、トレーニングモードが用いられる。例えば、数回ランプをつけて消すことにより、システムが取得された画像のどのピクセルがランプに関連付けられているかを学習し、画像マップを構成するためにその情報を用いる。
【００３３】
本発明のシステムをトレーニングして、画像又はその領域と、特定のタスク、例えば個々の制御コマンドを関連付けることも想像される。画像又はその領域は、ユーザインタフェースのコマンドを表すための役割をする。トレーニングセッション（群）の間に画像が取得され、将来の利用のために保存される。使用中、制御される装置の異なる状態を示す画像又は他の所定の表示（例えばアイコン）がユーザに提示される。ユーザは、例えば選択されたイメージをクリックすることにより、又は他の確認動作を実行することにより、選択された画像によって示された装置の状態を選択又は実施する。
【００３４】
更に、本発明のシステムは、アイコンをハイライトすることにより、又はドラッグ・アンド・ドロップのアイコンのインタフェースを用いることにより、ユーザが制御される装置の望ましい状態の表示を作ることを可能にし、各アイコンは効力、例えばライトのオン／オフを表す。システムをより容易に使えるようにするために、実際の環境（部屋や、劇場のステージ等）の画像は背景として用いられ得る。制御される装置の状態と、特定の要素、又はハイライト又はドラッグ・アンド・ドロップされるアイコンとを関連付けるようにシステムがトレーニングされる。
【００３５】
その他、ドラッグ・アンド・ドロップのアイコンは、その効果に関連付けられた特性を有する場合があり、その特性を満たす空間に配置され得る。例えば、ライト又はランプのアイコンは、ランプが照らす領域の特定の座標に関連付けられる。ライト又はランプのアイコンがドラッグ・アンド・ドロップのインタフェースの特定の座標に配置されると、ランプがオンになる。アイコンが特定の座標から移動されると、ランプがオフになる。
【００３６】
本発明の遠隔制御システムは、いくつかの概念的に簡単な例を参照して説明された。本発明を用いて、他の更に高度なシナリオが実現され得ることは明らかである。例えば、ユーザが好みのテレビ番組を記録するように装置を設定し忘れた、又は設定できなかったことに気付くと、VCR又はTiVoのような記録装置は、世界のどこからでもプログラムされ得る。これに関して、時間と位置によるパーソナル化されたテレビ（TIME-AND LOCATION-DRIVEN PERSONALIZED TV）としてEugene Shteynにより1999年4月1日に出願された米国出願第09/283,545号（代理人管理番号PHA23,633）を参照し、その内容が参照として取り込まれる。他の例として、夜遅くに車で家に戻る間に、ユーザは中央暖房装置をオンにしたり、家や庭のライトをつけたりし得る。他の例として、仕事中又は旅行中に、ユーザは家の庭のスプリンクラーの装置をプログラムしたり、又はアクティブにしたりし得る。
【００３７】
本発明のシステムはまた、遠隔のユーザに家を監視することを可能にするセキュリティシステムとして、又は親が子供を異なる場所で監視することを可能にする万一のためのベビーシッターのシステムとしての役割をすることも想像される。
【００３８】
従って、ここで説明したものは単に本発明の原理の適用の例証である。それ故に、本発明の範囲と意図を逸脱することなく、その技術に熟練した人によって他の構成と方法が実現され得る。
【図面の簡単な説明】
【００３９】
【図１】本発明によるシステムのブロック図である。
Claims (10)
- ユーザが遠隔で装置を制御することを可能にする方法であって、
サーバにつなげられたカメラを介して、前記装置の画像を取得し、
データネットワークを介して、前記サーバから前記画像を検索し、
ディスプレイモニタに前記画像を表示し、
制御インタフェースとのユーザの相互作用により、前記装置の制御のためのコマンドと前記画像とを関連付ける制御インタフェースと、前記ユーザが相互作用することを可能にすることを有する方法。 - 請求項１に記載の方法であって、
前記ユーザが前記装置の複数の制御可能な構成要素を制御することを可能にするステップと、
前記複数の制御可能な構成要素のそれぞれ１つの制御のためのそれぞれのコマンドと、前記画像のそれぞれの領域とを関連付けるステップと、
前記複数の制御可能な構成要素の前記それぞれ１つの前記制御を実施するために、前記ユーザが前記それぞれの領域と相互作用することを可能にするステップと
を更に有する方法。 - 遠隔で装置を制御する遠隔制御システムであって、
前記装置の画像を取得するカメラと、
ネットワークを介して、前記装置の前記画像を表すデータを受信するデータ入力と、
前記画像の表示のためのディスプレイモニタと、
制御インタフェースとのユーザの相互作用により、前記装置の制御のためのコマンドと前記画像とを関連付ける制御インタフェースと
を有するシステム。 - 請求項３に記載のシステムであって、
前記ネットワークがインターネットであるシステム。 - 請求項３に記載のシステムであって、
無線モデムを有する個人情報端末が、データ入力と、ディスプレイモニタと、前記ネットワークを介してサーバと無線により通信する制御インタエースとを有するシステム。 - 請求項５に記載のシステムであって、
前記サーバと前記装置との間に制御ネットワークがつなげられたシステム。 - 請求項３に記載のシステムであって、
前記制御インタフェースとの前記ユーザの相互作用により、前記装置の制御のためのコマンドと前記画像の領域とを関連付けるソフトウェアを更に有するシステム。 - 遠隔で装置を制御する遠隔制御装置であって、
制御インタフェースとのユーザの相互作用により、制御ネットワークを介して前記装置の制御のためのコマンドと前記装置のビデオ画像とを関連付ける制御インタフェースを有する装置。 - 請求項８に記載の装置であって、
前記装置の前記ビデオ画像がビデオカメラによって取得され、前記制御ネットワークにつなげられたネットワークを介して前記制御インタフェースに送信される装置。 - 請求項８に記載の装置であって、
前記制御インタフェースが前記カメラを制御するための制御を有する装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/932,105 US20030037341A1 (en) | 2001-08-17 | 2001-08-17 | System for remotely controlling consumer electronics using a web-cam image |
| PCT/IB2002/003306 WO2003017225A1 (en) | 2001-08-17 | 2002-08-12 | System for remotely controlling consumer electronics using a web-cam image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005500772A true JP2005500772A (ja) | 2005-01-06 |
Family
ID=25461776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003522056A Withdrawn JP2005500772A (ja) | 2001-08-17 | 2002-08-12 | ウェブカメラの画像を用いて家庭用電化装置を遠隔で制御するシステム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20030037341A1 (ja) |
| EP (1) | EP1421567A1 (ja) |
| JP (1) | JP2005500772A (ja) |
| WO (1) | WO2003017225A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916501A (zh) * | 2010-07-30 | 2010-12-15 | 海信集团有限公司 | 遥控方法、受控方法以及相关装置 |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4178697B2 (ja) * | 1999-11-18 | 2008-11-12 | ソニー株式会社 | 携帯型情報処理端末、情報入出力システム及び情報入出力方法 |
| JP4629929B2 (ja) * | 2001-08-23 | 2011-02-09 | 株式会社リコー | デジタルカメラシステム及びこの制御方法 |
| US8014768B2 (en) * | 2003-04-30 | 2011-09-06 | Disney Enterprises, Inc. | Mobile phone multimedia controller |
| US7464110B2 (en) * | 2004-06-30 | 2008-12-09 | Nokia Corporation | Automated grouping of image and other user data |
| US20060004834A1 (en) * | 2004-06-30 | 2006-01-05 | Nokia Corporation | Dynamic shortcuts |
| US20060070108A1 (en) * | 2004-09-30 | 2006-03-30 | Martin Renkis | Wireless video surveillance system & method with digital input recorder interface and setup |
| US20060095539A1 (en) | 2004-10-29 | 2006-05-04 | Martin Renkis | Wireless video surveillance system and method for mesh networking |
| US8457314B2 (en) | 2004-09-23 | 2013-06-04 | Smartvue Corporation | Wireless video surveillance system and method for self-configuring network |
| US7728871B2 (en) | 2004-09-30 | 2010-06-01 | Smartvue Corporation | Wireless video surveillance system & method with input capture and data transmission prioritization and adjustment |
| US8842179B2 (en) | 2004-09-24 | 2014-09-23 | Smartvue Corporation | Video surveillance sharing system and method |
| DE102004047674A1 (de) * | 2004-09-30 | 2006-04-13 | Siemens Ag | Verfahren und Vorrichtung zur multimedia-gestützten Darstellung eines Gegenstandes im Internet |
| US8456534B2 (en) * | 2004-10-25 | 2013-06-04 | I-Interactive Llc | Multi-directional remote control system and method |
| US20060118636A1 (en) * | 2004-12-07 | 2006-06-08 | Planready, Inc. | System and method for coordinating movement of personnel |
| US20060210278A1 (en) * | 2005-03-21 | 2006-09-21 | Cregg Daniel B | Remote operation of local or distant infrared-controllable and non-infrared-controllable devices |
| US9633183B2 (en) | 2009-06-19 | 2017-04-25 | Uniloc Luxembourg S.A. | Modular software protection |
| US20110252328A1 (en) * | 2010-04-12 | 2011-10-13 | Jeyhan Karaoguz | System and method in a network controller for remotely monitoring and/or controlling devices |
| US8453186B2 (en) * | 2010-09-15 | 2013-05-28 | At&T Intellectual Property I, L.P. | Method and system for remote control |
| WO2012079626A1 (en) * | 2010-12-15 | 2012-06-21 | Telefonaktiebolaget Lm Ericsson (Publ) | System for controlling a telecommunication network node, method and computer program therefor |
| JP5684774B2 (ja) * | 2012-12-10 | 2015-03-18 | 株式会社エナリス | スケジュール管理システム、およびプログラム |
| US10306467B2 (en) * | 2013-04-11 | 2019-05-28 | Uniloc 2017 Llc | Shared state among multiple devices |
| JP6465541B2 (ja) * | 2013-08-06 | 2019-02-06 | キヤノン株式会社 | 通信装置、再生装置、及びその方法、並びにプログラム |
| CN103747192B (zh) * | 2014-01-06 | 2017-05-24 | 联想(北京)有限公司 | 一种信息处理方法和电子设备 |
| US9762436B2 (en) * | 2014-02-25 | 2017-09-12 | Red Hat, Inc. | Unified and persistent network configuration |
| US10706426B2 (en) * | 2014-04-30 | 2020-07-07 | Ncr Corporation | Automated remote transaction assistance |
| KR102334077B1 (ko) * | 2014-12-01 | 2021-12-03 | 삼성전자주식회사 | 부착 기기 및 이의 전자 기기 제어 방법 |
| CN106019951B (zh) * | 2015-03-29 | 2021-05-18 | 朱保东 | 一种智能家居系统及其产品 |
| US10713633B2 (en) * | 2017-07-26 | 2020-07-14 | The Toronto-Dominion Bank | Computing device and method to perform a data transfer using a document |
| US10855730B2 (en) * | 2017-10-31 | 2020-12-01 | Crestron Electronics, Inc. | Clean video switch among multiple video feeds in a security system |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5410326A (en) * | 1992-12-04 | 1995-04-25 | Goldstein; Steven W. | Programmable remote control device for interacting with a plurality of remotely controlled devices |
| US5524195A (en) * | 1993-05-24 | 1996-06-04 | Sun Microsystems, Inc. | Graphical user interface for interactive television with an animated agent |
| DE69432199T2 (de) * | 1993-05-24 | 2004-01-08 | Sun Microsystems, Inc., Mountain View | Graphische Benutzerschnittstelle mit Verfahren zur Schnittstellebildung mit fernsteuernden Einrichtungen |
| JPH07162843A (ja) * | 1993-12-02 | 1995-06-23 | Canon Inc | 遠隔制御装置及び画像入力装置 |
| US6618754B1 (en) * | 1995-10-23 | 2003-09-09 | Sun Microsystems, Inc. | System for transmission of embedded applications over a network |
| US6010881A (en) * | 1996-02-20 | 2000-01-04 | Smithkline Beecham Corporation | RibG |
| US8073921B2 (en) * | 1997-07-01 | 2011-12-06 | Advanced Technology Company, LLC | Methods for remote monitoring and control of appliances over a computer network |
| ES2291221T3 (es) * | 1999-09-27 | 2008-03-01 | Koninklijke Philips Electronics N.V. | Pda que presenta modem inalambrico para control a distancia a traves de internet. |
| US20010034754A1 (en) * | 2000-03-17 | 2001-10-25 | Elwahab Amgad Mazen | Device, system and method for providing web browser access and control of devices on customer premise gateways |
| US7337217B2 (en) * | 2000-07-21 | 2008-02-26 | Samsung Electronics Co., Ltd. | Architecture for home network on world wide web |
| US20020141657A1 (en) * | 2001-03-30 | 2002-10-03 | Robert Novak | System and method for a software steerable web Camera |
-
2001
- 2001-08-17 US US09/932,105 patent/US20030037341A1/en not_active Abandoned
-
2002
- 2002-08-12 JP JP2003522056A patent/JP2005500772A/ja not_active Withdrawn
- 2002-08-12 EP EP02755514A patent/EP1421567A1/en not_active Withdrawn
- 2002-08-12 WO PCT/IB2002/003306 patent/WO2003017225A1/en not_active Application Discontinuation
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916501A (zh) * | 2010-07-30 | 2010-12-15 | 海信集团有限公司 | 遥控方法、受控方法以及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1421567A1 (en) | 2004-05-26 |
| WO2003017225A1 (en) | 2003-02-27 |
| US20030037341A1 (en) | 2003-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2005500772A (ja) | ウェブカメラの画像を用いて家庭用電化装置を遠隔で制御するシステム | |
| JP5557798B2 (ja) | マルチデバイスコントロール用ユーザインタフェース | |
| US7668990B2 (en) | Method of controlling a device to perform an activity-based or an experience-based operation | |
| EP1851596B1 (en) | Home appliance identification and control in a networked environment | |
| US8116889B2 (en) | Method, system, and computer program product for managing controlled residential or non-residential environments | |
| KR101378555B1 (ko) | 제어된 환경 내의 컴포넌트를 자동으로 관리하기 위한 방법, 시스템, 및 컴퓨터 판독가능 기록 매체 | |
| US20110105041A1 (en) | Remote control device, internet home applicance, remote control system, and remote control method | |
| CA2543993A1 (en) | Home appliance control system and methods in a networked environment | |
| US11592961B2 (en) | Selecting a picture of a device to identify an associated codeset | |
| US20020156860A1 (en) | Personal server system | |
| EP1133860B1 (en) | Pda has wireless modem for remote control via the internet | |
| JP2008040915A (ja) | 遠隔操作システム、通信端末、サーバ装置、およびコンピュータプログラム | |
| JP2002345057A (ja) | リモートコントロール装置 | |
| JP2003125466A (ja) | 遠隔操作システム | |
| KR20060007206A (ko) | 이동통신 단말기를 이용한 가전기기의 원격 제어 시스템 | |
| JP2004500751A (ja) | ユニバーサル遠隔制御ユニット | |
| KR20040084631A (ko) | 이동단말기를 이용한 홈 네트워크 제어시스템 및 제어방법 | |
| JP2006526320A (ja) | 電子装置を制御する機器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050809 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20060529 |