JP2016524397A - 画像を使用した遠隔制御プログラミング - Google Patents
画像を使用した遠隔制御プログラミング Download PDFInfo
- Publication number
- JP2016524397A JP2016524397A JP2016514489A JP2016514489A JP2016524397A JP 2016524397 A JP2016524397 A JP 2016524397A JP 2016514489 A JP2016514489 A JP 2016514489A JP 2016514489 A JP2016514489 A JP 2016514489A JP 2016524397 A JP2016524397 A JP 2016524397A
- Authority
- JP
- Japan
- Prior art keywords
- image
- remote control
- remotely controllable
- control device
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
- H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42208—Display device provided on the remote control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42225—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details characterized by types of remote control, e.g. universal remote control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42226—Reprogrammable remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Details Of Television Systems (AREA)
- Selective Calling Equipment (AREA)
Abstract
リモコンの撮像能力を活用して、遠隔で制御可能なデバイスを自動で識別し、適宜、遠隔制御装置をプログラミングする。遠隔制御装置は、内蔵の画像装置を使用して遠隔で制御可能なデバイスの画像を取得する。画像を処理し、データベースと比較してデバイスの特定のタイプを決定する。他のバリエーションは、遠隔制御装置の位置および/または制御可能なデバイスの位置の情報を含んでデバイスを決定および制御するのを容易にする。
Description
人々は、異なるリモコンによって制御されるデバイスを自宅内で増やす傾向にある。いくつかの企業は、同じメーカーからの複数のデバイスを制御するためのリモコンを提供する。異なるブランドからのデバイスを持つ人々のために、いくつかのタイプの汎用リモコンが市場に出ている。しかしながら、ユーザは、それらのデバイスの各々のために汎用リモコンをプログラムしなければならない。そのようなリモコンを使用するとき、各デバイスはどのデバイスが制御されるかを示す選択ボタンを介して選択されなければならない。
汎用リモコンは、選択ボタンを使用せずに個別のデバイスに割り当てられ、異なるデバイスの動作制御を変更する。これは、内蔵されたカメラおよび他のセンサを備えたリモコンによって達成される。これは、上記リモコンが、新しいデバイスの写真を単に撮ることによって遠隔で制御可能なデバイスのためにプログラムされることを可能にする。上記写真は、上記リモコンがソフトウェアおよび/またはデータベースのルックアップテーブルを使用して自動的に上記デバイスを識別することを可能にする。視覚認識を使用することにより、デバイスは、単に上記リモコンを上記デバイスに向けるだけで制御される。上記リモコンにどのデバイスを制御する必要があるかを認識させるために選択ボタンを使用する必要がない。
上記は、主題の実施形態の幾つかの態様に基本的な理解を提供するために主題の簡単な概要を提示する。この概要は、主題の広範囲な概説ではない。これは、実施形態のキーとなる/決定的な要素を特定すること、又は主題の範囲を画定することを意図しない。その唯一の目的は、後述するより詳細な説明への導入として、簡易的な形式で主題のいくつかの概念を提示することである。
前述のおよび関連する目的を達成するために、実施形態の特定の具体的態様は、後述の記載および添付の図面に関連してここで説明する。これら態様は、しかし、主題の原則が採用され得る様々な方法のいくつかを示し、主題が全てのその様な態様および同等なものを含むことを目的としている。主題の他の長所および新規の構成は、図面と併せて考えるとき、後述の詳細な説明から明らかにできる。
主題をここで図面を参照して説明し、同様の参照番号は、全体を通して、同様の要素に言及するために使用される。以下の記載では、説明を目的として、詳細な理解を提供するために、多数の具体的な詳細を示す。これは明らかであるが、主題の実施形態はこれらの具体的詳細なしに実行可能である。他の例では、周知の構造および装置を、実施形態を説明し易くするためにブロック図の形式で示す。
プロセッサにより提供されるとき、機能は、単一の専用プロセッサにより、単一の共有プロセッサにより、又はいくつかを共有できる、複数の個別のプロセッサにより、提供される。さらに、「プロセッサ」又は「コントローラ」という単語の明確な使用は、専らソフトウェアを実施できるハードウェアのみを参照するよう構成されるべきでなく、デジタルシグナルプロセッサ(「DSP」)ハードウェア、ソフトウェアを記憶する読み出し専用メモリ(「ROM」)、ランダムアクセスメモリ(「RAM」)、および不揮発性メモリを、制限なく、暗に含むことができる。さらに、本発明の例および実施形態を述べる本明細書での全ての記述は、構造的および機能的等価物の両方を包含することを意図する。加えて、そのような等価物は、現在周知の等価物と同様に今後開発される等価物(すなわち、構造に関係なく、同じ機能を実行するよう開発された要素)も含む。
汎用リモコン(RC)は、それが他のデバイスを制御できるようになる前に、ユーザによってカスタマイズされることが必要である。過去において、これは制御されるデバイスに関連付けられたキー番号を入力することにより達成されている。スマートRCは、アルファ番号のキーパッドを有し、ブランドおよびモデル名を直接入力できる。他のタイプの方法は、「学習モデル」と呼ばれ、その汎用RCは元のRCから送信された情報を直接記録する。
遠隔制御される所望のデバイスが、内部のおよび/または外部のデータベース(例えば、インターネットを介した「クラウド」内の)を使用することにより認識されるように、ユーザが内蔵の画像装置で制御されるデバイスの画像を撮るために使用できるRCが本明細書で開示される遠隔制御。認識が上手くいかない場合、RCは、より重要な詳細の可能性のある、型プレートおよび/またはユーザマニュアルの表紙など、別の画像を撮ることをユーザに要求する。デバイスの名前およびモデルを含む紙であっても、操作制御コマンドの正しいセットがRCに提供されることを可能にする良好な認識を導くことができる。
図1に、内蔵の画像装置104(例えば、写真カメラ、ビデオカメラ、赤外線カメラなど)を備えた遠隔制御システム100を示し、RC102の認識および制御のための要素を示す。画像装置104は、RCシステム(例えば、RCは、RC対応のソフトウェアを備えたスマートフォンなどであり得る)の既存の要素とすることができる。RC102は、遠隔で制御するデバイスの視覚認識を提供する画像装置104を含む。画像装置104の次に、RC102は、処理ユニット106、いくつかのメモリ108(例えば、EPROM)、および送信器(例えば、赤外線(IR)および/または無線周波(RF))110を含む。赤外線は見通し線用に使用され、一方、無線周波は、見通し線が利用できないときに使用される傾向にある。プロセッサ106は、画像装置104から受信した画像を処理して、RC102をプログラミングするための、および/またはRC102により制御されるデバイスを認識するための、デバイスの識別を容易にする。画像装置104は、これまでの技術よりもフラストレーションなく異なるデバイスを制御することを可能にする。これは、プログラミング(汎用RCのカスタマイズ)の方法および単一のRCにより制御される異なるデバイス間の区別の方法を含む。
画像装置104は、例えば、写真カメラのようなシングルフレーム画像装置であってもよく、および/または例えば、ビデオカメラのようなマルチ画像装置であってもよい。画像装置104がマルチ画像装置の能力がある場合、シングルフレームが選択されて(例えば最良の画像など)、デバイス決定に使用される。決定プロセスの間、2つ以上の画像を使用することも可能である。画像装置104は、例えば赤外線画像など、人間の知覚の範囲外の周波数を捉えることも含む。熱画像も、デバイスの識別に使用することができる(例えば、電力および増幅要素の位置に沿った電力消費を、どのユニットが遠隔で制御可能なデバイスであるかを決定するために使用することができる)。
メモリ108を、認識のために使用される画像装置104からのパターンおよび/または画像を記憶するために使用することができる。これは、RC102が外部接続(例えば、情報を取得するためのインターネットとの無線接続など)を必要とせず素早くデバイスを識別することを可能にする。ユーザインタフェース112は、ボタン、インジケータ、および/またはタッチスクリーンなど、フィードバック能力を備えたものから成ることができる。これは、2つ以上のデバイスが1つの画像に基づき可能である場合(例えば、イーサネット接続を有する/有さないモデル、同じモデルだが色々な可能なファームウェアを備えるモデルなど)、可能なRC識別の選択をユーザに提供するためのディスプレイを含むこともできる。選択的に、代替の/追加のセンサ114および/またはネットワーク接続能力を提供することができる。ネットワーク接続能力は、例えば、ローカルエリアネットワーク(LAN)、ブルートゥースおよび/またはワイドエリアネットワーク(WAN)などへの有線および/または無線接続を含むことができる。
図2に、リモコンの認識およびプログラミングサイクルの方法200を示す。方法200は、通常の操作制御モードにおけるリモコンで始まる(202)。プログラミングモードは、その後、RCで選択される(204)。次に、RCで制御されるデバイスの画像が撮られる(206)。RCは、RCにより撮られた1つの画像および/または複数の画像に基づきデバイスの認識を試みる(208)。デバイスが認識された場合、デバイスを制御するためのRCコードは、自動的におよび/またはユーザメニューの支援などと共に適用される(210)。RCは、その後、通常の操作制御モード(例えば、RCプログラミングモードに対するRC制御モード)に戻る(212)。
デバイスが画像を使用して認識されない場合、RC装置によって代替画像をユーザに提案することができる。これら代替画像ビューは、限定されないが、型プレート、バーコードおよび/またはマニュアルページなどを含むことができる。同様に、デバイスがRCにより認識されない場合、内蔵の無線設備を利用し、接続を試み、デバイスのダイアログを介して完全な識別を得ているデバイスを認識し、又は、デバイスおよびマルチメディアシステム/サーバ若しくはクラウドサーバによって(例えば、DNLA、インターネットなどを介して)一般的に広められた通信から有益な情報を抽出することができる(214)。これは、他の情報として、デバイスタイプ(TV、レコーダ、DVDプレーヤなど)、企業の識別子またはマックアドレスを含むことができる。この追加の情報を、デバイスを識別するために、単独でまたは(撮られた複数の画像を含む)他と組み合わせて使用することができる。これは、限定されないが、インターネットデータベースに接続すること、メーカーの遠隔サーバに接続すること、および/または遠隔データベースに接続することを含むことができる(218)。接続方法は、限定されないが、Wi−Fi、ブルートゥースおよび/または有線接続などを含むことができる。画像が内蔵されたデータベースを使用してRCに認識される場合(216)、RC制御コードを適用し(210)、通常の制御モードに戻す(212)。しかし、内蔵されたデータベースが216の結果をもたらさない場合、外部のデータベース(例えば、インターネットクラウド、遠隔サーバなど)に接続することができる(218)。認識が外部データベースを介して達成された場合、RC制御コードをデバイス用にプログラミングし、RCは通常の制御モードに戻る(212)。内部および外部のデータベースの両方がデバイスの認識を失敗する場合(220)、ユーザがRCを手動で設定することができる(222)。
図3の例示方法300に示すように、例えば、テレビのようなデバイスをプログラミングする代替方法を、「総当たりな(brute force)」手法で行うことができる。すなわち、RCを、画像装置がTVセットを向くように配置する(302)。RCは、(画像装置により認識される)TVがつき(306、308、310)、次に更なる典型的なコード、例えば、消す、「チャネルのアップ/ダウン」(312)、輝度の制御などを確認するまで、利用可能な全てのコードを調べる(304)。ディスプレイが反応する場合(314)、コードセットが検出される(316)。反応がない場合、ディスプレイが反応するまで(314)他のコードが試される(318)。RCがマイク(電話として動作するためにスマートフォンに通常要求されるセンサ)のような別のセンサを含む場合、音声でも確認することができる。
ユーザが制御することを所望するデバイスは、RCがデバイスと直接通信することを可能にする通信方法を有することができる。これは、例えば、ブルートゥース接続、LAN接続(例えば、アップルのAirplayのようなもの)などであり得る。これは、RCが画像認識の必要とせずに直接デバイスを識別することを可能にする。
一度、RCが部屋でデバイスを認識し、ユーザがそれらのデバイスを制御する用意をすると、RCの画像装置は、RCが制御のために使用されているデバイスはどれかを判定するために再度使用される。例えば、テレビを制御するために、RCがデバイスに向けられ、デバイスがTVとして認識される。各コードはTVを制御するために送信される。DVDプレーヤを制御するために、RCはDVDプレーヤなどに向けられる。これらのデバイスは、プログラミングのために使用されたパターンによって、並びに/または、内部および/若しくは外部のデータベースに格納される視覚的特徴(デザイン)によって認識される。TVがプログラミングステップにおいて認識されなかった場合、「リンクステップ」は、モデルを識別されなかった画像とリンクするためになされる。画像からブランドおよびモデルを認識することは、RCがテレビに向けられたことを検出することよりも難しい。
検出性を高めるために、特定のパターンを、製造者および/またはユーザがデバイスの前面に追加することができる。これらのパターンは、製品名、ラベルおよび/または他の製品と区別するデザイン要素であり得る。これらの要素は、人の目で見えることは全く必要ない(例えば、紫外線および/または赤外線の要素)。Wi−Fiおよび/またはブルートゥースのような追加のチャネルがデバイスの検出および区別を支援することができることは当業者には明らかである。
RCをより柔軟に作るために、画像を、自動的におよび/またはユーザからの入力を介してデバイスに割り当てることができる。よって、RCは、マッピングモードおよび/またはアプリケーションモードを含むことができる。マッピングモードの間、ユーザは、画像(例えば、景色(view)、風景(scenery)または風景における動き)と、機器および/またはモデルなどとをペアにする。ユーザは、特定のパターンを特定のデバイスに割り当てることができる。これは、ユーザが部屋の中のいかなるもの(例えば、壁の写真、カップボード、風景および/またはTV新聞など)へも向けさせ、それをより早く認識される機器に割り当てることができることを意味する。
日常の使用のために、アプリケーションモードを選択することができる。RCを機器および/または項目に向けさせるたびに、RCが、現在のパターンをメモリに記憶されたパターンと比較することにより適切なコードセットを評価する。対象および画像の動き並びに/または風景の変化は、デバイスに割り当てられる代替の「パターン」および/またはデバイスのためのコマンドでさえある。通常、それは対象の動きではないが、それはある画像から他のものへ動かされたRCである。図4に、リモコンで制御され得る異なるデバイスを備えた典型的な部屋400を示す。パターンの良い選択は、カップボード408上にあるテレビ、CDコレクション404、スピーカー406、DVDプレーヤおよびアンプ412、ラジオ(図示せず)、および/またはランプ410のようなある特定のものなど、あなたが過ごす部屋の一部であり得る。画像が検出されるとき、ユーザは、RC上のインジケータからおよび/または制御されるデバイスから認識が成功したことについてのフィードバックを受け取ることができる。選択されたデバイスを図柄でおよび/または「リアル」な形で描く、フィードバックがリモコンのディスプレイ(例えば、タッチスリーン、LCDなど)に現れるなら、それは有利でもあろう。デバイスであるか疑問である場合、リモコンは両方のデバイスを表示でき、ユーザがそれらの間を区別することができる。
下記表1および図5は、認識および割り当てが洗練されたRC(例えば、スマートフォン/携帯デバイスなど)上でどのように見え得るかの例である。
画像認識は、下記を識別する。
・ 形状、位置(カップボードの上)およびロゴによってTVを識別
・ それらの特徴(丸みのあるスピーカー)および床における位置によってスピーカーを識別
・ 格納されたCDのパターンによってCDコレクションを識別
・ 前面&ロゴによっておよび位置(CDパターンの下)によってDVDおよびアンプを識別
・ 異なる形状によりランプを識別
・ 形状、位置(カップボードの上)およびロゴによってTVを識別
・ それらの特徴(丸みのあるスピーカー)および床における位置によってスピーカーを識別
・ 格納されたCDのパターンによってCDコレクションを識別
・ 前面&ロゴによっておよび位置(CDパターンの下)によってDVDおよびアンプを識別
・ 異なる形状によりランプを識別
図5に、項目を選択するためのディスプレイ(例えば、タッチスクリーン)を備えたRC504の画面502の例500を示す。はっきりしない認識の場合には、RC504はカメラ視野(例えば、コマンドをポインティングおよび使用するときにカメラが有する視野)の画像506を表示する。認識における可能なあいまいさのために、選択肢508、510を囲うボックスを有する2つ以上の可能性を提案する。ユーザは、その後、制御される機器を決定することができる。シンプルな表示の場合、キー512(例えば、それぞれ色を持っていてもよい)を、正しいボックス508、510を評価するために使用することができる。タッチスクリーンを備えるRCの場合、各ボックスを選択するためにタッチすることもできる。
さらなる便宜上、何かしらの「ホールド」モードを持つことは有用である。これは、リモコンを最後に制御されたデバイスを記憶している「ホールド」モードに切り替えることができることを意味する。何度も直接デバイスに向けることなく、同じデバイスに後述のコマンドを送信することができる。例えば、ある人がその人のMP3コレクションをランダムに聴いている場合、その人は、恐らく、ある方向に向けているリモコンを持っている間、しばしばいくつかの歌をスキップしたい。これは、WiーFiおよびブルートゥースに関して特にそうである。ボタンにより、および/または最後に認識されたデバイスを単に使用することにより、この「ホールド」モードをトリガすることができる。リモコンが、例えば、デバイスに割り当てられていないカウチに向けられるとき、事前に認識されたデバイスを自動的に撮る。
さらなる有利なシナリオにおいて、RCは、部屋に置かれたときに自動的に部屋を検出することができる。それで、対象に向けられたとき、特定の部屋に有用なコマンドの選択肢を提供することができる。部屋の認識は、RCが部屋に置かれるとき、体系的に画像を撮ることにより達成される。それらの写真は、内蔵の加速度センサ、タイマーおよび/または手動によりトリガされる。画像の内容は、壁、家具および/または天井などであり得る。広角レンズを使用することにより、天井でさえ、多くの認識できるおよび区別できる対象を提供することができる。そのため、第2の画像装置を利用することができる。代わりに、図6の例600に示すように、前を向いているレンズ604を備えたRC602を、視界を分割するミラー606および天井への経路610(すなわち、第一の視野に対してほぼ90度の経路)によって拡張することができる。追加の画像装置および/または追加のミラーと共に、立体画像も可能である。立体画像は、(機器が割り当てられた)種々の対象のより良い測距およびより良い検出の優位点を持つ。位置情報も、WLANホットスポット、GPSなどのような他のソース、および/または加速度センサ、ジャイロスコープおよび/または時間などにより得られる情報によりサポートされ得る。
これらの技術は、RCが部屋に依存したメニューを提供することを可能にする。これは、例えば、制御されるデバイス無しで部屋で具合が悪く、他の部屋のテレビを見ることはできないがその音は聞くことができる場合、RCは、あなたが現在いる部屋を既に検出しており、制御されるものは他に何もないことを知るため、リモコンを向けることなくボリュームを制御するのを可能にする。一定の距離および/または種々の部屋に関して、適切な通信経路が選択される(例えば、IRおよび/またはRF)ことは明らかである。加えて、姿勢(加速度センサおよびコンパスにより検出される、空間角度)は、デバイスに割り当てるために、−および/または割り当ての支援のために、使用され得る。一例として、下方へ向けることは近くのフロアーの音声機器を意味し、天井に向けることで照明を制御し、および/または場所とともにある方角を指すことで特定のデバイス(および/または割り当てられた対象)を扱うことができる。
上述されたものは、実施形態の例を含む。もちろん、実施形態を説明するため、要素または方法論の全ての考えられる組み合わせを記載することは不可能であるが、当業者には多くの更なる実施形態の組み合わせおよび並び替えが可能であることは認識され得る。従って、主題は、添付の請求項の精神および範囲に入る全ての代替、調整および変化を含むことを意図されている。さらに、「含む(include)」という用語が詳細な説明または請求項において使用さる範囲に対して、そのような用語は、「備える(comprising)」が請求項において移行の語として採用されるときに解釈されるように、「備える(comprising)」と同様に含まれることを意図される。
Claims (32)
- 遠隔制御装置をプログラムするシステムであって、
遠隔で制御可能なデバイスと関連付けられた少なくとも1つの画像を取得する少なくとも1つの画像装置と、
前記少なくとも1つの画像に基づき前記デバイスを識別するプロセッサと、
を備えた、前記システム。 - 前記プロセッサは、認識されたときに、前記遠隔制御装置をプログラムして前記デバイスを制御する、請求項1に記載のシステム。
- 前記プロセッサは、データベースとインターフェースして前記デバイスを識別し、前記データベースは遠隔で制御可能なデバイスに関する情報に関連する画像を含む、請求項1に記載のシステム。
- 前記データベースは、前記遠隔制御装置の外部に存在する、請求項3に記載のシステム。
- 前記プロセッサは、前記遠隔制御装置の角度を使用して前記遠隔で制御可能なデバイスを識別する、請求項1に記載のシステム。
- 前記プロセッサは、立体画像を使用して前記遠隔で制御可能なデバイスを識別する、請求項1に記載のシステム。
- 前記プロセッサは、前記少なくとも1つの画像を使用して部屋の位置を決定する、請求項1に記載のシステム。
- 前記プロセッサは、前記少なくとも1つの画像において見出されたパターンを使用して前記遠隔で制御可能なデバイスを識別する、請求項1に記載のシステム。
- 前記画像は、デバイスの画像、デバイスに関連する画像および部屋の画像のうちの少なくとも1つを備える、請求項1に記載のシステム。
- 前記画像装置は、2つ以上の視野を提供するミラーを含む、請求項1に記載のシステム。
- 前記画像装置は、2つ以上の画像センサを含む、請求項1に記載のシステム。
- 前記プロセッサによって提供される前記識別に関連するフィードバックをユーザに提供するユーザインタフェースをさらに備えた、請求項1に記載のシステム。
- 前記ユーザインタフェースは、デバイスの選択を可能にする、請求項12に記載のシステム。
- 前記ユーザインタフェースは、ユーザが少なくとも1つの画像を遠隔で制御可能なデバイスとペアにすることを可能にする、請求項12に記載のシステム。
- その次の画像が少なくとも1つの遠隔で制御可能なデバイスを含まないとき、遠隔で制御可能なデバイスの識別を保持する、請求項1に記載のシステム。
- 前記遠隔制御装置が別の部屋にあるとき、見通し外周波数を送信して前記遠隔で制御可能なデバイスを制御する、請求項15に記載のシステム。
- 遠隔制御装置をプログラミングする方法であって、
前記遠隔制御装置で少なくとも1つの画像を取得するステップと、
前記少なくとも1つの画像に基づき前記遠隔制御装置のための操作制御を決定するステップと、
を備えた、前記方法。 - 前記少なくとも1つの画像から遠隔で制御可能なデバイスを識別するステップと、
遠隔制御ユーザインタフェースを自動で設定して前記識別されたデバイスを制御するステップと、
をさらに備えた、請求項17に記載の方法。 - 前記少なくとも1つの画像に基づき遠隔制御周波数を選択するステップをさらに備えた、請求項17に記載の方法。
- その次の画像が遠隔で制御可能なデバイスをもたらさないとき、少なくとも識別されたデバイスのための操作制御を維持するステップをさらに備えた、請求項17に記載の方法。
- 前記少なくとも1つの画像を処理して、少なくとも1つの遠隔で制御可能なデバイスに関連付けられた画像におけるパターンを決定するステップをさらに備えた、請求項17に記載の方法。
- 前記少なくとも1つの画像を処理するステップは、
ユーザ入力に基づき、画像内の前記パターンを遠隔で制御可能なデバイスに関連付けるステップをさらに含む、請求項21に記載の方法。 - 前記遠隔制御装置が前記少なくとも1つの画像から2つ以上の遠隔で制御可能なデバイスを識別するとき、操作制御の選択を可能にするユーザインタフェースを提供するステップをさらに備えた、請求項17に記載の方法。
- 前記操作制御を決定するステップは、
前記操作制御を決定するために前記遠隔制御装置の角度を使用するステップをさらに含む、請求項17に記載の方法。 - 前記操作制御を決定するステップは、
前記操作制御を決定するために前記遠隔制御装置の加速度センサを使用するステップをさらに含む、請求項17に記載の方法。 - 遠隔制御装置をプログラミングするシステムであって、
前記遠隔制御装置で少なくとも1つの画像を取得する手段と、
前記少なくとも1つの画像に基づき、前記遠隔制御装置のための操作制御を決定する手段と、
を備えた、前記システム。 - 前記少なくとも1つの画像から遠隔で制御可能なデバイスを識別する手段と、
遠隔制御ユーザインタフェースを自動で設定して前記識別したデバイスを制御する手段と、
をさらに備えた、請求項26に記載のシステム。 - 遠隔制御装置をプログラミングする方法であって、
前記遠隔制御装置で少なくとも1つの画像を取得するステップと、
マルチメディアシステムで広められた情報を取得するステップと、
前記少なくとも1つの画像および前記広められた情報に基づき、前記遠隔制御装置のための操作制御を決定するステップと、
を備えた、前記方法。 - 前記広められた情報は、MACアドレス、製造業者、デバイスのタイプおよび典型的なデバイスコマンドのうちの少なくとも1つを含む、請求項28に記載の方法。
- 同じコマンドが遠隔制御装置に適用されるとき、異なる部屋に位置するときに異なるデバイスを扱う、遠隔制御装置。
- 前記異なる部屋は画像撮影装置により検出される、請求項30に記載の遠隔制御装置。
- 前記異なる部屋は、前記遠隔制御装置の画像装置が向けられるユーザが定義した対象によって検出される、請求項31に記載の遠隔制御装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/IB2013/000981 WO2014188227A1 (en) | 2013-05-20 | 2013-05-20 | Remote control programming using images |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016524397A true JP2016524397A (ja) | 2016-08-12 |
Family
ID=48577150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016514489A Withdrawn JP2016524397A (ja) | 2013-05-20 | 2013-05-20 | 画像を使用した遠隔制御プログラミング |
Country Status (6)
Country | Link |
---|---|
US (1) | US9819990B2 (ja) |
EP (1) | EP3000233A1 (ja) |
JP (1) | JP2016524397A (ja) |
KR (1) | KR20160024848A (ja) |
CN (1) | CN105247876A (ja) |
WO (1) | WO2014188227A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101499133B1 (ko) * | 2008-10-28 | 2015-03-11 | 삼성전자주식회사 | 휴대 단말기의 메뉴수행 장치 및 방법 |
CN105741532B (zh) * | 2014-12-11 | 2019-08-16 | 华为终端有限公司 | 具有红外遥控功能的终端,以及红外遥控配对方法 |
CN104572008A (zh) * | 2014-12-17 | 2015-04-29 | 惠州Tcl移动通信有限公司 | 一种目标内容输出方法及其终端 |
TWI527000B (zh) * | 2014-12-23 | 2016-03-21 | 華碩電腦股份有限公司 | 紅外線遙控系統及其操作方法 |
CN105739315B (zh) * | 2016-02-02 | 2019-12-06 | 杭州鸿雁电器有限公司 | 一种室内用户电器设备的控制方法与装置 |
EP4016492A1 (en) * | 2020-12-18 | 2022-06-22 | Augmented Robotics UG | System and method for remote controlled objects |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5611038A (en) | 1991-04-17 | 1997-03-11 | Shaw; Venson M. | Audio/video transceiver provided with a device for reconfiguration of incompatibly received or transmitted video and audio information |
US7242988B1 (en) * | 1991-12-23 | 2007-07-10 | Linda Irene Hoffberg | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
DE69432199T2 (de) * | 1993-05-24 | 2004-01-08 | Sun Microsystems, Inc., Mountain View | Graphische Benutzerschnittstelle mit Verfahren zur Schnittstellebildung mit fernsteuernden Einrichtungen |
US6028537A (en) | 1996-06-14 | 2000-02-22 | Prince Corporation | Vehicle communication and remote control system |
JP2000513916A (ja) * | 1997-06-25 | 2000-10-17 | サムソン エレクトロニクス カンパニー リミテッド | ホームネットワーク自動ツリー生成器に対する方法及び装置 |
US7046161B2 (en) * | 1999-06-16 | 2006-05-16 | Universal Electronics Inc. | System and method for automatically setting up a universal remote control |
US7562128B1 (en) | 2000-03-06 | 2009-07-14 | Philips Koninklijke Philips Electronics N.V. | STB connects remote to web site for customized code downloads |
US7106209B2 (en) | 2003-02-10 | 2006-09-12 | Zilog, Inc. | Programming a universal remote control |
US7046185B2 (en) | 2003-06-19 | 2006-05-16 | Contec Corporation | Programmable universal remote control unit and method of programming same |
US7005979B2 (en) | 2003-06-25 | 2006-02-28 | Universal Electronics Inc. | System and method for monitoring remote control transmissions |
US7671758B1 (en) | 2003-10-02 | 2010-03-02 | Tivo Inc. | Remote control programming system |
US7363028B2 (en) | 2003-11-04 | 2008-04-22 | Universal Electronics, Inc. | System and method for controlling device location determination |
US8214447B2 (en) * | 2004-06-08 | 2012-07-03 | Bose Corporation | Managing an audio network |
US7941786B2 (en) * | 2004-09-08 | 2011-05-10 | Universal Electronics Inc. | Configurable controlling device and associated configuration distribution system and method |
US20110093799A1 (en) * | 2004-09-08 | 2011-04-21 | Universal Electronics Inc. | System and method for configuration of controlling device functionality |
US8031270B1 (en) | 2006-01-31 | 2011-10-04 | Cypress Semiconductor Corporation | Remote control system |
JP2007318380A (ja) * | 2006-05-25 | 2007-12-06 | Pioneer Electronic Corp | リモートコントローラ |
JP2007318665A (ja) * | 2006-05-29 | 2007-12-06 | Funai Electric Co Ltd | リモコン装置およびリモコンシステム |
CN101925916B (zh) * | 2007-11-21 | 2013-06-19 | 高通股份有限公司 | 基于媒体偏好控制电子设备的方法和系统 |
MX2011002547A (es) * | 2008-09-08 | 2011-04-05 | Sharp Kk | Sistema de visualizacion de imagen, unidad de visualizacion de imagen y dispositivo de control remoto. |
US20150293860A9 (en) * | 2012-04-04 | 2015-10-15 | ecoATM, Inc. | Method And Apparatus For Removing Data From A Recycled Electronic Device |
US8194191B2 (en) | 2009-02-13 | 2012-06-05 | Echostar Technologies L.L.C. | Graphically based programming for control devices |
WO2011019155A2 (en) * | 2009-08-14 | 2011-02-17 | Lg Electronics Inc. | Remote control device and remote control method using the same |
JP5471850B2 (ja) * | 2010-06-02 | 2014-04-16 | ソニー株式会社 | 制御装置、制御方法、プログラム |
KR101444407B1 (ko) | 2010-11-02 | 2014-09-29 | 한국전자통신연구원 | 근거리 무선 통신을 이용한 증강현실 기반의 기기 제어 장치 및 그 방법 |
CN103340015B (zh) * | 2010-12-30 | 2015-06-24 | 皇家飞利浦电子股份有限公司 | 照明系统、光源、由光源授权装置的方法以及装置 |
US8918719B2 (en) * | 2011-02-14 | 2014-12-23 | Universal Electronics Inc. | Graphical user interface and data transfer methods in a controlling device |
US9258508B2 (en) * | 2013-03-15 | 2016-02-09 | Time Warner Cable Enterprises Llc | IR pairing for RF4CE remote controls |
-
2013
- 2013-05-20 US US14/784,083 patent/US9819990B2/en not_active Expired - Fee Related
- 2013-05-20 CN CN201380076728.6A patent/CN105247876A/zh active Pending
- 2013-05-20 KR KR1020157033152A patent/KR20160024848A/ko not_active Application Discontinuation
- 2013-05-20 JP JP2016514489A patent/JP2016524397A/ja not_active Withdrawn
- 2013-05-20 EP EP13727343.9A patent/EP3000233A1/en not_active Ceased
- 2013-05-20 WO PCT/IB2013/000981 patent/WO2014188227A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP3000233A1 (en) | 2016-03-30 |
KR20160024848A (ko) | 2016-03-07 |
CN105247876A (zh) | 2016-01-13 |
US20160073151A1 (en) | 2016-03-10 |
WO2014188227A1 (en) | 2014-11-27 |
US9819990B2 (en) | 2017-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10861461B2 (en) | LED design language for visual affordance of voice user interfaces | |
JP7293180B2 (ja) | スマートメディア環境においてスマート制御される媒体再生 | |
KR102444075B1 (ko) | 전자 장치, 주변 기기 및 그 제어 방법 | |
CN105607499B (zh) | 设备分组方法及装置 | |
JP2016524397A (ja) | 画像を使用した遠隔制御プログラミング | |
JP2017539187A (ja) | スマート機器の音声制御方法、装置、プログラム、記録媒体、制御機器およびスマート機器 | |
WO2017197186A1 (en) | Voice-controlled closed caption display | |
CN104090735B (zh) | 一种图片的投影方法及装置 | |
US20140244267A1 (en) | Integration of user orientation into a voice command system | |
CN105100610A (zh) | 自拍提示方法和装置、自拍杆及自拍提示系统 | |
CN106658136A (zh) | 智能电视控制方法及装置 | |
CN104883603B (zh) | 播放控制方法、系统及终端设备 | |
US11265529B2 (en) | Method and apparatus for controlling image display | |
US10789476B2 (en) | Information processing apparatus and information processing method | |
WO2018040325A1 (zh) | 设备标识方法及装置 | |
CN105744329A (zh) | 一种显示图像数据的方法和装置 | |
JP6585709B2 (ja) | ポジショニング方法、装置、プログラム及び記録媒体 | |
KR20150029189A (ko) | 휴대용 단말기를 이용한 감시시스템 및 그 감시방법 | |
KR20150145438A (ko) | 영상 표시 기기 및 그의 동작 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160520 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20161125 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20161128 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20170330 |