JP2001095070A

JP2001095070A - 高機能リモコン装置

Info

Publication number: JP2001095070A
Application number: JP26729699A
Authority: JP
Inventors: Tomotaka Yamazaki; 友敬山崎; Shinsaku Inada; 真作稲田; Akihiro Uetake; 昭浩上竹; Yasuyuki Inoue; 康行井上
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-09-21
Filing date: 1999-09-21
Publication date: 2001-04-06

Abstract

(57)【要約】【課題】多くの遠隔操作を一つのデバイスで行うこと
のできる高機能リモコンを提供すること。【解決手段】リモート・コントロール（遠隔制御）し
ようとする機器に関する画像を入力する画像入力手段と
音声情報を入力する音声入力手段と、上記画像入力手段
から入力した画像を表示するとともに、新たに画像入力
が可能な画像表示兼入力パネル手段と、上記機器との間
で信号の送受信を行うための赤外線信号送受信手段と、
上記画像入力手段、音声入力手段、及びパネル手段から
入力された信号を処理して、赤外線信号送受信手段から
被制御機器に制御指令を送信するための制御を行う中央
制御ユニットＣＰＵと、上記制御のためのプログラムお
よびデータを記憶する記憶装置と、を備える。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、高機能リモコン装
置に関し、特に、カメラで捕らえた画像をタッチパネル
上に表示し、ユーザの指先やペンによって追記入力をす
ることにより該画像を加工し、加工した画像をワイヤレ
スでインターネット端末装置に送信し、該インターネッ
ト端末装置を経由してインターネット上に送信したり、
カメラ等を用いて家電機器を認識し、その機器のリモコ
ンメニューを表示して操作できるカメラ内蔵型高機能リ
モコン装置に関する。

【０００２】

【従来の技術】被制御機器と制御デバイスとを無線でつ
なぎ、ユーザが被制御機器から離れた位置で制御デバイ
スを操作することにより、被制御機器を操作する技術は
公知であり、リモコン（リモート・コントロール）と呼
ばれている。この従来のリモコンは、制御する機器毎に
その機器に専用の１つのリモコンを必要とする。従っ
て、家庭内に複数の機器があれば、リモコンはその機器
の数だけ存在する。

【０００３】

【発明が解決しようとする課題】そのようなリモコン装
置の中には、ビデオ記録再生装置のリモコン装置のよう
にＴＶ装置のリモコン装置と兼用することができるもの
もあるが、そのように２以上の機器に兼用されるリモコ
ン装置はほんの一部の機器に限られていた。また、いわ
ゆる学習リモコンの場合、各コマンドを１つずつ学習さ
せなければならず、手間がかかっている。

【０００４】さらにまた、画像の入力装置としてカメラ
を利用する形態のものがあるが、実際にカメラからの画
像を取り込み、それを加工して、新たな画像を作成する
作業をしようと思うと、ＰＣ（パソコン）等の機器本体
に画像を取り込んで、ＰＣ上で作業する必要があり、時
間的にも空間的にも自由度が奪われているのが現状であ
る。本発明は、上記現状に鑑み、多くの遠隔操作を一つ
のデバイスで行うことのできる高機能リモコン装置を提
供することを課題とする。

【０００５】

【課題を解決するための手段】上記の課題を解決するた
めに、本発明は、下記の手段を備えたリモコン装置を提
供する。即ち、リモート・コントロール（遠隔制御）し
ようとする機器に関する画像を入力する画像入力手段
と、音声情報を入力する音声入力手段と、上記画像入力
手段から入力した画像を表示するとともに、新たに画像
入力が可能な画像表示兼入力パネル手段と、上記機器と
の間で信号の送受信を行うための赤外線信号送受信手段
と、上記画像入力手段、音声入力手段、及びパネル手段
から入力された信号を処理して、赤外線信号送受信手段
から被制御機器に制御指令を送信する動作を制御する中
央制御ユニットＣＰＵと、上記制御のためのプログラム
およびデータを記憶する記憶装置と、を備えた高機能リ
モコン装置を提供する。

【０００６】上記高機能リモコン装置において、上記入
力手段及び画像表示兼入力パネル手段は、リモコン装置
本体内に設けることができる。また、上記高機能リモコ
ン装置において、上記入力手段及び画像表示兼入力パネ
ル手段は、リモコン装置本体外に設けて、それらの手段
のインターフェースを装置本体内に設けることもでき
る。

【０００７】

【発明の実施の形態】本発明のリモコン装置の一実施形
態について下記に説明する。本リモコン装置は、例え
ば、インターネット回線を介して伝送されるＨＴＭＬ
（ＨｙｐｅｒＴｅｘｔＭａｒｋｕｐＬａｎｇｕａ
ｇｅ）をＮＴＳＣテレビジョン標準方式のモニタに表示
するためのインターネット端末装置に付属して使用され
る。インターネット回路網は、図３に概略図示するとお
り、ユーザのインターネット端末装置３から電話回線を
介してＩＳＰ（インターネット・サービス・プロバイダ
ー）２に接続し、そこからインターネットを介して相手
方（サーバ）にアクセスし、サーバからダウンロードさ
れたＨＴＭＬ形式のデータをインターネット端末装置３
で受信し、ＴＶ装置４等のモニタに表示する。なお、こ
のインターネット端末装置３をリモコン５により遠隔操
作できるようにする。

【０００８】図２にインターネット端末装置のブロック
図を示す。このインターネット端末装置は、ＮＴＳＣ／
ＰＡＬコーデック２０１を備え、該コーデック２０１を
介して外部とのビデオ信号の入出力が行われる。ビデオ
信号はＶＲＡＭ２０２に一時記憶することができ，グラ
フィック・エンジン２０３等のビデオ信号処理回路によ
り信号処理することもできる。また、本インターネット
端末装置は、オーディオ・コーデック２０４を備え、こ
の回路を介して外部とのオーディオ信号のやり取りがで
きるようになっている。更に、本インターネット端末装
置はモデム２０５を備えており、このモデムを通して電
話回線に接続しインターネット回路網に接続することが
できる。更にまた、本インターネット端末装置には、外
部機器とのインターフェース回路２０６が設けられてい
る。このインターフェース回路２０６は、直列、並列接
続回路、赤外線送受信回路等の各種インターフェース回
路を備えている。

【０００９】これらのビデオ信号処理回路（２０１〜２
０３）、音声信号処理回路２０４、インターフェース回
路２０６、モデム２０５はローカル・バスによって接続
され相互に信号の送受信が行えるようになっている。ロ
ーカル・バスにはフラッシュ・メモリ又はハードディス
ク・ドライブ２０７が接続され、プログラム及びデータ
の記録を行えるようになっている。ローカル・バスはバ
スブリッジ２０８を通してホスト・バスに接続され、該
ホスト・バス上に接続されたＣＰＵ２０９、メモリ２１
０とデータや制御指令の通信ができるようになってい
る。

【００１０】このインターネット端末装置の動作を下記
に簡単に説明する。本インターネット端末装置の電源を
投入すると、フラッシュ・メモリ又はハードディスクＨ
ＤＤから成る格納装置２０７に格納されているプログラ
ムが起動される。起動後モデムを通してＩＳＰ（インタ
ーネット・サービス・プロバイダー）と接続する。サー
バから送られてきたデータはメモリ２１０あるいはＨＤ
Ｄ２０７にダウンロードされ、それをＣＰＵ２０９が解
析し、グラフィック・エンジン（ＧｒａｐｈｉｃＥｎ
ｇｉｎｅ）２０３に渡す。グラフィック・エンジン２０
３はＶＲＡＭ２０２にグラフィック画像を描画し、それ
をＮＴＳＣ／ＰＡＬ等のＴＶ映像に変換してＴＶ装置へ
送る。また、映像メイルのように、外部から供給される
ビデオ入力をインターネット端末に取り込む時には、逆
の順番をたどる。

【００１１】音声データは、オーディオ・コーデック回
路２０４に入力することで、このインターネット端末装
置内に取り込まれ、このオーディオ・コーデック回路２
０４から外部に出力される。上記のとおり、このインタ
ーネット端末装置には各種のインターフェース回路が設
けられており、それらのインターフェース回路を介して
リモコン装置から制御コードを受け取ったり、外部に接
続された機器とのデータの送受信を行うことができる。
例えば、ＩＲインターフェース回路を介して制御機器と
のデータのやり取りを行ったり、シリアルインターフェ
ース回路を介してデジタルカメラなどと接続したり、パ
ラレルインターフェース回路を介してプリンタと接続し
たりすることができる。

【００１２】ここで、図３を参照して本発明のリモコン
装置の一例を説明する。本リモコン装置は、リモコン装
置本体１００と、ビデオ入力手段１０１と、画像表示兼
入力パネル手段１０２と、オーディオ入力手段１０３と
を含む。ビデオ入力手段１０１は、該リモコン装置によ
り制御する機器の認識を行うため、又はその他の目的で
画像取り込みを行うためのカメラを備えている。画像表
示兼入力パネル部１０２は、感圧液晶パネルで構成さ
れ、外部から取り入れたビデオ画像を表示することに加
えて、使用者が指先やペンで触れることにより文字や絵
を上書き又は新たに入力することができる。また、この
表示部を利用して、画像の加工処理や、画像の送信、ブ
ラウザの操作等の機器制御コマンドの送信等を行うこと
ができる。オーディオ入力手段１０３は、音声入力を収
音するマイクを備えている。画像・音声データや制御コ
ードを送信する赤外線信号送受信手段ＩＲとそれらに対
応したインターフェースを有する。上記ビデオ入力手段
１０１、パネル手段１０２、オーディオ入力手段１０３
はリモコン装置本体１００と一体に設けてもよいし、外
部接続するようにしてもよい。

【００１３】ビデオ入力手段１０１は、カメラで撮影し
た画像等の画像データを、リモコン装置本体１００に設
けられたＡ／Ｄ変換器１０４に送り、該Ａ／Ｄ変換器で
ディジタル信号に変換して、グラフィック・コントロー
ラ１０６に送る。上記画像データは、このグラフィック
・コントローラ１０６において画像処理され、その結果
はパネル手段１０２に表示され、必要に応じてＶＲＡＭ
に保存され読み出される。

【００１４】パネル手段１０２は、グラフィック・コン
トローラ１０６から送られてくる画像データを受けて液
晶表示パネル上に表示する。このパネル手段１０２は、
感圧センサで覆われた液晶を用いて作成され、タッチ入
力することができるようにする。タッチ入力されたデー
タはタッチパネル・ユニット１０８に送られてそこで信
号処理される。オーディオ入力手段１０３から取り入れ
た音声信号は、リモコン装置本体１００のマイク・ユニ
ット１０８に送られ、入力された音声をＡ／Ｄ変換し、
メモリに保存する。

【００１５】このリモコン装置本体１００は、上記イン
ターフェース１０４〜１０９を介して入出力されるデー
タを処理するための中央制御ユニットＣＰＵ１１２とそ
れらのデータを記憶するためのメモリ１１３を備え、そ
れらを用いてデータの処理を行う。また、リモコン装置
本体１００内には、図示のとおりフラッシュメモリ又は
ＨＤＤ（ハードディスク・ドライブ）１１０が内蔵され
ており、ここにリモコン装置の動作設定や制御対象機器
に付いての情報などを記録することができる。また、上
記各種インターフェースから送られてくる、制御対象機
器のリモコンの種類及び信号データについての情報を取
得することもできる。上記インターフェース部１０４〜
１０９はローカル・バスに接続され、このローカル・バ
スに上記フラッシュ・メモリ又はＨＤＤ１１０が接続さ
れている。また、上記ＣＰＵ１１２，メモリ１１３はホ
スト・バスに接続されており、ローカル・バスとホスト
・バスの間はバス・ブリッジによって接続されている。

【００１６】上記の構成を有するリモコン装置におい
て、パネル手段１０２に表示された画像を加工する時に
は、パネル手段１０２の感圧センサを介して画像を入力
し、対応するエリアの画像情報をタッチパネル・ユニッ
ト１０７に取り込み、ローカル・バス、バス・ブリッ
ジ、ホスト・バス上を伝送してＣＰＵに送り、ＣＰＵか
らホスト・バス、バス・ブリッジ、ローカル・バス、を
介してグラフィカル・コントローラ１０６に所要のコマ
ンドを送り、ＶＲＡＭに記憶された画像に対して必要な
処理を行った後、これを表示出力としてパネル手段１０
２に送り表示画面上に反映される。

【００１７】このリモコン装置から（図２に示す）イン
ターネット端末装置に制御コードを送信する場合には、
パネル手段１０２のパネル上の接触を感知してタッチパ
ネル・ユニット１０７に送り、ローカル・バス、バス・
ブリッジ、ホスト・バス、ＣＰＵの経路でＣＰＵに伝
え、ＣＰＵから逆の経路でコマンド信号を送って赤外線
信号送受信インターフェース回路１０９を制御し、該赤
外線送受信インターフェース回路１０９から対応する制
御コードを送信する。

【００１８】画像を送信する場合には、その時点でＶＲ
ＡＭ１０５に保存されている画像をグラフィカル・コン
トローラ１０６、ローカル・バスを介して赤外線信号送
受信インターフェース回路１０９へ送り、同インターフ
ェース回路を介して送信する。パネル手段で加工された
画像は、タッチパネル・ユニット１０７を通って赤外線
信号送受信インターフェース回路１０９へ送られ、そこ
からインターネット端末装置へ送信される。音声データ
は、マイク・ユニット１０８から赤外線信号送受信イン
ターフェース回路１０９に送られ、そこからインターネ
ット端末装置へ送られる。

【００１９】上記画像をＥメールで送信する場合には、
インターネット端末装置側にＥメールヘッダ等を付加
し、電話回線を介して文字データと一緒にその画像デー
タをＩＳＰ（インターネット・サービス・プロバイダ
ー）に送信する。その際、上記画像をインターネット端
末装置に保存することもできる。

【００２０】［カメラを用いた機器認識、制御リモコン
コードの送信］ここで、カメラを用いた機器認識につい
て説明する。新しい家電機器が売り出される等により、
本リモコン装置によって制御する機器が増えた時には、
カメラを使ってその機器を認識し、本リモコン装置に登
録することができる。通常、新しい家電機器には、バー
コードやサイバーコードのような機器認識のためのデー
タが付属しているので、それを本リモコン装置のカメラ
部にかざすことによって、本リモコン装置はそれを新し
い機器として認識できる。認識した機器に割り当てる制
御コマンドは、本リモコン装置に予め内蔵しておいても
よいし、内蔵しておかなくてもインターネット端末装置
経由で取得することが可能である。また、リモコン装
置と被制御機器がｉ＿Ｌｉｎｋや，ＵＳＢ（ユーザ・シ
リアル・バス）のような外部インターフェースを持って
いる場合には、そのインターフェースを用いて、外部機
器を認識し、その機器の制御コマンドを取得することが
可能である。

【００２１】また、対象機器にメモリ・スティックのよ
うなメディアが付属されている場合には、そのメディア
を本リモコン装置に挿入することにより、外部機器を認
識し、その制御コマンドを取得することも可能である。
この場合、制御コマンドの取得と同時に、タッチパネル
におけるリモコンの操作ＧＵＩ（グラフィカル・ユーザ
・インターフェース）も取得でき、そのＧＵＩのボタン
に触れることで機器を制御することができる。

【００２２】複数の機器のリモコンＧＵＩを表示するに
は、１つの機器だけを表示する方法、又は数個の機器を
同時に表示する方法があるが、本リモコン装置は、上記
説明から明らかなとおり、物理的なボタンを必要としな
いため、柔軟な表示が可能である。

【００２３】表示する制御対象家電機器を切り換える場
合は、カメラにその機器の認証用のコードをかざすこと
により、その機器用のアイコンが表示されるようするこ
とができる。また、画像表示兼入力パネル手段に表示さ
れた複数の機器のアイコンの中から所望の機器のアイコ
ンに触れることでワンタッチで被制御機器を選ぶことが
できるようにすることができる。また、マイクを使っ
て音声認識を行い、機器のＧＵＩ表示をできるようにし
たり、直接或機器の制御リモコンコードを送信すること
も可能である。

【００２４】［カメラからの画像取り込み、加工、送
信］次に、本発明の別の実施形態として、カメラで撮影
した画像の取り込み、加工、及び送信について説明す
る。ユーザは、本リモコン装置上のカメラで自分の顔や
写真、広告等を取り込むことができる。取り込まれた画
像は、パネル手段１０２のタッチパネル上に表示され、
ユーザはこれを確認できる。この画像上に、指あるいは
ペン等を利用して、メッセージの添え書きをしたり、重
要なところを○で囲んだりすることが可能である。そ
の際の色やタッチはソフト処理によりバリエーションを
つけることができる。例えば、普通の書類に重要なとこ
ろだけ蛍光ペンでマークするようなことができる。ある
いは、カメラから画像を取り込まないで、タッチパネル
をキャンパスとして自由に絵を描くこともできる。

【００２５】ユーザは完成した画像を、タッチパネル上
の「送信」ボタンを押すことで、インターネット接続機
器等の保存可能な機器に転送でき、受け取った機器はそ
れをｊｐｅｇ等の画像ファイルとして保存する。場合に
よっては、ｊｐｅｇ等にエンコードすることもできる。
また、機器に送信する際に、「Ｅメールで送信」のボタ
ンを用いると、リモコン上で、相手のＥメールアドレス
を入力すれば、機器経由して、そのままインターネット
へ送信することが可能である。相手のＥメールアドレス
の入力やＥメールで送信するというコマンドも画像や音
声を用いて実行可能である。

【００２６】

【発明の効果】本発明の高機能リモコン装置は、特許請
求の範囲に記載し、発明の詳細な説明中に説明した構成
を備えているので、下記の効果が得られる。１．複数のリモコンが１つに集約され、家電機器が扱い
易くなる。２、新しい機器が追加されても、リモコンがそれにアッ
プデート対応でき、その設定もカメラに画像をかざした
り、ケーブルをつないだり、メディアを挿入したりとい
った簡単な作業でできる。３、リモコン表示はソフトウエアのＧＵＩ記述で行われ
るので、表示構成が柔軟にでき、ボタンが足りないとい
ったハード的な制約がない。４、カメラからの画像取り込み、加工、送信が一連の動
作で簡単にできる。５、実際の送信時以外はリモコン単体で動作可能なた
め、モバイルツールとして、空間的な制約を受けず、外
出時に携帯可能である。また、ＩＲ受信機器さえあれ
ば、どこでも送信可能である。６、マイクからの音声認識を用いることで、音声を用い
た操作も可能である。７、紙に書く感覚で、人に話しかける感覚で、コミュニ
ケーションがとれるため、従来のキーボード、マウスを
用いたインターフェースに比べて、誰でもなじみ易く、
日常的に使用できる。

【図面の簡単な説明】

【図１】本発明のリモコン装置の一実施形態を示すブロ
ック図である。

【図２】本発明のリモコン装置が適用されるインターネ
ット端末装置のシステム構成を示すブロック図である。

【図３】インターネット回路網の全体を示す説明図であ
る。

【符号の説明】

１００・・・リモコン装置本体、１０１・・・ビデオ信号
入力手段、１０２・・・パネル部、１０３・・・オーデ
ィオ信号入力手段、１０４・・・Ａ／Ｄ変換器、１０５
・・・ＶＲＡＭ，１０６・・・グラフィック・コントロー
ラ、１０７・・・タッチパネル・ユニット、１０８・・・
マイクユニット、１０９・・・赤外線送受信インター
フェース回路、１１０・・・フラッシュメモリ又はハー
ドディスク・ドライブ、１１１・・・バスブリッジ、
１１３・・・メモリ

───────────────────────────────────────────────────── フロントページの続き (72)発明者上竹昭浩東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者井上康行東京都品川区北品川６丁目７番35号ソニー株式会社内Ｆターム(参考） 5C056 AA05 BA01 BA10 CA06 CA08 CA11 CA19 DA06 DA20 EA09 5K048 AA14 BA03 DA03 DC07 EA01 EB01 EB06 EB14 EB15 FB01 FB10 FC01

Claims

【特許請求の範囲】

【請求項１】リモート・コントロール（遠隔制御）し
ようとする機器に関する画像を入力する画像入力手段
と、音声情報を入力する音声入力手段と、上記画像入力手段から入力した画像を表示するととも
に、新たに画像入力が可能な画像表示兼入力パネル手段
と、上記機器との間で信号の送受信を行うための赤外線信号
送受信手段と、上記画像入力手段、音声入力手段、及びパネル手段から
入力された信号を処理して、赤外線信号送受信手段から
被制御機器に制御指令を送信する動作を制御する中央制
御ユニットＣＰＵと、上記制御のためのプログラムおよびデータを記憶する記
憶装置と、を備えた高機能リモコン装置。
【請求項２】請求項１に記載の装置において、上記入
力手段及び画像表示兼入力パネル手段がリモコン装置本
体内に設けられた高機能リモコン装置。
【請求項３】請求項１に記載の装置において、上記入
力手段及び画像表示兼入力パネル手段がリモコン装置本
体外に設けられ、それらの手段のインターフェースが装
置本体内に設けられた高機能リモコン装置。
【請求項４】請求項１に記載の装置において、上記パ
ネル手段は、上記画像入力手段から入力された画像を表
示し、ユーザのタッチ操作により新たな画像を追加書込
みすることにより該画像を加工し、その結果をＣＰＵに
送り、又は前記赤外線信号送受信手段を介して対象機器
に送信されるようになした高機能リモコン装置。
【請求項５】請求項１に記載の装置において、上記画
像入力手段から入力し上記パネル手段で加工された画像
と、音声入力手段から入力された音声は、上記赤外線信
号送受信手段を介して、第１の機器に送られ、該第１の
機器で画像及び音声を仲介して、別の機器に送信し、又
は物理的に接続された別の機器に伝送するようになした
高機能リモコン装置。
【請求項６】請求項１に記載の装置において、前記Ｃ
ＰＵは、前記画像入力手段、音声入力手段、及び本体に
挿入するデバイスからの情報を解析することにより、制
御対象機器の制御コマンドの種類や信号データを認識
し、新たな機器が追加された場合にも制御対象とするこ
とができるようにした高機能リモコン装置。