JP2004007106A

JP2004007106A - Remote control system

Info

Publication number: JP2004007106A
Application number: JP2002158538A
Authority: JP
Inventors: Yuichi Murase; 村瀬　有一
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2002-05-31
Filing date: 2002-05-31
Publication date: 2004-01-08

Abstract

<P>PROBLEM TO BE SOLVED: To accurately operate household electric appliances with a remote control from a remote place and to confirm the results of the operated household electric appliances regarding a remote control system. <P>SOLUTION: This remote control system is provided with a remote control 252 for transmitting to an operation target 3 a signal for operating the operation target 3, a camera 251 for photographing the operation target 3, a camera unit 25 which mounts both the camera 251 and the remote control 252 thereon so as to make a photographing direction of the camera 251 and a transmitting direction of the remote control 252 to be parallel with each other and can change the photographing direction and the transmitting direction horizontally and vertically, and a remotely-controlled apparatus 1 for receiving an image photographed by the camera 251 from the camera unit 24 to display the image and transmitting to the camera unit 25 operation commands of the remote control 252 and the camera unit 24. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、リモコンシステムに関し、特に、カメラとモニタを用いて、遠隔から家電をリモコンで正確に操作しその結果を確認することができるリモコンシステムに関する。
【０００２】
【従来の技術】
テレビ、ビデオ、エアコンディショナー（以下、エアコン）等の家庭電器（以下、家電）等は、リモートコントローラ（以下、リモコン）によって操作することが多い。例えば、テレビのオン／オフ、チャンネル、音量等や、エアコンのオン／オフ、室温、風向、風量等は、リモコンを用いて、当該家電の設置位置から離れた位置から制御する。このようなリモコンは、多くの場合、赤外線通信を用いている。即ち、利用者の操作に応じた操作コマンドを、リモコンから家電に対して赤外線により送信して、当該家電を制御している。
【０００３】
【発明が解決しようとする課題】
前述のように、リモコンから家電への操作コマンドの送信を赤外線によっているため、リモコンで家電等を操作しようとしても、意図したように家電を操作できない場合がある。これは、赤外線が方向性を有しているため、多くの場合、家電側で操作コマンドを受け取れないことによる。例えば、リモコンからの赤外線の送信方向が、操作対象の家電とは正反対を向いている等の場合である。
【０００４】
このような状態は、いわゆる汎用リモコンを用いる場合に多く生じる。汎用リモコンは、１個のリモコンで複数の家電を制御できるように、汎用信号を生成可能にして、これにより複数の家電に対応しているものを言う。この汎用リモコンで室内の任意の位置に設置されている家電を操作しようとすると、図１５に示すように、利用者がその都度当該家電の位置に合わせてリモコンの送信方向を適切な方向に向けなければならず、煩わしい。
【０００５】
また、前述のように、リモコンで家電等を操作する場合、最後に操作対象である家電を正常に操作できたか否かを必ず確認する必要がある。例えば、テレビやエアコンの電源をオフした場合、これを確認しないまま放置すると電力消費が極めて大きいので、利用者は必ず確認する。このためには、利用者が現場にいなければ確認ができないので、遠隔から家電をリモコンで操作することはできなかった。
【０００６】
本発明は、遠隔から家電をリモコンで正確に操作しその結果を確認することができるリモコンシステムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明のリモコンシステムは、操作対象を操作する信号を当該操作対象に送信するリモコンと、操作対象を撮影するカメラと、カメラの撮影方向とリモコンの送信方向とが相互に平行となるように両者を搭載し、前記撮影方向及び送信方向を水平方向及び垂直方向に変更可能とするカメラユニットと、カメラユニットからカメラの撮影する画像を受信してこれを表示し、カメラユニットにリモコンの操作コマンド及びカメラユニットの操作コマンドを送信する遠隔操作装置とを備える。
【０００８】
本発明のリモコンシステムによれば、リモコンの送信方向と平行な撮影方向のカメラによる画像が遠隔操作装置に表示されるので、利用者は、リモコンの送信方向が家電等の操作対象に向いていることを確認しながら、当該操作対象を操作することができる。これにより、方向性を有している赤外線の操作コマンドを操作対象が受信できないという状態を解消することができ、リモコンで家電等の操作対象を意図したように操作することができる。また、遠隔操作装置からリモコン及びカメラを搭載したカメラユニットを操作することができる。これにより、いわゆる汎用リモコンで室内の任意の位置に設置されている家電の操作対象を操作する場合、カメラの画像が意図した操作対象を映し出すように、カメラユニットを操作すればよく、利用者がその都度当該家電の操作対象の位置に合わせてリモコンの送信方向を適切な方向に向ける必要をなくすことができる。更に、リモコンで操作した操作対象をカメラの画像として映すことができる。これにより、リモコンで家電等の操作対象を操作する場合、利用者が現場にいなくても、操作対象を正常に操作できたか否かを必ず確認することができる。従って、外出先等の遠隔から操作対象をリモコンで操作することができる。
【０００９】
【発明の実施の形態】
図１はリモコンシステム構成図であり、本発明の遠隔操作を実行するリモコンシステムの構成の概略を示す。
【００１０】
リモコンシステムは、遠隔操作装置１、パンチルト装置２を備える。遠隔操作装置１は、外出先等からでも操作対象３である家電等を操作することができるように、図２に示すように、例えば携帯電話からなり、パンチルト装置２との間で無線通信を行う。遠隔操作装置１は、パンチルト装置２との間で前記無線通信を行う専用の装置であってもよい。パンチルト装置２は、遠隔操作装置１と操作対象３である家電等との間の中継局であり、例えば電話接続機能を備えるコンピュータからなり、図３に示すように、操作対象３である家電等の設置された部屋に設けられる。
【００１１】
遠隔操作装置１は、画像表示部１１、操作入力部１２を備える。画像表示部１１は、パンチルト装置２のパンチルトカメラユニット（以下、カメラユニット）２４からカメラ２５１の撮影する画像を受信して、これを利用者のために表示する。操作入力部１２は、利用者がリモコン２５２の操作コマンド（リモコン操作コマンド）及びカメラユニット２４の操作コマンド（パンチルト操作コマンド）を入力するためのものであり、入力されたこれらのコマンドをパンチルト装置２のカメラユニット２４に送信する。画像表示部１１及び操作入力部１２は、各々、図２に示すように、例えば携帯電話の液晶表示画面及び操作ボタン部分からなり、液晶表示画面には操作対象３である家電等の設置された部屋の状態が映されている。
【００１２】
パンチルト装置２は、制御処理部２１、センサ処理部２２、モータ制御部２３、カメラユニット２４を備える。カメラユニット２４は、パンチルト部２５、チルト駆動部２６、パン駆動部２７を備える。パンチルト部２５は、カメラ２５１、リモコン２５２を備える。
【００１３】
カメラ２５１は、制御処理部２１の制御の下で、操作対象３を撮影する。リモコン２５２は、制御処理部２１の制御の下で、操作対象３を操作する信号を当該操作対象３に例えば赤外線により送信する。両者は、カメラ２５１の撮影方向（視線）とリモコン２５２の送信方向（発信方向）とが相互に平行となるように、パンチルト部２５に搭載される。これにより、カメラ２５１の画像に操作対象３が映っていれば、リモコン２５２は、操作対象３である家電の方向に向いていることになる。
【００１４】
例えば、パンチルト装置２が図３に示すように設置されている場合において、カメラ２５１の撮影方向が矢印のようにエアコン（意図する操作対象３）に向いているとすると、遠隔操作装置１の画像表示部１１には、図２に示すように、当該エアコンが画面の中心となるように表示されている。これにより、利用者は、カメラ２５１とリモコン２５２の向きを、遠隔操作装置１の画像表示部１１でカメラ画像を確認しながら遠隔操作することで、リモコン２５２の向きを操作対象３である家電等について確実な操作を行うと共に、その操作結果を画像表示部１１のカメラ画像で確認することができる。即ち、利用者は、画像表示部１１に映るカメラ画像を参照しつつ、パン及びチルトの角度（位置）を操作し、所望の操作対象３である家電を探しだす。前述のように、画像表示部１１（の中心）に操作対象３が映った状態では、リモコン２５２も操作対象３となる家電の方向に向いている。そこで、利用者は、この状態でリモコン（即ち、家電）操作コマンドを送信する。これにより、操作対象３である家電の操作が確実になるとともに、カメラ画像により操作の結果も確認することができる。
【００１５】
パンチルト部２５は、カメラ２５１及びリモコン２５２を搭載するカメラユニット２４の可動部であり、図４に示すように、水平方向及び垂直方向に可動とされる。即ち、パン及びチルトの方向の自由度を有する。なお、図４はパンチルト部２５の概略を示す。パンチルト部２５は、チルト駆動部２６により垂直方向に回転駆動され、パン駆動部２７により水平方向に回転駆動される。これにより、カメラ２５１の撮影方向及びリモコン２５２の送信方向は、水平方向及び垂直方向に変更可能とされる。パンチルト部２５の垂直方向の回転範囲は例えば０°（水平方向）〜９０°（垂直方向）とされ、水平方向の回転範囲は例えば０°〜３６０°とされる。これにより、カメラ２５１の撮影方向及びリモコン２５２の送信方向は、半球状の空間の全範囲とされる。
【００１６】
チルト駆動部２６は、パンチルト部２５を垂直方向に駆動するためのモータ（以下、チルトモータ）と、当該チルト駆動部２６の方向を検出するセンサ（以下、チルトセンサ）とを備える。パン駆動部２７は、パンチルト部２５を水平方向に駆動するためのモータ（以下、パンモータ）と、当該パン駆動部２７の方向を検出するチルト検出センサ（以下、パンセンサ）とを備える。チルトモータ及びパンモータは、各々、制御処理部２１からの制御信号に従うモータ制御部２３により駆動される。チルトセンサ及びパンセンサの検出信号は、各々、センサ処理部２２に入力され、制御処理部２１に送られる。
【００１７】
制御処理部２１は、カメラユニット２４と遠隔操作装置１との間に設けられ、これらとの間でデータの送受信を行う。即ち、制御処理部２１は、カメラ２５１からその撮影する画像のデータを受信すると、これに基づいて遠隔操作装置１における画像を生成して、当該画像を無線通信により遠隔操作装置１に送信する。また、制御処理部２１は、遠隔操作装置１から無線通信により操作対象３の操作コマンド（リモコン操作コマンド）を受信すると、これに基づいてリモコン２５２の制御データを生成して、当該制御データをリモコン２５２に送信する。
【００１８】
更に、制御処理部２１は、遠隔操作装置１から無線通信によりカメラユニット２４（即ち、パンチルト部２５）の操作コマンド（パンチルト操作コマンド）を受信すると、これとセンサ処理部２２からのセンサ信号とに基づいてカメラユニット２４の姿勢を制御する。即ち、パンチルト操作コマンドに従って、モータ制御部２３を介してチルトモータ及びパンモータを駆動して、カメラユニット２４の姿勢を当該コマンドで指示された姿勢となるように変更する。このカメラユニット２４の姿勢をチルトセンサ及びパンセンサの検出信号により監視し、当該姿勢をフィードバック制御する。
【００１９】
ここで、パンチルト装置２の具体な構成を図５乃至図８により説明する。図５（Ａ）は斜視図でありパンチルト装置２の全体の外観を示し、図５（Ｂ）は底面図でありパンチルト装置２の底面の外観を示す。図６（Ａ）は左側面図でありパンチルト装置２の左側面の外観を示し、図６（Ｂ）は正面図でありパンチルト装置２の正面の外観を示し、図６（Ｃ）は右側面図でありパンチルト装置２の右側面の外観を示す。図７は横断面図でありパンチルト装置２の横断面を示す。図８は縦断面図でありパンチルト装置２の縦断面を示す。
【００２０】
パンチルト装置２において、図５乃至図８に示すように、円板を切り欠いた平面形状のベース２８の上に円柱状のパン駆動部２７を設け、その先端（上部）にチルト駆動部２６を設け、更にその先端（最終端）にパンチルト部２５を設ける。パン駆動部２７とチルト駆動部２６とは、図６及び図８等に示すように、パンカバー２９を介して相互に固定される。
【００２１】
パン駆動部２７は、図５（Ｂ）及び図８に示すように、パン回転シャフト２７２を回転させることにより、ベース２８に対して自身を水平方向に回転させる。パン回転シャフト２７２は、ギア２７４を介して、パンモータ２７１により回転駆動させられる。パンモータ２７１の回転量がモータ制御部２３により制御される。パンモータ２７１の回転量即ちパン駆動部２７の角度は、図５（Ｂ）及び図８に示すように、パン回転シャフト２７２に接続したパンセンサ２７３により検出される。パンセンサ２７３は、例えばポテンショメータからなる。
【００２２】
チルト駆動部２６は、図７に示すように、チルト回転シャフト２６２を回転させることにより、ベース２８及びパン駆動部２７に対して自身を垂直方向に回転させる。チルト回転シャフト２６２は、ギア２６４を介して、チルトモータ２６１により回転駆動させられる。チルトモータ２６１の回転量がモータ制御部２３により制御される。チルトモータ２６１の回転量即ちチルト駆動部２６の角度は、図６（Ａ）及び図７に示すように、チルト回転シャフト２６２に接続したチルトセンサ２６３により検出される。チルトセンサ２６３は、例えばポテンショメータからなる。
【００２３】
パンチルト部２５において、この例では、２個のカメラ２５１を搭載している。これにより、２個のカメラ２５１の間における視差を利用した立体視により撮像対象（操作対象３）との間の距離を計測することができる。なお、カメラ２５１の個数は、図４に示すように、１個のみであっても何ら差し支えない。
【００２４】
パンチルト部２５において、リモコン２５２として、送信機２５３（図９参照）を搭載している。リモコン２５２の送信機２５３は、制御処理部２１から受信した制御データに基づいて、制御信号を形成して、これを当該送信機２５３の向いている方向（送信方向）にある操作対象３に送信する。リモコン２５２は、その送信のキャリアとして、一般に家電用の操作信号として用いられている赤外線を用いる（受信においても同様である）。
【００２５】
なお、この例では、パンチルト部２５において、リモコン２５２として、受信機２５４をも搭載している。即ち、図９に示すように、リモコン２５２の受信機２５４は、各種の操作対象３に付属している（本来の）専用リモコン３１からの制御データを受信し、制御処理部２１のコマンド読取部２１１に送信する。コマンド読取部２１１は、受信した専用リモコン３１からの制御データを用いて当該操作対象に応じた操作コマンドを解読する。利用者が最初にリモコン２５２の受信機２５４に向けて専用リモコン３１から操作コマンドを送信をすると、この受信機２５４でその信号を読み取り、コマンドデータベース２１２に格納しておくことにより、カメラユニット２４に搭載したリモコン２５２からも同じ信号を送信することができる。
【００２６】
図１１は、遠隔操作処理フローであり、図１のリモコンシステムにおける操作対象についての遠隔操作処理を示す。
【００２７】
外出先等の遠隔に位置する利用者が遠隔操作装置１の操作入力部１２から所望する操作対象３を選択して入力すると、操作入力部１２が、所定の操作コマンド（例えば、処理開始のコマンド及び選択された操作対象３の情報）を制御処理部２１に送信する（ステップＳ１１）。これを受信した制御処理部２１は、これに基づいて制御データを形成して、パンチルト部２５に送信する。これに応じて、パンチルト部２５は、カメラ２５１による撮像を開始し、その画像データを制御処理部２１に送信する。制御処理部２１は、画像データからカメラ画像を形成し、遠隔操作装置１に送信する（ステップＳ１２）。
【００２８】
これを受信した遠隔操作装置１がその画像表示部１１にカメラ画像を表示すると、利用者は、当該カメラ画像に所望の操作対象３が映っているか否かを調べる（ステップＳ１３）。
【００２９】
映っていない場合、利用者が遠隔操作装置１の操作入力部１２からカメラユニット２４の操作コマンドを入力すると、操作入力部１２が、当該操作コマンドを制御処理部２１に送信することにより、パンチルト部２５の位置（姿勢）を操作する（ステップＳ１４）。これを受信した制御処理部２１は、これに基づいてモータ制御部２３を介して、チルト駆動部２６のチルトモータ２６１及びパン駆動部２７のパンモータ２７１を回転駆動させて、パンチルト部２５の位置を制御する（ステップＳ１５）。
【００３０】
この間、カメラ２５１はパンチルト部２５の位置の変化に応じて変化する画像データを制御処理部２１に逐次送信しているので（ステップＳ１２）、これに従って、これを受信した遠隔操作装置１は、その画像表示部１１に当該カメラ画像を表示している。そこで、利用者は、当該カメラ画像に所望の操作対象３が映っているか否かを調べながら、即ち、所望の操作対象３を画面上で探索しながら（ステップＳ１３）、パンチルト部２５の位置の操作コマンドの入力を繰り返し（ステップＳ１４）、パンチルト部２５の位置が制御される（ステップＳ１５）。従って、ステップＳ１２〜Ｓ１５の繰り返しにより、図２に示すように、所望の操作対象３が画像表示部１１のほぼ中心に位置するようになる。なお、リモコン２５２の送出する赤外線からなる制御信号はある程度拡散するので、所望の操作対象３は、画像表示部１１の中心の近傍に位置していれば十分である。
【００３１】
ステップＳ１３において、当該カメラ画像に所望の操作対象３が映っている場合、利用者が遠隔操作装置１の操作入力部１２から操作対象３の操作コマンドを入力すると、操作入力部１２が、当該操作コマンドを制御処理部２１に送信する（ステップＳ１６）。これを受信した制御処理部２１は、当該操作コマンドを認識して、これをリモコン２５２の制御データに変換した上で、リモコン２５２へ送信する（ステップＳ１７）。これを受信したリモコン２５２は、当該制御データに基づいて、当該送信方向へ操作対象３の制御信号を送出する。即ち、リモコンコマンドを送信する（ステップＳ１８）。
【００３２】
前述のように、カメラ２５１はパンチルト部２５の位置の変化に応じて変化する画像データを制御処理部２１に逐次送信しているので（ステップＳ１９）、これに従って、これを受信した遠隔操作装置１は、その画像表示部１１に当該カメラ画像を表示している。そこで、利用者は、当該カメラ画像に当該操作対象３が当該操作の結果所望の状態となって映っているか否かを調べる（ステップＳ１１０）。所望の状態となっている場合、操作処理を終了する。所望の状態となっていない場合、ステップＳ１６以下を繰り返す。なお、所望の状態となっているかは、当該操作対象３の有するパイロットランプ（図示せず）で確認することができる。例えば、電源ランプの点灯等である。
【００３３】
なお、この例では、ステップＳ１５においてパン及びチルトの角度を制御するので、利用者は、ステップＳ１４において角度の目標を逐次送信すればよく、遠隔からの操作の時間遅れに対してもパン及びチルトの位置制御を安定に行うことができる。
【００３４】
図１２は、他の遠隔操作処理フローであり、図１のリモコンシステムにおける操作対象についての他の遠隔操作処理を示す。即ち、図１のリモコンシステムにおいて、図１１の処理に代えて、図１２の処理を実行するようにしてもよい。
【００３５】
この例のリモコンシステムは、例えば制御処理部２１に位置データベース２１３を備える。制御処理部２１は、指定された操作対象３を用いて位置データベース２１３を参照して、当該操作対象３の位置等を求め、これに基づいて、パンチルト部２５の位置（姿勢）を制御する。位置データベース２１３の一例を図１０に示す。例えば、利用者が選択番号＃１のエアコンを選択すると、位置データベース２１３からパン及びチルトの角度α１及びβ１を求め、パン駆動部２７及びチルト駆動部２６を回転駆動して、パンチルト部２５の位置を制御する。即ち、パンチルト部２５のパン及びチルトの角度を当該求めた角度になるようにする。これにより、カメラ２５１及びリモコン２５２の方向は、当該操作対象３であるエアコンを向くことになる。
【００３６】
外出先等の遠隔に位置する利用者が遠隔操作装置１の操作入力部１２から所望する操作対象３を選択して入力すると、操作入力部１２が、所定の操作コマンド（例えば、処理開始のコマンド及び選択された操作対象３の情報）を制御処理部２１に送信する（ステップＳ２１）。
【００３７】
これを受信した制御処理部２１は、当該操作コマンドを認識し（ステップＳ２２）、ステップＳ１２と同様にカメラ２５１による撮像を開始しその画像データを制御処理部２１に送信すると共に、選択された操作対象３を認識し、位置データベース２１３を参照して、当該操作対象３の位置等を求め（ステップＳ２３）、これに基づいて、前述のようにしてパンチルト部２５の位置（姿勢）を制御する（ステップＳ２４）。また、制御処理部２１は、選択された操作対象３についての操作メニューを位置データベース２１３から読み出して、遠隔操作装置１に送信する（ステップＳ２５）。この間、カメラ２５１はパンチルト部２５の位置の変化に応じて変化する画像データを制御処理部２１に逐次送信している（ステップＳ２６）。
【００３８】
そこで、利用者は、当該カメラ画像に所望の操作対象３が映っているか否かを確認する（ステップＳ２７）。この場合、ステップＳ２４においてパンチルト部２５の位置が制御されているので、図２に示すように、所望の操作対象３が画像表示部１１のほぼ中心に位置するように映っている。
【００３９】
この後、ステップＳ１６〜Ｓ１１０と同様に、利用者が遠隔操作装置１の操作入力部１２から操作対象３の操作コマンドを入力すると、操作入力部１２が当該操作コマンドを制御処理部２１に送信する（ステップＳ２８）。これを受信した制御処理部２１は、当該操作コマンドを認識してリモコン２５２の制御データに変換しリモコン２５２へ送信する（ステップＳ２９）。これを受信したリモコン２５２は、当該制御データに基づいて操作対象３へのリモコンコマンドを送信する（ステップＳ２１０）。カメラ２５１は画像データを制御処理部２１に逐次送信し（ステップＳ２１１）、遠隔操作装置１は画像表示部１１に当該カメラ画像を表示している。そこで、利用者は、当該カメラ画像に当該操作対象３が当該操作の結果所望の状態となって映っているか否かを調べる（ステップＳ２１２）。所望の状態となっている場合、操作処理を終了する。所望の状態となっていない場合、ステップＳ２８以下を繰り返す。これにより、操作対象３の位置を位置データベース２１３に登録しておくことにより、利用者が当該位置を探索する手間を省略することができる。
【００４０】
図１３は他のリモコンシステム構成図であり、本発明の他の遠隔操作を実行するリモコンシステムの構成の概略を示し、図１に対応する。
【００４１】
この例のリモコンシステムは、図１に示す構成に加えて、例えばその制御処理部２１に画像処理部２１４及び画像データベース２１５を備える。画像処理部２１４は、遠隔操作装置１から指定された操作対象３の画像を、カメラ２５１の撮影するカメラ画像に含まれる（複数の）操作対象３の画像の中から抽出（認識）する。操作対象３の画像の抽出は、例えば周知の画像処理による。画像データベース２１５は、操作可能な操作対象３の画像を格納する。画像処理部２１４は、抽出した操作対象３の画像を用いて画像データベース２１５を参照して、一致する画像を求め、これに基づいて、当該抽出された操作対象３についてのリモコン２５２の操作コマンドの選択メニューを遠隔操作装置１に送信する。
【００４２】
例えば、図２に示すように、操作対象３としてエアコンが抽出された場合、その操作メニューを表示させる。これにより、利用者は、最初に操作したい操作対象３を選択すると、当該操作対象３にリモコン２５２の送信方向が向いた状態で操作メニューを選択することができる。なお、図２に示すように、画像表示部１１に複数の操作対象３が存在する場合、当該複数の操作対象３の各々の操作メニューを表示するようにしてもよい。また、これに先立って、当該複数の操作対象３のいずれを操作対象３とするかを選択する画像又はメニューを表示するようにしてもよい。また、図２に示すように、画像表示部１１上に「円」を表示して、当該円内に表示された操作対象３を所望の操作対象３として選択して画像処理を行なってもよく、また、当該円内に表示された操作対象３の操作メニューを表示するようにしてもよい。
【００４３】
また、この場合、画像データベース２１５に、操作対象３の画像データの他に、図１０に示すような当該操作対象３の位置情報を格納するようにしてもよい。更に、この場合、当該位置情報に多少のズレがあっても、画像処理により一旦当該操作対象３が抽出されたら、その実際の位置により位置情報を修正して、これに基づいてパン及びチルト角度の補正を行ない、より正確にリモコン２５２の方向を制御することができる。
【００４４】
図１４は、遠隔操作処理フローであり、図１３のリモコンシステムにおける操作対象についての遠隔操作処理を示す。
【００４５】
ステップＳ１１〜Ｓ１５と同様の処理を行なう。即ち、利用者が遠隔操作装置１の電源オンによりその操作入力部１２から処理開始のコマンドを制御処理部２１に送信し（ステップＳ３１）、これに応じて、制御処理部２１はカメラ２５１からの画像データから形成したカメラ画像を遠隔操作装置１に送信する（ステップＳ３２）。遠隔操作装置１が画像表示部１１にカメラ画像を表示すると、利用者は、当該カメラ画像に所望の操作対象３が映っているか否かを調べながら（ステップＳ３３）、パンチルト部２５の位置（姿勢）を操作し（ステップＳ３４）、これに応じて、制御処理部２１はパンチルト部２５の位置を制御する（ステップＳ３５）。
【００４６】
ステップＳ３２〜Ｓ３５の繰り返しにより、図２に示すように、所望の操作対象３が画像表示部１１のほぼ中心に位置するようになると、ステップＳ３４におけるパンチルトの操作コマンドの入力がなくなるので、ステップＳ３５において操作コマンドが検出されなくなる。そこで、制御処理部２１は、直前のパンチルトの操作コマンドの入力から一定の時間が経過したか否かを調べ（ステップＳ３６）、経過しない場合、ステップＳ３６を繰り返す。又は、利用者が、操作入力部１２から、その時点でカメラ画像に操作対象３が映っていることを通知する操作コマンドを送信する。
【００４７】
経過した場合（又は前記操作コマンドを受信した場合）、制御処理部２１（の画像処理部２１４）は、前述のように、画像処理によりカメラ２５１からの画像データから形成したカメラ画像の中から操作対象３の画像を抽出して、画像データベース２１５を参照して一致した操作対象３を所望の当該操作対象として認識し、その操作メニューのみを遠隔操作装置１に送信する（ステップＳ３７）。
【００４８】
この後、ステップＳ１６〜Ｓ１１０と同様の処理を行なう。即ち、利用者が遠隔操作装置１の操作入力部１２から、表示された操作メニューから選択することにより、操作対象３の操作コマンドを制御処理部２１に送信する（ステップＳ３８）。例えば、図２に示すように、エアコン及びテレビが映っている場合、最初に「１．エアコン、２．テレビ」の操作メニューを表示し、エアコンが選択されたら更に「１．ＯＮ／ＯＦＦ、２．温度設定」を表示し、以下、順に選択メニューのみを表示する。当該選択入力を受信した制御処理部２１は、当該操作コマンドを制御データに変換しリモコン２５２へ送信し（ステップＳ３９）、リモコン２５２は操作対象３へリモコンコマンドを送信する（ステップＳ３１０）。カメラ２５１は画像データを制御処理部２１に逐次送信し（ステップＳ３１１）、遠隔操作装置１は画像表示部１１に当該カメラ画像を表示している。そこで、利用者は、当該カメラ画像で当該操作対象３が所望の状態となっているか否かを調べる（ステップＳ３１２）。所望の状態となっている場合、操作処理を終了する。所望の状態となっていない場合、ステップＳ３８以下を繰り返す。これにより、現在時位置における操作可能な操作対象３の種類を画像から自動抽出して、利用者が操作対象３を選択する手間を低減することができる。
【００４９】
以上、本発明をその実施の態様により説明したが、本発明は、その主旨の範囲において種々の変形が可能である。
【００５０】
例えば、本発明のリモコンシステムにおけるパンチルト装置２自体を移動可能としてもよい。即ち、パンチルト部２５の制御のみでは、操作対象３である家電が他の家具に隠れて操作できない場合がある。又は、パンチルト装置２の設置された部屋の隣の部屋の操作対象３は操作できない場合が多い。そこで、パンチルト装置２を周知の移動ロボットに搭載する。これにより、移動ロボットを所望の位置まで移動すれば、より広い範囲の操作対象３をリモコン２５２で操作することができる。移動ロボットは、例えば図５のベース２８の下部に設けられ、その上面に当該ベースを取り付けられる。移動ロボットは、例えば直方体状の外観とされ、下部に４個の車輪を備えるような形状とされる。これにより、パンチルト装置２を所望の部屋に移動させて、異なる部屋の異なる操作対象３についても遠隔からリモコン２５２により操作することができる。
【００５１】
また、この場合、図１３の画像データベース２１５において、更に、部屋の間取り及び各々の部屋に設置された１又は複数の操作対象３の画像データを格納するようにしてもよい。これにより、より信頼性の高い操作対象３の操作を実現することができる。
【００５２】
また、本発明の操作対象３は、エアコンやテレビに限られず、種々の家電に適用することができる。また、本発明の操作対象３は家電に限られない。例えば、風呂の管理、玄関や窓の施錠等における遠隔操作に適用することも可能である。更に、本発明の前述した各々の実施態様を、適宜組み合わせて実施するようにしてもよい。
【００５３】
以上から判るように、本発明の実施の形態の特徴を列記すると以下の通りである。
（付記１）　操作対象を操作する信号を当該操作対象に送信するリモコンと、
前記操作対象を撮影するカメラと、
前記カメラの撮影方向と前記リモコンの送信方向とが相互に平行となるように両者を搭載し、前記撮影方向及び送信方向を水平方向及び垂直方向に変更可能とするカメラユニットと、
前記カメラユニットから前記カメラの撮影する画像を受信してこれを表示し、前記カメラユニットに前記リモコンの操作コマンド及び前記カメラユニットの操作コマンドを送信する遠隔操作装置とを備える
ことを特徴とするリモコンシステム。
（付記２）　前記カメラユニットは、
前記リモコン及びカメラを搭載するパンチルト部と、
前記パンチルト部を垂直方向に駆動して、前記撮影方向及び送信方向を垂直方向に変更するチルト駆動部と、
前記パンチルト部を水平方向に駆動して、前記撮影方向及び送信方向を水平方向に変更するパン駆動部とを備える
ことを特徴とする付記１に記載のリモコンシステム。
（付記３）　当該リモコンシステムは、更に、
前記カメラの撮影する画像に含まれる前記操作対象を抽出し、当該抽出された操作対象についての前記リモコンの操作コマンドの選択メニューを前記遠隔操作装置に送信する画像処理部を備える
ことを特徴とする付記１に記載のリモコンシステム。
（付記４）　当該リモコンシステムは、更に、
前記カメラユニットと遠隔操作装置との間に設けられ、これらとの間で前記カメラの撮影する画像のデータ、前記リモコンの操作コマンド及び前記カメラユニットの操作コマンドの送受信を行う制御処理部を備え、
前記遠隔操作装置は、携帯電話からなり、前記制御処理部との間で無線通信を行う
ことを特徴とする付記１に記載のリモコンシステム。
【００５４】
【発明の効果】
以上説明したように、本発明によれば、リモコンシステムにおいて、リモコンの送信方向と平行な撮影方向のカメラによる画像が遠隔操作装置に表示されるので、利用者は、リモコンが家電等の操作対象に向いていることを確認しながら当該操作対象を操作することができ、操作対象が操作コマンドを受信できないという状態を解消して、リモコンで操作対象を意図したように操作することができる。また、遠隔操作装置からリモコン及びカメラを搭載したカメラユニットを操作することができるので、汎用リモコンで操作対象を操作する場合、カメラ画像が操作対象を映し出すようにカメラユニットを操作するのみでよく、利用者がその都度操作対象の位置にリモコンの送信方向を合わせる必要をなくすことができる。更に、リモコンで操作した操作対象をカメラ画像として映すことができるので、利用者が現場にいなくても、操作対象を正常に操作できたか否かを確認することができ、遠隔から操作対象をリモコンで操作することができる。
【図面の簡単な説明】
【図１】リモコンシステム構成図である。
【図２】リモコンシステム説明図である。
【図３】リモコンシステム説明図である。
【図４】リモコンシステム説明図である。
【図５】パンチルト装置構成図である。
【図６】パンチルト装置構成図である。
【図７】パンチルト装置構成図である。
【図８】パンチルト装置構成図である。
【図９】リモコンシステム説明図である。
【図１０】リモコンシステム説明図である。
【図１１】遠隔操作処理フローである。
【図１２】他の遠隔操作処理フローである。
【図１３】他のパンチルト装置構成図である。
【図１４】遠隔操作処理フローである。
【図１５】従来技術説明図である。
【符号の説明】
１　　遠隔操作装置
２　　パンチルト装置
３　　操作対象
１１　　画像表示部
２１　　制御処理部
２４　　（パンチルト）カメラユニット
２５　　パンチルト部
２６　　チルト駆動部
２７　　パン駆動部
２５１　カメラ
２５２　リモコン[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a remote control system, and more particularly to a remote control system capable of accurately operating a home appliance with a remote control using a camera and a monitor and confirming the result.
[0002]
[Prior art]
Home appliances (hereinafter, home appliances) such as televisions, videos, and air conditioners (hereinafter, air conditioners) are often operated by remote controllers (hereinafter, remote controllers). For example, the on / off of the television, the channel, the volume, etc., the on / off of the air conditioner, the room temperature, the wind direction, the air volume, and the like are controlled from a position remote from the installation position of the home appliance using a remote controller. Such remote controls often use infrared communication. That is, an operation command corresponding to the operation of the user is transmitted from the remote controller to the home appliance by infrared rays, and the home appliance is controlled.
[0003]
[Problems to be solved by the invention]
As described above, since the operation command is transmitted from the remote controller to the home appliance by infrared rays, the home appliance may not be operated as intended even if the user attempts to operate the home appliance or the like with the remote controller. This is because, in many cases, the home appliance cannot receive the operation command because the infrared ray has directionality. For example, there is a case where the transmission direction of infrared rays from the remote control is directly opposite to the home appliance to be operated.
[0004]
Such a state often occurs when a so-called general-purpose remote controller is used. The general-purpose remote controller refers to a device that can generate a general-purpose signal so that a single remote control can control a plurality of home appliances, and thereby supports a plurality of home appliances. When the general-purpose remote controller attempts to operate a home appliance installed at an arbitrary position in the room, as shown in FIG. 15, the user turns the remote controller in a proper direction in accordance with the position of the home appliance each time. Must be bothersome.
[0005]
Further, as described above, when operating a home appliance or the like with the remote controller, it is necessary to always confirm whether or not the home appliance to be operated has been normally operated. For example, when the power of the television or the air conditioner is turned off, if the user does not check it, the power consumption is extremely large. For this reason, since confirmation cannot be performed unless a user is present at the site, it has not been possible to remotely operate home appliances with a remote controller.
[0006]
SUMMARY OF THE INVENTION It is an object of the present invention to provide a remote control system capable of operating a home appliance with a remote control accurately and confirming the result.
[0007]
[Means for Solving the Problems]
The remote control system according to the present invention includes a remote controller that transmits a signal for operating the operation target to the operation target, a camera that shoots the operation target, and a camera that shoots the operation target so that the shooting direction of the camera and the transmission direction of the remote control are parallel to each other. A camera unit capable of changing the shooting direction and the transmission direction in the horizontal direction and the vertical direction, and receives and displays an image captured by the camera from the camera unit, and displays a remote control operation command and A remote control device for transmitting an operation command of the camera unit.
[0008]
According to the remote control system of the present invention, since the image from the camera in the shooting direction parallel to the transmission direction of the remote control is displayed on the remote control device, the user can set the transmission direction of the remote control to an operation target such as a home appliance. The user can operate the operation target while confirming the fact. Thus, it is possible to eliminate the state in which the operation target cannot receive the directional infrared operation command, and the remote control can operate the operation target such as a household appliance as intended. Also, a remote control and a camera unit equipped with a camera can be operated from the remote control device. With this, when operating an operation target of a home appliance installed at an arbitrary position in a room with a so-called general-purpose remote controller, the user only has to operate the camera unit so that the image of the camera reflects the intended operation target, and the user can operate the camera unit. In each case, it is not necessary to direct the transmission direction of the remote controller in an appropriate direction according to the position of the operation target of the home appliance. Further, the operation target operated by the remote controller can be displayed as an image of the camera. Thus, when operating an operation target such as a home appliance with the remote controller, it is possible to always confirm whether or not the operation target has been normally operated even when the user is not at the site. Therefore, it is possible to remotely operate the operation target with the remote controller, such as when going out.
[0009]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 is a configuration diagram of a remote control system, and schematically shows a configuration of a remote control system that executes a remote operation according to the present invention.
[0010]
The remote control system includes a remote control device 1 and a pan / tilt device 2. As shown in FIG. 2, the remote control device 1 is configured by a mobile phone, for example, and can perform wireless communication with the pan-tilt device 2 so that the remote control device 1 can operate a home appliance or the like, which is the operation target 3, even when going out. Do. The remote control device 1 may be a dedicated device for performing the wireless communication with the pan / tilt device 2. The pan-tilt device 2 is a relay station between the remote control device 1 and the home appliance or the like as the operation target 3, and includes, for example, a computer having a telephone connection function, and as shown in FIG. Is installed in the room where is installed.
[0011]
The remote operation device 1 includes an image display unit 11 and an operation input unit 12. The image display unit 11 receives an image captured by the camera 251 from a pan / tilt camera unit (hereinafter, camera unit) 24 of the pan / tilt device 2 and displays the image for the user. The operation input unit 12 is for the user to input an operation command of the remote controller 252 (remote control operation command) and an operation command of the camera unit 24 (pan / tilt operation command). To the camera unit 24. As shown in FIG. 2, the image display unit 11 and the operation input unit 12 each include, for example, a liquid crystal display screen and operation buttons of a mobile phone. The condition of the room is shown.
[0012]
The pan-tilt device 2 includes a control processing unit 21, a sensor processing unit 22, a motor control unit 23, and a camera unit 24. The camera unit 24 includes a pan / tilt unit 25, a tilt drive unit 26, and a pan drive unit 27. The pan / tilt unit 25 includes a camera 251 and a remote controller 252.
[0013]
The camera 251 captures an image of the operation target 3 under the control of the control processing unit 21. The remote controller 252 transmits a signal for operating the operation target 3 to the operation target 3 by, for example, infrared rays under the control of the control processing unit 21. Both are mounted on the pan / tilt unit 25 so that the shooting direction (line of sight) of the camera 251 and the transmission direction (transmission direction) of the remote controller 252 are parallel to each other. As a result, if the operation target 3 is reflected in the image of the camera 251, the remote controller 252 faces the home appliance as the operation target 3.
[0014]
For example, if the pan / tilt device 2 is installed as shown in FIG. 3 and the shooting direction of the camera 251 is directed to the air conditioner (intended operation target 3) as indicated by an arrow, the image of the remote operation device 1 As shown in FIG. 2, the display unit 11 displays the air conditioner at the center of the screen. Thus, the user can remotely control the orientation of the camera 251 and the remote controller 252 while checking the camera image on the image display unit 11 of the remote control device 1, thereby changing the orientation of the remote controller 252 to the operation target 3 such as a home appliance or the like. Can be performed reliably, and the operation result can be confirmed by the camera image on the image display unit 11. That is, the user operates the pan and tilt angles (positions) while referring to the camera image displayed on the image display unit 11, and searches for the home appliance as the desired operation target 3. As described above, when the operation target 3 is displayed on (the center of) the image display unit 11, the remote controller 252 also faces the home appliance to be the operation target 3. Therefore, the user transmits a remote control (ie, home appliance) operation command in this state. As a result, the operation of the home appliance, which is the operation target 3, is ensured, and the operation result can be confirmed by the camera image.
[0015]
The pan / tilt unit 25 is a movable unit of the camera unit 24 on which the camera 251 and the remote controller 252 are mounted, and is movable in the horizontal and vertical directions as shown in FIG. That is, it has a degree of freedom in the pan and tilt directions. FIG. 4 schematically shows the pan / tilt section 25. The pan / tilt unit 25 is driven to rotate in a vertical direction by a tilt drive unit 26 and is driven to rotate in a horizontal direction by a pan drive unit 27. Thereby, the shooting direction of the camera 251 and the transmission direction of the remote controller 252 can be changed in the horizontal direction and the vertical direction. The vertical rotation range of the pan / tilt unit 25 is, for example, 0 ° (horizontal direction) to 90 ° (vertical direction), and the horizontal rotation range is, for example, 0 ° to 360 °. Thus, the shooting direction of the camera 251 and the transmission direction of the remote controller 252 are set to the entire range of the hemispherical space.
[0016]
The tilt drive unit 26 includes a motor (hereinafter, tilt motor) for driving the pan / tilt unit 25 in the vertical direction, and a sensor (hereinafter, tilt sensor) that detects the direction of the tilt drive unit 26. The pan driving unit 27 includes a motor (hereinafter, pan motor) for driving the pan / tilt unit 25 in the horizontal direction, and a tilt detection sensor (hereinafter, pan sensor) for detecting the direction of the pan driving unit 27. The tilt motor and the pan motor are each driven by a motor control unit 23 according to a control signal from the control processing unit 21. The detection signals of the tilt sensor and the pan sensor are respectively input to the sensor processing unit 22 and sent to the control processing unit 21.
[0017]
The control processing unit 21 is provided between the camera unit 24 and the remote operation device 1, and transmits and receives data to and from them. That is, when receiving the data of the image to be captured from the camera 251, the control processing unit 21 generates an image in the remote operation device 1 based on the data, and transmits the image to the remote operation device 1 by wireless communication. Further, when receiving an operation command (remote control operation command) of the operation target 3 from the remote operation device 1 by wireless communication, the control processing unit 21 generates control data of the remote control 252 based on the command and transmits the control data to the remote control 252.
[0018]
Further, when the control processing unit 21 receives an operation command (pan-tilt operation command) of the camera unit 24 (that is, the pan-tilt unit 25) from the remote operation device 1 by wireless communication, the control processing unit 21 converts the command into a sensor signal from the sensor processing unit 22. The posture of the camera unit 24 is controlled based on the position. That is, in accordance with the pan / tilt operation command, the tilt motor and the pan motor are driven via the motor control unit 23, and the attitude of the camera unit 24 is changed to the attitude specified by the command. The attitude of the camera unit 24 is monitored by the detection signals of the tilt sensor and the pan sensor, and the attitude is feedback-controlled.
[0019]
Here, a specific configuration of the pan-tilt apparatus 2 will be described with reference to FIGS. FIG. 5A is a perspective view showing the overall appearance of the pan-tilt apparatus 2, and FIG. 5B is a bottom view showing the external appearance of the bottom face of the pan-tilt apparatus 2. 6A is a left side view showing the appearance of the left side of the pan-tilt apparatus 2, FIG. 6B is a front view showing the appearance of the front side of the pan-tilt apparatus 2, and FIG. It is a figure and shows the appearance of the right side of the pan-tilt apparatus 2. FIG. 7 is a cross-sectional view showing a cross section of the pan-tilt apparatus 2. FIG. 8 is a longitudinal sectional view showing a longitudinal section of the pan-tilt apparatus 2.
[0020]
In the pan-tilt apparatus 2, as shown in FIGS. 5 to 8, a column-shaped pan drive unit 27 is provided on a flat base 28 with a disk cut out, and a tilt drive unit 26 is provided at the tip (upper part) thereof. And a pan / tilt portion 25 is provided at the tip (final end). The pan driving unit 27 and the tilt driving unit 26 are fixed to each other via a pan cover 29 as shown in FIGS.
[0021]
As shown in FIGS. 5B and 8, the pan driving unit 27 rotates itself with respect to the base 28 by rotating the pan rotation shaft 272. The pan rotation shaft 272 is driven to rotate by a pan motor 271 via a gear 274. The rotation amount of the pan motor 271 is controlled by the motor control unit 23. The rotation amount of the pan motor 271, that is, the angle of the pan drive unit 27 is detected by a pan sensor 273 connected to a pan rotation shaft 272 as shown in FIGS. The pan sensor 273 includes, for example, a potentiometer.
[0022]
As shown in FIG. 7, the tilt drive unit 26 rotates itself in the vertical direction with respect to the base 28 and the pan drive unit 27 by rotating the tilt rotation shaft 262. The tilt rotation shaft 262 is driven to rotate by a tilt motor 261 via a gear 264. The rotation amount of the tilt motor 261 is controlled by the motor control unit 23. The rotation amount of the tilt motor 261, that is, the angle of the tilt drive unit 26 is detected by a tilt sensor 263 connected to a tilt rotation shaft 262, as shown in FIGS. The tilt sensor 263 includes, for example, a potentiometer.
[0023]
In the pan / tilt section 25, in this example, two cameras 251 are mounted. Thereby, the distance to the imaging target (operation target 3) can be measured by the stereoscopic view using the parallax between the two cameras 251. It should be noted that the number of cameras 251 may be only one as shown in FIG.
[0024]
In the pan / tilt section 25, a transmitter 253 (see FIG. 9) is mounted as a remote controller 252. The transmitter 253 of the remote controller 252 forms a control signal based on the control data received from the control processing unit 21, and transmits the control signal to the operation target 3 in the direction (transmission direction) of the transmitter 253. I do. Remote controller 252 uses infrared rays generally used as operation signals for home appliances (the same applies to reception) as a carrier for the transmission.
[0025]
In this example, a receiver 254 is also mounted as the remote controller 252 in the pan / tilt unit 25. That is, as shown in FIG. 9, the receiver 254 of the remote controller 252 receives the control data from the (original) dedicated remote controller 31 attached to the various operation targets 3, and receives the command data from the command reading unit of the control processing unit 21. Send to 211. The command reading unit 211 decodes an operation command corresponding to the operation target using the received control data from the dedicated remote controller 31. When the user first transmits an operation command from the dedicated remote controller 31 to the receiver 254 of the remote controller 252, the signal is read by the receiver 254 and stored in the command database 212, so that the camera unit 24 The same signal can be transmitted from the mounted remote controller 252.
[0026]
FIG. 11 is a flowchart of a remote control process, and shows a remote control process for an operation target in the remote control system of FIG.
[0027]
When a user who is remotely located, such as when going out, selects and inputs a desired operation target 3 from the operation input unit 12 of the remote control device 1, the operation input unit 12 transmits a predetermined operation command (for example, a process start command). And the information of the selected operation target 3) is transmitted to the control processing unit 21 (step S11). Upon receiving this, the control processing unit 21 forms control data based on the control data and transmits it to the pan / tilt unit 25. In response, the pan / tilt unit 25 starts imaging with the camera 251 and transmits the image data to the control processing unit 21. The control processing unit 21 forms a camera image from the image data and transmits the camera image to the remote operation device 1 (step S12).
[0028]
When the remote operation device 1 receives this and displays the camera image on the image display unit 11, the user checks whether or not the desired operation target 3 is reflected in the camera image (step S13).
[0029]
When the user is not displayed, when the user inputs an operation command of the camera unit 24 from the operation input unit 12 of the remote operation device 1, the operation input unit 12 transmits the operation command to the control processing unit 21, and the pan / tilt unit The position (posture) of the 25 is operated (step S14). Upon receiving this, the control processing unit 21 rotationally drives the tilt motor 261 of the tilt drive unit 26 and the pan motor 271 of the pan drive unit 27 via the motor control unit 23 based on this, and moves the position of the pan / tilt unit 25. Control is performed (step S15).
[0030]
During this time, the camera 251 sequentially transmits image data that changes according to the change in the position of the pan / tilt unit 25 to the control processing unit 21 (step S12). The camera image is displayed on the image display unit 11. Then, the user checks whether or not the desired operation target 3 is reflected in the camera image, that is, while searching for the desired operation target 3 on the screen (step S13), the user determines the position of the pan / tilt unit 25. The input of the operation command is repeated (step S14), and the position of the pan / tilt unit 25 is controlled (step S15). Therefore, by repeating steps S12 to S15, the desired operation target 3 comes to be located substantially at the center of the image display unit 11, as shown in FIG. Since the control signal composed of infrared rays transmitted from the remote controller 252 is diffused to some extent, it is sufficient that the desired operation target 3 is located near the center of the image display unit 11.
[0031]
In step S13, when the desired operation target 3 is reflected in the camera image, when the user inputs an operation command of the operation target 3 from the operation input unit 12 of the remote control device 1, the operation input unit 12 The command is transmitted to the control processing unit 21 (step S16). Upon receiving the command, the control processing unit 21 recognizes the operation command, converts the operation command into control data of the remote controller 252, and transmits the control data to the remote controller 252 (step S17). Upon receiving this, the remote controller 252 sends a control signal of the operation target 3 in the transmission direction based on the control data. That is, a remote control command is transmitted (step S18).
[0032]
As described above, since the camera 251 sequentially transmits image data that changes in accordance with the change in the position of the pan / tilt unit 25 to the control processing unit 21 (step S19), the remote control device 1 that has received the image data accordingly. Displays the camera image on the image display unit 11. Therefore, the user checks whether or not the operation target 3 is in a desired state as a result of the operation in the camera image (step S110). If it is in the desired state, the operation processing ends. If the state is not the desired state, the processing from step S16 is repeated. The desired state can be confirmed by a pilot lamp (not shown) of the operation target 3. For example, lighting of a power lamp or the like.
[0033]
In this example, since the pan and tilt angles are controlled in step S15, the user only needs to sequentially transmit the angle targets in step S14, and the pan and tilt can be controlled with respect to the time delay of the remote operation. Can be stably performed.
[0034]
FIG. 12 is another remote operation processing flow, and shows another remote operation processing for an operation target in the remote control system of FIG. 1. That is, in the remote control system of FIG. 1, the processing of FIG. 12 may be executed instead of the processing of FIG.
[0035]
The remote control system of this example includes, for example, a position database 213 in the control processing unit 21. The control processing unit 21 refers to the position database 213 using the designated operation target 3 to obtain the position of the operation target 3 and the like, and controls the position (posture) of the pan / tilt unit 25 based on this. An example of the position database 213 is shown in FIG. For example, when the user selects the air conditioner with the selection number # 1, the pan and tilt angles α1 and β1 are obtained from the position database 213, and the pan driving unit 27 and the tilt driving unit 26 are rotationally driven to set the position of the pan / tilt unit 25. Control. That is, the pan and tilt angles of the pan / tilt unit 25 are set to the obtained angles. Thereby, the directions of the camera 251 and the remote controller 252 are directed to the air conditioner which is the operation target 3.
[0036]
When a user who is remotely located, such as when going out, selects and inputs a desired operation target 3 from the operation input unit 12 of the remote control device 1, the operation input unit 12 transmits a predetermined operation command (for example, a process start command). And the selected operation target 3) to the control processing unit 21 (step S21).
[0037]
Upon receiving the operation command, the control processing unit 21 recognizes the operation command (step S22), starts imaging with the camera 251 and transmits the image data to the control processing unit 21 in the same manner as in step S12. The target 3 is recognized, and the position and the like of the operation target 3 are obtained with reference to the position database 213 (step S23). Based on this, the position (posture) of the pan / tilt unit 25 is controlled as described above ( Step S24). Further, the control processing unit 21 reads out the operation menu for the selected operation target 3 from the position database 213, and transmits the operation menu to the remote operation device 1 (Step S25). During this time, the camera 251 sequentially transmits image data that changes in accordance with the change in the position of the pan / tilt unit 25 to the control processing unit 21 (step S26).
[0038]
Therefore, the user checks whether the desired operation target 3 is reflected in the camera image (step S27). In this case, since the position of the pan / tilt unit 25 is controlled in step S <b> 24, the desired operation target 3 appears to be located substantially at the center of the image display unit 11 as shown in FIG. 2.
[0039]
Thereafter, as in steps S16 to S110, when the user inputs an operation command of the operation target 3 from the operation input unit 12 of the remote operation device 1, the operation input unit 12 transmits the operation command to the control processing unit 21. (Step S28). Upon receiving this, the control processing unit 21 recognizes the operation command, converts the operation command into control data of the remote controller 252, and transmits the control data to the remote controller 252 (step S29). Upon receiving this, the remote controller 252 transmits a remote control command to the operation target 3 based on the control data (step S210). The camera 251 sequentially transmits the image data to the control processing unit 21 (Step S211), and the remote operation device 1 displays the camera image on the image display unit 11. Therefore, the user checks whether or not the operation target 3 is in a desired state as a result of the operation in the camera image (step S212). If it is in the desired state, the operation processing ends. If the desired state is not attained, the steps from step S28 are repeated. Thus, by registering the position of the operation target 3 in the position database 213, it is possible to save the user from having to search for the position.
[0040]
FIG. 13 is a configuration diagram of another remote control system, schematically showing the configuration of a remote control system that performs another remote operation of the present invention, and corresponding to FIG.
[0041]
The remote control system of this example includes, for example, an image processing unit 214 and an image database 215 in the control processing unit 21 in addition to the configuration shown in FIG. The image processing unit 214 extracts (recognizes) an image of the operation target 3 specified by the remote operation device 1 from (a plurality of) images of the operation target 3 included in the camera image captured by the camera 251. The image of the operation target 3 is extracted by, for example, well-known image processing. The image database 215 stores images of the operable operation target 3. The image processing unit 214 obtains a matching image by referring to the image database 215 using the extracted image of the operation target 3, and based on the image, determines the operation command of the remote controller 252 for the extracted operation target 3. The selection menu is transmitted to the remote operation device 1.
[0042]
For example, as shown in FIG. 2, when an air conditioner is extracted as the operation target 3, the operation menu is displayed. Thus, when the user first selects the operation target 3 to be operated, the user can select an operation menu in a state where the transmission direction of the remote controller 252 faces the operation target 3. As shown in FIG. 2, when a plurality of operation targets 3 are present on the image display unit 11, the operation menu of each of the plurality of operation targets 3 may be displayed. Prior to this, an image or a menu for selecting which of the plurality of operation objects 3 is to be the operation object 3 may be displayed. Alternatively, as shown in FIG. 2, a “circle” may be displayed on the image display unit 11 and the image processing may be performed by selecting the operation target 3 displayed in the circle as a desired operation target 3. Alternatively, an operation menu of the operation target 3 displayed in the circle may be displayed.
[0043]
In this case, in addition to the image data of the operation target 3, position information of the operation target 3 as shown in FIG. 10 may be stored in the image database 215. Further, in this case, even if the position information has some deviation, once the operation target 3 is extracted by the image processing, the position information is corrected based on the actual position, and the pan and tilt angles are corrected based on the position information. And the direction of the remote controller 252 can be controlled more accurately.
[0044]
FIG. 14 is a flowchart of a remote operation process, and shows a remote operation process for an operation target in the remote control system of FIG.
[0045]
The same processing as steps S11 to S15 is performed. That is, the user transmits a processing start command from the operation input unit 12 to the control processing unit 21 by turning on the power of the remote operation device 1 to the control processing unit 21 (Step S31). The camera image formed from the image data is transmitted to the remote operation device 1 (step S32). When the remote operation device 1 displays the camera image on the image display unit 11, the user checks the position (posture) of the pan / tilt unit 25 while checking whether or not the desired operation target 3 is reflected in the camera image (step S33). ) (Step S34), and the control processing unit 21 controls the position of the pan / tilt unit 25 in response to this (step S35).
[0046]
By repeating steps S32 to S35, as shown in FIG. 2, when the desired operation target 3 is located substantially at the center of the image display section 11, the input of the pan / tilt operation command in step S34 is stopped, so that step S35 is performed. No operation command is detected. Therefore, the control processing unit 21 checks whether or not a predetermined time has elapsed from the input of the immediately preceding pan / tilt operation command (step S36), and if not, repeats step S36. Alternatively, the user transmits, from the operation input unit 12, an operation command for notifying that the operation target 3 is currently displayed in the camera image.
[0047]
If the time has elapsed (or if the operation command has been received), (the image processing unit 214 of) the control processing unit 21 performs the operation from the camera image formed from the image data from the camera 251 by the image processing as described above. The image of the object 3 is extracted, the matched operation object 3 is recognized as the desired operation object with reference to the image database 215, and only the operation menu is transmitted to the remote operation device 1 (step S37).
[0048]
Thereafter, the same processing as in steps S16 to S110 is performed. That is, when the user selects from the displayed operation menu from the operation input unit 12 of the remote control device 1, the operation command of the operation target 3 is transmitted to the control processing unit 21 (step S38). For example, as shown in FIG. 2, when the air conditioner and the television are displayed, the operation menu of “1. .Temperature setting ”is displayed, and thereafter, only the selection menu is displayed in order. The control processing unit 21 having received the selection input converts the operation command into control data and transmits the control data to the remote controller 252 (step S39), and the remote controller 252 transmits the remote control command to the operation target 3 (step S310). The camera 251 sequentially transmits the image data to the control processing unit 21 (step S311), and the remote operation device 1 displays the camera image on the image display unit 11. Therefore, the user checks whether the operation target 3 is in a desired state in the camera image (step S312). If it is in the desired state, the operation process ends. If the state is not the desired state, the steps from step S38 are repeated. Thereby, the type of the operation target 3 that can be operated at the current position can be automatically extracted from the image, and the trouble of the user selecting the operation target 3 can be reduced.
[0049]
As described above, the present invention has been described based on the embodiments, but the present invention can be variously modified within the scope of the gist.
[0050]
For example, the pan / tilt device 2 itself in the remote control system of the present invention may be movable. That is, there is a case where the home appliance as the operation target 3 cannot be operated by being hidden by other furniture only by the control of the pan / tilt unit 25. Alternatively, the operation target 3 in a room next to the room in which the pan-tilt device 2 is installed cannot be operated in many cases. Therefore, the pan-tilt device 2 is mounted on a known mobile robot. Thus, if the mobile robot is moved to a desired position, the operation target 3 in a wider range can be operated with the remote controller 252. The mobile robot is provided, for example, below the base 28 in FIG. 5 and has the base attached to its upper surface. The mobile robot has, for example, a rectangular parallelepiped appearance, and has a shape including four wheels at a lower portion. Thereby, the pan-tilt apparatus 2 can be moved to a desired room, and different operation targets 3 in different rooms can be remotely operated by the remote controller 252.
[0051]
In this case, the image database 215 of FIG. 13 may further store room layouts and image data of one or more operation targets 3 installed in each room. Thereby, more reliable operation of the operation target 3 can be realized.
[0052]
Further, the operation target 3 of the present invention is not limited to an air conditioner or a television, and can be applied to various home appliances. Further, the operation target 3 of the present invention is not limited to home appliances. For example, the present invention can be applied to remote control of bath management, locking of entrances and windows, and the like. Further, each of the above-described embodiments of the present invention may be implemented in an appropriate combination.
[0053]
As can be seen from the above, the features of the embodiments of the present invention are listed as follows.
(Supplementary Note 1) A remote controller that transmits a signal for operating the operation target to the operation target,
A camera for photographing the operation target,
A camera unit equipped with both so that the shooting direction of the camera and the transmission direction of the remote controller are parallel to each other, and the shooting direction and the transmission direction can be changed in the horizontal direction and the vertical direction,
A remote operation device that receives and displays an image captured by the camera from the camera unit, and transmits an operation command of the remote control and an operation command of the camera unit to the camera unit.
A remote control system, characterized in that:
(Supplementary Note 2) The camera unit includes:
A pan-tilt unit on which the remote control and the camera are mounted,
A tilt drive unit that drives the pan-tilt unit in the vertical direction and changes the shooting direction and the transmission direction in the vertical direction;
A pan drive unit that drives the pan / tilt unit in the horizontal direction to change the shooting direction and the transmission direction in the horizontal direction.
The remote control system according to claim 1, wherein:
(Appendix 3) The remote control system further includes:
An image processing unit that extracts the operation target included in the image captured by the camera and transmits a selection menu of an operation command of the remote controller for the extracted operation target to the remote operation device;
The remote control system according to claim 1, wherein:
(Supplementary Note 4) The remote control system further includes:
A control processing unit that is provided between the camera unit and the remote operation device, and transmits and receives data of an image captured by the camera, an operation command of the remote control, and an operation command of the camera unit therebetween.
The remote control device includes a mobile phone and performs wireless communication with the control processing unit.
The remote control system according to claim 1, wherein:
[0054]
【The invention's effect】
As described above, according to the present invention, in the remote control system, the image from the camera in the shooting direction parallel to the transmission direction of the remote control is displayed on the remote control device. It is possible to operate the operation target while confirming that the operation target is suitable, to eliminate the state in which the operation target cannot receive the operation command, and to operate the operation target as intended using the remote controller. In addition, since a remote control and a camera unit equipped with a camera can be operated from a remote control device, when operating an operation target with a general-purpose remote control, it is only necessary to operate the camera unit so that the camera image shows the operation target, This eliminates the need for the user to adjust the transmission direction of the remote control to the position to be operated each time. Furthermore, since the operation target operated by the remote control can be displayed as a camera image, it is possible to confirm whether or not the operation target can be normally operated even if the user is not at the site, and to remotely control the operation target. Can be operated by remote control.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a remote control system.
FIG. 2 is an explanatory diagram of a remote control system.
FIG. 3 is an explanatory diagram of a remote control system.
FIG. 4 is an explanatory diagram of a remote control system.
FIG. 5 is a configuration diagram of a pan-tilt device.
FIG. 6 is a configuration diagram of a pan / tilt device.
FIG. 7 is a configuration diagram of a pan-tilt device.
FIG. 8 is a configuration diagram of a pan / tilt device.
FIG. 9 is an explanatory diagram of a remote control system.
FIG. 10 is an explanatory diagram of a remote control system.
FIG. 11 is a remote control processing flow.
FIG. 12 is another remote operation processing flow.
FIG. 13 is a configuration diagram of another pan / tilt device.
FIG. 14 is a remote operation processing flow.
FIG. 15 is an explanatory diagram of a conventional technique.
[Explanation of symbols]
1 Remote control device
2 Pan-tilt device
3 Operation target
11 Image display section
21 Control processing unit
24 (pan-tilt) camera unit
25 Pan tilt unit
26 Tilt driver
27 Pan drive unit
251 camera
252 remote control

Claims

A remote controller for transmitting a signal for operating the operation target to the operation target;
A camera for photographing the operation target,
A camera unit equipped with both so that the shooting direction of the camera and the transmission direction of the remote controller are parallel to each other, and the shooting direction and the transmission direction can be changed in the horizontal direction and the vertical direction,
A remote control device that receives an image captured by the camera from the camera unit, displays the image, and transmits an operation command of the remote control and an operation command of the camera unit to the camera unit. system.

The camera unit includes:
A pan-tilt unit on which the remote control and the camera are mounted,
A tilt drive unit that drives the pan-tilt unit in the vertical direction and changes the shooting direction and the transmission direction in the vertical direction;
The remote control system according to claim 1, further comprising: a pan drive unit that drives the pan / tilt unit in the horizontal direction to change the shooting direction and the transmission direction in the horizontal direction.

The remote control system further includes:
An image processing unit that extracts the operation target included in the image captured by the camera and transmits a selection menu of an operation command of the remote controller for the extracted operation target to the remote operation device. The remote control system according to claim 1.