JP2010130632A - Device remote control system - Google Patents
Device remote control system Download PDFInfo
- Publication number
- JP2010130632A JP2010130632A JP2008306426A JP2008306426A JP2010130632A JP 2010130632 A JP2010130632 A JP 2010130632A JP 2008306426 A JP2008306426 A JP 2008306426A JP 2008306426 A JP2008306426 A JP 2008306426A JP 2010130632 A JP2010130632 A JP 2010130632A
- Authority
- JP
- Japan
- Prior art keywords
- remote controller
- operation button
- user
- mounted display
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Details Of Television Systems (AREA)
- Selective Calling Equipment (AREA)
Abstract
Description
本発明は、単一のリモートコントローラで複数の機器を遠隔操作する際に、遠隔操作する機器の操作情報をヘッドマウントディスプレイで表示する機器遠隔操作システムに関するものである。 The present invention relates to a device remote operation system that displays operation information of a remotely operated device on a head-mounted display when a plurality of devices are remotely operated with a single remote controller.
従来から、特許文献1や特許文献2に示されるように、複数の電子機器(テレビ受像器、DVDプレーヤ、オーディオ機器、エアコンディショナー等)を操作することができる所謂学習リモコンやマルチリモコンが知られている。これらは、単一のリモートコントローラで複数の電子機器を操作することができるため、それぞれの機器に対応したリモートコントローラが氾濫することがなく、便利である。 Conventionally, as disclosed in Patent Document 1 and Patent Document 2, so-called learning remote controllers and multi-remote controllers capable of operating a plurality of electronic devices (TV receivers, DVD players, audio devices, air conditioners, etc.) are known. ing. Since these can operate a plurality of electronic devices with a single remote controller, the remote controllers corresponding to the respective devices do not overflow, which is convenient.
しかしながら、ユーザが操作しようとしている電子機器の操作に対応した操作ボタンがどれであるかを忘れてしまったり、現在ユーザが操作しようとしている電子機器がわかりにくいことから、ユーザが電子機器を誤操作してしまったりするという問題があった。例えば、ユーザがテレビ受像機のチャンネルを切り替える操作をしたつもりが、エアコンディショナーを作動させてしまう場合がある。また、暗い部屋では、リモートコントローラの操作ボタンを視認しづらいという問題があった。 However, the user forgets which operation button corresponds to the operation of the electronic device that the user is trying to operate, or the electronic device that the user is trying to operate is difficult to understand. There was a problem of being lost. For example, there is a case where the user intends to change the channel of the television receiver but activates the air conditioner. Further, there is a problem that it is difficult to visually recognize the operation buttons of the remote controller in a dark room.
本発明は、上記問題を解決し、機器の誤操作を防ぎ、暗い部屋であっても操作することができる機器遠隔操作システムを提供することを目的としてなされたものである。 An object of the present invention is to solve the above-mentioned problems, to prevent an erroneous operation of the device, and to provide a device remote operation system that can be operated even in a dark room.
上記課題を解決するためになされた請求項1に記載の発明は、複数又は単一の機器を、無線信号である機器操作信号で遠隔操作する機器遠隔操作システムにおいて、
複数又は単一の機器の各機器操作信号に対応した複数の操作ボタンを有する単一のリモートコントローラと、
ユーザの頭部に装着され、当該ユーザに画像を視認させるヘッドマウントディスプレイと、
前記リモートコントローラで遠隔操作する機器を識別する機器識別手段と、
前記リモートコントローラの各操作ボタンを、前記機器識別手段が識別した機器の各機器操作信号に適合させる適合手段と、
前記機器識別手段が識別した機器の各機器操作信号に対応する各操作ボタンの操作情報画像を生成し、前記ヘッドマウントディスプレイに出力する操作情報画像生成手段とを有することを特徴とする。
The invention according to claim 1, which has been made to solve the above-described problem, is a device remote control system for remotely controlling a plurality or a single device with a device operation signal that is a radio signal.
A single remote controller having a plurality of operation buttons corresponding to each device operation signal of a plurality or a single device;
A head mounted display that is mounted on the user's head and allows the user to visually recognize the image;
Device identification means for identifying a device remotely operated by the remote controller;
Adapting means for adapting each operation button of the remote controller to each equipment operation signal of the equipment identified by the equipment identifying means;
Operation information image generation means for generating an operation information image of each operation button corresponding to each device operation signal of the device identified by the device identification means, and outputting the operation information image to the head mounted display.
請求項2に記載の発明は、請求項1に記載の発明において、機器識別手段は、各機器に記載された機器識別記号を読み取る撮像装置であることを特徴とする。 According to a second aspect of the present invention, in the first aspect of the present invention, the device identification means is an imaging device that reads a device identification symbol described in each device.
請求項3に記載の発明は、請求項1に記載の発明において、機器識別手段は、各機器に取り付けられたICタグの機器識別情報を読み取るタグリーダであることを特徴とする。 The invention according to claim 3 is the invention according to claim 1, wherein the device identification means is a tag reader that reads device identification information of an IC tag attached to each device.
請求項1に記載の発明は、リモートコントローラで遠隔操作する機器を識別する機器識別手段と、リモートコントローラの各操作ボタンを、前記機器識別手段が識別した機器の各機器操作信号に適合させる適合手段と、前記機器識別手段が識別した機器の各機器操作信号に対応する各操作ボタンの操作情報画像を生成し、ヘッドマウントディスプレイに出力する操作情報画像生成手段とを有するので、機器の操作に対応した操作ボタンの操作内容を確認しつつ、操作ボタンを押下することができ、機器の誤操作を防止することが可能となる。また、操作情報画像が、ヘッドマウントディスプレイに表示されるので、暗い部屋であっても、機器を容易に操作することができる。 The invention according to claim 1 is a device identifying means for identifying a device remotely operated by a remote controller, and an adapting means for adapting each operation button of the remote controller to each device operation signal of the device identified by the device identifying means. And operation information image generation means for generating an operation information image of each operation button corresponding to each device operation signal of the device identified by the device identification means and outputting it to the head mounted display It is possible to press down the operation button while confirming the operation content of the operation button, and it is possible to prevent erroneous operation of the device. In addition, since the operation information image is displayed on the head mounted display, the device can be easily operated even in a dark room.
請求項2に記載の発明は、機器識別手段を、各機器に記載された機器識別記号を読み取る撮像装置で構成したので、ユーザが操作しようとしている機器を確実に識別することが可能となる。 According to the second aspect of the present invention, since the device identification means is configured by an imaging device that reads a device identification symbol described in each device, it is possible to reliably identify the device that the user is trying to operate.
請求項3に記載の発明は、機器識別手段を、各機器に取り付けられたICタグの機器識別情報を読み取るタグリーダで構成したので、ユーザが操作しようとしている機器を確実に識別することが可能となる。 In the invention according to claim 3, since the device identification means is configured by a tag reader that reads the device identification information of the IC tag attached to each device, it is possible to reliably identify the device that the user is trying to operate. Become.
(本発明の概要)
図1に本発明の機器遠隔操作システムの概要図を示して、以下、本発明の概要を説明する。本発明の機器遠隔操作システムは、図2に示されるような、複数の操作ボタン101を有する単一のリモートコントローラ100と、ユーザ500の頭部に装着され、このユーザ500に画像を視認させるヘッドマウントディスプレイ200とから構成されている。本発明では、前記単一のリモートコントローラ100が出力する無線信号である「機器操作信号」で、エアコンディショナー600(機器A)、テレビ受像器700(機器B)、オーディオ機器800(機器C)等の単一又は複数の機器を、操作することができるようになっている。このような機能を実現するため、本発明の機器遠隔操作システムは、操作しようとしている機器を識別する「機器識別手段」を有し、当該機器を操作する前に、リモートコントローラ500の各操作ボタン101を、前記「機器識別手段」が識別した機器の各「機器操作信号」に適合させるようになっている。
(Outline of the present invention)
FIG. 1 shows a schematic diagram of an apparatus remote control system of the present invention, and the outline of the present invention will be described below. The apparatus remote operation system of the present invention includes a single remote controller 100 having a plurality of operation buttons 101 as shown in FIG. 2 and a head that is mounted on the head of a user 500 and allows the user 500 to visually recognize an image. It is comprised from the mount display 200. FIG. In the present invention, an “apparatus operation signal”, which is a radio signal output from the single remote controller 100, uses an air conditioner 600 (apparatus A), a television receiver 700 (apparatus B), an audio apparatus 800 (apparatus C), and the like. One or a plurality of devices can be operated. In order to realize such a function, the device remote operation system of the present invention has “device identification means” for identifying a device to be operated, and each operation button of the remote controller 500 before operating the device. 101 is adapted to each “device operation signal” of the device identified by the “device identifying means”.
ユーザが、操作したい機器にリモートコントローラ100を向けて、機器選択ボタン102(図2に示す)を押下すると、前記「機器識別手段」が操作しようとしている機器を識別する。すると、リモートコントローラ500の各操作ボタン101が、機器の各「機器操作信号」に適合されるとともに、図3や図4に示されるように、ユーザ500が操作をしようとしている機器A600、または機器B700の、リモートコントローラ100の操作ボタン101及び当該操作ボタン101の操作の内容を表した操作情報画像910、または操作情報画像920が、ヘッドマウントディスプレイ200に表示される。このため、ユーザ500が当該操作情報画像910、920を確認しながら、機器A600、機器B700を操作することができる。以下、図面を示しつつ、機器遠隔操作システムの詳細について説明をする。 When the user directs the remote controller 100 to the device to be operated and presses the device selection button 102 (shown in FIG. 2), the “device identifying means” identifies the device to be operated. Then, each operation button 101 of the remote controller 500 is adapted to each “apparatus operation signal” of the apparatus, and as shown in FIG. 3 and FIG. In B700, the operation button 101 of the remote controller 100 and the operation information image 910 representing the content of the operation of the operation button 101 or the operation information image 920 are displayed on the head mounted display 200. Therefore, the user 500 can operate the device A 600 and the device B 700 while confirming the operation information images 910 and 920. Hereinafter, the details of the device remote control system will be described with reference to the drawings.
(機器遠隔操作システムのブロック図)
図5に機器遠隔操作システムのブロック図を示して、以下、当該ブロック図について説明をする。図5に示される実施形態では、「機器識別情報」を読み取る機器識別手段150を、リモートコントローラ100に設けている。機器識別手段150には、撮像装置151、タグリーダ152が含まれる。以下、機器識別手段150が撮像装置151である場合の実施形態について説明をする。
(Block diagram of equipment remote control system)
FIG. 5 shows a block diagram of the device remote control system, which will be described below. In the embodiment shown in FIG. 5, the remote controller 100 is provided with a device identification unit 150 that reads “device identification information”. The device identification unit 150 includes an imaging device 151 and a tag reader 152. Hereinafter, an embodiment in which the device identification unit 150 is the imaging device 151 will be described.
図1や図2、図4、図5に示されるように、各機器600、700、800には、これらの機器を識別するための記号(機器識別情報)である機器識別記号601、701、801が記載されている。機器識別記号601、701、801には、バーコードや二次元コードが含まれる。 As shown in FIG. 1, FIG. 2, FIG. 4, and FIG. 5, each device 600, 700, 800 has device identification symbols 601, 701, which are symbols (device identification information) for identifying these devices. 801 is described. The device identification symbols 601, 701, and 801 include barcodes and two-dimensional codes.
撮像装置151は、機器識別記号601、701、801を撮像する。撮像装置151は、メージセンサー及び結像光学系を有している。イメージセンサーは、光を検出して電荷を発生させるフォトダイオード(画素)を二次元に配置したものである。イメージセンサーには、CCD(Charge Coupled Device Image Sensor)やCMOS(Complementary Metal Oxide Semiconductor)等のセンサーが含まれる。結像光学系は、単一又は複数のレンズで構成され、入光した像を、イメージセンサー上で結像させる。なお、撮像装置151を所謂赤外線カメラで構成し、或いは、発光装置を設けると、暗い場所であっても、機器識別記号601、701、801を、確実に撮像することができる。 The imaging device 151 images the device identification symbols 601, 701, and 801. The imaging device 151 includes a image sensor and an imaging optical system. An image sensor is a two-dimensional arrangement of photodiodes (pixels) that detect light and generate charges. Image sensors include sensors such as a CCD (Charge Coupled Device Image Sensor) and CMOS (Complementary Metal Oxide Semiconductor). The imaging optical system includes a single lens or a plurality of lenses, and forms an incident image on an image sensor. Note that when the imaging device 151 is configured by a so-called infrared camera or a light emitting device is provided, the device identification symbols 601, 701, and 801 can be reliably imaged even in a dark place.
ユーザが、リモートコントローラ100の撮像装置151を、機器識別記号601に近づけて、機器選択ボタン102を押下すると、撮像装置151が、機器識別記号601を撮像することにより、リモートコントローラ100は、機器A600の「機器識別記号」を取得する(図5の(1))。 When the user brings the imaging device 151 of the remote controller 100 close to the device identification symbol 601 and presses the device selection button 102, the imaging device 151 captures the device identification symbol 601. "Device identification symbol" is acquired ((1) in FIG. 5).
リモートコントローラ100は、取得した「機器識別記号」により、ユーザが操作しようとしている機器が機器A600であることを認識する。リモートコントローラ100の赤外線発光部120は、機器A600の赤外線受発光部に、「リモートコントローラ情報要求信号」を出力する(図5の(2))。 The remote controller 100 recognizes that the device that the user is trying to operate is the device A 600 based on the acquired “device identification symbol”. The infrared light emitting unit 120 of the remote controller 100 outputs a “remote controller information request signal” to the infrared light receiving and emitting unit of the device A 600 ((2) in FIG. 5).
「リモートコントローラ情報要求信号」が入力された機器A600は、リモートコントローラ100の赤外線受光部110に、「リモートコントローラ情報」を出力する(図5の(3))。 The device A 600 to which the “remote controller information request signal” is input outputs “remote controller information” to the infrared light receiving unit 110 of the remote controller 100 ((3) in FIG. 5).
「リモートコントローラ情報」を取得したリモートコントローラ100は、各操作ボタン101を、機器A600の各「機器操作信号」に適合させるとともに、「リモートコントローラ情報」を制御部50に出力する(図5の(4))。 The remote controller 100 that has acquired “remote controller information” adapts each operation button 101 to each “device operation signal” of the device A 600 and outputs “remote controller information” to the control unit 50 ((( 4)).
「リモートコントローラ情報」を取得した制御部50は、「リモートコントローラ情報」に基づいて、操作情報画像910を生成し、ヘッドマウントディスプレイ200に出力する(図5の(5))。操作情報画像910を取得したヘッドマウントディスプレイ200は操作情報画像910を表示する(図3の状態)。 The control unit 50 that has acquired the “remote controller information” generates an operation information image 910 based on the “remote controller information” and outputs the operation information image 910 to the head mounted display 200 ((5) in FIG. 5). The head mounted display 200 that has acquired the operation information image 910 displays the operation information image 910 (state shown in FIG. 3).
ユーザが、リモートコントローラ100の操作ボタン101を押下すると、赤外線発光部120は、「機器操作信号」を機器A600の赤外線受発光部605に出力する。このようにして、ユーザは、操作情報画像910を見ながら、機器A600を操作することができる。 When the user presses the operation button 101 of the remote controller 100, the infrared light emitting unit 120 outputs a “device operation signal” to the infrared light receiving and emitting unit 605 of the device A600. In this way, the user can operate the device A 600 while viewing the operation information image 910.
上述した機器A600を選択して操作する作業と同様に、ユーザは、撮像装置151を機器B700や機器C800の機器識別記号701、801に近づけて撮像することにより、機器B700や機器C800を、単一のリモートコントローラ100で操作することができる。 Similar to the above-described operation of selecting and operating the device A600, the user captures the device B700 and the device C800 simply by capturing the image pickup device 151 close to the device identification symbols 701 and 801 of the device B700 and the device C800. One remote controller 100 can be used for operation.
なお、本実施形態では、制御部50はリモートコントローラ100に取り付けられている。 In the present embodiment, the control unit 50 is attached to the remote controller 100.
(制御部50のブロック図)
図6に制御部50のブロック図を示して、以下、制御部50について説明する。制御部50は、CPU11、RAM12、ROM13、不揮発性メモリー14、インターフェース21、撮像装置コントローラ31、撮像装置VRAM32、ヘッドマウントディスプレイコントローラ41、画像生成部VRAM42から構成されている。CPU11、RAM12、ROM13、不揮発性メモリー14、インターフェース21、撮像装置コントローラ31、撮像装置VRAM32、ヘッドマウントディスプレイコントローラ41は、相互にバス45で接続されている。
(Block diagram of control unit 50)
FIG. 6 shows a block diagram of the control unit 50, and the control unit 50 will be described below. The control unit 50 includes a CPU 11, a RAM 12, a ROM 13, a nonvolatile memory 14, an interface 21, an imaging device controller 31, an imaging device VRAM 32, a head mounted display controller 41, and an image generation unit VRAM 42. The CPU 11, RAM 12, ROM 13, nonvolatile memory 14, interface 21, imaging device controller 31, imaging device VRAM 32, and head mounted display controller 41 are connected to each other via a bus 45.
CPU(Central Processing Unitの略)11は、RAM(Random Access Memoryの略)12、ROM(Read Only Memoryの略)13と協動して、各種演算、処理を行うものである。 A CPU (abbreviation for central processing unit) 11 performs various calculations and processes in cooperation with a RAM (abbreviation for random access memory) 12 and a ROM (abbreviation for read only memory) 13.
RAM12は、CPU11で処理されるプログラムや、CPU11が処理するデータを、そのアドレス空間に一時的に保存するものである。 The RAM 12 temporarily stores programs processed by the CPU 11 and data processed by the CPU 11 in its address space.
ROM13には、制御部50を制御する各種プログラムやパラメータが保存されている。当該各種プログラムが、CPU11で処理されることにより、各種機能を実現している。ROM13には、機器識別情報判別手段13a、適合手段13b、操作ボタン操作検知手段13c、操作情報画像生成手段13d、発光コード発光手段13eが保存されている。なお、不揮発性メモリー14に、これらプログラムやデータを保存することにしても差し支えない。 Various programs and parameters for controlling the control unit 50 are stored in the ROM 13. Various functions are realized by the various programs being processed by the CPU 11. The ROM 13 stores device identification information discriminating means 13a, adapting means 13b, operation button operation detecting means 13c, operation information image generating means 13d, and light emission code light emitting means 13e. Note that these programs and data may be stored in the nonvolatile memory 14.
機器識別情報判別手段13aは、撮像装置151が撮像した、「機器識別記号」に基づいて、ユーザが操作しようとしている機器を判別する。 The device identification information determination unit 13 a determines the device that the user is trying to operate based on the “device identification symbol” captured by the imaging device 151.
適合手段13bは、リモートコントローラ100の各操作ボタン101を、機器識別情報判別手段13aが識別した機器の各「機器操作信号」に適合させる。 The adapting means 13b adapts each operation button 101 of the remote controller 100 to each “apparatus operation signal” of the equipment identified by the equipment identification information discriminating means 13a.
操作ボタン操作検知手段13cは、ユーザが、操作ボタン101を半押し、若しくは、操作ボタン101に触れる、又は操作ボタン101を全押し(押下)の操作を検知する手段である。 The operation button operation detection unit 13c is a unit that detects an operation in which the user presses the operation button 101 halfway, touches the operation button 101, or fully presses (presses) the operation button 101.
操作情報画像生成手段13dは、ヘッドマウントディスプレイ200で表示する「操作情報画像」を生成する命令を、ヘッドマウントディスプレイコントローラ41に出力する。 The operation information image generation unit 13 d outputs a command for generating an “operation information image” to be displayed on the head mounted display 200 to the head mounted display controller 41.
発光コード発光手段13eは、操作ボタン101が押下された信号に基づき、当該操作ボタン101の対応する「機器操作信号」である「発光コード」を、不揮発性メモリー14から読み出し、当該「発光コード」を、赤外線発光部120で赤外光として発光させる処理を行う。 Based on the signal that the operation button 101 is pressed, the light emission code light emission means 13e reads the “light emission code” that is the “device operation signal” corresponding to the operation button 101 from the non-volatile memory 14, and the “light emission code”. The infrared light emitting unit 120 emits light as infrared light.
なお、機器識別情報判別手段13a、適合手段13b、操作ボタン操作検知手段13c、操作情報画像生成手段13d、発光コード発光手段13eを、ASIC(ApplicationSpecific Integrated Circuit)として構成することとしても差し支えない。 Note that the device identification information discriminating means 13a, the adapting means 13b, the operation button operation detecting means 13c, the operation information image generating means 13d, and the light emission code light emitting means 13e may be configured as ASIC (Application Specific Integrated Circuit).
不揮発性メモリー14は、リモートコントローラ100の各種設定等のデータが保存されるようになっている。また、不揮発性メモリー14には、機器識別データ14a、発光コード14bが保存されている。機器識別データ14aは、機器識別手段150が読み取った「機器識別情報」から、機器を識別するためのデータである。発光コード14bは、図9に示されるように、リモートコントローラ100の各操作ボタン101に対応する数字の羅列であり、機器A600、機器B700及び機器C800を操作するための「機器操作信号」である。 The nonvolatile memory 14 stores data such as various settings of the remote controller 100. The nonvolatile memory 14 stores device identification data 14a and a light emission code 14b. The device identification data 14 a is data for identifying a device from the “device identification information” read by the device identification means 150. As shown in FIG. 9, the light emission code 14b is an enumeration of numbers corresponding to the operation buttons 101 of the remote controller 100, and is a “device operation signal” for operating the device A600, the device B700, and the device C800. .
インターフェース21は、信号の物理的、論理的な形式を変換する。インターフェース21は、リモートコントローラ100の操作ボタン101、機器選択ボタン102、電源ボタン105、赤外線受光部110、赤外線発光部120と接続している。操作ボタン101、機器選択ボタン102、電源ボタン105が押下されると、これらボタンに応じた信号にインターフェース21で変換され、バス45に出力されるようになっている。なお、機器選択ボタン102は、2段階スイッチとなっていて、ユーザが機器選択ボタン102を半押ししたことを検知することができるようになっている。或いは、機器選択ボタン102は、静電気センサーを備えていて、ユーザが機器選択ボタン102に触れたことを検出できるようになっている。 The interface 21 converts the physical and logical form of the signal. The interface 21 is connected to the operation button 101, the device selection button 102, the power button 105, the infrared light receiving unit 110, and the infrared light emitting unit 120 of the remote controller 100. When the operation button 101, the device selection button 102, and the power button 105 are pressed, signals corresponding to these buttons are converted by the interface 21 and output to the bus 45. The device selection button 102 is a two-stage switch, and can detect that the user has pressed the device selection button 102 halfway. Alternatively, the device selection button 102 includes an electrostatic sensor, and can detect that the user has touched the device selection button 102.
撮像装置コントローラ31は、撮像装置151、撮像装置VRAM32、バス45と接続している。撮像装置コントローラ31は、撮像装置151の各フォトダイオードが発生させた電荷を、RGBそれぞれの色について階調表現して「撮像画像」を生成し、撮像装置VRAM32に保存する。 The imaging device controller 31 is connected to the imaging device 151, the imaging device VRAM 32, and the bus 45. The imaging device controller 31 generates a “captured image” by expressing the charges generated by the photodiodes of the imaging device 151 with gradation for each of the RGB colors, and stores it in the imaging device VRAM 32.
ヘッドマウントディスプレイコントローラ41は、ヘッドマウントディスプレイ200と通信する。図1に示される実施形態では、ヘッドマウントディスプレイコントローラ41とヘッドマウントディスプレイ200は、無線で通信しているが、有線で通信することにしても差し支えない。ヘッドマウントディスプレイコントローラ41は、所謂GPU(Graphics Processing Unit)を有し、操作情報画像生成手段13dの命令を受けて、ピクセルデータである「操作情報画像」を生成し、画像生成部VRAM42に保存するとともに、画像生成部VRAM42に保存された「操作情報画像」を「画像信号」としてヘッドマウントディスプレイ200に出力する。更に、ヘッドマウントディスプレイコントローラ41は、ヘッドマウントディスプレイ200に、「制御信号」を出力する。「制御信号」には、ヘッドマウントディスプレイ200の電源の投入・遮断、画像位置の調整等の制御信号が含まれる。 The head mounted display controller 41 communicates with the head mounted display 200. In the embodiment shown in FIG. 1, the head mounted display controller 41 and the head mounted display 200 communicate with each other wirelessly, but they may be communicated with each other by wire. The head mounted display controller 41 has a so-called GPU (Graphics Processing Unit), receives an instruction from the operation information image generation unit 13d, generates an “operation information image” that is pixel data, and stores it in the image generation unit VRAM 42. At the same time, the “operation information image” stored in the image generation unit VRAM 42 is output to the head mounted display 200 as an “image signal”. Further, the head mounted display controller 41 outputs a “control signal” to the head mounted display 200. The “control signal” includes control signals such as turning on / off the power of the head mounted display 200 and adjusting the image position.
ヘッドマウントディスプレイ200は、図1に示されるように、ユーザの頭部に装着される頭部装着部210と、この頭部装着部210に取り付けられ、ユーザに視認させる画像を生成する画像生成部220とから構成されている。画像生成部220は、ヘッドマウントディスプレイコントローラ40が出力する「画像信号」に基づいて「操作情報画像」を生成する。画像生成部220は、LCDを用いたものや、強度が画像に応じて変調されたレーザ光を2次元に走査した走査画像光をユーザの眼球に直接照射する構造のものが含まれる。走査画像光をユーザの眼球に直接照射する構造の画像生成部220でヘッドマウントディスプレイ200を構成すると、ユーザが、画像生成部220が生成する画像を視認しつつ、外界を見ることができる(所謂シースルー型のヘッドマウントディスプレイ)ので、本発明には好ましい。 As shown in FIG. 1, the head-mounted display 200 includes a head mounting unit 210 that is mounted on the user's head and an image generation unit that is attached to the head mounting unit 210 and generates an image that is visually recognized by the user. 220. The image generation unit 220 generates an “operation information image” based on the “image signal” output from the head mounted display controller 40. The image generation unit 220 includes an LCD and a structure that directly irradiates a user's eyeball with scanned image light that is two-dimensionally scanned with laser light whose intensity is modulated according to an image. When the head mounted display 200 is configured by the image generation unit 220 configured to directly irradiate the user's eyeball with the scanning image light, the user can see the outside world while visually recognizing the image generated by the image generation unit 220 (so-called so-called). This is preferable for the present invention.
以上説明した実施形態では、撮像装置151が機器識別記号601、701、801を撮像して、ユーザが操作しようとしている機器を識別することにしているが、撮像装置151が、ユーザが操作しようとしている機器A600、機器B700、機器C800自体を撮像し、色彩や形状等の特徴点を抽出して、当該特徴点を、予め不揮発性メモリー14に保存された各機器の特徴点データと照合し、所定の閾値を用いて判別し、ユーザが操作しようとしている機器を識別する構成にしても差し支えない。或いは、リモートコントローラ100自体に、ユーザが操作しようとしている機器を識別するための機器識別ボタンを設け、ユーザが当該機器識別ボタンを操作することにより、ユーザが操作しようとしている機器を識別する構成にしても差し支えない。 In the embodiment described above, the imaging device 151 captures the device identification symbols 601, 701, and 801 to identify the device that the user is trying to operate, but the imaging device 151 is about to be operated by the user. Device A600, device B700, and device C800 themselves are imaged, feature points such as color and shape are extracted, and the feature points are collated with the feature point data of each device stored in advance in the nonvolatile memory 14, The configuration may be such that the determination is made using a predetermined threshold and the device that the user is trying to operate is identified. Alternatively, the remote controller 100 itself is provided with a device identification button for identifying the device that the user intends to operate, and the user operates the device identification button to identify the device that the user intends to operate. There is no problem.
図6に示した実施形態では、制御部50をリモートコントローラ100側に取り付けているが、制御部50をヘッドマウントディスプレイ200側に取り付けても差し支えない。 In the embodiment shown in FIG. 6, the control unit 50 is attached to the remote controller 100 side, but the control unit 50 may be attached to the head mounted display 200 side.
また、図7に示されるように、「機器識別手段」をヘッドマウントディスプレイ200側に取り付ける構成であっても差し支えない。 Further, as shown in FIG. 7, the “device identification unit” may be attached to the head mounted display 200 side.
図5や図7に示される実施形態では、リモートコントローラ100が、「リモートコントローラ情報」を、操作をしようとしている機器から取得しているが、前記「リモートコントローラ情報」を、予め、不揮発性メモリー14に保存した構成であっても差し支えない。 In the embodiment shown in FIG. 5 and FIG. 7, the remote controller 100 acquires “remote controller information” from the device to be operated, but the “remote controller information” is previously stored in a nonvolatile memory. 14 may be saved.
(本発明のフロー)
図8に本発明のフロー図を示して、以下、図5に示される実施形態について、本発明のフローの説明をする。ユーザが、電源ボタン105を押下することにより、リモートコントローラ100に電源が投入されると、S12「初期化の処理」に進む。S12の処理において、CPU11は、RAM12の記憶領域をクリアにする等の初期化処理を行う。S12の処理が終了すると、S13「装置選択?」の判断処理に進む。
(Flow of the present invention)
FIG. 8 shows a flowchart of the present invention, and the flow of the present invention will be described below with respect to the embodiment shown in FIG. When the user depresses the power button 105 to turn on the power to the remote controller 100, the process proceeds to S12 “initialization process”. In the process of S12, the CPU 11 performs an initialization process such as clearing the storage area of the RAM 12. When the process of S12 is completed, the process proceeds to the determination process of S13 “device selection?”.
S13「装置選択?」の判断処理において、機器識別情報判別手段13aは、撮像装置コントローラ31が、「撮像データ」(機器識別情報)が生成されたか否かを判断する。ユーザが、機器選択ボタン102を押下することにより、撮像装置151が機器A600の機器識別記号601を撮像し、機器識別情報判別手段13aが、「撮像データ」が生成されたと判断した場合には(図5の(1))、当該「撮像データ」を撮像装置VRAM32に保存し、S14「機器識別記号判別」の処理に進む。 In the determination process of S13 “device selection?”, The device identification information determination unit 13a determines whether or not the imaging device controller 31 has generated “imaging data” (device identification information). When the user presses the device selection button 102, the imaging device 151 captures the device identification symbol 601 of the device A600, and the device identification information determination unit 13a determines that “imaging data” has been generated ( 5 (1)), the “imaging data” is stored in the imaging device VRAM 32, and the process proceeds to S14 “device identification symbol determination”.
S14「機器識別記号判別」の処理において、機器識別情報判別手段13aは、撮像装置VRAM32に保存された「撮像データ」を読み取り、不揮発性発性メモリー14に保存された機器識別データ14と照合して判別し、ユーザが操作しようとしている機器を識別する。S14の処理が終了すると、S15「リモートコントローラ情報要求信号発信」の処理に進む。 In the process of S14 “device identification symbol determination”, the device identification information determination unit 13a reads “imaging data” stored in the imaging device VRAM 32 and compares it with the device identification data 14 stored in the non-volatile source memory 14. To identify the device that the user is trying to operate. When the process of S14 is completed, the process proceeds to S15 “Remote controller information request signal transmission”.
S15「リモートコントローラ情報要求信号発信」の処理において、リモートコントローラ100の赤外線発光部120は、S14の処理で識別された機器A600に、「リモートコントローラ情報要求信号」を発信する(図5の(2))。S15の処理が終了すると、S16「リモートコントローラ情報受信?」の判断処理に進む。 In the process of S15 “remote controller information request signal transmission”, the infrared light emitting unit 120 of the remote controller 100 transmits a “remote controller information request signal” to the device A600 identified in the process of S14 ((2 in FIG. 5). )). When the process of S15 ends, the process proceeds to the determination process of S16 “remote controller information received?”.
S16「リモートコントローラ情報受信?」の判断処理において、適合手段13bは、「リモートコントローラ情報」が機器A600から送信され、赤外線受光部110が当該「リモートコントローラ情報」を受信したか否かを判断する。適合手段13bが、「リモートコントローラ情報」を受信したと判断した場合には(図5の(3)(4))、S17「操作ボタン適合」の処理に進む。 In the determination process of S16 “remote controller information received?”, The adaptation unit 13b determines whether “remote controller information” is transmitted from the device A600 and the infrared light receiving unit 110 has received the “remote controller information”. . When the adapting means 13b determines that the “remote controller information” has been received ((3) and (4) in FIG. 5), the process proceeds to S17 “operating button adaptation”.
S17「操作ボタン適合」の処理において、適合手段13bは、S16の判断処理で受信した「リモートコントローラ情報」に基づいて、リモートコントローラ100の各操作ボタン101を、S14の処理で識別した機器A600の各機器操作信号に適合させる。S17の処理が終了すると、S18「操作情報画像表示」の処理に進む。 In the process of S17 “Adjust Operation Buttons”, the adapting means 13b determines that each operation button 101 of the remote controller 100 is identified by the process of S14 based on the “remote controller information” received in the determination process of S16. Adapt to each equipment operation signal. When the processing of S17 ends, the process proceeds to S18 “operation information image display” processing.
S18「操作情報画像表示」の処理において、操作情報画像生成手段13dは、S16の判断処理で受信した「リモートコントローラ情報」に基づいて、「操作情報画像」を生成する命令を、ヘッドマウントディスプレイコントローラ41に出力する。ヘッドマウントディスプレイコントローラ41は、前記命令に基づいて、「操作情報画像」を生成し、画像生成部VRAM42に保存するとともに、当該「操作情報画像」を「画像信号」として、ヘッドマウントディスプレイ200に出力する(図5の(5))。ヘッドマウントディスプレイ200は、図3に示されるように、操作情報画像910を表示する。S18の処理が終了すると、S19「別の装置選択?」の判断処理に進む。 In the process of S18 “operation information image display”, the operation information image generation means 13d generates a command for generating an “operation information image” based on the “remote controller information” received in the determination process of S16, as a head mounted display controller. 41 is output. Based on the command, the head mounted display controller 41 generates an “operation information image”, stores it in the image generation unit VRAM 42, and outputs the “operation information image” to the head mounted display 200 as an “image signal”. ((5) in FIG. 5). The head mounted display 200 displays an operation information image 910 as shown in FIG. When the process of S18 ends, the process proceeds to the determination process of S19 “select another device?”.
S19「別の装置選択?」の判断処理において、機器識別情報判別手段13aは、ユーザが機器選択ボタン102を押下することにより、別の機器を選択しようとしている否か判断する。機器選択ボタン102が押下された場合には、S13の判断処理に戻る。一方で、機器選択ボタン102が押下されない場合には、S20「操作ボタンを操作?」の判断処理に進む。 In the determination process of S19 “select another device?”, The device identification information determination unit 13a determines whether or not the user is selecting another device by pressing the device selection button 102. If the device selection button 102 is pressed, the process returns to the determination process of S13. On the other hand, if the device selection button 102 is not pressed, the process proceeds to the determination process of S20 “operate operation button?”
S20「操作ボタンを操作?」の判断処理において、操作ボタン操作検知手段13cは、ユーザが、操作ボタン101を半押し、若しくは、操作ボタン101に触れることにより、操作ボタン101を操作しようとしているか否かを判断する。操作ボタン操作検知手段13cが、操作ボタン101が半押し状態、若しくは、操作ボタン101が触れられていることを検知した場合には、S21「押下しようとしている操作ボタンを強調表示」の処理に進む。一方で、操作ボタン操作検知手段13cが、操作ボタン101が半押し状態、若しくは、操作ボタン101が触れられていることを検知しない場合には、S19の処理に戻る。 In the determination process of S20 “operating the operation button?”, The operation button operation detecting unit 13c determines whether or not the user intends to operate the operation button 101 by half-pressing or touching the operation button 101. Determine whether. If the operation button operation detection unit 13c detects that the operation button 101 is half-pressed or that the operation button 101 is being touched, the process proceeds to S21 “highlight the operation button to be pressed”. . On the other hand, if the operation button operation detection unit 13c does not detect that the operation button 101 is half-pressed or that the operation button 101 is touched, the process returns to S19.
S21「押下しようとしている機器選択ボタンを強調表示」の処理において、操作情報画像生成手段13dは、S20の判断処理で、半押し状態、若しくは、触れられていることを検知された操作ボタン101を強調表示した操作情報画像910を生成する命令を、ヘッドマウントディスプレイコントローラ41に出力する。ヘッドマウントディスプレイ200は、ユーザが半押し、若しくは、接触している操作ボタン101を強調表示した操作情報画像910を表示する。このように、ユーザが押下しようとしている操作ボタン101が、操作情報画像910上で強調表示されるので、ユーザがリモートコントローラ100を見なくても手探りで、リモートコントローラ100を操作することができ、特に部屋が暗く、リモートコントローラ100を視認することができない場合に便利である。S21の処理が終了すると、S22「手が離れた?」の判断処理に進む。 In the process of S21 “highlight the device selection button to be pressed”, the operation information image generation unit 13d determines that the operation button 101 is detected to be half-pressed or touched in the determination process of S20. A command for generating the highlighted operation information image 910 is output to the head mounted display controller 41. The head mounted display 200 displays an operation information image 910 in which the operation button 101 that is half-pressed or touched by the user is highlighted. Thus, since the operation button 101 that the user is trying to press is highlighted on the operation information image 910, the user can operate the remote controller 100 by groping without looking at the remote controller 100. This is particularly convenient when the room is dark and the remote controller 100 cannot be viewed. When the process of S21 is completed, the process proceeds to the determination process of S22 “Removing hand?”.
S22「手が離れた?」の判断処理において、操作ボタン操作検知手段13cは、全ての操作ボタン101から手が離れたか否かを判断する。操作ボタン操作検知手段13cが、全ての操作ボタン101から手が離れたと判断した場合には、S23「一定時間以上経過?」の判断処理に進む。一方で、操作ボタン操作検知手段13cが、全ての操作ボタン101から手が離れたと判断しない場合には、S25「別の操作ボタンを操作?」の判断処理に進む。 In the determination process of S22 “Removing Hand?”, The operation button operation detecting means 13c determines whether or not the hand has been released from all the operation buttons 101. When the operation button operation detection unit 13c determines that all the operation buttons 101 have been released, the process proceeds to the determination process of S23 “A certain time has passed?” On the other hand, if the operation button operation detection unit 13c does not determine that all the operation buttons 101 have been released, the process proceeds to the determination process of S25 “Operate another operation button?”.
S23「一定時間以上経過?」の判断処理において、操作ボタン操作検知手段13cは、全ての操作ボタン101から手が離れて一定時間以上経過したか否かを判断する。操作ボタン操作検知手段13cが、全て操作ボタン101から手が離れて一定時間以上経過したと判断した場合には、S24「操作情報画像表示を終了」の処理に進む。操作ボタン操作検知手段13cが、全ての操作ボタン101から手が離れて一定時間以上経過する前に、再び、ユーザの手がある操作ボタン101に接触したと判断した場合には、S25の処理に進む。 In the determination process of S23 “A certain time has passed?”, The operation button operation detection unit 13c determines whether or not a certain time has passed since all the operation buttons 101 are released. If the operation button operation detection unit 13c determines that all of the operation buttons 101 have been released from the operation button 101 and a predetermined time has elapsed, the process proceeds to S24 "End operation information image display". If the operation button operation detection means 13c determines that the user's hand has touched the operation button 101 again before a certain time has passed since all the operation buttons 101 have been released, the process proceeds to S25. move on.
S24「操作情報画像表示を終了」の処理において、操作情報画像生成手段13dは、操作情報画像910の生成を終了する命令をヘッドマウントディスプレイコントローラ41に出力し、ヘッドマウントディスプレイ200での操作情報画像910の表示を終了させる。S24の処理が終了すると、S19の判断処理に戻る。 In the process of S24 “end operation information image display”, the operation information image generating means 13d outputs a command to end the generation of the operation information image 910 to the head mounted display controller 41, and the operation information image on the head mounted display 200 is displayed. The display of 910 is terminated. When the process of S24 ends, the process returns to the determination process of S19.
S25「別の操作ボタンを操作?」の判断処理において、操作ボタン操作検知手段13cは、ユーザが、S20判断処理で認識された操作ボタン101と別の操作ボタン101を半押し、若しくは、操作ボタン101に触れることにより、前記別の操作ボタン101を操作しようとしているか否かを判断する。操作ボタン操作検知手段13cが、前記別の操作ボタン101が半押し状態、若しくは、操作ボタン101が触れられていることを検知した場合には、S26「押下しようとしている操作ボタンを強調表示」の処理に進む。一方で、操作ボタン操作検知手段13cが、前記別の操作ボタン101が半押し状態、若しくは、操作ボタン101が触れられていることを検知しない場合には、S27「操作ボタンを押下?」の判断処理に進む。 In the determination process of S25 “operating another operation button?”, The operation button operation detection unit 13c causes the user to half-press the operation button 101 different from the operation button 101 recognized in the S20 determination process, or the operation button By touching 101, it is determined whether or not another operation button 101 is to be operated. When the operation button operation detection means 13c detects that the other operation button 101 is half-pressed or that the operation button 101 is touched, S26 "highlights the operation button to be pressed" is displayed. Proceed to processing. On the other hand, if the operation button operation detection unit 13c does not detect that the other operation button 101 is half-pressed or that the operation button 101 is touched, the determination in S27 "Is the operation button pressed?" Proceed to processing.
S26「押下しようとしている操作ボタンを強調表示」の処理において、操作ボタン操作検知手段13cは、S25の判断処理で、ユーザが半押し、若しくは、接触していると判断した操作ボタン101を強調表示した操作情報画像910を生成する命令を、ヘッドマウントディスプレイコントローラ41に出力する。ヘッドマウントディスプレイ200は、前記操作情報画像910を表示する。S26の処理が終了すると、S22の判断処理に戻る。 In the process of S26 “highlight the operation button that is about to be pressed”, the operation button operation detection unit 13c highlights the operation button 101 that is determined to be half-pressed or touched by the user in the determination process of S25. A command for generating the operation information image 910 is output to the head mounted display controller 41. The head mounted display 200 displays the operation information image 910. When the process of S26 ends, the process returns to the determination process of S22.
S27「操作ボタンを押下?」の判断処理において、操作ボタン操作検知手段13cは、ユーザが、操作ボタン101を完全に押下したか否かを判断する。操作ボタン操作検知手段13cが、ユーザが操作ボタン101を完全に押下したと判断した場合には、S28「発光コードを発光」の処理に進む。一方で、操作ボタン操作検知手段13cが、ユーザが操作ボタン101を完全に押下しない状態が一定時間以上経過したと判断した場合には、S22の判断処理に戻る。 In the determination process of S27 “Press the operation button?”, The operation button operation detection unit 13c determines whether or not the user has pressed the operation button 101 completely. If the operation button operation detection unit 13c determines that the user has pressed the operation button 101 completely, the process proceeds to S28 "light emission code". On the other hand, when the operation button operation detection unit 13c determines that the state where the user has not completely pressed down the operation button 101 has passed for a certain period of time, the process returns to the determination process of S22.
S28「発光コードを発光」の処理において、発光コード発光手段13eは、S27の処理でユーザが押下した操作ボタン101に対応する「機器操作信号」である「発光コード」(図9の(B)に示す)を、赤外線発光部120で赤外光として発光させる(図5の(6))。S28の処理が終了すると、S29「操作ボタン押下終了?」の判断処理に進む。 In the process of S28 “light emission code”, the light emission code light emission means 13e is “light emission code” which is an “apparatus operation signal” corresponding to the operation button 101 pressed by the user in the process of S27 ((B) of FIG. 9). Is emitted as infrared light by the infrared light emitting unit 120 ((6) in FIG. 5). When the process of S28 ends, the process proceeds to the determination process of S29 "End of operation button press?"
S29「操作ボタン押下終了?」の判断処理において、操作ボタン操作検知手段13cは、操作ボタン101の押下が終了したか否かを判断する。ユーザが押下している操作ボタン101から手を離すことにより、操作ボタン操作検知手段13cが、操作ボタン101の押下が終了したと判断した場合には、S22の判断処理に戻る。 In the determination process of S29 “operation button press end?”, The operation button operation detection unit 13c determines whether or not the operation button 101 has been pressed. When the operation button operation detection unit 13c determines that the operation button 101 has been pressed by releasing the operation button 101 being pressed by the user, the process returns to the determination process of S22.
(機器識別手段としてタグリーダを用いた実施形態)
以下に、機器識別手段150として、タグリーダ152を使用した機器遠隔操作システムについて説明をする。タグリーダ152は、バス45に接続している。この実施形態の場合には、図1、図3、図4に示されるように、操作する機器A600、機器B700及び機器C800には、「機器識別情報」が埋め込まれたICタグ602、702、802が取り付けられている。ユーザが、タグリーダ152をICタグ602、702、802に近づけると、タグリーダ152が、「機器識別情報」を読み取り、バス45に引き渡されるようになっている。機器識別情報判別手段13aは、前記「機器識別情報」と、不揮発性メモリー14に保存されている機器識別データ14aと照合して、ユーザが操作を使用としている機器を識別する。なお、ICタグ602、702、802には、所謂パッシブタグ(タグリーダからの電波から電源を生成するICタグ)とアクティブタグ(電源が供給されるICタグ)の両方が含まれ、これらを読み取るタグリーダ152も、パッシブタグとアクティブタグに対応したものとなっている。
(Embodiment using tag reader as device identification means)
Hereinafter, a device remote control system using a tag reader 152 as the device identification means 150 will be described. The tag reader 152 is connected to the bus 45. In the case of this embodiment, as shown in FIGS. 1, 3, and 4, in the devices A600, B700, and C800 to be operated, IC tags 602, 702 in which “device identification information” is embedded, 802 is attached. When the user brings the tag reader 152 close to the IC tags 602, 702, and 802, the tag reader 152 reads “apparatus identification information” and passes it to the bus 45. The device identification information discriminating means 13a compares the “device identification information” with the device identification data 14a stored in the nonvolatile memory 14 to identify the device that the user is using for the operation. The IC tags 602, 702, and 802 include both so-called passive tags (IC tags that generate power from radio waves from a tag reader) and active tags (IC tags to which power is supplied), and tag readers that read these tags. 152 corresponds to a passive tag and an active tag.
なお、本発明に用いられるリモートコントローラ100は、図2に示されるような、物理的なボタンで構成されたリモートコントローラに限定されず、物理的なボタンの代わりに、LCD等の画像表示部に接触検知膜を貼設した所謂タッチパネルを用いたリモートコントローラであっても差し支えない。 The remote controller 100 used in the present invention is not limited to a remote controller configured with physical buttons as shown in FIG. 2, but instead of physical buttons, an image display unit such as an LCD is used. A remote controller using a so-called touch panel with a contact detection film attached may be used.
以上、現時点において、もっとも、実践的であり、かつ好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲および明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う機器遠隔操作システムもまた技術的範囲に包含されるものとして理解されなければならない。 Although the present invention has been described above in connection with the most practical and preferred embodiments at the present time, the present invention is not limited to the embodiments disclosed herein. The scope of the invention can be changed as appropriate without departing from the spirit or concept of the invention that can be read from the claims and the entire specification, and a device remote control system with such changes is also understood to be included in the technical scope. There must be.
11 CPU
12 RAM
13 ROM
13a 機器識別情報判別手段
13b 適合手段
13c 操作ボタン操作検知手段
13d 操作情報画像生成手段
13e 発光コード発光手段
14 不揮発性メモリー
14a 機器識別データ
14b 発光コード
21 インターフェース
31 撮像装置コントローラ
32 撮像装置VRAM
41 ヘッドマウントディスプレイコントローラ
42 画像生成部VRAM
45 バス
50 制御部
100 リモートコントローラ
101 操作ボタン
102 機器選択ボタン
105 電源ボタン
110 赤外線受光部
120 赤外線発光部
150 機器識別手段
151 撮像装置
152 タグリーダ
200 ヘッドマウントディスプレイ
210 頭部装着部
220 画像生成部
600 機器A(エアコンディショナー)
601 機器識別記号
602 ICタグ
700 機器B(テレビ受像器)
701 機器識別記号
702 ICタグ
800 機器C(オーディオ機器)
801 機器識別記号
802 ICタグ
910 操作情報画像
920 操作情報画像
11 CPU
12 RAM
13 ROM
13a Device identification information discrimination means 13b Adaptation means
13c Operation button operation detection means 13d Operation information image generation means 13e Light emission code light emission means 14 Non-volatile memory 14a Device identification data 14b Light emission code 21 Interface 31 Imaging device controller 32 Imaging device VRAM
41 Head Mount Display Controller 42 Image Generator VRAM
45 Bus 50 Control unit 100 Remote controller 101 Operation button 102 Device selection button 105 Power button 110 Infrared light receiving unit 120 Infrared light emitting unit 150 Device identification means 151 Imaging device 152 Tag reader 200 Head mounted display 210 Head mounting unit 220 Image generation unit 600 Device A (air conditioner)
601 Device identification symbol 602 IC tag 700 Device B (TV receiver)
701 Device identification symbol 702 IC tag 800 Device C (audio device)
801 Device identification symbol 802 IC tag 910 Operation information image 920 Operation information image
Claims (3)
複数又は単一の機器の各機器操作信号に対応した複数の操作ボタンを有する単一のリモートコントローラと、
ユーザの頭部に装着され、当該ユーザに画像を視認させるヘッドマウントディスプレイと、
前記リモートコントローラで遠隔操作する機器を識別する機器識別手段と、
前記リモートコントローラの各操作ボタンを、前記機器識別手段が識別した機器の各機器操作信号に適合させる適合手段と、
前記機器識別手段が識別した機器の各機器操作信号に対応する各操作ボタンの操作情報画像を生成し、前記ヘッドマウントディスプレイに出力する操作情報画像生成手段とを有することを特徴とする機器遠隔操作システム。 In a device remote control system that remotely controls a plurality or a single device with a device operation signal that is a radio signal,
A single remote controller having a plurality of operation buttons corresponding to each device operation signal of a plurality or a single device;
A head mounted display that is mounted on the user's head and allows the user to visually recognize the image;
Device identification means for identifying a device remotely operated by the remote controller;
Adapting means for adapting each operation button of the remote controller to each equipment operation signal of the equipment identified by the equipment identifying means;
The apparatus remote operation comprising: an operation information image generation means for generating an operation information image of each operation button corresponding to each apparatus operation signal of the apparatus identified by the apparatus identification means and outputting the operation information image to the head mounted display system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008306426A JP2010130632A (en) | 2008-12-01 | 2008-12-01 | Device remote control system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008306426A JP2010130632A (en) | 2008-12-01 | 2008-12-01 | Device remote control system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010130632A true JP2010130632A (en) | 2010-06-10 |
Family
ID=42330626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008306426A Pending JP2010130632A (en) | 2008-12-01 | 2008-12-01 | Device remote control system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010130632A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012033092A1 (en) * | 2010-09-07 | 2012-03-15 | ブラザー工業株式会社 | Apparatus remote operation device, program, and apparatus remote operation method |
WO2012043368A1 (en) * | 2010-09-28 | 2012-04-05 | ブラザー工業株式会社 | Control device |
US9372345B2 (en) | 2012-03-27 | 2016-06-21 | Seiko Epson Corporation | Head-mounted display device |
JP2017511041A (en) * | 2014-02-18 | 2017-04-13 | マージ ラブス インコーポレイテッド | Head mounted display goggles for use with mobile computing devices |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09116985A (en) * | 1995-10-13 | 1997-05-02 | Sony Corp | Remote controller, remote control method and device |
JP2003036069A (en) * | 2001-07-25 | 2003-02-07 | Sharp Corp | Head mount display apparatus |
JP2005150921A (en) * | 2003-11-12 | 2005-06-09 | Pioneer Electronic Corp | Input control apparatus and input control system |
JP2007110555A (en) * | 2005-10-14 | 2007-04-26 | Sanyo Electric Co Ltd | Remote control device |
JP2007158792A (en) * | 2005-12-06 | 2007-06-21 | Sharp Corp | Display guide system and display guide method |
JP2008085854A (en) * | 2006-09-28 | 2008-04-10 | Nikon Corp | Head-mounted display system |
-
2008
- 2008-12-01 JP JP2008306426A patent/JP2010130632A/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09116985A (en) * | 1995-10-13 | 1997-05-02 | Sony Corp | Remote controller, remote control method and device |
JP2003036069A (en) * | 2001-07-25 | 2003-02-07 | Sharp Corp | Head mount display apparatus |
JP2005150921A (en) * | 2003-11-12 | 2005-06-09 | Pioneer Electronic Corp | Input control apparatus and input control system |
JP2007110555A (en) * | 2005-10-14 | 2007-04-26 | Sanyo Electric Co Ltd | Remote control device |
JP2007158792A (en) * | 2005-12-06 | 2007-06-21 | Sharp Corp | Display guide system and display guide method |
JP2008085854A (en) * | 2006-09-28 | 2008-04-10 | Nikon Corp | Head-mounted display system |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012033092A1 (en) * | 2010-09-07 | 2012-03-15 | ブラザー工業株式会社 | Apparatus remote operation device, program, and apparatus remote operation method |
JP2012060285A (en) * | 2010-09-07 | 2012-03-22 | Brother Ind Ltd | Equipment remote control apparatus and program |
WO2012043368A1 (en) * | 2010-09-28 | 2012-04-05 | ブラザー工業株式会社 | Control device |
JP2012074811A (en) * | 2010-09-28 | 2012-04-12 | Brother Ind Ltd | Controller |
US9372345B2 (en) | 2012-03-27 | 2016-06-21 | Seiko Epson Corporation | Head-mounted display device |
JP2017511041A (en) * | 2014-02-18 | 2017-04-13 | マージ ラブス インコーポレイテッド | Head mounted display goggles for use with mobile computing devices |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9959681B2 (en) | Augmented reality contents generation and play system and method using the same | |
EP2239685B1 (en) | Image sensor pixel array having output response curve including logarithmic pattern for image sensor based terminal | |
CN107077258B (en) | Projection type image display device and image display method | |
JP6290512B2 (en) | Distance image acquisition device and distance image acquisition method | |
US20150109535A1 (en) | Control module of multimedia device and method for controlling multimedia device to generate image data required by display module | |
WO2004079558A1 (en) | Projector system | |
JP2009246646A (en) | Remote control apparatus and setting method | |
JP2008287142A (en) | Image projector | |
CN113761957B (en) | System and method for operating imaging device | |
JP2010130632A (en) | Device remote control system | |
JP2007287009A (en) | Information code reader | |
US20050161582A1 (en) | Method for controlling light source and optical input device using the same | |
JP2007088835A (en) | Apparatus control unit | |
US9400920B2 (en) | Display screen controlling apparatus in mobile terminal and method thereof | |
CN107203287B (en) | Electronic device and control method of electronic device | |
CN111083454B (en) | Position detection device, display system, and position detection method | |
US8305460B2 (en) | Detection device and image capture system using the same | |
KR20040027561A (en) | A TV system with a camera-based pointing device, and an acting method thereof | |
JP2018136364A (en) | Display system, method for controlling display system, indication body, and display | |
US20200174620A1 (en) | Manipulation detection device, manipulation detection method, and video display system | |
JP6146203B2 (en) | Processing equipment | |
JP6988985B2 (en) | Electronic devices and control methods for electronic devices | |
WO2023127400A1 (en) | Information code display device and information code display system | |
JP6422472B2 (en) | Imaging apparatus, control method, and program | |
KR20150005368A (en) | Camera module and control method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110310 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120615 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120629 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120928 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130305 |