JP2003067108A

JP2003067108A - 情報表示装置とその操作認識方法

Info

Publication number: JP2003067108A
Application number: JP2001252276A
Authority: JP
Inventors: Takashi Hoshino; 剛史星野; Yoichi Horii; 洋一堀井; Yukinobu Maruyama; 幸伸丸山
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2001-08-23
Filing date: 2001-08-23
Publication date: 2003-03-07

Abstract

(57)【要約】【課題】人の動きを検知して機器を操作可能で安価な情
報処理装置とその操作方法を提供する。【解決手段】各種の情報を表示する表示装置１０１と、
撮影した画像から操作指令対象物３の位置と動作を認識
する撮像部１０５と、前記撮像部１０５で認識された位
置と動作から前記表示装置１０１の操作信号を出力する
制御部１０２とを含み、前記撮像部１０５は、受光した
光の強さを電気信号として出力する受光素子１０７と、
前記受光部１０７の前部に配置されるレンズ部１０８
と、前記受光素子１０８の前部に配置され、前記受光素
子１０７に入光する特定の波長の光のみを通過させるフ
イルタ１１０と、前記レンズ部１０８の撮影範囲に前記
特定の波長の光を投光する投光器１０９とを備え、前記
制御部１０２は、前記撮像部１０５で認識された画像か
ら操作ベクトルＰｘｙを算出して対応する操作信号を出
力するようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、個人あるいは公共
施設などで利用される情報表示装置を人のより直感的な
動作を操作に利用するユーザインタフェース技術に関
し、特に、前記情報表示装置に対して手をかざす位置や
その動き（ジェスチャー）によって、これら機器を操作
することのできる情報表示装置およびその操作方法に関
する。

【０００２】

【従来の技術】近年の情報処理装置は目覚しい発展をと
げ、あらゆることができる感がある。しかし、これらの
情報処理装置は、人が何らかの操作指示を行わなくては
ならない。

【０００３】一般に、各種の情報処理装置の操作は、機
能別に用意されたダイレクトボタンや、画面上の項目を
間接的に操作するためのカーソルボタンあるいはマウス
などのポインティングデバイスを用いている。また、操
作ボタンの無い操作方法としては、日立製作所が2001年
6月に発表した、角度センサーを内蔵して端末自体を傾
けたり振ることによって情報表示を操作する携帯端末
「ウォータースケープ」などがある。更に、触れずに操
作する従来技術としては「ヒトの視覚特性に基く時系列
画像中の注視物体追跡（日本ソフトウェア学会誌：インタラクティフ゛シ
ステムとソフトウェア第8号,2000）」などのように、ビデオカメ
ラで撮影した映像から操作者の手を画像処理によって抽
出し、その動きや操作を認識するものがある。

【０００４】

【発明が解決しようとする課題】前記従来例によれば、
操作ボタンを触る、または機器に触れて操作することが
基本となる。しかし、公共機器においては、これら端末
機器を不特定多数のユーザが使うため、触れることによ
る清潔性、清掃性、対破壊性が課題となる。また、一般
家庭においては、料理中などでは、手が濡れたり、汚れ
ている状態で端末機器を操作できないなどの課題があ
る。

【０００５】また、ビデオカメラで手の動きや操作を認
識する前記従来例では、追跡すべきモノを登録する初期
設定が必要であったり、一度画面から消えると（範囲外
あるいは重なりによる隠れ）その後の追跡が難しいなど
の課題がある。何よりも、これらの画像による認識処理
は処理負荷が高く、操作手段としてリアルタイムに処理
するためには高性能なＣＰＵとメモリーが必要である。

【０００６】そこで、本発明の目的は、人の動きを検知
して機器を操作可能で安価な情報処理装置とその操作方
法を提供することにある。

【０００７】

【課題を解決するための手段】前記目的を達成するため
に、本発明に係る情報処理装置では、各種の情報を表示
する表示装置と、撮影した画像から操作指令対象物の位
置と動作を認識する撮像部と、前記撮像部で認識された
位置と動作から前記表示装置の操作信号を出力する制御
部とを含み、前記撮像部は、受光した光の強さを電気信
号として出力する受光素子と、前記受光部の前部に配置
されるレンズ部と、前記受光素子の前部に配置され、前
記受光素子に入光する特定の波長の光のみを通過させる
フイルタと、前記レンズ部の撮影範囲に前記特定の波長
の光を投光する投光器とを備え、前記制御部は、前記撮
像部で認識された画像から操作ベクトルを算出して対応
する操作信号を出力するようにする。

【０００８】

【発明の実施の形態】以下、図１から２３を参照して、
本発明に係る情報処理装置を説明する。図１から図１０
は本発明に係る第1の実施の形態、図１１から図２３は
他の実施の形態を表している。なお、同一部位や矢印な
どは同一符号をもって示し、重複した説明を省略する。（第1の実施の形態）先ず、図１から図１０を参照し
て、本発明に係る第1の実施の形態を説明する。図１は
本実施の形態の概略構成を説明する使用状態の概念図、
図２はシステムの概略を示すシステム概略図、図３は情
報処理装置の概略断面図、図４は情報処理装置の外観
図、図５、図６は取得した画像から操作指令信号を引出
す方法を説明する説明図、図７はこの情報処理装置が備
えているメニュー画面の説明図、図８はこの実施の形態
で採用しているジェスチャーの説明図、図９は動作フロ
ーチャート、図１０は前記図９の動作フローチャートを
説明する画面遷移図である。

【０００９】次ぎに、図１を参照して、本発明に係る情
報処理装置の概略構造を説明する。図１において、符号
１で総括的に示す情報処理装置は、操作ボタンを設ける
替わりに、撮像装置や近接センサーを利用することによ
って手を触れることなく表示内容を操作することのでき
る情報処理装置である。この情報処理装置１は、内部に
図２で説明する表示装置１０１や撮像部１０５などの各
種装置を備えた装置本体１００と、この装置本体１００
の上部に前記表示装置１０１の表示画像を拡大または縮
小表示させるレンズ部２００とを備えている。

【００１０】前記装置本体１００は、その前部に撮影窓
１１１を備え、この撮影窓１１１を介して前記撮像部１
０５で使用者２の動作を撮影し、この撮影された画像を
解析することができる。前記撮像部１０５は前記撮影窓
１１１を介して撮影可能な動作認識領域１１２を備え、
この動作認識領域１１２で撮影される操作指令対象物
３、例えば、使用者２の手の位置を解析し、撮影した画
面における前記解析した手の位置により、あるいは、こ
の操作指令対象物３の動きを解析する。

【００１１】この明細書では、前記操作指令対象物３の
位置と動きをジェスチャと定義する。そして、この実施
の形態に係る情報処理装置１は、図６に示すように、前
記撮像部１０５で撮影した画面における光重心位置Ｐ１
を算出し、前記画面の中心位置Ｐ０に対する前記光重心
位置Ｐ１のベクトルを算出して、前記画面の中心位置Ｐ
０に対するベクトル変化を操作ベクトルＰｘｙとする。
更に、この操作ベクトルＰｘｙの値と変化値からジェス
チャパタンを算出し、このジェスチャーパタンと対応す
る操作信号を導き出して、この情報処理装置１を動作さ
せるようにする。

【００１２】一方、前記レンズ部２００は、前記装置本
体１００に設けられた表示装置１０１の表示画像を使用
者２に見やすいように表示するものである。例えば、こ
の実施の形態に係るレンズ部２００は、アクリル樹脂材
料で形成される球状の外形状を備えている。そして、こ
のレンズ部２００は、前記装置本体１００の上面に形成
される凹状のレンズ取付部１１３に取り付けられる。こ
のレンズ取付部１１３の下部中央には前記表示装置１０
１が、その表示部を上方に向けて設置される。

【００１３】また、前記レンズ部２００は、側面からみ
て前方に傾斜する境界面２０１を備えている。つまり、
このレンズ部２００は、前記境界面２０１を介して前後
２つの部材（前方レンズ部２００ａと後方レンズ部２０
０ｂ）で構成される。この実施の形態においては、外観
イメージの向上を図るため、前記レンズ部２００を球体
に形成しているが、前記境界面２０１から後方を構成す
る後方レンズ部２００ｂを省いても同様な効果を得るこ
とができる。

【００１４】さて、上記の構成を備える情報処理装置１
によれば、前記装置本体１００の前方に形成される動作
認識領域１１２内で前記指令対象物３となる例えば手を
動作させることで、この動作に対応する操作信号を導き
出して前記表示装置１０１に各種の情報を表示すること
ができる。そして、この表示部１０１に表示された表示
画像は前記レンズ部２００の前記境界面２０１によって
全反射して使用者２に向けて屈折され、更に拡大表示さ
れる。これによって、使用者２は、前記レンズ部２００
の前部に形成される仮想の表示画面２０２に表示される
前記表示装置１０１の表示内容をみることができる。

【００１５】したがって、操作者２がこの情報処理装置
１に触れることなく前記ジェスチャにより操作すること
ができるので、手が濡れたり汚れている時でも気にする
ことなく操作可能である。また、不特定多数のユーザが
使う端末を想定すると、機器に触れることなくこれら端
末を操作できるので、衛生的であり、また従来例のよう
な凹凸のある操作スイッチを採用する必要がないので清
掃性を向上することができる。更に、ゴムや樹脂や金属
などの複数種類の材料を必要としないのでリサイクル性
が向上する。

【００１６】また、この実施の形態では、操作対象物３
のジェスチャによって操作信号を出力するので解析精度
をさほど必要としない。したがって、前記ジェスチャも
単純な直感的な動作によって割りつけられるので、説明
書を読んだり複雑な操作を覚える必要が無い。例えば、
この実施の形態では、正面に対して（前記動作認識領域
１１２の範囲）手を右にかざせば空間上のメニューが右
に動くとか、コンテンツを表示中に手を左から右に振る
と次の項目に進むといった操作を行うことができる。

【００１７】また、この画像認識の方式を採用する情報
処理装置１は、基本的に何でも可能だが、この実施の形
態では透明な半球を２つ組み合わせた球に情報が浮かび
上がるように表示される。しかし、このレンズ部２００
に限定されるものではない。例えば、前記表示装置１０
１に替えて映像出力端子を備えて、この映像出力端子に
一般のモニター装置を接続して使用することもできる。

【００１８】以下、図２から図１０を参照してこの第１
の実施の形態を更に詳細に説明する。先ず、図２は情報
処理装置１の全体システムのブロック図である。図２に
おいて、この情報処理装置１は、ネットワーク２０を介
して複数の情報提供サイトなどの情報提供部１０に接続
して、前記情報提供部１０が提供する各種の情報の提供
を受けることができる。前記情報処理装置１の前記装置
本体１００には、この情報処理装置１を統括的に制御す
る制御部１０２と、各種の音情報を出力する音声出力部
１０３と、各種の動作プログラムや各種データを格納す
る記憶部１０４と、前記ネットワーク２０に接続するた
めのネットワーク接続部１１６と、前記表示装置１０１
と、近接センサー１０６と、前記撮像部１０５とを備え
ている。

【００１９】この実施の形態では、この情報処理装置１
を動作させるために、図示しない電源スイッチと、前記
近接センサー１０６と、前記撮像部１０５を含む２種類
の操作手段を備えている。即ち、この実施の形態では、
基本的には前記撮像部１０５で得られるジエスチャによ
って基本的な操作が成されるが、何らかのトラブルが発
生して前記撮像部１０５での操作ができない場合に、こ
の情報処理装置１を制御する必要がある。例えば、前記
ジェスチャが明確に認識できない場合に、この情報処理
装置１のプログラムを終了する必要がある。そこで、こ
の実施の形態では、前記ジェスチャのキャンセルの操作
信号に対応する操作を前記近接センサー１０６にも割り
付けている。

【００２０】そして、この近接センサー１０６は、その
感度領域１１７が前記撮像部１０５の動作認識領域１１
２から外れた位置に設けられる。例えば、この実施の形
態では、前記近接センサー１０６が装置本体１００の上
面前部に設けられ、その感度領域１１７を上方に向けて
設置される。このため、使用者２は、この情報処理装置
１の前方に形成される前記動作認識領域１１２で所定の
ジェスチャを行えば、前記近接センサー１０６を誤動作
させることなく操作させることができる。そして、前記
ジェスチャでの操作が不調の場合は、手を装置本体１０
０の上面前部に近づけることによって、キャンセル操作
を行うことができる。

【００２１】一方、前記撮像部１０５は、光信号を電気
信号に変換する受光素子１０７と、この受光素子１０７
の前部に配置される光学レンズ１０８と、前記光学レン
ズ１０８の周囲に配置される特定の波長の光を発光させ
るための投光器１０９と、前記光学レンズ１０８の前部
に配置され、特定の波長の光のみ通過させるフイルタ１
１０とを含んでいる。

【００２２】この実施の形態では、前記受光素子１０７
としてCCD(Charge Coupled Device)などの固体撮像素子
を採用しているが、フォトトランジスタなどの光センサ
ーをマトリックス状に配置したものでもよい。また、前
記受光素子１０７として位置検出素子（Ｐｏｓｉｔｉｏ
ｎＳｅｎｓｉｔｉｖｅＤｅｖｉｃｅ：半導体位置検出
素子）を採用することにより、以後で説明する光重心位
置の計算を省略してもよい。更に、この実施の形態で
は、前記投光器１０９として赤外線ＬＥＤを採用してい
る。この赤外線ＬＥＤは前記動作認識領域１１２全体を
均等に照らすように１個から数十個配置される。この赤
外線ＬＥＤを採用したことにより、前記フイルタ１１０
は赤外線フイルタを採用している。

【００２３】この構造の撮像部１０５によれば、前記投
光器１０９から発光された特定の波長の光、この実施の
形態では赤外線が前記装置本体１００の前方に照射さ
れ、その照射された赤外線は前記操作指令対象物３であ
る手に反射して、その反射光が前記フイルタ１１０を介
して前記光学レンズ１０８により前記受光素子１０７に
集められる。そして、前記受光素子１０７で検知された
前記反射光は、そのジェスチャが計算され、対応する操
作信号を導き出して、この情報処理装置１を操作するこ
とができる。

【００２４】なお、この実施の形態では、この情報処理
装置１で動作するプログラムを適正にスタートさせて、
更に終了させるために、図示しない電源スイッチを別途
設けている。

【００２５】図３及び図４は、この実施の形態の内部実
装構造と、外観構造を示している。ここで、図４の
（ａ）図は正面図、（ｂ）図は右側面図である。上面に
形成した前記レンズ取付部１１３は、球状の前記レンズ
部２００が取付けられても、前記レンズ部２００の下方
に空間（隙間）が形成され、この空間を介して、前記表
示装置１０１が設けられる。この実施の形態では、前記
表示装置１０１として液晶表示装置を採用している。こ
の表示装置１０１は、その表示画面を上方に向ける姿勢
で配置され、僅かに表示画面を後ろ側に傾斜して設置す
ることで、前記境界面２０１の前方へ傾斜する角度を小
さくしている。これにより、図１に示す前記仮想の表示
画面２０２を前方の使用者２からみて見やすい位置とす
ることができる。

【００２６】また、この実施の形態では、前記レンズ部
２００を固定させて取付けているが、前記装置本体１０
０と電気的な接続がないため可動可能、または自由に取
り外し可能なように前記レンズ取付部１１３に設置して
もよい。これによって、前記境界面２０１の角度を変更
できるので、前記仮想の表示画面２０２の位置を使用者
２に対して異なった位置に形成することができるので、
例えばユーザに応じて、あるいは置かれる台の高さなど
によって見やすい角度に調整することができる。

【００２７】また、図３及び図４に示すように、この実
施の形態では、前記撮影窓１１１の前面は透明板１１８
で前記装置本体１００の前面と面一に形成される。そし
て、この透明板１１８の内部に前記撮像部１０５を上方
に向けて斜めに設置される。これにより、前記動作認識
領域１１２の認識範囲Θ１を上方に向けることができる
ので、前記レンズ部２００の前記仮想の表示画面２０１
を覗き込む使用者２が前記操作指令対象物３である手を
無理なく動かせる範囲を前記動作認識領域１１２とする
ことができる。そして、この傾斜する撮像部１０５を前
記透明板で覆うことで、装置本体１００の外観をフラッ
トにして清掃性を向上させることができる。

【００２８】また、この実施の形態では、前記音声出力
部１０３の放音部を前記装置本体１００の側面に設けて
いる。この放音部は、一側面でもよいが両側面に設置し
てもよい。また、前記レンズ部２００の後部レンズ部２
００ｂに設置するようにしてもよい。なお、図３におけ
る１１９は前記制御部１０２や前記記憶部１０４及び前
記受光素子１０８、前記近接センサ１０６、表示装置１
０１などの制御基板などを配置する内部実装スペースで
ある。

【００２９】次に、この実施の形態に係る前記ジェスチ
ャの認識方法を図５および図６を参照して説明する。図
５の（ａ）図は通常の前記受光素子１０７（ＣＣＤ）で
撮影した状態を示し、（ｂ）図は前記フイルタ１１０を
介して前記受光素子１０７（ＣＣＤ）で撮影した状態を
示し、図６は前記操作指令対象物３である手の動作方向
の検出を説明するものである。

【００３０】この実施の形態は、前記したように、前記
受光素子１０７としてＣＣＤを採用する。この状態で前
記動作認識領域１１２内を撮影すると、図５（ａ）図の
ように、背景が写り込んでしまい本来認識したい前記操
作指令対象物３が認識できなくなる。特に、背景に蛍光
灯などの光源４が存在する場合、最前部の前記操作指令
対象物３より認識度が高くなる。

【００３１】そこで、この実施の形態では、前記投光器
１０９（赤外線ＬＥＤ）で前記カメラ視野を照らし、前
記フイルタ１１０（赤外線フィルタ）を通して撮像する
ことにより、（ｂ）図のように、動作認識領域１１２に
かざした前記操作指令対象物３としての手のみが明るく
照らされるようにする。これによって、比較的遠い顔、
体は暗く映り、遠くの背景はほとんど投光器１０９（赤
外線ＬＥＤ）の光は届かず、天井の照明なども、蛍光灯
であればほとんどの光がカットされる。これによって、
認識したい前記操作指令対象物３（手）のみを認識させ
ることができる。

【００３２】また、この実施の形態では、前記操作指令
対象物３の位置、あるいは、この位置から前記操作指令
対象物３がどの方向に動いたかをジェスチャとして認識
する。したがって、前記操作指令対象物３を塊で捕らえ
て、この塊の位置、あるいは位置と動作方向を認識でき
ればよいので、認識精度を向上する必要がない。したが
って、光学レンズ１０８のピントを近傍に合わせ、背景
をわざとぼかすことにより背景の赤外光がボケて手の動
きを抽出しやすくすることができる。更に、近傍もボケ
るほど極端にピントをぼかしても同様な作用効果を得る
ことができる。

【００３３】さて、この実施の形態では受光素子１０７
でとらえた塊としての前記操作指令対象物３の位置を光
重心位置Ｐ１（Ｗｘ、Ｗｙ）で算出する。即ち、図５
（ｂ）のように、ＣＣＤにおいては、各画素がＸ方向、
Ｙ方向に配列されているので、Ｘ方向、Ｙ方向の各点に
ついて基点０を基準としたＸ座標に、その点の明るさＢ
（Ｘ、Ｙ）を掛け合わせたものの全点（Ｘ、Ｙ）につい
ての総和を明るさＢ（Ｘ、Ｙ）の全点（Ｘ，Ｙ）につい
ての総和でわることで、光重心位置Ｐ１のＸ座標Ｗｘを
算出する。同様に、Ｙ方向に配列された各画素の光重心
位置Ｐ１のＹ座標Ｗｙを算出する。これによって、撮影
した画面における光重心位置Ｐ１を算出することができ
る。

【００３４】即ち、光重心位置Ｐ１（Ｗｘ，Ｗｙ）の求
め方は、画素（Ｘ，Ｙ）の明るさをＢ（Ｘ，Ｙ）とした
時、Ｗｘ＝ ΣΣ（X・Ｂ（Ｘ，Ｙ））／ΣΣ（Ｂ（Ｘ，
Ｙ））Ｗｙ＝ ΣΣ（Ｙ・Ｂ（Ｘ，Ｙ））／ΣΣ（Ｂ（Ｘ，
Ｙ））で求めることができる。

【００３５】この明細書では、前記操作指令対象物３の
位置と動きをジェスチャと定義する。そして、この実施
の形態に係る情報処理装置１は、図６に示すように、前
記撮像部１０５で撮影した画面における光重心位置Ｐ１
を算出して、前記画面の中心位置Ｐ０に対する前記光重
心位置Ｐ１のベクトルを算出して操作ベクトルＰｘｙと
する。更に、この実施の形態では、各ジェスチャから得
られる前記操作ベクトルＰｘｙの位置、方向変化、変化
の値の大きさをからジャスチャパタンを算出する。この
情報処理装置１は、記憶装置に複数のジェスチャーパタ
ンと対応する操作信号が定義された記録フアイルが格納
されており、前記算出されたジェスチャーパタンを前記
記録フアイルに参照することで、このジェスチャーパタ
ンと対応する操作信号を導き出して、この情報処理装置
１を動作させるようにする。

【００３６】例えば、画面中央を基準にして上下左右に
前記操作指令対象物３を移動させれば、あるいは画面中
央に対する前記操作指令対象物３の位置により、その移
動方向や位置により画面をスクロールさせることがで
き、前記操作指令対象物３の移動の早さ速さにより操作
信号を切り替えることができ、あるいは、前記操作指令
対象物３を画面中央に所定時間静止させれば確定として
操作指示させることができる。

【００３７】次に、図７から図１０を参照して、この情
報処理装置１が提供する情報提供サービスの一実施例を
説明する。図７はこの情報提供サービスのメニュー画面
を説明する説明図、図８はジェスチャに対する操作信号
の代表例を示す説明、図９は動作フローチャート、図１
０はジェスチャに対する画面変化（操作信号）の説明図
である。

【００３８】図７において、この情報処理装置１が提供
する情報提供サービスは、音楽やニュース等の各種情報
を前記情報提供部１０から入手して、これを提供するサ
ービスである。この情報処理装置１のメニュー画面は、
複数のジャンル別のアイコンの中から１つを選択するこ
とで、対応する情報（コンテンツ）を提供する。

【００３９】そして、これらアイコン２４０は大きな仮
想操作領域２５０内に配置され、その一部が表示領域２
５１として前記表示装置１０１に表示される。前記仮想
操作領域２５０は３次元的空間であり、そのアイコン２
４０の大きさにより奥行き方向の位置が規定される。ア
イコン２４０は前記操作ベクトルＰｘｙに従って移動
し、前記仮想操作領域の端を越えた場合は、反対側（右
に超えたら左、上に超えたら下）から現れるように規定
されている。更に表示領域２５１の中央には、確定領域
２５２が規定され、この確定領域２５２に特定のアイコ
ンが所定時間ある場合に、そのアイコンが選択指示され
たと認識して、そのアイコンのコンテンツを表示させる
ようにする。

【００４０】なお、この実施の形態では、前記仮想操作
領域２５０を３次元空間として、アイコン２４０の大き
さを奥行き方向の距離で規定したが、前記仮想操作領域
２５０を２次元空間として、アイコン２４０の大きさを
情報量や人気度などに対応させて表してもよい。

【００４１】次に、図８において、この情報処理装置１
の代表的なジェスチャに対する操作信号を説明する。先
ず、（ａ）図に示すのは、表示画面を「次の項目」に変
化させるジェスチャである。この情報処理装置１の前記
制御部１０２は、再生中に光重心位置Ｐ１が左から右
（Ｐ１０からＰ１１へ）に変化し、操作ベクトルＰｘｙ
の一定時間中の変化の絶対値が所定の値以上の場合に、
「次の項目」の操作がなされたと認識する。

【００４２】また、（ｂ）図に示すのは、表示画面を
「前の項目」に変化させるジェスチャである。前記制御
装置１０２は、再生中に光重心位置Ｐ１が右から左（Ｐ
１０からＰ１１へ）に変化し、操作ベクトルＰｘｙの一
定時間中の変化の絶対値が一定の値以上の場合に「前の
項目」の操作がなされたと認識する。これと同じ仕組み
により、上下へのジェスチャを音量調節の操作や表示コ
ンテンツのチャンネルなどのアップダウンに割り当てる
こともできる。

【００４３】また、（ｃ）図に示すのは、「再生終了」
のジェスチャである。前記制御部１０２は、再生中に光
重心位置Ｐ１が左右（Ｐ１０、Ｐ１１、Ｐ１２、Ｐ１
３、Ｐ１４へ）に一定回数以上に変化し、操作ベクトル
Ｐｘｙの変化の絶対値が一定以上の場合に「再生終了」
の操作がなされたと認識する。次に、図９を参照して、
この情報提供サービスの動作フローを説明する。先ず、
この情報処理装置１の前記制御部１０２は前記電源スイ
ッチがＯＮ状態にされると、図１０（ｄ）メニュー画面
を表示する。このメニュー画面は図７で説明した前記表
示領域２５１が表示される（ステップ３００）。

【００４４】前記制御部１０２は、前記確定領域２５２
にアイコン２４０があるかを監視する（ステップ３０
５）。使用者２は、後述するステップ３２０により目的
のアイコンを前記確定領域２５２に導き、図１０（ｃ）
図に示すように、前記操作指令対象物３である手を前記
操作ベクトルＰｘｙがほぼゼロとなるように、すなわち
光重心が撮像部画像のほぼ中心に留まるよう調節するこ
とにより、そのアイコン２４０を選択状態におくことが
できる。例えば、（ｇ）図では、Ｎｅｗｓのアイコンが
（ｃ）図のジェスチャで選択された状態であることを示
している。

【００４５】前記制御部１０２は、前記確定領域２５２
に特定のアイコンが存在する場合、所定時間をカウント
するためにタイマをスタートさせ（ステップ３１０）、
前記確定領域２５２に特定のアイコンが存在しない場合
にはタイマーを止めリセットする。これにより、特定の
アイコン２４０が前記確定領域２５２内に存在する時間
をカウントすることができ、所定時間カウントされる
（ステップ３２５）か、電源ＯＦＦがなされなければ
（ステップ３３０）、前記ステップ３０５に戻って画面
のスクロール状態を継続される。

【００４６】つまり、前記制御部１０２は、タイマをス
タートさせつつ、前記操作指令対象物３である手が図１
０の（ｃ）図の状態から移動されて（ａ）（ｂ）図のよ
うな状態等になって前記操作ベクトルＰｘｙが変化し、
特定のアイコンが前記確定領域からはずれたか否かを監
視することになる。

【００４７】前記制御部１０２は、常に前記撮像部１０
５で取りこんだ画像から前記光重心位置Ｐ１を算出して
おり、前記制御部１０２は画面上のアイコン２４０全て
を操作ベクトルＰｘｙに従った方向にスクロールさせる
（ステップ３２０）。前記制御部１０２は、図１０
（ａ）図のように、前記光重心位置Ｐ１が画面右下に存
在し、前記操作ベクトルＰｘｙが右斜め下方と判断した
場合は、（ｄ）図の前記メニュー画面に表示されている
アイコン２４０を全て（ｅ）図に示すように、右下方向
に移動させる。あるいは、（ｂ）図に示すように、前記
光重心位置Ｐ１が画面左下に存在し、前記操作ベクトル
Ｐｘｙが左斜め下方と判断した場合は、（ｄ）図の前記
メニュー画面に表示されているアイコン２４０を全て
（ｆ）図に示すように、左下方向に移動させる。このよ
うに、使用者２は、前記操作指令対象物３である手をか
ざす位置により、表示画面に表示されるアイコン２４０
を移動、即ち、画面をスクロールさせることができる。

【００４８】一方、前記制御部１０２はタイマが一定時
間を越えたか否かを監視し（ステップ３２５）、特定の
アイコンが前記確定領域からはずれることなく所定の時
間を越えた場合は、前記確定領域２５２にあるアイコン
２４０のコンテンツを再生・表示させる（ステップ３３
５）。例えば、図１０において、（ｇ）図の状態で所定
時間経過すると、前記制御部１０２は確定がされたと判
断して（ｈ）図のようなコンテンツを表示させる。

【００４９】そして、この実施の形態では、前記コンテ
ンツの再生・表示を行うと、前記図８で説明した３つの
ジェスチャが成されるか否かを監視する。即ち、再生中
に図８（ａ）図または（ｂ）図のようなジェスチャが成
されればコンテンツの「次の項目」または「前の項目」
を再生し（ステップ３４０）、再生中に図１０（ｃ）図
のジェスチャが成されれば「再生終了」して（ステップ
３４５）、前記ステップ３１５においてタイマをリセッ
トとさせて操作ベクトルＰｘｙを監視・受け入れるステ
ップ３２０に移行させる。

【００５０】そして、前記コンテンツ再生中に前記操作
ベクトルＰｘｙの変化が無ければコンテンツの再生が終
了するまで監視状態を維持させ、終了するとタイマをリ
セットとさせて（ステップ３１５）、操作ベクトルＰｘ
ｙを監視・受け入れるステップ３２０に移行させる。

【００５１】なお、前記したように、操作者２が前記操
作指令対象物である手を前記装置本体１００に更に近か
づけて前記近接センサ１０６の前記感度領域１１７に移
動させることにより、前記制御部１０２は、図８（ｃ）
図と同様な操作指示が成されたと判断し、コンテンツの
再生を終了して、前記ステップ３１５においてタイマを
リセットとさせて操作ベクトルＰｘｙを監視・受け入れ
るステップ３２０に移行させる。

【００５２】このように、この実施の形態では、操作者
２が前記動作認識領域１１２に手をかざし、これを移動
させることでコンテンツの選択や、再生あるいは終了な
どの操作を機器に触れることなく行うことができる。（第２の実施の形態）次に、図１１及び図１２は、第２
の実施の形態を示すものであり、図１１はこの第２の実
施の形態の概略構成を説明する使用状態の概念図、図１
２はシステムの概略を示すシステム概略図である。この
実施の形態は、前記動作認識領域１１２を前記レンズ部
２００の前記境界面２０１を介して前記レンズ部２００
の前方に形成することで、前記表示装置１０１の近傍に
前記動作認識領域１１２を設けたものである。

【００５３】図１１及び図１２に示すように、この実施
の形態では、前記レンズ取付部１１３に前記撮像部１０
５と前記表示装置１０１を配置する。ここで、前記表示
装置１０１は前記撮像部１０５より後方に配置すること
で、使用者２に対して仮想の表示画面２０２を上方に位
置させ、その仮想の表示画面２０２の下方に前記動作認
識領域１１２を形成している。これにより、前記仮想の
表示画面２０２を使用者２の目線に位置させ、前記動作
認識領域１１２を目線の下方に形成することができるの
で、操作指示するであろう手に無理な姿勢を強いること
がない。

【００５４】また、前記撮像部１０５は、前記レンズ部
２００の中心位置に向かって、前記受光素子１０７、前
記光学レンズと投光器１０９、フイルタ１１１を配置し
ている。

【００５５】このように、この実施の形態では、前記レ
ンズ部２００を中心に前記表示装置１０１の映像と前記
動作認識領域１１２が設定されるので、映像の視認範囲
に前記動作認識領域１１２を設定できる。したがって、
前記レンズ部２００の前記境界面２０１の角度を変化さ
せても、その位置関係を保つことができる。また、前記
撮像部１０５と前記表示装置１０１を前後に配置するこ
とにより、映像の視認範囲の下方に前記動作認識領域１
１２を設定できるので、使用者の目線と操作する手の位
置関係を合わせることができるので、使用者２に無理な
姿勢を強いることが軽減される。なお、この実施の形態
では、前記撮像部１０５と前記表示装置１０１を前後に
配置したが、この前後の範囲を小さくすることで、映像
の視認範囲と前記動作認識領域１１２を近接させること
ができる。これにより、例えば、使用者２の目線を斜め
下方に設定する場合、例えば前記レンズの位置が使用者
２に対して低い場合有利である。次に、図１３から図２
０は、前記撮像部１０５の他の応用例を示したものであ
る。以下、この応用例を順次説明する。（第３の実施の形態）先ず、図１３は、フイルタ１１０
の配置に関する他の実施の形態を説明するものである。
図１３（ａ）図は、前記フイルタ１１０を前記光学レン
ズ１０８の内側（前記光学レンズ１０８と前記受光素子
１０７の間）に配置したものであり、（ｂ）図は第１の
実施の形態で採用した光学レンズ１０８の外側に配置し
たものである。前記（ａ）図の実施の形態によれば、前
記フイルタ１１０を前記光学レンズ１０８の焦点距離を
利用して配置することができるので装置の小型化を実現
できる。一方（ｂ）図の実施の形態によれば、前記フイ
ルタ１１０を利用して光学レンズ１０８を保護できると
ともに、前記撮影窓１１１の前記透明板１１８の機能も
兼用できるので、清掃性を向上させることができる。（第４の実施の形態）次に、図１４、図１５は前記動作
認識領域１１２の認識範囲Θ１を拡張する分割プリズム
を採用した実施の形態を示している。図１４（ａ）図は
分割プリズム１１４の配置を示す概略断面図、（ｂ）図
は分割プリズム１１４の外観図を示している。また、図
１５は、分割プリズム１１４を介して受光素子１０７で
撮影された画面を示したものであり、（ａ）図が上操作
の手のかざし方の例を示し、（ｂ）図が分割プリズムを
採用しないで撮影された画面図、（ｃ）図が分割プリズ
ム１１４を介して撮影された画面図を示している。図１
４において、この実施の形態では、前記光学レンズ１０
８の前方に前記分割プリズム１１４を配置し、光学レン
ズ１０８の後方にフイルタ１１０、更に後方に受光素子
１０７を配置している。前記分割プリズムは、撮影され
る操作指令対象物３側をフラット面１１４ａとして、前
記光学レンズ１０８側の中央が前記フラット面と平行な
面１１４ｃであり、その周囲が前記光学レンズ１０８側
に隆起した傾斜面１１４ｂで形成される断面形状を備え
ている。（ｂ）図は、前記光学レンズ１０８側からみた
分割プリズム１１４の外観斜視図を示している。この実
施の形態では、分割プリズムの外形を角錐形状とするこ
とでコンパクト化を図っているが、前記説明した断面形
状が重要であり、その外形は問わない。この分割プリズ
ム１１４によれば、視野の広がりにより人の動作を幅広
く受け入れられ、４方向と真中を強調して認識するの
で、同じ単純なアルゴリズムでも前記操作ベクトルＰｘ
ｙの抽出が明確に行える。例えば、図１５（ｂ）図に示
すように、分割プリズム１１４を使用しない場合は、前
記動作認識領域１１２が狭いため、前記操作指令対象物
３の光重心位置Ｐ１やその動きの抽出に制約を受ける。
しかし、（ａ）図に示すように、この分割プリズム１１
４によれば、前記動作認識領域１１２の中央と、上下左
右の４方向の範囲が拡大される。これに伴って、（ｃ）
図のように、受光素子１０７では、中間が省略されて中
央とその四方が強調されるため、前記操作指令対象物３
の大きなジェスチャを抽出しやすくすることができる。
なお、この実施の形態では、図１４（ｂ）図に示すよう
に、分割プリズム１１４の前記光学レンズ１０８側の傾
斜面を４面としているが、これを連続した円錐形状や多
角形状からなる傾斜面とすることで、前記動作認識領域
１１２の中央と周囲を強調することができる。（第５の実施の形態）図１６は、分割レンズ１１５を採
用した実施の形態を示している。（ａ）図は分割レンズ
１１５を採用した撮像部１０５の断面図を示し、（ｂ）
図は正面図を示している。この実施の形態によれば、第
１の実施の形態で説明した１個の光学レンズ１０８を複
数の光学レンズ１０８からなる分割レンズ１１５で構成
する。例えば、この実施の形態では、（ｂ）図に示すよ
うに、横３列、縦３段からなる９個の格子状に配列され
たレンズを採用する。この実施の形態によれば、前記動
作認識領域１１２の認識範囲Θ１を拡張させることがで
きるとともに、各光学レンズ１０８の焦点部分だけが強
調されるので、同じ単純なアルゴリズムでも前記操作ベ
クトルＰｘｙの抽出が明確に行える。

【００５６】（第６の実施の形態）図１７は、受光素子
１０７に複数のフオトトランジスタ等から構成される受
光素子アレイ１２０を採用したものである。（ａ）図は
受光素子アレイ１２０を採用した撮像部１０５の断面図
を示し、（ｂ）図は正面図を示している。前記趣向素子
アレイ１２０のフオトトランジスタの配列を示してい
る。この実施の形態によれば、第１の実施の形態で説明
したＣＣＤ採用の受光素子１０７に比べて、各撮像画素
が荒いので、前記動作認識領域１１２の前記操作指令対
象物３の動きを荒く抽出することができるから、同じ単
純なアルゴリズムでも前記操作ベクトルＰｘｙの抽出が
明確に行える。

【００５７】（第７の実施の形態）図１８、１９は、投
光器１０９に配列を工夫することで、前記第６の実施の
形態と同様な作用効果を得ようとする実施の形態を説明
するものである。図１８は、第１の実施の形態の前記撮
像部１０５を説明するものであり、（ａ）図は撮像部１
０５の断面図を示し、（ｂ）図は前記投光器１０９の配
列を示し、（ｃ）図は投光器による認識範囲の明るさの
分布を示している。また、図１９は、この実施の形態に
係る撮像部１０５の断面図を説明するものであり、
（ａ）図は前記撮像部１０５の断面図を示す、（ｂ）図
は前記投光器１０９の配列を示し、（ｃ）図はこの投光
器による認識範囲の明るさの分布を示している。

【００５８】図１８で示すように、前記第１の実施の形
態では、１個または複数の投光器１０９を光学レンズ１
０８の周囲に配列して前記動作認識領域１１２を前記投
光器１０９で満遍なく照らす。このため、（ｃ）図に示
すように、第１の実施の形態では、前記動作認識領域１
１２全体を均等に認識することができる。しかし、前記
操作指令対象物３は、連続したジェスチャであるため、
単純な操作を行おうとした場合、この動きを全て認識す
る必要がなく、動きの概要を認識できれば足りる。

【００５９】そこで、この実施の形態では、図１９
（ａ）（ｂ）に示すように、投光器１０９の配列を工夫
して、前記動作認識領域１１２の要所のみを投光するよ
うに配置する。例えば、この実施の形態では、（ｂ）図
のように、前記動作認識領域１１２の中央と、上下左右
の要所のみを前記投光器１０９で照らすようにする。こ
の照らす位置は、前記ジェスチャに対応して適宜設定す
る。このように、この実施の形態では、前記投光器１０
９で照らすことにより、（ｃ）図に示す斜線部のような
領域が強調される。したがって、前記動作認識領域１１
２の前記操作指令対象物３の動きを荒く抽出することが
できるから、同じ単純なアルゴリズムでも前記操作ベク
トルＰｘｙの抽出が明確に行える。（第８の実施の形態）図２０及び図２１は、球状の前記
レンズ部２００を活用した他の実施の形態を示す説明図
であり、図２０は前記第１の実施の形態の説明図、図２
１はこの実施の形態に係る前記境界面２０１を活用した
応用例を示している。図２０において、前記第１の実施
の形態では、前記レンズ部２００の前記境界面２０１で
屈折させた前記表示装置１０１の表示画像を使用者２が
みている。このため、この実施の形態では、前記境界面
２０１の後方の前記後方レンズ部２００ｂはデッドスペ
ースである。この実施の形態では、図２１に示すよう
に、前記レンズ部２００に対して前記装置本体１００と
対向する位置（例えば前記レンズ部２００の上方）に同
様な装置本体１００ａを設け、前記境界面２０１の反対
側の反射面を使って、前記使用者２の後方に映像を提供
する２画面の情報処理装置である。図２０の実施の形態
では、装置本体１００の表示画像は、使用者２からすれ
ば、前記レンズ部２００この後方に配置される仮想の表
示装置１０１ａを見ているように感じる。一方、図２１
の実施の形態では、他の使用者２ａは、前記レンズ部２
００の後方に形成される前記本体装置１００ａの仮想の
表示装置１０１ａを見ているように感じる。したがっ
て、透明な前記レンズ部２００に対峙する使用者２と他
の使用者２ａが、互いのいる位置に異なる仮想の表示装
置１０１ａをみることになるので、これら使用者に得意
な映像効果を提供することができる。このため、この情
報処理装置１によれば、設置フロアーの中心位置に設置
することができるので、設置効率を向上させたり、ある
いは対戦ゲームなどのイベントに最適である。（第９の実施の形態）図２２及び図２３は前記レンズ部
２００の他の実施の形態に係るものである。図２２はこ
の実施の形態のシステムの概略を示すシステム概略図、
図２３レンズ部２０９の構造を示す概略断面図であり、
（ａ）図がレンズ部の機構概念図、（ｂ）図が凹面状態
の動作状態図、（ｃ）図が凸面状態の動作状態図を示し
ている。この実施の形態は、前記レンズ部２０９の前記
境界面２０１を凹面または凸面に変化可能な構造とした
ものである。この実施の形態では、前記構造を実現する
ために、前記レンズ部２０９を、前部を構成する半球状
の前部レンズ部２０９ａと後部を構成する半球状の後部
レンズ部２０９ｂとから構成し、この２つの半球状の部
材を合わせて球状のレンズ部２０９を構成する。前記前
部レンズ部２０９ａと後部レンズ部２０９ｂはともに、
その外郭を構成する中空の外郭部２１０と、この外郭部
２１０の中空部に充填される液状体２１１とから構成さ
れる。この実施の形態では、前記外郭部２１０をアクリ
ル材料で形成し、前記液状体２１１を前記アクリル材料
と同様な屈折率を備えるパラフイン油などの屈折率の同
じ液体を使用する。

【００６０】そして、図２３に示すように前記前部レン
ズ部２０９ａと後部レンズ部２０９ｂにそれぞれ充填さ
れる前記液状体２１１を調整するポンプ部１２１とリザ
ーブタンク１２２を備える。この実施の形態によれば、
前記半球状の前部または後部レンズ部２０９ａ、２０９
ｂは、前記ポンプ部１２１を介して液状体２１１を補給
したり減圧したりすると変形しにくい球面はそのままで
フラットな前記境界面２０１が凸面または凹面に変化す
る。この実施の形態では、この境界面２０１の変形を利
用して、前記レンズ部２０９の前部に表示される仮想の
表示画面２０２を変形させた多様な表示効果を得ること
ができる。例えば、図２３（ｂ）図は前記前部レンズ部
２０９ａに前記液状体２１１を供給し、逆に後部レンズ
部２０９ｂから前記液状体２１１を取った状態をしめし
ている。この状態では、前記境界面２０１が凹面鏡とし
て作用するため、前記装置本体から提供される画像が前
記凹面鏡の境界面２０１で画像の一部が拡大されて前記
仮想の表示画面２０２に表示される。

【００６１】一方、（ｃ）図では、（ｂ）図とは逆に前
部レンズ部２０９ａから前記液状体２１１が取られるの
で、前記境界面２０１が凸面鏡に変形する。このため、
前記装置本体１００から提供される画像が前記凸面鏡の
境界面２０１で画像全体が縮小されて前記仮想の表示画
面２０２に表示される。このように、この実施の形態に
よれば、前記レンズ部２０９に供給する液状体２１１を
調整することにより、前記仮想の表示画面を縮小または
拡大表示することができるので、多様な表示効果を得る
ことができる。なお、この実施の形態では、２つの半球
状の部材で球状の前記レンズ部２０９を構成したが、同
様な表示効果は、前記前部レンズ部２０９ａのみで達成
することができる。

【００６２】以上述べたように、この発明に係る情報処
理装置は、赤外線投光器、赤外線のみ透過するフィル
タ、レンズ、受光素子で構成された撮像部に対してかざ
した手などの動きを認識することにより、表示内容を操
作することのできる。この場合、前記「受光素子」がＣ
ＣＤなどの撮像素子で、得られた画像の光重心位置の計
算により手の動きを認識することができる。また、前記
「受光素子」がＰＳＤなどの光重心位置を出力するセン
サーの場合、光重心位置の移動から手の動きを認識する
ことができる。また、前記「受光素子」がフォトトラン
ジスタなどの光センサーをマトリクス状に配置した構造
の場合、個々のトランジスタの位置と受光強度から光重
心位置を計算し、手の動きを認識することができる。更
に、前記撮像部が１つの撮像素子と複合レンズや複合プ
リズムを組み合わせることにより、複数方向からの不連
続な画像を取得することができる。加えて、赤外線投光
器とレンズ、赤外線センサーで構成された近接センサー
を複数組配置した機器に対してかざした手などの動きで
生じるセンサーのON/OFFパターンによって表示内容を操
作することができる。この発明に係る実施の形態によれ
ば、手が濡れたり汚れている時でも気にすることなく操
作可能である。また、不特定多数のユーザが使う端末を
想定すると、触れないことによる清潔性が向上し、更に
凹凸や可動部の無い形状が可能であるため清掃性が向上
し、対破壊性の向上が期待できる。更に、操作は直感的
なジェスチャーで構成することにより、説明書を読んだ
り複雑な操作を覚える必要が無い。例えば、正面に対し
て手を右にかざせば空間上のメニューが右に動くとか、
コンテンツを表示中に手を左から右に振ると次の項目に
進むといった操作が可能となる。加えて、ジェスチャー
を認識する手段では最小限の画像処理のみで行えるよう
工夫し、安価な制御部で十分精度の高い操作性が得られ
る。このように、この発明に係る情報処理装置１によれ
ば、家庭向け情報機器の操作部として、あるいは公共施
設や店舗の情報機器として活用することができる。

【００６３】

【発明の効果】本発明によれば、人の動きを検知して機
器を操作可能な安価な情報処理装置とその操作方法を提
供される。

【図面の簡単な説明】

【図１】第１の実施の形態の概略構成を説明する使用状
態の概念図である。

【図２】第１の実施の形態のシステムの概略を示すシス
テム概略図である。

【図３】第１の実施の形態の情報処理装置の概略断面図
である。

【図４】第１の実施の形態の情報処理装置の外観図であ
る。

【図５】第１の実施の形態の取得した画像から操作信号
を引出す方法の説明図である。

【図６】第１の実施の形態の取得した画像から操作信号
を引出す方法の説明図である。

【図７】第１の実施の形態のメニュー画面の説明図であ
る。

【図８】第１の実施の形態のジェスチャーの説明図であ
る。

【図９】第１の実施の形態の動作フローチャートであ
る。

【図１０】第１の実施の形態のジェスチャーと画面遷移
図である。

【図１１】第２の実施の形態の概略構成を説明する使用
状態の概念図である。

【図１２】第２の実施の形態のシステムの概略を示すシ
ステム概略図である。

【図１３】第３の実施の形態のフイルタの配置に説明図
である。

【図１４】第４の実施の形態の分割プリズムの配置を示
す概略断面図である。

【図１５】第４の実施の形態の撮影された画面図であ
る。

【図１６】第５の実施の形態の分割レンズの説明図であ
る。

【図１７】第６の実施の形態のフオトトランジスタの説
明図である。

【図１８】第１の実施の形態の投光器の説明図である。

【図１９】第７の実施の形態の投光器の説明図である。

【図２０】前記第１の実施の形態のレンズ部の説明図で
ある。

【図２１】第８の実施の形態の境界面を活用した情報処
理装置の説明図である。

【図２２】第９の実施の形態の境界面を活用したレンズ
部の説明図である。

【図２３】第９の実施の形態の境界面を活用したレンズ
部の説明図である。

【符号の説明】

１…情報処理装置、２…使用者、３…操作指令対象物、
１０…情報提供部、２０…ネットワーク、１００…装置
本体、１０１…表示装置、１０２…制御部、１０３…音
声出力部、１０４…記憶部、１０５…撮像部、１０６…
近接センサ、１０７…受光素子、１０８…光学レンズ、
１０９…投光器、１１０…フイルタ、１１１…撮影窓、
１１２…動作認識領域、１１３…レンズ取付部、１１４
…分割プリズム、１１５…分割レンズ、１１６…ネット
ワーク接続部、１１７…感度領域、１２０…受光素子ア
レイ、１２１…ポンプ部、２００…レンズ部、２００ａ
…前方レンズ部、２００ｂ…後方レンズ部、２０１…境
界面、２０２…仮想の表示画面、２０９…レンズ部、２
０９ａ…前部レンズ部、２０９ｂ…後部レンズ部、２１
０…外郭部、２１１…液状体２１１、２５０…仮想領
域、２５１…表示領域、２５２…確定領域、Θ１…認識
範囲、Ｐ０…画面の中心位置Ｐ０、Ｐ１…光重心位置Ｐ
１、Ｐｘｙ…操作ベクトル。

───────────────────────────────────────────────────── フロントページの続き (72)発明者丸山幸伸東京都国分寺市東恋ケ窪一丁目280番地株式会社日立製作所デザイン研究所内Ｆターム(参考） 5B050 AA03 BA01 BA12 CA07 DA05 EA07 FA02 FA08 GA02 5B057 AA20 BA02 BA19 BA23 DA07 DA17 DB02 DB05 DC08 DC36 5B087 AA09 BC32 5L096 AA03 BA05 BA08 CA03 DA02 FA67 FA69 HA04

Claims

【特許請求の範囲】

【請求項１】各種の情報を表示する表示装置と、撮影し
た画像から操作指令対象物の位置と動作を認識する撮像
部と、前記撮像部で認識された位置と動作から前記表示
装置の操作信号を出力する制御部とを含み、前記撮像部は、受光した光の強さを電気信号として出力
する受光素子と、前記受光部の前部に配置されるレンズ
部と、前記受光素子の前部に配置され、前記受光素子に
入光する特定の波長の光のみを通過させるフイルタと、
前記レンズ部の撮影範囲に前記特定の波長の光を投光す
る投光器とを備え、前記制御部は、前記撮像部で認識さ
れた画像から操作ベクトルを算出して対応する操作信号
を出力することを特徴とする情報処理装置。
【請求項２】前記請求項１記載の情報処理装置におい
て、前記受光素子が撮像素子であり、前記制御部は、前
記画像素子で認識された画像から光重心位置を算出し
て、この光重心位置の変化により操作ベクトルを算出
し、対応する操作信号を出力することを特徴とする情報
処理装置。
【請求項３】前記請求項１記載の情報処理装置におい
て、前記受光素子が半導体位置検出素子であり、前記制
御部は、前記半導体位置検出素子で検出された光重心位
置の変化から操作ベクトルを算出し、対応する操作信号
を出力することを特徴とする情報処理装置。
【請求項４】前記請求項１記載の情報処理装置におい
て、前記受光素子は光センサーをマトリクス状に配置し
た構造を備え、前記制御部は、前記個々の光センサの位
置と受光強度から光重心位置を計算し、この光重心位置
の変化により操作ベクトルを算出し、対応する操作信号
を出力することを特徴とする情報処理装置。
【請求項５】前記請求項１から４記載の何れかの情報処
理装置において、前記レンズ部は、複合レンズであるこ
とを特徴とする情報処理装置。
【請求項６】前記請求項１から４記載の何れかの情報処
理装置において、前記レンズ部の前部に複合プリズムを
配置したことを特徴とする情報処理装置。
【請求項７】各種の情報を表示する表示装置と、撮影し
た画像から操作指令対象物の位置と動作を認識する撮像
部と、前記撮像部で認識された位置と動作から前記表示
装置の操作信号を出力する制御部とを含んだ情報処理装
置の操作方法において、前記画像部の投光器から特定の
波長の光を投光し、前記投光した特定の波長の光の反射
光を特定の波長の光のみを通過させるフイルタと光学レ
ンズを介して撮像部の受光素子で認識し、この受光素子
で認識された画像から操作ベクトルを算出して対応する
前記操作信号を出力することを特徴とする情報処理装置
の操作方法。
【請求項８】前記請求項７記載の情報処理装置の操作方
法において、前記受光素子が撮像素子であり、前記画像
素子で認識された画像から光重心位置を算出し、この光
重心位置の変化により操作ベクトルを算出して対応する
操作信号を出力することを特徴とする情報処理装置の操
作方法。
【請求項９】前記請求項７記載の情報処理装置におい
て、前記受光素子が半導体位置検出素子であり、前記半
導体位置検出素子で検出された光重心位置の変化から操
作ベクトルを算出して対応する操作信号を出力すること
を特徴とする情報処理装置の操作方法。
【請求項１０】前記請求項７記載の情報処理装置におい
て、前記受光素子は光センサーをマトリクス状に配置し
た構造を備え、前記個々の光センサの位置と受光強度か
ら光重心位置を計算し、この光重心位置の変化により操
作ベクトルを算出して対応する操作信号を出力すること
を特徴とする情報処理装置の操作方法。