JP2001282447A - 情報処理装置及び記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 本発明の課題は、３次元の各方向における移
動量および回転量の入力を、制限なく自由に行えるよう
にすることで、３次元空間上における移動や回転等の情
報操作を自由に、しかも容易に行うことが可能な入力処
理装置を提供することである。 【解決手段】 入力処理装置１は、装置本体に設けられ
た複数の画像入力部から連続的に画像データを取り込
み、各画像入力部から取り込まれた連続画像データの一
定範囲内における光量または色合いの変化量を、その周
辺領域における光量または色合いと比較することによ
り、その連続画像の移動量および移動方向を推測し、複
数の画像入力部に対して求められた画像の移動量および
移動方向を、その各方向に存在する外部の物体との距離
に応じて補正し、その補正値に基づいて３次元空間上に
おける装置本体の位置または傾きの変化を検出し、数値
情報として出力することで、３次元空間上に設定された
オブジェクトの移動および回転操作を容易、且つ自由に
行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力処理装置に係
り、詳細には、３次元空間上における移動や回転等の情
報操作を自由に、しかも容易に行うことが可能な入力処
理装置及び記憶媒体に関する。

【０００２】

【従来の技術】従来、コンピュータ装置における位置情
報や数値情報を入力するための入力デバイスとしては、
マウスやタブレット等が用いられていた。また、ゲーム
機等における入力デバイスとしては、ジョイスティック
等が用いられ、ゲーム中に登場するキャラクタ等の動作
をユーザーが任意にコントロールすることを可能にして
いた。

【０００３】

【発明が解決しようとする課題】しかしながら、上記マ
ウスやタブレット等においては、２次元の位置情報しか
入力することができず、３次元空間上における情報操作
を行うことができなかった。また、上記ジョイスティッ
クにおいても、前後左右への２次元の移動量制御が主で
あり、これに３次元目の操作をプラスする場合には、片
手でスティックを動かしながら、もう一方の手で別の操
作をしなければならなかった。

【０００４】また、従来のジョイスティックにおいても
２次元の移動量の入力にプラスして回転量の入力も片手
で同時に行えるようにしたものが存在するが、これはＸ
軸、Ｙ軸方向の移動量とＺ軸方向の回転量だけが入力で
きる等、１度に制御可能な入力情報が限られていた。つ
まり、Ｘ軸、Ｙ軸、Ｚ軸方向の移動量およびそれら各方
向における回転量の入力を片手で同時に行うことはでき
ず、例えばゲーム中に登場するキャラクタ等の動作を自
由に、しかも容易にコントロールすることはできなかっ
た。

【０００５】そこで、本発明の課題は、３次元の各方向
における移動量および回転量の入力を、制限なく自由に
行えるようにすることで、３次元空間上における移動や
回転等の情報操作を自由に、しかも容易に行うことが可
能な入力処理装置を提供することである。

【０００６】

【課題を解決するための手段】請求項１記載の発明は、
装置本体に画像入力部が設けられた入力処理装置であっ
て、前記装置本体に設けられた画像入力部よりその画像
入力部の向けられている方向からの外部画像データを取
り込む外部画像取り込み手段と、前記外部画像取り込み
手段により連続的に取り込んだ連続画像データに基づい
て装置本体の位置または傾きの変化を検出する検出手段
と、前記検出手段により検出された装置本体の位置また
は傾きの変化に応じた数値情報を出力する出力手段と、
を備えたことを特徴としている。

【０００７】

【発明の実施の形態】以下、図１〜図９を参照して本発
明の実施の形態における入力処理装置について説明す
る。

【０００８】まず、入力処理装置１の機器構成を説明す
る。図１（ａ）は、本発明の実施の形態における入力処
理装置１の機器構成の概略を示す上面図であり、図１
（ｂ）は、下面図である。当該入力処理装置１は、該入
力処理装置１の装置本体ケース１ａ、表示部４、当該表
示部４に対応したタッチパネル入力操作部３ａ、画像入
力部６の汎用画像撮影用レンズ（上面）６ａ、移動検出
専用受光部（下面）６ｂ、移動検出専用受光部（左側
面）６ｃ、移動検出専用受光部（右側面）６ｄ、および
赤外線通信部７ａを持つ。

【０００９】画像入力部６の汎用画像撮影用レンズ（上
面）６ａは、装置本体の上面方向からの外部画像を取り
込み可能な位置に設けられ、移動検出専用受光部（下
面、左側面、右側面）６ｂ〜６ｄは、それぞれ装置本体
の下面、左側面、右側面方向からの外部画像を取り込み
可能な位置に設けられている。

【００１０】次に、入力処理装置１の内部構成を説明す
る。図２は、本実施の実施の形態における入力処理装置
１の内部構成を示すブロック図である。

【００１１】この図２において、入力処理装置１は、Ｃ
ＰＵ２、入力部３、表示部４、ＲＡＭ５、画像入力部
６、通信装置７、記憶装置８、及び記憶媒体９によって
構成されており、記憶媒体９を除く各部はバス１０によ
って接続されている。

【００１２】ＣＰＵ（Central Processing Unit）２
は、記憶装置８の記憶媒体９に記憶されている当該入力
処理装置１に対応する各種アプリケーションプログラム
の中から指定されたアプリケーションプログラム、入力
部３から入力される各種指示、画像入力部６から入力さ
れる画像データ、に応じた各種データをＲＡＭ５のワー
クメモリエリアに格納し、この入力指示及び入力データ
に応じてＲＡＭ５内に格納したアプリケーションプログ
ラムに従って各種処理を実行し、その処理結果をＲＡＭ
５内のワークメモリエリアに格納するとともに、表示部
４に表示する。そして、ワークメモリエリアに格納した
処理結果を入力部３から入力指示される記憶装置８の記
憶媒体９に保存し、また、通信装置７を通して他の情報
処理装置へ送信する。

【００１３】入力部３は、上述したタッチパネル入力操
作部３ａを有し（図１（ａ）参照）。このタッチパネル
入力操作部３ａに対して押下された位置の座標信号がＣ
ＰＵ２に出力される。

【００１４】表示部４は、液晶表示装置等により構成さ
れており、ＣＰＵ２を介して入力されるキー入力データ
や画像入力データを処理した結果等を表示する。

【００１５】画像入力部６は、汎用画像撮影用レンズ
（上面）６ａから入力された光を、ＣＣＤ（Charge Co
upled Device）等の、２次元格子状に画素が高密度で
並べられた光電変換素子によって２次元のデジタル画像
データに変換し、ＲＡＭ５内のワークメモリエリアに格
納する。また、移動検出専用受光部（下面、左側面、右
側面）６ｂ〜６ｄから入力された光を、近接した異なる
方向における一定範囲内の光を受光する複数の光電変換
素子によって複数領域の光量情報に変換し、ＲＡＭ５内
のワークメモリエリアに格納する。この変換された各光
量情報は、通常、Ｒ（レッド）、Ｇ（グリーン）、Ｂ
（ブルー）の各色成分毎に分けて記録されるが、移動検
出専用受光部（下面、左側面、右側面）６ｂ〜６ｄは、
部品コストを押さえるために数個〜数十個の少ない数の
光電変換素子により構成され、更にコストを下げる場合
には光の強度のみを受光し、モノクロ情報として画像デ
ータを記録するように構成される。

【００１６】ＲＡＭ（Random Access Memory）５は、指
定されたアプリケーションプログラム、入力指示、入力
データ及び処理結果等を格納するワークメモリエリア、
および図３に示す装置本体移動量検出処理に関する各種
情報を格納するメモリエリア５ａ〜５ｏを有する。

【００１７】図３（ａ）は、装置本体の前面、後面、右
側面、左側面に設けられた複数の画像入力部（ｄｉｒ）
から取り込まれた画像データに関する情報を格納するエ
リアを示しており、前回画像バッファ（ｄｉｒ）５ａ、
前回領域色情報（ｄｉｒ）５ｂ、前回領域移動情報（ｄ
ｉｒ）５ｃ、今回画像バッファ（ｄｉｒ）５ｄ、今回領
域色情報（ｄｉｒ）５ｅ、今回領域移動情報（ｄｉｒ）
５ｆ、画像移動量情報（ｄｉｒ）５ｇ、変換倍率情報
（ｄｉｒ）５ｈ、仮想空間枠交点情報（ｄｉｒ）５ｉ、
とを有し、これらの情報が画像入力方向の数分だけ格納
される。

【００１８】前回画像バッファ（ｄｉｒ）５ａには、各
画像入力方向から前回取り込まれた画像データが格納さ
れ、今回画像バッファ（ｄｉｒ）５ｄには、各画像入力
方向から今回取り込まれた画像データが格納される。

【００１９】前回領域色情報（ｄｉｒ）５ｂには、前回
画像バッファ（ｄｉｒ）５ａに記憶されている対応する
画像入力方向の画像データを領域分割し、その各領域に
含まれる複数画素の受ける光量を、Ｒ（レッド）、Ｇ
（グリーン）、Ｂ（ブルー）の各色成分毎に平均化した
色情報が格納される。前回領域移動情報（ｄｉｒ）５ｃ
には、その各領域毎に推測される画像の移動量および移
動方向を示すベクトル情報が格納される。今回領域色情
報（ｄｉｒ）５ｅ、および今回領域移動情報（ｄｉｒ）
５ｆにも同様にして、今回画像バッファ（ｄｉｒ）５ｄ
に基づく領域情報が格納される。

【００２０】画像移動量情報（ｄｉｒ）５ｇには、各画
像入力方向毎に算出された画像の移動量および移動方向
情報が格納される。変換倍率情報（ｄｉｒ）５ｈには、
上記画像上の移動量を装置本体に対応した移動量に変換
するために用いられる変換倍率情報が格納される。

【００２１】この変換倍率情報（ｄｉｒ）５ｈは、本体
に設けられた画像入力部と外部に存在する壁等の物体と
の距離に応じた値が設定されるものであり、予め利用者
が装置を操作する場所で、装置を規定量だけ移動した時
の画像データをテスト入力することによってキャリブレ
ーションされた正しい値に設定することが可能である。
この補正された各方向における変換倍率情報（ｄｉｒ）
５ｈを用いて画像上の移動量を、装置本体に対応した移
動量に変換することで、装置本体の周囲の物体との距離
に影響されることなく、常に一定した装置本体の位置ま
たは傾きの変化量を検出することができる。

【００２２】仮想空間枠交点情報（ｄｉｒ）５ｉは、装
置本体が実際に操作される場所の周囲に存在する物体に
対応して設定された３次元の仮想空間枠において、各画
像入力部の向けられている方向と、この仮想空間枠との
交点を示す情報が格納される。

【００２３】図３（ｂ）は、算出された装置本体の移動
に関する情報を格納するエリアを示しており、装置本体
Ｘ軸方向移動量情報５ｊ、装置本体Ｘ軸回転量情報５
ｋ、装置本体Ｙ軸方向移動量情報５ｌ、装置本体Ｙ軸回
転量情報５ｍ、装置本体Ｚ軸方向移動量情報５ｎ、装置
本体Ｚ軸回転量情報５ｏ、とを有する。

【００２４】装置本体（Ｘ、Ｙ、Ｚ）軸方向移動量情報
５ｊ、５ｌ、５ｎは、それぞれ３次元空間上におけるＸ
軸、Ｙ軸、Ｚ軸の各方向に対する装置本体の移動量情報
が格納される。また、装置本体（Ｘ、Ｙ、Ｚ）軸回転量
情報５ｋ、５ｍ、５ｏは、それぞれ３次元空間上におけ
るＸ軸、Ｙ軸、Ｚ軸の各軸を中心とした装置本体の回転
量情報が格納される。

【００２５】記憶装置８は、プログラムやデータ等が予
め記憶されている記憶媒体９を有しており、この記憶媒
体９は磁気的、光学的記憶媒体、若しくは半導体メモリ
で構成されている。この記憶媒体９は、記憶装置８に固
定的に設けられたもの、若しくは着脱自在に装着するも
のであり、この記憶媒体９には当該入力処理装置１に対
応する各種アプリーションプログラム等を記憶する。

【００２６】なお、この記憶媒体９に記憶するプログラ
ム、データ等は、その一部若しくは全部をコンピュータ
・ネットワーク等の通信回線等を介して接続された他の
機器から受信して記憶する構成にしてもよい。更に、通
信回線等を介して接続された他の機器側に上記記憶媒体
９を備えた記憶装置を設け、この記憶媒体９に記憶され
ているプログラム、データ等を通信回線を介して使用す
る構成にしてもよい。

【００２７】通信装置７は、入力処理装置１及び他の情
報処理装置間が、ケーブル接続されている場合には電気
信号で、赤外線受発光部等を使用する場合には光や電波
による情報通信を行う。また、モデム（ＭＯＤＥＭ：MO
dulator/DEModulator ）等によって、一般の電話回線に
接続したり、他のネットワークに接続することも可能で
ある。

【００２８】次に、入力処理装置１の、３次元空間上で
の操作に対する移動量検出処理の状態例について説明す
る。

【００２９】図４（ａ）は、領域分割された画像情報に
基づく画像の移動検出処理を説明する図であり、画像入
力部の各方向から取り込まれた外部画像データが、例え
ば横６４０ドット、縦４８０ドットで構成されているも
のとし、この画像データを、分割領域列位置Ｃ１〜Ｃ３
２、および分割領域行位置Ｒ１〜Ｒ２４によって示され
る横３２行、縦２４列からなる小領域に分割すると、各
小領域は横２０ドット、縦２０ドットで構成される。こ
の各小領域に含まれる複数画素の受光量情報は、Ｒ（レ
ッド）、Ｇ（グリーン）、Ｂ（ブルー）の各色成分毎に
平均化されて、画像の移動検出処理のために一時記憶さ
れる。

【００３０】隣接領域位置ベクトルＶ１〜Ｖ８は、注目
した領域（例えばＣ２列，Ｒ２行で示される領域）に隣
接する８つの領域に対する位置ベクトルを示している。

【００３１】図４（ｂ）は、領域の移動状態例を示す図
であり、例えば前回取得した画像データのＣ２列，Ｒ２
行で示される移動元領域Ａ０が、今回取得した画像デー
タでは、装置本体の移動によって、前回取得した画像デ
ータに対して移動先領域Ａ０'で示される位置に移動し
た状態を示しており、領域移動ベクトルＶ０は、その移
動ベクトルを示している。

【００３２】図５は、２次元格子状では無い、任意の近
接した複数領域から受ける光情報に基づく一般的な画像
の移動検出処理を説明する図であり、例えば移動検出専
用受光部６ｂ〜６ｄのような、部品コストを押さえるた
めに数個〜数十個の少ない数の光電変換素子により構成
された画像入力部等を含む、一般的な光情報入力部から
取り込まれた複数領域の光量情報に基づいて画像移動検
出を行う場合の処理を説明するものである。

【００３３】移動元領域ＡＲ０、移動先領域ＡＲ０'、
隣接領域ＡＲ１〜ＡＲ３は、ほぼ等しい大きさを持つ領
域であり、移動元領域ＡＲ０は、移動量検出処理におい
て注目している領域を示しており、隣接領域ＡＲ１〜Ａ
Ｒ３は、その注目している移動元領域ＡＲ０に対して隣
接する複数領域を示しており、その隣接する間隔は、連
続した画像データの読み取り時間間隔の間に装置本体の
移動に伴って移動すると推定される画像データの移動距
離よりも離れて設定されている。また、その領域範囲は
互いに隣接するか、あるいは重なりあった状態に設定さ
れている。移動先領域Ａ０'は、装置本体の移動に伴っ
て移動した移動元領域ＡＲ０の移動後の領域位置を示
す。

【００３４】隣接領域位置ベクトルＶＣ１〜ＶＣ３は、
注目した移動元領域ＡＲ０に隣接する隣接領域ＡＲ１〜
ＡＲ３のそれぞれに対する位置ベクトルを示しており、
領域移動ベクトルＶＣ０は、注目する移動元領域ＡＲ０
が移動先領域Ａ０'に移動した際の移動ベクトルを示し
ている。

【００３５】図６（ａ）は、実際に装置を操作する場所
の周囲に存在する物体の、装置との距離に応じて設定さ
れた３次元の仮想空間枠ＶＡ内での装置本体の位置およ
び傾きを示す図であり、仮想空間枠交点位置ＵＰ、Ｄ
Ｐ、ＬＰ、およびＲＰは、仮想空間枠交点情報（前面、
後面、右側面…）５ｉに設定された情報により示され
る、各画像入力部の向けられている方向と、この仮想空
間枠ＶＡとの交点位置を示している。

【００３６】図６（ｂ）は、装置本体の移動および回転
操作に応じた数値情報を外部に送信し、それを受信した
他の情報処理装置において実行中のアプリケーションに
表示されているキャラクタの動きを操作している状態を
示す図であり、装置本体の移動および回転操作情報は、
赤外線通信部７ａによってリアルタイムに他の情報処理
装置へと送信され、この情報処理装置上で実行されてい
るアプリケーションの表示画面に登場するキャラクタが
自由自在にコントロールされる。

【００３７】次に、本発明の実施の形態における入力処
理装置１の、装置本体移動検出処理に関する動作につい
て詳細に説明する。

【００３８】図７は、本実施の形態における入力処理装
置１の、装置本体移動検出処理に関する全体の動作を説
明するフローチャートである。

【００３９】図７において、ます、入力処理装置１のＣ
ＰＵ２は、装置本体の上面、下面、左側面、右側面に設
けられた複数の画像入力部（ｄｉｒ）の内の１つを選択
する（ステップＳ１１）。そして、この選択された画像
入力部（ｄｉｒ）に対する、今回画像バッファ（ｄｉ
ｒ）５ｄ、今回領域色情報（ｄｉｒ）５ｅ、今回領域移
動情報（ｄｉｒ）５ｆの内容を、それぞれ、前回画像バ
ッファ（ｄｉｒ）５ａ、前回領域色情報（ｄｉｒ）５
ｂ、前回領域移動情報（ｄｉｒ）５ｃに移動して保存す
る（ステップＳ１２）。

【００４０】次に、選択されている画像入力部（ｄｉ
ｒ）から新たに読み取った、例えば、横６４０ドット、
縦４８０ドットの画像データ（上面の場合）、を今回画
像バッファ（ｄｉｒ）５ｄに記憶し（ステップＳ１
３）、画像移動量算出処理を実行する（ステップＳ１
４）。

【００４１】ここで、図８のフローチャートに従って、
まず、装置本体の前面に設けられた汎用のデジタル画像
撮影装置である画像入力部（上面）に対する画像移動量
算出処理の詳細動作を説明する。

【００４２】図８において、まず、選択されている画像
入力部に対して今回画像バッファ（前面、後面、右側面
…）５ｄに格納されている、例えば横６４０ドット、縦
４８０ドットの画像データを、図４に示すように分割領
域列位置Ｃ１〜Ｃ３２、および分割領域行位置Ｒ１〜Ｒ
２４によって示される横３２行、縦２４列からなる小領
域に分割し、横２０ドット、縦２０ドットで構成される
各小領域に含まれる複数画素の受光量情報を、Ｒ（レッ
ド）、Ｇ（グリーン）、Ｂ（ブルー）の各色成分毎に平
均化し、その平均化された受光量情報を対応する今回領
域色情報（ｄｉｒ）５ｅに格納する（ステップＳ２
１）。

【００４３】この時、前回領域色情報（ｄｉｒ）５ｂに
格納されている、ｎ列、ｍ行、で示されるの小領域の、
ｃ色で示される色成分に対する、平均化された受光量情
報をｆ（ｎ，ｍ，ｃ）で表し、同様に、今回領域色情報
（ｄｉｒ）５ｃに格納されている受光量情報をｆ'
（ｎ，ｍ，ｃ）で表すこととする。

【００４４】また、注目している小領域に対して、縦方
向のオフセット値ｙおよび横方向のオフセット値ｘで示
される隣接領域への位置ベクトルをＶ（ｙ，ｘ）で表
し、ｎ列、ｍ行、で示されるの小領域の、ｃ色で示され
る色成分に対して推測された、画像の移動量および移動
方向を示す移動ベクトルをＶ（ｎ，ｍ，ｃ）で表すこと
とする。

【００４５】注目している小領域と、その隣接領域に対
する受光量情報との差分、 f(n+y,m+x,c)- f(n,m,c) に対する、注目している小領域の前回と今回に対する受
光量情報との差分、 f'(n,m,c)-f(n,m,c) の割合を、隣接領域への位置ベクトルＶ（ｙ，ｘ）に乗
じたベクトル値、 V(y,x)・(f'(n,m,c)-f(n,m,c))/(f(n+y,m+x,c)- f(n,m,
c)) を、ｙ＝０，ｘ＝０の場合を除く８つの隣接領域に対し
ベクトル加算することで、ｎ列、ｍ行、で示されるの小
領域の、ｃ色で示される色成分に対する画像の移動量お
よび移動方向を示す移動ベクトルＶ（ｎ，ｍ，ｃ）を推
測し、各列、各行、各色成分に対する全ての移動ベクト
ルＶ（ｎ，ｍ，ｃ）を算出する（ステップＳ２２）。

【００４６】次に、選択されている画像入力部（ｄｉ
ｒ）に対して算出された、列２〜２３、行２〜３１、色
成分１〜３の範囲における全ての移動ベクトルＶ（ｎ，
ｍ，ｃ）を平均化し、その平均化された移動ベクトルを
画像移動量情報（ｄｉｒ）５ｇに記憶する（ステップＳ
２３）。そして、画像移動量算出処理を終了する。

【００４７】以上は、画像入力部として、装置本体の上
面に設けられた、横６４０ドット、縦４８０ドットの２
次元のカラーデジタル画像データを撮影可能な汎用のデ
ジタル画像撮影装置を利用した場合の画像移動量算出処
理を説明した。装置本体の下面、左側面、右側面に設け
られた他の画像入力部を利用した場合においても、同様
にして画像の移動量を算出することができ、特にフロー
チャートには記さないが、図５を参照して以下に概略を
説明する。

【００４８】先に説明した画像移動量算出処理フローの
ステップＳ２１において、上記他の画像入力部の場合、
図５に示すほぼ等しい大きさを持つ移動元領域ＡＲ０、
移動先領域ＡＲ０'および隣接領域ＡＲ１〜３に対して
測定された光量をそれぞれ記憶する。そして、ステップ
Ｓ２２においては、各隣接領域位置ベクトルＶＣ１〜Ｖ
Ｃ３について、移動元領域と隣接領域との光量の差に対
する移動元領域と移動先領域との光量の差を、その隣接
領域位置ベクトルに乗算し、その乗算されたベクトルを
全て加算することで、画像の移動量および移動方向の推
測値である移動ベクトルを算出する。ステップＳ２３に
おいては、注目する移動元（先）領域を他の隣接領域と
入れ替えて算出した複数の移動ベクトルを平均化する。

【００４９】このようにして、ほぼ等しい大きさの領域
から受ける光量を測定可能な受光素子を低密度に並べた
移動検出専用の受光装置を上記画像入力部として利用し
た場合においても、同様にして画像移動量算出処理を行
うことができる。

【００５０】ここで、先の装置本体移動検出処理フロー
の説明に戻り、ステップＳ１５において、まだ処理を行
っていない他の画像入力部（ｄｉｒ）があるかどうかを
判断し（ステップＳ１５）、まだ処理を行っていない画
像入力部（ｄｉｒ）が存在している場合には、新たな画
像入力部（ｄｉｒ）に対して、上記ステップＳ１１〜Ｓ
１５を繰り返す。一方、全ての画像入力部（ｄｉｒ）に
対する処理が終わった場合には、ステップＳ１６へ進
み、装置本体移動量算出処理を実行する（ステップＳ１
６）。

【００５１】ここで、図９のフローチャートに従って、
この装置本体移動量算出処理の詳細動作を説明する。

【００５２】図９において、まず、ＣＰＵ２は、複数の
画像入力部（ｄｉｒ）の内の１つを選択し（ステップＳ
３１）、選択された画像入力部（ｄｉｒ）に対して画像
移動量情報（ｄｉｒ）５ｇに記憶した移動ベクトルと、
変換倍率情報（ｄｉｒ）とを乗算することで、画像上の
移動量を装置本体に対応した移動方向および移動量に変
換する（ステップＳ３２）。

【００５３】次に、この変換された装置本体に対応した
移動方向および移動量に基づいて、仮想空間枠交点情報
（ｄｉｒ）５ｉに記憶されている、画像入力部（ｄｉ
ｒ）の向けられている方向と３次元仮想空間枠ＶＡとの
仮想空間枠交点位置（ＵＰ、ＤＰ、ＲＰ、ＬＰ）を移動
する（ステップＳ３３）。

【００５４】そして、まだ処理を行っていない他の画像
入力部（ｄｉｒ）があるかどうかを判断し（ステップＳ
３４）、まだ処理を行っていない画像入力部（ｄｉｒ）
が存在している場合には、新たな画像入力部（ｄｉｒ）
に対して、上記ステップＳ３１〜Ｓ３４を繰り返す。一
方、全ての画像入力部（ｄｉｒ）に対する処理が終わっ
た場合には、ステップＳ３５へ進む。

【００５５】全ての画像入力部（ｄｉｒ）の向けられて
いる方向に対する３次元仮想空間枠ＶＡとの交点位置
（ＵＰ、ＤＰ、ＲＰ、ＬＰ）に基づいて、この３次元仮
想空間枠ＶＡ内における装置本体の位置および傾きを算
出し、Ｘ軸、Ｙ軸、Ｚ軸のそれぞれの座標軸に対する位
置座標情報を、装置本体Ｘ軸方向移動量情報５ｊ、装置
本体Ｙ軸方向移動量情報５ｌ、装置本体Ｚ軸方向移動量
情報５ｎ、に各々記憶する。また、Ｘ軸、Ｙ軸、Ｚ軸の
それぞれの座標軸に対する回転角度情報を、装置本体Ｘ
軸回転量情報５ｋ、装置本体Ｙ軸回転量情報５ｍ、装置
本体Ｚ軸回転量情報５ｏ、に各々記憶する（ステップＳ
３５）。

【００５６】ここで、先の装置本体移動検出処理フロー
の説明に戻り、ステップＳ１７において、３次元空間上
での装置本体の移動および回転に対応して算出されたこ
れらの数値情報を、赤外線通信部７ａまたはケーブル等
を通して外部出力し、他の情報処理装置に送信する必要
があるかどうかを判断し（ステップＳ１７）、外部出力
する必要があると判断された場合には、赤外線通信部７
ａまたはケーブル等に対して、装置本体Ｘ軸方向移動量
情報５ｊ、装置本体Ｙ軸方向移動量情報５ｌ、装置本体
Ｚ軸方向移動量情報５ｎ、装置本体Ｘ軸回転量情報５
ｋ、装置本体Ｙ軸回転量情報５ｍ、装置本体Ｚ軸回転量
情報５ｏ、に記憶されている数値情報を出力する（ステ
ップＳ１８）。

【００５７】一方、ステップＳ１７において、外部出力
する必要が無いと判断された場合には、それらの数値情
報を、装置内部で実行されている他のアプリケーション
プログラムに対して出力する（ステップＳ１９）。そし
て、以上のステップＳ１１〜Ｓ１８（Ｓ１９）までの処
理を繰り返す。

【００５８】これによって、例えば、図６（ｂ）に示す
ような３次元空間上のキャラクタを操作するゲームのよ
うなアプリケーションに対してこの数値情報が与えられ
た場合には、利用者が装置本体を３次元空間上で動かす
ことで、画面に表示されているゲーム内のキャラクタの
移動や回転等の３次元の動きを、その装置本体の動きに
対応して自由自在にコントロールすることが可能とな
る。

【００５９】以上説明したように、本実施の形態におけ
る入力処理装置１の装置本体移動検出処理に関する動作
によれば、ＣＰＵ２は、前記装置本体に設けられた画像
入力部より連続的に取り込んだ連続画像データに基づい
て装置本体の位置または傾きの変化を検出し、対応する
数値情報を出力することができる。したがって、利用者
が装置本体を自由に動かすことで、その利用者の所望す
る移動や回転等の情報操作を自由に、しかも容易に行う
ことが可能となる。

【００６０】また、当該入力処理装置１は、リアルタイ
ムに検出される装置本体の位置または傾きの変化に応じ
た数値情報を、リアルタイムに出力することができる。
したがって、例えばゲームのような、リアルタイムにキ
ャラクタ等の動きを操作するようなアプリケーションを
快適に利用することが可能となる。

【００６１】また、当該入力処理装置１は、３次元空間
上における装置本体の位置または傾きの変化を検出し、
その数値情報を出力し、３次元空間上における情報操作
を行うことができる。したがって、利用者が特に操作方
法を学習しなくとも、自然な感覚で容易に３次元操作を
行うことが可能となる。

【００６２】また、当該入力処理装置１は、３次元空間
上における移動および回転に対応する数値情報を出力
し、その数値情報に基づいて、３次元空間上に設定され
たオブジェクトの移動および回転操作を行うことができ
る。したがって、従来のジョイスティック等ではできな
かった、３次元空間上における移動と回転の同時制御が
可能となる。

【００６３】また、当該入力処理装置１は、装置本体の
位置または傾きの変化に応じた数値情報を外部送信手段
により他の情報処理装置に送信し、他の情報処理装置に
対する３次元空間上における情報操作を行わせることが
できる。したがって、従来の２次元操作を行うマウス装
置を、その操作の容易さを保ったまま３次元に拡張した
ような操作感を得ることが可能となる。

【００６４】また、当該入力処理装置１は、連続的に取
り込んだ連続画像データの一定範囲内における光量また
は色合いの変化量を、その周辺領域における光量または
色合いと比較することにより、その連続画像の移動およ
びそれに対応した装置本体の位置または傾きの変化を検
出することができる。したがって、外部からの連続画像
データを取り込む手段さえ備えていれば、容易に装置装
置本体の位置または傾きの変化を検出することが可能と
なる。

【００６５】また、当該入力処理装置１は、近接した複
数の異なる方向からの外部光を入力し、その近接した複
数の異なる方向の内の１つの方向に着目した時、その着
目した方向に対する光量または色合いの変化量が、その
方向に対する変化前の光量または色合いと、他の方向に
対する変化前の光量または色合いとの間のどのあたりに
位置するかによって、その２つの方向で形成される方向
ベクトル成分に対する画像の移動があった可能性の度合
いを算出し、前記画像入力部の向けられている方向から
入力された連続画像の移動量および移動方向を推測する
ことができる。したがって、画像移動を検出するための
装置を安価に作ることができ、また、画像の移動検出処
理を容易に行うことが可能となる。

【００６６】また、当該入力処理装置１は、その近接し
た複数の異なる方向の各方向に着目して推測された画像
の移動量および移動方向を平均化することにより、入力
された連続画像の移動量および移動方向を検出すること
ができる。したがって、より制度の高い画像移動検出処
理を容易に行うことが可能となる。

【００６７】また、当該入力処理装置１は、２次元のカ
ラーデジタル画像データを撮影可能な汎用のデジタル画
像撮影装置を用いて装置本体の移動検出を行うことがで
きる。したがって、特に初めから移動検出用のハードウ
エアが装備されていなくとも、移動検出処理のソフトウ
エアを入れるだけで、簡単に移動検出装置として機能さ
せることが可能となる。

【００６８】また、当該入力処理装置１は、ほぼ等しい
大きさの領域から受ける光量を測定可能な受光素子を、
低密度に並べた移動検出専用の受光装置を用いて装置本
体の移動検出を行うことができる。したがって、非常に
コンパクトで安価な移動検出のためのハードウエアを実
現することが可能となる。

【００６９】また、当該入力処理装置１は、装置本体に
設けられた各々近接しない方向における複数の外部画像
データを取り込み、それらの各方向における連続画像の
移動量および移動方向の検出結果に応じて、３次元空間
上における装置本体の位置または傾きの変化を検出する
ことができる。したがって、３次元空間上における装置
本体の位置および傾きの状態を検出することが可能とな
る。

【００７０】また、当該入力処理装置１は、画像入力部
と、その画像入力部の向けられた方向に存在する外部の
物体との距離に応じて、連続画像の移動量を装置本体の
移動量に変換する際の補正を行うことができる。したが
って、使用する場所を選ばず、どこでも操作を行うこと
がが可能となる。

【００７１】なお、本実施の形態の詳細な部分について
は、上記実施の形態の内容に限定されるものではなく、
本発明の趣旨を逸脱しない範囲で適宜変更可能である。
例えば、本実施例では、画像入力部を装置本体の上面、
下面、右側面、左側面の４カ所に設け、その内の１つを
汎用のデジタルカメラ入力部としたが、この画像入力部
の数、位置、および方式は、装置のデザイン、外形サイ
ズ、およびコスト、性能等を考慮して自由に設定しても
よく、数を増やせばより正確で自由な移動検出を行うこ
とが可能となり、２次元操作であれば１つの画像入力部
で実現可能であり、簡単な３次元操作であれば２つの画
像入力部で実現可能であり、３つ以上の画像入力部を持
たせることで、自由な３次元操作が可能となる。

【００７２】

【発明の効果】請求項１から１２のいずれかに記載の発
明によれば、前記装置本体に設けられた画像入力部より
連続的に取り込んだ連続画像データに基づいて装置本体
の位置または傾きの変化を検出し、対応する数値情報を
出力するようにしたので、利用者が装置本体を３次元空
間上で自由に動かすことで、その利用者の所望する３次
元空間上における移動や回転等の情報操作を自由に、し
かも容易に行うことが可能となる。

【図面の簡単な説明】

【図１】図１は、本発明の実施の形態における入力処理
装置１の機器構成の概略を示している図であり、図１
（ａ）は、入力処理装置１を上面から見た図であり、図
１（ｂ）は、入力処理装置１を下面から見た図である。

【図２】図２は、本発明の実施の形態における入力処理
装置１の内部構成を示すブロック図である。

【図３】図３は、入力処理装置１のＲＡＭ５のメモリ構
成の一例を示す図であり、図３（ａ）は、装置本体の前
面、後面、右側面、左側面に設けられた複数の画像入力
部から取り込まれた画像データに関する情報を格納する
エリアを示しており、図３（ｂ）は、算出された装置本
体の移動に関する情報を格納するエリアを示している。

【図４】図４（ａ）は、領域分割された画像情報に基づ
く画像の移動検出処理を説明する図であり、図４（ｂ）
は、領域の移動状態例を示す図である。

【図５】図５は、２次元格子状では無い、任意の近接し
た複数領域から受ける光情報に基づく一般的な画像の移
動検出処理を説明する図である。

【図６】図６（ａ）は、実際に装置を操作する場所の周
囲に存在する物体の状態に応じて設定された３次元の仮
想空間枠内での装置本体の状態を示す図であり、図６
（ｂ）は、装置本体の操作に基づく数値情報を外部に送
信し、他の情報処理装置において実行中のアプリケーシ
ョンに表示されているキャラクタの動きを操作している
状態を示す図である。

【図７】図７は、入力処理装置１の装置本体移動検出処
理に関する全体の動作を説明するフローチャートであ
る。

【図８】図８は、入力処理装置１の画像入力部から連続
的に取り込まれた画像の移動量を算出する動作を説明す
るフローチャートである。

【図９】図９は、算出された画像の移動量に基づいて装
置本体の移動量を算出する動作を説明するフローチャー
トである。

【符号の説明】

１ 入力処理装置 １ａ 装置本体ケース ２ ＣＰＵ ３ 入力部 ３ａ タッチパネル入力操作部 ４ 表示部 ５ ＲＡＭ ５ａ 前回画像バッファ（前面、後面、右側
面…） ５ｂ 前回領域色情報（前面、後面、右側面
…） ５ｃ 前回領域移動情報（前面、後面、右側
面…） ５ｄ 今回画像バッファ（前面、後面、右側
面…） ５ｅ 今回領域色情報（前面、後面、右側面
…） ５ｆ 今回領域移動情報（前面、後面、右側
面…） ５ｇ 画像移動量情報（前面、後面、右側面
…） ５ｈ 変換倍率情報（前面、後面、右側面
…） ５ｉ 仮想空間枠交点情報（前面、後面、右
側面…） ５ｊ 装置本体Ｘ軸方向移動量情報 ５ｋ 装置本体Ｘ軸回転量情報 ５ｌ 装置本体Ｙ軸方向移動量情報 ５ｍ 装置本体Ｙ軸回転量情報 ５ｎ 装置本体Ｚ軸方向移動量情報 ５ｏ 装置本体Ｚ軸回転量情報 ６ 画像入力部 ６ａ 汎用画像撮影用レンズ（上面） ６ｂ 移動検出専用受光部（下面） ６ｃ 移動検出専用受光部（左側面） ６ｄ 移動検出専用受光部（右側面） ７ 通信装置 ７ａ 赤外線通信部 ８ 記憶装置 ９ 記憶媒体 １０ バス Ｃ１〜３２ 分割領域列位置 Ｒ１〜２４ 分割領域行位置 Ｖ０ 領域移動ベクトル ＶＣ０ 領域移動ベクトル Ｖ１〜８ 隣接領域位置ベクトル ＶＣ１〜３ 隣接領域位置ベクトル Ａ０ 移動元領域 ＡＲ０ 移動元領域 Ａ０' 移動先領域 ＡＲ０' 移動先領域 ＡＲ１〜３ 隣接領域 ＵＰ 仮想空間枠交点位置 ＤＰ 仮想空間枠交点位置 ＬＰ 仮想空間枠交点位置 ＲＰ 仮想空間枠交点位置 ＶＡ 仮想空間枠

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/20 １００ Ｇ０６Ｔ 7/20 １００ ５Ｃ０５６ ２００ ２００Ａ ５Ｋ０４８ 17/40 17/40 Ｄ ５Ｌ０９６ Ｈ０４Ｎ 5/00 Ｈ０４Ｎ 5/00 Ａ 5/225 5/225 Ｚ Ｈ０４Ｑ 9/00 ３３１ Ｈ０４Ｑ 9/00 ３３１Ａ Ｆターム(参考） 5B050 AA08 BA08 BA09 BA12 CA07 CA08 DA02 DA04 EA07 EA24 EA28 FA02 5B057 AA20 BA02 CA01 CA08 CA12 CA16 CH16 DA07 DA16 DB02 DB09 DC08 DC22 DC25 DC32 DC36 5B068 AA05 BB18 BC02 BD09 BE15 EE01 EE06 5B069 BB16 CA04 DD06 5C022 AB65 AB68 AC01 AC12 AC42 AC51 AC54 AC69 AC75 AC77 AC78 5C056 AA05 BA01 CA01 CA08 CA19 DA11 EA02 EA05 5K048 BA01 BA09 DB04 HA04 HA11 HA23 5L096 AA02 AA06 BA20 CA05 CA14 DA02 FA14 FA15 FA32 GA19 GA41 HA04

Claims (13)

【特許請求の範囲】
1. 【請求項１】 装置本体に画像入力部が設けられた入
   力処理装置であって、 前記装置本体に設けられた画像入力部よりその画像入力
   部の向けられている方向からの外部画像データを取り込
   む外部画像取り込み手段と、 前記外部画像取り込み手段により連続的に取り込んだ連
   続画像データに基づいて装置本体の位置または傾きの変
   化を検出する検出手段と、 前記検出手段により検出された装置本体の位置または傾
   きの変化に応じた数値情報を出力する出力手段と、 を備えたことを特徴とする入力処理装置。
2. 【請求項２】前記出力手段は、前記検出手段によりリア
   ルタイムに検出される装置本体の位置または傾きの変化
   に応じた数値情報を、リアルタイムに出力するようにし
   たことを特徴とする請求項１記載の入力処理装置。
3. 【請求項３】 前記検出手段は、３次元空間上における
   装置本体の位置または傾きの変化を検出し、 前記出力手段は、前記検出手段により検出された３次元
   空間上における装置本体の位置または傾きの変化に応じ
   た数値情報を出力し、 その出力された数値情報に基づいて、３次元空間上にお
   ける情報操作を行うようにしたことを特徴とする請求項
   １または２記載の入力処理装置。
4. 【請求項４】 前記出力手段は、３次元空間上における
   移動および回転に対応する数値情報を出力し、 その出力された移動および回転に対応する数値情報に基
   づいて、３次元空間上に設定されたオブジェクトの移動
   および回転操作を行うようにしたことを特徴とする請求
   項３記載の入力処理装置。
5. 【請求項５】 他の情報処理装置に対して情報を送信す
   る送信手段を更に具備し、 前記出力手段により出力された数値情報を、その送信手
   段により他の情報処理装置に送信し、他の情報処理装置
   に対する３次元空間上における情報操作を行わせるよう
   にしたことを特徴とする請求項１または２記載の入力処
   理装置。
6. 【請求項６】 前記検出手段は、前記外部画像取り込み
   手段により連続的に取り込んだ連続画像データの一定範
   囲内における光量または色合いの変化量を、その周辺領
   域における光量または色合いと比較することにより、そ
   の連続画像の移動およびそれに対応した装置本体の位置
   または傾きの変化を検出するようにしたことを特徴とす
   る請求項１または５記載の入力処理装置。
7. 【請求項７】 前記画像取り込み手段は、前記画像入力
   部の向けられている方向に近接した複数の異なる方向か
   らの外部光を入力し、それらの各方向からの一定範囲内
   の光量または色合いを測定して記憶するようにし、 前記検出手段は、その近接した複数の異なる方向の内の
   １つの方向に着目した時、その着目した方向に対する光
   量または色合いの変化量が、その方向に対する変化前の
   光量または色合いと、他の方向に対する変化前の光量ま
   たは色合いとの間のどのあたりに位置するかによって、
   その２つの方向で形成される方向ベクトル成分に対する
   画像の移動があった可能性の度合いを算出し、前記画像
   入力部の向けられている方向から入力された連続画像の
   移動量および移動方向を推測するようにしたことを特徴
   とする請求項６記載の入力処理装置。
8. 【請求項８】 前記検出手段は、前記近接した複数の異
   なる方向の各方向に着目して推測された画像の移動量お
   よび移動方向を平均化することにより、前記画像入力部
   の向けられている方向から入力された連続画像の移動量
   および移動方向を検出するようにしたことを特徴とする
   請求項７記載の入力処理装置。
9. 【請求項９】 前記画像入力部は、２次元格子状に高密
   度で画素が並べられたＣＣＤ（Charge Coupled Devic
   e）等の光電変換素子によって、２次元のカラーデジタ
   ル画像データを撮影可能な汎用のデジタル画像撮影装置
   であることを特徴とする請求項１から８記載の入力処理
   装置。
10. 【請求項１０】 前記画像入力部は、ほぼ等しい大きさ
    の領域から受ける光量を測定可能な受光素子を、低密度
    に並べた移動検出専用の受光装置であることを特徴とす
    る請求項１から８記載の入力処理装置。
11. 【請求項１１】 前記画像取り込み手段は、装置本体に
    設けられた複数の前記画像入力部に対応した各々近接し
    ない方向における複数の外部画像データを取り込み、 前記検出手段は、それらの複数の近接しない方向におけ
    る連続画像の移動量および移動方向の検出結果に応じ
    て、３次元空間上における装置本体の位置または傾きの
    変化を検出するようにしたことを特徴とする請求項６か
    ら１０記載の入力処理装置。
12. 【請求項１２】 画像入力部と、その画像入力部の向け
    られた方向に存在する外部の物体との距離に応じて、連
    続画像の移動量を装置本体の移動量に変換する際の補正
    を行い、その補正値に基づいて３次元空間上における装
    置本体の位置または傾きの変化を検出するようにしたこ
    とを特徴とする請求項１１記載の入力処理装置。
13. 【請求項１３】 コンピュータが読み取り可能なプログ
    ラムコードを有する記録媒体であって、 装置本体に設けられた画像入力部よりその画像入力部の
    向けられている方向からの外部画像データを連続的に取
    り込ませるコンピュータが読み取り可能なプログラムコ
    ードと、 その連続的に取り込んだ連続画像データに基づいて装置
    本体の位置または傾きの変化を検出させるコンピュータ
    が読み取り可能なプログラムコードと、 その検出された装置本体の位置または傾きの変化に応じ
    た数値情報を出力させるコンピュータが読み取り可能な
    プログラムコードと、 を含むプログラムを格納したことを特徴とする記憶媒
    体。