JP2000214992A - 方向指示装置および方向推定方法、並びにその方法にかかるプログラムを記録したコンピュ―タ読み取り可能な記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 特別に操作スペースを確保する必要がなく、
さらに、摩擦の少ない場所や垂直な面（壁等）等の場所
においても、画面上のポインタを安定的に動作させるこ
とができるとともに、安価なＣＰＵおよび小容量のメモ
リを使用することにより、低コストでの実装を実現可能
な方向指示装置を得ること。 【解決手段】 画像処理機能を有する画像センサにより
撮影される二次元画像のデータを入力する画像入力部１
と、画像入力部１に入力されるデータに基づいて、その
二次元画像全体に関する複数方向の射影を算出する射影
算出部２と、射影算出部２にて算出された射影に基づい
て、個々の一次元動きベクトルを算出する動き算出部３
と、動き算出部３にて算出された一次元動きベクトルに
基づいて、撮影された二次元画像全体の二次元動きベク
トルを推定する方向推定部４と、を備える構成とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像センサにより
撮影される二次元画像から、その二次元画像全体に関す
る複数方向の射影を計算し、その計算結果から動作方向
の推定処理を行う方向指示装置および方向推定方法、並
びにその方法にかかるプログラムを記録したコンピュー
タ読み取り可能な記録媒体に関するものである。

【０００２】

【従来の技術】以下、従来の方向指示装置について説明
する。たとえば、パソコン等の情報機器においては、ポ
インティングデバイスとして用いられているマウス等の
動作に応じて、画面上に表示されたポインタを移動させ
る。すなわち、ポインタ等の差し示す画面上の座標（位
置）、および、付属されるボールの転がり（回転）から
計算される、たとえば、ポインタの移動方向および移動
速度、に応じて、画面上に表示されたポインタを移動さ
せている。

【０００３】しかしながら、このようなポインティング
デバイスは、机上での使用に限定されており、すなわ
ち、操作スペースを確保する必要があり、たとえば、移
動中の車中等のようなスペースのない場所で操作を行う
ことはできない。また、特定の操作スペースを確保した
場合でも、その場所が、たとえば、摩擦の少ない場所や
垂直な面（壁等）等の場所では、前記マウス内のボール
が正常に回転できず、画面上のポインタを安定的に動作
させることができない。

【０００４】そこで、上記スペースのない場所におい
て、画面上の指示位置（ポインタ）を移動させるため
に、ポインティングデバイス内に、たとえば、画像セン
サを備えて、その画像センサにて撮影される画像の動き
から、画像センサ自体の移動方向を算出し、その結果か
ら画面上のポインタを特定位置に移動させる方法が考え
られる。このような方法によれば、特別に操作スペース
を確保する必要がなく、さらに、摩擦の少ない場所や垂
直な面（壁等）等の場所においても、机上で操作した場
合と同様に、画面上のポインタを安定的に動作させるこ
とができる。

【０００５】このようなポインティングデバイスを実現
するためには、画像センサにて撮影された画像の動きを
推定し、その結果に基づいてマウス位置や画面上のポイ
ンタの位置（座標データ）を更新することにより、ポイ
ンタを移動させる必要がある。このような処理を可能と
する技術文献としては、たとえば、特開平９―１３４２
５０号公報におけるビデオディスプレイのカーソル位置
制御、がある。この文献による方法は、３２×３２画素
の画像に含まれる動きベクトルを相関演算によって計算
する方法である。

【０００６】一般に、どのような解像度でも一画素内に
収まる動きは検出できないので、この解像度でカバーで
きない比較的ゆっくりとした動きに対応するためには、
画像自体の解像度を上げる必要がある。従って、上記技
術文献における位置制御において、前記ゆっくりとした
動きに対応していくためには、たとえば、動きベクトル
の相関演算に必要な計算量、および画像バッファとして
のメモリ容量を、Ｎ×Ｎ画素で示される解像度に応じて
増加していく必要がある。

【０００７】このように、従来の技術では、画像センサ
にて撮影された画像に基づいて、Ｎ×Ｎ画素の画像に含
まれる動きベクトルを相関演算によって計算することに
より、画面上のカーソル等を制御することができる。

【０００８】

【発明が解決しようとする課題】しかしながら、上記、
従来技術では、画像センサの解像度の向上に応じて、動
きベクトルの相関演算に必要な計算量が増大するため、
高速処理を行うためには、より高価なＣＰＵが必要とな
る。さらに、画像センサの解像度の向上に応じて、画像
データおよび演算結果の格納手段であるメモリの容量が
増大することになり、より大容量のメモリが必要とな
る。このようなことから、上記従来技術では、ポインテ
ィングデバイスの低コストでの実装が困難となる、とい
う問題点があった。

【０００９】本発明は、上記に鑑みてなされたものであ
って、特別に操作スペースを確保する必要がなく、さら
に、摩擦の少ない場所や垂直な面（壁等）等の場所にお
いても、画面上のポインタを安定的に動作させることが
できるとともに、安価なＣＰＵおよび小容量のメモリを
使用することにより、低コストでの実装を実現可能な方
向指示装置および方向推定方法、並びにその方法にかか
るプログラムを記録したコンピュータ読み取り可能な記
録媒体を得ることを目的とする。

【００１０】

【課題を解決するための手段】上述した課題を解決し、
目的を達成するために、本発明にかかる方向指示装置に
あっては、画像センサにより撮影される二次元画像のデ
ータを入力する画像入力手段（後述する実施の形態の画
像入力部１に相当）と、前記画像入力手段に入力される
データに基づいて、その二次元画像全体に関する複数方
向の射影を算出する射影算出手段（射影算出部２に相
当）と、前記射影算出手段にて算出された射影に基づい
て、個々の一次元動きベクトルを算出する動き算出手段
（動き算出部３に相当）と、前記動き算出手段にて算出
された一次元動きベクトルに基づいて、撮影された二次
元画像全体の二次元動きベクトルを推定する方向推定手
段（方向推定部４に相当）と、を備えるものである。

【００１１】この発明によれば、画像センサにより撮影
される二次元画像のデータから、その二次元画像全体に
関する複数方向の射影を算出し、その算出された射影に
基づいて、個々の一次元動きベクトルを算出する。そし
て、これら複数の一次元動きベクトルに基づいて、撮影
された二次元画像全体の二次元動きベクトルを推定して
いる。このように、本発明の方向指示装置では、従来の
ように、二次元画像の画素データから直接二次元動きベ
クトルを計算するのではなく、まず、二次元画像の射影
を求めてから、その後、二次元動きベクトルを推定して
いる。具体的にいうと、たとえば、３２×３２（＝１０
２４）画素のデータから直接二次元動きベクトルを計算
するのではなく、まず、３２行＋３２列（＝６４）の射
影を求めてから、その後、二次元動きベクトルを推定し
ている。

【００１２】これにより、本発明の方向指示装置は、デ
ータ数を大幅に削減でき、それに伴って、ＣＰＵによる
計算量およびデータを格納するためのメモリ容量を大幅
に削減できるため、すなわち、安価なＣＰＵおよびメモ
リを実装できるため、低コストのシステムで、たとえ
ば、ポインティングデバイス等の機能を実現することが
できる。さらに、ＣＰＵによる計算量およびデータを格
納するためのメモリ容量を大幅に削減できることから、
高速化も実現できる。さらに、本発明の方向指示装置を
マウスとして使用した場合、このマウスは、画像処理に
よる動き認識であるため、従来のトラックボールによる
機械式マウスのように、特別に操作スペース（平らな場
所等）を確保する必要がなく、さらに、摩擦の少ない場
所や垂直な面（壁等）等の場所においても、画面上のポ
インタを安定的に動作させることができる。

【００１３】つぎの発明にかかる方向指示装置にあって
は、さらに、前記方向推定手段にて推定された二次元動
きベクトルに基づいて、座標で示される位置情報を更新
する座標更新手段（後述する実施の形態の座標更新部５
に相当）と、前記座標で示される位置情報に基づいて、
その位置を画面に表示する座標表示手段（座標表示部６
に相当）と、を備えるものである。

【００１４】この発明によれば、たとえば、画面上のあ
る位置にポインタが表示されている場合、前記方向推定
手段にて推定された二次元動きベクトルに基づいて、座
標で示される位置情報（現在表示中のポインタの位置情
報）を更新し、その更新された座標で示される位置情報
およびベクトルの大きさ（速度）に基づいて、画面上の
ポインタの位置を更新された座標に移動する。これによ
り、本発明の方向指示装置は、特別に操作スペース（平
らな場所等）を確保する必要のないマウスを実現するこ
とができるとともに、さらに、撮影される二次元画像を
用いて、スクリーン上に表示されるポインタ等を移動で
きる特性を利用して、会議や講演などでスクリーン上を
指し示すポインティングデバイス（従来のペンライトや
スティックに相当するもの）や、ゲーム操作用のポイン
ティングデバイス（シューティングゲームやキャラクタ
を移動させるゲームの操作）、を実現することができ
る。

【００１５】つぎの発明にかかる方向指示装置にあって
は、画像処理機能を有する画像センサにより撮影される
二次元画像のデータに基づいて、その二次元画像全体に
関する複数方向の射影を出力する射影出力手段（後述す
る実施の形態の射影出力部２１に相当）と、前記射影出
力手段にて出力された射影に基づいて、個々の一次元動
きベクトルを算出する動き算出手段（動き算出部３に相
当）と、前記動き算出手段にて算出された一次元動きベ
クトルに基づいて、撮影された二次元画像全体の二次元
動きベクトルを推定する方向推定手段（方向推定部４に
相当）と、を備えるものである。

【００１６】この発明によれば、画像センサにより撮影
される二次元画像のデータから、その二次元画像全体に
関する複数方向の射影を自動的に出力し、その射影に基
づいて、個々の一次元動きベクトルを算出する。そし
て、これら複数の一次元動きベクトルに基づいて、撮影
された二次元画像全体の二次元動きベクトルを推定して
いる。このように、本発明の方向指示装置では、従来の
ように、二次元画像の画素データから直接二次元動きベ
クトルを計算するのではなく、まず、二次元画像の射影
を求めてから、その後、二次元動きベクトルを推定して
いる。具体的にいうと、たとえば、３２×３２（＝１０
２４）画素のデータから直接二次元動きベクトルを計算
するのではなく、まず、３２行＋３２列（＝６４）の射
影を求めてから、その後、二次元動きベクトルを推定し
ている。

【００１７】これにより、本発明の方向指示装置は、デ
ータ数を大幅に削減でき、それに伴って、ＣＰＵによる
計算量およびデータを格納するためのメモリ容量を大幅
に削減できできるため、すなわち、安価なＣＰＵおよび
メモリを実装できるため、より低コストのシステムで、
たとえば、ポインティングデバイス等の機能を実現する
ことができる。さらに、ＣＰＵによる計算量およびデー
タを格納するためのメモリ容量を大幅に削減できること
から、さらなる高速化も実現できる。さらに、本発明の
方向指示装置をマウスとして使用した場合、このマウス
は、画像処理による動き認識であるため、従来のトラッ
クボールによる機械式マウスのように、特別に操作スペ
ース（平らな場所等）を確保する必要がなく、さらに、
摩擦の少ない場所や垂直な面（壁等）等の場所において
も、画面上のポインタを安定的に動作させることができ
る。

【００１８】つぎの発明にかかる方向指示装置におい
て、前記射影出力手段は、さらに、現時刻の射影出力と
前時刻の射影出力との差分を算出し、前記動き算出手段
では、該差分に基づいて、個々の一次元動きベクトルを
算出するものである。

【００１９】この発明によれば、動き算出手段にて行う
現時刻の射影出力と前時刻の射影出力との差の計算を行
う必要がなくなる。これにより、本発明の方向指示装置
は、ＣＰＵによる計算量をさらに大幅に削減することが
でき、伴って、より高速な動作を実現できる。

【００２０】つぎの発明にかかる方向指示装置におい
て、前記射影出力手段は、前記二次元画像に関する複数
方向の射影、および前記現時刻の射影出力と前時刻の射
影出力の差分、の少なくともいずれか一方の出力を実現
可能とする半導体集積回路、であることを特徴とするも
のである。

【００２１】この発明によれば、半導体集積回路として
動作する、たとえば、人工網膜ＬＳＩが、画像センサに
より撮影される二次元画像のデータから、その二次元画
像全体に関する複数方向の射影、および現時刻の射影出
力と前時刻の射影出力の差分、の少なくともいずれか一
方を自動的に出力する。これにより、本発明の方向指示
装置は、ＣＰＵによる計算量をさらに大幅に削減するこ
とができ、全体のソフトウェア量も大幅に削減すること
ができる。

【００２２】つぎの発明にかかる方向指示装置にあって
は、さらに、前記方向推定手段にて推定された二次元動
きベクトルに基づいて、座標で示される位置情報を更新
する座標更新手段（後述する実施の形態の座標更新部５
に相当）と、前記座標で示される位置情報に基づいて、
その位置を画面に表示する座標表示手段（座標表示部６
に相当）と、を備えるものである。

【００２３】この発明によれば、たとえば、画面上のあ
る位置にポインタが表示されている場合、前記方向推定
手段にて推定された二次元動きベクトルに基づいて、座
標で示される位置情報（現在表示中のポインタの位置情
報）を更新し、その更新された座標で示される位置情報
およびベクトルの大きさ（速度）に基づいて、画面上の
ポインタの位置を更新された座標に移動する。これによ
り、本発明の方向指示装置は、特別に操作スペース（平
らな場所等）を確保する必要のないマウスを実現するこ
とができるとともに、さらに、撮影される二次元画像を
用いて、スクリーン上に表示されるポインタ等を移動で
きる特性を利用して、会議や講演などでスクリーン上を
指し示すポインティングデバイス（従来のペンライトや
スティックに相当するもの）や、ゲーム操作用のポイン
ティングデバイス（シューティングゲームやキャラクタ
を移動させるゲームの操作）、を実現することができる

【００２４】つぎの発明にかかる方向指示装置の方向推
定方法にあっては、画像センサにより撮影される二次元
画像から、その二次元画像全体に関する複数方向の射影
を計算することにより、動作方向を推定可能であり、特
に、得られる二次元画像に関する複数方向の射影に基づ
いて、現時刻の射影出力と前時刻の射影出力との差分を
計算し、その差分から個々の一次元動きベクトルを算出
する動き算出ステップ（後述する実施の形態のステップ
Ｓ１〜ステップＳ５に相当）と、前記動き算出ステップ
にて算出された個々の一次元動きベクトルを合成するこ
とにより、撮影された二次元画像全体の二次元動きベク
トルを推定する方向推定ステップ（ステップＳ２１〜ス
テップＳ２３に相当）と、を含むことを特徴とする。

【００２５】この発明によれば、まず、二次元画像に関
する複数方向の現時刻の射影を格納し、つぎに、この現
時刻の射影出力と、先に格納されている前時刻の射影出
力との差分を計算し、つぎに、その差分から個々の一次
元動きベクトルを算出し、つぎに、一次元動きベクトル
を平滑化して出力する。そして、最後に、平滑化された
複数の一次元動きベクトルを合成することにより、撮影
された二次元画像全体の二次元動きベクトルを推定す
る。

【００２６】この方法により、本発明の方向指示装置
は、データ数を大幅に削減でき、それに伴って、ＣＰＵ
による計算量およびデータを格納するためのメモリ容量
を大幅に削減できるため、すなわち、安価なＣＰＵおよ
びメモリを実装できるため、低コストのシステムで、た
とえば、ポインティングデバイス等の機能を実現するこ
とができる。さらに、ＣＰＵによる計算量およびデータ
を格納するためのメモリ容量を大幅に削減できることか
ら、高速化も実現できる。さらに、この方法を用いて、
本発明の方向指示装置をマウスとして使用した場合、こ
のマウスは、画像処理による動き認識であるため、従来
のトラックボールによる機械式マウスのように、特別に
操作スペース（平らな場所等）を確保する必要がなく、
さらに、摩擦の少ない場所や垂直な面（壁等）等の場所
においても、画面上のポインタを安定的に動作させるこ
とができる。

【００２７】つぎの発明にかかる方向指示装置の方向推
定方法において、前記動き算出ステップでは、ある位置
の現時刻の射影出力と前時刻の射影出力とが変化してい
ない場合か、または、変化している場合でも、現時刻あ
るいは前時刻を参照時刻として選択し、参照時刻におけ
る二つの隣接射影出力とが同じ射影出力である場合は、
方向を推定せず、ある位置の現時刻の射影出力と前時刻
の射影出力との差分が正の場合は、前時刻における二つ
の隣接射影出力のうち、射影出力の小さい方に、方向を
推定し、ある位置の現時刻の射影出力と前時刻の射影出
力との差分が負の場合は、前時刻における二つの隣接射
影出力のうち、射影出力の大きい方に、方向を推定し、
すべての位置について、方向を推定後、一次元動きベク
トルを算出することを特徴とする（後述する実施の形態
のステップＳ１１〜ステップＳ１９に相当）。

【００２８】この発明によれば、一次元動きベクトルの
算出アルゴリズムが明確化される。これにより、正確な
一次元動きベクトルを容易に算出可能となる。

【００２９】つぎの発明にかかるプログラムを記録した
記録媒体にあっては、画像センサにより撮影される二次
元画像から、その二次元画像全体に関する複数方向の射
影を計算し、その計算結果から動作方向の推定処理を行
わせることを可能とし、特に、得られる二次元画像に関
する複数方向の射影に基づいて、現時刻の射影出力と前
時刻の射影出力との差分を計算させ、その差分から個々
の一次元動きベクトルを算出させる動き算出ステップ
（後述する実施の形態のステップＳ１〜ステップＳ５に
相当）と、前記動き算出ステップにて算出された個々の
一次元動きベクトルを合成することにより、撮影された
二次元画像全体の二次元動きベクトルを推定させる方向
推定ステップ（ステップＳ２１〜ステップＳ２３に相
当）と、を含むことを特徴とする。

【００３０】この発明によれば、このプログラムは、ま
ず、二次元画像に関する複数方向の現時刻の射影を格納
させ、つぎに、この現時刻の射影出力と、先に格納され
ている前時刻の射影出力との差分を計算させ、つぎに、
その差分から個々の一次元動きベクトルを算出させ、つ
ぎに、一次元動きベクトルを平滑化して出力させる。そ
して、最後に、平滑化された複数の一次元動きベクトル
を合成させることにより、撮影された二次元画像全体の
二次元動きベクトルを推定させる。

【００３１】このプログラムが実行されることにより、
本発明の方向指示装置は、データ数を大幅に削減でき、
それに伴って、ＣＰＵによる計算量およびデータを格納
するためのメモリ容量を大幅に削減できるため、すなわ
ち、安価なＣＰＵおよびメモリを実装できるため、低コ
ストのシステムで、たとえば、ポインティングデバイス
等の機能を実現することができる。さらに、ＣＰＵによ
る計算量およびデータを格納するためのメモリ容量を大
幅に削減できることから、高速化も実現できる。さら
に、このプログラムをダウンロードして、本発明の方向
指示装置をマウスとして使用した場合、このマウスは、
画像処理による動き認識であるため、従来のトラックボ
ールによる機械式マウスのように、特別に操作スペース
（平らな場所等）を確保する必要がなく、さらに、摩擦
の少ない場所や垂直な面（壁等）等の場所においても、
画面上のポインタを安定的に動作させることができる。
さらに、コンピュータからのダウンロードが可能なた
め、プログラムの変更および追加等の作業を容易に行う
ことができる。

【００３２】つぎの発明にかかるプログラムを記録した
記録媒体にあっては、ある位置の現時刻の射影出力と前
時刻の射影出力とが変化していない場合か、または、変
化している場合でも、現時刻あるいは前時刻を参照時刻
として選択し、参照時刻における二つの隣接射影出力と
が同じ射影出力である場合は、方向を推定せず、ある位
置の現時刻の射影出力と前時刻の射影出力との差分が正
の場合は、前時刻における二つの隣接射影出力のうち、
射影出力の小さい方に、方向を推定し、ある位置の現時
刻の射影出力と前時刻の射影出力との差分が負の場合
は、前時刻における二つの隣接射影出力のうち、射影出
力の大きい方に、方向を推定し、すべての位置について
方向を推定後、一次元動きベクトルを算出するステッ
プ、を含むことを特徴とする（後述する実施の形態のス
テップＳ１１〜ステップＳ１９に相当）。

【００３３】この発明によれば、一次元動きベクトルの
算出アルゴリズムが明確化される。これにより、正確な
一次元動きベクトルを容易に算出可能となる。また、コ
ンピュータからのダウンロードが可能なため、プログラ
ムの変更および追加等の作業を容易に行うことができ
る。

【００３４】

【発明の実施の形態】以下に、本発明にかかる方向指示
装置および方向推定方法、並びにその方法にかかるプロ
グラムを記録したコンピュータ読み取り可能な記録媒体
の実施の形態を図面に基づいて詳細に説明する。なお、
この実施の形態によりこの発明が限定されるものではな
い。

【００３５】実施の形態１．図１は、本発明にかかる方
向指示装置における実施の形態１の構成を示すブロック
図である。図１において、本発明の方向指示装置は、画
像センサを含み、該画像センサにより撮影される二次元
画像のデータを入力する画像入力部１と、画像入力部１
に入力されるデータに基づいてその二次元画像全体に関
する複数方向の射影を算出する射影算出部２と、射影算
出部２にて算出された射影に基づいて個々の一次元動き
ベクトルを算出する動き算出部３と、動き算出部３にて
算出された一次元動きベクトルに基づいて撮影された二
次元画像全体の二次元動きベクトルを推定する方向推定
部４と、を備えている。

【００３６】以下、上記のように構成される方向指示装
置の動作について説明する。まず、図２は、画像入力部
１によって撮影される、たとえば、３２×３２画素の入
力画像と、射影算出部２によって計算される列射影と行
射影を示す。図２に示すとおり、射影算出部２では、画
像入力部１にて撮影される二次元画像７の列方向および
行方向の二方向に関する画素値の総和を計算することに
より、それぞれ列射影８および行射影９、すなわち、６
４個の射影を出力する。なお、本実施の形態では、説明
の便宜上、３２×３２画素の二次元画像を撮影可能な画
像センサを用いているが、撮影可能な画素数はこれに限
ず、内蔵する画像センサの性能に応じて変化するもので
ある。

【００３７】つぎに、動き算出部３による一次元動きベ
クトルの計算は、後述する一次元オプティカルフローア
ルゴリズム（図６参照）により行われる。ここで、一次
元動きベクトル計算の原理について説明する。図３は、
一次元動きベクトルを計算するための図であり、たとえ
ば、射影の各要素（６４個の射影の一つ一つを示す）を
一つの画素値と見なし、隣接する三つの画素値により作
られるコントラスト（以下、明暗エッジと呼ぶ）が、左
右に動く４通りの例を示したものである。なお、図示の
細い線が前時刻の射影、太い線が現時刻の射影、を示
す。また、明るい方の画素値を５０とし、暗い方を１０
とする。

【００３８】たとえば、図３（ａ）および（ｃ）は、明
暗エッジが左から右の方向に動く場合の射影値の変化を
示しており、図３（ｂ）および（ｄ）は、明暗エッジが
右から左に動く場合の射影値の変化を示している。これ
らより、射影値（画素値）の変化と射影の動きとの間に
は、ある射影位置における動き方向に関して、次のよう
な一定の三つの法則があることがわかる。

【００３９】（Ｉ）ある射影位置において、射影値の変
化が０のときか、あるいは射影値の変化があっても現時
刻あるいは前時刻を参照時刻として選択し、参照時刻に
おける隣接二射影値が同じ射影値を持つときは、動き方
向は０（動きなし）と推定される。 （II）ある射影位置において、射影値の変化が正の値の
とき、動き方向は、参照時刻における隣接二射影値のう
ち、射影値の小さい方向と推定される。 （III）ある射影位置において、射影値の変化が負の値
のとき、動き方向は、参照時刻における隣接二射影値の
うち、射影値の大きい方向と推定される。

【００４０】図４は、前時刻の射影と現時刻の射影の一
例と、一次元動きベクトルの推定方向を示す図である。
つぎに、上記の法則を利用して、前時刻と現時刻の射影
値の変化からどのように一次元動きベクトル（すなわ
ち、一次元オプティカルフロー）が得られるかを、図４
を用いて説明する。なお、図４（ａ）（ｂ）は、それぞ
れ８個の要素からなる射影値の例であり、それぞれ前時
刻と現時刻における射影値を示す。図４（ｃ）は、上記
三つの法則が各射影の配列要素毎にどのように適用され
るかを、具体的に説明するための表である。また、各要
素は、簡単のため、１０〜５０の値をとることとする。
また、参照時刻は、前時刻の場合で説明するが、本実施
の形態とは別に参照時刻として現時刻を選択しても同様
の結果が得られる。

【００４１】まず、要素＃１に関しては、前時刻と現時
刻との射影地の差分が０であることから、法則（Ｉ）を
適用して、推定方向は０となる。つぎに、要素＃２に関
しては、前記差分が負の値であることから、法則（II
I）を適用して、推定方向は＃２→＃３の向きとなる。
要素＃３と＃４についても同様に、それぞれ推定方向は
＃３→＃４，＃４→＃５となる。つぎに、要素＃５に関
しては、差分が正の値であるが、前時刻の射影におい
て、要素＃４と＃６が同じ値であることから、法則
（Ｉ）を適用して、推定方向は０となる。つぎに、要素
＃６に関しては、差分が正の値であることから、法則
（II）を適用して、推定方向は＃６→＃７の向きとな
る。要素＃７についても同様に、推定方向は＃７→＃８
となる。最後に、要素８に関しては、差分が正の値であ
るが、前時刻の射影において、隣接要素がないことか
ら、方向を推定できない。

【００４２】以上、一次元動きベクトル計算の原理につ
いて説明を行ってきたが、つぎに、この原理を利用した
動き算出部３の動作を、図面に従って説明する。図５
は、本発明にかかる方向指示装置における一次元動きベ
クトル算出方法であり、動き算出部３の動作を示すもの
である。なお、射影算出部２によって計算された列射影
と行射影については、同一のアルゴリズムにて一次元動
きベクトルを算出するため、以下の説明においては、こ
れらの射影を区別しないで説明する。

【００４３】まず、動き算出部３では、射影算出部２が
出力した射影を取得し、その射影を現時刻の射影とし
て、配列ｃｕｒｒ＿ｐｒｏｊへ格納する（ステップＳ
１）。つぎに、動き算出部３は、配列ｃｕｒｒ＿ｐｒｏ
ｊと、前時刻の射影が格納されている配列ｐｒｅｖ＿ｐ
ｒｏｊとの差分を計算し、その結果を配列ｄｉｆｆ＿ｐ
ｒｏｊへ格納する（ステップＳ２）。つぎに、配列ｄｉ
ｆｆ＿ｐｒｏｊと配列ｐｒｅｖ＿ｐｒｏｊとを用いて、
各要素毎に、一次元動きベクトルの計算を行い、そのす
べての結果を配列ｖｅｃｔ＿ｐｒｏｊに格納する（ステ
ップＳ３）。なお、一次元動きベクトルを計算する動作
の詳細については後述する。

【００４４】そして、動き算出部３は、すべての一次元
動きベクトルを計算後、配列ｃｕｒｒ＿ｐｒｏｊを前時
刻の射影として、配列ｐｒｅｖ＿ｐｒｏｊに格納する
（ステップＳ４）。最後に、ステップＳ３で得られた一
次元動きベクトルのノイズを削減するため、配列ｖｅｃ
ｔ＿ｐｒｏｊを平滑化して出力する（ステップＳ５）。
ここで、上記のステップＳ３における射影要素毎の一次
元動きベクトルの計算について、上記法則を用いて詳細
に説明する。なお、ここでは、射影の配列インデックス
ｋの計算過程を、図６のフローチャートを用いて説明す
る。

【００４５】まず、動き算出部３は、ｐｒｅｖ＿ｐｒｏ
ｊ［ｋ−１］とｐｒｅｖ＿ｐｒｏｊ［ｋ＋１］の大小比
較を行う（ステップＳ１１）。これらの値が等しいとき
は（ステップＳ１２，ＹＥＳ）、ｖｅｃｔ＿ｐｒｏｊ
［ｋ］に０を代入して（ステップＳ１３）、計算を終了
する（法則（Ｉ）に相当）。一方、等しくないときは
（ステップＳ１２，ＮＯ）、配列インデックスｋ，ｋ＋
１のうち、ｐｒｅｖ＿ｐｒｏｊの値の小さい方をＬ、大
きい方をＧとする（ステップＳ１４）。

【００４６】つぎに、ｄｉｆｆ＿ｐｒｏｊ［ｋ］の符号
を確認して、たとえば、０であれば（ステップＳ１５，
ＹＥＳ）、ｖｅｃｔ＿ｐｒｏｊ［ｋ］に０を代入して
（ステップＳ１３）、計算を終了し（法則（Ｉ）に相
当）、負の値であれば（ステップＳ１５，ＮＯ、ステッ
プＳ１６，ＹＥＳ）、方向ｋ→Ｇを選択し（ステップＳ
１８，法則（III）に相当）、正の値であれば（ステッ
プＳ１５，ＮＯ、ステップＳ１６，ＮＯ）、方向ｋ→Ｌ
を選択する（ステップＳ１７，法則（II）に相当）。そ
して、ステップＳ１８およびＳ１７において、Ｇ（また
はＬ）が、たとえば、ｋ−１であれば、ｖｅｃｔ＿ｐｒ
ｏｊ［ｋ］に−１を代入し、Ｇ（またはＬ）がｋ＋１で
あれば、ｖｅｃｔ＿ｐｒｏｊ［ｋ］に＋１を代入する。

【００４７】最後に、動き算出部３は、ｖｅｃｔ＿ｐｒ
ｏｊ［ｋ］の値を、ｄｉｆｆ＿ｐｒｏｊ［ｋ］の絶対値
で重み付けして（ステップＳ１９）、一次元動きベクト
ルの計算を終了する。

【００４８】図７は、本発明にかかる方向指示装置にお
ける二次元動きベクトル算出方法を示す。方向推定部４
では、動き算出部３により計算される各射影の一次元動
きベクトルから代表ベクトルを推定し、その代表ベクト
ルを合成することにより、二次元動きベクトルの推定処
理を行う。以下、図７のフローチャートを用いて、方向
推定部４の動作を説明する。

【００４９】まず、方向推定部４は、動き算出部３によ
り計算される列射影および行射影の各一次元動きベクト
ルを取得する（ステップＳ２１）。つぎに、方向推定部
４は、各一次元動きベクトルから代表ベクトルを計算す
る（ステップＳ２２）。なお、ここでは、列射影および
行射影に対応する代表ベクトルを、たとえば、それぞれ
ＸベクトルおよびＹベクトルとする。また、この代表ベ
クトルは、オプティカルフローを構成する一次元動きベ
クトルの平均とするが、代表ベクトルの計算方法はこれ
に限らず、たとえば、構成する一次元動きベクトルのう
ち、最大のノルムを持つものを代表ベクトルとしてもよ
い。そして、最後に、上記ＸベクトルとＹベクトルを合
成して、元の撮影二次元画像全体の二次元的動きに関す
るベクトル（二次元動きベクトル）を推定する（ステッ
プＳ２３）。

【００５０】以上、本発明にかかる方向指示装置にて行
われる、二次元動きベクトルの推定処理は、図５、図
６、および図７に示すフローチャート（方向指示用プロ
グラム）により実現され、このプログラムは、後述する
記録媒体にて提供される。

【００５１】このように、本発明の方向指示装置では、
従来のように、二次元画像の画素データから直接二次元
動きベクトルを計算するのではなく、まず、二次元画像
の射影を求めてから、その後、二次元動きベクトルを推
定している。具体的にいうと、たとえば、３２×３２
（＝１０２４）画素のデータから直接二次元動きベクト
ルを計算するのではなく、まず、３２行＋３２列（＝６
４）の射影を求めてから、その後、二次元動きベクトル
を推定している。

【００５２】従って、本発明の方向指示装置において
は、データ数を大幅に削減でき、それに伴って、ＣＰＵ
による計算量およびデータを格納するためのメモリ容量
を大幅に削減できるため、換言すれば、安価なＣＰＵお
よびメモリを実装できるため、低コストのシステムで、
たとえば、ポインティングデバイス等の機能を実現する
ことができる。さらに、ＣＰＵによる計算量およびデー
タを格納するためのメモリ容量を大幅に削減できること
から、高速化も実現できる。さらに、本発明の方向指示
装置をマウスとして使用した場合、このマウスは、画像
処理による動き認識であるため、従来のトラックボール
による機械式マウスのように、特別に操作スペース（平
らな場所等）を確保する必要がなく、さらに、摩擦の少
ない場所や垂直な面（壁等）等の場所においても、画面
上のポインタを安定的に動作させることができる。

【００５３】なお、本実施の形態では、撮影画像の射影
を図８（ａ）に示すように、列方向と行方向への射影を
計算する例を示したが、射影の計算方法はこれに限ら
ず、たとえば、図８（ｂ）のように、斜め下方向と斜め
上方向への射影を計算後、二次元動きベクトルを推定し
てもよく、さらに、図８（ｃ）のように、列・行・斜め
上・斜め下の４方向すべてについて射影を計算後、また
は任意の３方向の射影を計算後、二次元動きベクトルを
推定することとしてもよい。

【００５４】また、図９は、画像センサおよび方向推定
プログラムを内蔵する方向指示装置の全体構成図を示す
ものである。図９において、方向指示装置は、方向推定
プログラムを実行するＣＰＵを含む制御部１０１と、Ｒ
ＡＭ、ＲＯＭ等のメモリを含み、制御部１０１が実行す
べきプログラム、および処理の過程で得られた必要なデ
ータ等を記憶するメモリ部１０２と、パソコン等の計算
機１０５と接続され、二次元動きベクトルを出力する入
出力部１０３と、二次元画像を撮影する画像センサ１０
４と、を備えており、これら各部は、それぞれシステム
バスを介して接続されている。

【００５５】上記のように構成される方向指示装置で
は、制御部１０１（ＣＰＵ）が、メモリ部１０２に格納
されたプログラムに従って、先に説明した処理を実行す
ることになる。なお、方向推定プログラムが、たとえ
ば、ＣＤ−ＲＯＭに格納されている構成としてもよく、
この場合は、計算機１０５からマウスのメモリ部１０２
に該プログラムがダウンロードされる。

【００５６】また、上記の説明では、このプログラムを
ＲＯＭ、ＲＡＭ、およびＣＤ−ＲＯＭにて提供する場合
について説明しているが、記録媒体はこれらに限定され
ることなく、システムを構成する計算機に応じて、たと
えば、フロッピーディスク等の磁気ディスク、光磁気デ
ィスク、磁気テープ等の他の記録媒体を用いることも可
能である。

【００５７】実施の形態２．図１０は、本発明にかかる
方向指示装置における実施の形態２の構成を示すブロッ
ク図である。なお、実施の形態２において、先に説明し
た実施の形態１と同様の構成については、同一の符号を
付して説明を省略し、さらに、同一の動作についても説
明を省略する。また、実施の形態２においても、実施の
形態１と同一のプログラムが実行されるものとする。

【００５８】図１０において、本発明の方向指示装置
は、実施の形態１の構成に加え、方向推定部４にて推定
された二次元動きベクトルに基づいて座標で示される位
置情報を更新する座標更新部５と、前記座標で示される
位置情報に基づいてその位置を画面に表示する座標表示
部６と、を備えている。

【００５９】上記のように構成される方向指示装置にお
いて、座標更新部５は、座標表示用メモリを有する構成
とし、たとえば、現在該メモリ上に保持されている画面
上のポインタの座標に、方向推定部４の出力した二次元
動きベクトルを加算することにより、ポインタの座標を
更新している。さらに、座標表示部６は、ポインタを表
示するための画面を有する構成とし、座標更新部５によ
り更新された座標に基づいて、画面上にポインタを表示
する。

【００６０】図１１および図１２は、本実施の形態の構
成を利用した具体例を示すものである。たとえば、図１
１は、本実施の形態の構成を、パソコン用インターフェ
ースであるマウスとして応用した場合を示すものであ
る。この場合、マウスは、実施の形態１に示す方向指示
プログラム、および画像センサを内蔵しており、たとえ
ば、支持台の上でマウスを矢印の方向に動かすと、マウ
スから出力された方向指示プログラムの出力情報、すな
わち、二次元動きベクトルは、ケーブルを介して、座標
更新部５および座標表示部６の機能が実装されている計
算機に入力される。

【００６１】そして、座標更新部５では、計算機のメモ
リ上で保持されているポインタの座標を上記の方法で更
新し、座標表示部６では、更新された座標に基づいて画
面上のポインタを位置１１から位置１２に移動する。な
お、本実施の形態では、マウス操作を、従来のマウスと
同様に、机上で繰作する場合について示したが、マウス
の動きを光学的に撮影ことができるため、実際は操作す
る場所を選ばない。

【００６２】一方、図１２は、図１１とは異なる具体例
として、本実施の形態の構成を、講演会などでスクリー
ンを指し示すためのペンとして応用した場合を示すもの
である。この場合、ペンは、実施の形態１で示した方向
指示プログラム、および画像センサを内蔵しており、た
とえば、人間（講演者）が空間内を矢印の方向に動かす
と、ペンから出力された方向指示プログラムの出力情
報、すなわち、二次元動きベクトルは、無線通信等で、
座標更新部５および座標表示部６の機能が実装されてい
る計算機に入力される。

【００６３】そして、座標更新部５では、計算機のメモ
リ上で保持されているポインタの座標を上記の方法で更
新し、座標表示部６では、更新された座標に基づいてス
クリーン上のポインタを位置１３から位置１４に移動す
る。なお、ペンにて指し示されたポインタは、座標表示
部６の機能を実現する投影機を通じて、スクリーン上に
表示される。

【００６４】このように、本実施の形態によれば、実施
の形態１に加え、座標更新部５と座標表示部６を有して
いるので、特別に操作スペース（平らな場所等）を確保
する必要のないマウスを実現することができるととも
に、さらに、撮影される二次元画像を用いて、スクリー
ン上に表示されるポインタ等を移動できる特性を利用し
て、会議や講演などでスクリーン上を指し示すポインテ
ィングデバイス（従来のペンライトやスティックに相当
するもの）を実現することができる。また、上記特性を
利用すれば、さらに、ゲーム操作用のポインティングデ
バイス（シューティングゲームやキャラクタを移動させ
るゲームの操作）、を実現することも可能である。

【００６５】実施の形態３．図１３は、本発明にかかる
方向指示装置における実施の形態３の構成を示すブロッ
ク図である。なお、実施の形態３において、先に説明し
た実施の形態１と同様の構成については、同一の符号を
付して説明を省略し、さらに、同一の動作についても説
明を省略する。また、実施の形態３においても、実施の
形態１と同一のプログラムが実行されるものとする。

【００６６】図１３において、本発明の方向指示装置
は、実施の形態１を構成する画像入力部１と射影計算部
２に代えて、画像処理機能を有する画像センサにより撮
影される二次元画像のデータに基づいてその二次元画像
全体に関する複数方向の射影を出力するか、および、現
時刻の射影出力と前時刻の射影出力との差分を算出する
半導体集積回路（たとえば、後述の人工網膜ＬＳＩ等）
である射影出力部２１を備えている。なお、射影出力部
２１から出力される射影出力は、図２に示す列射影と行
射影と同等のものである。また、射影出力部２１は、二
次元画像全体に関する複数方向の射影だけを出力するこ
ととしてもよい。この場合、本実施の形態の動作は、実
施の形態１と同様である。

【００６７】上記のように構成される方向指示装置にお
いて、射影出力部２１が前記差分を出力する場合、動き
算出部３では、該差分に基づいて、個々の一次元動きベ
クトルを算出する。

【００６８】つぎに、上記半導体集積回路にて現時刻の
射影出力と前時刻の射影出力との差分を算出する場合
の、動き算出部３の動作を、図１４のフローチャートに
従って説明する。

【００６９】まず、動き算出部３では、射影出力部２１
が出力した射影を取得し、その射影を、配列ｐｒｅｖ＿
ｐｒｏｊへ格納する（ステップＳ３１）。つぎに、動き
算出部３は、射影出力部２１が出力した前時刻の射影と
現時刻の射影との差分を取得し、配列ｄｉｆｆ＿ｐｒｏ
ｊへ格納する（ステップＳ３２）。つぎに、配列ｄｉｆ
ｆ＿ｐｒｏｊと配列ｐｒｅｖ＿ｐｒｏｊとを用いて、各
要素毎に、一次元動きベクトルの計算を行い、そのすべ
ての結果を配列ｖｅｃｔ＿ｐｒｏｊに格納する（ステッ
プＳ３３）。なお、一次元動きベクトルを計算する動作
の詳細については、先に説明した図６と同様のため、説
明を省略する。

【００７０】そして、最後に、動き算出部３は、すべて
の一次元動きベクトルを計算後、ステップＳ３３で得ら
れた一次元動きベクトルのノイズを削減するため、配列
ｖｅｃｔ＿ｐｒｏｊを平滑化して出力する（ステップＳ
３４）。

【００７１】なお、上記本実施の形態の方向支持装置に
て、射影出力部２に含まれる画像センサの例として、た
とえば雑誌「Ｎａｔｕｒｅ，“Ａｒｔｉｆｉｃｉａｌ
Ｒｅｔｉｎａｓ―Ｆａｓｔ， Ｖｅｒｓａｔｉｌｅ Ｉ
ｍａｇｅ Ｐｒｏｃｅｓｓｏｒｓ" 」（ｖｏｌ．３７
２， Ｎｏ．６５０２，ｐｐ１９７−１９８，１９９
４）、および、特開平８−２４２２６５に記載された人
工網膜ＬＳＩを用いれば、入力画像から直接、列射影と
行射影を出力できるので、実施の形態１で実現されるシ
ステムの動作をさらに高速化することが可能である。さ
らに、上記ＬＳＩによれば、後段の処理に必要なプロセ
ッサをより安価なものに置き換えることができるので、
システム全体としてのコストダウンも可能である。

【００７２】実施の形態４．図１５は、本発明にかかる
方向指示装置における実施の形態４の構成を示すブロッ
ク図である。なお、実施の形態４において、先に説明し
た実施の形態３と同様の構成については、同一の符号を
付して説明を省略し、さらに、同一の動作についても説
明を省略する。また、実施の形態４においても、実施の
形態１と同一のプログラムが実行されるものとする。

【００７３】図１５において、本発明の方向指示装置
は、実施の形態３の構成に加え、方向推定部４にて推定
された二次元動きベクトルに基づいて座標で示される位
置情報を更新する座標更新部５と、前記座標で示される
位置情報に基づいてその位置を画面に表示する座標表示
部６と、を備えている。

【００７４】上記のように構成される方向指示装置にお
いて、座標更新部５は、座標表示用メモリを有する構成
とし、たとえば、現在該メモリ上に保持されている画面
上のポインタの座標に、方向推定部４の出力した二次元
動きベクトルを加算することにより、ポインタの座標を
更新している。さらに、座標表示部６は、ポインタを表
示するための画面を有する構成とし、座標更新部５によ
り更新された座標に基づいて、画面上にポインタを表示
する。なお、本実施の形態の構成を利用した具体例とし
ては、先に説明した図１１および図１２がある。

【００７５】このように、本実施の形態によれば、実施
の形態３に加え、座標更新部５と座標表示部６を有して
いるので、特別に操作スペース（平らな場所等）を確保
する必要のないマウスを実現することができるととも
に、さらに、撮影される二次元画像を用いて、スクリー
ン上に表示されるポインタ等を移動できる特性を利用し
て、会議や講演などでスクリーン上を指し示すポインテ
ィングデバイス（従来のペンライトやスティックに相当
するもの）を実現することができる。また、上記特性を
利用すれば、さらに、ゲーム操作用のポインティングデ
バイス（シューティングゲームやキャラクタを移動させ
るゲームの操作）、を実現することも可能である。

【００７６】

【発明の効果】以上、説明したとおり、この発明によれ
ば、データ数を大幅に削減でき、それに伴って、ＣＰＵ
による計算量およびデータを格納するためのメモリ容量
を大幅に削減できるため、すなわち、安価なＣＰＵおよ
びメモリを実装できるため、低コストのシステムで、た
とえば、ポインティングデバイス等の機能を実現するこ
とができる、という効果を奏する。さらに、ＣＰＵによ
る計算量およびデータを格納するためのメモリ容量を大
幅に削減できることから、高速化も実現できる、という
効果を奏する。さらに、本発明の方向指示装置をマウス
として使用した場合、このマウスは、画像処理による動
き認識であるため、従来のトラックボールによる機械式
マウスのように、特別に操作スペース（平らな場所等）
を確保する必要がなく、さらに、摩擦の少ない場所や垂
直な面（壁等）等の場所においても、画面上のポインタ
を安定的に動作させることができる、という効果を奏す
る。

【００７７】つぎの発明によれば、特別に操作スペース
（平らな場所等）を確保する必要のないマウスを実現す
ることができるとともに、さらに、撮影される二次元画
像を用いて、スクリーン上に表示されるポインタ等を移
動できる特性を利用して、会議や講演などでスクリーン
上を指し示すポインティングデバイス（従来のペンライ
トやスティックに相当するもの）や、ゲーム操作用のポ
インティングデバイス（シューティングゲームやキャラ
クタを移動させるゲームの操作）、を実現することがで
きる、という効果を奏する。

【００７８】つぎの発明によれば、データ数を大幅に削
減でき、それに伴って、ＣＰＵによる計算量およびデー
タを格納するためのメモリ容量を大幅に削減できできる
ため、すなわち、安価なＣＰＵおよびメモリを実装でき
るため、より低コストのシステムで、たとえば、ポイン
ティングデバイス等の機能を実現することができる、と
いう効果を奏する。さらに、ＣＰＵによる計算量および
データを格納するためのメモリ容量を大幅に削減できる
ことから、さらなる高速化も実現できる、という効果を
奏する。さらに、本発明の方向指示装置をマウスとして
使用した場合、このマウスは、画像処理による動き認識
であるため、従来のトラックボールによる機械式マウス
のように、特別に操作スペース（平らな場所等）を確保
する必要がなく、さらに、摩擦の少ない場所や垂直な面
（壁等）等の場所においても、画面上のポインタを安定
的に動作させることができる、という効果を奏する。

【００７９】つぎの発明によれば、動き算出手段にて行
う現時刻の射影出力と前時刻の射影出力との差の計算を
行う必要がなくなる。これにより、本発明の方向指示装
置は、ＣＰＵによる計算量をさらに大幅に削減すること
ができ、伴って、より高速な動作を実現できる、という
効果を奏する。

【００８０】つぎの発明によれば、半導体集積回路とし
て動作する、たとえば、人工網膜ＬＳＩが、画像センサ
により撮影される二次元画像のデータから、その二次元
画像全体に関する複数方向の射影、および現時刻の射影
出力と前時刻の射影出力の差分、の少なくともいずれか
一方を自動的に出力する。これにより、本発明の方向指
示装置は、ＣＰＵによる計算量をさらに大幅に削減する
ことができ、全体のソフトウェア量も大幅に削減するこ
とができる、という効果を奏する。

【００８１】つぎの発明によれば、特別に操作スペース
（平らな場所等）を確保する必要のないマウスを実現す
ることができるとともに、さらに、撮影される二次元画
像を用いて、スクリーン上に表示されるポインタ等を移
動できる特性を利用して、会議や講演などでスクリーン
上を指し示すポインティングデバイス（従来のペンライ
トやスティックに相当するもの）や、ゲーム操作用のポ
インティングデバイス（シューティングゲームやキャラ
クタを移動させるゲームの操作）、を実現することがで
きる、という効果を奏する。

【００８２】つぎの発明によれば、この方法により、本
発明の方向指示装置は、データ数を大幅に削減でき、そ
れに伴って、ＣＰＵによる計算量およびデータを格納す
るためのメモリ容量を大幅に削減できるため、すなわ
ち、安価なＣＰＵおよびメモリを実装できるため、低コ
ストのシステムで、たとえば、ポインティングデバイス
等の機能を実現することができる、という効果を奏す
る。さらに、ＣＰＵによる計算量およびデータを格納す
るためのメモリ容量を大幅に削減できることから、高速
化も実現できる、という効果を奏する。さらに、この方
法を用いて、本発明の方向指示装置をマウスとして使用
した場合、このマウスは、画像処理による動き認識であ
るため、従来のトラックボールによる機械式マウスのよ
うに、特別に操作スペース（平らな場所等）を確保する
必要がなく、さらに、摩擦の少ない場所や垂直な面（壁
等）等の場所においても、画面上のポインタを安定的に
動作させることができる、という効果を奏する。

【００８３】つぎの発明によれば、一次元動きベクトル
の算出アルゴリズムが明確化される。これにより、正確
な一次元動きベクトルを容易に算出可能となる、という
効果を奏する。

【００８４】つぎの発明によれば、このプログラムが実
行されることにより、本発明の方向指示装置は、データ
数を大幅に削減でき、それに伴って、ＣＰＵによる計算
量およびデータを格納するためのメモリ容量を大幅に削
減できるため、すなわち、安価なＣＰＵおよびメモリを
実装できるため、低コストのシステムで、たとえば、ポ
インティングデバイス等の機能を実現することができ
る、という効果を奏する。さらに、ＣＰＵによる計算量
およびデータを格納するためのメモリ容量を大幅に削減
できることから、高速化も実現できる、という効果を奏
する。さらに、このプログラムをダウンロードして、本
発明の方向指示装置をマウスとして使用した場合、この
マウスは、画像処理による動き認識であるため、従来の
トラックボールによる機械式マウスのように、特別に操
作スペース（平らな場所等）を確保する必要がなく、さ
らに、摩擦の少ない場所や垂直な面（壁等）等の場所に
おいても、画面上のポインタを安定的に動作させること
ができる、という効果を奏する。さらに、コンピュータ
からのダウンロードが可能なため、プログラムの変更お
よび追加等の作業を容易に行うことができる、という効
果を奏する。

【００８５】つぎの発明によれば、一次元動きベクトル
の算出アルゴリズムが明確化される。これにより、正確
な一次元動きベクトルを容易に算出可能となる、という
効果を奏する。また、コンピュータからのダウンロード
が可能なため、プログラムの変更および追加等の作業を
容易に行うことができる、という効果を奏する。

【００８６】従って、本発明によれば、特別に操作スペ
ースを確保する必要がなく、さらに、摩擦の少ない場所
や垂直な面（壁等）等の場所においても、画面上のポイ
ンタを安定的に動作させることができるとともに、安価
なＣＰＵおよび小容量のメモリを使用することにより、
低コストでの実装を実現可能な方向指示装置を提供する
ことができる。

【図面の簡単な説明】

【図１】 本発明にかかる方向指示装置の実施の形態１
の構成を示すブロック図である。

【図２】 撮影される二次元画像と、列射影および行射
影の一例を示す説明図である。

【図３】 一次元動きベクトルを計算するための射影の
動きと射影値の変化を示す説明図である。

【図４】 前時刻の射影と現時刻の射影の一例と、一次
元動きベクトルの推定方向を示す図である。

【図５】 本発明にかかる方向指示装置における一次元
動きベクトル算出方法を示すフローチャートである。

【図６】 一次元動きベクトルの算出における詳細アル
ゴリズムを示すフローチャートである。

【図７】 本発明にかかる方向指示装置における二次元
動きベクトル算出方法を示すフローチャートである。

【図８】 算出される射影の具体例を示す説明図であ
る。

【図９】 画像センサおよび方向推定プログラムを内蔵
する方向指示装置の全体構成を示すブロック図である。

【図１０】 本発明にかかる方向指示装置の実施の形態
２の構成を示すブロック図である。

【図１１】 実施の形態２の具体例を示す説明図であ
る。

【図１２】 実施の形態２の具体例を示す説明図であ
る。

【図１３】 本発明にかかる方向指示装置の実施の形態
３の構成を示すブロック図である。

【図１４】 本発明にかかる方向指示装置における一次
元動きベクトル算出方法を示すフローチャートである。

【図１５】 本発明にかかる方向指示装置の実施の形態
４の構成を示すブロック図である。

【符号の説明】

１ 画像入力部、２ 射影算出部、３ 動き算出部、４
方向推定部、５ 座標更新部、６ 座標表示部、７
二次元画像、８ 列射影、９ 行射影、１１，１２，１
３，１４ ポインタ、２１ 射影出力部、１０１ 制御
部、１０２ メモリ部、１０３ 入出力部、１０４ 画
像センサ、１０５ 計算機。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 DA07 DB02 DC02 DC03 DC08 DC19 5B087 AA01 AA06 AA09 AE03 BC03 BC12 BC32 CC09 CC26 CC33 DD03 DJ00 DJ01

Claims (10)

【特許請求の範囲】
1. 【請求項１】 画像センサにより撮影される二次元画像
   のデータを入力する画像入力手段と、 前記画像入力手段に入力されるデータに基づいて、その
   二次元画像全体に関する複数方向の射影を算出する射影
   算出手段と、 前記射影算出手段にて算出された射影に基づいて、個々
   の一次元動きベクトルを算出する動き算出手段と、 前記動き算出手段にて算出された一次元動きベクトルに
   基づいて、撮影された二次元画像全体の二次元動きベク
   トルを推定する方向推定手段と、 を備えることを特徴とする方向指示装置。
2. 【請求項２】 前記方向推定手段にて推定された二次元
   動きベクトルに基づいて、座標で示される位置情報を更
   新する座標更新手段と、 前記座標で示される位置情報に基づいて、その位置を画
   面に表示する座標表示手段と、 を備えることを特徴とする請求項１に記載の方向指示装
   置。
3. 【請求項３】 画像処理機能を有する画像センサにより
   撮影される二次元画像のデータに基づいて、その二次元
   画像全体に関する複数方向の射影を出力する射影出力手
   段と、 前記射影出力手段にて出力された射影に基づいて、個々
   の一次元動きベクトルを算出する動き算出手段と、 前記動き算出手段にて算出された一次元動きベクトルに
   基づいて、撮影された二次元画像全体の二次元動きベク
   トルを推定する方向推定手段と、 を備えることを特徴とする方向指示装置。
4. 【請求項４】 前記射影出力手段は、さらに、現時刻の
   射影出力と前時刻の射影出力との差分を算出し、 前記動き算出手段では、該差分に基づいて、個々の一次
   元動きベクトルを算出することを特徴とする請求項３に
   記載の方向指示装置。
5. 【請求項５】 前記射影出力手段は、前記二次元画像に
   関する複数方向の射影、および前記現時刻の射影出力と
   前時刻の射影出力の差分、の少なくともいずれか一方の
   出力を実現可能とする半導体集積回路、であることを特
   徴とする請求項３または４に記載の方向指示装置。
6. 【請求項６】 前記方向推定手段にて推定された二次元
   動きベクトルに基づいて、座標で示される位置情報を更
   新する座標更新手段と、 前記座標で示される位置情報に基づいて、その位置を画
   面に表示する座標表示手段と、 を備えることを特徴とする請求項３〜５のいずれか一つ
   に記載の方向指示装置。
7. 【請求項７】 画像センサにより撮影される二次元画像
   から、その二次元画像全体に関する複数方向の射影を計
   算することにより、動作方向を推定可能な方向指示装置
   の方向推定方法において、 得られる二次元画像に関する複数方向の射影に基づい
   て、現時刻の射影出力と前時刻の射影出力との差分を計
   算し、その差分から個々の一次元動きベクトルを算出す
   る動き算出ステップと、 前記動き算出ステップにて算出された個々の一次元動き
   ベクトルを合成することにより、撮影された二次元画像
   全体の二次元動きベクトルを推定する方向推定ステップ
   と、 を含むことを特徴とする方向指示装置の方向推定方法。
8. 【請求項８】 前記動き算出ステップでは、 ある位置の現時刻の射影出力と前時刻の射影出力とが変
   化していない場合か、または、変化している場合でも、
   現時刻あるいは前時刻を参照時刻として選択し、参照時
   刻における二つの隣接射影出力とが同じ射影出力である
   場合は、方向を推定せず、 ある位置の現時刻の射影出力と前時刻の射影出力との差
   分が正の場合は、前時刻における二つの隣接射影出力の
   うち、射影出力の小さい方に、方向を推定し、 ある位置の現時刻の射影出力と前時刻の射影出力との差
   分が負の場合は、前時刻における二つの隣接射影出力の
   うち、射影出力の大きい方に、方向を推定し、 すべての位置について、方向を推定後、一次元動きベク
   トルを算出することを特徴とする請求項７に記載の方向
   指示装置の方向推定方法。
9. 【請求項９】 画像センサにより撮影される二次元画像
   から、その二次元画像全体に関する複数方向の射影を計
   算し、その計算結果から動作方向の推定処理を行わせる
   ためのプログラムを記録した記録媒体において、 得られる二次元画像に関する複数方向の射影に基づい
   て、現時刻の射影出力と前時刻の射影出力との差分を計
   算させ、その差分から個々の一次元動きベクトルを算出
   させる動き算出ステップと、 前記動き算出ステップにて算出された個々の一次元動き
   ベクトルを合成することにより、撮影された二次元画像
   全体の二次元動きベクトルを推定させる方向推定ステッ
   プと、 を含むプログラムを記録したコンピュータ読み取り可能
   な記録媒体。
10. 【請求項１０】 請求項９に記載のプログラムを記録し
    た記録媒体において、 ある位置の現時刻の射影出力と前時刻の射影出力とが変
    化していない場合か、または、変化している場合でも、
    現時刻あるいは前時刻を参照時刻として選択し、参照時
    刻における二つの隣接射影出力とが同じ射影出力である
    場合は、方向を推定せず、 ある位置の現時刻の射影出力と前時刻の射影出力との差
    分が正の場合は、前時刻における二つの隣接射影出力の
    うち、射影出力の小さい方に、方向を推定し、 ある位置の現時刻の射影出力と前時刻の射影出力との差
    分が負の場合は、前時刻における二つの隣接射影出力の
    うち、射影出力の大きい方に、方向を推定し、 すべての位置について方向を推定後、一次元動きベクト
    ルを算出するステップ、を含むプログラムを記録したコ
    ンピュータ読み取り可能な記録媒体。