JP2003228458A

JP2003228458A - 指示動作認識装置及び方法

Info

Publication number: JP2003228458A
Application number: JP2002028383A
Authority: JP
Inventors: Kenichi Harakawa; 健一原川; Yasushi Tsunekawa; 裕史恒川; Ataru Fujii; 中藤井
Original assignee: Takenaka Komuten Co Ltd
Current assignee: Takenaka Komuten Co Ltd
Priority date: 2002-02-05
Filing date: 2002-02-05
Publication date: 2003-08-15

Abstract

(57)【要約】【課題】利用者が指示動作としてどのような動作を行
うかに拘らず、利用者による指示位置又は指示方向の判
断精度を向上させる。【解決手段】ディスプレイの前方に到来した利用者が
表示画面上の任意の位置を指し示す指示動作を行った際
の指示位置を判断するにあたり、複数の方向から撮像し
て得られた画像に基づき指先（特徴点）の３次元座標を
繰り返し演算すると共に、特徴点の座標に基づいて、特
徴点の位置変化の回転中心に相当する点の３次元座標を
最小二乗法によって演算し、回転中心に相当する点の座
標から求めた基準点と特徴点を結ぶ仮想線とディスプレ
イの交点を指示位置と判断する。これにより、利用者が
指示動作として(A)〜(C)に示す何れの動作を行っている
場合にも、指示位置を精度良く判断できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は指示動作認識装置及
び方法に係り、特に、利用者による指示位置又は指示方
向を判断するための指示動作認識方法、及び該指示動作
認識方法を適用可能な指示動作認識装置に関する。

【０００２】

【従来の技術】従来より、所定の情報を表示するディス
プレイ、ディスプレイの近傍に到来した利用者を互いに
異なる方向から撮像する撮像手段を備え、利用者がディ
スプレイ上の任意の位置を指等によって指し示した状況
を複数の撮像手段によって撮像し、撮像によって得られ
た複数の画像に基づいて利用者を認識し、利用者が指示
したディスプレイ上の位置を判断し、ディスプレイ上の
指示位置にカーソル等を表示すると共に、利用者が親指
を上げるクリック動作を行ったことを検出すると、ディ
スプレイ上の指示位置がクリックされたと認識して所定
の処理を行うハンドポインティング装置が知られている
（例えば特開平4-271423号公報、特開平 5-19957号公
報、特開平5-324181号公報等参照）。

【０００３】上記のハンドポインティング装置によれ
ば、利用者がキーボードやマウス等の入力機器に触れる
ことなく、情報処理装置に対して各種の指示を与えた
り、各種の情報を入力することが可能となるので、情報
処理装置を利用するための操作の簡素化を実現できる。

【０００４】

【発明が解決しようとする課題】ハンドポインティング
装置の利用は、利用者が、任意の位置又は任意の方向を
指し示したり、指し示す位置又は指し示す方向を変えよ
うとする動作（以下、これらの動作を指示動作と総称す
る）を行うことによって為されるが、この指示動作には
個人差があり、利用者によって指示動作自体が大きく相
違している。すなわち、ハンドポインティング装置の利
用者の中には、指示動作として、腕を比較的真っ直ぐに
前方へ伸ばし手を比較的高い位置に維持した状態（ハイ
ポジション）で、腕全体を動かすことで指示位置又は指
示方向を変化させる動作を行う利用者が存在している一
方、指示動作として、肘を直角又は直角に近い角度迄曲
げ手を比較的低い位置に維持した状態（ローポジショ
ン）で、肘より先の部分のみを動かすことで指示位置又
は指示方向を変化させる動作を行う利用者も存在してお
り、更に、手をハイポジションとローポジションの中間
的な位置に維持した状態（ミドルポジション）で指示位
置又は指示方向を変化させる動作を行う利用者も存在し
ている。

【０００５】一方、ハンドポインティング装置は、撮像
によって得られた画像に基づいて、利用者による指示位
置又は指示方向の変化に応じて位置が変化する部位（例
えば利用者の指先等）に相当する特徴点の３次元座標を
認識すると共に、指示位置又は指示方向の変化に拘らず
位置が変化しない部位に相当する基準点を設定し、特徴
点及び基準点の３次元座標から利用者による指示位置又
は指示方向を判断する構成となっている。

【０００６】詳しくは、特徴点は利用者による指示位置
又は指示方向の変化に応じて位置が変化するため、利用
者が指示動作としてどのような動作を行ったとしても、
撮像によって得られた画像から比較的精度良く認識でき
るが、基準点は利用者による指示位置又は指示方向の変
化に拘らず位置が変化しないので、利用者による指示位
置又は指示方向を精度良く判断できる基準点の位置を、
撮像によって得られた画像から認識することは困難であ
る。

【０００７】このため、従来のハンドポインティング装
置は、利用者が指示動作としてどのような動作を行うか
を予め想定し（例えばハイポジションでの動作を行うと
想定する等）、利用者が前記想定した動作を行った場合
に指示位置又は指示方向を比較的精度良く判断できるよ
うに基準点の設定条件（例えば基準点を利用者の背中に
相当する位置にする等）を予め定めておき、指示動作と
して利用者が実際にはどのような動作を行っているかに
拘らず、予め定めた設定条件に従って基準点の位置を設
定しているのが実情である。従って、指示動作として予
め想定した動作以外の動作を利用者が行った場合、利用
者による指示位置又は指示方向の判断精度が大幅に低下
するという問題があった。

【０００８】また、例えば指示動作として行われる可能
性のある動作を複数種の動作（例えばハイポジション／
ミドルポジション／ローポジションの動作等）に分類
し、各動作に対応して基準点の設定条件を複数種定めて
おき、指示動作として行われている動作を認識して複数
種の動作の何れかに分類し、分類結果に応じて基準点の
設定条件を選択的に使用することも考えられるが、上記
態様において同一種に分類される動作であっても、個々
の利用者毎の動作に若干の個人差があるので、上記技術
を適用し、分類結果に対応する基準点の設定条件を用い
て基準点を設定したとしても、個々の利用者による指示
位置又は指示方向の判断精度が向上するとは限らないと
いう欠点もある。

【０００９】本発明は上記事実を考慮して成されたもの
で、利用者が指示動作としてどのような動作を行うかに
拘らず、利用者による指示位置又は指示方向の判断精度
を向上させることができる指示動作認識装置及び指示動
作認識方法を得ることが目的である。

【００１０】

【課題を解決するための手段】上記目的を達成するため
に請求項１記載の発明に係る指示動作認識装置は、互い
に異なる複数の方向から利用者を撮像する撮像手段と、
前記撮像手段の撮像によって得られた画像に基づいて、
利用者が特定の位置又は方向を指し示す動作を行ってい
る際の指示位置又は指示方向の変化に応じて位置が変化
する特徴点の３次元座標を認識する認識手段と、前記特
徴点が互いに異なる位置に位置している状況で前記認識
手段によって各々認識された特徴点の３次元座標に基づ
いて、利用者が指示位置又は指示方向を変化させる動作
を行った際の特徴点の位置変化の回転中心に相当する点
の３次元座標を演算する演算手段と、前記認識手段によ
って認識された特徴点の３次元座標と、前記演算手段に
よって演算された前記回転中心に相当する点の３次元座
標に基づいて、前記利用者による指示位置又は指示方向
を判断する判断手段と、を含んで構成されている。

【００１１】請求項１記載の発明では、撮像手段により
互いに異なる複数の方向から利用者が撮像され、認識手
段は、撮像手段の撮像によって得られた画像に基づい
て、利用者が特定の位置又は方向を指し示す動作を行っ
ている際の指示位置又は指示方向の変化に応じて位置が
変化する特徴点の３次元座標を認識する。なお、特徴点
としては、例えば利用者の指先に相当する点等を用いる
ことができる。特徴点としては、例えば利用者の手や指
等の先端、或いは利用者が把持している指示器の先端等
に相当する点を用いることができる。また、特徴点の３
次元座標は、詳しくは、例えば複数の方向からの撮像に
よって得られた複数の画像上での特徴点の位置を各々求
め、複数の画像上での特徴点の位置から認識することが
できる。

【００１２】ところで、指示位置又は指示方向を変化さ
せる動作は、一般に、利用者の任意の関節を中心として
特徴点の位置を円弧状に回動させる動作となるため、利
用者が上記の動作を行った場合の特徴点の位置は、前記
任意の関節を中心とする仮想的な球面に略沿って移動す
ることになる。なお、複数の関節を各々動かす動作の場
合には、前記仮想的な球面の中心が特定の関節に一致す
るとは限らないが、何れにしても特徴点の位置は、指示
位置又は指示方向を変化させる動作に伴い、略一定の位
置を中心とする仮想的な球面に略沿って移動する。

【００１３】上記に基づき、請求項１記載の発明に係る
演算手段は、特徴点が互いに異なる位置に位置している
状況で認識手段によって各々認識された特徴点の座標に
基づいて、利用者が指示位置又は指示方向を変化させる
動作を行った際の特徴点の位置変化の回転中心に相当す
る点の３次元座標を演算する。これにより、指示動作と
して利用者が実際に行った動作における回転中心に相当
する位置の３次元座標が演算されることになる。

【００１４】なお、演算手段による回転中心に相当する
点の３次元座標の演算は、詳しくは、例えば請求項２に
記載したように、利用者が指示位置又は指示方向を変化
させる動作を行っている間に認識手段による認識が複数
回行われることで得られた、特徴点の移動軌跡上の複数
箇所における３次元座標に基づいて行うことができる。
また、演算手段による演算には、例えば最小二乗法や他
の公知の演算方法を利用することができる。

【００１５】そして判断手段は、認識手段によって認識
された特徴点の３次元座標と、演算手段によって演算さ
れた前記回転中心に相当する点の３次元座標に基づい
て、利用者による指示位置又は指示方向を判断する。な
お、指示位置又は指示方向の判断は、具体的には、例え
ば請求項７に記載したように、特徴点と前記回転中心に
相当する点を結ぶ仮想線を結ぶ仮想線の延びる方向を求
めるか、又は、前記回転中心に相当する点の３次元座標
に基づいて基準点の３次元座標を求めた後に、特徴点と
前記基準点を結ぶ仮想線の延びる方向を求めること行う
ことができる（例えば、仮想線の延びる方向を指示方向
と判断し、仮想線の延長線上に存在している物体と仮想
線の交点を指示位置と判断する等）。

【００１６】このように、請求項１記載の発明では、利
用者が指示位置又は指示方向を変化させる動作を行った
際の特徴点の位置変化の回転中心に相当する点の座標を
求めて利用者による指示位置又は指示方向を判断してい
るので、利用者が指示動作としてどのような動作を行う
かに拘らず、利用者による指示位置又は指示方向の判断
精度を向上させることができる。また、請求項１記載の
発明では、特徴点の３次元座標から演算によって前記回
転中心に相当する点の３次元座標を求めているので、前
記回転中心に相当する点が撮像手段による撮像範囲内に
入っていなくても前記回転中心に相当する点の３次元座
標を演算可能であり、撮像手段による撮像範囲の設定の
自由度も向上する。

【００１７】なお、請求項１記載の発明において、時間
の経過に伴って利用者による指示動作自体が変化する
（前記回転中心に相当する点の位置が変化する）可能性
があることを考慮すると、請求項３に記載したように、
認識手段及び演算手段は、特徴点の３次元座標の認識又
は前記回転中心に相当する点の３次元座標の演算を繰り
返し行うことが好ましい。これにより、利用者の指示動
作自体が変化した場合にも、変化した後の動作における
特徴点の位置変化の回転中心に相当する点の３次元座標
を得ることができ、利用者による指示動作自体の変化に
拘らず、利用者による指示位置又は指示方向を精度良く
判断することができる。

【００１８】また、請求項１記載の発明において、演算
手段は、例えば請求項４に記載したように、認識手段に
よって認識された特徴点の３次元座標から、特徴点の位
置変化の回転中心に相当する点の３次元座標を直接演算
するように構成することができる。但し、請求項４記載
の発明では、特徴点の３次元座標から前記回転中心に相
当する点の３次元座標を直接演算するため、演算に用い
る特徴点の３次元座標が、特徴点が３次元的に移動して
いる期間に対応するデータである必要がある。従って、
演算に用いるデータ量が多くなり易く、演算が複雑にな
るという欠点がある。

【００１９】これを考慮すると、請求項１記載の発明に
おいて、演算手段は、例えば請求項５に記載したよう
に、認識手段によって認識された特徴点の３次元座標か
ら求まる、互いに交差する複数の平面内における特徴点
の２次元座標に基づいて、複数の平面内における前記回
転中心に相当する点の２次元座標を各々演算し、複数の
平面内における基準点の２次元座標から前記回転中心に
相当する点の３次元座標を演算するように構成してもよ
い。

【００２０】請求項５記載の発明では、互いに交差する
複数（例えば２つ）の平面内における特徴点の２次元座
標に基づいて複数の平面内における前記回転中心に相当
する点の２次元座標を各々演算し、これらに基づいて前
記回転中心に相当する点の３次元座標を演算するので、
特徴点の位置が複数の平面内のうちの何れか１つの平面
内でのみ変化している期間にも、この期間に認識された
特徴点の３次元座標から求まる前記平面内における特徴
点の２次元座標に基づいて、前記平面内における前記回
転中心に相当する点の２次元座標を演算することができ
る。従って、前記回転中心に相当する点の個々の２次元
座標の演算に用いるデータ量を少なくすることができる
ので、演算が簡単になる。

【００２１】なお、請求項５記載の発明において、複数
の平面内における前記回転中心に相当する点の２次元座
標を各々演算することは、例えば請求項６に記載したよ
うに、認識手段によって認識された特徴点の３次元座標
が複数の平面のうちの少なくとも１つの平面内で変化し
ているか否かを判定し、特徴点の３次元座標が特定の平
面内で変化していると判定する毎に、特定の平面内にお
ける特徴点の２次元座標に基づいて、特定の平面内にお
ける前記回転中心に相当する点の２次元座標を演算する
ことにより実現できる。

【００２２】請求項８記載の発明に係る指示動作認識方
法は、互いに異なる複数の方向から利用者を撮像し、前
記撮像によって得られた画像に基づいて、利用者が特定
の位置又は方向を指し示す動作を行っている際の指示位
置又は指示方向の変化に応じて位置が変化する特徴点の
３次元座標を認識し、前記特徴点が互いに異なる位置に
位置している状況で各々認識した特徴点の座標に基づい
て、利用者が指示位置又は指示方向を変化させる動作を
行った際の特徴点の位置変化の回転中心に相当する点の
３次元座標を演算し、前記認識した特徴点の３次元座標
と、前記演算した回転中心に相当する点の３次元座標に
基づいて、前記利用者による指示位置又は指示方向を判
断するので、請求項１記載の発明と同様に、利用者が指
示動作としてどのような動作を行うかに拘らず、利用者
による指示位置又は指示方向の判断精度を向上させるこ
とができる。

【００２３】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態の一例を詳細に説明する。

【００２４】〔第１実施形態〕図１には、本発明に係る
指示動作認識装置としての機能を備えた情報表示装置１
０の概略構成が示されている。情報表示装置１０はパー
ソナル・コンピュータ（ＰＣ）１２を備えている。ＰＣ
１２はＣＰＵ、ＲＯＭ、ＲＡＭ、入出力ポート及びＨＤ
Ｄ（何れも図示省略）を含んで構成されている。ＰＣ１
２には大画面ディスプレイ１４と制御部１６が接続され
ている。ディスプレイ１４はＬＣＤ又はプラズマディス
プレイ又は有機ＥＬディスプレイから成り、壁部に取り
付けられ、制御部１６からＰＣ１２に入力された情報に
従い、ＰＣ１２によって種々の情報が表示されるように
なっている。

【００２５】制御部１６はＣＰＵ、ＲＯＭ、ＲＡＭ、及
び入出力ポート（何れも図示省略）がバスを介して互い
に接続されて構成されており、記憶部１８が接続されて
いる。記憶部１８は各種のデータやプログラム等を記憶
するものであり、記憶内容を書き替え可能な不揮発性の
情報記憶媒体、例えばハードディスクやバックアップ電
源に接続されたＲＡＭ等を含んで構成されていることが
望ましい。

【００２６】本実施形態において、利用者はディスプレ
イ１４の配設位置近傍（ディスプレイ１４前方の図２及
び図３（Ｂ）に示した箇所）に到来し（図２及び図３
（Ｂ）では利用者に「８０」の符号を付して示す）、デ
ィスプレイ１４の表示画面上に設けられた対応する表示
領域の任意の位置を指し示す指示動作を行うと共に、指
示動作を行っている状態から手を前方向（ディスプレイ
１４に近づく方向）又は後方向（ディスプレイ１４から
離間する方向）に移動させるクリック動作を行うことに
より、対応する表示領域に所望の情報を表示させる。

【００２７】また、制御部１６には２台のビデオカメラ
２０Ａ，２０Ｂが接続された撮像制御装置２２及び利用
者検出センサ２４が各々接続されている。ビデオカメラ
２０Ａ，２０Ｂは本発明に係る撮像手段に対応してい
る。また、利用者検出センサ２４は例えばロードセル等
で構成されており、指示動作やクリック動作を行う際に
利用者が留まる位置（ディスプレイ１４前方の所定位
置）の床部に埋設されている。

【００２８】ディスプレイ１４の前方の空間（情報入力
空間）の上方には、図３（Ａ）に示すように、情報入力
空間に到来した利用者を照明する照明装置２６Ａ，２６
Ｂが配設されている。なお照明装置２６Ａ，２６Ｂから
射出される照明光は可視光であっても近赤外光であって
もよいが、照明光を近赤外光とする場合には、ビデオカ
メラ２０Ａ，２０Ｂとして、近赤外光に感度を有するＣ
ＣＤ等から成るエリアセンサを内蔵し、入射光をエリア
センサの受光面に結像させる結像レンズの光入射側に、
近赤外域の波長の光のみを透過するフィルタが設けられ
た構成のビデオカメラを用いればよい。

【００２９】一方、情報入力空間の上方には、回転放物
面の一部（詳しくは回転対称とならない部分）に相当す
る凹の反射面を有する凹面鏡２８が配置されている。ビ
デオカメラ２０Ａ，２０Ｂは、凹面鏡２８との位置関係
が、オフセットパラボラアンテナにおける反射鏡と１次
放射器の位置関係と略同等になる位置近傍でかつＸＺ平
面に沿って互いに異なる位置に、凹面鏡２８を介して情
報入力空間を略直上より撮像する向きで各々配置されて
いる。

【００３０】凹面鏡２８は、情報入力空間側から入射さ
れた平行光線束をビデオカメラ２０Ａ，２０Ｂ側へ収束
光線束として反射する光学性能を備えているので、ビデ
オカメラ２０Ａ，２０Ｂの撮像範囲（図２及び図３
（Ｂ）において、ビデオカメラ２０Ａの撮像範囲は一点
鎖線を境界とする範囲、ビデオカメラ２０Ｂの撮像範囲
は破線を境界とする範囲である）の水平方向に沿った幅
は、鉛直方向（Ｚ方向）に亘って各々略一定とされてい
る。

【００３１】また、本実施形態では、ビデオカメラ２０
Ａは情報入力空間を正確に直上より撮像するように（図
に一点鎖線で示す撮像範囲の境界が鉛直方向に沿うよう
に）配置位置が定められている。一方、ビデオカメラ２
０Ａ，２０Ｂの配置位置はＸＺ平面に沿ってずれている
ので、ビデオカメラ２０Ｂによる撮像範囲は、ビデオカ
メラ２０Ａによる撮像範囲に対してＸ方向に偏倚してお
り（図６（Ａ）参照）、情報入力空間をやや斜め上方よ
り撮像する（各図に破線で示す撮像範囲の境界が鉛直方
向に対して若干傾く）範囲となる。

【００３２】従って、本実施形態に係る情報表示装置１
０において、利用者による動作（指示動作やポインティ
ング動作）を認識可能な領域（認識領域）は、ビデオカ
メラ２０Ａによる撮像範囲とビデオカメラ２０Ｂによる
撮像範囲とが重複している領域、すなわち図２及び図３
に二点鎖線で囲んで示す領域（図２ではハッチングで示
す領域）となり、認識領域の水平方向に沿った幅につい
ても、鉛直方向に亘っておおよそ一定となる。

【００３３】図３（Ｂ）からも明らかなように、本実施
形態では、情報入力空間に到来した利用者自体は認識領
域から外れ、利用者が指示動作やクリック動作を行った
際に、利用者の手のみが認識領域内に入るように、ビデ
オカメラ２０Ａ，２０Ｂの撮像範囲（凹面鏡２８の形状
・寸法や凹面鏡２８、ビデオカメラ２０Ａ，２０Ｂの位
置関係等）が定められている。

【００３４】なお、撮像手段（カメラ）として遠赤外線
カメラを用い、人間（利用者）の体温による遠赤外線
と、人間の体温と所定値以上離れた温度（体温よりも高
い温度であっても低い温度であってもよい）に設定又は
温度調整された床から放射される遠赤外光と、によって
人間と背景とを弁別する方法を用いても良い。

【００３５】次に本実施形態の作用を説明する。本実施
形態では、利用者検出センサ２４が利用者の到来を検出
する毎に、制御部１６で指示判断処理が実行される。以
下、この指示判断処理について図４のフローチャートを
参照して説明する。なお、指示判断処理は、利用者検出
センサ２４によって利用者の退去が検出されると実行が
終了される。

【００３６】ステップ２００ではフラグに０を代入し、
次のステップ２０２では特徴点座標演算処理を行う。以
下、この特徴点座標演算処理について、図５のフローチ
ャートを参照して説明する。なお、特徴点座標演算処理
は本発明の認識手段に対応している。

【００３７】ステップ２３０ではビデオカメラ２０Ａか
ら出力される画像Ａを表す画像データを取り込み、次の
ステップ２３２では取り込んだ画像データをＲＡＭ２２
Ｃ等に記憶する。ステップ２３４では、前回の処理周期
で画像Ａの画像データを取り込んで記憶しているか否か
判定する。利用者が情報入力空間に到来して最初に特徴
点座標演算処理を行ったときには、画像Ａの画像データ
が記憶されていないので、ステップ２３４の判定が否定
されて特徴点座標演算処理を終了するが、２回目以降の
前記処理実行時には、前回の処理周期で取り込んだ画像
Ａの画像データがＲＡＭ２２Ｃ等に記憶されているの
で、前記判定が肯定されてステップ２３６へ移行する。

【００３８】ステップ２３６では、前回の処理周期で取
り込んだ画像Ａの画像データ、及び今回取り込んだ画像
Ａの画像データを用い、双方の画像データが表す画像の
差分を画素毎に演算する。この演算により、ビデオカメ
ラ２０Ａの撮像範囲内に存在している物体のうち、前回
の処理周期から現在迄の間に動きが有った物体に相当す
る画素のみが「差分有り」になるので、「差分有り」の
画素のみを抽出することにより、動きが有った物体に相
当する画像領域が抽出される。

【００３９】なお、利用者の手が認識領域内に位置して
いる場合、利用者が手を前後に移動させる等のクリック
動作を行ったときのみならず、利用者が特定個所を指し
示す指示動作を行っているときであっても、手を空中で
完全に静止させることは困難であるので、利用者の手に
相当する領域は、殆どの場合、前回の処理周期から現在
迄の間に動きが有った物体に相当する画像領域として抽
出されることになる。

【００４０】次のステップ２３８では、ステップ２３６
の処理により、利用者の手に相当する画像領域（例えば
図６（Ｂ）に太線で囲んで示す画像領域）が抽出された
か否か判定する。なお、認識領域内に存在している物体
は照明装置２６Ａ，２６Ｂによって照明されるので、認
識領域内に利用者の手が存在している場合、画像Ａ及び
画像Ｂの中には、利用者の手に相当する画像領域が、高
輝度の画素から成る所定値以上の面積の連続した領域と
して現れる。従って、認識領域内に利用者の手が存在し
ていれば、該手に相当する画像領域を容易に抽出するこ
とができる。

【００４１】ステップ２３６で動きが有った物体に相当
する画像領域が抽出されなかった場合、及びステップ２
３６で抽出された画像領域が利用者の手に相当する画像
領域でないと判定した場合には、認識領域内に利用者の
手は存在していないと判断できるので、ステップ２３８
の判定が否定されて特徴点座標演算処理を終了する。

【００４２】一方、ステップ２３８の判定が肯定された
場合にはステップ２４０へ移行する。本実施形態では、
利用者による指示動作やクリック動作を認識するための
特徴点として利用者の手の指先を用いており、ステップ
２４０では今回取り込んだ画像データが表す画像Ａ上で
の特徴点Ｐ（図６（Ｂ）に示す点Ｐ_A参照）の位置（２
次元座標）を演算する。

【００４３】本実施形態において、ビデオカメラ２０Ａ
の配置位置は、情報入力空間がビデオカメラ２０Ａによ
って正確に直上より撮像されるように定められているの
で、特徴点が鉛直方向に沿って移動（Ｘ座標値及びＹ座
標値が変化することなく移動）した場合には、特徴点に
対応する画像Ａ上の点Ｐ_Aの位置は殆ど変化しない。こ
のように、画像Ａ上での点Ｐ_Aの位置はＸＹＺ座標系の
ＸＹ平面（水平面）内における特徴点の位置に略対応し
ているので、ステップ２４０の演算により水平面内の特
徴点の２次元座標(ｘ，ｙ)が求まることになる。

【００４４】ステップ２４４では、ビデオカメラ２０Ｂ
から出力される画像Ｂを表す画像データを取り込み、次
のステップ２４６では取り込んだ画像データをＲＡＭ２
２Ｃ等に記憶する。ステップ２４８では、前回の処理周
期で取り込んだ画像Ｂの画像データ、及び今回取り込ん
だ画像Ｂの画像データを用い、双方の画像データが表す
画像の差分を画素毎に演算し、「差分有り」の画素のみ
を抽出することで、動きが有った物体に相当する画像領
域を抽出する。そしてステップ２５０では、今回取り込
んだ画像データが表す画像Ｂ上での特徴点（図６（Ｂ）
に示す点Ｐ_B参照）の位置（２次元座標）を演算する。

【００４５】図６（Ａ）にも示すように、ビデオカメラ
２０Ｂによる撮像範囲は、ビデオカメラ２０Ａによる撮
像範囲に対してＸ方向に偏倚しているので、画像Ａ上で
の特徴点の位置と画像Ｂ上での特徴点の位置は、例とし
て図６（Ｂ）に点Ｐ_A及び点Ｐ_Bとして示すようにＸ方向
に沿ってずれる（偏差ｄが生ずる）ことになる。

【００４６】また、偏差ｄの大きさは特徴点の高さ位置
（Ｚ方向位置）に応じて変化し、仮に特徴点が凹面鏡２
８の反射面上に位置していたとすると偏差ｄは０にな
り、特徴点が情報入力空間の床面上に位置していたとす
ると偏差ｄは最大となる（偏差ｄの最大値は、情報入力
空間の床面上におけるビデオカメラ２０Ａ，２０Ｂの撮
像範囲のずれ量に一致する）。従って、偏差ｄと特徴点
の高さ（手の高さ）Ｈとの間には図６（Ｃ）に示すよう
な関係がある。本実施形態では、図６（Ｃ）に示すよう
な偏差ｄと特徴点の高さＨとの関係を表すマップが記憶
部１８に予め記憶されている。

【００４７】上記に基づき、ステップ２５２では画像Ａ
上での特徴点の位置と画像Ｂ上での特徴点の位置のＸ方
向に沿った偏差ｄを演算し、次のステップ２５４では、
記憶部１８に記憶されている偏差ｄと特徴点の高さＨと
の関係を表すマップに基づいて、ステップ２５２で求め
た偏差ｄに対応する特徴点の高さＨ、すなわちＸＹＺ座
標系における特徴点の高さ（座標値ｚ）を求める。そし
て、ステップ２５６では、特徴点の３次元座標(ｘ，
ｙ，ｚ)を現在の時刻（演算時刻）と対応付けて記憶部
１８等に記憶する。特徴点座標演算処理は繰り返し実行
されるので、該処理によって演算される特徴点の３次元
座標は、利用者の姿勢や動作の変化に応じて逐次更新さ
れる。

【００４８】なお、求めた特徴点の高さＨが極端に高
い、或いは極端に低い場合には、特徴点の誤認識等が生
じている可能性が非常に高いので、例えば高さＨが、図
２及び図３に示す認識領域の上側境界よりも高い、或い
は下側境界よりも低い場合には、認識領域内に利用者の
手は存在していないと判断する等の例外処理を行うよう
にしてもよい。

【００４９】特徴点座標演算処理が終了すると、指示判
断処理（図４）のステップ２０３へ移行し、基準点の３
次元座標を演算する基準点座標演算処理を行う。以下、
この基準点座標演算処理について、図７のフローチャー
トを参照して説明する。

【００５０】ステップ２６０では、先に説明した特徴点
座標演算処理（図５）によって演算されて記憶部１８に
記憶された特徴点の３次元座標データ(ｘ，ｙ，ｚ)を参
照し、現時点より所定時間前から現時点迄の期間内に演
算された特徴点の３次元座標データが所定数（例えば特
徴点の位置変化の回転中心に相当する座標を演算する処
理（詳細は後述）の実行に十分な数：例えば１６個）以
上有るか否か判定する。利用者が情報入力空間に到来し
た当初は、特徴点座標演算処理の実行回数が所定数に満
たないため、上記の条件を満足する特徴点の３次元座標
データの数が所定数に達せず、回転中心に相当する点の
座標を高精度に演算することは非常に困難である。

【００５１】このため、ステップ２６０の判定が否定さ
れた場合にはステップ２７４へ移行し、記憶部１８に記
憶されている特徴点の３次元座標に基づいて、特徴点の
位置変化の回転中心に相当する点の３次元座標を推定演
算する。この推定演算は、例えば以下のようにして行う
ことができる。

【００５２】すなわち、例として図１０（Ａ）に示すよ
うに、利用者が、指示動作として、肘を直角又は直角に
近い角度迄曲げ、手を比較的低い位置に維持した状態
（ローポジション）で、肘より先の部分のみを動かすこ
とで指示位置を変化させる動作を行っている場合は、お
およそ肘の関節を回転中心として特徴点の位置が変化す
ることが多い。また、例として図１０（Ｃ）に示すよう
に、利用者が、指示動作として、腕を比較的真っ直ぐに
前方へ伸ばし、手を比較的高い位置に維持した状態（ハ
イポジション）で、腕全体を動かすことで指示位置を変
化させる動作を行っている場合には、おおよそ肩の関節
を回転中心として特徴点の位置が変化することが多い。
更に、例として図１０（Ｂ）に示すように、利用者が、
指示動作として、手をハイポジションとローポジション
の中間的な位置に維持した状態（ミドルポジション）で
指示位置を変化させる動作を行っている場合には、肘及
び肩の関節が各々動かされることにより、肩の関節より
も若干後方の位置を回転中心として特徴点の位置が変化
することが多い。

【００５３】従って、ステップ２７４の推定演算は、例
えば利用者の姿勢（状態）がローポジション／ミドルポ
ジション／ハイポジションの何れであるかを判断し、特
徴点の位置変化の回転中心に相当する３次元座標とし
て、肘の関節に相当する位置の３次元座標、肩の関節に
相当する位置の３次元座標、及び肩の関節よりも若干後
方の位置の３次元座標の何れかを、利用者の姿勢（状
態）に応じて選択的に演算することによって行うことが
できる。なお、利用者の姿勢（状態）がローポジション
／ミドルポジション／ハイポジションの何れであるか
は、利用者の身長と特徴点の高さ（座標値ｚ）の比率か
ら判断でき、利用者のおおよその身長は、先に説明した
特徴点座標演算処理（図５）のステップ２５２，２５４
と同様に、画像Ａ，Ｂ上での利用者の頭部の位置のＸ方
向に沿った偏差ｄを演算し、偏差ｄと高さＨとの関係を
表すマップを用いることで求めることができる。

【００５４】特徴点の位置変化の回転中心に相当する３
次元座標が推定演算されるとステップ２７６へ移行し、
ディスプレイ１４までの距離及びディスプレイ１４の大
きさに応じて回転中心に相当する点の３次元座標(Ｘ，
Ｙ，Ｚ)を修正することで、基準点の３次元座標(Ｘ，
Ｙ，Ｚ)を演算し、演算した基準点の３次元座標(Ｘ，
Ｙ，Ｚ)を記憶部１８に記憶させて基準点座標演算処理
を終了する。

【００５５】基準点座標演算処理が終了すると、図４の
フローチャートのステップ２０４へ移行し、特徴点座標
演算処理の結果に基づいて利用者が指示動作を行ってい
るか否かを判定する。特徴点座標演算処理では、利用者
が指示動作を行っている場合（撮像によって得られた画
像中に利用者の手に相当する画像領域が存在している場
合）に特徴点の３次元座標を演算するので、この判定
は、例えば特徴点の３次元座標が演算されているか否か
を判断することで行うことができる。判定が否定された
場合にはステップ２００に戻り、ステップ２００〜ステ
ップ２０４を繰り返す。

【００５６】一方、ステップ２０４の判定が肯定された
場合はステップ２０６へ移行し、フラグが「０」か否か
判定する。ステップ２０６の判定が肯定された場合、情
報入力空間に利用者が到来して指示動作を開始した直後
であると判断できるので、ステップ２０８で各種のフラ
グや処理モード等の初期設定を行い、ステップ２１０で
フラグを「１」にしてステップ２１２へ移行する。ま
た、ステップ２０６の判定が否定された場合には、何ら
処理を行うことなくステップ２１２へ移行する。

【００５７】ステップ２１２では、先の特徴点座標演算
処理で演算された特徴点の３次元座標(ｘ，ｙ，ｚ)と、
基準点座標演算処理で演算された基準点の３次元座標
(Ｘ，Ｙ，Ｚ)に基づき、利用者の指示動作による指示方
向を表す線として、図８に示すように、基準点Ｐ₀と特
徴点Ｐ_Xとを結ぶ仮想線（図８の仮想線５４参照）の延
びる方向を求め、利用者が指し示している位置（指示位
置）として、ディスプレイ１４の表示面を含む平面と、
設定した仮想線の交点（図８に示す点Ｓ参照）の座標
（２次元座標）を演算する。なお、ステップ２１２は後
述するステップ２７６（又は第２実施形態で説明するス
テップ３００）と共に、本発明の判断手段（詳しくは請
求項７に記載の判断手段）に対応している。

【００５８】次のステップ２１４では、ステップ２１２
で演算した指示位置の座標に基づいて、ディスプレイ１
４の表示画面上に設けた対応する表示領域を利用者が指
し示しているか否か判定する。ステップ２１４の判定が
否定された場合にはステップ２０２に戻し、ステップ２
０２以降を繰り返す。一方、ステップ２１４の判定が肯
定された場合にはステップ２１６へ移行し、カーソルを
表示すべき位置の座標として現在の指示位置の座標をＰ
Ｃ１２へ出力し、カーソルの表示を指示する。これによ
り、ＰＣ１２は対応する表示領域内の指示された位置
（現在の指示位置）にカーソルを表示させる。

【００５９】ステップ２１６で表示領域内にカーソルを
表示させると、次のステップ２１８では利用者によりク
リック動作が行われたか否か判定する。クリック動作と
しては種々の動作を採用することができるが、本実施形
態では、利用者が手を前方に素早く移動させる動作（図
９（Ａ）参照、以下「前進クリック」という）や、利用
者が手を後方に素早く移動させる動作（図９（Ｂ）参
照、以下「後進クリック」という）をクリック動作とし
ている。このクリック動作は、ディスプレイ１４の表示
面上の特定の箇所を指し示して選択する動作として極め
て自然な動作であり、利用者は違和感を感ずることなく
クリック動作を行うことができる。

【００６０】前進クリック動作や後進クリック動作が行
われたか否かの判定は、例えば特徴点の３次元座標
(ｘ，ｙ，ｚ)のうちの座標値ｘが急激に変化したか否か
を判断することで行うことができる。また、利用者が指
示動作を行っている間、ディスプレイ１４の表示面と特
徴点との距離ｋ（図８参照）を繰り返し演算し、ステッ
プ２１８において、今回演算した距離ｋと前回演算した
距離ｋとの差が所定値以上か否かを判断することで行う
こともできる。ステップ２１８の判定が否定された場合
にはステップ２０２に戻り、ステップ２０２以降を繰り
返す。

【００６１】ここで、利用者が情報入力空間に到来して
指示動作を開始してから若干の時間が経過すると、基準
点座標演算処理において、現時点より所定時間前から現
時点迄の期間内に演算された特徴点の３次元座標データ
が所定数以上になることでステップ２６０の判定が肯定
される。ステップ２６０の判定が肯定されるとステップ
２６２へ移行し、上記の条件に合致する特徴点の３次元
座標データ群のうち、利用者によってクリック動作が行
われた期間に対応する特徴点の３次元座標データが有る
か否か判定する。この判定は、例えば判定対象の特徴点
の３次元座標データ群の各データを演算時刻順に時系列
に並べ、各データの中に座標値ｘが急激に所定値以上変
化しているデータが存在しているか否かを探索すること
で行うことができる。

【００６２】利用者によってクリック動作が行われた期
間に対応する特徴点の位置は、後述する特徴点の位置変
化の回転中心に相当する点の座標の演算における演算精
度低下の原因となるので、ステップ２６２の判定が肯定
された場合はステップ２６４へ移行し、該当する特徴点
の３次元座標データを、回転中心に相当する点の座標の
演算における演算対象から除外する処理を行った後に、
ステップ２６６へ移行する。なお、ステップ２６２の判
定が否定された場合には、何ら処理を行うことなくステ
ップ２６６へ移行する。

【００６３】ステップ２６６では、演算対象の特徴点の
３次元座標データ群に、水平面内（ＸＹ平面内）及び垂
直面内（ＹＺ平面内）での座標の変化が有るか否か判定
する。この判定が否定される場合は、例えば利用者が一
定の位置を指示している状態を継続している等の場合で
あり、このような状態でのデータを用いて特徴点の位置
変化の回転中心を演算することは、利用者による指示位
置の判断精度の低下に繋がる。このため、ステップ２６
６の判定が否定された場合にはステップ２７４へ移行
し、前述の推定演算を行う。

【００６４】一方、ステップ２６６の判定が肯定された
場合にはステップ２６８へ移行し、演算対象の特徴点の
３次元座標データ群が表す特徴点の移動軌跡に基づい
て、特徴点の位置変化の回転中心に相当する点の３次元
座標(Ｘ，Ｙ，Ｚ)を演算する。以下、ステップ２６８に
おける演算について詳述する。特徴点の位置は、空間内
の特定の位置（この位置は利用者の動作によって相違す
る）を中心とする仮想的な球の表面に沿って移動すると
見なすことができる。座標(Ｘ，Ｙ，Ｚ)を中心とする半
径Ｒの球面は次の(１)式で表すことができる。 (ｘ−Ｘ)²＋(ｙ−Ｙ)²＋(ｘ−Ｘ)²＝Ｒ² …（１）なお、(１)式における座標(ｘ，ｙ，ｚ)は球面上の任意
の点の座標である。特徴点のｎ個の３次元座標データを
(ｘ_i，ｙ_i，ｚ_i)とし(ｉ＝1,2,…,ｎ）、これらを(１)
式に代入して最小二乗法の極値を座標値Ｘ及び半径Ｒで
とると、以下のようになる。

【００６５】

【数１】

【００６６】上記の結果より次の(３)式が得られる。

【００６７】

【数２】

【００６８】(３)式を(２)式に代入して整理すると、次
の(４)式が得られる。

【００６９】

【数３】

【００７０】上記と同様に座標値Ｙ，Ｚについて解く
と、次の(５)，(６)式が得られる。

【００７１】

【数４】

【００７２】続いて、(４)，(５)，(６)式を連立させて
座標値Ｘ，Ｙ，Ｚを解く。これらを行列式で表すと次の
(７)式のようになる。

【００７３】

【数５】

【００７４】そして、(７)式の解は以下の(８)〜(10)式
のようになる。

【００７５】

【数６】

【００７６】従って、ステップ２６８は、演算対象の特
徴点の３次元座標データ(ｘ_i，ｙ_i，ｚ_i)を(８)〜(10)
式に各々代入することで、回転中心に相当する点の３次
元座標(Ｘ，Ｙ，Ｚ)を求めることができる。また半径Ｒ
は、演算対象の特徴点の３次元座標データ、及び(８)〜
(10)式の演算結果を(３)式に各々代入することで求める
ことができる。なお、ステップ２６８は本発明の演算手
段（詳しくは請求項２〜請求項４に記載の演算手段）に
対応している。

【００７７】次のステップ２７０では、以前に（現在の
利用者が情報入力空間に到来してから現在までの間に）
特徴点の位置変化の回転中心に相当する点の３次元座標
を演算したか否か判定する。判定が否定された場合には
何ら処理を行うことなくステップ２７６へ移行するが、
判定が肯定された場合にはステップ２７２へ移行し、以
前に演算した回転中心に相当する点の３次元座標も考慮
して（例えば加重平均値を演算する等により）、回転中
心に相当する点の３次元座標(Ｘ，Ｙ，Ｚ)を最終決定す
る。

【００７８】そして次のステップ２７６では、ディスプ
レイ１４までの距離及びディスプレイ１４の大きさに基
づいて回転中心に相当する点の３次元座標(Ｘ，Ｙ，Ｚ)
が修正されることで基準点の３次元座標(Ｘ，Ｙ，Ｚ)が
演算され、記憶部１８に記憶される。

【００７９】このように、本実施形態では、利用者が情
報入力空間に到来して指示動作を開始してから若干の時
間が経過した後（現時点より所定時間前から現時点迄の
期間内に演算された特徴点の３次元座標データが所定数
以上になった後）は、特徴点の移動軌跡に基づき、特徴
点の位置変化の回転中心に相当する点の３次元座標を最
小二乗法によって演算し、この回転中心に相当する点の
３次元座標に基づいて設定した基準点の３次元座標を用
いて利用者による指示位置を判断しているので、指示動
作として利用者が図１０（Ａ）〜（Ｃ）に示す各種動作
（姿勢）の何れを行っている場合にも、また図１１に示
すように、利用者の体格が大きく相違している場合に
も、これらの影響を受けることなく基準点を適切な位置
に設定することができ、利用者による指示位置を精度良
く判断することができる。

【００８０】また、基準点座標演算処理（及び特徴点座
標演算処理）は繰り返し行われるので、例えば図１２に
示すように（図８（Ｂ）及び（Ｃ）も参照）、利用者が
指示動作に用いている腕が利用途中で変化した場合、或
いは指示動作として利用者が行っている動作が利用途中
で変化した場合（例えばハイポジションからミドルポジ
ション又はローポジションに変化した等の場合）にも、
この変化に追随して基準点を適切な位置に切り替えるこ
とができ、利用者による指示位置を常に精度良く判断す
ることができる。

【００８１】また、ディスプレイ１４の表示面上の所望
の位置が利用者によって指示されている状態で利用者に
よってクリック動作が行われると、指示判断処理（図
４）のステップ２１８の判定が肯定されてステップ２２
０へ移行し、利用者によって行われたクリック動作に関
する情報（例えばクリック動作時の指示位置（クリック
位置）を表す情報や、利用者によって行われたクリック
動作が前進クリックか後進クリックかを表す情報等）を
ＰＣ１２へ通知した後にステップ２０２に戻る。

【００８２】これにより、ＰＣ１２は、通知されたクリ
ック動作に関する情報に基づいて、対応する表示領域に
表示している情報を切替える等の処理を行う。そして上
記処理が繰り返されることにより、利用者が所望する情
報が対応する表示領域に表示されることになる。

【００８３】〔第２実施形態〕次に本発明の第２実施形
態について説明する。なお、本第２実施形態は第１実施
形態と同一の構成であるので、各部分に同一の符号を付
して構成の説明を省略し、以下、図１３のフローチャー
トを参照し、本第２実施形態に係る基準点座標演算処理
について、第１実施形態で説明した基準点座標演算処理
（図７）と異なる部分についてのみ説明する。

【００８４】本第２実施形態に係る基準点座標演算処理
では、現時点より所定時間前から現時点迄の期間内に演
算されて記憶されている特徴点の３次元座標データが所
定数に満たない場合（ステップ２６０の判定が否定の場
合）にステップ２８８へ移行し、記憶部１８に記憶され
ている特徴点の３次元座標データに基づいて、水平面
（ＸＹ平面）内における特徴点の位置変化の回転中心に
相当する点の２次元座標(Ｘ，Ｙ)を推定演算する。

【００８５】この推定演算は、第１実施形態に係る基準
点座標演算処理のステップ２７４と同様に、例えば利用
者の姿勢（状態）を判断し、水平面内における特徴点の
位置変化の回転中心に相当する２次元座標として、肘の
関節に相当する位置、肩の関節に相当する位置、及び肩
の関節よりも若干後方の位置の何れかの２次元座標を、
利用者の姿勢（状態）に応じて選択的に演算することで
行うことができる。ステップ２８８の推定演算を行うと
ステップ２９０へ移行する。

【００８６】一方、ステップ２６０の判定が肯定された
場合は、利用者によってクリック動作が行われた期間に
対応する特徴点の３次元座標データが有れば演算対象か
ら除外（ステップ２６２，２６４）した後に、次のステ
ップ２８０において、演算対象の特徴点の３次元座標デ
ータ群に、水平面内での座標の変化が有るか否か判定す
る。判定が否定された場合にはステップ２８８へ移行
し、前述の推定演算を行う。

【００８７】また、ステップ２８０の判定が肯定された
場合にはステップ２８２へ移行し、演算対象の特徴点の
３次元座標データ群が表す特徴点の移動軌跡に基づい
て、水平面内における特徴点の位置変化の回転中心に相
当する点の２次元座標(Ｘ，Ｙ)を演算する。以下、ステ
ップ２８０における演算について詳述する。

【００８８】水平面内における特徴点の位置は、水平面
内の特定の位置（この位置は利用者の動作によって相違
する）を中心とする仮想的な円の円周に沿って変化する
と見なすことができる。座標(Ｘ，Ｙ)を中心とする半径
Ｒの円は次の(11)式で表すことができる。 (ｘ−Ｘ)²＋(ｙ−Ｙ)²＝Ｒ² …（11）なお、(11)式における座標(ｘ，ｙ)は円周上の任意の点
の座標である。特徴点のｎ個の３次元座標データを
(ｘ_i，ｙ_i，ｚ_i)から座標値ｘ，ｙを各々取り出して(1
1)式に代入し、最小二乗法の極値を座標値Ｘ及び半径Ｒ
でとると、以下のようになる。

【００８９】

【数７】

【００９０】上記の結果より次の(13)式が得られる。

【００９１】

【数８】

【００９２】(13)式を(12)式に代入して整理すると、次
の(14)式が得られる。

【００９３】

【数９】

【００９４】上記と同様に座標値Ｙについて解くと、次
の(15)式が得られる。

【００９５】

【数１０】

【００９６】そして、(14)，(15)式を連立させて座標値
Ｘ，Ｙを解くと次の解が得られる。

【００９７】

【数１１】

【００９８】従ってステップ２８２では、演算対象の特
徴点の３次元座標データ(ｘ_i，ｙ_i，ｚ_i)のうちの座標
値ｘ_i，ｙ_iを(16)，(17)式に各々代入することで、水平
面内における回転中心に相当する点の２次元座標(Ｘ，
Ｙ)を求めることができる。また半径Ｒは、演算対象の
特徴点の３次元座標データのうちの座標値ｘ_i，ｙ_i、及
び(16)，(17)式の演算結果を(13)式に各々代入すること
で求めることができる。

【００９９】次のステップ２８４では、以前に（現在の
利用者が情報入力空間に到来してから現在までの間に）
水平面内における特徴点の位置変化の回転中心に相当す
る点の２次元座標を演算したか否か判定する。判定が否
定された場合には何ら処理を行うことなくステップ２９
０へ移行するが、判定が肯定された場合にはステップ２
８６へ移行し、以前に演算した水平面内における回転中
心に相当する点の２次元座標も考慮して（例えば加重平
均値を演算する等により）、水平面内における回転中心
に相当する点の２次元座標(Ｘ，Ｙ)を最終決定する。

【０１００】次のステップ２９０では、演算対象の特徴
点の３次元座標データが所定数以上か否かを再度判定す
ると共に、演算対象の特徴点の３次元座標データ群に、
垂直面（ＹＺ平面）内での座標の変化が有るか否か判定
する。上記２つの判定の少なくとも一方が否定された場
合にはステップ２９８へ移行し、先に説明したステップ
２８８と同様に、演算対象の特徴点の３次元座標データ
に基づいて、垂直面内における特徴点の位置変化の回転
中心に相当する点の２次元座標(Ｙ，Ｚ)の推定演算を行
った後にステップ３００へ移行する。

【０１０１】また、前述の２つの判定の何れも肯定され
た場合には、ステップ２９０からステップ２９２へ移行
し、演算対象の特徴点の３次元座標データ群が表す特徴
点の移動軌跡に基づいて、垂直面内における特徴点の位
置変化の回転中心に相当する点の２次元座標(Ｙ，Ｚ)を
演算する。なお、この演算に用いる演算式の導出過程
は、先に説明した(16)，(17)式と略同一であるので説明
を省略し、演算式のみ示す。

【０１０２】

【数１２】

【０１０３】ステップ２９２における垂直面内における
特徴点の位置変化の回転中心に相当する点の２次元座標
(Ｙ，Ｚ)の演算は、演算対象の特徴点の３次元座標デー
タ(ｘ_i，ｙ_i，ｚ_i)のうちの座標値ｙ_i，ｚ_iを(18)，(1
9)式に各々代入することで行うことができる。

【０１０４】次のステップ２９４では、以前に（現在の
利用者が情報入力空間に到来してから現在までの間に）
垂直面内における特徴点の位置変化の回転中心に相当す
る点の２次元座標を演算したか否か判定する。判定が否
定された場合には何ら処理を行うことなくステップ３０
０へ移行するが、判定が肯定された場合にはステップ２
９６へ移行し、以前に演算した垂直面内における回転中
心に相当する点の２次元座標も考慮して（加重平均値を
演算する等により）、垂直面内における回転中心に相当
する点の２次元座標(Ｘ，Ｙ)を最終決定する。

【０１０５】そしてステップ３００では、水平面内の回
転中心に相当する点の２次元座標(Ｘ,Ｙ)と垂直面内の
回転中心に相当する点の２次元座標(Ｙ,Ｚ)から、例え
ば座標値Ｘ，Ｚはそのまま用い、座標値Ｙは両者の平均
値を用いる等によって回転中心に相当する点の３次元座
標(Ｘ，Ｙ，Ｚ)を設定し、設定した回転中心に相当する
点の３次元座標(Ｘ，Ｙ，Ｚ)を、ディスプレイ１４まで
の距離及びディスプレイ１４の大きさに基づいて修正す
ることで基準点の３次元座標(Ｘ，Ｙ，Ｚ)を演算し、記
憶部１８に記憶する。なお、ステップ３００は先に説明
したステップ２８２，２９２と共に本発明の演算手段
（詳しくは請求項２，３，５，６に記載の演算手段）に
対応している。

【０１０６】先に説明した第１実施形態に係る基準点座
標演算処理（図７）では、演算処理の都合上、演算対象
の特徴点の３次元座標データ群に水平及び垂直面内での
座標の変化が有る場合にのみ、特徴点の移動軌跡に基づ
く回転中心に相当する点の３次元座標の演算を行うの
で、指示動作を開始した直後に、利用者により水平面内
及び垂直面内の一方でのみ指先（特徴点）の位置を変化
させる動作が行われた場合、回転中心に相当する点の座
標の推定演算結果（ステップ２７４の結果）を用いるこ
とで指示位置の判断精度が低下している状態が、利用者
が上記の動作を行っている間継続することなる、という
欠点がある。

【０１０７】また、特徴点の移動軌跡に基づく回転中心
に相当する点の３次元座標の演算は、特徴点の座標が水
平面内及び垂直面内で各々変化している期間内のデータ
を用いる必要があるため、演算に用いるデータの数が比
較的多く、演算を行う制御部１６に多大な負荷が加わる
という欠点もある。

【０１０８】これに対し、上述した基準点座標演算処理
では、利用者により水平面内及び垂直面内の一方でのみ
指先（特徴点）の位置を変化させる動作が行われている
期間にも、特徴点の移動軌跡に基づいて、特徴点の座標
が変化している平面内における回転中心に相当する点の
２次元座標を演算することができるので、特徴点の座標
が変化していない平面内における回転中心に相当する点
の２次元座標として、推定演算の結果を用いたとして
も、指示位置の判断精度を或る程度確保することができ
る。従って、指示位置の判断精度が低下している状態が
継続することを回避することができる。また、水平及び
垂直面内における回転中心に相当する点の２次元座標の
演算に用いるデータの数を、第１実施形態と比較して少
なくすることも可能となる。

【０１０９】なお、上記では指示動作を開始する際の利
用者の動作に特に制限を設けない場合を説明したが、こ
れに限定されるものではなく、例えば指示動作を開始す
る際に、指先（すなわち特徴点）の位置を水平面内及び
垂直面内で変化させる動作を行うよう利用者に要請する
ようにしてもよい。これにより、指示動作が開始される
当初より、利用者による指示位置を精度良く判断するこ
とができる。

【０１１０】また、上記では上記では利用者による指示
方向を判断した後に指示位置を判断する場合を説明した
が、これに限定されるものではなく、利用者による指示
方向のみを判断するようにしてもよい。

【０１１１】また、上記では特徴点と、特徴点の位置変
化の回転中心に相当する点から求めた基準点と、を結ぶ
仮想線に基づいて指示位置（又は指示方向）を判断する
場合を説明したが、これに限定されるものではなく、基
準点を求めることなく、特徴点と、特徴点の位置変化の
回転中心に相当する点と、を結ぶ仮想線に基づいて指示
位置（又は指示方向）を判断するようにしてもよい。

【０１１２】

【発明の効果】以上説明したように本発明は、互いに異
なる複数の方向から利用者を撮像することで得られた画
像に基づいて、利用者が特定の位置又は方向を指し示す
動作を行っている際の指示位置又は指示方向の変化に応
じて位置が変化する特徴点の３次元座標を認識し、特徴
点の３次元座標に基づいて、利用者が指示位置又は指示
方向を変化させる動作を行った際の特徴点の位置変化の
回転中心に相当する点の３次元座標を演算し、利用者に
よる指示位置又は指示方向を判断するので、利用者が指
示動作としてどのような動作を行うかに拘らず、利用者
による指示位置又は指示方向の判断精度を向上させるこ
とができる、という優れた効果を有する。

【図面の簡単な説明】

【図１】本実施形態に係る情報表示装置の概略構成を
示すブロック図である。

【図２】カメラと凹面鏡の位置関係、及び各カメラの
撮像範囲を示す情報入力空間の側面図である。

【図３】（Ａ）は情報入力空間の正面図、（Ｂ）は情
報入力空間の側面図である。

【図４】指示判断処理の内容を示すフローチャートで
ある。

【図５】特徴点座標演算処理の内容を示すフローチャ
ートである。

【図６】（Ａ）は各カメラによる撮像範囲、（Ｂ）は
各カメラによって得られた各画像の一例を各々示すイメ
ージ図、（Ｃ）は各画像上での指先位置の差から手の高
さを求めるためのマップの内容の一例を示す線図であ
る。

【図７】第１実施形態に係る基準点座標演算処理の内
容を示すフローチャートである。

【図８】特徴点及び基準点から指示位置の座標を演算
する処理を説明するための、（Ａ）は側面図、（Ｂ）及
び（Ｃ）は平面図である。

【図９】（Ａ）は前進クリック動作、（Ｂ）は後進ク
リック動作を説明するためのイメージ図である。

【図１０】利用者による各種の指示動作における特徴
点の回転中心の一例を各々示すイメージ図である。

【図１１】利用者の体格の相違が反映された基準点の
位置を示すイメージ図である。

【図１２】利用者が指示動作に用いる腕を変えた場合
の基準点の移動を示すイメージ図である。

【図１３】第２実施形態に係る基準点座標演算処理の
内容を示すフローチャートである。

【符号の説明】

１０情報表示装置１４ディスプレイ１６制御部２８凹面鏡２０Ａビデオカメラ２０Ｂビデオカメラ

───────────────────────────────────────────────────── フロントページの続き (72)発明者藤井中千葉県印西市大塚一丁目５番地１株式会社竹中工務店技術研究所内Ｆターム(参考） 5B057 BA13 CA13 CA16 DB03 DC05 DC08 5B087 AA02 AB09 BC06 BC12 BC13 BC26 BC32 DJ03 5L096 CA05 FA67 FA69 HA02

Claims

【特許請求の範囲】

【請求項１】互いに異なる複数の方向から利用者を撮
像する撮像手段と、前記撮像手段の撮像によって得られた画像に基づいて、
利用者が特定の位置又は方向を指し示す動作を行ってい
る際の指示位置又は指示方向の変化に応じて位置が変化
する特徴点の３次元座標を認識する認識手段と、前記特徴点が互いに異なる位置に位置している状況で前
記認識手段によって各々認識された特徴点の３次元座標
に基づいて、利用者が指示位置又は指示方向を変化させ
る動作を行った際の特徴点の位置変化の回転中心に相当
する点の３次元座標を演算する演算手段と、前記認識手段によって認識された特徴点の３次元座標
と、前記演算手段によって演算された前記回転中心に相
当する点の３次元座標に基づいて、前記利用者による指
示位置又は指示方向を判断する判断手段と、を含む指示動作認識装置。
【請求項２】前記演算手段は、利用者が指示位置又は
指示方向を変化させる動作を行っている間に前記認識手
段による認識が複数回行われることで得られた、特徴点
の移動軌跡上の複数箇所における３次元座標に基づい
て、前記回転中心に相当する点の３次元座標を演算する
ことを特徴とする請求項１記載の指示動作認識装置。
【請求項３】前記認識手段及び前記演算手段は、前記
特徴点の３次元座標の認識又は前記回転中心に相当する
点の３次元座標の演算を繰り返し行うことを特徴とする
請求項１記載の指示動作認識装置。
【請求項４】前記演算手段は、前記認識手段によって
認識された特徴点の３次元座標から、前記回転中心に相
当する点の３次元座標を直接演算することを特徴とする
請求項１記載の指示動作認識装置。
【請求項５】前記演算手段は、前記認識手段によって
認識された特徴点の３次元座標から求まる、互いに交差
する複数の平面内における特徴点の２次元座標に基づい
て、前記複数の平面内における前記回転中心に相当する
点の２次元座標を各々演算し、前記複数の平面内におけ
る前記回転中心に相当する点の２次元座標から前記回転
中心に相当する点の３次元座標を演算することを特徴と
する請求項１記載の指示動作認識装置。
【請求項６】前記演算手段は、前記認識手段によって
認識された特徴点の３次元座標が前記複数の平面のうち
の少なくとも１つの平面内で変化しているか否かを判定
し、特徴点の座標が特定の平面内で変化していると判定
する毎に、前記特定の平面内における特徴点の２次元座
標に基づいて、前記特定の平面内における前記回転中心
に相当する点の２次元座標を演算することを特徴とする
請求項５記載の指示動作認識装置。
【請求項７】前記判断手段は、前記特徴点と前記回転
中心に相当する点を結ぶ仮想線を結ぶ仮想線の延びる方
向を求めるか、又は、前記回転中心に相当する点の３次
元座標に基づいて基準点の３次元座標を求めた後に、前
記特徴点と前記基準点を結ぶ仮想線の延びる方向を求め
ることで、前記利用者による指示位置又は指示方向を判
断することを特徴とする請求項１記載の指示動作認識装
置。
【請求項８】互いに異なる複数の方向から利用者を撮
像し、前記撮像によって得られた画像に基づいて、利用者が特
定の位置又は方向を指し示す動作を行っている際の指示
位置又は指示方向の変化に応じて位置が変化する特徴点
の３次元座標を認識し、前記特徴点が互いに異なる位置に位置している状況で各
々認識した特徴点の３次元座標に基づいて、利用者が指
示位置又は指示方向を変化させる動作を行った際の特徴
点の位置変化の回転中心に相当する点の３次元座標を演
算し、前記認識した特徴点の３次元座標と、前記演算した前記
回転中心に相当する点の３次元座標に基づいて、前記利
用者による指示位置又は指示方向を判断する指示動作認
識方法。