JP2001025032A - 動作認識方法、動作認識装置及び動作認識プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 画像処理および解析に要する時間を短縮し、
動作認識の信頼性を向上させる。 【解決手段】 入出力装置３からプロジェクター４−１
〜４−Ｍに高輝度の映像データ、例えば白色の映像デー
タを出力し、スクリーン６で囲まれた空間を明るくす
る。入出力装置３は、カメラ７−１〜７−Ｎで取り込ん
だ画像のうち明るさが所定の条件に合致した画像のみを
処理対象として選択する。プロジェクター４−１〜４−
Ｍが映像データを受信するのと同時に、液晶シャッタ眼
鏡１に制御データを受信させ、眼鏡１の両眼のシャッタ
を閉じる。これにより、使用者の視覚に影響を及ぼすこ
となく、明るい画像を取り込む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、立体視を用いた仮
想現実システムにおいて使用者の実時間動作を認識する
動作認識方法、動作認識装置及び動作認識プログラムを
記録した記録媒体に関するものである。

【０００２】

【従来の技術】従来より、架空の世界を構築し、この世
界を現実のように知覚させる仮想現実システムが提案さ
れている。この仮想現実システムでは、１つまたは複数
のスクリーンを配置し、使用者を映像で囲むような構造
になっている。使用者は、立体視眼鏡である液晶シャッ
タ眼鏡を装着するため、スクリーンに映る仮想空間を立
体的に見ることができる。このとき、使用者の実時間動
作を認識し、この動作を仮想空間に反映させることで、
使用者は、仮想空間を擬似的に体験することができる。

【０００３】このような仮想現実システムでは、モーシ
ョンキャプチャ（Motion Capture）を用いて使用者の動
作を認識している。モーションキャプチャは、人体に取
り付けた複数の磁気センサ等によって３次元空間での人
体の動き（各関節の動き）を連続的に測定し、デジタル
データとして取り込むための装置である。モーションキ
ャプチャを使用すれば、使用者の動作を実時間で認識す
ることが可能である。しかし、この方法では、肩、肘と
いった人体の各関節点にセンサを装着する必要があり、
これら複数のセンサとの接続のために複数のケーブルが
必要となる。したがって、使用者の動きがケーブルによ
って制限されるという問題点があり、さらに他の磁気の
影響を受けると、正しく測定できないという問題点があ
った。

【０００４】これに対して、互いに異なる方向から撮像
するように設置された複数のカメラで画像を取り込み、
取り込んだ画像を処理して解析することにより、使用者
の動作を認識する方法がある。この方法では、使用者の
動きを制限しないため、自由な動作が可能である。しか
し、仮想現実システムでは、スクリーンに映像を投影す
る関係上、周囲にスクリーンが配置された、使用者を収
容する空間の照明を暗くしている。このため、カメラで
撮像する画像も全体的に暗くなり、使用者の領域を抽出
することが難しくなるので、画像処理および解析に長時
間を必要とするという問題点があり、さらに動作認識の
信頼性が低いという問題点があった。

【０００５】

【発明が解決しようとする課題】以上のように従来の仮
想現実システムでは、モーションキャプチャを用いて使
用者の動作を認識しようとすると、使用者の動きがケー
ブルによって制限されるという問題点があり、他の磁気
の影響を受けると、正しく測定できないという問題点が
あった。また、画像処理によって使用者の動作を認識し
ようとすると、画像処理および解析に長時間を必要と
し、動作認識の信頼性が低くなるという問題点があっ
た。本発明は、上記課題を解決するためになされたもの
で、使用者の動きを制限しない画像処理を用いて使用者
の動作を認識する際に、画像処理および解析に要する時
間を短縮することができ、動作認識の信頼性を向上させ
ることができる動作認識方法、動作認識装置及び動作認
識プログラムを記録した記録媒体を提供することを目的
とする。

【０００６】

【課題を解決するための手段】本発明の動作認識方法
は、予め用意された映像データを送信する送信過程（ス
テップ１０３〜１１２）と、映像データをプロジェクタ
ーで受信してスクリーンに投影する投影過程（ステップ
１１６，１１７）と、仮想現実システム内の上記使用者
を含む空間の画像を複数のカメラにより取り込む画像取
込過程（ステップ１１８）と、取り込んだ画像情報を送
信する送信過程（ステップ１１９）と、カメラから送信
された画像情報を受信する受信過程（ステップ１２０）
と、予め用意された画像情報に含まれる複数画素の階調
値と受信した画像情報に含まれる複数画素の階調値とを
画素ごとに比較し、その差分値がしきい値以下である画
素の数が所定数以上であるとき、上記受信画像を処理対
象として選択する選択過程（ステップ１２１）と、選択
した画像から使用者の領域を抽出する領域抽出過程（ス
テップ１２２）と、各画像より抽出した使用者の領域を
身体部位ごとに分割する領域分割過程（ステップ１２
３）と、同一身体部位を含む複数画像に基づき使用者の
各身体部位の３次元位置を求める位置検出過程（ステッ
プ１２４）と、使用者の各身体部位の３次元位置を基に
使用者の動作を推測する動作推測過程（ステップ１２
５）とを有するものである。本発明の動作認識方法で
は、プロジェクターに高輝度の映像データ、例えば白色
の映像データを出力することにより、仮想現実システム
内の上記使用者を含む空間が明るくなるので、カメラで
得られる画像が明るい画像となる。そして、選択過程に
おいて、明るさが所定の条件に合致した画像のみを処理
対象として選択する。これにより、使用者と背景との間
の階調値の差を従来よりも大きくすることができる。

【０００７】また、上述の動作認識方法は、上記送信過
程の前に、映像データをプロジェクターに送るのに必要
な伝送遅延時間を測定すると共に、立体視眼鏡のシャッ
タの開閉を制御する制御データを立体視眼鏡に送るのに
必要な伝送遅延時間を測定する測定過程（ステップ１０
０，１０１）を有し、上記送信過程は、測定した伝送遅
延時間に基づいて、プロジェクターが映像データを受信
する時刻と立体視眼鏡が制御データを受信する時刻とが
同時になるように各データを送信するものであり、制御
データを受信した立体視眼鏡が両眼のシャッタを同時に
閉じる制御過程（ステップ１１４）を有するものであ
る。このように、プロジェクターが映像データを受信す
るのと同時に、立体視眼鏡が制御データを受信するの
で、このとき立体視眼鏡の両眼のシャッタが閉じた状態
となる。また、上記測定過程は、プロジェクターおよび
立体視眼鏡用に予め用意された各送信データをプロジェ
クターと立体視眼鏡に送信するデータ送信過程と、デー
タを送信した送信時刻を記憶する送信時刻記憶過程と、
データを受信したプロジェクターおよび立体視眼鏡が即
時に送り返したデータを受信するデータ受信過程と、デ
ータを受信した受信時刻を記憶する受信時刻記憶過程
と、受信データをプロジェクターあるいは立体視眼鏡の
どちらが返信したのかを識別するデータ識別過程と、識
別したデータの受信時刻から同データの送信時刻を引い
て差分時間を求め、その１／２の時間を上記伝送遅延時
間として算出する遅延時間算出過程とを備えるものであ
る。

【０００８】また、本発明の動作認識装置は、予め用意
された映像データをプロジェクターに送信する送信手段
（３０３）と、仮想現実システム内の上記使用者を含む
空間の画像を取り込んだ複数のカメラより画像情報を受
信する受信手段（３１０）と、予め用意された画像情報
に含まれる複数画素の階調値と受信した画像情報に含ま
れる複数画素の階調値とを画素ごとに比較し、その差分
値がしきい値以下である画素の数が所定数以上であると
き、上記受信画像を処理対象として選択する選択手段
（３１１）と、選択した画像から使用者の領域を抽出す
る領域抽出手段（３１２−１〜３１２−Ｎ）と、各画像
より抽出した使用者の領域を身体部位ごとに分割する領
域分割手段（３１３−１〜３１３−Ｎ）と、同一身体部
位を含む複数画像に基づき使用者の各身体部位の３次元
位置を求める位置検出手段（３１４）と、使用者の各身
体部位の３次元位置を基に使用者の動作を推測する動作
推測手段（３１５）とを有するものである。また、上述
の動作認識装置の１構成例は、上記送信手段が映像デー
タを送信する前に、映像データをプロジェクターに送る
のに必要な伝送遅延時間を測定すると共に、立体視眼鏡
が両目のシャッタを同時に閉じるよう制御するための制
御データを立体視眼鏡に送るのに必要な伝送遅延時間を
測定する測定手段（３００）を有し、上記送信手段は、
測定手段が測定した伝送遅延時間に基づいて、プロジェ
クターが映像データを受信する時刻と立体視眼鏡が制御
データを受信する時刻とが同時になるように各データを
送信するものである。また、上述の動作認識装置の１構
成例として、上記測定手段は、プロジェクターおよび立
体視眼鏡用に予め用意された各送信データをプロジェク
ターと立体視眼鏡に送信し、データを送信した送信時刻
を記憶し、データを受信したプロジェクターおよび立体
視眼鏡が即時に送り返したデータを受信し、データを受
信した受信時刻を記憶し、受信データをプロジェクター
あるいは立体視眼鏡のどちらが返信したのかを識別し、
識別したデータの受信時刻から同データの送信時刻を引
いて差分時間を求め、その１／２の時間を上記伝送遅延
時間として算出するものである。

【０００９】また、本発明の動作認識プログラムを記録
した記録媒体は、予め用意された映像データをプロジェ
クターに送信する送信過程と、仮想現実システム内の上
記使用者を含む空間の画像を取り込んだ複数のカメラよ
り画像情報を受信する受信過程と、予め用意された画像
情報に含まれる複数画素の階調値と受信した画像情報に
含まれる複数画素の階調値とを画素ごとに比較し、その
差分値がしきい値以下である画素の数が所定数以上であ
るとき、上記受信画像を処理対象として選択する選択過
程と、選択した画像から使用者の領域を抽出する領域抽
出過程と、各画像より抽出した使用者の領域を身体部位
ごとに分割する領域分割過程と、同一身体部位を含む複
数画像に基づき使用者の各身体部位の３次元位置を求め
る位置検出過程と、使用者の各身体部位の３次元位置を
基に使用者の動作を推測する動作推測過程とをコンピュ
ータに実行させるための動作認識プログラムを記録した
ものである。また、上述の動作認識プログラムは、上記
送信過程の前に、映像データをプロジェクターに送るの
に必要な伝送遅延時間を測定すると共に、立体視眼鏡が
両目のシャッタを同時に閉じるよう制御するための制御
データを立体視眼鏡に送るのに必要な伝送遅延時間を測
定する測定過程を有し、上記送信過程は、測定した伝送
遅延時間に基づいて、プロジェクターが映像データを受
信する時刻と立体視眼鏡が制御データを受信する時刻と
が同時になるように各データを送信するようにしたもの
である。また、上述の動作認識プログラムの１構成例と
して、上記測定過程は、プロジェクターおよび立体視眼
鏡用に予め用意された各送信データをプロジェクターと
立体視眼鏡に送信するデータ送信過程と、データを送信
した送信時刻を記憶する送信時刻記憶過程と、データを
受信したプロジェクターおよび立体視眼鏡が即時に送り
返したデータを受信するデータ受信過程と、データを受
信した受信時刻を記憶する受信時刻記憶過程と、受信デ
ータをプロジェクターあるいは立体視眼鏡のどちらが返
信したのかを識別するデータ識別過程と、識別したデー
タの受信時刻から同データの送信時刻を引いて差分時間
を求め、その１／２の時間を上記伝送遅延時間として算
出する遅延時間算出過程とを備えるものである。

【００１０】

【発明の実施の形態】［実施の形態の１］次に、本発明
の実施の形態について図面を参照して詳細に説明する。
図１は、本発明の第１の実施の形態となる仮想現実シス
テムの構成を示すブロック図である。図１の仮想現実シ
ステムは、システム内に実在する使用者が装着する立体
視眼鏡である液晶シャッタ眼鏡１と、磁界発生源である
トランスミッタ２と、システム全体を制御する入出力装
置（動作認識装置）３と、映像をスクリーンに投影する
ためのプロジェクター４−１〜４−Ｍと、プロジェクタ
ー４−１〜４−Ｍからの光を反射する鏡５と、スクリー
ン６と、スクリーン６に囲まれた使用者を撮像する複数
のカメラ７−１〜７−Ｎとから構成されている。

【００１１】なお、図１では、複数のプロジェクター４
−１〜４−Ｍのうち、４−１，４−Ｍのみを記載し、複
数のカメラ７−１〜７−Ｎのうち、７−１，７−Ｎのみ
を記載している。立体視を用いた仮想現実システムは、
例えば前方のスクリーンの他に上下左右にもスクリーン
を配置して、使用者を映像で囲むような構造になってい
る。使用者は、液晶シャッタ眼鏡１を装着するため、あ
たかもその世界の中に入り込んでいるかのような高い現
実感を得ることができる。

【００１２】液晶シャッタ眼鏡１は、天井から吊り下げ
られたケーブルによって入出力装置３と接続されてい
る。液晶シャッタ眼鏡１には、トランスミッタ２から発
生した磁界を検出する磁気センサが取り付けられてい
る。この磁気センサは、検出した磁界に基づいて自身の
３次元位置を検出し、３次元位置情報を入出力装置３に
送信する。

【００１３】図２は、液晶シャッタ眼鏡１の外観を示す
図である。未使用時の液晶シャッタ眼鏡１は、図２
（ａ）のように両眼ともシャッタが開いている。これに
対して使用時には、図２（ｂ）のように右眼のシャッタ
を閉じた状態と、図２（ｃ）のように左眼のシャッタを
閉じた状態とを交互に繰り返す。そして、本発明におけ
る液晶シャッタ眼鏡１は、後述する制御データを受信し
たとき、図２（ｄ）のように両眼のシャッタを閉じる。

【００１４】入出力装置３は、カメラ７−１〜７−Ｎか
ら送信された画像情報を受信し、この画像情報に応じた
映像データをプロジェクター４−１〜４−Ｍに出力す
る。プロジェクター４−１〜４−Ｍは、入出力装置３か
ら出力された映像データを光情報に変換して鏡５に投影
する。鏡５は、プロジェクター４−１〜４−Ｍからの光
を反射してスクリーン６に投影する。

【００１５】入出力装置３から出力される映像データ
は、左右の眼に異なる映像を提示するデータとなってお
り、この映像をスクリーン６に投影することにより、液
晶シャッタ眼鏡１を装着した使用者に立体感を与え、立
体感のある仮想空間を使用者に提示することが可能とな
る。

【００１６】次に、以上のような仮想現実システムの動
作を説明する。図３は、液晶シャッタ眼鏡１、プロジェ
クター４−１〜４−Ｍ、カメラ７−１〜７−Ｎ及び入出
力装置３のブロック図、図４（ａ）は、入出力装置３の
出力手段３０のブロック図、図４（ｂ）は、入出力装置
３の入力手段３１のブロック図である。

【００１７】また、図５（ａ）は、入出力装置３の初期
時の動作を示すフローチャート図、図５（ｂ）は、入出
力装置３の通常時の動作を示すフローチャート図、図６
（ａ）は、液晶シャッタ眼鏡１の動作を示すフローチャ
ート図、図６（ｂ）は、プロジェクター４−１〜４−Ｍ
の動作を示すフローチャート図、図６（ｃ）は、カメラ
７−１〜７−Ｎの動作を示すフローチャート図、図６
（ｄ）は、入出力装置３の画像情報受信時の動作を示す
フローチャート図である。

【００１８】液晶シャッタ眼鏡１は、入出力装置３から
送信された制御データを受信する受信手段１０と、制御
データを受信したとき両眼のシャッタを同時に閉じる制
御手段１１とを有している。プロジェクタ４−１〜４−
Ｍは、入出力装置３から送信された映像データを受信す
る受信手段４０−１〜４０−Ｍと、受信した映像データ
を光情報に変換して鏡５に投影する投影手段４１−１〜
４１−Ｍとを有している。

【００１９】スクリーン６に囲まれた空間を互いに異な
る方向から撮像するように設置されたカメラ７−１〜７
−Ｎは、画像を取り込む画像取込手段７０−１〜７０−
Ｎと、取り込んだ画像情報を送信する送信手段７１−１
〜７１−Ｎとを有している。

【００２０】入出力装置３は、出力手段３０と、入力手
段３１と、映像記憶手段３２とを有している。出力手段
３０は、測定手段３００と、差分算出手段３０１と、制
御データ記憶手段３０２と、送信手段３０３とを備えて
いる。そして、入力手段３１は、受信手段３１０と、選
択手段３１１と、領域抽出手段３１２−１〜３１２−Ｎ
と、領域分割手段３１３−１〜３１３−Ｎと、位置検出
手段３１４と、動作推測手段３１５とを備えている。な
お、領域抽出手段３１２−１〜３１２−Ｎと領域分割手
段３１３−１〜３１３−Ｎは、カメラ７−１〜７−Ｎご
とに設けられている。

【００２１】まず、初期動作時、入出力装置３の出力手
段３０内の測定手段３００は、映像データをプロジェク
ター４−１〜４−Ｍに送るのに必要な伝送遅延時間を測
定する（図５ステップ１００）。この測定は、以下のよ
うに行われる。測定手段３００は、使用者によって予め
設定されたプロジェクター４−１〜４−Ｍ用の送信デー
タを記憶しており、この送信データを送信手段３０３を
介してプロジェクター４−１〜４−Ｍへ送信し（データ
送信過程）、送信時刻を記憶する（送信時刻記憶過
程）。

【００２２】プロジェクター４−１〜４−Ｍの受信手段
４０−１〜４０−Ｍは、入出力装置３からの送信データ
を受信すると、これを直ちに送り返す（データ返信過
程）。測定手段３００は、プロジェクター４−１〜４−
Ｍが返信したデータを受信すると（データ受信過程）、
受信時刻を記憶する（受信時刻記憶過程）。続いて、測
定手段３００は、受信データの種類により、この受信デ
ータを返信した返信元を識別する（データ識別過程）。

【００２３】そして、測定手段３００は、識別したデー
タの送信時刻を送信時刻記憶過程により求めると共に、
同データの受信時刻を受信時刻記憶過程により求め、受
信時刻から送信時刻を引いて差分時間を求め、その１／
２の時間をプロジェクター４−１〜４−Ｍへの映像デー
タ送信に要する伝送遅延時間とする（遅延時間算出過
程）。

【００２４】次に、測定手段３００は、制御データを液
晶シャッタ眼鏡１に送るのに必要な伝送遅延時間を測定
する（ステップ１０１）。この測定は、以下のように行
われる。測定手段３００は、使用者によって予め設定さ
れた液晶シャッタ眼鏡１用の送信データを記憶してお
り、この送信データを送信手段３０３を介して液晶シャ
ッタ眼鏡１へ送信し（データ送信過程）、送信時刻を記
憶する（送信時刻記憶過程）。

【００２５】液晶シャッタ眼鏡１の受信手段１０は、入
出力装置３からの送信データを受信すると、これを直ち
に送り返す（データ返信過程）。測定手段３００は、液
晶シャッタ眼鏡１が返信したデータを受信すると（デー
タ受信過程）、受信時刻を記憶する（受信時刻記憶過
程）。続いて、測定手段３００は、受信データの種類に
より、この受信データを返信した返信元を識別する（デ
ータ識別過程）。

【００２６】そして、測定手段３００は、識別したデー
タの送信時刻を送信時刻記憶過程により求めると共に、
同データの受信時刻を受信時刻記憶過程により求め、受
信時刻から送信時刻を引いて差分時間を求め、その１／
２の時間を液晶シャッタ眼鏡１への制御データ送信に要
する伝送遅延時間とする（遅延時間算出過程）。

【００２７】次に、入出力装置３の出力手段３０内の差
分算出手段３０１は、液晶シャッタ眼鏡１までの伝送遅
延時間からプロジェクター４−１〜４−Ｍまでの伝送遅
延時間を引いた差分時間を算出すると共に、測定した全
伝送遅延時間中の最大値との差分時間を各伝送遅延時間
ごとに算出する（ステップ１０２）。なお、伝送遅延時
間は、各プロジェクター４−１〜４−Ｍごとに異なるの
で、差分時間もプロジェクター４−１〜４−Ｍごとに算
出する。以上で、入出力装置３の初期時の動作が終了す
る。

【００２８】次に、通常時の動作について説明する。映
像記憶手段３２には、スクリーン６に囲まれた空間を明
るくするための輝度の高い映像データ、例えば白色の映
像データが予め設定されており、制御データ記憶手段３
０２には、制御データが予め設定されている。

【００２９】入出力装置３の出力手段３０内の送信手段
３０３は、使用者が予め定めた一定時間だけ待機した後
（図５ステップ１０３）、各プロジェクター４−１〜４
−Ｍが高輝度の映像データを受信する時刻と、液晶シャ
ッタ眼鏡１が制御データを受信する時刻とが同時になる
ように各データを送信する。

【００３０】この送信手段３０３の動作について以下に
説明する。まず、送信手段３０３は、未送信の送信先の
うち上述の伝送遅延時間が最大のものを探す（ステップ
１０４）。続いて、送信手段３０３は、伝送遅延時間が
同一の送信先が複数あるかどうかを判断する（ステップ
１０５）。

【００３１】伝送遅延時間が最大の送信先が単数である
場合、送信手段３０３は、２番目以降の送信であるか否
かを判断する（ステップ１０６）。ここでは、１番最初
の送信なので、送信手段３０３は、伝送遅延時間が最大
の送信先にデータを送信する（ステップ１０７）。

【００３２】例えば、液晶シャッタ眼鏡１までの伝送遅
延時間が最大の場合、送信手段３０３は、制御データ記
憶手段３０２に記憶された制御データを液晶シャッタ眼
鏡１に送信する。また、プロジェクター４−１〜４−Ｍ
中の何れか１つまでの伝送遅延時間が最大の場合、送信
手段３０３は、映像記憶手段３２に記憶された高輝度の
映像データを該当プロジェクタに送信する。

【００３３】一方、ステップ１０５において伝送遅延時
間が最大の送信先が複数ある場合、送信手段３０３は、
２番目以降の送信であるか否かを判断する（ステップ１
０９）。ここでは、１番最初の送信なので、送信手段３
０３は、伝送遅延時間が最大の複数の送信先にデータを
同時に送信する（ステップ１１０）。

【００３４】例えば、液晶シャッタ眼鏡１までの伝送遅
延時間が最大で、かつこれと同一の伝送遅延時間を有す
る送信先がプロジェクター４−１〜４−Ｍ中に存在する
場合、送信手段３０３は、映像記憶手段３２に記憶され
た高輝度の映像データを該当プロジェクタに送信すると
同時に、制御データ記憶手段３０２に記憶された制御デ
ータを液晶シャッタ眼鏡１に送信する。また、伝送遅延
時間が最大の送信先がプロジェクター４−１〜４−Ｍ内
に複数存在する場合、送信手段３０３は、これらのプロ
ジェクターへ高輝度の映像データを同時に送信する。

【００３５】ステップ１０７あるいはステップ１１０の
処理終了後、未送信の送信先が残っている場合は、ステ
ップ１０４に戻る。上記と同様に、送信手段３０３は、
未送信の送信先のうち伝送遅延時間が最大のものを探し
（ステップ１０４）、これと伝送遅延時間が同一の送信
先が他にあるかどうかを判断する（ステップ１０５）。

【００３６】伝送遅延時間が最大の送信先が単数である
場合、送信手段３０３は、２番目以降の送信であるか否
かを判断する（ステップ１０６）。ここでは、２番目の
送信なので、送信手段３０３は、１番最初の送信先まで
の伝送遅延時間と今回の送信先までの伝送遅延時間との
間の差分時間だけ経過した後に（ステップ１０８）、今
回の送信先にデータを送信する（ステップ１０７）。

【００３７】ステップ１０５において伝送遅延時間が最
大の送信先が複数ある場合、送信手段３０３は、２番目
以降の送信であるか否かを判断する（ステップ１０
９）。ここでは、２番目の送信なので、送信手段３０３
は、１番最初の送信先までの伝送遅延時間と今回の送信
先までの伝送遅延時間との間の差分時間だけ経過した後
に（ステップ１１１）、今回の複数の送信先にデータを
同時に送信する（ステップ１１０）。

【００３８】ステップ１０７あるいはステップ１１０の
処理終了後、未送信の送信先が残っている場合は、ステ
ップ１０４に戻る。全ての送信先、すなわち液晶シャッ
タ眼鏡１及びプロジェクター４−１〜４−Ｍにデータを
送信し終えるまで、ステップ１０４〜１１２の処理を繰
り返す。

【００３９】こうして、伝送遅延時間が最大の送信先に
データを送信した後、この送信先との差分時間分だけ遅
らせながら各データを送信することにより、液晶シャッ
タ眼鏡１が制御データを受信する時刻と各プロジェクタ
ー４−１〜４−Ｍが高輝度の映像データを受信する時刻
とを同時刻にすることができる。なお、図５（ｂ）で説
明した動作は、ステップ１０３の処理により一定時間ご
とに繰り返される。

【００４０】次に、液晶シャッタ眼鏡１の受信手段１０
は、入出力装置３が送信した制御データを受信する（図
６ステップ１１３）。液晶シャッタ眼鏡１の制御手段１
１は、受信手段１０が制御データを受信した場合、両眼
のシャッタを同時に閉じる（ステップ１１４）。また、
制御手段１１は、制御データを受信しない場合（ステッ
プ１１３においてＮＯ）、両眼のシャッタを交互に閉じ
る（ステップ１１５）。

【００４１】一方、各プロジェクター４−１〜４−Ｍの
受信手段４０−１〜４０−Ｍは、入出力装置３が送信し
た映像データを受信する（図６ステップ１１６）。各プ
ロジェクター４−１〜４−Ｍの投影手段４１−１〜４１
−Ｍは、受信手段４０−１〜４０−Ｍが受信した映像デ
ータを光情報に変換して鏡５に投影する（ステップ１１
７）。入出力装置３からの映像データを受信しない場
合、投影手段４１−１〜４１−Ｍは待機する（ステップ
１１６においてＮＯ）。

【００４２】次に、各カメラ７−１〜７−Ｎの画像取込
手段７０−１〜７０−Ｎは、スクリーン６に囲まれた空
間の画像を取り込む（図６ステップ１１８）。そして、
送信手段７１−１〜７１−Ｎは、画像取込手段７０−１
〜７０−Ｎによって取り込まれた画像情報を入出力装置
３に送信する（ステップ１１９）。各カメラ７−１〜７
−Ｎは、このような動作を常時繰り返している。

【００４３】次に、入出力装置３の入力手段３１内の受
信手段３１０は、カメラ７−１〜７−Ｎから送信された
画像情報を受信する（図６ステップ１２０）。受信手段
３１０は、画像情報を受信しない場合、これらを受信す
るまで待機状態となる。

【００４４】画像情報を受信すると、入力手段３１内の
選択手段３１１は、受信した画像情報が所定の条件に合
致するか否かを判断する（ステップ１２１）。つまり、
選択手段３１１は、映像記憶手段３２に予め記憶された
画像情報に含まれる所定位置の複数画素の階調値（輝度
値）と、受信した画像情報に含まれる同位置の複数画素
の階調値とを画素ごとに比較し、その差分値を画素ごと
に求める。

【００４５】そして、選択手段３１１は、差分値がしき
い値以下である画素の数が所定数以上であるとき、受信
した画像を処理対象として選択し、次のステップ１２２
に進み、差分値がしきい値以下である画素の数が所定数
より少ないとき、処理を終了する。選択手段３１１は、
このような判断を各カメラ７−１〜７−Ｎから受信した
画像ごとに行う。

【００４６】続いて、領域抽出手段３１２−１〜３１２
−Ｎは、選択手段３１１が選択した各画像中より使用者
の領域を抽出する（ステップ１２２）。使用者の領域を
抽出するには、平滑化フィルタ処理により画像上のノイ
ズを除去し、次に微分フィルタ処理によりエッジを求
め、最後に２値化処理によって使用者の輪郭を抽出す
る。

【００４７】領域分割手段３１３−１〜３１３−Ｎは、
領域抽出手段３１２−１〜３１２−Ｎによって抽出され
た使用者の領域を例えば右上腕、左上腕、右大腿、左大
腿といった各身体部位ごとに分割する（ステップ１２
３）。こうして、使用者の各身体部位の画像がカメラ７
−１〜７−Ｎの台数分だけ得られることになる。

【００４８】次に、位置検出手段３１４は、同一身体部
位を含む複数画像に基づき使用者の各身体部位の３次元
位置を求める（ステップ１２４）。動作推測手段３１５
は、位置検出手段３１４によって得られた各身体部位の
３次元位置により使用者の位置を推測する（ステップ１
２５）。

【００４９】使用者の動作を認識することができれば、
この動作をスクリーン６に映る仮想空間に反映させるこ
とができる。例えば、入出力装置３は、使用者の動作に
応じた人体がスクリーン６に投影されるように映像デー
タを生成し、この映像データをプロジェクター４−１〜
４−Ｍに出力する。これにより、使用者の動作を真似し
て動く人物がスクリーン６に投影される。

【００５０】図７（ａ）は、従来の動作認識方法におけ
る処理対象画像を示す図、図７（ｂ）は、本発明の動作
認識方法における処理対象画像を示す図である。従来の
画像処理を用いた動作認識方法では、スクリーンで囲ま
れた撮影対象となる空間が非常に暗いため、カメラで得
られる画像は、図７（ａ）のように全体が暗い画像とな
る。よって、使用者と背景との間に階調値の差がほとん
どないため、使用者の領域を抽出する処理に長時間を必
要とし、さらに誤った動作認識をする場合もある。

【００５１】本発明の動作認識方法では、入出力装置３
からプロジェクター４−１〜４−Ｍに高輝度の映像デー
タ、例えば白色の映像データを出力することにより、こ
の映像データが出力された瞬間、スクリーン６で囲まれ
た空間が明るくなるので、カメラ７−１〜７−Ｎで得ら
れる画像が、図７（ｂ）のように明るい画像となる。

【００５２】そして、入出力装置３の入力手段３１内の
選択手段３１１は、明るさが所定の条件に合致した画
像、すなわち図７（ｂ）のような明るい画像のみを処理
対象として選択する。したがって、使用者と背景との間
の階調値の差を従来よりも大きくすることができるの
で、画像処理および解析に要する時間を短縮することが
でき、さらに動作認識の信頼性を向上させることができ
る。

【００５３】なお、プロジェクター４−１〜４−Ｍが高
輝度の映像データを受信するのと同時に、液晶シャッタ
眼鏡１が制御データを受信するので、このとき液晶シャ
ッタ眼鏡１の両眼のシャッタが閉じた状態となる。した
がって、スクリーン６で囲まれた空間を一瞬明るくして
も、この瞬間、液晶シャッタ眼鏡１の両眼のシャッタが
閉じているので、使用者の視覚に影響を及ぼすことはな
い。

【００５４】［実施の形態の２］図８は、本発明の第２
の実施の形態となる入出力装置３の構成を示すブロック
図である。実施の形態の１の入出力装置（動作認識装
置）３の構成はコンピュータで実現することができる。

【００５５】本実施の形態の入出力装置３は、ＣＰＵ１
３１、ＲＯＭ（Read Only Memory）１３２、ＲＡＭ(Ran
dom Access Memory ）１３３、フロッピィディスク装置
等の補助記憶装置１３４、ハードディスク装置等の大容
量の補助記憶装置１３５、液晶シャッタ眼鏡１とのイン
タフェースとなるインタフェース装置１３６、プロジェ
クター４−１〜４−Ｍとのインタフェースとなるインタ
フェース装置１３７と、カメラ７−１〜７−Ｎとのイン
タフェースとなるインタフェース装置１３８といった構
成を有している。

【００５６】図８の装置において、本発明の動作認識方
法を実現させるためのプログラムは、フロッピィディス
ク、ＣＤ−ＲＯＭ、メモリカード等の記録媒体に記録さ
れた状態で提供される。この記録媒体を入出力装置３の
補助記憶装置１３４に挿入すると、媒体に記録されたプ
ログラムが読み取られる。そして、ＣＰＵ１３１は、読
み込んだプログラムをＲＡＭ１３３あるいは補助記憶装
置１３５に書き込み、このプログラムに従って図５、図
６で説明したような処理を実行する。こうして、実施の
形態の１と同様の動作を実現することができる。

【００５７】

【発明の効果】本発明によれば、画像処理を用いて使用
者の動作を認識するので、使用者の動きを制限すること
がなくなる。また、明るい環境下で画像を取り込み、使
用者と背景との間の階調値の差を従来よりも大きくする
ことができるので、画像処理および解析に要する時間を
短縮することができ、動作認識の信頼性を向上させるこ
とができる。

【００５８】また、プロジェクターが映像データを受信
するのと同時に、立体視眼鏡が制御データを受信するよ
うに各データを送信するので、仮想現実システム内の使
用者を含む空間を一瞬明るくしても、この瞬間、立体視
眼鏡の両眼のシャッタが閉じているので、使用者の視覚
に影響を及ぼすことなく、明るい画像を取り込むことが
できる。

【００５９】また、データ送信過程、送信時刻記憶過
程、データ受信過程、受信時刻記憶過程、データ識別過
程及び遅延時間算出過程を備えることにより、伝送遅延
時間を容易に測定することができる。

【図面の簡単な説明】

【図１】 本発明の第１の実施の形態となる仮想現実シ
ステムの構成を示すブロック図である。

【図２】 液晶シャッタ眼鏡の外観を示す図である。

【図３】 図１の液晶シャッタ眼鏡、プロジェクター、
カメラ及び入出力装置のブロック図である。

【図４】 図３の入出力装置の出力手段及び入力手段の
ブロック図である。

【図５】 入出力装置の初期時及び通常時の動作を示す
フローチャート図である。

【図６】 液晶シャッタ眼鏡、プロジェクター、カメラ
及び入出力装置の画像情報受信時の動作を示すフローチ
ャート図である。

【図７】 従来の動作認識方法及び本発明の動作認識方
法における処理対象画像を示す図である。

【図８】 本発明の第２の実施の形態となる入出力装置
の構成を示すブロック図である。

【符号の説明】

１…液晶シャッタ眼鏡、２…トランスミッタ、３…入出
力装置、４−１、４−Ｍ…プロジェクター、５…鏡、６
…スクリーン、７−１、７−Ｎ…カメラ、１０…受信手
段、１１…制御手段、３０…出力手段、３１…入力手
段、３２…映像記憶手段、４０−１、４０−Ｍ…受信手
段、４１−１、４１−Ｍ…投影手段、７０−１、７０−
Ｎ…画像取込手段、７１−１、７１−Ｎ…送信手段、３
００…測定手段、３０１…差分算出手段、３０２…制御
データ記憶手段、３０３…送信手段、３１０…受信手
段、３１１…選択手段、３１２−１、３１２−Ｎ…領域
抽出手段、３１３−１、３１３−Ｎ…領域分割手段、３
１４…位置検出手段、３１５…動作推測手段。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 志和 新一 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 (72)発明者 石橋 聡 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 Ｆターム(参考） 5B050 BA09 CA05 EA18 FA06 5B057 AA20 CA20 CB13 DA08 DC32 5C061 AA03 AB04 AB12 AB16 AB20 AB24

Claims (9)

【特許請求の範囲】
1. 【請求項１】 １つ又は複数のスクリーンを配置した仮
   想現実システムにおいて、この仮想現実システム内に実
   在する立体視眼鏡を装着した使用者の実時間動作を認識
   する動作認識方法であって、 予め用意された映像データを送信する送信過程と、 映像データをプロジェクターで受信してスクリーンに投
   影する投影過程と、 仮想現実システム内の前記使用者を含む空間の画像を複
   数のカメラにより取り込む画像取込過程と、取り込んだ
   画像情報を送信する送信過程と、 カメラから送信された画像情報を受信する受信過程と、 予め用意された画像情報に含まれる複数画素の階調値と
   受信した画像情報に含まれる複数画素の階調値とを画素
   ごとに比較し、その差分値がしきい値以下である画素の
   数が所定数以上であるとき、前記受信画像を処理対象と
   して選択する選択過程と、 選択した画像から使用者の領域を抽出する領域抽出過程
   と、 各画像より抽出した使用者の領域を身体部位ごとに分割
   する領域分割過程と、 同一身体部位を含む複数画像に基づき使用者の各身体部
   位の３次元位置を求める位置検出過程と、 使用者の各身体部位の３次元位置を基に使用者の動作を
   推測する動作推測過程とを有することを特徴とする動作
   認識方法。
2. 【請求項２】 請求項１記載の動作認識方法において、 前記送信過程の前に、映像データをプロジェクターに送
   るのに必要な伝送遅延時間を測定すると共に、立体視眼
   鏡のシャッタの開閉を制御する制御データを立体視眼鏡
   に送るのに必要な伝送遅延時間を測定する測定過程を有
   し、 前記送信過程は、測定した伝送遅延時間に基づいて、プ
   ロジェクターが映像データを受信する時刻と立体視眼鏡
   が制御データを受信する時刻とが同時になるように各デ
   ータを送信するものであり、 制御データを受信した立体視眼鏡が両眼のシャッタを同
   時に閉じる制御過程を有することを特徴とする動作認識
   方法。
3. 【請求項３】 請求項２記載の動作認識方法において、 前記測定過程は、プロジェクターおよび立体視眼鏡用に
   予め用意された各送信データをプロジェクターと立体視
   眼鏡に送信するデータ送信過程と、 データを送信した送信時刻を記憶する送信時刻記憶過程
   と、 データを受信したプロジェクターおよび立体視眼鏡が即
   時に送り返したデータを受信するデータ受信過程と、 データを受信した受信時刻を記憶する受信時刻記憶過程
   と、 受信データをプロジェクターあるいは立体視眼鏡のどち
   らが返信したのかを識別するデータ識別過程と、 識別したデータの受信時刻から同データの送信時刻を引
   いて差分時間を求め、その１／２の時間を前記伝送遅延
   時間として算出する遅延時間算出過程とを備えることを
   特徴とする動作認識方法。
4. 【請求項４】 １つ又は複数のスクリーンを配置した仮
   想現実システムにおいて、この仮想現実システム内に実
   在する立体視眼鏡を装着した使用者の実時間動作を認識
   する動作認識装置であって、 予め用意された映像データをプロジェクターに送信する
   送信手段と、 仮想現実システム内の前記使用者を含む空間の画像を取
   り込んだ複数のカメラより画像情報を受信する受信手段
   と、 予め用意された画像情報に含まれる複数画素の階調値と
   受信した画像情報に含まれる複数画素の階調値とを画素
   ごとに比較し、その差分値がしきい値以下である画素の
   数が所定数以上であるとき、前記受信画像を処理対象と
   して選択する選択手段と、 選択した画像から使用者の領域を抽出する領域抽出手段
   と、 各画像より抽出した使用者の領域を身体部位ごとに分割
   する領域分割手段と、 同一身体部位を含む複数画像に基づき使用者の各身体部
   位の３次元位置を求める位置検出手段と、 使用者の各身体部位の３次元位置を基に使用者の動作を
   推測する動作推測手段とを有することを特徴とする動作
   認識装置。
5. 【請求項５】 請求項４記載の動作認識装置において、 前記送信手段が映像データを送信する前に、映像データ
   をプロジェクターに送るのに必要な伝送遅延時間を測定
   すると共に、立体視眼鏡が両目のシャッタを同時に閉じ
   るよう制御するための制御データを立体視眼鏡に送るの
   に必要な伝送遅延時間を測定する測定手段を有し、 前記送信手段は、測定手段が測定した伝送遅延時間に基
   づいて、プロジェクターが映像データを受信する時刻と
   立体視眼鏡が制御データを受信する時刻とが同時になる
   ように各データを送信することを特徴とする動作認識装
   置。
6. 【請求項６】 請求項５記載の動作認識装置において、 前記測定手段は、プロジェクターおよび立体視眼鏡用に
   予め用意された各送信データをプロジェクターと立体視
   眼鏡に送信し、データを送信した送信時刻を記憶し、デ
   ータを受信したプロジェクターおよび立体視眼鏡が即時
   に送り返したデータを受信し、データを受信した受信時
   刻を記憶し、受信データをプロジェクターあるいは立体
   視眼鏡のどちらが返信したのかを識別し、識別したデー
   タの受信時刻から同データの送信時刻を引いて差分時間
   を求め、その１／２の時間を前記伝送遅延時間として算
   出することを特徴とする動作認識装置。
7. 【請求項７】 １つ又は複数のスクリーンを配置した仮
   想現実システムにおいて、この仮想現実システム内に実
   在する立体視眼鏡を装着した使用者の実時間動作を認識
   する動作認識プログラムを記録した記録媒体であって、 予め用意された映像データをプロジェクターに送信する
   送信過程と、 仮想現実システム内の前記使用者を含む空間の画像を取
   り込んだ複数のカメラより画像情報を受信する受信過程
   と、 予め用意された画像情報に含まれる複数画素の階調値と
   受信した画像情報に含まれる複数画素の階調値とを画素
   ごとに比較し、その差分値がしきい値以下である画素の
   数が所定数以上であるとき、前記受信画像を処理対象と
   して選択する選択過程と、 選択した画像から使用者の領域を抽出する領域抽出過程
   と、 各画像より抽出した使用者の領域を身体部位ごとに分割
   する領域分割過程と、 同一身体部位を含む複数画像に基づき使用者の各身体部
   位の３次元位置を求める位置検出過程と、 使用者の各身体部位の３次元位置を基に使用者の動作を
   推測する動作推測過程とをコンピュータに実行させるた
   めの動作認識プログラムを記録した記録媒体。
8. 【請求項８】 請求項７記載の動作認識プログラムを記
   録した記録媒体において、 前記送信過程の前に、映像データをプロジェクターに送
   るのに必要な伝送遅延時間を測定すると共に、立体視眼
   鏡が両目のシャッタを同時に閉じるよう制御するための
   制御データを立体視眼鏡に送るのに必要な伝送遅延時間
   を測定する測定過程を有し、 前記送信過程は、測定した伝送遅延時間に基づいて、プ
   ロジェクターが映像データを受信する時刻と立体視眼鏡
   が制御データを受信する時刻とが同時になるように各デ
   ータを送信することを特徴とする動作認識プログラムを
   記録した記録媒体。
9. 【請求項９】 請求項８記載の動作認識プログラムを記
   録した記録媒体において、 前記測定過程は、プロジェクターおよび立体視眼鏡用に
   予め用意された各送信データをプロジェクターと立体視
   眼鏡に送信するデータ送信過程と、 データを送信した送信時刻を記憶する送信時刻記憶過程
   と、 データを受信したプロジェクターおよび立体視眼鏡が即
   時に送り返したデータを受信するデータ受信過程と、 データを受信した受信時刻を記憶する受信時刻記憶過程
   と、 受信データをプロジェクターあるいは立体視眼鏡のどち
   らが返信したのかを識別するデータ識別過程と、 識別したデータの受信時刻から同データの送信時刻を引
   いて差分時間を求め、その１／２の時間を前記伝送遅延
   時間として算出する遅延時間算出過程とを備えることを
   特徴とする動作認識プログラムを記録した記録媒体。