JP2001025033A - 動作認識方法、動作認識装置及び動作認識プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 画像処理および解析に要する時間を短縮し、
動作認識の信頼性を向上させる。 【解決手段】 入出力装置３は、液晶シャッタ眼鏡１に
取り付けられたセンサより３次元位置情報を受信し、複
数のカメラ７−１〜７−Ｎより画像情報を受信する。入
出力装置３は、各画像上において３次元位置情報が示す
位置を特定し、特定した位置を基準点として所定の範囲
を選択し、画像処理の対象となる領域を限定する。入出
力装置３は、各画像上の選択した範囲より使用者の領域
を抽出し、使用者の領域を身体部位ごとに分割し、同一
身体部位を含む複数画像に基づき使用者の各身体部位の
３次元位置を求め、使用者の動作を推測する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、立体視を用いた仮
想現実システムにおいて使用者の実時間動作を認識する
動作認識方法、動作認識装置及び動作認識プログラムを
記録した記録媒体に関するものである。

【０００２】

【従来の技術】従来より、架空の世界を構築し、この世
界を現実のように知覚させる仮想現実システムが提案さ
れている。この仮想現実システムでは、１つまたは複数
のスクリーンを配置し、使用者を映像で囲むような構造
になっている。使用者は、立体視眼鏡である液晶シャッ
タ眼鏡を装着するため、スクリーンに映る仮想空間を立
体的に見ることができる。このとき、使用者の実時間動
作を認識し、この動作を仮想空間に反映させることで、
使用者は、仮想空間を擬似的に体験することができる。

【０００３】このような仮想現実システムでは、モーシ
ョンキャプチャ（Motion Capture）を用いて使用者の動
作を認識している。モーションキャプチャは、人体に取
り付けた複数の磁気センサ等によって３次元空間での人
体の動き（各関節の動き）を連続的に測定し、デジタル
データとして取り込むための装置である。モーションキ
ャプチャを使用すれば、使用者の動作を実時間で認識す
ることが可能である。しかし、この方法では、肩、肘と
いった人体の各関節点にセンサを装着する必要があり、
これら複数のセンサとの接続のために複数のケーブルが
必要となる。したがって、使用者の動きがケーブルによ
って制限されるという問題点があり、さらに他の磁気の
影響を受けると、正しく測定できないという問題点があ
った。

【０００４】これに対して、互いに異なる方向から撮像
するように設置された複数のカメラで画像を取り込み、
取り込んだ画像を処理して解析することにより、使用者
の動作を認識する方法がある。この方法では、使用者の
動きを制限しないため、自由な動作が可能である。しか
し、仮想現実システムでは、スクリーンに映像を投影す
る関係上、周囲にスクリーンが配置された、使用者を収
容する空間の照明を暗くしている。このため、カメラで
撮像する画像も全体的に暗くなり、使用者の領域を抽出
することが難しくなるので、画像処理および解析に長時
間を必要とするという問題点があり、さらに動作認識の
信頼性が低いという問題点があった。

【０００５】

【発明が解決しようとする課題】以上のように従来の仮
想現実システムでは、モーションキャプチャを用いて使
用者の動作を認識しようとすると、使用者の動きがケー
ブルによって制限されるという問題点があり、他の磁気
の影響を受けると、正しく測定できないという問題点が
あった。また、画像処理によって使用者の動作を認識し
ようとすると、画像処理および解析に長時間を必要と
し、動作認識の信頼性が低くなるという問題点があっ
た。本発明は、上記課題を解決するためになされたもの
で、使用者の動きを制限しない画像処理を用いて使用者
の動作を認識する際に、画像処理および解析に要する時
間を短縮することができ、動作認識の信頼性を向上させ
ることができる動作認識方法、動作認識装置及び動作認
識プログラムを記録した記録媒体を提供することを目的
とする。

【０００６】

【課題を解決するための手段】本発明の動作認識方法
は、立体視眼鏡に取り付けられたセンサにより３次元位
置を検出する検出過程（ステップ１００）と、３次元位
置情報を送信する送信過程（ステップ１０１）と、仮想
現実システム内の上記使用者を含む空間の画像を複数の
カメラにより取り込む画像取込過程（ステップ１０２）
と、取り込んだ画像情報を送信する送信過程（ステップ
１０３）と、センサから送信された３次元位置情報およ
びカメラから送信された画像情報を受信する受信過程
（ステップ１０４，１０５）と、受信した各画像上にお
いて３次元位置情報が示す位置を特定する特定過程（ス
テップ１０６）と、この特定された位置を基準点として
所定の範囲を選択することを各画像ごとに行う範囲選択
過程（ステップ１０７）と、各画像上の選択した範囲よ
り使用者の領域を抽出する領域抽出過程（ステップ１０
８）と、各画像より抽出した使用者の領域を身体部位ご
とに分割する領域分割過程（ステップ１０９）と、同一
身体部位を含む複数画像に基づき使用者の各身体部位の
３次元位置を求める位置検出過程（ステップ１１０）
と、使用者の各身体部位の３次元位置を基に使用者の動
作を推測する動作推測過程（ステップ１１１）とを有す
るものである。本発明の動作認識方法では、使用者の頭
部に装着された立体視眼鏡のセンサで３次元位置を検出
することにより、カメラで取り込んだ画像上で使用者の
頭部があると推定される位置を特定でき、この位置を基
準点として所定の範囲、すなわち使用者の身体があると
推定される範囲を選択することができる。これにより、
カメラで取り込んだ画像上で使用者の大まかな領域を把
握し、画像処理の対象となる領域を限定することができ
る。

【０００７】また、本発明の動作認識装置（３）は、立
体視眼鏡（１）に取り付けられたセンサ（１ａ）より３
次元位置情報を受信すると共に、仮想現実システム内の
上記使用者を含む空間の画像を取り込んだ複数のカメラ
（７−１〜７−Ｎ）より画像情報を受信する受信手段
（３０）と、受信した各画像上において３次元位置情報
が示す位置を特定する特定手段（３１）と、特定手段に
よって特定された位置を基準点とする所定の範囲を各画
像から抽出するために、上記所定の範囲を定めた範囲デ
ータを記憶する範囲データ記憶手段（３２）と、特定手
段によって特定された位置を基準点として上記範囲デー
タが指定する範囲を選択することを各画像ごとに行う範
囲選択手段（３３）と、各画像上の選択した範囲より使
用者の領域を抽出する領域抽出手段（３４−１〜３４−
Ｎ）と、各画像より抽出した使用者の領域を身体部位ご
とに分割する領域分割手段（３５−１〜３５−Ｎ）と、
同一身体部位を含む複数画像に基づき使用者の各身体部
位の３次元位置を求める位置検出手段（３６）と、使用
者の各身体部位の３次元位置を基に使用者の動作を推測
する動作推測手段（３７）とを有するものである。

【０００８】また、本発明の動作認識プログラムを記録
した記録媒体は、立体視眼鏡に取り付けられたセンサよ
り３次元位置情報を受信すると共に、仮想現実システム
内の上記使用者を含む空間の画像を取り込んだ複数のカ
メラより画像情報を受信する受信過程と、受信した各画
像上において３次元位置情報が示す位置を特定する特定
過程と、この特定された位置を基準点として所定の範囲
を選択することを各画像ごとに行う範囲選択過程と、各
画像上の選択した範囲より使用者の領域を抽出する領域
抽出過程と、各画像より抽出した使用者の領域を身体部
位ごとに分割する領域分割過程と、同一身体部位を含む
複数画像に基づき使用者の各身体部位の３次元位置を求
める位置検出過程と、使用者の各身体部位の３次元位置
を基に使用者の動作を推測する動作推測過程とをコンピ
ュータに実行させるための動作認識プログラムを記録し
たものである。

【０００９】

【発明の実施の形態】［実施の形態の１］次に、本発明
の実施の形態について図面を参照して詳細に説明する。
図１は、本発明の第１の実施の形態となる仮想現実シス
テムの構成を示すブロック図である。図１の仮想現実シ
ステムは、システム内に実在する使用者が装着する立体
視眼鏡である液晶シャッタ眼鏡１と、磁界発生源である
トランスミッタ２と、システム全体を制御する入出力装
置（動作認識装置）３と、映像をスクリーンに投影する
ためのプロジェクター４と、プロジェクター４からの光
を反射する鏡５と、スクリーン６と、スクリーン６に囲
まれた使用者を撮像する複数のカメラ７−１〜７−Ｎと
から構成されている。なお、図１では、複数のカメラ７
−１〜７−Ｎのうち、７−１，７−Ｎのみ記載してい
る。

【００１０】立体視を用いた仮想現実システムは、例え
ば前方のスクリーンの他に上下左右にもスクリーンを配
置して、使用者を映像で囲むような構造になっている。
使用者は、液晶シャッタ眼鏡１を装着するため、あたか
もその世界の中に入り込んでいるかのような高い現実感
を得ることができる。

【００１１】液晶シャッタ眼鏡１は、天井から吊り下げ
られたケーブルによって入出力装置３と接続されてい
る。この液晶シャッタ眼鏡１には、トランスミッタ２か
ら発生した磁界を検出する磁気センサが取り付けられて
いる。この磁気センサは、検出した磁界に基づいて自身
の３次元位置を検出し、３次元位置情報を入出力装置３
に送信する。入出力装置３は、磁気センサから送信され
た３次元位置情報とカメラ７−１〜７−Ｎから送信され
た画像情報とを受信した後、これらの情報に応じた映像
データをプロジェクター４に出力する。

【００１２】プロジェクター４は、入出力装置３から出
力された映像データを光情報に変換して鏡５に投影す
る。鏡５は、プロジェクター４からの光を反射してスク
リーン６に投影する。入出力装置３から出力される映像
データは、左右の眼に異なる映像を提示するデータとな
っており、この映像をスクリーン６に投影することによ
り、液晶シャッタ眼鏡１を装着した使用者に立体感を与
え、立体感のある仮想空間を使用者に提示することが可
能となる。

【００１３】次に、以上のような仮想現実システムの動
作を説明する。図２は、磁気センサ１ａ、カメラ７−１
〜７−Ｎ、入出力装置３のブロック図、図３（ａ）は、
磁気センサ１ａの動作を示すフローチャート図、図３
（ｂ）は、カメラ７−１〜７−Ｎの動作を示すフローチ
ャート図、図３（ｃ）は、入出力装置３の動作を示すフ
ローチャート図である。

【００１４】液晶シャッタ眼鏡１に取り付けられた磁気
センサ１ａは、検出手段１０と送信手段１１とを備えて
いる。検出手段１０には、トランスミッタ２から発生し
た磁界により誘導電流が生じる。検出手段１０は、この
誘導電流に応じて自身の３次元位置、つまり使用者の頭
部の３次元位置を検出する（ステップ１００）。

【００１５】送信手段１１は、検出手段１０によって検
出された３次元位置情報を入出力装置３に送信する（ス
テップ１０１）。一方、スクリーン６に囲まれた空間を
互いに異なる方向から撮像するように設置されたカメラ
７−１〜７−Ｎは、それぞれ画像取込手段７０−１〜７
０−Ｎと送信手段７１−１〜７１−Ｎとを備えている。

【００１６】各カメラ７−１〜７−Ｎの画像取込手段７
０−１〜７０−Ｎは、スクリーン６に囲まれた空間の画
像を取り込む（ステップ１０２）。そして、送信手段７
１−１〜７１−Ｎは、画像取込手段７０−１〜７０−Ｎ
によって取り込まれた画像情報を入出力装置３に送信す
る（ステップ１０３）。

【００１７】次に、入出力装置３は、受信手段３０と、
特定手段３１と、範囲データ記憶手段３２と、範囲選択
手段３３と、領域抽出手段３４−１〜３４−Ｎと、領域
分割手段３５−１〜３５−Ｎと、位置検出手段３６と、
動作推測手段３７とを備えている。領域抽出手段３４−
１〜３４−Ｎと領域分割手段３５−１〜３５−Ｎは、カ
メラ７−１〜７−Ｎごとに設けられている。

【００１８】入出力装置３の受信手段３０は、磁気セン
サ１ａから送信された３次元位置情報とカメラ７−１〜
７−Ｎから送信された画像情報とを受信する（ステップ
１０４，１０５）。入出力装置３は、３次元位置情報と
画像情報を受信しない場合、これらを受信するまで待機
状態となる。

【００１９】３次元位置情報と画像情報を受信すると、
入出力装置３の特定手段３１は、カメラ７−１〜７−Ｎ
から受信した各画像上において３次元位置情報が示す位
置を特定する（ステップ１０６）。範囲データ記憶手段
３２は、特定手段３１によって特定された位置を基準点
とする所定の範囲を各画像から抽出するために、上記所
定の範囲を定めた範囲データを記憶している。この範囲
データは、使用者によって予め設定される。

【００２０】範囲選択手段３３は、特定手段３１によっ
て特定された位置を基準点として上記範囲データが指定
する範囲を選択することを、各画像ごとに行う（ステッ
プ１０７）。続いて、領域抽出手段３４−１〜３４−Ｎ
は、範囲選択手段３３が選択した各画像中の範囲より使
用者の領域をそれぞれ抽出する（ステップ１０８）。

【００２１】使用者の領域を抽出するには、平滑化フィ
ルタ処理により画像上のノイズを除去し、次に微分フィ
ルタ処理によりエッジを求め、最後に２値化処理によっ
て使用者の輪郭を抽出する。領域分割手段３５−１〜３
５−Ｎは、領域抽出手段３４−１〜３４−Ｎによって抽
出された使用者の領域を例えば右上腕、左上腕、右大
腿、左大腿といった各身体部位ごとに分割する（ステッ
プ１０９）。

【００２２】こうして、使用者の各身体部位の画像がカ
メラ７−１〜７−Ｎの台数分だけ得られることになる。
次に、位置検出手段３６は、同一身体部位を含む複数画
像に基づき使用者の各身体部位の３次元位置を求める
（ステップ１１０）。動作推測手段３７は、位置検出手
段３６によって得られた各身体部位の３次元位置により
使用者の位置を推測する（ステップ１１１）。

【００２３】使用者の動作を認識することができれば、
この動作をスクリーン６に映る仮想空間に反映させるこ
とができる。例えば、入出力装置３は、使用者の動作に
応じた人体がスクリーン６に投影されるように映像デー
タを生成し、この映像データをプロジェクター４に出力
する。これにより、使用者の動作を真似して動く人物が
スクリーン６に投影される。

【００２４】図４（ａ）は、従来の動作認識方法におけ
る画像処理対象領域を示す図、図４（ｂ）は、本発明の
動作認識方法における画像処理対象領域を示す図であ
る。従来の画像処理を用いた動作認識方法では、図４
（ａ）のようにカメラで撮影した画像中の全画素を画像
処理の対象としていた。この場合、使用者の領域を抽出
する処理に長時間を必要とし、さらに誤った動作認識を
する場合もある。

【００２５】本発明の動作認識方法では、使用者の頭部
に装着された液晶シャッタ眼鏡１の磁気センサ１ａで３
次元位置を検出することにより、カメラ７−１〜７−Ｎ
で取り込んだ画像上で使用者の頭部があると推定される
位置を特定でき、この位置を基準点として所定の範囲、
すなわち使用者の身体があると推定される範囲を選択す
ることができる。

【００２６】こうして、本発明では、図４（ｂ）のよう
にカメラ７−１〜７−Ｎで取り込んだ画像上で使用者の
大まかな領域を把握し、画像処理の対象となる領域を限
定する。したがって、画像処理の対象となる画素数が減
るので、画像処理および解析に要する時間を短縮するこ
とができ、さらに動作認識の信頼性を向上させることが
できる。

【００２７】［実施の形態の２］図５は、本発明の第２
の実施の形態となる入出力装置３の構成を示すブロック
図である。実施の形態の１の入出力装置（動作認識装
置）３の構成はコンピュータで実現することができる。
本実施の形態の入出力装置３は、ＣＰＵ１１２、ＲＯＭ
（Read Only Memory）１１３、ＲＡＭ(Random Access M
emory ）１１４、フロッピィディスク装置等の補助記憶
装置１１５、ハードディスク装置等の大容量の補助記憶
装置１１６、磁気センサ１ａとのインタフェースとなる
インタフェース装置１１７、カメラ７−１〜７−Ｎとの
インタフェースとなるインタフェース装置１１８、プロ
ジェクター４とのインタフェースとなるインタフェース
装置１１９といった構成を有している。

【００２８】図５の装置において、本発明の動作認識方
法を実現させるためのプログラムは、フロッピィディス
ク、ＣＤ−ＲＯＭ、メモリカード等の記録媒体に記録さ
れた状態で提供される。この記録媒体を入出力装置３の
補助記憶装置１１５に挿入すると、媒体に記録されたプ
ログラムが読み取られる。そして、ＣＰＵ１１２は、読
み込んだプログラムをＲＡＭ１１４あるいは補助記憶装
置１１６に書き込み、このプログラムに従って図３
（ｃ）で説明したような処理を実行する。こうして、実
施の形態の１と同様の動作を実現することができる。

【００２９】

【発明の効果】本発明によれば、画像処理を用いて使用
者の動作を認識するので、使用者の動きを制限すること
がなくなる。また、カメラで取り込んだ画像上で画像処
理の対象となる領域を限定することができるので、画像
処理および解析に要する時間を短縮することができ、動
作認識の信頼性を向上させることができる。

【図面の簡単な説明】

【図１】 本発明の第１の実施の形態となる仮想現実シ
ステムの構成を示すブロック図である。

【図２】 図１の磁気センサ、カメラ及び入出力装置の
ブロック図である。

【図３】 磁気センサ、カメラ及び入出力装置の動作を
示すフローチャート図である。

【図４】 従来の動作認識方法及び本発明の動作認識方
法における画像処理対象領域を示す図である。

【図５】 本発明の第２の実施の形態となる入出力装置
の構成を示すブロック図である。

【符号の説明】

１…液晶シャッタ眼鏡、２…トランスミッタ、３…入出
力装置、４…プロジェクター、５…鏡、６…スクリー
ン、７−１、７−Ｎ…カメラ、１ａ…磁気センサ、１０
…検出手段、１１…送信手段、３０…受信手段、３１…
特定手段、３２…範囲データ記憶手段、３３…範囲選択
手段、３４−１、３４−Ｎ…領域抽出手段、３５−１、
３５−Ｎ…領域分割手段、３６…位置検出手段、３７…
動作推測手段、７０−１、７０−Ｎ…画像取込手段、７
１−１、７１−Ｎ…送信手段。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 志和 新一 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 (72)発明者 石橋 聡 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 Ｆターム(参考） 2F065 AA04 AA51 BB05 CC16 DD06 FF04 FF67 JJ03 JJ05 JJ19 LL12 QQ00 QQ04 QQ13 QQ32 QQ33 QQ34 SS01 SS12 5B057 BA06 DA07 DB03 5C061 AA03 AA21 AB04

Claims (3)

【特許請求の範囲】
1. 【請求項１】 １つ又は複数のスクリーンを配置した仮
   想現実システムにおいて、この仮想現実システム内に実
   在する立体視眼鏡を装着した使用者の実時間動作を認識
   する動作認識方法であって、 立体視眼鏡に取り付けられたセンサにより３次元位置を
   検出する検出過程と、３次元位置情報を送信する送信過
   程と、 仮想現実システム内の前記使用者を含む空間の画像を複
   数のカメラにより取り込む画像取込過程と、取り込んだ
   画像情報を送信する送信過程と、 センサから送信された３次元位置情報およびカメラから
   送信された画像情報を受信する受信過程と、 受信した各画像上において３次元位置情報が示す位置を
   特定する特定過程と、 この特定された位置を基準点として所定の範囲を選択す
   ることを各画像ごとに行う範囲選択過程と、 各画像上の選択した範囲より使用者の領域を抽出する領
   域抽出過程と、 各画像より抽出した使用者の領域を身体部位ごとに分割
   する領域分割過程と、 同一身体部位を含む複数画像に基づき使用者の各身体部
   位の３次元位置を求める位置検出過程と、 使用者の各身体部位の３次元位置を基に使用者の動作を
   推測する動作推測過程とを有することを特徴とする動作
   認識方法。
2. 【請求項２】 １つ又は複数のスクリーンを配置した仮
   想現実システムにおいて、この仮想現実システム内に実
   在する立体視眼鏡を装着した使用者の実時間動作を認識
   する動作認識装置であって、 立体視眼鏡に取り付けられたセンサより３次元位置情報
   を受信すると共に、仮想現実システム内の前記使用者を
   含む空間の画像を取り込んだ複数のカメラより画像情報
   を受信する受信手段と、 受信した各画像上において３次元位置情報が示す位置を
   特定する特定手段と、 特定手段によって特定された位置を基準点とする所定の
   範囲を各画像から抽出するために、前記所定の範囲を定
   めた範囲データを記憶する範囲データ記憶手段と、 特定手段によって特定された位置を基準点として前記範
   囲データが指定する範囲を選択することを各画像ごとに
   行う範囲選択手段と、 各画像上の選択した範囲より使用者の領域を抽出する領
   域抽出手段と、 各画像より抽出した使用者の領域を身体部位ごとに分割
   する領域分割手段と、 同一身体部位を含む複数画像に基づき使用者の各身体部
   位の３次元位置を求める位置検出手段と、 使用者の各身体部位の３次元位置を基に使用者の動作を
   推測する動作推測手段とを有することを特徴とする動作
   認識装置。
3. 【請求項３】 １つ又は複数のスクリーンを配置した仮
   想現実システムにおいて、この仮想現実システム内に実
   在する立体視眼鏡を装着した使用者の実時間動作を認識
   する動作認識プログラムを記録した記録媒体であって、 立体視眼鏡に取り付けられたセンサより３次元位置情報
   を受信すると共に、仮想現実システム内の前記使用者を
   含む空間の画像を取り込んだ複数のカメラより画像情報
   を受信する受信過程と、 受信した各画像上において３次元位置情報が示す位置を
   特定する特定過程と、 この特定された位置を基準点として所定の範囲を選択す
   ることを各画像ごとに行う範囲選択過程と、 各画像上の選択した範囲より使用者の領域を抽出する領
   域抽出過程と、 各画像より抽出した使用者の領域を身体部位ごとに分割
   する領域分割過程と、 同一身体部位を含む複数画像に基づき使用者の各身体部
   位の３次元位置を求める位置検出過程と、 使用者の各身体部位の３次元位置を基に使用者の動作を
   推測する動作推測過程とをコンピュータに実行させるた
   めの動作認識プログラムを記録した記録媒体。