JP2011070368A - プレゼンテーションシステム - Google Patents

Abstract

【課題】通常の表示装置を用いることができ、発表者が演台上を自由に動き回りながら、手を自由に動かすことができるプレゼンテーションシステムを提供する。
【解決手段】発表者１６は、目の位置と手首の位置と複数の指先の位置とを検出するためのモーションキャプチャマーカを装着している。カメラ装置１１とカメラ装置１２とカメラ装置１３は発表者を撮影し、これらのモーションキャプチャマーカが写っている画像データを取得する。コンピュータ１４は、取得された画像データに基づいて、これらのモーションキャプチャマーカの位置を求める。コンピュータ１４は、各モーションキャプチャマーカの間の位置関係に基づいてスクリーン１５上の位置を求め、その位置にマウスカーソル等を表示する。また、コンピュータ１４は、各モーションキャプチャマーカの位置の変化を求め、これらの位置の変化に基づいてクリックやドラッグ＆ドロップ等の操作指示を求める。
【選択図】図１

Description

本発明は、大画面の表示装置を用いてプレゼンテーションを行うプレゼンテーションシステムに関する。

大勢の聴衆に対して大画面の表示装置（スクリーン）を用いてプレゼンテーションを行うプレゼンテーションシステムが知られている。このプレゼンテーションシステムは、プレゼンテーションソフトを動作させるコンピュータと、コンピュータ上で動作するプレゼンテーションソフトと、コンピュータの画面が表示されるスクリーンと、画面を指し示すためのポインティング装置とで構成される。
発表者は、コンピュータにプレゼンテーションソフトを実行させて、発表資料をスクリーンに表示させる。そして、発表者は、ポインティング装置によりスクリーン上の聴衆に参照して欲しい部分を指し示す。

ポインティング装置として、マウスやレーザーが用いられる。
しかし、レーザーを用いたポインティング装置を用いる場合、発表者はポインティング装置の操作を行うために手が塞がってしまう。このため、発表者はプレゼンテーション中にポインティング装置以外の物を持つことができない。また、発表者は実行中のプレゼンテーションソフトに対する操作を入力することができない。

一方、ポインティング装置としてマウスを用いる場合、発表者は、手元のモニタを参照しながらマウス操作を行うことが多い。発表者は、マウスの移動によりスクリーン上のマウスカーソルを移動させ、マウスクリック操作等により実行中のプレゼンテーションソフトに対する操作を入力する。
しかし、マウスを用いる場合であっても発表者がプレゼンテーション中にポインティング装置以外の物を持つことができない点は、レーザーを用いたポインティング装置と同様である。さらに、発表者は、モニタの置いてある場所から離れられなくなり、聴衆と向き合わず、モニタと向かい合いながら発表を行わなければならない

特許文献１は、プレゼンテーション中に発表者が演台上を自由に移動できるように、赤外光発射装置をポインティング装置として用いるプレゼンテーションシステムを開示する。特許文献１に開示されたプレゼンテーションシステムでは、赤外光発射装置から発射された赤外光を赤外光検出装置で検出することにより、実行中のプレゼンテーションソフトに対する操作が入力される。

特開２０００−２０２３８号公報

しかしながら、特許文献１に開示されている技術でも、発表者は赤外光発射装置の操作を行うために手が塞がる。このため、発表者は、プレゼンテーション中に赤外光発射装置以外の物を持つことができない点はマウスを用いる場合と同様である。
また、特許文献１に開示されている技術では、スクリーンに向けて発射された赤外光を検出する機能を持った特別なスクリーンが必要である。

本発明は、通常の表示装置を用いることができ、発表者が演台上を自由に動き回りながら、手を自由に動かすことができるプレゼンテーションシステムを提供することを目的とする。

上記目的を達成するため、本発明に係るプレゼンテーションシステムは、
画面を表示する画面表示装置と、
発表者によって装着される複数のモーションキャプチャマーカと、
前記複数のモーションキャプチャマーカを撮影し、当該複数のモーションキャプチャマーカが写っている画像を取得する撮影手段と、
前記撮影手段によって取得された画像に基づいて前記画面表示装置によって表示されている画面上の位置を求める画面位置決定手段と、
前記撮影手段によって取得された画像に基づいて所定の操作を指示する操作指示を求める操作指示決定手段と、
を備えることを特徴とするプレゼンテーションシステム。

好ましくは、本発明に係るプレゼンテーションシステムは、
前記撮影手段によって取得された画像に基づいて各モーションキャプチャマーカの位置を求めるモーションキャプチャマーカ検出手段を備え、
前記画面位置決定手段が、前記モーションキャプチャマーカ検出手段によって求められた各モーションキャプチャマーカの間の位置の関係に基づいて前記画面上の位置を求め、
前記操作指示決定手段が、前記モーションキャプチャマーカ検出手段によって求められた各モーションキャプチャマーカの位置の変化を求め、当該各モーションキャプチャマーカの位置の変化に基づいて前記操作指示を求める、
ことを特徴とする。

好ましくは、前記複数のモーションキャプチャマーカが、発表者の目の位置を検出するための１対の目キャプチャマーカと、発表者の左右いずれかの手首に装着されて当該手首の位置を検出するための手首キャプチャマーカと、前記手首キャプチャマーカが装着される手の複数の指に装着される複数の指キャプチャマーカとを含み、
前記画面位置決定手段が、前記１対の目キャプチャマーカと、前記手首キャプチャマーカと、前記複数の指キャプチャマーカとのうち、少なくとも２つの位置の関係に基づいて、前記画面上の位置を求め、
前記操作指示決定手段が、前記手首キャプチャマーカの位置の変化と、前記複数の指キャプチャマーカの位置の変化とに基づいて、クリック、ドラッグ、ドロップ、マーク付け開始、マーク付け中、マーク付け終了、マーク消し開始、マーク消し中およびマーク消し終了のいずれかの操作指示を求める、
ことを特徴とする。

本発明によれば、通常の表示装置を用いることができ、発表者はプレゼンテーションを行っている間、演台上を自由に動き回りながら、手を自由に動かすことができる。

本発明の実施形態に係るプレゼンテーションシステムの構成の一例を示す図である。 本発明の実施形態に係るプレゼンテーションシステム１０のブロック図である。 モーションキャプチャマーカの垂直方向の取り付け位置の一例を示す図である。 モーションキャプチャマーカの水平方向の取り付け位置の一例を示す図である。 クリック操作を検知する場合の手首と指先１の位置の変化の一例を示す図である。 スクリーンに表示されているプレゼンテーション資料上でマークを付ける場合の手首と指先１と指先２の位置の変化の一例を示す図である。 スクリーンに表示されているプレゼンテーション資料上でマークを消す場合の手首と指先１と指先２と指先３の位置の変化の一例を示す図である。 ポインティングプログラムの実行するポインティング処理のフローチャートの一例を示す図である。

以下、本発明の実施形態について図面を参照しながら説明する。

図１は、本発明の実施形態に係るプレゼンテーションシステム１０の構成の一例を示す。
プレゼンテーションシステム１０は、カメラ装置１１と、カメラ装置１２と、カメラ装置１３と、コンピュータ１４と、スクリーン１５とを備えている。
発表者１６は、目の位置と手首の位置と複数の指先の位置とを検出するためのモーションキャプチャマーカを装着している。

カメラ装置１１は、発表者１６を垂直方向に撮影し、頭上から撮影した画像データを取得する。この画像データにより、発表者１６が装着している複数のモーションキャプチャマーカの水平方向（Ｘ軸方向とＹ軸方向）の位置がそれぞれ検出される。
カメラ装置１２とカメラ装置１３は、発表者１５を水平方向に撮影し、画像データを取得する。これらの画像データにより、発表者１６が装着している複数のモーションキャプチャマーカの垂直方向（Ｚ軸方向）の位置がそれぞれ検出される。

コンピュータ１４は、プレゼンテーションアプリケーションプログラムを実行する。更に、コンピュータ１４は、後述するように、ポインティングプログラムを実行し、発表者１６が装着しているモーションキャプチャマーカの位置と位置の変化に基づいて、発表者が指し示しているスクリーン１５上の位置と、クリック動作、ドラッグ及びドロップ動作等の発表者による操作を検出する。
スクリーン１５は、実行中のプレゼンテーションアプリケーションプログラムにより出力される画面を表示する。

図２は、本発明の実施形態に係るプレゼンテーションシステム１０のブロック図である。
図１と図２の同一の構成要素には同一の符号を付し、説明を省略する。
コンピュータ１４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４１とメモリ１４２を含んでいる。
ＣＰＵ１４１は、メモリ１４２に読み込まれたプログラムを実行する。
メモリ１４２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｅｓｓ Ｍｅｍｏｒｙ）とＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を含む。メモリ１４２には、図示しないハードディスク等の記憶装置からポインティングプログラムとプレゼンテーションアプリケーションプログラム（以下、プレゼンテーションアプリという。）１４２４が読み込まれる。

ポインティングプログラムは、モーションキャプチャマーカ検出部１４２１と画面位置決定部１４２２と操作指示決定部１４２３とで構成される。
モーションキャプチャマーカ検出部１４２１は、カメラ装置１１とカメラ装置１２とカメラ装置１３とによって取得された画像データを解析して、個々のモーションキャプチャマーカの位置を検出する。すなわち、モーションキャプチャマーカ検出部１４２１は、発表者１６の目の位置、手首の位置、および複数の指先の位置を検出する。

画面位置決定部１４２２は、少なくとも２つのモーションキャプチャマーカの位置がどのような位置関係にあるかに基づいて発表者が指し示しているスクリーン１５上の位置を求める。例えば、ある２つのモーションキャプチャマーカを結ぶ直線の延長線とスクリーン１５の交点を、発表者の指し示しているスクリーン１５上の位置であるとする。

操作指示決定部１４２３は、手首の位置の変化と複数の指の位置の変化に基づいて、発表者１６が入力する操作を求める。なお、発表者１６によって入力される操作は、例えば、クリック、ドラッグ、ドロップ、マーク付け開始、マーク付け中、マーク付け終了、マーク消し開始、マーク消し中およびマーク消し終了である。

プレゼンテーションアプリ１４２４は、スクリーン１５に画面を表示させる。すなわち、プレゼンテーションアプリ１４２４は、画面位置決定部１４２２によって求められた画面上の位置にマウスカーソル等を表示させ、操作指示決定部１４２３によって求められた操作指示に応じてスクリーン１５にプレゼンテーション資料を表示させる。
なお、プレゼンテーションアプリ１４２４は、一般のプレゼンテーション用ソフトであり、例えば、ＰｏｗｅｒＰｏｉｎｔ（登録商標）である。

図３は、発表者の目の位置、手首の位置、指先の位置を検出するためのモーションキャプチャマーカの垂直方向の取り付け位置の一例を示す。
発表者１６は、１対の目キャプチャマーカ２１、２２と、手首キャプチャマーカ２３と、３個の指キャプチャマーカ２４、２５、２６とを装着する。
１対の目キャプチャマーカ２１、２２は、目の垂直方向の位置を検出する目的で左右の耳の位置に取り付けられる。手首キャプチャマーカ２３は、手首の垂直方向の位置を検出する目的で、発表者の左右いずれかの手首に取り付けられる。指キャプチャマーカ２４は、指先１の垂直方向の位置を検出する目的で手首キャプチャマーカ２３が装着される手の指先１に取り付けられる。同様に、指キャプチャマーカ２５と２６は、それぞれ指先２と指先３の垂直方向の位置を検出する目的で手首キャプチャマーカ２３が装着される手の指先２と指先３に取り付けられる。

カメラ装置１２とカメラ装置１３は、１対の目キャプチャマーカ２１、２２と、手首キャプチャマーカ２３と、３個の指キャプチャマーカ２４、２５、２６とを装着した発表者を水平方向に撮影し、画像データを取得する。

モーションキャプチャマーカ検出部１４２１は、発表者１６が立っている状態に応じて、カメラ装置１２とカメラ装置１３のいずれかまたは両方の取得した画像データに基づいてモーションキャプチャマーカの垂直方向の位置を決定する。

モーションキャプチャマーカ検出部１４２１は、垂直方向（Ｚ軸方向）の位置情報を以下に示すように求める。
目の垂直方向の位置は、目キャプチャマーカ２１の位置（ｙｅ１，ｚｅ１）と目キャプチャマーカ２２の位置（ｙｅ２，ｚｅ２）の垂直方向の平均の位置（ｙｅ，ｚｅ）とする。
手首の垂直方向の位置は、手首キャプチャマーカ２３の位置（ｙｈ，ｚｈ）とする。
指先１の垂直方向の位置は、指キャプチャマーカ２４の位置（ｙｆ１，ｚｆ１）とする。
指先２の垂直方向の位置は、指キャプチャマーカ２５の位置（ｙｆ２，ｚｆ２）とする。
指先３の垂直方向の位置は、指キャプチャマーカ２６の位置（ｙｆ３，ｚｆ３）とする。

画面位置決定部１４２２は、例えば、目の垂直方向の位置（ｙｅ，ｚｅ）と手首の垂直方向の位置（ｙｈ，ｚｈ）を結ぶ直線の延長線とスクリーン１５の交点をスクリーン１５上の垂直方向の位置として求める。
画面位置決定部１４２２は、求めた垂直方向の位置をマウスの挙動を管理するプログラムに通知する。プレゼンテーションアプリ１４２４は、マウスの挙動を管理するプログラムを介してマウスカーソルのスクリーン１５上の垂直方向の位置情報を受け取る。
画面位置決定部１４２２は、スクリーン１５上の垂直方向の位置がマウスの挙動を管理するプログラムの管理している座標の外に存在する場合、マウスカーソルは画面上の上端、若しくは下端に存在すると判定する。

図４は、発表者の目の位置、手首の位置、指先の位置を検出するためのモーションキャプチャマーカの水平方向の取り付け位置の一例を示す。
発表者１６は、１対の目キャプチャマーカ３１、３２と、手首キャプチャマーカ３３と、３個の指キャプチャマーカ３４、３５、３６とを装着する。
１対の目キャプチャマーカ３１、３２は、目の水平方向の位置を検出する目的で左右の耳の位置に取り付けられる。手首キャプチャマーカ３３は、手首の水平方向の位置を検出する目的で、発表者の左右いずれかの手首に取り付けられる。指キャプチャマーカ３４は、指先１の水平方向の位置を検出する目的で手首キャプチャマーカ３３が装着される手の指先１に取り付けられる。同様に、指キャプチャマーカ３５と３６は、それぞれ指先２と指先３の水平方向の位置を検出する目的で手首キャプチャマーカ２３が装着される手の指先２と指先３に取り付けられる。

なお、垂直方向の位置を検出するためのモーションキャプチャマーカが水平方向の位置を検出するためのモーションキャプチャマーカを兼ねても良い。すなわち、１対の目キャプチャマーカ２１、２２と１対の目キャプチャマーカ３１、３２は同じものであって良い。同様に、手首キャプチャマーカ２３と手首キャプチャマーカ３３、３個の指キャプチャマーカ２４、２５、２６と３個の指キャプチャマーカ３４、３５、３６はそれぞれ同じものであって良い。

カメラ装置１１は、１対の目キャプチャマーカ３１、３２と、手首キャプチャマーカ３３と、３個の指キャプチャマーカ３４、３５、３６とを装着した発表者を頭上から垂直方向に撮影し、画像データを取得する。

モーションキャプチャマーカ検出部１４２１は、水平方向（Ｘ軸方向とＹ軸方向）の位置情報を以下に示すように求める。
目の水平方向の位置は、目キャプチャマーカ３１の位置（ｘｅ１，ｙｅ１）と目キャプチャマーカ３２の位置（ｘｅ２，ｙｅ２）の垂直方向の平均の位置（ｘｅ，ｙｅ）とする。
手首の水平方向の位置は、手首キャプチャマーカ３３の位置（ｘｈ，ｙｈ）とする。
指先１の水平方向の位置は、指キャプチャマーカ３４の位置（ｘｆ１，ｙｆ１）とする。
指先２の水平方向の位置は、指キャプチャマーカ３５の位置（ｘｆ２，ｙｆ２）とする。
指先３の水平方向の位置は、指キャプチャマーカ３６の位置（ｘｆ３，ｙｆ３）とする。

画面位置決定部１４２２は、例えば、目の水平方向の位置（ｘｅ，ｙｅ）と手首の水平方向の位置（ｘｈ，ｙｈ）を結ぶ直線の延長線とスクリーン１５の交点をスクリーン１５上の水平方向の位置として求める。
画面位置決定部１４２２は、求めた水平方向の位置をマウスの挙動を管理するプログラムに通知する。プレゼンテーションアプリ１４２４は、マウスの挙動を管理するプログラムを介してマウスカーソルのスクリーン１５上の水平方向の位置情報を受け取る。
画面位置決定部１４２２は、スクリーン１５上の水平方向の位置がマウスの挙動を管理するプログラムの管理している座標の外に存在する場合、マウスカーソルは画面上の左端、若しくは右端に存在すると判定する。

図５は、クリック操作を検知する場合の手首と指先１の位置の変化の一例を示す。
画面位置決定部１４２２は、上述した方法により、マウスカーソルのスクリーン１５上の位置を求め、マウスの挙動を管理するプログラムに通知する。

モーションキャプチャマーカ検出部１４２１は、手首の位置４１を（ｘｈ１，ｙｈ１，ｚｈ１）と求めたとする。また、モーションキャプチャマーカ検出部１４２１は、ある時刻に指先１の位置４２を（ｘｆ１，ｙｆ１，ｚｆ１）と求め、その時刻から所定の時間経過した後に指先１の位置４３を（ｘｆ１´，ｙｆ１´，ｚｆ１´）と求めたとする。ただし、ｘｆ１≒ｘｆ１´、ｙｆ１≒ｙｆ１´、ｚｆ１＞ｚｆ１´とする。
操作指示決定部１４２３は、このように、所定の時間内に、指先１が位置４２（ｘｆ１，ｙｆ１，ｚｆ１）から位置４３（ｘｆ１´，ｙｆ１´，ｚｆ１´）に移動した時に、手首の位置４１（ｘｈ１，ｙｈ１，ｚｈ１）を中心とする弧を想定し、角度θがある一定以上になった場合にクリック操作が行われたと判断する。ただし、ｚｆ１＞ｚｆ１´とする。

操作指示決定部１４２３は、クリック操作が行われたことをマウスの挙動を管理するプログラムに通知する。マウスの挙動を管理するプログラムは、画面位置決定部１４２２によって通知されたマウスカーソルの位置においてクリック操作が行われたことをプレゼンテーションアプリ１４２４に通知する。
マウスの挙動を管理するプログラムは、画面位置決定部１４２２によって通知されたマウスカーソルの位置が管理している座標の外に存在する場合、クリック操作をプレゼンテーションアプリ１４２４に通知しない。

また、操作指示決定部１４２３は、クリック操作が行われたと判断した後に指先１と手首が並行に移動している場合には、ドラッグ操作中であると判断する。
操作指示決定部１４２３は、ドラッグ操作中であることをマウスの挙動を管理するプログラムに通知する。

更に、操作指示決定部１４２３は、ドラッグ中であると判断している状態において、指先１がクリック操作と反対の方向に動いた場合に、ドロップ操作が行われたと判断する。操作指示決定部１４２３は、例えば、所定の時間内に、指先１が位置（ｘｆ２，ｙｆ２，ｚｆ２）から位置（ｘｆ２´，ｙｆ２´，ｚｆ２´）に移動した時に、手首の位置（ｘｈ２，ｙｈ２，ｚｈ２）を中心とする弧を想定し、角度θがある一定以上になった場合にドロップ操作が行われたと判断する。ただし、ｘｆ２≒ｘｆ２´、ｙｆ２≒ｙｆ２´、ｚｆ２＜ｚｆ２´とする。

操作指示決定部１４２３は、ドロップ操作が行われたことをマウスの挙動を管理するプログラムに通知する。マウスの挙動を管理するプログラムは、画面位置決定部１４２２によって通知されたマウスカーソルの位置においてドロップ操作が行われたことをプレゼンテーションアプリ１４２４に通知する。
マウスの挙動を管理するプログラムは、画面位置決定部１４２２によって通知されたマウスカーソルの位置が管理している座標の外に存在する場合、ドロップ操作をプレゼンテーションアプリ１４２４に通知しない。

図６は、スクリーン１５に表示されているプレゼンテーション資料上でマークを付ける場合の手首と指先１と指先２の位置の変化の一例を示す。
画面位置決定部１４２２は、上述した方法により、マウスカーソルのスクリーン１５上の位置を求め、マウスの挙動を管理するプログラムに通知する。

モーションキャプチャマーカ検出部１４２１は、手首の位置５１を（ｘｈ１，ｙｈ１，ｚｈ１）と求めたとする。また、モーションキャプチャマーカ検出部１４２１は、ある時刻に指先１と指先２が重なっており、それらの位置５２を（ｘｆ１，ｙｆ１，ｚｆ１）と求めたとする。そして、モーションキャプチャマーカ検出部１４２１は、その時刻から所定の時間経過した後に指先１の位置５３を（ｘｆ１´，ｙｆ１´，ｚｆ１´）と求めたとする。ただし、ｘｆ１≒ｘｆ１´、ｙｆ１≒ｙｆ１´、ｚｆ１＞ｚｆ１´とする。
操作指示決定部１４２３は、このように、ある時刻に指先１と指先２が重なっており、所定の時間内に、指先１が位置５２（ｘｆ１，ｙｆ１，ｚｆ１）から位置５３（ｘｆ１´，ｙｆ１´，ｚｆ１´）に移動した時に、手首の位置５１（ｘｈ１，ｙｈ１，ｚｈ１）を中心とする弧を想定し、角度θがある一定以上になった場合にマークを付けるためのマーカが選択された（マーク付け開始操作が行われた）と判断する。ただし、ｚｆ１＞ｚｆ１´とする。

操作指示決定部１４２３は、マーカが選択されてマーク付け開始操作が行われたことをマウスの挙動を管理するプログラムに通知する。マウスの挙動を管理するプログラムは、画面位置決定部１４２２によって通知されたマウスカーソルの位置においてマーク付け開始操作が行われたことをプレゼンテーションアプリ１４２４に通知する。プレゼンテーションアプリ１４２４は、画面位置決定部１４２２によって通知される位置にマーカを表示する。
マウスの挙動を管理するプログラムは、画面位置決定部１４２２によって通知された位置が管理している座標の外に存在する場合、マーク付け開始操作をプレゼンテーションアプリ１４２４に通知しない。

また、操作指示決定部１４２３は、マーク付け開始操作が行われたと判断した後に、指先１と手首が並行に移動している場合には、マーク付け操作中であると判断する。
操作指示決定部１４２３は、マーク付け操作中であることをマウスの挙動を管理するプログラムに通知する。マウスの挙動を管理するプログラムは、画面位置決定部１４２２によって通知される位置においてマーク付け操作中であることをプレゼンテーションアプリ１４２４に通知する。プレゼンテーションアプリ１４２４は、画面位置決定部１４２２によって通知される位置にマーカを表示し、線を引く。

更に、操作指示決定部１４２３は、マーク付け操作中であると判断している状態において、指先１がマーク付け開始操作と反対の方向に動いた場合に、マーカの選択を解除するマーク付け終了操作が行われたと判断する。操作指示決定部１４２３は、例えば、指先１が所定の時間に位置（ｘｆ２，ｙｆ２，ｚｆ２）から位置（ｘｆ２´，ｙｆ２´，ｚｆ２´）に移動した時に、手首の位置（ｘｈ２，ｙｈ２，ｚｈ２）を中心とする弧を想定し、角度θがある一定以上になった場合にマーク付け終了操作が行われたと判断する。ただし、ｘｆ２≒ｘｆ２´、ｙｆ２≒ｙｆ２´、ｚｆ２＜ｚｆ２´とする。

操作指示決定部１４２３は、マーク付け終了操作が行われたことをマウスの挙動を管理するプログラムに通知する。マウスの挙動を管理するプログラムは、画面位置決定部１４２２によって通知された位置においてマーク付け終了操作が行われたことをプレゼンテーションアプリ１４２４に通知する。プレゼンテーションアプリ１４２４は、画面位置決定部１４２２によって通知される位置にマウスカーソルを表示する。
マウスの挙動を管理するプログラムは、画面位置決定部１４２２によって通知された位置が管理している座標の外に存在する場合、マーク付け終了操作をプレゼンテーションアプリ１４２４に通知しない。

図７は、スクリーン１５に表示されているプレゼンテーション資料上でマークを消す場合の手首と指先１と指先２と指先３の位置の変化の一例を示す。
画面位置決定部１４２２は、上述した方法により、マウスカーソルのスクリーン１５上の位置を求め、マウスの挙動を管理するプログラムに通知する。

モーションキャプチャマーカ検出部１４２１は、手首の位置６１を（ｘｈ１，ｙｈ１，ｚｈ１）と求めたとする。また、モーションキャプチャマーカ検出部１４２１は、ある時刻に指先１と指先２と指先３が重なっており、それらの位置６２を（ｘｆ１，ｙｆ１，ｚｆ１）と求めたとする。そして、モーションキャプチャマーカ検出部１４２１は、その時刻から所定の時間経過した後に、指先１の位置６３を（ｘｆ１´，ｙｆ１´，ｚｆ１´）と求めたとする。ただし、ｘｆ１≒ｘｆ１´、ｙｆ１≒ｙｆ１´、ｚｆ１＞ｚｆ１´とする。
操作指示決定部１４２３は、このように、ある時刻に指先１と指先２と指先３が重なっており、所定の時間内に、指先１が位置６２（ｘｆ１，ｙｆ１，ｚｆ１）から位置６３（ｘｆ１´，ｙｆ１´，ｚｆ１´）に移動した時に、手首の位置６１（ｘｈ１，ｙｈ１，ｚｈ１）を中心とする弧を想定し、角度θがある一定以上になった場合にマークを消すためのマーク消しが選択された（マーク消し開始操作が行われた）と判断する。ただし、ｚｆ１＞ｚｆ１´とする。

操作指示決定部１４２３は、マーク消しが選択されてマーク消し開始操作が行われたことをマウスの挙動を管理するプログラムに通知する。マウスの挙動を管理するプログラムは、画面位置決定部１４２２によって通知されたマウスカーソルの位置においてマーク消し開始操作が行われたことをプレゼンテーションアプリ１４２４に通知する。プレゼンテーションアプリ１４２４は、画面位置決定部１４２２によって通知される位置にマーク消しを表示する。
マウスの挙動を管理するプログラムは、画面位置決定部１４２２によって通知された位置が管理している座標の外に存在する場合、マーク消し開始操作をプレゼンテーションアプリ１４２４に通知しない。

また、操作指示決定部１４２３は、マーク消し開始操作が行われたと判断した後に、指先１と手首が並行に移動している場合には、マーク消し操作中であると判断する。
操作指示決定部１４２３は、マーク消し操作中であることをマウスの挙動を管理するプログラムに通知する。マウスの挙動を管理するプログラムは、画面位置決定部１４２２によって通知される位置においてマーク消し操作中であることをプレゼンテーションアプリ１４２４に通知する。プレゼンテーションアプリ１４２４は、画面位置決定部１４２２によって通知される位置にマーク消しを表示し、その位置に表示されている線を消す。

更に、操作指示決定部１４２３は、マーク消し操作中であると判断している状態において、指先１がマーク消し開始操作と反対の方向に動いた場合に、マーク消しの選択を解除するマーク消し終了操作が行われたと判断する。操作指示決定部１４２３は、例えば、所定の時間内に、指先１が位置（ｘｆ２，ｙｆ２，ｚｆ２）から位置（ｘｆ２´，ｙｆ２´，ｚｆ２´）に移動した時に、手首の位置（ｘｈ２，ｙｈ２，ｚｈ２）を中心とする弧を想定し、角度θがある一定以上になった場合にマーク消し終了操作が行われたと判断する。ただし、ｘｆ２≒ｘｆ２´、ｙｆ２≒ｙｆ２´、ｚｆ２＜ｚｆ２´とする。

操作指示決定部１４２３は、マーク消し終了操作が行われたことをマウスの挙動を管理するプログラムに通知する。マウスの挙動を管理するプログラムは、画面位置決定部１４２２によって通知された位置においてマーク消し終了操作が行われたことをプレゼンテーションアプリ１４２４に通知する。プレゼンテーションアプリ１４２４は、画面位置決定部１４２２によって通知される位置にマウスカーソルを表示する。
マウスの挙動を管理するプログラムは、画面位置決定部１４２２によって通知された位置が管理している座標の外に存在する場合、マーク消し終了操作をプレゼンテーションアプリ１４２４に通知しない。

図８は、ポインティングプログラムの実行するポインティング処理のフローチャートの一例を示す。
ＣＰＵ１４１は、図８に示すように、カメラ装置１１とカメラ装置１２とカメラ装置１３に、目キャプチャマーカ２１、２２、３１、３２と、手首キャプチャマーカ２３、３３と、指キャプチャマーカ２４、２５、２６、３４、３５、３６とを装着した発表者を撮影させ、画像データを取得する（Ｓ１１）。
そして、ＣＰＵ１４１は、取得した画像データに基づいて、目キャプチャマーカ２１、２２、３１、３２と、手首キャプチャマーカ２３、３３と、指キャプチャマーカ２４、２５、２６、３４、３５、３６の位置を求める（Ｓ１２）。

次に、ＣＰＵ１４１は、目キャプチャマーカ２１、２２、３１、３２の位置に基づいて目の位置を求め、手首キャプチャマーカ２３、３３の位置に基づいて手首の位置を求める。ＣＰＵ１４１は、目の位置と手首の位置を結ぶ直線の延長線とスクリーン１５の交点をスクリーン１５上の位置として求める（Ｓ１３）。ＣＰＵ１４１は、ステップＳ１３で求めたスクリーン１５上の位置に、マウスカーソルやマーカ等を表示する。

次に、ＣＰＵ１４１は、手首の位置の変化と、３本の指の位置の変化を求める（Ｓ１４）。
ＣＰＵ１４１は、手首の位置の変化と、３本の指の位置の変化に基づいて、クリック操作（Ｓ１５）、ドラッグ＆ドロップ操作（Ｓ１６）、マーク付け操作（マーク付け開始、マーク付け中、マーク付け終了）（Ｓ１７）、マーク消し操作（マーク消し開始、マーク消し中、マーク消し終了）（Ｓ１８）のいずれかの操作指示を求める。ＣＰＵ１４１は、求められた操作指示に応じてプレゼンテーションアプリ１４２４の実行する処理を操作する。
その後、ＣＰＵ１４１は、ステップＳ１１に戻る。

なお、上記実施形態では、画面位置決定部１４２２は目の位置と手首の位置を結ぶ直線の延長線とスクリーン１５の交点をスクリーン１５上の位置として求めるとしたが、画面位置決定部１４２２は、例えば、目の位置と指先１の位置を結ぶ直線の延長線とスクリーン１５の交点をスクリーン１５上の位置として求めるとしても良い。
画面位置決定部１４２２は、１対の目キャプチャマーカ２１、２２と、手首キャプチャマーカ２３と、３個の指キャプチャマーカ２４、２５、２６とのうち、少なくとも２つの位置関係に基づいて、スクリーン１５上の垂直方向の位置を求め、また、１対の目キャプチャマーカ３１、３２と、手首キャプチャマーカ３３と、３個の指キャプチャマーカ３４、３５、３６とのうち、少なくとも２つの位置関係に基づいて、スクリーン１５上の水平方向の位置を求めることができる。

以上説明したように、本発明によれば、通常の表示装置を用いることができ、発表者はプレゼンテーションを行っている間、演台上を自由に動き回りながら、手を自由に動かすことができる。
本発明によれば、発表者は自身が指す方向にマウスカーソルを移動させ、手首及び指先の動きによってクリック操作、ドラッグ操作及びドロップ操作、資料上へのマーカ付け操作及びマーカ消し操作を行うことができる。

以上、本発明の実施形態について説明したが、設計上の都合やその他の要因によって必要となる様々な修正や組み合わせは、請求項に記載されている発明や発明の実施形態に記載されている具体例に対応する発明の範囲に含まれると理解されるべきである。

１０…プレゼンテーションシステム、１１、１２、１３…カメラ装置、１４…コンピュータ、１４１…ＣＰＵ、１４２…メモリ、１４２１…モーションキャプチャマーカ検出部、１４２２…画面位置決定部、１４２３…操作指示決定部、１４２４…プレゼンテーションアプリケーションプログラム、１５…スクリーン、１６…発表者、２１、２２、３１、３２…目キャプチャマーカ、２３、３３…手首キャプチャマーカ、２４、３４…指先１の指キャプチャマーカ、２５、３５…指先２の指キャプチャマーカ、２６、３６…指先３の指キャプチャマーカ、４１、５１、６１…手首の位置、４２、５２、６２…ある時刻の指先の位置、４３、５３、６３…所定時間経過後の指先の位置

Claims (3)

1. 画面を表示する画面表示装置と、
   発表者によって装着される複数のモーションキャプチャマーカと、
   前記複数のモーションキャプチャマーカを撮影し、当該複数のモーションキャプチャマーカが写っている画像を取得する撮影手段と、
   前記撮影手段によって取得された画像に基づいて前記画面表示装置によって表示されている画面上の位置を求める画面位置決定手段と、
   前記撮影手段によって取得された画像に基づいて所定の操作を指示する操作指示を求める操作指示決定手段と、
   を備えることを特徴とするプレゼンテーションシステム。
2. 前記撮影手段によって取得された画像に基づいて各モーションキャプチャマーカの位置を求めるモーションキャプチャマーカ検出手段を備え、
   前記画面位置決定手段が、前記モーションキャプチャマーカ検出手段によって求められた各モーションキャプチャマーカの間の位置の関係に基づいて前記画面上の位置を求め、
   前記操作指示決定手段が、前記モーションキャプチャマーカ検出手段によって求められた各モーションキャプチャマーカの位置の変化を求め、当該各モーションキャプチャマーカの位置の変化に基づいて前記操作指示を求める、
   ことを特徴とする請求項１に記載のプレゼンテーションシステム。
3. 前記複数のモーションキャプチャマーカが、発表者の目の位置を検出するための１対の目キャプチャマーカと、発表者の左右いずれかの手首に装着されて当該手首の位置を検出するための手首キャプチャマーカと、前記手首キャプチャマーカが装着される手の複数の指に装着される複数の指キャプチャマーカとを含み、
   前記画面位置決定手段が、前記１対の目キャプチャマーカと、前記手首キャプチャマーカと、前記複数の指キャプチャマーカとのうち、少なくとも２つの位置の関係に基づいて、前記画面上の位置を求め、
   前記操作指示決定手段が、前記手首キャプチャマーカの位置の変化と、前記複数の指キャプチャマーカの位置の変化とに基づいて、クリック、ドラッグ、ドロップ、マーク付け開始、マーク付け中、マーク付け終了、マーク消し開始、マーク消し中およびマーク消し終了のいずれかの操作指示を求める、
   ことを特徴とする請求項１又は２に記載のプレゼンテーションシステム。

Images