JP2015225652A - プロジェクタ−カメラシステム又はディスプレイ−カメラシステムに対する微細なユーザインタラクションを可能とするシステム、方法及びプログラム - Google Patents

Abstract

【課題】プロジェクタ−カメラシステム又はディスプレイ−カメラシステムに対する微細なユーザインタラクションを可能とするシステム、方法及びプログラムを提供する。
【解決手段】ユーザに保持されたモバイルコンピューティング装置に関連して実行される方法であって、この方法は処理ユニットとカメラとメモリとを備える計算処理システムによって実行される。マーカパターンを表示するモバイルコンピューティング装置の複数の画像をカメラを用いて処理ユニットが取得し、取得された複数の画像内のマーカパターンを処理ユニットが検出し、取得された複数の画像内の検出されたマーカパターンに基づいて処理ユニットがモバイルコンピューティング装置の複数の位置を判定し、判定されたモバイルコンピューティング装置の複数の位置に基づいてユーザイベントを処理することを含む。
【選択図】図１

Description

開示する実施形態は一般にコンピュータ装置とのユーザインタラクションを可能とするシステム、方法及びプログラムに関し、より具体的には、スマートフォン又は他のモバイル装置を用いて、プロジェクタ−カメラシステム及び／又はディスプレイ−カメラシステムとの微細なユーザインタラクションを可能とするシステム、方法及びプログラムに関する。

入力機能のない会議室や公共の場所における投影面やディスプレイパネルに関しては、簡便で低価格な方法でインタラクションが可能であれば有用であろう。粗いインタラクションに関しては、手のジェスチャ入力技術が首尾よく開発されている。その例としては、当業者には周知のＸｂｏｘ用のＫｉｎｅｃｔシステムなどのゲームプレイ用のシステム（非特許文献１）や、非特許文献２に記述されたシステム及び方法がある。

米国特許出願１３／８６５，９９０号明細書には、ボタンウィジェットによる不連続動作のためのジェスチャ並びにビューポートウィジェットによるパンとズーム用連続動作のためのジェスチャを検出するためのシステムが記載されている。

例えば非特許文献３に記載されているように実際の指が幾何モデルを用いて近似されている。

他方、物体のトラッキングには市販されている研究用のシステムがある。その一例としては、ビーコン移動システム（非特許文献４）や鳥群トラッキング装置（非特許文献５）や、非特許文献６に記載のｉＬａｍｐｓ、並びに非特許文献６に記載のユビキタスコード化された光（Ｕｂｉｑｕｉｔｏｕｓ Ｃｏｄｅｄ Ｌｉｇｈｔ）がある。

Ｋｉｎｅｃｔ ｆｏｒ Ｘｂｏｘ、[ｏｎｌｉｎｅ]、２０１４年５月２７日検索、インターネット＜URL: http://www.xbox.com/en-US/kinect＞ Ｗａｃｈｓ，Ｊ．、Ｓｔｅｒｎ，Ｈ．、Ｅｄａｎ，Ｙ．、Ｇｉｌｌａｍ，Ｍ．、Ｈａｎｄｌｅｒ，Ｊ．、Ｆｅｉｅｄ，Ｃ．、Ｓｍｉｔｈ，Ｍ．、「放射線画像の無菌閲覧用ジェスチャベースツール（Ａ ｇｅｓｔｕｒｅ−ｂａｓｅｄ ｔｏｏｌ ｆｏｒ ｓｔｅｒｉｌｅ ｂｒｏｗｓｉｎｇ ｏｆ ｒａｄｉｏｌｏｇｙ ｉｍａｇｅｓ）」、Ｊ．Ａｍｅｒｉｃａｎ Ｍｅｄｉｃａｌ Ｉｎｆｏｒｍａｔｉｃｓ Ａｓｓｏｃ．第１５巻３号、ページ３２１−３２３、２００８年 Ｗｉｌｓｏｎ，Ａ．Ｄ．、「タッチセンサとしてのデプスカメラの利用（Ｕｓｉｎｇ ａ ｄｅｐｔｈ ｃａｍｅｒａ ａｓ ａ ｔｏｕｃｈ ｓｅｎｓｏｒ）」、ＩＴＳ２０１０年論文集、ページ６９−７２ Ｖｉｃｏｎ Ｍｏｔｉｏｎ Ｓｙｓｔｅｍｓ、[ｏｎｌｉｎｅ]、２０１４年５月２７日検索、インターネット＜URL: http://www.vicon.com＞ Ｆｌｏｃｋ ｏｆ Ｂｉｒｄｓ Ｔｒａｃｋｅｒ、[ｏｎｌｉｎｅ]、２０１４年５月２７日検索、インターネット＜URL: http://www.ascension-tech.com/realtime/RTflockofBIRDS.php＞ Ｒａｓｋａｒ，Ｒ．、Ｂａａｒ，Ｊ．ｖ．、Ｂｅａｒｄｓｌｅｙ，Ｐ．、Ｗｉｌｌｗａｃｈｅｒ，Ｔ．、Ｒａｏ，Ｓ．及びＦｏｒｌｉｎｅｓ，Ｃ．、「ｉＬａｍｐｓ：形状を感知して自己構成するプロジェクタ（ｉＬａｍｐｓ：ｇｅｏｍｅｔｒｉｃａｌｌｙ ａｗａｒｅ ａｎｄ ｓｅｌｆ−ｃｏｎｆｉｇｕｒｉｎｇ ｐｒｏｊｅｃｔｏｒｓ）」、ＳＩＧＧＲＡＰＨ２００３年論文集、ページ８０９−８１８ ＯｐｅｎＣＶ Ｓｏｆｔｗａｒｅ Ｌｉｂｒａｒｙ、[ｏｎｌｉｎｅ]、２０１４年５月２７日検索、インターネット＜URL: http://opencv.org＞ Ｂｅｎｎｅｔｔ，Ｓ．、Ｌａｓｅｎｂｙ，Ｊ．、「ＣｈＥＳＳ−チェス盤特徴の高速かつ確実な検出（ＣｈＥＳＳ−Ｑｕｉｃｋ ａｎｄ ｒｏｂｕｓｔ ｄｅｔｅｃｔｉｏｎ ｏｆ ｃｈｅｓｓ−ｂｏａｒｄ ｆｅａｔｕｒｅｓ）」、Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ、２０１４年１月、第１１８巻、ページ１９７−２１０ Ｍｉｃｒｏｓｏｆｔ Ｐａｉｎｔソフトウエア、[ｏｎｌｉｎｅ]、２０１４年５月２７日検索、インターネット＜URL: http://www.microsoft.com/en-us/windows7/products/features/paint＞ Ｍｉｃｒｏｓｏｆｔ Ｆｒｅｓｈ Ｐａｉｎｔソフトウエア、[ｏｎｌｉｎｅ]、２０１４年５月２７日検索、インターネット＜URL: http://www.microsoft.com/en-us/freshpaint＞ Ｉｎｋｓｃａｐｅソフトウエア、[ｏｎｌｉｎｅ]、２０１４年５月２７日検索、インターネット＜URL: http://www.inkscape.org＞ Ｍｉｃｒｏｓｏｆｔ Ｓｕｒｆａｃｅ Ｐｒｏタブレット、[ｏｎｌｉｎｅ]、２０１４年５月２７日検索、インターネット＜URL: http://www.microsoft.com/surface＞ Ｗａｃｏｍ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏｒｐｏｒａｔｉｏｎ、[ｏｎｌｉｎｅ]、２０１４年５月２７日検索、インターネット＜URL: http://www.wacom.com＞ Ａｇｒａｗａｌ，Ｓ．ら、「空中で書くための携帯電話の利用（Ｕｓｉｎｇ ｍｏｂｉｌｅ ｐｈｏｎｅｓ ｔｏ ｗｒｉｔｅ ｉｎ ａｉｒ．）」、ＭｏｂｉＳｙｓ２０１１年論文集、ページ１５−２８ Ａｍｍａ，Ｃ．ら、「エアーライティング：３次元空間における手書き認識によるモバイルテキスト入力のデモンストレーション（Ａｉｒｗｒｉｔｉｎｇ：Ｄｅｍｏｎｓｔｒａｔｉｎｇ ｍｏｂｉｌｅ ｔｅｘｔ ｉｎｐｕｔ ｂｙ ３ｄ−ｓｐａｃｅ ｈａｎｄｗｒｉｔｉｎｇ ｒｅｃｏｇｎｉｔｉｏｎ．）」、ＩＵＩ２０１２年論文集、ページ３１９−３２０ Ｃｕｎｎｉｎｇｈａｍ，Ａ．ら、「新しいマルチユーザ対応テーブルトップ・ポインティング装置（Ａ ｎｏｖｅｌ ｍｕｌｔｉｕｓｅｒ ｔａｂｌｅｔｏｐ ｐｏｉｎｔｉｎｇ ｄｅｖｉｃｅ．）」、ＯＺＣＨＩ２００９年論文集、ページ１６９−１７６ Ｔａｋａｔｓｕｋａ，Ｍ．ら、「パックコントロール：テーブルトップディスプレイのためのコンピュータビジョンベースの無線入力装置（Ｐｕｃｋ Ｃｏｎｔｒｏｌ：Ａ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ−ｂａｓｅｄ ｗｉｒｅｌｅｓｓ ｉｎｐｕｔ ｄｅｖｉｃｅ ｆｏｒ ｔａｂｌｅｔｏｐ ｄｉｓｐｌａｙ．）」、ＴＲ ＃５９５、シドニー大学情報技術学部、２００６年 Ｗｉｌｓｏｎ，Ａ．Ｄ．、「片手及び両手のジェスチャ入力のためのロバストなコンピュータビジョンベースのピンチングの検出（Ｒｏｂｕｓｔ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ−ｂａｓｅｄ ｄｅｔｅｃｔｉｏｎ ｏｆ ｐｉｎｃｈｉｎｇ ｆｏｒ ｏｎｅ ａｎｄ ｔｗｏ−ｈａｎｄｅｄ ｇｅｓｔｕｒｅ ｉｎｐｕｔ．）」、ＵＩＳＴ２００６年論文集、ページ２５５−２５８

本発明は、投影面及びディスプレイパネルとのユーザインタラクションを可能とする従来技術における課題を実質的に取り除き、プロジェクタ−カメラシステム及び／又はディスプレイ−カメラシステムとの微細なユーザインタラクションを可能とすることを課題とする。

処理ユニットとカメラとメモリとを備える計算処理システムが実行する、プロジェクタ−カメラシステム又はディスプレイ−カメラシステムに対する微細なユーザインタラクションを可能とする方法が提供される。この方法は、処理ユニットが、ユーザに保持され、マーカパターンを表示するモバイルコンピューティング装置の複数の画像をカメラを用いて取得し、取得された複数の画像内のマーカパターンを処理ユニットが検出し、取得された複数の画像内の検出されたマーカパターンに基づいて、モバイルコンピューティング装置の複数の位置を処理ユニットが判定し、モバイルコンピューティング装置の判定された複数の位置に基づいて処理ユニットがユーザイベントを処理することを含む。

一つ又は複数の実施形態において、計算処理システムが実行する方法は、処理ユニットが、取得された複数の画像内に検出されたマーカパターンの少なくとも１つの特徴を判定することを更に含み、ユーザイベントの処理が更にマーカパターンの判定された少なくとも１つの特徴に基づく。

一つ又は複数の実施形態において、マーカパターンの判定された少なくとも１つの特徴はマーカパターンのグリッドサイズである。

一つ又は複数の実施形態において、マーカパターンの判定された少なくとも１つの特徴はマーカパターンの色である。

一つ又は複数の実施形態において、マーカパターンの色を判定することが、マーカパターンの整列した複数の内部頂点を生成し、整列した複数の内部頂点の中央に２つのポイントを特定し、マーカパターンの２つの隣接する正方形の中央に２つの第２のポイントの位置を計算し、２つの第２のポイントにおいて色を判定し、判定された色の中の白以外の１つをマーカパターンの色として採用することを含む。

一つ又は複数の実施形態において、ユーザイベントを処理することが、モバイルコンピューティング装置の判定された複数の位置に基づいてインクストロークを描画する（レンダリングする）ことを含む。ここで描画されるインクストロークの色はマーカパターンの色に基づいている。

一つ又は複数の実施形態において、マーカパターンの少なくとも１つの特徴は、マーカパターン内における所定の図形要素の存在又は欠如である。

一つ又は複数の実施形態において、所定の図形要素は白の円形穴である。

一つ又は複数の実施形態において、マーカパターン内における所定の図形要素の存在は第１の状態を表し、マーカパターン内における所定の図形要素の欠如は第２の状態を表す。

一つ又は複数の実施形態において、第１の状態はペンアップ（ｐｅｎ ｕｐ）状態であり、第２の状態はペンダウン（ｐｅｎ ｄｏｗｎ）状態であり、ユーザイベントを処理することは、ペンダウン状態であればモバイルコンピューティング装置の判定された複数の位置に基づいてインクストロークを描画することを含む。

一つ又は複数の実施形態において、マーカパターンの判定された少なくとも１つの特徴はマーカパターンの回転角である。

一つ又は複数の実施形態において、ユーザイベントを処理することがモバイルコンピューティング装置の判定された複数の位置に基づいてインクストロークを描画することを含み、インクストロークの幅はマーカパターンの回転角に基づいている。

一つ又は複数の実施形態において、マーカパターンはチェス盤のように配列された実質的に同じ大きさの複数の正方形から成るチェス盤マーカパターンである。

一つ又は複数の実施形態において、マーカパターンを表示するモバイルコンピューティング装置はユーザに表示されるコンテンツの上に配置される。

一つ又は複数の実施形態において、コンテンツは投影面上にコンテンツを投影するプロジェクタを用いてユーザに表示される。

一つ又は複数の実施形態において、コンテンツは電子ディスプレイ装置を用いてユーザに表示される。

一つ又は複数の実施形態において、コンテンツは縁のあるキャンバス・グラフィカルユーザインターフェイス・ウィジェットを用いてユーザに表示される。

一つ又は複数の実施形態において、計算処理システムが実行する方法は、処理ユニットが、モバイルコンピューティング装置の判定された複数の位置を、複数の画像座標からキャンバス・グラフィカルユーザインターフェイス・ウィジェットの座標へ変換することを更に含む。

一つ又は複数の実施形態において、計算処理システムが実行する方法は、処理ユニットが、キャンバス・グラフィカルユーザインターフェイス・ウィジェットの縁の色を変えることを含む較正操作を実行し、変更された色に基づいて取得された複数の画像におけるグラフィカルユーザインターフェイス・ウィジェットの縁の位置を検出し、複数の画像の座標とキャンバス・グラフィカルユーザインターフェイス・ウィジェットの座標との間のマッピングを生成する、ことを更に含む。

一つ又は複数の実施形態において、ユーザイベントを処理することは、モバイルコンピューティング装置の判定された複数の位置に基づいてインクストロークを表示されたコンテンツに関連させて描画することを含む。

一つ又は複数の実施形態において、モバイルコンピューティング装置の複数の位置を判定することは、取得された複数の画像のそれぞれに対するマーカパターンの整列した複数の内部頂点を生成することを含む。

一つ又は複数の実施形態において、モバイルコンピューティング装置の複数の位置を判定することは、検出されたマーカパターンの重心を検出することを含む。

一つ又は複数の実施形態において、計算処理システムが実行する方法は、処理ユニットが、判定されたモバイルコンピューティング装置の複数の位置をモバイルコンピューティング装置の移動経路として設定することを更に含む。

本明細書に記載の実施形態の別の態様によれば、プログラムが提供される。このプログラムは、ユーザに保持されマーカパターンを表示するモバイルコンピューティング装置の複数の画像をカメラを用いて取得し、取得された複数の画像内のマーカパターンを処理ユニットを用いて検出し、取得された複数の画像内の検出されたマーカパターンに基づいてモバイルコンピューティング装置の複数の位置を処理ユニットを用いて判定し、モバイルコンピューティング装置の判定された複数の位置に基づいてユーザイベントを処理することを含む方法をコンピュータに実行させる。

本明細書に記載の実施形態の更に別の態様によれば、処理ユニットとカメラと命令セットを格納するメモリとを備える計算処理システムが提供される。この命令セットは、ユーザに保持されてマーカパターンを表示するモバイルコンピューティング装置の複数の画像をカメラを用いて取得し、取得された複数の画像内のマーカパターンを処理ユニットを用いて検出し、取得された複数の画像内の検出されたマーカパターンに基づいてモバイルコンピューティング装置の複数の位置を処理ユニットを用いて判定し、モバイルコンピューティング装置の判定された複数の位置に基づいてユーザイベントを処理する、ことを処理ユニットに実行させるための命令を含む。

本発明に関するその他の態様は、以下の説明で部分的に説明され、また説明から部分的に明白であり、又は本発明の実行により習得することができる。本発明の態様は、以下の詳細な説明及び添付の特許請求の範囲において特に指摘される要素、及び種々の要素と態様との組合せによって実現及び達成することができる。

上記及び以下の記述はいずれも単に例示及び説明を目的とするものであり、特許請求の範囲に記載の発明もしくはその適用をいかなる形であれ限定することは全く意図していないことを理解されたい。

本明細書に組み込まれ本明細書の一部をなす添付図面は、本発明の実施形態を例示し、説明と相俟って本発明技術の原理の説明及び例示に供する。

入力装置としてスマートフォンを利用するプロジェクタ−カメラシステムに対する微細なインタラクションを可能とするシステムの例示的一実施形態を示す図である。 入力装置としてスマートフォンを利用するディスプレイ−カメラシステムに対する微細なインタラクションを可能とするシステムの代替実施形態を示す図である。 プロジェクタ又は電子ディスプレイを用いてユーザに表示されたキャンバスウィジット上に描画されたスライド画像に対して注釈を付加するための、図１又は図２のシステムの適用例を示す図である。 プロジェクタ又は電子ディスプレイを用いてユーザに表示されたキャンバスウィジェットで構築されたホワイトボードアプリケーションへインクストロークを付加するための、図１又は図２のシステムの適用例を示す図である。 （ａ）は、入力装置（スマートフォン）のディスプレイユニット上に表示されたウェブベースのグラフィカルユーザインターフェイスの例示的実施形態を示す図であり、例えば図３、４に示すような注釈をするためのペンの色及びストロークのサイズをユーザに選択させるアイコンのパレットを表している。（ｂ）は、太い赤のストロークに対応するチェス盤マーカパターンを示す図である。（ｃ）は、細い黒のストロークに対応するチェス盤マーカパターンを示す図である。 キャンバス・グラフィカルユーザインターフェイス・ウィジェットの例示的実施形態を示す図である。 較正モードにおけるキャンバス・グラフィカルユーザインターフェイス・ウィジェットの例示的実施形態を示す図である。 入力装置としてスマートフォンを利用するプロジェクタ−カメラシステム又はディスプレイ−カメラシステムに対する微細なインタラクションを可能とするシステムの操作手順の例示的一実施形態を示す図である。 チェス盤マーカパターンの色を決定するための操作手順の例示的一実施形態を示す図である。 （ａ）は、第１（例えば、オン）の状態のチェス盤マーカパターンを示す図である。（ｂ）は、第２（例えば、オフ）の状態のチェス盤マーカパターンを示す図である。 （ａ）は、英語及びその他のいずれかのヨーロッパ言語用のニブペン先の使用を示す図である。（ｂ）は、中国語及びその他のアジア言語用のブラシペン先の使用を示す図である。 ドローイングとペインティングのために入力装置としてスマートフォンを利用する微細なユーザインタラクションを可能とする前述のシステムを利用して作製した絵の例示的一実施形態を示す図である。 プロジェクタ−カメラシステム又はディスプレイ−カメラシステムに対する微細なユーザインタラクションを可能とするシステムとの関連で、ユーザ入力装置として使用されるモバイルコンピューティング装置の例示的一実施形態を示す図である。 プロジェクタ−カメラシステム又はディスプレイ−カメラシステムに関連して入力装置（スマートフォン）による微細なユーザインタラクションを促進するコンピュータサーバシステムの例示的一実施形態を示す図である。

以下の詳細な記述においては添付図面を参照する。ここで、同一の機能的要素は同様の参照番号で示される。前述の添付図面は、本発明の原理に整合する特定の実施形態および実装を例示するものであり、それに限定するためのものではない。これらの実装形態は、当業者による本発明の実行を可能とすべく詳細に記述される。また、他の実装も利用可能であること、及び本発明の範囲及び精神から逸脱することなく様々な要素の構造上の変更及び／又は代替が行われてもよいことを理解されたい。従って、以下の詳細な記述は本発明を制限するものとして解釈されるべきではない。さらに、説明される本発明の様々な実施形態は、汎用コンピュータ上で実行されるソフトウェア、専用ハードウェア、あるいはソフトウェアとハードウェアの組合せ、のいずれの形態において実施されてもよい。

本明細書に記載の実施形態の一態様によれば、任意のスマートフォンをマウスすなわちパック型入力装置として使用して、プロジェクタ−カメラシステム又はディスプレイ−カメラシステムに対する微細なインタラクションを可能とするシステム、方法及びプログラムが提供される。スマートフォンは広く利用されているユビキタスなものであるので、特定のハードウェアの使用を必要としない。したがって特定のハードウェアを公共の場において間違って配置するという問題はなくなる。一つ又は複数の実施形態において、スマートフォンのトラッキングを可能とするために、システムはスマートフォンのディスプレイを利用してチェス盤マーカパターンを表示させる。一実施形態において、このチェス盤マーカパターンはスマートフォンのウェブブラウザを利用して表示され、ウェブアプリケーションの制御によって操作することができる。代替実施形態においては、このマーカパターンはスマートフォンの本来のモバイルアプリケーションを利用して表示される。

一実施形態において、会議室又は他の公共の場に配置されて、コンピュータプラットフォーム上で実行される画像解析ソフトウェアに関連して動作するカメラが、スマートフォン上に表示されたチェス盤マーカパターンをトラッキングする。一つ又は複数の実施形態において、チェス盤マーカパターンは静止しているが、ユーザがインタラクション中にその特性を変化させることができるという点で、このトラッキングは半受動的である。当業者には理解されるように、こうすることでシステムの設計及び展開が単純化される。表示されたチェス盤マーカパターンを使用することにより、記述されたシステムの一実施形態は、ＯｐｅｎＣＶ（非特許文献７）や、より最近開発された、例えば非特許文献８に記載のアルゴリズムなどの、標準的で最新の画像パターン検出アルゴリズムを活用することが可能となる。さらには一実施形態によれば、検出が容易なマーカパターンに基づく２状態視覚マーカが提供される。スライド画像への注釈やホワイトボードキャンバスへの書き込みなどのアプリケーションにおいて、色とグリッドサイズの異なるチェス盤マーカパターンを利用して、異なるペン幅と色が示される（また、ユーザフィードバックが提供される）。記載システムの一実施形態のより先進的な制御能力は、カリグラフィのアプリケーションに使用することで明らかとなる。

図１は、入力装置としてスマートフォンを利用するプロジェクタ−カメラシステムに対する微細なインタラクションを可能とするシステム１００の例示的一実施形態を示す図である。当業者には理解されるように、図示したシステム１００には柔軟な適応性があり、ハードウェアとソフトウェアの異なる構成に対しても動作可能である。図１において、システム１００には、特にプロジェクタ１０１、カメラ１０５並びに入力装置として使用されるスマートフォン１０４が含まれている。一つ又は複数の実施形態において、プロジェクタ１０１、カメラ１０５及びスマートフォン１０４は、当業者には周知の、市販品として容易に入手可能な既製品であってよい。

一つ又は複数の実施形態においてプロジェクタ１０１は、プロジェクタ１０１の視野１０２内にある、プロジェクタスクリーンや机の上、壁などの投影面１０３上にユーザインターフェイスを投影するように配置される。投影されるユーザインターフェイスは次にカメラ１０５によってモニタされて、投影面１０３の前に置かれた入力装置（スマートフォン）１０４の検出とトラッキングが行われてユーザインタラクションを可能とする（図１参照）。一実施形態においてカメラ１０５はプロジェクタ１０１に隣接して配置される。一つ又は複数の実施形態において、前述のユーザインターフェイスを含むコンテンツ１１２をプロジェクタ１０１に供給し、投影面１０３上に表示させるために、サーバ１０６が備えられてもよい。そのために、サーバ１０６と通信可能に連結され、後続の読み出しと表示のためにコンテンツを格納するコンテンツストレージ１０７がシステム１００に含まれていてもよい。

一つ又は複数の実施形態において、その同じサーバ１０６あるいは別のサーバ（図示せず）がカメラ１０５から画像データ１１０を受信し、それを処理して入力装置（スマートフォン）１０４の位置をトラッキングする。カメラ１０５によるトラッキングを容易にするために、入力装置（スマートフォン）１０４は、マーカパターンであってもよいパターン１１１をそのスクリーン上に表示するようになっている。一つ又は複数の実施形態において、チェス盤マーカパターン１１１は入力装置（スマートフォン）１０４上で実行されるウェブブラウザ・アプリケーションによって表示され、当業者には周知のＨＴＴＰプロトコルを介する適切なユニフォーム・リソース・ロケータ（ＵＲＬ）を利用して、同じウェブサーバ１０６により提供される。当業者には理解されるように、ユーザはマーカパターンのあるディスプレイがカメラ１０５の視野から遮られないようにスマートフォン１０４を保持する必要がある。

以下の説明においては例示的な入力装置１０４としてスマートフォンを使用するが、本明細書で説明する本発明の概念はそれに限られるものではなく、スマートフォンの代わりにディスプレイスクリーンを有する他の任意の好適な装置を利用してユーザインタラクションを可能とすることができることを理解されたい。さらに、入力装置１０４上に表示される上記のチェス盤マーカパターンは、入力装置トラッキングのために利用可能な好適なマーカパターンの単なる一例であり、本発明の範囲と精神から乖離することなしに図１に示すシステム１００に関連して他の多くの好適なマーカパターンが利用可能である。

図２は入力装置としてスマートフォンを利用するディスプレイ−カメラシステムに対する微細なインタラクションを可能とするシステム２００の代替実施形態を示す。図２に示すように、プロジェクタ１０１と投影面１０３が、サーバ１０６に通信可能に接続された、１つの電子ディスプレイ２０１に置き換えられている。様々な実施形態において、電子ディスプレイ２０１はサーバ１０６からコンテンツ２０２を受信して、読み出されたコンテンツを含むユーザインターフェイスを表示するようになっている。さまざまな実施形態において、ディスプレイ２０１は液晶ディスプレイ、プラズマディスプレイ、ＣＲＴディスプレイあるいは当業者に周知のその他の任意の種類の視覚ディスプレイであってよい。したがって、本発明はいかなる特定の種類のディスプレイにも限定されない。図２に示すシステム２００のその他の要素は、図１に示すシステム１００の対応する要素と実質的に同じように動作する。

一つ又は複数の実施形態において、図１のシステム１００又は図２のシステム２００は、図３に関連して図示されているようなスライド画像への注釈に使用される。このために、図３に示すキャンバス・グラフィカルユーザインターフェイス・ウィジェット３００を利用して、スライド画像（図３においては家の間取図）などの表示された画像３０１の上にインクストロークを描画する。一つ又は複数の実施形態において、キャンバス・グラフィカルユーザインターフェイス・ウィジェット３００は、カメラ視野内の位置を判定するための自動較正を促進するように構成されている。ウィジェットの位置を自動又は手動で特定することが可能でさえあれば、上記のシステム１００と２００に関連する他のグラフィカルユーザインターフェイス（ＧＵＩ）ツールキットからキャンバスウィジェットを統合することも可能であることに留意されたい。

図３に示すように、チェス盤マーカパターン１１１が表示された入力装置（スマートフォン）１０４が、画像３０１の上に注釈３０２を追加するのに利用される。このために、ユーザは画像３０１上で入力装置（スマートフォン）１０４を動かして、意図した注釈をトラッキングする。一つ又は複数の実施形態において、得られる注釈３０２は入力装置（スマートフォン）１０４の位置に対してずれて配置される。一例においては、注釈を生成する描画ツールのカーソルが入力装置（スマートフォン）１０４の実質的に左上コーナか右上コーナに配置される。

図４は、プロジェクタ１０１又は電子ディスプレイ２０１を用いてユーザに表示された、キャンバスウィジット４００で構築されたホワイトボードアプリケーションへ注釈４０１を付加するための、図１のシステム１００又は図２のシステム２００の適用例を示す。図３のように、ユーザはチェス盤マーカパターン１１１が表示された入力装置（スマートフォン）１０４をホワイトボードキャンバスウィジェット４００上で移動させて、意図する注釈４０１をホワイトボードキャンバスウィジェット４００上に描く。カメラ１０５が入力装置（スマートフォン）１０４の静止画像または動画像を取得し、それが入力装置（スマートフォン）１０４の位置のトラッキングに利用される。図３及び図４に示した利用法は例でしかなく、図１に示すシステム１００又は図２に示すシステム２００のその他の多くのアプリケーションが、本発明の範囲から乖離することなく可能であることに留意されたい。したがって、図示した例は限定的な意味に解釈されるべきではない。

当業者には理解されるように、入力装置（スマートフォン）１０４上でアプリケーションを実行して、前述のチェス盤マーカパターンをカメラ１０５で検出されるように表示する方法は複数ある。一実施形態において、一つ又は複数のチェス盤マーカパターン画像が入力装置（スマートフォン）１０４のメモリへ電子的に転写され、入力装置（スマートフォン）１０４のオペレーティングシステムの標準画像ビューアを活用して、ディスプレイ装置上にチェス盤マーカパターン画像が選択、表示される。この手法の欠点の一つは、複数の所望のチェス盤画像の間のナビゲーションがユーザにとって少し扱いにくいことであろう。

別の実施形態において、チェス盤マーカパターンは入力装置（スマートフォン）１０４上で実行されるウェブブラウザのアプリケーションによって生成される、ウェブベースのユーザインターフェイスを用いて表示される。当業者には理解されるように、そのようなウェブベースのユーザインターフェイスはウェブブラウザのアプリケーションを有する任意の種類のモバイル・オペレーティングシステム上で動作する。それらには、ｉＯＳ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）、Ｗｉｎｄｏｗｓ（登録商標） Ｍｏｂｉｌｅなどがあるが、これに限られるものではない。最後に、更に別の実施形態において、チェス盤マーカパターンは入力装置（スマートフォン）１０４上で実行されるネイティブモバイルアプリケーションを用いて表示される。当業者には理解されるように、この実施形態はユーザにとって最も充実したインタラクション能力を提供する。ただし、ユーザがスマートフォンにアプリケーションをインストールする必要がある。

図５（ａ）は、入力装置（スマートフォン）１０４のディスプレイユニット上に表示されたウェブベースのグラフィカルユーザインターフェイスの例示的実施形態を示す図であり、例えば図３及び図４に示すような注釈をするためのペンの色及びストロークのサイズをユーザに選択させるアイコンのパレットを表している。図５（ａ）に示すように、ユーザに対して表示されたパレットには、ストロークサイズと色の異なる４つのパレットアイコン５０１、５０２、５０３、５０４が含まれている。図示した実施形態においては、アイコン５０１、５０３が大きなサイズのストロークに対応し、ブラシ５０２、５０４が小さなサイズのストロークに対応する。ブラシ５０１、５０２は１つの色（例えば、赤）であって、ブラシ５０３、５０４は違う色（例えば、黒）であってもよい。ユーザは表示されたパレットの対応するパレットアイコン５０１、５０２、５０３、５０４に触ることによって注釈用の所望のストロークサイズと色を選択することができる。

一つ又は複数の実施形態において図５（ａ）に示すグラフィカルユーザインターフェイスは、入力装置（スマートフォン）１０４上で実行されるウェブブラウザを用いて、当業者には周知のＨＴＴＰプロトコルを介してアクセスされるウェブページとして実装される。一つ又は複数の実施形態において、上記のウェブページは当業者には周知のＨＴＭＬマークアップ言語によって実装されて、図１及び図２に示すサーバ１０６によって提供されていてもよい。そのために、サーバ１０６はウェブサーバ部品を組み込んでいてもよい。この実装においては、対応するユニフォーム・リソース・ロケータ（ＵＲＬ）を利用して４つのアイコン５０１、５０２、５０３、５０４が、各ブラシに対応するチェス盤マーカパターンを含むウェブページへリンクされている。

一つ又は複数の実施形態において、図５（ａ）に示したユーザインターフェイスパレットから特定のパレットアイコン５０１、５０２、５０３、５０４をユーザが選択すると、入力装置（スマートフォン）１０４上で実行しているブラウザは、対応するチェス盤マーカパターンのウェブページへの対応するＵＲＬに従う。この時点において、カメラ１０５がその視野内にチェス盤マーカパターンがあることを検出し、現下の注釈の開始を表す注釈開始イベントを起動させる。このイベントが起きると、入力装置（スマートフォン）１０４の左上コーナの近くのキャンバス上にカーソルが配置されて表示される。別の実施形態において、左利きのユーザ用にカーソルが右上コーナの近くに配置されてもよい。

ユーザがキャンバス上で入力装置（スマートフォン）１０４を動かすと、チェス盤マーカパターンがカメラ１０５を利用してトラッキングされて、移動イベントが起動される。一つ又は複数の実施形態において、ユーザが表示されたチェス盤マーカパターンをタッピングするとブラウザが図５（ａ）に示すパレットページに戻る。そしてシステムが今行っている注釈の完了を意味する、注釈終了イベントを起動させる。カメラ１０５が検出する入力装置（スマートフォン）１０４の位置は、注釈している間連続的に記録され、記憶装置に格納される。例示的一実施形態において、上記のウェブベースのユーザインターフェイスアプリケーションは、当業者には周知のルビーオンレイルズ（Ｒｕｂｙ ｏｎ Ｒａｉｌｓ）フレームワークと静的ウェブページとで構築される。

一つ又は複数の実施形態において、図５（ａ）に示す各パレットアイコン５０１、５０２、５０３、５０４に対して対応するチェス盤マーカパターンがアイテムの性質を視覚的に示す。例えば、赤いペンの色は赤いチェス盤マーカパターンで表され、細いストローク幅はより小さい正方形のあるより大きなグリッドサイズのチェス盤で表される。チェス盤マーカパターンのこれらの視覚特性はシステムによって認識され、ユーザへのフィードバックも提供される。例えば、図５（ｂ）は、図５（ａ）のアイコン５０１で表される太く赤いストロークに対応する、チェス盤マーカパターン５０５を示す。図に示した実施形態において、チェス盤マーカパターン５０５はチェス盤のように配列された大きな赤い正方形から成る。他方、図５（ｃ）のチェス盤マーカパターン５０６はチェス盤のように配列された小さな黒い正方形から成る。このマーカパターンは、図５（ａ）のアイコン５０４によって表される、細く黒いストロークに対応する。

図６はキャンバス・グラフィカルユーザインターフェイス・ウィジェット６００の例示的実施形態を示す図である。一つ又は複数の実施形態において、キャンバスウィジェット６００はＣ＋＋で実装され、当業者には周知のＱｔ（キュート）アプリケーションフレームワークで動作する。様々な実施形態において、キャンバス・グラフィカルユーザインターフェイス・ウィジェット６００は注釈のための画像を表示することができ（図３の画像３００を参照）、あるいは、ホワイトボードとして利用するための空白の背景を表示することができる（図４参照）。

一つ又は複数の実施形態において、キャンバス・グラフィカルユーザインターフェイス・ウィジェット６００には較正モードがある。このモードでは図７に示すように外見が変化して、カメラ視野内での位置が検出できるようになっている。具体的には、上記の較正モードにおけるキャンバス・グラフィカルユーザインターフェイス・ウィジェット７００の縁７０１の色が、“通常”のキャンバス・グラフィカルユーザインターフェイス・ウィジェット６００に比較して変化する。こうすることで、上記の縁７０１の位置をカメラ１０５で簡単に検出することができる。上記のキャンバス・グラフィカルユーザインターフェイス・ウィジェット６００の縁の、縁位置が判定されると、画像（カメラ）座標と、キャンバス・グラフィカルユーザインターフェイス・ウィジェット６００の座標との間のマッピングが行われる。キャンバスウィジェットの縁の色だけを変えることがキャンバスウィジェット全体の色を変えることよりもうまくいくことが理解されるであろう。それは、自動的な輝度と色調調整がオンされている場合において、カメラ１０５によりキャプチャされる画像への影響が小さいからである。一つ又は複数の実施形態において、ウィジェット較正は自動的に遂行することができ、較正データは後で再利用するためにデータストレージに保存することができる。

一つ又は複数の実施形態において、カメラ１０５の視野内に置かれ、カメラ１０５によって検出される標準のチェス盤マーカパターンが、カメラの較正の目的で利用される。チェス盤マーカパターンの検出アルゴリズムの堅牢な実装は、例えば当業者には周知のＯｐｅｎＣＶコンピュータビジョンライブラリの中から入手できる。その他の最新のチェス盤マーカパターンアルゴリズムが最近開発され、特許文献８に記載されている。

図８は、入力装置としてスマートフォンを利用するプロジェクタ−カメラシステム又はディスプレイ−カメラシステムに対する微細なインタラクションを可能とするシステムの操作手順の例示的一実施形態を示す。一般的に操作手順８００では、カメラ１０５で取得された動画フレームが処理され、アクションイベントが生成される。大部分のカメラに関しては、フレーム速度を最大３０ｆｐｓまで上げることができる。新しい動画フレームは、ステップ８０１で取得もしくは他の方法で得られる。取得した各動画フレームに対して前述のＯｐｅｎＣＶなどのチェス盤検出機能がステップ８０２で実行される。ステップ８０３において、特定の取得した動画フレームにおいてチェス盤マーカパターンがうまく検出されたかどうかが判定される。検出されない場合には、プロセスは新たな動画フレームを取得して（ステップ８０１）、プロセス自体を繰り返す。

取得した動画フレームでチェス盤マーカパターンがうまく検出された場合には、システムは検出されたチェス盤マーカパターンの内部頂点のリストを生成する（ステップ８０４）。整列したリストの中央の１点または２点を見ることで重心が簡単に計算される（ステップ８０５）。検出された重心を用いて、入力装置（スマートフォン）１０４の運動の経路がマーク（設定）される（ステップ８０６）。経路の座標は、その後、ウィジェット較正データに基づいてカメラ画像座標からキャンバスウィジェット座標に変換される（ステップ８０７）。その後、検出された経路及びストロークサイズと色とに基づいて、インクストロークがキャンバス上に描画される（ステップ８０８）。プロセス８００はステップ８０１で新規の動画フレームを取得して繰り返される（図８参照）。

一つ又は複数の実施形態において、前述のカーソルが入力装置（スマートフォン）１０４上に表示されたチェス盤マーカパターンの重心からずれて配置されて、カーソルが入力装置で遮られないようにする。図３、４に示した実施形態において、カーソルは入力装置（スマートフォン）１０４の本体の左上コーナに配置される。別の実施形態においては左利きの人向けに、カーソルが右上コーナの近くに配置される。更に別の実施形態では、入力装置（スマートフォン）１０４のディスプレイユニットの一部を使って、入力装置で遮られたキャンバスの部分を動的に表示したり、入力装置（スマートフォン）１０４のカメラユニットにより取得されたリアルタイム動画を表示したりする。このようにして、ユーザが入力装置（スマートフォン）１０４の本体を「透過して」見ることが可能であってもよい。

一つ又は複数の実施形態において、表示されたチェス盤マーカパターンのグリッドサイズを検出するために、ターゲットグリッドサイズをチェス盤検出アルゴリズムの入力（出力ではない）パラメータとして使用する。表示されるチェス盤マーカパターンの可能なサイズの組が前以ってわかっているので、システムは取得したカメラ画像をこれらの既知のサイズに対してチェックして、一致するサイズを判定する。一致したサイズが次にチェス盤マーカパターンのサイズとして使用される。一つ又は複数の実施形態において、チェス盤マーカパターンの色に関して同様な操作が実行されてもよい。

図９は、チェス盤マーカパターンの色を判定するための操作手順９００の例示的一実施形態を示す図である。一つ又は複数の実施形態において、チェス盤マーカパターンの色を判定するためにシステムは、まず検出されたチェス盤マーカパターンの内部頂点のリストを生成する（ステップ９０１）。次に、システムはチェス盤マーカパターンの整列したリストの中央から２つのポイント｛Ｐ，Ｑ｝を取る（ステップ９０２）。ステップ９０３において、２つの頂点｛Ｐ，Ｑ｝を共有する、２つの隣接するチェス盤正方形の中心の２つの点｛Ｃ１，Ｃ２｝の近似的な位置をシステムが計算する。Ｃ１とＣ２はチェス盤パターン内の隣接する正方形の内部にあるので、そのうちの１つは白ではなくて、その色がステップ９０４で判定されるチェス盤の色である。一つ又は複数の実施形態においては、チェス盤マーカパターンの他の特性の検出ないしは評価をすることができる。それには、入力装置（スマートフォン）１０４の姿勢や表面からの高さなどが含まれるが、これに限定されるものではない。これらの判定されたパラメータは、注釈のストローク幅のような入力特性の制御にも利用することができる。

一つ又は複数の実施形態において、特定のアプリケーションに対しては、オンとオフのような２つの状態を示すための２つの変形を有する、チェス盤パターンに基づく視覚的なマーカがあることが望ましい。オン状態とオフ状態の例は、注釈プロセス時におけるペンアップとペンダウンの状態である。例えば、図５（ａ）、５（ｂ）、５（ｃ）に関連する上記のユーザインターフェイスの実施形態において、ユーザがチェス盤マーカパターンをタップしたときに図５（ａ）のパレットに戻るのではなく、良好な代替法として、ユーザがチェス盤マーカをタップしたときに、表示されたチェス盤マーカパターンのオンとオフが切り替わる。一実施形態においては、表示されたチェス盤マーカ（図５（ｂ）又は５（ｃ））から図５（ａ）のパレットへ移るためにスワイプするジェスチャが利用される。こうしてペンアップ状態とペンダウン状態があれば、ユーザはパレットからペンを再度選択しなおすことをしなくても選択したペンで作業を継続することが可能となる。

表示されたチェス盤マーカはユーザへのフィードバックも与えるので、２状態の視覚マーカのオンパターンとオフパターンの両方とも類似の視覚上の外観を持ち、かつ状態が視覚的に示されるべきである。したがって一実施形態において、オフ状態に対して、チェス盤マーカパターンの正方形の中央に丸い穴が配置されている。そのようなチェス盤マーカパターンの実施形態が、図１０（ａ）、（ｂ）に関連して図示されている。具体的には、図１０（ａ）は第１（例えば、オン）の状態のチェス盤マーカパターンを示している。この図に示すように正方形１００１は全体が色で埋められている。他方、図１０（ｂ）は第２（例えば、オフ）の状態のチェス盤マーカパターンを示している。このパターンでは、正方形１００２の中央に白く丸い穴１００３がある。当業者には理解されるように、図１０（ａ）、１０（ｂ）に示すチェス盤マーカパターンは例示のためだけのものであり、本明細書で記述する本発明の概念から乖離することなく、異なる状態に対するチェス盤マーカパターンの多くの更なる変形があり得る。

上記のチェス盤マーカパターンの設計例は、チェス盤マーカパターンの検出には影響を与えないことに留意されたい。それは、検出アルゴリズムはパターンの正方形のコーナを探し、これらの正方形の中央にある円には影響されないからである。例えば、前述のＯｐｅｎＣＶ検出アルゴリズムは、正方形の中央に穴があるチェス盤パターンの検出が可能であることが確認された。一つ又は複数の実施形態において、検出されたチェス盤マーカパターンが穴を持っているかどうかを効率的に判定するために、前述したチェス盤の色を判定するのと類似の方法が適用される。すなわち、隣接する正方形の中心Ｃ１とＣ２が両者ともに白い場合には、チェス盤マーカパターンは穴を持っている。

例示的一実施形態において、上記の手法がカリグラフィに適用される。カリグラフィはコンピュータに実装されたペン描画の機能であり、Ｍｉｃｒｏｓｏｆｔ Ｐａｉｎｔ（非特許文献９）、Ｍｉｃｒｏｓｏｆｔ Ｆｒｅｓｈ Ｐａｉｎｔ（非特許文献１０）やその他のオープンソースであるＩｎｋｓｃａｐｅ（非特許文献１１）などのアプリケーションソフトにみられる。典型的には、アプリケーションは、ニブやブラシの効果を模倣するために、様々な種類のペン先を提供する。いくつかの人気のあるペンデジタイザは、圧力と傾斜を検出することができ、その圧力をブラシ先端のストローク幅の制御に利用することができる。

当業者には理解されるように、物理的材料で作られた実際のペンでは、ペン先端の種類は異なる因子の影響を受ける。ニブのペン先の場合は、先端の角度に対するストロークの角度が、ストローク幅を決定する主な因子である。ペン先がブラシである場合には、ストロークの角度はストローク幅にあまり影響しない。ブラシが柔らかい毛でできている場合には、ブラシにかかる下向きの圧力がストローク幅を決定する主な因子である。他方、硬い材料（金属であることが多い）でできているニブの場合、ストローク幅は圧力の影響をほとんど受けない。ペンの傾斜がストローク幅には少し影響し得るが、それもわずかである。

タブレットディスプレイ上で圧力に敏感なスタイラスを使用する場合、圧力とブラシのストローク幅とをうまく対応させることはできない。それは圧力範囲を変化させることが難しいからである。例えば業界でよく知られてマイクロソフト社から市販されている、Ｍｉｃｒｏｓｏｆｔ Ｓｕｒｆａｃｅ Ｐｒｏタブレット（非特許文献１２）のスタイラス（これはワコム社の技術を使用している、非特許文献１３）では、ペンの先端はごくわずか（１ｍｍ未満）しか後退しないので、圧縮性の毛でできた本物のブラシとはユーザの使用感が随分違う。具体的には本物のブラシでは、より大きく上下に移動する距離により、より大きなフィードバックを指に感じることができる。

ストローク幅を制御する別の方法は、圧力感度を持たない場合も含めて、スタイラスで書き込むときに、一対（例えば左右）の矢印キーを同時に使用することである。例えば、当業者に周知の前記Ｉｎｋｓｃａｐｅアプリケーションはこの方法をサポートしている。ただしこの手法は、片方の手でスタイラスを使って書き込み、もう一方の手で矢印キーを使ってストローク幅を制御するというように、両手を使うことが必要であり、この調子を合わせることが多くのユーザにとって大変難しい。

一つ又は複数の実施形態において、ユーザが入力装置（スマートフォン）１０４を利用してカリグラフィを遂行できるようにするために、複数のタイプのペン先が作製された。すなわちボールペン、ニブ、及びブラシである。デフォルトはボールペンチップであり、これは単純なストロークで、例えば図３、４に示すようにストローク幅が一定となる。入力装置（スマートフォン）１０４をブラシチップモードで使用する場合、カメラ１０５で取得したフレームを利用して入力装置（スマートフォン）１０４の回転が判定される。判定された回転を利用して、次にストローク幅を制御する。テストの結果、上記のＦｒｅｓｈ ＰａｉｎｔやＩｎｋｓｃａｐｅアプリケーションを用いてＳｕｒｆａｃｅ Ｐｒｏタブレットの上に圧力感応スタイラスを使用する場合よりも、特に漢字を書く場合にこの方法がより良好な結果をもたらすことが分かった（図１１（ａ）、（ｂ）参照）。

一つ又は複数の実施形態において入力装置（スマートフォン）１０４をニブペン先モードでカリグラフィに使用する場合、入力装置（スマートフォン）１０４の検出された回転を利用してストローク幅を制御することに加えて、検出されたストローク角もまた利用される。一実施形態においてストローク角と装置（スマートフォン）１０４の回転角との差が計算されてストローク幅が判定される。極端な場合、ストローク角がパック（ｐｕｃｋ）に平行であるとすると（実際のニブペン先を思い起こされたい）、ストローク幅は最小であり、別の極端である垂直な場合には幅が最大となる。

図１１（ａ）、（ｂ）は入力装置（スマートフォン）１０４を用いた上記のカリグラフィ技術の出力例を示す。具体的には、図１１（ａ）は英語及びその他の特定のヨーロッパ言語に対するニブペン先の使用を示すものであり、他方、図１１（ｂ）は中国語及びその他のアジア言語に対するブラシペン先の使用を示すものである。ストロークは平滑化されていない。ここに示したカリグラフィ効果は、スタイラスの回転を検出可能な非常に特殊なシステムでない限り、タブレットコンピュータでは実現できない。このように、入力装置（スマートフォン）１０４を含む上記のシステムを使用することで、圧力を検出可能なタブレット上で普通のスタイラスを使用する場合よりもより良好なカリグラフィ効果を生成することができる。一実施形態においてストロークの外観を改良するために、ストロークを平滑化しかつ美化させるための自動的改良が行われる。

当業者には理解されるように、ドローイングとペインティングをボールペン又はブラシチップで行うことが可能である。一つ又は複数の実施形態において、ペインティングをするために、入力装置としてスマートフォンを利用して微細なユーザインタラクションを可能とする上記のシステムが、例えば図５（ａ）に示すようなパレットにユーザがもっと多くの色を追加することができるように変更される。別の実施形態においては、色はパレット内に前以って設定されている。ドローイングとペインティングのための入力装置（スマートフォン）１０４を含む上記のシステムを使って生成された絵の一例が図１２に示されている。

一つ又は複数の実施形態において、遮蔽及び照明の問題を緩和するために、カメラ位置の改善と、カメラの輝度及びホワイトバランスの制御が行われる。さらに、カメラ１０５の解像度を向上させることで、チェス盤マーカのサイズを低減できる。一つ又は複数の実施形態において、スマートフォンを入力装置として利用して微細なユーザインタラクションを可能とする上記のシステムが、複数のユーザをサポートするように構成される。

図１３は、図１と図２にそれぞれ示した微細なユーザインタラクションを可能とするシステム１００又は２００との関連で、ユーザ入力装置１０４として使用されるモバイルコンピューティング装置の例示的一実施形態を示す図である。一つ又は複数の実施形態において、モバイルコンピューティング装置１０４は、すべて商業的に広く入手可能であり当業者によく知られているスマートフォンやパーソナルデジタルアシスタント（ＰＤＡ）、タブレットコンピュータ、スマートウォッチなどのモバイルコンピューティング装置のフォームファクタに収まるように実装されてもよい。

モバイルコンピューティング装置１０４には、モバイルコンピューティング装置１０４の様々なハードウェア部品の全体に亘り、又は部品同士の間で情報を交換するための、データバス１３０４またはそのほかの相互接続や通信機構と、そのデータバス１３０４に連結されて情報の処理し、その他の計算や制御タスクを実行するための処理ユニット（ＣＰＵまたは単にプロセッサ）１３０１とが含まれていてよい。またモバイルコンピューティング装置１０４には、データバス１３０４に連結されて様々な情報やプロセッサ１３０１で実行される命令を格納するための、ランダムアクセスメモリ（ＲＡＭ）や他の動的記憶装置などのメモリ１３１２も含まれる。メモリ１３１２にはまた、磁気ディスク、光学ディスク、固体フラッシュメモリ装置や、その他の不揮発性固体記憶装置などの、持続性記憶装置が含まれてもよい。

一つ又は複数の実施形態において、メモリ１３１２は、プロセッサ１３０１によって命令を実行しているときに、一時的な変数やその他の中間情報を格納するために利用されてもよい。任意選択により、モバイルコンピューティング装置１０４には更に、データバス１３０４に連結された読み出し専用メモリ（ＲＯＭまたはＥＰＲＯＭ）１３０２やその他の静的記憶装置が含まれていて、モバイルコンピューティング装置１０４の動作に必要なファームウェアや基本入出力システム（ＢＩＯＳ）、またモバイルコンピューティング装置１０４の様々な設定パラメータなどの、プロセッサ１３０１のための静的な情報や命令が格納されてもよい。

一つ又は複数の実施形態においてモバイルコンピューティング装置１０４にはディスプレイ装置１３０９が組み込まれていてもよい。これはまたデータバス１３０４に連結されて、モバイルコンピューティング装置１０４のユーザへの様々な情報を表示してもよい。代替の実施形態において、ディスプレイ装置１３０９はグラフィックコントローラ及び／又はグラフィックプロセッサ（図示せず）に関連付けられていてもよい。ディスプレイ装置１３０９は、いずれも当業者にはよく知られている、例えば薄膜トランジスタ（ＴＦＴ）技術を利用して製造される液晶ディスプレイ（ＬＣＤ）や、有機発光ダイオード（ＯＬＥＤ）技術として実装されていてもよい。様々な実施形態において、ディスプレイ装置１３０９はモバイルコンピューティング装置１０４の他の部品とともに、同一の全体筐体の中に組み込まれてもよい。代替実施形態において、ディスプレイ装置１３０９はそのような筐体の外側に配置されてもよい。

一つ又は複数の実施形態において、モバイルコンピューティング装置１０４には更に音声再生装置１３２５が組み込まれていてもよい。これはデータバス１３０４に接続され、様々な音声ファイルやストリーム、例えば当業者には周知の、ＭＰＥＧ−３ファイル、ＭＰＥＧ−４ファイルのような様々な動画ファイルの音声トラックなどを再生するように構成されている。そのために、モバイルコンピューティング装置１０４には波形または音声プロセッサあるいは類似の装置（表示せず）が含まれていてもよい。上記の特定の実施形態においては、音声再生装置１３２５がテレビ会議のライブの音声ストリームをユーザに対して再生するように構成されている。

一つ又は複数の実施形態において、モバイルコンピューティング装置１０４には、触覚コマンドを受信するためのタッチスクリーン・インターフェイス１３１０や、様々な物体の静止画像並びに動画を取得するためのカメラ１３１１や、キーボード１３０６などの、一つ又は複数の入力装置が含まれていてもよい。これらはすべて前述のデータバス１３０４に連結されていて、これに限定されるものではないが、画像や動画、並びにユーザのコマンド選択を含む情報をプロセッサ１３０１へ通信してもよい。代替実施形態において、入力装置にはユーザの目の動きをトラッキングするシステム（図示せず）が含まれてもよい。これはユーザのコマンド選択をモバイルコンピューティング装置１０４に示すために使われてもよい。

一つ又は複数の実施形態において、モバイルコンピューティング装置１０４は更に位置及び配向モジュール１３０３を含んでもよい。これは地理上の現在位置、空間配向並びにモバイルコンピューティング装置１０４の加速度に関するデータをデータバス１３０４を経由してプロセッサ１３０１へ供給するようになっている。地理上の位置情報は、例えば全地球測位システム（ＧＰＳ）技術、及び／又は近隣の携帯電話基地局やＷＩＦＩホットスポットなどからの情報を用いるその他の測位技術を利用して、位置モジュール１３０３によって取得されてもよい。加速度データは、位置及び配向モジュール１３０３に組み込まれた一つ又は複数の加速度計によって供給される。最後に、配向に関する情報が、重力を含む３軸すべてにおける加速度計測を利用して取得されてもよい。一つ又は複数の実施形態において、位置及び配向モジュール１３０３によって提供される位置、配向、及び加速度のメタデータは連続的に記録されて、データストレージユニット１３２１内に格納される。

一つ又は複数の実施形態において、モバイルコンピューティング装置１０４は更にデータバス１３０４に連結されたネットワークインターフェイス１３０５などの通信インターフェイスを追加的に含んでもよい。ネットワークインターフェイス１３０５は、ＷＩＦＩインターフェイス１３０７とセルラーネットワーク（ＧＳＭ（登録商標）またはＣＤＭＡ）アダプタ１３０８の少なくとも１つを利用して、モバイルコンピューティング装置１０４とインターネット１３２４との間の接続を確立するように構成されていてもよい。ネットワークインターフェイス１３０５はモバイルコンピューティング装置１０４とインターネット１３２４の間の双方向データ通信を可能とするようになっていてもよい。ＷＩＦＩインターフェイス１３０７は、当業者には周知の、８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇ及び／又は８０２．１１ｎプロトコル並びにＢｌｕｅｔｏｏｔｈ（登録商標）プロトコルに準拠して動作してよい。例示的実施形態において、ＷＩＦＩインターフェイス１３０７、セルラーネットワーク（ＧＳＭ（登録商標）またはＣＤＭＡ）アダプタ１３０８は、様々な種類の情報を表すデジタルデータストリームを搬送する電気信号または電磁信号を送受信する。

一つ又は複数の実施形態において、インターネット１３２４は典型的には、一つ又は複数のサブネットワークを介して他のネットワークリソースへデータ通信を提供する。こうして、モバイルコンピューティング装置１０４はインターネット１３２４上の任意の場所にある種々のネットワークリソース、例えばリモートメディアサーバ、ウェブサーバ、他のコンテンツサーバ並びに他のネットワークデータストレージリソースなどへのアクセスが可能となる。一つ又は複数の実施形態において、モバイルコンピューティング装置１０４は、ネットワークインターフェイス１３０５によってインターネット１３２４を含む様々なネットワークを通じて、メッセージやメディアや、アプリケーションプログラムコードを含むその他のデータを送受信するように構成されている。インターネットの例では、モバイルコンピューティング装置１０４がネットワークのクライアントとして動作する場合に、モバイルコンピューティング装置１０４上で実行するアプリケーションプログラム用のコードやデータを要求してもよい。同様に、他のネットワークリソースへ様々なデータやコンピュータコードを送信してもよい。

一つ又は複数の実施形態において、モバイルコンピューティング装置１０４はネットワークインターフェイス１３０５を利用して、ＨＴＴＰ要求などの要求をインターネット１３２４を介してサーバ１０６へ送信する。そしてそこから、前述したチェス盤マーカパターンを含む様々な情報を受信する。

一つ又は複数の実施形態において本明細書で記述した機能は、メモリ１３１２内に保持される一つ又は複数の命令の一つ又は複数のシーケンスを実行するプロセッサ１３０１に応答してモバイルコンピューティング装置１０４によって実装される。そのような命令は、別のコンピュータ可読媒体からメモリ１３１２へ読み込まれてもよい。メモリ１３１２に保持された命令のシーケンスを実行することにより、プロセッサ１３０１に本明細書に記載の様々なプロセスステップを実行させる。代替の実施形態では、本発明の実施形態を実装するのに、ソフトウェアによる命令に代えて、あるいはソフトウェアによる命令と組み合わせて、配線による回路が使用されてもよい。従って本発明の実施形態は、ハードウェア回路とソフトウェアのいかなる特定の組み合わせにも限定されるものではない。

本明細書に記載の任意の方法及び／又は技術を実装するための命令またはプログラムは、コンピュータ可読媒体に保持されていてもよい。このような媒体は多様な形態を取ることができ、不揮発性媒体及び揮発性媒体が含まれるが、これに限定されるものではない。

非一時的なコンピュータ可読媒体の一般的形態には、例えばフロッピディスク（登録商標）、フレキシブルディスク、ハードディスク、磁気テープ、又は他の任意の磁気媒体、ＣＤ−ＲＯＭ、他の任意の光学媒体、パンチカード、紙テープ、その他の孔パターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、フラッシュドライブ、メモリカード、その他の任意のメモリチップ又はメモリカートリッジ、あるいはコンピュータが読み出し可能な他の任意の媒体、が含まれる。様々な形態のコンピュータ可読媒体が、プロセッサ１３０１での実行のために、１つまたは複数の命令の１つまたは複数のシーケンスの保持に関与し得る。例えば、最初は命令がリモートコンピュータから磁気ディスクで保持されてもよい。又は、リモートコンピュータが命令をダイナミックメモリに書込み、インターネット１３２４で命令を送信することもできる。具体的にはコンピュータ命令は、当分野で周知の様々なネットワークデータ通信プロトコルを利用して、インターフェイス１３２４を介して前述のリモートコンピュータからモバイルコンピューティング装置１０４のメモリ１３１２へダウンロードされてもよい。

一つ又は複数の実施形態において、モバイルコンピューティング装置１０４のメモリ１３１２は、以下のソフトウェアプログラムやアプリケーション、モジュールの任意のものを格納してもよい。

１．オペレーティングシステム（ＯＳ）１３１３。これは基本システムサービスを実装し、モバイルコンピューティング装置１０４の様々なハードウェア部品を管理するモバイルオペレーティングシステムであってもよい。オペレーティングシステム（ＯＳ）１３１３の例示的実施形態は当業者には周知であり、現在知られているか最新開発のモバイルオペレーティングシステムの任意のものを含んでよい。

２．モバイルアプリケーション１３１４。これは、例えば、モバイルコンピューティング装置１０４のプロセッサ１３０１によって実行される一連のソフトウェアアプリケーションを含み、ディスプレイ装置１３０９上にチェス盤マーカパターンを表示させたりするような特定の所定機能をモバイルコンピューティング装置１０４に実行させてもよい。一つ又は複数の実施形態において、モバイルアプリケーション１３１４はウェブブラウザアプリケーション１３１５並びに以下で詳述する微細なユーザインタラクションアプリケーション１３１６を含んでよい。

３．データストレージ１３２１。これは、例えばチェス盤マーカパターン１３２２を格納するために使用されてもよい。

一つ又は複数の実施形態において、本発明の微細なユーザインタラクション・アプリケーション１３１６には、例えば図５（ａ）、５（ｂ）、５（ｃ）に示されるような本発明のグラフィカルユーザインターフェイスを生成するように構成された、グラフィカルユーザインターフェイス生成モジュール１３１７が含まれていてもよい。本発明の微細なユーザインタラクション・アプリケーション１３１６には、既に詳細を説明したストローク幅と色のユーザ選択やペンの移動などのような様々なユーザイベントを処理するための、ユーザイベント処理モジュール１３１８が更に含まれていてもよい。さらに、モバイルコンピューティング装置１０４とサーバ１０６との間の通信を容易にするためのウェブクライアントモジュール１３１９が含まれていてもよい。最後に一つ又は複数の実施形態において動画キャプチャモジュール１３２０が備えられていて、カメラ１３１１を使ってリアルタイムの動画をキャプチャし、そのキャプチャされたリアルタイム動画をディスプレイ装置１３０９上に表示して、ユーザがモバイルコンピューティング装置１０４の本体の「透過して」見ることができるようになっていてもよい。

図１４はプロジェクタ−カメラシステム又はディスプレイ−カメラシステムに関連する入力装置（スマートフォン）１０４により微細なユーザインタラクションを促進するコンピュータサーバシステム１０６の例示的一実施形態を示す図である。このサーバシステム１０６は上記の図１及び図２にも示されている。

一つ又は複数の実施形態において、コンピュータサーバシステム１０６にはデータバス１４０４が含まれていてもよい。これは図１３に示すモバイルコンピューティング装置１０４のデータバス１３０４と実質的に同じであって、実質的に同じ機能を果たしてもよい。様々な実施形態においてデータバス１４０４は、データバス１３０４と同一又は異なる相互接続及び／又は通信プロトコルを使用してもよい。コンピュータサーバシステム１０６の一つ又は複数のプロセッサ（ＣＰＵ）１４０１、ネットワークアダプタ１４０５、ＥＰＲＯＭ／ファームウェアストレージ１４０２、ディスプレイ装置１４０９及びキーボード１４０６は、これらがサーバプラットフォーム構成として展開されていることを除けば、モバイルコンピューティング装置１０４のプロセッサ１３０１、ネットワークインターフェイス１３０５、ＥＰＲＯＭ／ファームウェアストレージ１３０２、ディスプレイ装置１３０９及びキーボード１３０６のそれぞれとまた実質的に同じであってよい。様々な実施形態において、一つ又は複数のプロセッサ１４０１はプロセッサ１３０１に比べれば実質的に大きな処理能力を持っていてもよい。

入力装置１４０６（キーボード）の他にコンピュータサーバシステム１０６には、方向情報やコマンド選択をプロセッサ１４０１に通信し、またディスプレイ装置１４０９上のカーソル移動を制御するための、マウス又はトラックボール、カーソル方向キーのようなカーソル制御装置１４１０が追加で含まれていてもよい。この入力装置は一般的に、第１の軸（たとえばｘ軸）と第２の軸（例えばｙ軸）の２つの軸における自由度２を有しており、これによりこの装置で平面上の位置を特定することができる。

コンピュータサーバシステム１０６のＬＡＮ／ＩＳＤＮアダプタ１４０７は、例えば、総合デジタル通信網（ＩＳＤＮ）カードまたはモデムを利用して実装されて、インターネットサービスプロバイダのハードウェア（図示せず）を利用してインターネット１３２４に接続されている、対応する種類の電話線とのデータ通信接続を提供してもよい。別の例としては、ＬＡＮ／ＩＳＤＮアダプタ１４０７は、ローカルエリアネットワークインターフェイスカード（ＬＡＮ ＮＩＣ）であって、互換性のあるＬＡＮ及びインターネット１３２４へのデータ通信接続を提供してもよい。様々なメディアのファイルを格納するために、コンピュータサーバシステム１０６にはメディアストレージ１４０８が備えられていてもよい。これは、ストレージコントローラ１４０３によってデータバス１４０４に接続されて、注釈又はその他のためにユーザに表示される様々なコンテンツを格納する。カメラ１０５は画像及び／又は動画を取得して、これまでに説明したように入力装置（スマートフォン）１０４を検出してトラッキングするように利用されてもよい。

一つ又は複数の実施形態において、コンピュータサーバシステム１０６のメモリ１４１２は、以下のソフトウェアプログラム、アプリケーション、モジュール及び／又はデータの任意のものを格納してもよい。

１．サーバオペレーティングシステム（ＯＳ）１４１３。これは基本システムサービスを実装し、コンピュータサーバシステム１０６の様々なハードウェア部品を管理するオペレーティングシステムであってもよい。サーバオペレーティングシステム１４１３の例示的実施形態は当業者には周知であり、現在知られているか又は最新開発のモバイルオペレーティングシステムの任意のものを含んでよい。

２．ネットワーク通信モジュール１４１４。これには例えば一つ又は複数のネットワーク・プロトコルスタックが含まれてもよい。これはコンピュータサーバシステム１０６と、モバイルコンピューティング装置１０４のようなインターネット１３２４の様々なネットワークエンティティとの間を、ＬＡＮ／ＩＳＤＮアダプタ１４０７と連結して作用するネットワークアダプタ１４０５を利用してネットワーク接続を確立するために利用される。

３．サーバアプリケーション１４１５。これには、例えばコンピュータサーバシステム１０６の一つ又は複数のプロセッサ１４０１によって実行される一連のソフトウェアアプリケーションが含まれてもよい。これらはコンピュータサーバシステム１０６に特定の事前設定された機能またはタスクを遂行させる。一つ又は複数の実施形態においてサーバアプリケーション１４１５には、入力装置（スマートフォン）１０４上への本発明のウェブユーザインターフェイスの生成を促進するように構成された、ウェブサーバアプリケーション１４１６が含まれていてもよい。さらに、サーバアプリケーション１４１５には、詳細を既に説明した画像処理及びチェス盤パターン検出操作を実装するように構成された、画像／動画処理アプリケーション１４１７が含まれていてもよい。更にそれに加えて、較正アプリケーション１４１８が含まれていて、上記の較正操作を実装してもよい。最後に、サーバアプリケーション１４１５は、ストロークサイズと色の選択のような、様々なユーザイベントを処理するためのユーザイベント処理アプリケーション１４１９が含まれていてもよい。

４．データストレージ１４２０。これは、本明細書で説明したマーカパターン画像ファイル１４２１、並びに上記のユーザ注釈情報のようなユーザインタラクションデータ１４２２を、例えば格納するために使用されてもよい。

最後に、本明細書中に記載されたプロセス及び技術は特定の装置に生得的に関係するものではなく、構成要素の任意の適切な組み合わせによって実装可能であることを理解されたい。更に、種々のタイプの汎用デバイスを、本明細書に記載の教示にしたがって使用することが可能である。本明細書に記載された方法のステップを実行するための専用装置を構築することが有利であることも判明するであろう。本発明を特定の例に関連して記載したが、これらは全ての点において限定的ではなく説明的であることを意図している。ハードウェア、ソフトウェア、及びファームウェアの多くの異なる組み合わせが本発明の実行に好適であることが、当業者には理解されるであろう。例えば、前述のソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、オブジェクティブＣ、ｐｅｒｌ、ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）などの広範なプログラム言語あるいはスクリプト言語、並びに現在既知または最新開発のプログラム言語あるいはスクリプト言語によって実装することが可能である。

さらに、ここに開示した本発明の明細書を考察し、本発明を実施すれば、本発明の他の実装が当業者には明らかとなるであろう。説明した実施形態の様々な態様、及び／又は部品は、入力装置としてスマートフォンを利用するプロジェクタ−カメラシステム又はディスプレイ−カメラシステムに対する微細なインタラクションを可能とするシステム、方法及びプログラムにおいて、単独もしくは任意の組み合わせで利用することが可能である。明細書及び実施例は例示としてのみ理解されるべきであり、本発明の真の範囲と精神は添付の特許請求の範囲によって示されるものとする。

１００ システム
１０１ プロジェクタ
１０２ 視野
１０３ 投影面
１０４ 入力装置、モバイルコンピューティング装置
１０５ カメラ
１０６ サーバ
１０７ コンテンツストレージ

Claims (25)

1. 処理ユニットとカメラとメモリとを備える計算処理システムが実行する、プロジェクタ−カメラシステム又はディスプレイ−カメラシステムに対する微細なユーザインタラクションを可能とする方法であって、
   ａ．前記処理ユニットが、ユーザに保持されマーカパターンを表示するモバイルコンピューティング装置の複数の画像をカメラを用いて取得し、
   ｂ．前記処理ユニットが、前記取得された複数の画像内の前記マーカパターンを検出し、
   ｃ．前記処理ユニットが、前記取得された複数の画像内の前記検出されたマーカパターンに基づいて、前記モバイルコンピューティング装置の複数の位置を判定し、
   ｄ．前記処理ユニットが、前記モバイルコンピューティング装置の前記判定された複数の位置に基づいてユーザイベントを処理する、
   方法。
2. 前記処理ユニットが、前記取得された複数の画像内の前記検出されたマーカパターンの少なくとも１つの特徴を判定することを更に含み、前記ユーザイベントを処理することは更に、前記マーカパターンの前記判定された少なくとも１つの特徴に基づく、請求項１に記載の方法。
3. 前記マーカパターンの前記判定された少なくとも１つの特徴は、前記マーカパターンのグリッドサイズである、請求項２に記載の方法。
4. 前記マーカパターンの前記判定された少なくとも１つの特徴は、前記マーカパターンの色である、請求項２に記載の方法。
5. 前記マーカパターンの色を判定することが、
   前記マーカパターンの整列した複数の内部頂点を生成し、
   前記整列した複数の内部頂点の中央に２つのポイントを特定し、
   前記マーカパターンの２つの隣接する正方形の中央に２つの第２のポイントの位置を計算し、
   前記２つの第２のポイントにおいて色を判定し、
   前記判定された色の中の白以外の１つを前記マーカパターンの色として採用する、
   ことを含む、請求項４に記載の方法。
6. 前記ユーザイベントを処理することが、前記モバイルコンピューティング装置の前記判定された複数の位置に基づいてインクストロークを描画することを含み、描画される前記インクストロークの色は前記マーカパターンの色に基づいている、請求項４又は請求項５に記載の方法。
7. 前記マーカパターンの前記少なくとも１つの特徴は、前記マーカパターン内における所定の図形要素の存在または欠如である、請求項２に記載の方法。
8. 前記所定の図形要素は白の円形穴である、請求項７に記載の方法。
9. 前記マーカパターン内における前記所定の図形要素の存在は第１の状態を表し、前記マーカパターン内における前記所定の図形要素の欠如は第２の状態を表す、請求項７又は請求項８に記載の方法。
10. 前記第１の状態はペンアップ状態であり、前記第２の状態はペンダウン状態であり、
    前記ユーザイベントを処理することが、前記ペンダウン状態であるならば前記モバイルコンピューティング装置の前記判定された複数の位置に基づいてインクストロークを描画することを含む、請求項９に記載の方法。
11. 前記マーカパターンの判定された少なくとも１つの特徴は、前記マーカパターンの回転角である、請求項２に記載の方法。
12. 前記ユーザイベントを処理することが、前記モバイルコンピューティング装置の前記判定された複数の位置に基づいてインクストロークを描画することを含み、前記インクストロークの幅は前記マーカパターンの前記回転角に基づく、請求項１１に記載の方法。
13. 前記マーカパターンは、チェス盤のように配列された実質的に同じ大きさの複数の正方形から成るチェス盤マーカパターンである、請求項１〜請求項１２のいずれか一項に記載の方法。
14. 前記マーカパターンを表示する前記モバイルコンピューティング装置は、ユーザに表示されるコンテンツの上に配置される、請求項１〜請求項１３のいずれか一項に記載の方法。
15. 前記コンテンツは、投影面上にコンテンツを投影するように構成されたプロジェクタを用いてユーザに表示される、請求項１４に記載の方法。
16. 前記コンテンツは、電子ディスプレイ装置を用いてユーザに表示される、請求項１４に記載の方法。
17. 前記コンテンツは、縁のあるキャンバス・グラフィカルユーザインターフェイス・ウィジェットを用いてユーザに表示される、請求項１４〜請求項１６のいずれか一項に記載の方法。
18. 前記処理ユニットが、前記モバイルコンピューティング装置の前記判定された複数の位置を、前記複数の画像座標から、前記キャンバス・グラフィカルユーザインターフェイス・ウィジェットの座標へ変換することを更に含む、請求項１７に記載の方法。
19. 前記処理ユニットが、
    前記キャンバス・グラフィカルユーザインターフェイス・ウィジェットの縁の色を変えることを含む較正操作を実行し、
    前記変更された色に基づいて前記取得された複数の画像における前記グラフィカルユーザインターフェイス・ウィジェットの縁の位置を検出し、
    前記複数の画像の座標と前記キャンバス・グラフィカルユーザインターフェイス・ウィジェットの座標との間のマッピングを生成する、
    ことを更に含む、請求項１７に記載の方法。
20. 前記ユーザイベントを処理することは、前記モバイルコンピューティング装置の前記判定された複数の位置に基づいて、インクストロークを前記表示されたコンテンツに関連させて描画することを含む、請求項１４〜請求項１９のいずれか一項に記載の方法。
21. 前記モバイルコンピューティング装置の前記複数の位置を判定することは、前記取得された複数の画像のそれぞれに対して前記マーカパターンの整列した複数の内部頂点を生成することを含む、請求項１〜請求項２０のいずれか一項に記載の方法。
22. 前記モバイルコンピューティング装置の前記複数の位置を判定することは、前記検出されたマーカパターンの重心を検出することを含む、請求項１〜請求項２１のいずれか一項に記載の方法。
23. 前記処理ユニットが、前記判定されたモバイルコンピューティング装置の複数の位置を、前記モバイルコンピューティング装置の移動経路として設定することを更に含む、請求項１〜請求項２２のいずれか一項に記載の方法。
24. ａ．ユーザに保持され、マーカパターンを表示するモバイルコンピューティング装置の複数の画像をカメラを用いて取得し、
    ｂ．前記取得された複数の画像内の前記マーカパターンを処理ユニットを用いて検出し、
    ｃ．前記取得された複数の画像内の前記検出されたマーカパターンに基づいて前記モバイルコンピューティング装置の複数の位置を前記処理ユニットを用いて判定し、
    ｄ．前記モバイルコンピューティング装置の前記判定された複数の位置に基づいてユーザイベントを処理する、
    ことをコンピュータに実行させるプログラム。
25. 処理ユニットとカメラと命令セットを格納するメモリとを備える計算処理システムであって、
    前記命令セットは、
    ａ．ユーザに保持され、マーカパターンを表示するモバイルコンピューティング装置の複数の画像をカメラを用いて取得し、
    ｂ．前記取得された複数の画像内の前記マーカパターンを前記処理ユニットを用いて検出し、
    ｃ．前記取得された複数の画像内の前記検出されたマーカパターンに基づいて、前記モバイルコンピューティング装置の複数の位置を前記処理ユニットを用いて判定し、
    ｄ．前記モバイルコンピューティング装置の前記判定された複数の位置に基づいてユーザイベントを処理する、
    ことを前記処理ユニットに実行させる命令を含む、計算処理システム。