JP2008117083A - 座標指示装置、電子機器、座標指示方法、座標指示プログラム、及び座標指示プログラムを記録した記録媒体 - Google Patents

Abstract

【課題】安価で、且つ簡単に必要とする指示点の座標を指示することが可能な座標指示装置を提供することである。
【解決手段】特殊ペンを撮影することにより、該特殊ペンによって指示された指示点の座標を求める座標指示装置１００であって、上記特殊ペンの表面に特定パターンが形成され、少なくとも特定パターンを含んだ状態で上記特殊ペンを撮像装置５４によって撮影して得られた画像データから、該特定パターンに対応する演算パターンを抽出するパターン認識部１１０と、上記パターン認識部１１０によって抽出された演算パターンから、上記指示点の座標を算出する座標演算部１２０とを有する。
【選択図】図１

Description

本発明は、座標指示装置、座標指示装置を備えた電子機器、座標指示方法、座標指示プログラム、及び座標指示プログラムを記録した記録媒体に関するものであり、特に、携帯端末における文字入力に用いられるものである。

近年、携帯電話等の携帯端末が広く普及している。また、携帯電話等は多機能化しており、それに伴って機能を操作するためのキー操作も複雑化している。

このようにキー操作が複雑になると、キー操作に不慣れな人は、文字を入力するのにも時間がかかってしまう。

また、一方で、キー操作のみの入力機能を有する携帯電話等では、自分で作成した自由な文字あるいは図形等（以下、文字等）を表示することが困難であるという不便さも生じる。

そこで、キー操作をせずに入力パッドを用いて文字等を入力する手書き文字入力方法がある。これは、感圧素子を透明なフィルムにマトリクス状に配置した入力パッドを表示装置上に貼り合わせ、ペン状の器具で圧力を加えることにより、座標を指示したり、手書き文字等を入力したりするものである。

また、非特許文献１には、椎尾一郎氏が開発した「空気ペン」が開示されている。

非特許文献１では、ウェアラブルなコンピュータを身につけたユーザが、任意の場所にペンを使って情報を書き込み、他のユーザとその情報を共有することを可能にするシステムが開示されている。このシステムでは、透過型ヘッドマウントディスプレイ（ＨＭＤ）または、単眼のアイフォンを装着したユーザが屋外、屋内を移動し、適当な場所で立ち止まり、宙でジャイロセンサなどによる２次元入力装置を動かすと、面前に仮想のメモ書きができる。

また、従来、ペンライトなどの光の軌跡をカメラで撮影することにより文字や図形の入力を可能にするシステムが考えられている。

また、非特許文献２には、ペンデバイスにカメラとレーザポインタを装備し、レーザポインタの軌跡をカメラで撮影することにより手書き文字等を入力する手書き入力システムが開示されている。
椎尾一郎、山本吉伸「空気ペン：空間への描画による情報共有」、"第５９回情報処理学会全国大会 論文集（４）PP.39-40,1999.9.29 左官雄介「ウェアラブルコンピュータに適した高精細手書き情報生成のためのペンデバイス」 修士論文 2004.2.6

しかしながら、上記のキー操作をせずに文字等を入力する方法では、以下のような問題が生じる。

入力パッドを利用した手書き文字入力方法では、携帯電話等のように書き込み対象画面が小さい場合には、書きづらかったり、図形を描く際に細かい部分まで精密に描くことができなかったりする。また、入力パッドを用いるため、部品のコストも高くなってしまう。

また、上記空気ペンを利用した文字入力方法においても、空気ペンに用いられるジャイロセンサ等を用いているので、部品のコストが高くなってしまうという問題がある。さらには、ペンの位置やユーザの顔の位置を測定するのに大掛かりな装置が必要となり、文字等を容易に入力することができない。

また、ペンライトは、文字等を描く際に先端部が発光していることが必要であるため、公共の場で用いると迷惑になってしまう。さらに、ペンライトを用いた場合には、以下に示すような問題が生じる。

図２２は、ペンライトの一例を示す図である。

上記ペンライトの先端部には、光源となる発光部があり、発光軌跡を認識させるためには、前記発光部はある程度の大きさが必要である。

よって、このように大きな先端部では、座標位置を精度よく指定することが困難となるので、ユーザが先端と感じる部分と装置が算出する座標とが正確に一致せず、ユーザの思いどおりに文字等を描けないという問題が生じる。

また、上記手書き入力システムでは、描いた文字を表示するためのＨＭＤや、撮影した情報を処理するウェアラブルコンピュータが必要であり、装置全体が高価になるおそれがある。

本発明は、上記問題点に鑑みてなされたものであり、その目的は、安価で、且つ簡単に必要とする指示点の座標を指示することが可能な座標指示装置を提供することである。

本発明の座標指示装置は、上記の課題を解決するために、指示具を撮影することにより、該指示具によって指示された指示点の座標を求める座標指示装置であって、上記指示具の表面には、上記指示点との位置関係が既知であり、上記指示点の座標を求めるための要素である演算用の特定パターンが形成され、少なくとも上記特定パターンを含んだ状態で、上記指示具を撮影して得られた画像データから、上記特定パターンに対応する演算パターンを抽出するパターン抽出手段と、上記パターン抽出手段によって抽出された上記演算パターンから、上記指示点の座標を算出する座標算出手段とを有することを特徴としている。

また、本発明の座標指示方法は、上記の課題を解決するために、指示具を撮影することにより、該指示具によって指示された指示点の座標を求める座標指示方法であって、撮影手段によって、指示具表面に形成された上記指示点との位置関係が既知である演算用の特定パターンを含めて撮影する撮影ステップと、パターン抽出手段によって、上記撮影ステップで撮影した画像データの中から、他の画素に対して差別化された画素のみを抽出し、上記抽出した画素から上記特定パターンに対応する演算パターンを抽出するパターン抽出ステップと、座標算出手段によって、上記パターン抽出ステップで抽出した演算パターンから、上記指示点の座標を算出する座標算出ステップとを含むことを特徴としている。

上記の構成によれば、指示具によって指示される点（指示点）の座標を、該指示具の表面に形成された演算用の特定パターンから求められるので、指示具側に特別なハードウェアを設けることなく、画像処理のみで指示点の座標を求めることができる。

これにより、安価で、且つ簡単に必要とする指示点の座標を指示することが可能な座標指示装置を実現できる。

また、上記特定パターンは、上記指示具の表面の異なる位置に形成される２つのマークから構成されてもよい。

また、上記特定パターンは、上記指示具の表面の異なる位置に形成される少なくとも３つのマークから構成されてもよい。

このように、複数の特定パターンを指示具の表面の異なる位置に形成すると、指示点の座標を算出するための要素が多くなるため、座標算出の精度を高めることができる。

また、上記マークが２つ以上の場合は、上記マークはそれぞれ異なる識別可能な属性を有していてもよい。

また、本発明の座標指示装置は、上記マークの上記異なる識別可能な属性が色であることを特徴としてもよいし、マークの明るさであることを特徴としてもよい。

また、上記異なる識別可能な属性が形状であることを特徴としてもよい。

このように、特定パターンが異なる属性であることで、それぞれの特定パターンの識別が容易となり、座標算出の精度を高めることができる。

また、本発明の座標指示装置は、上記の課題を解決するために、上記パターン抽出手段は、他の画素に対して、上記属性によって差別化されている画素のみを抽出する特定領域抽出手段と、上記特定領域抽出手段によって抽出される画素から、上記指示具に形成される演算用の特定パターンに対応する演算パターンを特定するパターン特定手段とを備えることを特徴としている。

上記構成によれば、上記指示点の座標を求めるための要素である演算用の特定パターンに対応する演算パターンを特定することができるため、これらを用いて指示具の指示点の座標を算出することができる。

これにより、指示具側に特別なハードウェアを設けることなく、画像処理のみで指示点の座標を求めることができ、さらには、安価で、且つ簡単に必要とする指示点の座標を指示することが可能な座標指示装置を実現できる。

また、本発明の座標指示装置は、上記の課題を解決するために、上記特定パターンの上記形状に対応する、照合用のパターンデータを予め格納しているパターン情報格納手段をさらに備え、上記パターン抽出手段は、上記特定領域抽出手段によって抽出される画素と、上記照合用のパターンデータとを照合することにより、上記特定パターンを抽出することを特徴としている。

上記の構成によれば、使用する指示具の表面に形成される特定パターンに対応付けられた照合用のパターンデータが予めパターン情報格納手段に格納されているので、座標算出手段は抽出された特定パターンから該パターン情報格納手段を参照するだけで簡単に目的とする指示点の座標を算出することができる。

本発明の座標指示装置は、上記の課題を解決するために、指示具を撮影することにより、該指示具によって指示された指示点の座標を求める座標指示装置であって、上記指示具の表面には、上記指示点との位置関係が既知であり、上記指示点の座標を求めるための要素である演算用の特定パターンが形成され、少なくとも上記特定パターンを含んだ状態で、上記指示具を撮影して得られた画像データから、上記特定パターンに対応する演算パターンを抽出するパターン抽出手段と、上記指示具に対する撮影位置、撮影方向、拡大率などの撮影パラメータを検出する撮影パラメータ検出手段と、上記パターン抽出手段によって抽出された上記演算パターンと、上記撮影パラメータ検出手段によって検出された上記撮影パラメータとから、上記指示点の座標を算出する座標算出手段とを有することを特徴としている。

上記の構成によれば、指示具によって指示される点（指示点）の座標を、該指示具の表面に形成された演算用の特定パターンから求められるので、指示具側に特別なハードウェアを設けることなく、画像処理のみで指示点の座標を求めることができる。

これにより、安価で、且つ簡単に指示点の座標を指示することが可能な座標指示装置を実現できる。

しかも、指示具に対する撮影位置、撮影方向、拡大率などの撮影パラメータを検出し、検出した撮影パラメータに基づいて、上記指示点の座標を算出することで、撮影パラメータを考慮して指示点の座標を算出することが可能となる。

これにより、指示具が撮影範囲から外れる時には、撮影パラメータ検出手段によって撮影パラメータを検出することができないので、ユーザは指示具が撮影範囲に無いことを認識にし、指示具を撮影範囲に収まるように移動させるように促すことができる。

また、本発明の座標指示装置は、上記指示具の表面には、さらに、上記指示点の座標を指示する対象となる装置側で処理すべき処理モードを設定するためのモード設定用パターンが形成されており、指示具表面に形成された上記モード設定用パターンと、上記処理モードを設定するためのモード設定用データとを対応付けて一つのモードパターン情報として予め格納するモード情報格納手段と、上記モード設定用パターンに応じた処理モードを設定するモード設定手段とを備え、上記パターン抽出手段は、少なくとも上記特定パターンと上記モード設定用パターンとを含んだ状態で上記指示具を撮影して得られた画像データから、上記モード設定用パターンに対応するモードパターンを抽出し、上記モード設定手段は、上記特定パターン抽出手段が抽出した上記モードパターンに対応付けられるモード設定用データを、上記モード情報格納手段を参照することによって取得し、上記モード設定用データを用いて処理モードの設定を行うことを特徴としている。

上記構成によれば、モード設定手段は、モード情報格納手段を参照するだけで簡単に目的とする処理モードに設定することができる。

これにより、ユーザは、指示具に形成されたモード設定用パターンを指で隠したりする等によって、モード設定用のパターンを変化させることで、容易にモードの切替を行うことが可能となる。

本発明の電子機器は、上記の課題を解決するために、指示具を撮影することにより、該指示具によって指示された指示点の座標を求める座標指示装置と、上記座標指示装置によって求められた指示点の座標に基づいて、上記指示具によって指示された指示点を表示する表示装置とを備え、上記座標表示装置として、上述した構成の座標指示装置を用いてもよい。

また、上記指示具が電子機器本体に接続された連結部材に設けられていてもよい。

本発明の座標指示プログラムは、コンピュータに、上記構成の座標指示装置の各手段を実現させるためのプログラムである。

この場合、安価で、且つ簡単に必要とする指示点の座標を指示することが可能な座標指示処理を汎用のコンピュータに実行させることが可能となる。

さらに、上記構成の座標指示プログラムをコンピュータ読取可能な記録媒体に記録してもよい。

この場合、安価で、且つ簡単に必要とする指示点の座標を指示することが可能な座標指示処理を実行するプログラムを、コンピュータに容易に供給することが可能となる。

本発明の座標指示装置は、以上のように、指示具の表面に特定パターンが形成され、少なくとも上記特定パターンを含んだ状態で上記指示具を撮影して得られた画像データから、該特定パターンを抽出するパターン抽出手段と、上記パターン抽出手段によって抽出された特定パターンから、上記指示点の座標を算出する座標算出手段とを有することで、安価で、且つ簡単に必要とする指示点の座標を指示することが可能な座標指示装置を実現できるという効果を奏する。

〔実施の形態１〕
以下、本発明の一実施形態について、図面を用いて説明する。

本実施形態における座標指示装置は、指示具を撮影することにより、該指示具によって指示された指示点の座標を求める座標指示装置であって、上記指示具の表面には、上記指示点との位置関係が既知であり、上記指示点の座標を求めるための要素である演算用の特定パターンが形成され、少なくとも上記特定パターンを含んだ状態で、上記指示具を撮影して得られた画像データから、上記特定パターンに対応する演算パターンを抽出するパターン抽出手段と、上記パターン抽出手段によって抽出された上記演算パターンから、上記指示点の座標を算出する座標算出手段とを有し、撮像した画像から、指示点の指す座標値を算出するものである。

本実施形態では、図２に示すように、前記座標指示装置を備えたハードウェアの一例としてカメラ機能つきの携帯電話機５０を用い、また前記指示具の一例として特殊ペン７１を用いる。

図２に示すように、前記携帯電話機５０の利用者は、片手で携帯電話機５０を保持し、特殊ペン７１（指示具）の画像が携帯電話機５０の液晶表示画面５２内に納まるように他方の手で特殊ペン７１を保持する。利用者は、座標指示装置を起動させ、携帯電話機５０のカメラ機能で特殊ペン７１の文字を描く動作を撮影する。そして、前記座標指示装置は、撮影して得た特殊ペン７１の画像データより、液晶表示画面５２において特殊ペン７１の先端部の軌跡を表示することができる。すなわち、利用者が、カメラのレンズ部の前方における空間に特殊ペン７１を用いて描いた文字等は、携帯電話機５０の液晶表示画面５２に表示されることとなる。

以下、特殊ペン７１及び携帯電話機５０について詳細に説明する。

図３には、特殊ペン７１の一例が示してある。

本実施形態における特殊ペン７１は、一般的なペン等とは異なり、インク等が注入されている必要はない。

本実施形態における特殊ペン７１は、図３に示すように、表面の一部の異なる領域に、特殊ペン７１の先端部の座標を算出するために用いられる２つの座標算出用のマーク（以下、座標算出用マーク）が形成されている。

ここで、座標算出用マークとは、指示具の表面における一部の領域に形成され、指示具の先端部の座標を算出するために用いられるマークのことをいう。

また、本実施の形態では、この２つの座標算出用マークをまとめて、特殊ペン７１が有する特定パターンという。

ここで、特定パターンとは、指示具の表面に形成された座標算出用マークによって構成されるパターンをいう。すなわち、本実施の形態における特定パターンは、特殊ペン７１の表面の異なる位置に形成された２つの座標算出用マークによって構成され、指示具の指示点の座標値を求めるために用いられる。

本実施の形態における前記２つの座標算出用マークとは、具体的に、特殊ペン７１の先端部Ｃに近い側の一部の領域に赤色でマーキングされたことにより形成される座標算出用マークＡ(以下、マークＡ)と、特殊ペン７１の先端部Ｃとは異なる端部に近い側の一部の領域に青色でマーキングされたことにより形成される座標算出用マークＢ(以下、マークＢ)とのことをいう。

また、本実施形態では、特殊ペン７１をカメラのレンズと平行に配置して撮影する場合の撮影される赤色領域（マークＡ）の中央点と青色領域（マークＢ）の中央点との距離をａとしている。また、前記マークＡ領域の中央点と先端部Ｃとの距離をｂとしている。

次に、図４を用いて、携帯電話機５０について具体的に説明する。

図４は、本実施形態における携帯電話機５０の外観を示した平面図であり、（ａ）は、携帯電話機５０を折り曲げた際に内側となる部分の平面図であり、（ｂ）は、外側となる部分の平面図である。

上記携帯電話機５０は、筐体５１と、液晶表示画面５２と、操作ボタン群５３と、カメラ等の撮像装置５４と、マイクロフォン５５と、スピーカ５６とを備える。

また、上記携帯電話機５０と上記特殊ペン７１とは、上記携帯電話機５０に設けられた連結部材であるストラップ５７によって連結されている構成でもよい。これにより、特殊ペン７１を紛失するおそれが低減される。

図５は、本実施形態における携帯電話機５０のハードウェア構成の具体例を示す機能ブロック図である。

本実施形態の携帯電話機５０は、ＣＰＵ（Central Processing Unit）等の制御部６０と、入出力部６１と、メインメモリ等の記憶部６２と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）（図示せず）とを含む。

制御部６０は、装置全体を制御するものであり、また、ＲＯＭやＲＡＭは記憶素子の一種である。

入出力部６１は、数字ボタンやメニュー項目指示・選択ボタン等の操作部６３と、ユーザに情報を伝達する液晶表示画面等の表示部６４と、ＣＣＤカメラ等で撮影した画像を入力する画像入力部６５と、他の装置と通信するための通信部６６と、音声を入力するマイクロフォンなどの音声入力部６７と、音声を出力するスピーカなどの音声出力部６８と、カメラ等で撮影する際の撮影パラメータを検出する撮影パラメータ検出部９０とを含む。

また、記憶部６２は、制御部６０において実行されるプログラムを記憶するプログラム格納領域６９と、そのプログラムの中間データまたは他のコンピュータから受信したデータ等を記憶するデータ格納領域７０とを含む構成である。

前記データ格納領域７０は、座標指示装置１００（図１）で算出される特殊ペン７１の先端部Ｃが指し示す位置の撮像面５４ａ上（図３）における座標値データ（指示座標データ）を格納する指示座標データ格納部７０ａを含む。

なお、上記の構成は、一般的な携帯電話機のハードウェア構成であって、本発明における座標指示装置のハードウェア構成は、上記に示されるハードウェア構成に限定されない。

ところで、上記制御部６０は、特殊ペン７１のペン先、すなわち特殊ペン７１の先端部Ｃが指示す位置の撮像面５４ａ上における座標値を求めるために座標指示装置１００を備えている。

ここで、撮像面５４ａとは、表示領域に相当する撮像装置５４（撮影手段）の撮像面のことをいい、例えば、ＣＣＤ等の撮像素子の光照射面に相当する。

図１は、座標指示装置１００の概略構成を示すブロック図である。

図１を用いて、以下、座標指示装置１００について説明する。

まず、撮像装置５４によって撮影された画像は、画像入力部６５に入力される。

画像入力部６５は、取得した前記画像を座標指示装置１００内の画像データ取得部（図示せず）を介して、画像データとして図１に示すパターン認識部１１０（パターン抽出手段）に出力する。具体的には、画像入力部６５は、パターン認識部１１０の内部に備えられる特定領域抽出部１１１（特定領域抽出手段）に出力する。

座標指示装置１００は、画像データ取得部（図示せず）とパターン認識部１１０と座標演算部１２０（座標算出手段）とを備える。

まず、パターン認識部１１０について説明する。

パターン認識部１１０は、特定領域抽出部１１１とパターン特定部１１２とを備え、これにより、座標算出用マークＡ、Ｂにそれぞれ対応する撮像面５４ａ上のマーク（以下、対応マークＡ’、Ｂ’という）から構成される演算パターンを特定するようになっている。

本実施の形態の演算パターンは、先端部Ｃの座標値を演算するために実際に用いられるものであり、特殊ペン７１の有する特定パターンに対応する撮像面５４ａ上のパターンである。本実施形態の演算パターンは、対応マークＡ’及び対応マークＢ’から構成される。

ここで、対応マークとは、指示具を撮影することにより得た画像のうち、座標算出用マークに対応する撮像面上の領域をいう。

また、演算パターンとは、特定パターンに対応するものであり、座標算出用マークの対応マークから構成される撮像面上のパターンをいい、指示具の先端部の座標値を算出するのに実際に用いられるものである。

特定領域抽出部１１１は、取得した画像データから赤色又は青色のピクセル（画素）のデータのみを抽出するようになっており、具体的には、取得した画像データから、対応マークＡ’を構成する赤色のピクセルと、対応マークＢ’を構成する青色のピクセルとを抽出する。

前記赤色及び青色のピクセルを抽出する方法の具体例について、２４ビットカラーの場合を用いて、以下説明する。

各ピクセルの色はＲＧＢ（赤、緑、青）成分で記録・表現できる。また、２４ビットカラーにおける各成分は、０〜２５５の数値で表現することができる。例えば、成分が（Ｒ，Ｇ，Ｂ）＝（２５５，０，０）で表現されるピクセルは、純粋な赤色のピクセルである。

実際の画像データでは、純粋な赤色を撮影しても、照明等の影響により少し緑や青の成分が含まれる可能性が大きいため、（２５５，０，０）を中心としたある程度の範囲に含まれるピクセルは赤色と判定される。具体例としては、Ｒ＞２４０、Ｇ＜２０、Ｂ＜２０で表現されるピクセルは赤と判定される。

特定領域抽出部１１１は、上記抽出方法で抽出した赤色及び青色と判定されるピクセルのデータを、パターン特定部１１２に出力する。

パターン特定部１１２は、特定領域抽出部１１１で抽出された赤色及び青色のピクセルから、同じ色のピクセルが連続して隣接してなる集合を一つの領域として区分けし、赤色のピクセルが集合した領域を対応マークＡ’と認識し、青色のピクセルが集合した領域を対応マークＢ’と認識する。

そして、パターン特定部１１２は、認識した対応マークＡ’、Ｂ’から、特殊ペン７１の表面に形成された特定パターンに対応する、撮像面５４ａ上の演算パターンを特定する。

前記区分け方法の具体例として、画像が１次元の場合を用いて以下説明する。

パターン特定部１１２は、座標Ｘのピクセルの色をＬ（Ｘ）とした場合に、Ｌ（Ｘ）＝Ｌ（Ｘ−１）であれば、座標Ｘと座標Ｘ−１のピクセルは同じ色の領域に属すると判断する。

座標Ｘと座標Ｘ−１のピクセルが両者とも赤色である場合、パターン特定部１１２は、座標Ｘ及び座標Ｘ−１のピクセルは、撮像面５４ａ上の赤色の領域、すなわち、対応マークＡ’の領域に属すると判断する。

一方、座標１０Ｘと座標１０Ｘ−１のピクセルが両者とも青色である場合、パターン特定部１１２は、座標１０Ｘ及び座標１０Ｘ−１のピクセルは、撮像面５４ａ上の青色の領域、すなわち対応マークＢ’の領域に属すると判断する。

また、前記区分け方法の別の具体例として、以下のような方法があるが、この場合も、簡便のために１次元画像であると仮定する。

（各ピクセルの色） 白白白赤赤赤白白白白青青青青白白
（グループ） ０００１１１００００２２２２００
上記の例では、白のピクセルをグループ０とし、赤色のピクセルをグループ１とし、青色のピクセルをグループ２とする。

パターン特定部１１２は、上記のような方法で、同じグループ、すなわち同じ色のピクセルが連続して成るピクセルの集合を一つの領域として区分けし、その領域を一つの対応マークと特定する。つまり、パターン特定部１１２は、上記１のグループに属するピクセルが連続して成る集合を対応マークＡ’であると、２のグループに属するピクセルが連続して成る集合を対応マークＢ’であるとそれぞれ特定する。

そして、パターン特定部１１２は、特定した対応マークＡ’及び対応マークＢ’を組み合わせて成る演算パターンをさらに特定し、該演算パターンのデータを座標演算部１２０に出力する。

上記座標演算部１２０は、第１座標算出部１２１と、第２座標算出部１２２とを含み、これらによって、パターン認識部１１０で抽出、特定した上記演算パターンから、撮像面５４ａ上の対応先端部Ｃ’の座標値を算出するようになっている。

ここで、対応先端部Ｃ’とは、撮像面５４ａ上の先端部Ｃに対応する点をいう。

上記第１座標算出部１２１は、パターン特定部１１２で特定された対応マークＡ’及び対応マークＢ’の各領域の中央点、すなわち各領域の中央点の２次元座標値（以下、中心座標）を求める。

上記対応マークＡ’及び対応マークＢ’の各領域の中心座標を算出する方法の具体的例を以下に示す。

第１座標算出部１２１は、対応マークＡ’を構成するすべてのピクセル座標の平均値を求めることによって、対応マークＡ’の領域の中心座標を算出し、同じ方法で対応マークＢ’の領域の中心座標も算出するようになっている。

なお、上記対応マークの領域の中心座標を算出する具体的な方法は、上述した具体例に限らず、以下のような方法であってもよい。

第１座標算出部１２１は、対応マークＡ’の領域を形成する点のうち、Ｘ座標の値が最大となる点のＸ座標値（Ｘ座標の最大値）からＸ座標の値が最小となる点のＸ座標値（Ｘ座標の最小値）を差し引いて、２で除することにより、すなわち（Ｘ座標の最大値−Ｘ座標の最小値）÷２の式によって、中央点のＸ座標の値を求めることができる。また、第１座標算出部１２１は、対応マークＡ’の領域を形成する点のうち、Ｙ座標の値が最大となる点のＹ座標値（Ｙ座標の最大値）からＹ座標の値が最小となる点のＹ座標値（Ｙ座標の最小値）を差し引いて、２で除することにより、すなわち（Ｙ座標の最大値−Ｙ座標の最小値）÷２の式によって、中央点のＹ座標の値を求めることができる。これにより、第１座標算出部１２１は、対応マークＡ’の中央点の座標を算出することができる。

また、第１座標算出部１２１は、上記最大値と最小値を用いた対応マークＡ’の中央点の座標値を算出する方法と同様に、対応マークＢ’の中央点の座標値を算出することができる。

第１座標算出部１２１は、算出した対応マークＡ’及び対応マークＢ’の各領域の中央点の座標値データ（中心座標値データ）を第２座標算出部１２２に出力する。

上記第２座標算出部１２２は、第１座標算出部１２１から取得した対応マークＡ’及び対応マークＢ’の領域の各中心座標値データから、撮像面５４ａ上の対応先端部Ｃ’の座標値を算出するようになっている。

対応先端部Ｃ’の座標値を算出する具体的な方法について、図３を用いて説明する。

図３は、特殊ペン７１における座標算出用マークＡ、Ｂ及び先端部Ｃと、前記撮像面５４ａ上の対応マークＡ’、Ｂ’及び対応先端部Ｃ’との対応関係を示した図である。

ここで、対応マークＡ’、Ｂ’の中央点の位置ベクトルをそれぞれＰ_１、Ｐ_２とし、前記撮像面５４ａ上の対応先端部Ｃ’の位置ベクトルをＰ_３とする。

上述したように、撮像面５４ａ上の対応マークＡ’、Ｂ’及び対応先端部Ｃ’は、それぞれ特殊ペン７１の座標算出用マークＡ、Ｂ及び先端部Ｃに対応する。よって、対応マークＡ’の中央点と対応マークＢ’の中央点の距離と、対応マークＡ’の中央点と対応先端部Ｃ’の距離との比は、座標算出用マークＡの中央点と座標算出用マークＢの中央点の距離と座標算出用マークＡの中央点と先端部Ｃの距離との比に等しくなる。

従って、対応マークＡ’の中央点と対応マークＢ’の中央点との距離と、対応マークＡ’の中央点と対応先端部Ｃ’との距離の比は、ａ：ｂ（特定パラメータ）である。

また、上記特定パラメータａ及びｂの値は、定数として予めプログラムに組み込まれるものである。
｜Ｐ_１―Ｐ_２｜が距離の比ａに対応するため、以下の式が成立する。
｜Ｐ_１―Ｐ_３｜＝｜Ｐ_１―Ｐ_２｜×ｂ／ａ
これにより、Ｐ_３は、
Ｐ_３＝Ｐ_１+｜Ｐ_１―Ｐ_２｜×ｂ／ａ
で求められる。

ただし、上記の対応先端部Ｃ’の座標値の算出方法は、特殊ペン７１における少なくとも座標算出用マークが形成されている領域が、撮像装置５４のレンズ面に対して平行な面に存在していることを条件とする。

そして、第２座標算出部１２２は、算出した対応先端部Ｃ’の撮像面５４ａ上の座標値データを表示制御部１４０に出力すると共に、指示座標データ格納部７０ａに出力する。

表示制御部１４０は、第２座標算出部１２２から取得した対応先端部Ｃ’の撮像面５４ａ上の座標値データに基づいて、表示部６４の表示領域における前記座標値で表される位置に、先端部Ｃに対応するカーソルを表示させる。

これにより、特殊ペン７１の先端部Ｃが現時点で指示している位置が、表示部６４の表示領域に表示される。

また、表示制御部１４０は、第２座標算出部１２２から、対応先端部Ｃ’の撮像面５４ａ上における現時点の位置の座標値データを取得すると共に、指示座標データ格納部７０ａから過去の対応先端部Ｃ’の撮像面５４ａ上における座標値データを取得する。

そして、表示制御部１４０は、取得した過去の対応先端部Ｃ’の座標値データから、表示部６４の表示領域上の該座標値で表される位置に、特殊ペン７１の筆跡、すなわち先端部Ｃの軌跡として表示する。

本実施形態では、座標指示装置１００を用いることにより、特殊ペン７１が指し示す点、すなわち先端部Ｃに対応する撮像面５４ａ上の点の座標を、特殊ペン７１の表面に形成された前記座標算出用マークＡ及びＢから構成される特定パターンを用いて求めている。これにより、特殊ペン７１に特別な座標算出用のハードウェアを設ける必要がない。従って、安価で、且つ簡単に、座標指示することが可能な座標指示装置を実現できる。

また、特殊ペン７１と携帯電話機５０との間には空間があり、利用者は特殊ペン７１を空間で自由に操作することができるので、特殊ペン７１の移動に伴って、携帯電話機５０における表示部６４の表示領域（表示画面）の枠内から、特殊ペン７１で入力した文字等の軌跡がはみ出しそうになったり、または、実際にはみ出したりすることがある。

このような場合、利用者は、前記文字の筆跡が表示画面からはみ出さないように撮像装置５４を特殊ペン７１の移動に伴って移動させることで、調整することができる。

上述したように、撮像装置５４を移動させると、撮像装置５４の撮影位置、撮影方向、拡大率等の撮影パラメータが変化する。このように、撮影パラメータが変化する場合において、携帯電話機５０が、図５に示すように、撮影パラメータ検出部９０を備えていると、携帯電話機５０は、変化前の撮影パラメータだけでなく、変化後の撮影パラメータも自動検出することができる。

以下、撮影パラメータ検出部９０を備える場合について説明する。

撮影パラメータ検出部９０には６軸センサや位置センサ等が用いられる。

図６は、特殊ペン７１で描いた文字が、表示画面内に表示できる場合の様子を示した図である。

図７は、特殊ペン７１で描いた文字が、表示画面からはみ出す場合の様子を示した図である。

図６、７に関しては、簡便のために２軸（Ｘ軸、Ｙ軸）の位置センサを用いた例を示している。

特殊ペン７１で描いた文字が、表示画面からはみ出す場合の、特殊ペン７１の前記対応先端部Ｃ’の撮像面５４ａ上における座標値を求める方法について、図６及び図７を用いて、以下説明する。

まずは、図６に示すように、表示画面内の座標をローカル座標、また、ローカル座標より大きい規模の座標をグローバル座標として設定する。そして、位置センサにより、表示画面の原点、すなわちローカル座標の原点Ｇのグローバル座標を求める。また、その他の撮影パラメータも検出する。

表示画面内から文字がはみ出さない場合は、同じローカル座標系内で連続して文字を描くことができるため、ローカル座標のみを求めればよい。

しかしながら、図７に示すように、表示画面の範囲から文字がはみ出しそう又は、はみ出す場合においては、利用者は文字がはみ出さないように携帯電話機５０を移動させる必要がある。そうすると、同じローカル座標系内においては、連続して文字を描くことはできなくなる。その場合、ローカル座標よりも大きい規模のグローバル座標系を用いると、ローカル座標系では連続して描くことが出来なかった文字も、同一のグローバル座標系内において連続して描くことが出来る。よって、表示画面から文字がはみ出しそう又は、はみ出す場合においては、グローバル座標系における座標値を用いる。

特殊ペン７１の先端部Ｃのグローバル座標系における座標を求める場合、本実施形態で求めた方法を用いるだけでは足りず、本実施形態で算出したローカル座標Ｒに、ローカル座標の原点Ｇのグローバル座標を足さなければならない。

すなわち、特殊ペン７１の先端部Ｃに対応する撮像面５４ａ上の対応先端部Ｃ’の座標（指示制御用の座標）は、「点Ｇのグローバル座標」+「点Ｒのローカル座標」で求められる。

また、表示画面から文字がはみ出しそう又は、はみ出す場合において、３軸（Ｘ軸、Ｙ軸、Ｚ軸）の位置センサを用いた場合は、「点Ｇのグローバル座標」+「点Ｒのローカル座標」×「Ｚ座標から求めた拡大率」によって、指示制御用の座標を求めることができる。

例えば、特殊ペン７１の先端部と撮像装置５４との距離が２倍になると、拡大率は１／２になる。

以上のように、文字がはみ出しそう、又は、はみ出る場合において、本実施形態係る座標指示装置１００は、撮影パラメータ検出部９０を用いることによって、グローバル座標系における特殊ペン７１の先端部に対応する座標を算出することができる。

これにより、表示画面から文字等がはみ出る場合でも、利用者が表示画面を移動させることにより、途切れることなく連続して書き続けることができるため、座標制御の精度を高く保ったまま、再度入力し直す等の文字入力の手間も省くことができる。

ところで、本実施形態では、利用者が撮像装置５４により特殊ペン７１を撮影する際、特殊ペン７１の表面の少なくとも座標算出用マークＡ、Ｂが形成されている面が、撮像装置５４のレンズ面に対して平行であることを条件としたが、実際には、平行でないことが多い。

図８は、特殊ペン７１の先端部Ｃと、前記撮像面５４ａにおける対応先端部Ｃ’と、特殊ペン７１の先端部Ｃが撮像装置５４のレンズ面に平行な面から少しずれた場合の前記撮像面５４ａにおける対応先端部Ｃ”との対応関係を示した図である。

図８に示すように、特殊ペン７１の先端部が前記撮像装置５４のレンズ面に平行な面から少しずれた場合でも、実際に表示領域に投影されるペン先の座標のずれはほんのわずかである。

具体的には、特殊ペン７１の先端部が図８に示すように、前記レンズ面に対して平行な面から少しずれた場合の対応先端部はＣ”であり、撮像装置５４のレンズ面に対して特殊ペン７１が平行な場合の対応先端部Ｃ’との座標位置の差は微差である。

また、人が特殊ペン７１を用いる場合、特殊ペン７１の傾きは概ね一定となり、変動することは少ない。

したがって、本実施形態では、図８に示すように、特殊ペン７１の先端部がずれた場合であっても、特殊ペン７１の表面の前記座標算出用マークが形成されている面と、撮像装置５４のレンズ面とが平行であると仮定することができる。

その結果、特殊ペン７１の先端部がずれた場合であっても、本実施形態に係る座標指示装置１００は、特殊ペン７１の対応先端部Ｃ’の座標値を求めることができ、実用上の操作性は損なわれない。
〔実施の形態２〕
以下、本発明の他の実施形態について説明する。

本実施形態の特殊ペン８１は、表面にモード設定用マーク（図１１）が形成されている点で実施形態１の特殊ペン７１と異なる。

また、本実施形態の携帯電話機は、座標指示装置が前記モード設定用マークを撮像して得られるモードパターンに応じた処理をする機能を備える点とモード情報格納部７０ｃ（モード情報格納手段）を備える点で、実施形態１の携帯電話機とは異なる構成を有する。

上記以外の構成は同じであるため、本実施形態では、実施形態１と同一の構成については、実施形態１と同一の符号を付すことによって説明を省略する。

図１１は、モード設定用マークが表面に形成されている特殊ペン８１を示す図である。

本実施形態の特殊ペン８１の表面には、図１１に示すように、実施形態１と同じ座標算出用マークＡ及びＢが形成されている他に、２つのモード設定用マーク１及びモード設定用マーク２が形成されている。

ここで、モード設定用マークとは、指示具の表面における一部の領域に形成され、表示領域上での表示態様（モード）を切り替えるために用いられるマークのことをいう。

また、モード設定用パターンとは、指示具の表面に形成されたモード設定用マークによって構成されるパターンをいう。このモード設定用パターンにより、利用者が選択する表示態様を特定することができる。

本実施の形態のモード設定用マークは、特殊ペン８１の先端部Ｃの軌跡を表示する表示領域上での表示態様（モード）を切り替えるために用いられる。

また、本実施形態における前記モード設定用マーク１は、緑色でマーキングされることにより形成される。また、モード設定用マーク２は、黄色でマーキングされることにより形成される。

図９は、本実施形態の座標指示装置２００の概略構成を示すブロック図である。

本実施形態の座標指示装置２００は、図９に示すように、実施形態１の座標指示装置１００の構成（パターン認識部１１０と座標演算部１２０）に加えて、さらに、図９に示すようにモード認識部２１０（モード設定手段）を含む。

モード認識部２１０は、モードパターン特定部２１１と、モード設定用データ取得部２１２と、モード設定部２１３とを備える。これらにより、モード認識部２１０は、撮像して取得した画像データから、利用者が選択する表示モードを認識し、表示部６４がその認識した表示モードに基づいて動作するように、表示モードを設定するようになっている。

まず、特定領域抽出部１１１は、実施形態１と同じ抽出方法で、赤、青、緑、黄色に色づけられたピクセルを抽出し、そのデータをパターン特定部１１２に出力する。

パターン特定部１１２は、抽出される赤、青、緑、黄色のピクセルから、実施形態１と同じ区分け方法で、同じ色のピクセルが連続して成る集合を一つの領域として区分けし、赤色のピクセルからなる領域を対応マークＡ’と、青色のピクセルからなる領域を対応マークＢ’と特定する。パターン特定部１１２は、対応マークＡ’及び対応マークＢ’から構成される演算パターンを特定するとともに、残りの緑色と黄色のピクセルからなる領域のデータをモードパターン特定部２１１に出力する。

モードパターン特定部２１１は、前記残りの緑色と黄色のピクセルからなる領域のデータをパターン特定部１１２から取得し、その取得したデータからモード設定用パターンに対応するモードパターンを特定する。

ここにおいて、対応マークとは、指示具を撮影することにより得た画像のうち、モード設定用マークに対応する撮像面上の領域をいう。

また、モードパターンとは、モード設定用パターンに対応するパターンであり、前記モード設定用マークの対応マークから構成される撮像面上のパターンをいう。モードパターンは、実際のモード設定に用いられる。

本実施の形態のモードパターンは、特殊ペン８１が表面に有するモード設定用パターンに対応する撮像面５４ａ上のパターンである。

具体的には、モードパターン特定部２１１は、取得したデータから、緑色の領域をモード設定用マーク１に対応する対応マーク１と、また、黄色の領域をモード設定用マーク２に対応する対応マーク２と判断する。さらに、モードパターン特定部２１１は、対応マーク１と対応マーク２との組み合わせたものを一つのモードパターンとして特定し、モード設定用データ取得部２１２に出力する。

図１０はモード情報格納部７０ｃに格納されているモード設定用データとモードパターンとを対応させてテーブル化したものの一例を示す図である。

ここで、モード情報格納部７０ｃは、図１０に示すように、モード設定用マークに対応する対応マークから構成されるモードパターンＭと、それに対応するモード設定用データｍとをテーブル化して格納している。

モード設定用データ取得部２１２は、モードパターン特定部２１１から取得した対応マーク１と対応マーク２とから成るモードパターンに基づいて、モード情報格納部７０ｃに格納されるテーブル（図１０）を参照する。そして、モード設定用データ取得部２１２は、前記取得したモードパターンに対応するモード設定用データをモード情報格納部７０ｃから取得し、取得したモード設定用データをモード設定部２１３に出力する。

ここで、モード設定用データとは、表示部６４の表示領域における表示態様を切り替えるモードのデータである。具体的には、モードｍ＝１は入力モード、モードｍ＝２は消しゴムモード、モードｍ＝３はオフモード（カーソルのみ移動）を表す。

前記入力モードとは、表示部６４の表示領域内で特殊ペン８１のペン先に対応するカーソルを表示させて、このカーソルの軌跡を表示させるモードをいう。これにより、特殊ペン８１のペン先の移動だけで文字、絵を表示部の表示領域内に書くことが可能となる。

消しゴムモードとは、表示部６４の表示領域内で特殊ペン８１のペン先に対応するカーソル（消しゴム形状のカーソル）を表示させて、表示部の表示領域内に表示されたカーソルの軌跡を該カーソルでなぞって該軌跡を消すモードをいう。

オフモードとは、表示部６４の表示領域に表示された特殊ペン８１のペン先に対応するカーソルを該特殊ペン１の動きに連動して移動させるモードをいう。

モード設定部２１３は、モード設定用データ取得部２１２から取得したモード設定用データに基づいて、表示部６４における表示モードを設定する。そして、モード設定部２１３は、利用者が設定する表示モードで表示部６４に表示させるための表示制御信号を表示制御部２４０に出力する。

表示制御部２４０は、第２座標算出部１２２から取得した座標値のデータと、モード設定部２１３から取得したモード設定に応じた表示制御信号と、指示座標データ格納部７０ａから取得した座標値のデータとを基に、表示部６４の制御を行う。

以下に、具体的な表示制御部２４０の動作について説明する。

表示制御部２４０は、第２座標算出部１２２から取得した座標値に基づいて、表示部６４の表示領域における前記座標値で表される位置に、先端部Ｃに対応するカーソルを表示させる。このとき、表示制御部２４０は、前記表示制御信号に基づいたモードでカーソルを表示させる。

つまり、前記入力モードの場合には、表示部６４の表示領域内で特殊ペン８１の先端部Ｃに対応するカーソルの軌跡を表示させるようにする。

また、前記消しゴムモードの場合には、表示部６４の表示領域内で特殊ペン８１の先端部Ｃに対応するカーソル（消しゴム形状のカーソル）を表示させて、表示部６４の表示領域内に表示されたカーソルの軌跡を該カーソルでなぞって該軌跡を消すようにする。

さらに、前記オフモード（又は移動モード）の場合には、表示部６４の表示領域に表示された特殊ペン８１の先端部Ｃに対応するカーソルを該特殊ペン８１の動きに連動して移動させるだけにする。

上記構成により、特殊ペン８１に形成されたモード設定用パターンを用いて、モード切替を行うことができるため、別途、モード切替えのための装置を備える必要はない。このことより、部品コストを安くすることができる。

また、前記モードの切替えは、本実施形態における特殊ペン８１に形成されたモード設定用パターンの一部、具体的には一部のモード設定用マークを利用者が指で覆う等して行うことができるようになっている。

以下に、モード設定用マークの１つを利用者が指等で覆うことによりモードを切り替える場合の例を示す。

例えば、本実施形態のモードパターン特定部２１１で特定されたモードパターン、すなわち黄色及び緑色のモード設定用マークに対応する対応マークから構成されるモードパターンをＭ１とする。

そして、利用者が特殊ペン８１の黄色のモード設定用マーク２を指で覆う場合、すなわち、撮像面５４ａ上における黄色の対応マーク２の領域を特定することができなくなる場合、特定できる領域は緑色の対応マーク１のみになる。前記モードパターンＭ１のうち、緑色の領域のみを特定できる場合をＭ１ａとする。

モード設定用データ取得部２１２は、モード情報格納部７０ｃからＭ１ａに対応付けられるｍ＝１のモード設定用データを取得し、モード設定部２１３に出力する。モード設定部２１３は、ｍ＝１は入力モードであるので、モードを入力モードと設定し、表示制御信号を表示制御部２４０に出力する。

モード認識部２１０は、利用者が特殊ペン８１の緑色のモード設定用マーク１を覆う場合、すなわち撮像面５４ａ上の黄色の領域のみを特定できる場合をＭ１ｂとすると、モード設定用データはｍ＝２であるため、消しゴムモードになる。また、利用者がどのモード設定用マークも覆わないことにより、モード認識部２１０が撮像面５４ａ上の黄色及び緑色の両者の領域を特定できる場合をＭ１ｃとすると、モード設定用データはｍ＝３であるためオフモードとなる。

これにより、キー操作ではなく、利用者の指等によってモード切替を行うことができるため、文字入力や文字消去を容易に行うことができる。

また、本実施形態における切替えモードは、オフモード、入力モード、消去入力モードとしているが、これに限られない。

本実施形態におけるモード設定用パターンは、緑色と黄色でマーキングしたモード設定用マーク１、２から構成されているが、本発明はこれに限られず、他の色でマーキングされたモード設定用マークから構成されるものであってもよいし、特殊な図形等によるモード設定用マークから構成されるものであってもよい。

また、モード設定用マークと座標算出用マークとが同じ色等の同じ属性である場合でも、パターン特定部１１２は、予めプログラムに組み込まれている特定パラメータａ、ｂにより、座標算出用マークから上記演算パターンを特定することができるため、残りのモードパターンも自動的に特定できる。

このことより、モード設定用マークと座標算出用マークとは同じ属性を有するものであってもよい。

また、実施形態における前記モード設定用マークは、物理的に指示具の表面に形成されるものを前提としているが、本発明はこれに限らず、指示具を保持する手の指の爪に貼るマーク等であってもよい。

これにより、モード設定用マークを指示具の表面に置くだけで、モードの切替を行うことができるため、モード切替の操作が容易となる。

ところで、実施形態１及び本実施形態における特殊ペン７１、８１は、表面に、赤色でマーキングされたマークＡと青色でマーキングされたマークＢの２つの座標算出用マークから構成される特定パターンを有する。しかしながら、本発明にかかる指示具は、この構成に限られず、３つ以上の座標算出用マークから構成される特定パターンを有していてもよい。

以下、実施の形態３では、指示具が、３つの座標算出用マークから成る特定パターンを有する場合について説明する。
〔実施の形態３〕
本実施形態では、指示具として、赤色の３つの座標算出用マークＧ、Ｈ、Ｉ（以下、マークＧ、Ｈ、Ｉ）から構成される特定パターンを表面に有する特殊ペン９１を用いた場合の座標指示方法について、図１２を用いて説明する。また、特殊ペン９１の先端部を先端部Ｊとする。

また、本実施形態の特殊ペン９１は、特殊ペン９１をカメラのレンズと平行に配置して撮影する場合に撮影されるマークＧの領域の中央点とマークＨの領域の中央点との距離をａとし、マークＧの領域の中央点と先端部Ｊとの距離をｂとしている。さらには、マークＨの領域の中央点とマークＩの領域の中央点との距離をｃとしている。

本実施形態は、特殊ペン９１の表面に形成される座標算出用マークが３つである点と、本実施形態の座標指示装置の、前記撮像面５４ａ上の特殊ペン９１の対応先端部の座標値を算出方法とが実施形態１と異なる。

本実施形態における携帯電話機５０については、座標演算部１２０における上記対応先端部の座標値の算出方法については実施形態１と異なるものの、構成については実施形態１と同じであるため、同じ構成のものについては同一の符号を付して、説明を省略している。

本実施形態では、座標算出用マークＧ、Ｈ、Ｉにそれぞれ対応する撮像面５４ａ上で特定されたマークを対応マークＧ’、Ｈ’、Ｉ’とする。

図１２は、特殊ペン９１におけるマークＧ、Ｈ、Ｉと、前記撮像面５４ａにおける対応マークＧ’、Ｈ’、Ｉ’との対応関係を示した図である。

本実施形態の座標演算部１２０について、以下説明する。

座標演算部１２０は、第１座標算出部１２１と、第２座標算出部１２２とを備え、これらにより、パターン認識部１１０で抽出、特定された、特定パターンに対応する撮像面５４ａ上の演算パターンのデータから、撮像面５４ａ上の対応先端部Ｊ’の座標値を算出するようになっている。

ここで、対応先端部Ｊ’とは、撮像面５４ａ上の先端部Ｊに対応する点をいう。

第１座標算出部１２１は、パターン特定部１１２で特定された対応マークＧ’、Ｈ’、Ｉ’の各領域の中央点、すなわち中心座標の２次元座標値を求める。

上記各対応マークの領域における中央点の座標（以下、中心座標）を算出する具体的な方法としては、実施形態１で例示した方法等が挙げられる。

第１座標算出部１２１は、上記方法等で求めた対応マークＧ’、Ｈ’、Ｉ’の各領域の各中心座標値データを第２座標算出部１２２に出力する。

第２座標算出部１２２は、第１座標算出部１２１から取得した対応マークＧ’、Ｈ’、Ｉ’の領域の各中心座標値データから、撮像面５４ａ上の対応先端部Ｊ’の座標値を算出する。

次に、第２座標算出部１２２について説明する。

対応先端部Ｊ’の座標値を算出する具体的な方法について、図１２を用いて説明する。

本実施形態では、マークＧ、Ｈ、Ｉのすべてが赤色でマーキングされ、また、マークが３つあるため、前記撮像面５４ａ上で特定された３つの対応マークがマークＧ、Ｈ、Ｉのどれに対応するマークであるかが不明である。よって、本実施形態では、第２座標算出部１２２は、まず、これらの対応関係を明らかにする動作を行う。

前記撮像面５４ａ上で特定された３つの対応マークが、マークＧ、Ｈ、Ｉのどれに対応するマークであるかの対応関係を明らかにするために、以下の動作を行う。

対応マークＧ’、Ｈ’、Ｉ’の中央点の位置ベクトルをそれぞれＱ_１、Ｑ_２、Ｑ_３とし、対応先端部Ｊ’の位置ベクトルをＱ_４とすると、各対応マーク間の距離は以下の式で表すことができる。

Ｄ_１＝｜Ｑ_２−Ｑ_１｜
Ｄ_２＝｜Ｑ_３−Ｑ_２｜
Ｄ_３＝｜Ｑ_１−Ｑ_３｜
以上の式でもとめられた各対応マーク間の距離の大小関係が、Ｄ_３＞Ｄ_１＞Ｄ_２となったとする。

また、特定パラメータａ、ｂ、ｃの値は、定数として予めプログラムに組み込まれているため、ａ＞ｃであることは既知である。よって、中間の大きさの値であるＤ_１がａに対応し、ｃがＤ_２に対応することが分かる。

これにより、Ｄ_１とＤ_２との共通の端点であるＱ_２は、対応マークＧ’と対応マークＩ’との間に存在する対応マークＨ’の中央点の位置ベクトルであることが分かる。

また、上記式と、Ｑ_２が対応マークＨ’の中央点の位置ベクトルであるということより、Ｑ_１は、対応マークＧ’の中央点の位置ベクトルであり、Ｑ_３は、対応マークＩ’の中央点の位置ベクトルであることが分かる。

以上の動作により、マークＧ、Ｈ、Ｉと対応マークＧ’、Ｈ’、Ｉ’の対応関係が明らかになる。

特殊ペンに形成された座標算出用マークが３色の異なるマークである場合等では、パターンと演算パターンの対応関係を色によって識別することができるため、上記対応関係を明らかにする動作は、特に必要ないと考えられる。

このことより、対応マークＧ’の中央点と対応マークＨ’の中央点の距離と、対応マークＧ’の中央点と対応先端部Ｊ’の距離と、対応マークＨ’の中央点と対応マークＩ’の距離との比は、それぞれａ：ｂ：ｃ（特定パラメータ）となる。

上記特定パラメータａ、ｂ及びｃの値は、定数として予めプログラムに組み込まれるものである。

従って、第１座標算出部１２１から取得したデータ、及び、前記位置ベクトルより、対応先端部Ｊ’の位置ベクトルＱ_４は、以下の式で表すことができる。
｜Ｑ_２−Ｑ_１｜が前記比ａ、｜Ｑ_４−Ｑ_１｜が前記比ｂにそれぞれ対応するため、
｜Ｑ_４−Ｑ_１｜＝｜Ｑ_２−Ｑ_１｜×ｂ／ａ
Ｑ_４＝Ｑ_１＋｜Ｑ_２−Ｑ_１｜×ｂ／ａ
で求められる。

そして、第２座標算出部１２２は、上記算出方法で算出した対応先端部Ｊ’の撮像面５４ａにおける座標値データを表示制御部１４０に出力すると共に、指示座標データ格納部７０ａに出力する。

ただし、上記の対応先端部Ｊ’の座標値の算出方法は、実施形態１と同様に、特殊ペン９１における少なくともマーキングされている領域、すなわち、座標算出用マークが形成されている面が、撮像装置５４のレンズ面に対して平行な面に存在していることを条件として用いることができる。

また、本実施形態における特殊ペン９１にモード設定用パターンを形成すれば、実施形態２と同じ方法でモード切替を行うことができる。

また、実施形態１で、特殊ペン７１の先端部がずれた場合について図８を用いて説明した。本実施形態における特殊ペン９１の先端部がずれた場合についても、実施形態１と同様に、特殊ペン９１の座標算出用マークが形成されている面と、撮像装置５４のレンズ面とが平行であると仮定することができる。

また、本実施形態においても、実施形態１と同様、特殊ペン９１で空中に描いた文字の筆跡が、携帯電話機５０における表示部６４である表示画面の枠内からはみ出しそうな場合を考慮して、携帯電話機５０に撮影パラメータ検出手段を備える構成としてもよい。

ところで、実施形態１〜３では、指示具としてペン形状のものを用いているが、指示具の形状はこれに限られない。指示具の形状として好ましいのは、先端が尖っている形状のものである。指示具は、先端が尖っていることにより、座標位置を指示し易く、また、的確に指示することができるからである。これにより、本発明の座標指示装置は、より精度の高い座標値を算出することが可能となる。

さらに、実施形態１〜３では、指示具として、インク等の注入されていないペンを用いたが、これに限らず、表面に座標指示装置が読み取り可能なマーキングが形成されているものであればどんなものでも良い。

本発明の座標算出用マークは、図１３に示すように、異なる識別可能な属性を有していてもよいし、同じ属性を有していてもよい。

また、前記識別可能な属性は、実施形態１のように異なる色によるものであってもよいし、同じ色でも暗い赤色と明るい赤色等のようなマークの明るさや色の明度によるものであってもよい。また、前記識別可能な属性は、模様であってもよいし、局所的なパターン（形状）であってもよい。さらには、前記識別可能な属性は、色、色の明度、マークの明るさ、局所パターン等を組み合わせたものであってもよい。

前記識別可能な属性がマークの明るさである場合の具体例としては、前記座標算出用マークＡが明るい赤色をしており、前記座標算出用Ｂが暗い赤色をしている場合等がある。

ここにおけるマークの明るさとは、色の明度とは異なるものである。具体的に説明すると、ＲＧＢで表現した場合における赤色の最大の明度を（２５５，０，０）とすると、強い照明やペンライトなどを用いることにより、２５５を超える「明るさ」を作ることができる。このような２５５を超える「明るさ」は、カメラ側で感度を落とすことにより測定することができる。例えば、前記カメラ側の感度を１／２にしたときのＲＧＢ値が（２００，０，０）であれば、実際の明るさは（４００，０，０）となるが、「明度」としては（２５５，０，０）となり、純粋な赤を超えることはない。よって、マークの明るさと色の明度とは異なる。

前記識別可能な属性が局所的なマークである場合の例としては、図１４に示すように、指示具の表面に、座標算出用マークＡとして◎の図形が、また、座標算出用マークＢとして○等の図形が形成されている場合が考えられる。

前記組み合わせた場合の例としては、座標算出用マークＡとして◎の図形がマーキングされ、座標算出用マークＢとして赤色でマーキングされている場合等が考えられる。

このように座標算出用マークが局所的な図形によるものである場合の具体例として、実施形態１の座標指示装置１００を用いて説明する。

データ格納領域７０は、図１に示すように、前記局所的な図形の座標算出用マークによって構成される特定パターンに対応する演算パターンのデータを予め格納しているパターン格納部７０ｂ（パターン情報格納手段）を備える。この場合、パターン特定部１１２は、前記局所的な図形の座標算出用マークからなる特定パターンと、前記パターン格納部７０ｂに格納される演算パターンとを照合し、照合した結果、特殊ペン７１が有する特定パターンと一致またはほぼ一致する演算パターンデータを取得する。そして、前記パターン特定部１１２は、取得した前記演算パターンを前記座標演算部１２０に出力する。

以下、パターン特定部１１２による前記照合方法について、図２１を用いて説明する。

図２１は、パターン格納部７０ｂに格納される演算パターンを構成する対応マークの特定方法を示す図である。

図２１（ａ）は、２値化され、前記特定領域抽出部１１１で抽出されたデータの各画素を左上から右下へ順に走査し、前記局所的な図形からなる座標算出用マークの中心を中心として周囲計５×５画素を取得したデータの一例である。

図２１（ｂ）は、前記パターン格納部７０ｂに格納され、２値化された前記対応マークを、２次元配列によって示したものである。

図２１（ｃ）は、図２１（ａ）の各要素から、図２１（ｂ）の対応する各要素を差し引いた結果の配列を示す図である。

図２１（ｃ）において、各要素の絶対値の総和を計算すると３である。この値は、マークの類似度の評価値とすることができる。前記評価値が小さいほど、類似していると考えられる。そして、パターン特定部１１２は、パターン格納部７０ｂに格納される様々なマークと上記のように照合し、前記評価値がもっとも小さい対応マークを、指示具の表面に形成された座標算出用マークに対応する対応マークとして特定する。

さらに、前記座標算出用マークは、実施形態１で説明したように、指示具に２つ形成されていてもよく、実施形態３で説明したように、指示具に３つ形成されていてもよく、図１５に示すように、１つだけ形成されるものであってもよく、座標算出用マークの数は限られない。

上記の構成により、座標指示装置は、前記座標算出用マークを容易に、かつ、より正確に認識することが可能となる。
（利用例１）
本実施形態における携帯電話機は、座標指示装置及び特殊ペンを用いて文字等の入力データを、撮影した写真画像データ上に組み込んだデータを他の端末間と送受信することができる。

本実施形態における座標指示装置を備えた携帯電話の利用例１について、図１６を用いて説明する。

図１６は、本実施形態の携帯電話機における利用の一例を示す図であって、写真画像を撮影するステップから、文字を入力したデータを送信するステップまでの携帯電話機の表示画面の遷移を示す図である。

まずは、上記携帯電話機に備えられたカメラで、ある人物の写真画像を撮影し、表示画面に撮影画像を表示する（図１６の１参照）。次に、特殊ペンの先端部を上記カメラの前方、且つ該カメラの撮影範囲の空間で「Ｉ ＬＯＶＥ Ｕ」と動かすと、その先端部の座標の遷移を文字として座標指示装置によって表示させる。例えば、図１６の２に示すように、前記ある人物の写真画像上に、「Ｉ ＬＯＶＥ Ｕ」という文字が表示される。

次いで、図１６の３及び４に示すように、送信先のＥ−ｍａｉｌアドレスを設定し、メッセージ等を送信すると共に、前記画像データと前記先端部の座標データとを組み合わせたデータを送信先に送信する。これにより、フリーハンドで文字等を書きこんだデータを送受信することができるようになるため、本実施形態の携帯電話機の利用シーンは拡大する。

また、特殊ペンによる写真画像への文字入力は、以下の変形例を用いてもよい。これは、図１７を用いて以下説明する。

図１７は、本実施形態の携帯電話における利用例を示す図であって、特に図１６の２において、表示画面に表示されている写真画像への文字入力の入力例を示す図である。

図１７（ａ）に示すように、表示画面に表示されている写真画像を半透明表示にしてペンやそれを保持する手の実写画像と合成しながら書いてもよい。

また、図１７（ｂ）に示すように、表示画面に表示されている写真画像をそのまま表示して「指示具の先端の位置を示すポインタ画像」を重ねて表示しながら書いてもよい。

また、図１７（ｃ）を示すように、表示画面に表示されている写真画像をそのまま表示して「指示具のパターンの位置情報をもとに算出して生成した、指示具の仮想画像」を重ねて表示しながら書いてもよい。
（利用例２）
本実施形態における携帯電話機は、動画を撮影しつつ、同時に、特殊ペンの先端部の軌跡を「背景と同一の動画像」または「時間情報を伴う座標データ」として記録し、後の再生時に文字を入力するという動作を再現することができる。

図１８は、時間情報を伴う座標データの一例を示す表である。

図１９は、時間変化にともなう座標変化の一例を示す図である。

時間情報を伴う座標データとは、時系列に沿った座標指示のデータをいい、例えば、図１８の表のデータを用いて説明すると、以下のようになる。

図１８の表によると、０ミリ秒の時における特殊ペンの先端部の座標位置は、（Ｘ，Ｙ）＝（１０，２０）と指示され、モードは座標移動となっている。すなわち、先端部の座標位置が（１０，２０）に合わせられる。次に、１０ミリ秒後の先端部の座標位置は（２０，３０）と指示され、モードは描画モードとなっている。すなわち、（１０，２０）から（２０，３０）までは線分が描画される。さらには、２０ミリ秒後のペン先の座標位置は（４０，５０）と指示され、モードは描画モードとなっている。すなわち、（２０，３０）から（４０，５０）までは線分が描画される。

このような時間情報を伴う座標データに基づいて文字を入力していくと、図１９に示すように、時間が変化しても連続して文字を入力することができる。

以上のように、文字書き込み時の動作を「位置ベクトル＋時間データ」として記録し、これらのデータを携帯電話機の利用者間で送受信することができる。また、チャットにも用いることができる。また、前記時間情報を伴う座標データは、ベクトルをデータとして送信しているため、動画データではあるが、比較的データ量を抑えることができる。
（利用例３）
本実施形態における携帯電話機では、座標指示装置で算出した座標データを複数の端末間で送受信することができる。

図２０は、本実施形態の携帯電話機における利用の一例を示す図であって、複数の端末間でチャットを行っている様子を示した携帯電話機の表示画面の図である。

本実施形態における座標指示装置を備えた携帯電話機の利用例３について、図２０を用いて具体的に説明する。

図２０に示すように、携帯端末Ａの保持者が、端末Ａの表示画面上に「もうかりまっか？」と文字を入力する。その文字が入力されたデータを送信し、そのデータを受信した携帯端末Ｂの保持者は、「サッパリですわ。」と同じデータ上に異なる文字を書き込むことができる。

上記メッセージの表示位置は、時間的順序に依存しないため、端末Ｂでは、端末Ａによって入力された「もうかりまっか？」という文字上に重ねて新たな文字を入力することができる。

また、チャットをする際に、特殊ペンの先端部の軌跡、つまりは、ペン先の座標データだけを送受信してもよいし、背景画像データと共に送受信してもよい。これにより、背景を映しながらチャットを行うことができる。

また、表示画面上におけるペンの先端部の近傍に、ペン先端部の座標の表示と同時に、図２０の図中に示したような「ペンを保持した手」の画像を表示することができる。これによれば、言葉だけで伝えるのではないため、動的で、かつ、よりリアリティ感のあるチャットを楽しむことが可能となる。

また、本実施形態における携帯電話機のような小さい表示画面上においても操作性を落とさずにチャットを行うことが可能である。

また、さらには、本実施形態における携帯電話機は、表示画面が比較的大きく、該表示画面上に入力パッドを備えた携帯端末による入力処理と同じことを、携帯電話機のように表示画面の小さい携帯端末でも実現できる。

最後に、座標指示装置１００の各ブロック、特にパターン認識部１１０および座標演算部１２０は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、座標指示装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである座標指示装置１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記座標指示装置１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、座標指示装置１００を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明の座標指示装置は、文字や絵などの情報の入力を、簡単な構成で、しかも比較的狭い表示領域の表示部において可能にしているので、携帯電話機、ＰＤＡなどの携帯端末機器に利用可能である。

座標指示装置の概略構成を示すブロック図である。 特殊ペンを用いて携帯電話機に文字入力をする様子を示した図である。 特殊ペンにおける座標算出用パターンと、撮像装置の撮像面における演算パターンとの対応関係を示す図である。 携帯電話機の外観を示した平面図であり、（ａ）は、携帯電話機を折り曲げた際に内側となる部分の平面図であり、（ｂ）は、携帯電話機を折り曲げた際に外側となる部分の平面図である。 携帯電話機のハードウェア構成の具体例を示す機能ブロック図である。 特殊ペンで描いた文字が、表示画面内に表示できる場合の様子を示した図である。 特殊ペンで描いた文字が、表示画面内に表示できない場合の様子を示した図である。 特殊ペンにおける座標算出用パターンと、撮像装置の撮像面における演算パターンとの対応関係を示す図である。 座標指示装置の概略構成を示すブロック図である。 パターン格納部に格納されているパターンデータをテーブル化したものの一例を示す図である。 特殊ペンの一例を示す図である。 特殊ペンにおける座標算出用パターンと、撮像装置の撮像面における演算パターンとの対応関係を示す図である。 特殊ペンの一例を示す図である。 特殊ペンの一例を示す図である。 特殊ペンの一例を示す図である。 本実施形態の携帯電話機における利用の一例を示す図である。 本実施形態の携帯電話機における利用の一例を示す図である。 本実施形態の携帯電話機における利用の一例を示す図である。 本実施形態の携帯電話機における利用の一例を示す図である。 本実施形態の携帯電話機における利用の一例を示す図である。 パターン格納部に格納される演算パターンを構成する対応マークの探索方法を示す図である。（ａ）は、局所的なパターンの中心を中心として周囲計５×５画素を取得したデータの一例である。（ｂ）は、２値化された演算パターンを２次元配列によって示したものである。（ｃ）は、（ａ）の各要素から、（ｂ）の対応する各要素を差し引いた結果の配列を示す図である。 従来の指示具の一例を示す図である。

符号の説明

５４ 撮像装置（撮影手段）
６０ 制御部
６４ 表示部
６５ 画像入力部
７０ データ格納領域
７０ａ 指示座標データ格納部
７０ｂ パターン格納部（パターン情報格納手段）
７０ｃ モード情報格納部（モード情報格納手段）
７１、８１、９１ 特殊ペン（指示具）
９０ 撮影パラメータ検出部（撮影パラメータ検出手段）
１００、２００ 座標指示装置
１１０ パターン認識部（パターン抽出手段）
１１１ 特定領域抽出部（特定領域抽出手段）
１１２ パターン特定部（パターン特定手段）
１２０ 座標演算部（座標算出手段）
１２１ 第１座標算出部
１２２ 第２座標算出部
１４０、２４０ 表示制御部
２１０ モード認識部（モード設定手段）
２１１ モードパターン特定部
２１２ モード設定用データ取得部
２１３ モード設定部

Claims (16)

1. 指示具を撮影することにより、該指示具によって指示された指示点の座標を求める座標指示装置であって、
   上記指示具の表面には、上記指示点との位置関係が既知であり、上記指示点の座標を求めるための要素である演算用の特定パターンが形成され、
   少なくとも上記特定パターンを含んだ状態で、上記指示具を撮影して得られた画像データから、上記特定パターンに対応する演算パターンを抽出するパターン抽出手段と、
   上記パターン抽出手段によって抽出された上記演算パターンから、上記指示点の座標を算出する座標算出手段とを有することを特徴とする座標指示装置。
2. 上記特定パターンは、上記指示具の表面の異なる位置に形成される２つのマークから構成されることを特徴とする請求項１に記載の座標指示装置。
3. 上記特定パターンは、上記指示具の表面の異なる位置に形成される少なくとも３つのマークから構成されることを特徴とする請求項１に記載の座標指示装置。
4. 上記マークが２つ以上の場合、
   上記マークは、それぞれ異なる識別可能な属性を有することを特徴とする請求項１から３のいずれか１項に記載の座標指示装置。
5. 上記属性は、色であることを特徴とする請求項４に記載の座標指示装置。
6. 上記属性は、マークの明るさであることを特徴とする請求項５に記載の座標指示装置。
7. 上記属性は、形状であることを特徴とする請求項４に記載の座標指示装置。
8. 上記パターン抽出手段は、他の画素に対して、上記属性によって差別化されている画素のみを抽出する特定領域抽出手段と、
   上記特定領域抽出手段によって抽出される画素から、上記演算パターンを特定するパターン特定手段とを備えることを特徴とする請求項４から７のいずれか１項に記載の座標指示装置。
9. 上記特定パターンの上記形状に対応する、照合用のパターンデータを予め格納しているパターン情報格納手段をさらに備え、
   上記パターン抽出手段は、上記特定領域抽出手段によって抽出される画素と、上記照合用のパターンデータとを照合することにより、上記特定パターンを抽出することを特徴とする請求項８に記載の座標指示装置。
10. 指示具を撮影することにより、該指示具によって指示された指示点の座標を求める座標指示装置であって、
    上記指示具の表面には、上記指示点との位置関係が既知であり、上記指示点の座標を求めるための要素である演算用の特定パターンが形成され、
    少なくとも上記特定パターンを含んだ状態で、上記指示具を撮影して得られた画像データから、上記特定パターンに対応する演算パターンを抽出するパターン抽出手段と、
    上記指示具に対する撮影位置、撮影方向、拡大率などの撮影パラメータを検出する撮影パラメータ検出手段と、
    上記パターン抽出手段によって抽出された上記演算パターンと、上記撮影パラメータ検出手段によって検出された上記撮影パラメータとから、上記指示点の座標を算出する座標算出手段とを有することを特徴とする座標指示装置。
11. 上記指示具の表面には、さらに、上記指示点の座標を指示する対象となる装置側で処理すべき処理モードを設定するためのモード設定用パターンが形成されており、
    指示具表面に形成された上記モード設定用パターンと、上記処理モードを設定するためのモード設定用データとを対応付けて一つのモードパターン情報として予め格納するモード情報格納手段と、
    上記モード設定用パターンに応じた処理モードを設定するモード設定手段とを備え、
    上記パターン抽出手段は、少なくとも上記特定パターンと上記モード設定用パターンとを含んだ状態で上記指示具を撮影して得られた画像データから、上記モード設定用パターンに対応するモードパターンを抽出し、
    上記モード設定手段は、上記特定パターン抽出手段が抽出した上記モードパターンに対応付けられるモード設定用データを、上記モード情報格納手段を参照することによって取得し、上記モード設定用データを用いて処理モードの設定を行うことを特徴とする請求項１、９、１０に記載の座標指示装置。
12. 指示具を撮影することにより、該指示具によって指示された指示点の座標を求める座標指示装置と、
    上記座標指示装置によって求められた指示点の座標に基づいて、上記指示具によって指示された指示点を表示する表示装置とを備え、
    上記座標表示装置として、請求項１〜１１の何れか１項に記載の座標指示装置を用いることを特徴とする電子機器。
13. 上記指示具が電子機器本体に接続された連結部材に設けられていることを特徴とする請求項１２に記載の電子機器。
14. 指示具を撮影することにより、該指示具によって指示された指示点の座標を求める座標指示方法であって、
    撮影手段によって、指示具表面に形成された上記指示点との位置関係が既知である演算用の特定パターンを含めて撮影する撮影ステップと、
    パターン抽出手段によって、上記撮影ステップで撮影した画像データの中から、他の画素に対して差別化された画素のみを抽出し、上記抽出した画素から上記特定パターンに対応する演算パターンを抽出するパターン抽出ステップと、
    座標算出手段によって、上記パターン抽出ステップで抽出した演算パターンから、上記指示点の座標を算出する座標算出ステップとを含むことを特徴とする座標指示方法。
15. コンピュータに、請求項１〜１１の何れか１項に記載の座標指示装置の各手段を実現させるための座標指示プログラム。
16. 請求項１５に記載の座標指示プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images