JP2018013858A - 位置検知システム - Google Patents

Abstract

【課題】ペン先が死角に配置されても、一台の撮像装置を用いてペン先の位置を算出すること。【解決手段】位置を示すための被検知部１１を後端側に有するペン１０と、ペン１０の被検知部１１を撮像する撮像装置３と、撮像装置３から出力される被検知部１１を撮像した２次元の画像データの座標に基づいて、ペン１０の所定の位置の座標を算出する情報処理装置４と、を備え、情報処理装置４は、撮像装置３の撮像平面と撮像平面に垂直な撮像方向とが形成する撮像空間でのペン１０の所定の位置の座標は、画像データの座標のうち、被検知部１１の少なくとも３つの点の座標情報に基づいて算出する。【選択図】図２

Description

本発明は、デジタル会議システム等に備えられ、対象物の３次元空間内の位置を検知する位置検知システムに関する。

近年、種々のビジネスシーンにおける生産性向上のため、例えばＷｅｂ会議システムや電子黒板などの、アナログ情報とデジタル情報をシームレスに連携させた会議システムが確立されてきている。会議システムは一般的に、例えばペン先や指先による筆記動作中の動きなどのアナログ入力（アナログイベント）を検知する位置検知手段と、位置検知手段からの入力情報をデジタルイベントとして出力する情報処理装置から構成されている。

会議システムに備えられる位置検知手段としては、タッチパネルや電子黒板などがある。タッチパネルは専用の入力デバイスが必要となるため、紙などのアナログメディア上での筆記動作は検知できない。また、筆記動作を行える場所や人数が入力デバイスの数や形態によって限定されてしまう。更に、複数人が筆記動作を行えるようにするためには、複数の入力デバイスや大型の入力デバイスが必要になるため、導入コストが増大する。

一方、電子黒板では光学方式や超音波方式が主に用いられる。「光学方式」とは、ペンに発光点を設け、発光点が発する光を光学センサで検知して、三角測量の原理で発光点の位置を算出する方式である。会議システムに適用するには、センサ装置を卓上に配置することが望ましいが、筆記動作が行える場所や人数が限定されてしまう。また、センサ装置を会議室の壁などに配置すれば、ペンと光学センサの距離が大きくなり、検知精度が低下する。「超音波方式」とは、超音波発振デバイスをペン先に設け、ペン先が発する超音波を所定の位置からセンサ装置で観測し、発振源の位置を算出する方式である。この方式は、音速の変化や音波の反射の影響を受けやすく、正確な位置計測が難しい。以上述べたように、既存の会議システムに用いられる位置検知手段は、いずれもより多くの筆記動作を検知するための最適な手段とは言えない。

また、カメラなどのデジタル撮像装置によって撮像された画像データを解析することによっても、物体の位置を検知する手法が一般に知られている。デジタル撮像装置を用いてペン先の位置を検知すれば、会議システムにおける位置検知手段に応用することができる。また、パン機能、チルト機能、ズーム機能を有する撮像装置を用いれば、広い範囲を高精度に検知することができる。ペン先を撮像装置で直接検知するためには、ペン先を障害物で遮ってはならない。ところが、撮像装置と筆記動作を行う人の位置関係によって、ペンを持つ手そのものがペン先を覆うと、ペン先が死角に位置してしまうので、筆記動作が行える位置や体の向きは制限されてしまう場合がある。対象物の情報を位置検知手段で検知する場合には、対象物が位置検知手段の死角にあると、位置検知が難しい点は、どの方式においても考慮すべき、ユーザビリティ上の重大な課題となっている。例えば特許文献１では、光学方式の座標検出装置において、発光点をペン先以外の部分に設け、位置検出平面に投影してペン先座標を算出する構成が提案されている。

特開２００４−３８５２８号公報

しかしながら、従来例のように対象物の位置検知に三角測量の方法を用いる方式では、撮像装置を複数台設けることにより、制御の複雑化や処理速度の低下が懸念される。また、コストアップを抑える観点からは、撮像装置は一台であることが望ましいが、従来例の方式は二台の撮像装置でペン先を検知する構成であり、一台の撮像装置には適用することができない。そのため、一台の撮像装置を用いた位置検知手段では、ペン先が死角に配置された場合には、ペン先の位置検知は困難であるという課題がある。

本発明は、このような状況のもとでなされたもので、ペン先が死角に配置されても、一台の撮像装置を用いてペン先の位置を算出することを目的とする。

前述の課題を解決するために、本発明は、以下の構成を備える。

（１）位置を示すための被検知部を後端側に有するペンと、前記ペンの前記被検知部を撮像する撮像装置と、前記撮像装置から出力される前記被検知部を撮像した２次元の画像データの座標に基づいて、前記ペンの所定の位置の座標を算出する算出手段と、を備え、前記算出手段は、前記撮像装置の撮像平面と前記撮像平面に垂直な撮像方向とが形成する撮像空間での前記所定の位置の座標を、前記画像データの座標のうち、前記被検知部の少なくとも３つの点の座標情報に基づいて算出することを特徴とする位置検知システム。

本発明によれば、ペン先が死角に配置されても、一台の撮像装置を用いてペン先の位置を算出することができる。

実施例１〜３の会議システムの概要を示す模式図、及び位置検知システムの構成を説明する図 実施例１のペンの斜視図 実施例１のペンの座標を定義したモデル図、画像データ上の座標を定義したモデル図 実施例１〜３の長さＤｍと距離ｋｏの相関関係を示すグラフ 実施例１〜３のペンの先端座標を算出するモデルを説明する図 実施例１の角度α及び角度δの算出方法を説明する図 実施例２のペンの斜視図、及びペンの構成を示す断面図 実施例２の角度α及び角度δの算出方法を説明する図 実施例３のペンの斜視図、及びペンの構成を示す断面図 実施例３の角度αの算出方法を説明する図 実施例３の角度δの算出方法を説明する図

以下に、図面を参照して本発明の実施の形態について詳細に説明する。

［会議システムの概要］
図１は、実施例１の位置検知システム２を用いた会議システム１の概要を示す模式図である。図１（ａ）に示すように、会議システム１は、会議室に設けられた位置検知システム２、及び、プロジェクタやスクリーンなどの表示装置５で構成され、撮像装置３と表示装置５は会議室の壁などに設置されている。図１（ｂ）は、位置検知システム２の構成を説明する図である。位置検知システム２は、位置指示手段であるであるペン１０、デジタルビデオカメラなどの撮像手段である撮像装置３、及びペン１０の先端の位置座標を算出する算出手段である情報処理装置４で構成されている。会議の参加者が紙などのメディア６上に、ペン１０を用いて筆記動作（アナログの入力イベント）を行うと、会議システム１は、表示装置５にデジタルイベント（例えば表示装置５への表示）を出力する。詳細には、図１（ｂ）において、撮像装置３はペン１０を撮像し、撮像したペン１０の画像データを情報処理装置４に出力する。情報処理装置４は、撮像装置３から入力されたペン１０の画像データに基づいて、ペン１０のペン先の座標を算出する。なお、ペン１０の画像データからペン先の座標を算出する詳細な手法については後述する。情報処理装置４は、算出されたペン１０のペン先の座標データに基づいて、表示装置５上にペン１０でメディア６に書かれた情報を表示するデジタルイベントを起こす。ここでいう「画像データ」とは、撮像装置３により撮像されたデジタル画像の画素データのことであり、可視光か不可視光かは問わず、色相や輝度といった情報を有するものとする。なお、撮像装置３の撮像方向（図１（ａ）の図中、奥側から手前側に向かう方向）を基準に、座標系（Ｉ、Ｊ、Ｋ）を図１（ａ）に示すように、定義する。即ち、撮像装置３により撮像される撮像空間は、Ｉ軸とＪ軸で形成される撮像装置３の撮像平面と、撮像平面と垂直な撮像方向であるＫ軸から構成されている。Ｉ軸方向は、画像データにおける左右方向（水平方向）、Ｊ軸は画像データにおける上下方向（垂直方向）、Ｋ軸は画像データにおける奥行き方向とする。

［ペンの構成］
続いて、撮像装置３から出力される画像データからペン１０のペン先の座標を算出する手法について詳細に説明する。図２は、ペン１０の構成を説明する模式図である。ペン１０全体は略円筒形状をしており、先端Ｐは、情報処理装置４にて座標を算出する被算出点であるペン先を示す。また、ペン１０には、先端Ｐの座標を算出するための被検知部１１が設けられ、被検知部１１は円筒形状を有している。被検知部１１は、ペン１０の後端側の円筒部に、円筒の中心軸であるＸ軸と略垂直な方向に、外周の全周にわたり黒色などの線が引かれ、線形状部（輪形状部）を形成している。また、撮像装置３によりペン１０を撮像した画像データ上で被検知部１１が検知されやすくするために、被検知部１１の色相や輝度は、ペン１０の基体とはコントラストを有している。そのため、情報処理装置４は、ペン１０の基体とのコントラストの違いによって、撮像装置３によって撮像された画像データに基づいて、被検知部１１の位置情報を算出することができる。

［ペンの座標系］
次に、算出されたペン１０の被検知部１１の位置情報をもとに、ペン１０の先端Ｐの座標を算出する手法について説明する。図３は、ペン１０の先端Ｐの座標を算出するために必要な座標系を定義したモデル図である。図３（ａ）は、前述した撮像装置３の撮像方向を基準に定義された座標系（Ｉ，Ｊ，Ｋ）におけるペン１０の各座標を説明する模式図である。図中、点Ａ、Ｂは、撮像装置３にてペン１０の被検知部１１を撮像したときの被検知部１１の端部を示し、点Ｃは、被検知部１１のペン１０の円筒形状部分（弧）の中点、即ち端部Ａと端部Ｂを結ぶ弧の中点である。なお、撮像装置３でペン１０を撮像した場合には、画像データには点Ａ、点Ｃ、点Ｂを結んだ円弧が記録される。

ここで、端部Ａ（以下、点Ａともいう）の座標をＡ（ｉａ，ｊａ，ｋａ）、端部Ｂ（以下、点Ｂともいう）の座標をＢ（ｉｂ，ｊｂ，ｋｂ）、中点Ｃ（以下、点Ｃともいう）の座標をＣ（ｉｃ，ｊｃ，ｋｃ）と定義する。また、被算出点であるペン１０のペン先である先端Ｐの座標をＰ（ｉ，ｊ，ｋ）とし、ペン１０の中心軸であるＸ軸上の被検知部１１の仮想中心Ｏの座標をＯ（ｉｏ，ｊｏ，ｋｏ）とする。図中、Ｄは、端部Ａと端部Ｂとの直線距離、即ち線分ＡＢの長さを示している。前述したように、被検知部１１の形状は円筒形状であるため、長さＤは被検知部１１の円筒部の直径でもある。本実施例では、撮像装置３の画像データに記録された被検知部１１の端部Ａと中点Ｃと端部Ｂを結ぶ被検知部１１の円弧の画像データに基づいて、ペン１０の先端Ｐの座標Ｐ（ｉ，ｊ，ｋ）を算出する。

次に、撮像装置３にて被検知部１１を撮像した２次元の画像データ上の座標系（Ｉｍ，Ｊｍ）の定義について説明する。図３（ｂ）は、図中上部に示すペン１０の実際の位置情報を示す座標系（Ｉ，Ｊ，Ｋ）と、図中下部に示す撮像装置３により撮像された画像データの位置情報を示す座標系（Ｉｍ，Ｊｍ）の関係を説明する模式図である。図中上部に示す座標系（Ｉ，Ｊ，Ｋ）において、点Ａ、Ｂ、Ｃ、Ｏ、Ｐは、ペン１０の被検知部１１の位置情報に基づいた位置を示している。また、点Ａ’、Ｂ’、Ｃ’、Ｏ’、Ｐ’は、ペン１０の被検知部１１の位置情報に基づいたＩＪ平面における位置を示している。なお、破線で囲まれた部分が撮像装置３により撮像された部分であり、撮像装置３から情報処理装置４に出力される画像データとなる。

次に、図３（ｂ）の下部に示す画像データの座標系（Ｉｍ，Ｊｍ）において、座標系（Ｉ，Ｊ，Ｋ）の点Ａ、点Ｂ、点Ｃに対応する、画像データ上の位置情報をそれぞれＡｍ（ｉｍａ，ｊｍａ）、Ｂｍ（ｉｍｂ，ｊｍｂ）、Ｃｍ（ｉｍｃ，ｊｍｃ）とする。これらの位置情報が、情報処理装置４が検知可能な画像データ上の被検知部１１の位置情報である。なお、座標系（Ｉ，Ｊ，Ｋ）のＩ、Ｊ成分と座標系（Ｉｍ，Ｊｍ）のＩｍ、Ｊｍ成分は、それぞれ比例関係（Ｉ∝Ｉｍ、Ｊ∝Ｊｍ）にある。そのため、図１（ａ）の会議システム１が設置された会議室等で、様々な位置や状態のペン１０を撮像装置３により撮像し、撮像装置３から情報処理装置４に出力される画像データを取得する。このようにして、ペン１０の座標系（Ｉ，Ｊ，Ｋ）における座標情報と、ペン１０の画像データの座標系（Ｉｍ，Ｊｍ）における座標情報との相関関係を求めるキャリブレーションを予め行っておく。これにより、座標系（Ｉ，Ｊ，Ｋ）のＩ、Ｊ成分は、画像データの座標系（Ｉｍ，Ｊｍ）上の座標情報に基づいて、算出することができる。

座標系（Ｉ，Ｊ，Ｋ）におけるペン１０の先端Ｐの座標Ｐ（ｉ，ｊ，ｋ）を算出するために、まず仮想中心Ｏの座標Ｏ（ｉｏ，ｊｏ，ｋｏ）を算出する。仮想中心Ｏの座標のＩ、Ｊ成分ｉｏ、ｊｏは、画像データ上の対応する座標Ｏｍ（ｉｍｏ，ｊｍｏ）に基づいて求めることができる。座標Ｏｍは、仮想中心Ｏと同様に、線分ＡｍＢｍの中点であるため、座標ＯｍのＩ成分であるｉｍｏ、Ｊ成分であるｊｍｏは、以下の式（１）、（２）により求めることができる。
ｉｍｏ＝（ｉｍａ＋ｉｍｂ）／２・・・（１）
ｊｍｏ＝（ｊｍａ＋ｊｍｂ）／２・・・（２）
前述したように、予めキャリブレーションにより、座標系（Ｉ，Ｊ，Ｋ）のＩ、Ｊ成分と座標系（Ｉｍ，Ｊｍ）のＩｍ、Ｊｍ成分との相関関係が求められている。その結果、座標ＯｍのＩ成分であるｉｍｏ、Ｊ成分であるｊｍｏから、仮想中心Ｏの座標のＩ、Ｊ成分であるｉｏ、ｊｏを求めることができる。

一方、仮想中心Ｏの座標のＫ成分であるｋｏは奥行き方向の座標であるため、ＩＪ平面に対応する画像データからは、直接算出することができない。そこで、ペン１０の円筒形状の被検知部１１の直径である線分ＡｍＢｍの長さＤｍを用いて算出する。長さＤｍは、次の式（３）により求めることができる。
Ｄｍ＝√（（ｉｍｂ−ｉｍａ）^２＋（ｊｍｂ−ｊｍａ）^２）・・・（３）
ここで、長さＤｍは撮像装置３からのＫ軸方向の距離であるｋｏに伴って変動するため、前述したキャリブレーション時に予め長さＤｍと距離ｋ０との相関関係を求めておく。図４は、キャリブレーション時に求めた長さＤｍとペン１０の座標系（Ｉ，Ｊ，Ｋ）のＫ成分である距離ｋ０との相関関係を表したグラフである。図４において、撮像装置３からの距離ｋ０が大きいほど（撮像装置３から遠いほど）、長さＤｍは小さくなり、撮像装置３からの距離ｋ０が小さいほど（撮像装置３に近いほど）、長さＤｍは大きくなる。例えば、長さＤｍと距離ｋ０との相関関係について、図４に示す相関関係が得られた場合には、長さＤｍ＝Ｄｍ１のときはｋｏ＝ｋｏ１と算出することができる。すなわち、画像データ上の長さＤｍを用いて、撮像装置３からの距離ｋｏを算出することができる。

なお、撮像装置３から被検知部１１までの距離ｋｏが大きいため、画像データにおける長さＤｍが小さくなり、高精度な検知が困難な場合は、長さＤｍを大きくするために、被検知部１１の拡大画像の画像データを用いてもよい。その際は、画像データの拡大比率も考慮して、長さＤｍと距離ｋ０との相関関係を求めておけばよい。以上説明したように、画像データ上の被検知部１１の端部Ａ、Ｂの座標Ａｍ、Ｂｍの位置情報を用いて、座標系（Ｉ，Ｊ，Ｋ）における仮想中心Ｏの座標Ｏ（ｉｏ，ｊｏ，ｋｏ）を算出することができる。

［ペンの先端座標の算出］
続いて、座標系（Ｉ，Ｊ，Ｋ）における仮想中心Ｏの座標を用いて、ペン１０の先端Ｐの座標を算出する。図５は、ＩＪＫ空間におけるペン１０の先端座標を算出するモデルを示しており、図５に基づいて、ＩＪＫ空間における仮想中心Ｏと先端Ｐの座標を説明する。図５において、仮想中心Ｏと先端Ｐを結んだ線分ＯＰの長さをＬとする。また、仮想中心Ｏ、先端ＰをＩＪ平面に投影した点をそれぞれ点Ｏ’、点Ｐ’とし、直線Ｏ’Ｐ’とＩ軸がなす角度を角度α、直線ＯＰと直線Ｏ’Ｐ’がなす角を角度δとする。更に、点Ｏ’、点Ｐ’からＩ軸に垂線を引いたときのＩ軸との交点をそれぞれｉｏ、ｉｐとする。同様に、点Ｏ’、点Ｐ’からＪ軸に垂線を引いた時のＪ軸との交点をそれぞれｊｏ、ｊｐとする。また、仮想中心Ｏ、先端ＰをＪＫ平面に投影し、仮想中心Ｏ、先端Ｐに対応する点からＫ軸に垂線を引いたときのＫ軸との交点をそれぞれｋｏ、ｋｐとする。

図５に示す位置関係から、線分ＯＰの長さのＩ成分（Ｉ軸方向の長さ）、Ｊ成分（Ｊ軸方向の長さ）、Ｋ成分（Ｋ軸方向の長さ）を算出する。線分ＯＰの長さのＩ成分は、線分ｉｐｉｏの長さである。線分ｉｐｉｏの長さは、線分Ｏ’Ｐ’×ｃｏｓαで表される。更に、線分Ｏ’Ｐ’は、線分ＯＰ×ｃｏｓδで表される。したがって、線分ｉｐｉｏの長さｉｐｉｏは、線分ＯＰの長さＬを用いて表すと、以下の式（４）のように表される。
長さｉｐｉｏ＝（Ｌ×ｃｏｓδ）×ｃｏｓα＝Ｌｃｏｓδｃｏｓα・・・（４）

同様に、線分ＯＰの長さのＪ成分は、線分ｊｐｊｏの長さである。線分ｊｐｊｏの長さは、線分Ｏ’Ｐ’×ｓｉｎαで表される。更に、線分Ｏ’Ｐ’は、線分ＯＰ×ｃｏｓδで表される。線分ｊｐｊｏの長さｊｐｊｏは、線分ＯＰの長さＬを用いて表すと、以下の式（５）のように表される。
長さｊｐｊｏ＝（Ｌ×ｃｏｓδ）×ｓｉｎα＝Ｌｃｏｓδｓｉｎα・・・（５）

また、線分ＯＰの長さのＫ成分の長さｋｐｋｏは、線分ＯＰ×ｓｉｎδで表される。したがって、長さｋｐｋｏは、線分ＯＰの長さＬを用いて表すと、以下の式（６）のように表される。
長さｋｐｋｏ＝Ｌ×ｓｉｎδ＝Ｌｓｉｎδ・・・（６）

したがって、ペン１０の先端Ｐの座標Ｐ（ｉ，ｊ，ｋ）は、既に算出した仮想中心Ｏの座標Ｏ（ｉｏ，ｊｏ，ｋｏ）を用いて、以下の式（７）〜（９）のように表すことができる。
ｉ＝ｉｏ−Ｌｃｏｓδｃｏｓα・・・（７）
ｊ＝ｊｏ−Ｌｃｏｓδｓｉｎα・・・（８）
ｋ＝ｋｏ−Ｌｓｉｎδ・・・・・・・（９）
その結果、式（７）〜（９）により、線分ＯＰの長さＬ、角度α、角度δが求まれば、先端Ｐの座標Ｐ（ｉ，ｊ，ｋ）を算出することができる。なお、仮想中心Ｏとペン１０の先端Ｐまでの距離Ｌは、ペン１０の構造で決まるので、既知の定数としてよい。

［角度αの算出］
次に、角度αの算出方法について説明する。図６（ａ）は、図３（ｂ）の上部に示すペン１０をＩＪ平面に投影した図である。また、図５で説明したように、直線Ｏ’Ｐ’とＩ軸がなす角度は角度αである。図６（ａ）において、点Ａ’からＩ軸に垂線を引き、Ｉ軸と交差する点を点Ｅとし、直線Ｏ’Ｐ’と交差する点を点Ｄとし、直線Ｏ’Ｐ’がＩ軸と交差する点を点Ｆとする。また、端部Ａ’と端部Ｂ’を結ぶ線分Ａ’Ｂ’は、ペン１０の仮想中心Ｏ’を通る線であり、直線Ｏ’Ｐ’とは直交する。三角形ＤＥＦは直角三角形であり、∠ＤＦＥの角度はαなので、∠ＦＤＥの角度は、（９０°−α）となる。一方、三角形Ａ’Ｏ’Ｄも直角三角形であり、∠Ａ’ＤＯ’＝∠ＦＤＥ＝（９０°−α）なので、∠ＤＡ’Ｏ’の角度はαとなる。

ＩＪＫ空間での点Ａの座標は（ｉａ，ｊａ，ｋａ）、点Ｂの座標は（ｉｂ，ｊｂ，ｋｂ）なので、図６（ａ）に示す位置関係から、点Ａ’と点Ｂ’とのＩ軸方向の距離は、｜ｉａ−ｉｂ｜、Ｊ軸方向の距離は｜ｊａ−ｊｂ｜で表される。そこで、ｔａｎα＝｜（ｉａ−ｉｂ）／（ｊａ−ｊｂ）｜となる。したがって、角度αは、以下の式（１０）で求めることができる。
α＝ａｒｃｔａｎ｜（ｉａ−ｉｂ）／（ｊａ−ｊｂ）｜・・・（１０）
更に、角度αは、点Ａ、点Ｂの画像データ上の座標位置を用いて、次の式（１１）により求めることができる。
α＝ａｒｃｔａｎ｜（ｉｍａ−ｉｍｂ）／（ｊｍａ−ｊｍｂ）｜・・・（１１）
［角度δの算出］
次に、角度δの算出方法について説明する。図６（ａ）において、点Ａと点Ｂを結んだ直線ＡＢをＩＪ平面に投影した直線Ａ’Ｂ’を通るＶ軸（破線の矢印）を定義する。更に、仮想中心ＯをＩＪ平面に投影した点Ｏ’を通り、Ｖ軸と直交するＷ軸（図６（ａ）の破線の矢印）を、図６（ｂ）に示すように定義する。図６（ｂ）はＶＷＫ空間を示し、点Ｏ、点Ｐ、点ＣＣは、ＷＫ平面に投影された点Ｏ、点Ｐ、点Ｃを示す。また、点Ｐ’、点Ｏ’、点Ｃ’は、ＩＪ平面（ＶＷ平面）に投影された点Ｐ、点Ｏ、点Ｃを示す。

図５で示したように、角度δは、直線ＯＰと直線Ｏ’Ｐ’がなす角度であり、図６（ｂ）の∠Ｏ’ＯＰの角度は、（９０°−δ）となる。∠ＰＯＣＣの角度は９０°なので、∠Ｏ’ＯＣＣの角度はδとなる。線分ＯＣは、被検知部１１の円筒部の半径に相当するので線分ＯＣの長さは（Ｄ／２）で表される。線分ＯＣをＶＷ平面へ投影したときの高さ（距離）をｈとすると、高さｈは、以下の式（１２）で表される。
ｈ＝Ｄ／２×ｓｉｎδ・・・（１２）
また、線分ＯＣは、画像データ上でも同様の位置関係にあるため、画像データ上の高さｈに相当する点Ｏｍと点Ｃｍとを直線で結んだ線分ＯｍＣｍの高さｈｍを用いて、式（１２）は、次の式（１３）で表される。
ｈｍ＝Ｄｍ／２×ｓｉｎδ・・・（１３）
したがって、角度δは、次の式（１４）により求めることができる。
δ＝ａｒｃｓｉｎ（２×ｈｍ／Ｄｍ）・・・（１４）
ここで、線分ＡｍＢｍの長さＤｍは前述したように、点Ａｍ、点Ｂｍの座標により求めることができる。また、高さｈｍは、図３（ｂ）に示す線分ＯｍＣｍの長さであるから、既に求めた画像データの仮想中心ＯｍのＩＪ成分であるｉｍｏ、ｊｍｏを用いて、次の式（１５）により算出することができる。
ｈｍ＝√（（ｉｍｏ−ｉｍｃ）^２＋（ｊｍｏ−ｊｍｃ）^２）
＝√（（（ｉｍａ＋ｉｍｂ）／２−ｉｍｃ）^２＋（（ｊｍａ＋ｊｍｂ）／２−ｊｍｃ）^２）・・・（１５）
よって、高さｈｍ、長さＤｍは、画像データの点Ａｍ、点Ｂｍ、点Ｃｍの座標を用いて表すことができ、これらから角度δを算出することができる。

以上説明した通り、本実施例の構成によって、画像データで検知可能な３点の座標、Ａｍ、Ｂｍ、Ｃｍの座標、及び距離Ｌを用いて、仮想中心ＯのＩＪＫ空間の座標（ｉｏ，ｊｏ，ｋｏ）、角度α、角度δを求めることができる。その結果、前述した式（７）〜（９）により、ペン１０の先端Ｐの座標Ｐ（ｉ，ｊ，ｋ）を算出することができる。ここで、画像データ上の点Ａｍ、点Ｂｍ、点Ｃｍはペン１０の後端側に設けられた被検知部１１にて検知される点である。そのため、ペン１０の先端Ｐが、例えばペン１０の操作者により遮られ、ペン１０の先端Ｐが死角に配置された場合でも、被検知部１１が検知できれば先端Ｐの位置を算出することができる。その結果、会議の参加者が筆記動作を行う際に、手を置く位置を考慮する必要がなくなるため、ユーザビリティを向上させることができる。

なお、被検知部１１が円筒形状部の全周にわたり線形状をなしている構成について述べたが、これに限定されるものではなく、基準点となる仮想中心Ｏと角度α、δが特定できる形状であればよい。また、算出に用いる３つの座標は、端部である点Ａ、点Ｂ、及び点Ａと点Ｂを結ぶ円弧上の中点である点Ｃに限定されず、座標が特定できる位置に設けられた点であればよい。ところで、ペン１０の被検知部１１が撮像装置３の正面に位置している場合には、画像データ上の点Ａと点Ｂ間は、円弧形状ではなく、直線形状となることがある。この場合は、角度δは０°となり、ペン１０が撮像装置３の撮像平面、即ちＩＪ平面と平行になる場合であるが、上述した式を用いて先端Ｐの座標を算出することができる。また、ペン１０の先端Ｐの座標をより高精度に検知したい場合は、本実施例では１箇所しか設けなかったペン１０の被検知部を複数箇所設けてもよい。
以上説明したように、本実施例によれば、ペン先が死角に配置されても、一台の撮像装置を用いてペン先の位置を算出することができる。

実施例１では、被検知部が線形状を有するペンの先端の座標を算出する実施例について説明した。実施例２では、光学式の被検知部が複数設けられたペンの先端の座標を算出する実施例について説明する。なお、実施例１と共通する構成については、同一の符号を付して説明を省略する。

［ペンの構成］
図７（ａ）は、本実施例のペン２０の構成を説明する模式図である。図７（ａ）に示すように、ペン２０全体は略円筒形状をしており、先端Ｐは、情報処理装置４にて座標を算出する被算出点であるペン先である。また、ペン２０の後端側には、先端Ｐの座標を算出するための複数の被検知部２１、２２が設けられている。第１の被検知部である被検知部２１、及び第２の被検知部である被検知部２２は、各々、全周にわたる赤外光の発光部を有している。また、図中のＸは、円筒の中心軸であるＸ軸を示している。

図７（ｂ）は、図７（ａ）に示すペン２０のＸ軸周りの断面を示す図である。ペン２０は、赤外光を発光する光源２３、導光体２４を具備している。光源２３は、ペン２０の周方向に複数設けられている。導光体２４は、樹脂製などの光学素子であり、反射面２４ａ、２４ｂが設けられており、導光体２４はペン２０の全周方向に赤外光を導光するため、円筒形状を成している。光源２３から発せられた赤外光は導光体２４に入射され、赤外光の一部は反射面２４ａにおいて反射され、被検知部２１に導光される。一方、反射面２４ａで反射されなかった赤外光は、反射面２４ｂで反射され、被検知部２２に導光される。被検知部２１、２２は、導光された赤外光をペン２０の外部から撮像装置３により検知できるよう、透明な樹脂部材で構成されている。情報処理装置４は、主に被検知部２１、２２とペン２０の基体との輝度の差を利用して、撮像装置３によって撮像された画像データに基づいて、被検知部２１、２２の形状及び位置を検知し、被検知部２１、２２の位置情報を算出することができる。

［ペンの先端座標の算出］
続いて、画像データにより得られた被検知部２１、２２の位置情報をもとに、ペン２０の先端Ｐの座標を算出する手法について説明する。図８（ａ）は、ペン２０の被検知部２１、２２をＩＪ平面に投影した図である。被検知部２１の両端部をそれぞれ点Ａ１、点Ｂ１とし、被検知部２２の両端部をそれぞれ点Ａ２、点Ｂ２とし、図８（ａ）に示す点Ａ１’、点Ｂ１’、点Ａ２’、点Ｂ２’は、ＩＪ平面に投影した点を示す。また、被検知部２１、２２の仮想中心をそれぞれＯ１、Ｏ２とし、それぞれのＩＪＫ空間での座標をＯ１（ｉｏ１，ｊｏ１，ｋｏ１）、Ｏ２（ｉｏ２，ｊｏ２，ｋｏ２）とする。図８（ａ）に示す仮想中心Ｏ１’、Ｏ２’は、仮想中心Ｏ１、Ｏ２をＩＪ平面に投影した点を示す。更に、ペン２０の先端Ｐの座標は、Ｐ（ｉ，ｊ，ｋ）とし、図８（ａ）の点Ｐ’は、先端ＰをＩＪ平面に投影した点を示す。角度αは、点Ｏ１’と点Ｐ’を結ぶ線分Ｏ１’Ｐ’とＩ軸が交差する角度である。同様に、角度αは、点Ｏ２’と点Ｐ’を結ぶ線分Ｏ２’Ｐ’とＩ軸が交差する角度でもある。

点Ａ１と点Ｂ１の画像データ上の点Ａｍ１、Ｂｍ１とし、画像データ上の位置情報をそれぞれＡｍ１（ｉｍａ１，ｊｍａ１）、Ｂｍ１（ｉｍｂ１，ｊｍｂ１）とする。同様に、点Ａ２と点Ｂ２の画像データ上の点Ａｍ２、Ｂｍ２とし、画像データ上の位置情報をそれぞれＡｍ２（ｉｍａ２，ｊｍａ２）、Ｂｍ２（ｉｍｂ２，ｊｍｂ２）とする。点Ａ１と点Ｂ１の画像データ上の点Ａｍ１、Ｂｍ１から仮想中心Ｏ１の座標が、点Ａ２と点Ｂ２の画像データ上の点Ａｍ２、Ｂｍ２から仮想中心Ｏ２の座標が、それぞれ実施例１で述べた手法によって算出できる。

即ち、仮想中心Ｏ１、Ｏ２に対応する画像データの点を点Ｏｍ１、Ｏｍ２とし、画像データ上の位置情報をそれぞれＯｍ１（ｉｍｏ１，ｊｍｏ１）、Ｏｍ２（ｉｍｏ２，ｊｍｏ２）とする。点Ｏｍ１は、点Ａｍ１と点Ｂｍ１との中点であるため、点Ｏｍ１の位置情報は、以下の式（１６）、（１７）により求めることができる。
ｉｍｏ１＝（ｉｍａ１＋ｉｍｂ１）／２・・・（１６）
ｊｍｏ１＝（ｊｍａ１＋ｊｍｂ１）／２・・・（１７）
同様に、点Ｏｍ２は、点Ａｍ２と点Ｂｍ２との中点であるため、点Ｏｍ２の位置情報は、以下の式（１８）、（１９）により求めることができる。
ｉｍｏ２＝（ｉｍａ２＋ｉｍｂ２）／２・・・（１８）
ｊｍｏ２＝（ｊｍａ２＋ｊｍｂ２）／２・・・（１９）
実施例１で説明したように、図１（ａ）の会議システム１が設置された会議室等で、様々な位置や状態のペン２０を撮像装置３により撮像し、撮像装置３から情報処理装置４に出力される画像データを取得する。このようにして、ペン２０の座標系（Ｉ，Ｊ，Ｋ）における位置情報と、ペン２０の画像データの座標系（Ｉｍ，Ｊｍ）における位置情報との相関関係を求めるキャリブレーションを予め行っておく。これにより、座標系（Ｉ，Ｊ，Ｋ）のＩ、Ｊ成分と座標系（Ｉｍ，Ｊｍ）のＩｍ、Ｊｍ成分との相関関係が求められている。したがって、座標Ｏｍ１のＩ成分であるｉｍｏ１、Ｊ成分であるｊｍｏ１から、仮想中心Ｏ１の座標のＩ、Ｊ成分であるｉｏ１、ｊｏ１を求めることができる。同様に、座標Ｏｍ２のＩ成分であるｉｍｏ２、Ｊ成分であるｊｍｏ２から、仮想中心Ｏ２の座標のＩ、Ｊ成分であるｉｏ２、ｊｏ２を求めることができる。

一方、仮想中心Ｏ１、Ｏ２の座標のＫ成分であるｋｏ１、ｋｏ２は奥行き方向の座標であるため、ＩＪ平面に対応する画像データからは、直接算出することができない。そこで、実施例１と同様に、画像データ上のペン２０の円筒形状の被検知部２１、２２の直径である線分Ａｍ１Ｂｍ１の長さＤｍ１、線分Ａｍ２Ｂｍ２の長さＤｍ２を用いて算出する。ここで、長さＤｍ１、Ｄｍ２は撮像装置３からのＫ軸方向の距離であるｋｏ１、ｋｏ２に伴って変動するため、前述したキャリブレーション時に予め長さＤｍと距離ｋ０との相関関係を求めておく。そして、実施例１と同様に、図４のグラフから、画像データ上の長さＤｍ１、Ｄｍ２を用いて、撮像装置３からの距離ｋｏ１、ｋｏ２を算出することができる。

また、ペン２０の先端Ｐと仮想中心Ｏ１、又は先端Ｐと仮想中心Ｏ２を用いることにより、実施例１の図５で説明したペンの先端Ｐの座標を算出するモデルと同様のモデルとすることができる。即ち、仮想中心Ｏ１の座標を（ｉｏ１，ｊｏ１，ｋｏ１）、仮想中心Ｏ２の座標を（ｉｏ２，ｊｏ２，ｋｏ２）とすると、ペン２０の先端Ｐの座標Ｐ（ｉ，ｊ，ｋ）は、以下の式（２０）〜（２２）、又は式（２３）〜（２５）のように表すことができる。
ｉ＝ｉｏ１−Ｌ１ｃｏｓδｃｏｓα・・・（２０）
ｊ＝ｊｏ１−Ｌ１ｃｏｓδｓｉｎα・・・（２１）
ｋ＝ｋｏ１−Ｌ１ｓｉｎδ・・・・・・・（２２）
又は、
ｉ＝ｉｏ２−Ｌ２ｃｏｓδｃｏｓα・・・（２３）
ｊ＝ｊｏ２−Ｌ２ｃｏｓδｓｉｎα・・・（２４）
ｋ＝ｋｏ２−Ｌ２ｓｉｎδ・・・・・・・（２５）
ここで、Ｌ１、Ｌ２は、図８（ａ）において、仮想中心Ｏ１又はＯ２とペン２０の先端Ｐを結んだ線分Ｏ１Ｐ、Ｏ２Ｐの長さである。長さＬ１、Ｌ２は、ペン２０の構成により決定されるため、既知の定数としてよい。そのため、式（２０）〜（２２）、又は式（２３）〜（２５）より、角度α、角度δを求めることができれば、ペン２０の先端Ｐの座標を算出することができる。なお、説明を簡略化するため、角度α、角度δを仮想中心Ｏ１、Ｏ２の座標を用いた式で表すことができる場合には、角度α、角度δを画像データ上の点Ａｍ１、Ｂｍ１、Ａｍ２、Ｂｍ２を用いて算出できるものとする。

図８（ａ）において、角度αは線分Ｏ１’Ｐ’、Ｏ２’Ｐ’がＩ軸と交差する角度である。図８（ａ）において、線分Ｏ１’Ｏ２’のＩ軸方向の長さは｜ｉｏ２−ｉｏ１｜であり、Ｊ軸方向の長さは｜ｊｏ２−ｊｏ１｜であり、ｔａｎαは、ｔａｎα＝｜（ｊｏ２−ｊｏ１）／（ｉｏ２−ｉｏ１）｜と表すことができる。したがって、角度αは、仮想中心Ｏ１、Ｏ２の座標を用いて、次の式（２６）により算出することができる。
α＝ａｒｃｔａｎ｜（ｊｏ２−ｊｏ１）／（ｉｏ２−ｉｏ１）｜・・・（２６）

次に、角度δの算出方法について説明する。図８（ａ）において、ＩＪ平面に投影した直線Ａ１’Ｂ１’を通るＶ軸（破線の矢印）を定義する。更に、ＩＪ平面に投影した仮想中心Ｏ１’を通り、Ｖ軸と直交するＷ軸を、図８（ｂ）に示すように定義する。図８（ｂ）はＶＷＫ空間を示し、点Ｏ１’、点Ｏ２’、点Ｐ’は、ＶＷ平面に投影された点Ｏ１、点Ｏ２、点Ｐを示す。Ｋ軸のｋｏ１、ｋｏ２は、仮想中心Ｏ１、Ｏ２のＫ成分を示す。点Ｇは、仮想中心Ｏ２からＷ軸に引いた垂線と、仮想中心Ｏ１からＫ軸に引いた垂線が交差する交点を示す。また、Ｌ１、Ｌ２はそれぞれ仮想中心Ｏ１と先端Ｐを結ぶ線分Ｏ１Ｐの長さ、仮想中心Ｏ２と先端Ｐを結ぶ線分Ｏ２Ｐの長さを示す。

角度δは、直線Ｏ１Ｐと直線Ｏ１’Ｐ’がなす角度であり、∠Ｏ２Ｏ１Ｇの角度と等しい。ここで、線分Ｏ１Ｏ２の長さは｜Ｌ２−Ｌ１｜である。また、線分Ｏ２Ｇの長さは｜ｋｏ２−ｋｏ１｜である。仮想中心Ｏ１と点Ｇを結ぶ線分Ｏ１Ｇの長さをｇとすると、長さｇは、図８（ａ）より仮想中心Ｏ１、Ｏ２の座標を用いて、次の式（２７）ように表すことができる。
ｇ＝√（（ｉｏ２−ｉｏ１）^２＋（ｊｏ２−ｊｏ１）^２）・・・（２７）
したがって、角度δは、図８（ｂ）より、以下に示す式（２８）〜（３０）のいずれかの式によって、仮想中心Ｏ１、Ｏ２の座標を用いて算出することができる。
δ＝ａｒｃｓｉｎ（｜ｋｏ２−ｋｏ１｜／（Ｌ２−Ｌ１））・・・（２８）
δ＝ａｒｃｃｏｓ（ｇ／（Ｌ２−Ｌ１））・・・・・・・・・・・（２９）
δ＝ａｒｃｔａｎ（｜ｋｏ２−ｋｏ１｜／ｇ）・・・・・・・・（３０）
このようにして、角度α、δは、仮想中心Ｏ１、Ｏ２の座標を用いて表すことができるため、画像データ上の点Ａｍ１、Ｂｍ１、Ａｍ２、Ｂｍ２の座標を用いて算出することができる。

以上説明したように、ペン２０の構成によって、画像データで検知可能な４つの点Ａｍ１、Ｂｍ１、Ａｍ２、Ｂｍ２の座標、及び距離Ｌ１、Ｌ２を用いて、２つの仮想中心Ｏ１、Ｏ２の座標、角度α、角度δを求めることができる。これにより、ペン２０の先端Ｐの座標を算出することができる。また、本実施例のペン２０の構成では、実施例１の構成に比べ、次の２つの理由により、先端Ｐの座標をより高精度に算出することができる。まず、本実施例のペン２０の構成は、被検知部を複数設けていることにより、角度δは仮想中心Ｏ１及び仮想中心Ｏ２の２つの座標を用いて算出することができる。これにより、実施例１で説明した点Ｃの座標を用いる場合に比べ、検知する座標間の距離が大きいため、より高い精度で角度δを算出することができる。即ち、角度δの算出を高精度化するためには、仮想中心Ｏ１と仮想中心Ｏ２との距離である被検知部２１と被検知部２２との距離をより大きく取ればよい。次に、被検知部２１、２２を光学式にすることにより、ペン２０の基体との輝度による差分を大きくすることができ、その結果、画像データ上での被検知部の検知精度を向上させることができる。とりわけ、赤外光は自然光の影響を受けにくく、可視光よりも高精度な検知が可能となる利点を有している。

なお、ペン２０の構成は上述した構成に限定するものではなく、例えば被検知部２１、２２の形状及び位置は、仮想中心Ｏ１、Ｏ２と角度α、δが算出できるような形状、設置位置であればよい。また、光源２３は赤外光に限定されるものではなく、画像データ上での被検知部の検知が行える光源であればよい。更に、導光体２４の形状及び材質は、被検知部２１、２２に光源２３からの光を導光できる形状、材質であればよい。
以上説明したように、本実施例によれば、ペン先が死角に配置されても、一台の撮像装置を用いてペン先の位置を算出することができる。

実施例１、２では、角度δを画像データの座標を用いて算出していた。実施例３では、角度δを被検知部から発する波長と強度特性を利用して算出する点が実施例１．２とは異なる点である。なお、以下では、実施例１、２と共通する箇所については、同一の符号を付して説明を省略する。

［ペンの構成］
図９（ａ）は、本実施例のペン３０の構成を説明する模式図である。図９（ａ）に示すように、ペン３０全体は略円筒形状をしており、先端Ｐは、情報処理装置４にて座標を算出する被算出点であるペン先である。また、ペン３０の後端側には、先端Ｐの座標を算出するための被検知部３１が設けられている。被検知部３１は、発光部であり、全周にわたりＸ軸方向に所定の幅を持たせた帯状の形状を有している。また、図中のＸは、円筒の中心軸であるＸ軸を示している。

図９（ｂ）は、図９（ａ）に示すペン３０のＸ軸周りの断面を示す図である。ペン３０は、白色光を発光する光源３２、レンズ３３、回折素子３４を具備している。光源３２は、ペン３０の周方向に複数設けられている。レンズ３３は、光源３２からの光を回折素子３４の回折面３４ａに集光する。回折面３４ａに入射した白色光は、波長毎に異なる方向に分離され、被検知部３１に導光される。被検知部３１のペン３０の先端部側のペン３０の基体との第１の境界部である端部を３１ａ、後端側のペン３０の基体との第２の境界部である端部を３１ｂとする。回折面３４ａに入射した白色光の波長に応じて、端部３１ａ側には短波長光（青色光）（図中、短波長（Ｂ））、端部３１ｂ側に長波長光（赤色光）（図中、長波長（Ｒ））が導光される。被検知部３１は、分離、導光された光をペン３０の外部から検知できるよう、透明な樹脂部材などで構成されている。なお、ペン３０の全周方向において集光、回折を行うため、レンズ３３と回折素子３４は円筒形状を有している。撮像装置３によって撮像された画像データ上では、主に被検知部３１とペン３０の基体との輝度の差を利用して、被検知部３１の形状及び位置が検知され、被検知部３１の位置情報を算出することができる。なお、本実施例では、被検知部３１から発する光の波長の分布に応じて角度δを算出する。そのため、撮像装置３は、被検知部３１から発する光の波長及びその強度を検知する光センサを有し、ペン３０を撮像するとともに、撮像時の被検知部３１から出射される光の波長毎の強度を測定し、情報処理装置４に出力するものとする。

［ペンの先端座標の算出］
続いて、画像データにより得られた被検知部３１の位置情報をもとに、ペン３０の先端の座標Ｐを算出する手法について説明する。図１０は、ペン３０の被検知部３１の端部である端部３１ａ、３１ｂをＩＪ平面に投影した図である。被検知部３１の端部３１ａの両端部をそれぞれ点Ａ３、点Ｂ３とし、端部３１ｂの両端部をそれぞれ点Ａ４、点Ｂ４とし、図１０に示す点Ａ３’、点Ｂ３’、点Ａ４’、点Ｂ４’は、ＩＪ平面に投影した点を示す。なお、点Ａ３’と点Ｂ３’を結ぶ弧状の線は、端部３１ａを示している。同様に、点Ａ４’と点Ｂ４’を結ぶ弧状の線は、端部３１ｂを示している。また、端部３１ａ、３１ｂの仮想中心をそれぞれＯ３、Ｏ４とし、それぞれのＩＪＫ空間での座標をＯ３（ｉｏ３，ｊｏ３，ｋｏ３）、Ｏ４（ｉｏ４，ｊｏ４，ｋｏ４）とする。図１０に示す仮想中心Ｏ３’、Ｏ４’は、仮想中心Ｏ３、Ｏ４をＩＪ平面に投影した点を示す。更に、ペン３０の先端Ｐの座標は、Ｐ（ｉ，ｊ，ｋ）とし、図１０の点Ｐ’は、先端ＰをＩＪ平面に投影した点を示す。角度αは、点Ｏ３’と点Ｐ’を結ぶ線分Ｏ３’Ｐ’とＩ軸が交差する角度である。同様に、角度αは、点Ｏ４’と点Ｐ’を結ぶ線分Ｏ４’Ｐ’とＩ軸が交差する角度でもある。

図１０は、実施例３におけるペン３０の先端Ｐの座標を算出するためのモデル図であり、これは、実施例２の図８（ａ）に示す算出モデルと同様のモデル図である。ここで、図１０に示す点Ａ３、Ｂ３、Ａ４、Ｂ４の画像データ上での点をそれぞれ点Ａｍ３、Ｂｍ３、Ａｍ４、Ｂｍ４とする。これら４つの点の座標を用いて、仮想中心Ｏ３（ｉｏ３，ｊｏ３，ｋｏ３）、仮想中心Ｏ４（ｉｏ４，ｊｏ４，ｋｏ４）、角度αは、実施例２で説明した算出方法により求めることができる。なお、実施例２では、ペン２０の先端Ｐの座標を、仮想中心Ｏ１、Ｏ２の座標と、式（２０）〜（２２）、又は式（２３）〜（２５）を用いて算出している。本実施例では、式（２０）〜（２２）でのＬ１をＬ３に、又は式（２３）〜（２５）でのＬ２をＬ４とする。Ｌ３、Ｌ４は、それぞれ仮想中心Ｏ３と先端Ｐを結ぶ線分Ｏ３Ｐ、仮想中心Ｏ４と先端Ｐを結ぶ線分Ｏ４Ｐの長さを指す。長さＬ３、Ｌ４は、ペン３０の構成により決定されるため、既知の定数としてよい。

［角度δの算出］
次に、本実施例での角度δの算出手法について説明する。図１１（ａ）、（ｃ）は、ＶＷＫ空間のＷＫ平面に投影されたペン３０の被検知部３１を示す模式図である。なお、ＶＷＫ空間は、実施例２の図８において定義したものと同一である。図１１（ａ）、（ｃ）において、点Ｏ３、点Ｏ４は、仮想中心Ｏ３、Ｏ４をＷＫ平面に投影した点を示し、点Ｐ’、点Ｐは、それぞれペン３０の先端ＰのＶＷ平面に投影した点、ＷＫ平面に投影した点を示す。また、角度δ０、−δ０は、線分Ｏ３Ｐ又は線分Ｏ４ＰがＷ軸（ＶＷ平面）と交差する角度を示す。図１１（ａ）では、ペン３０の先端Ｐは撮像装置３の方向に向いており、図１１（ｃ）では、ペン３０の先端Ｐは撮像装置３から離れる方向を向いている。また、図中の矢印は、被検知部から発する光の波長に応じた進行方向を示している。例えば、図１１（ａ）では、短波長（Ｂ）の光は撮像装置３に向かって進み、長波長（Ｒ）の光は撮像装置３から離れる方向に進んでいる。一方、図１１（ｃ）では、短波長（Ｂ）の光は撮像装置３から離れる方向に進み、長波長（Ｒ）の光は、撮像装置３に向かって進んでいる。

本実施例では、被検知部３１から出射される光は、波長毎に角度δ方向に分離される。したがって、角度δの値によって撮像装置３に入射する光の波長毎の強度が変化する。図１１（ｂ）、（ｄ）は、撮像装置３の光センサが検知した被検知部３１からの出射光の波長と強度をグラフしたものであり、それぞれ、ペン３０の被検知部３１の状態が図１１（ａ）、（ｃ）のときの波長と強度の関係を示している。図１１（ｂ）、（ｄ）において、縦軸は各波長の強度を示し、横軸は波長を示している。なお、横軸において、Ｂは短波長、Ｇは中波長、Ｒは長波長を示す。例えば、角度δが図１１（ａ）に示すような角度δ０である場合には、被検知部３１からは短波長の光が撮像装置３に向かって発せられるので、撮像装置３の光センサは主に短波長（Ｂ）の光を検知する。そのため、被検知部３１の画像データは、図１１（ｂ）に示すように短波長（Ｂ）側の強度が大きくなる。一方、角度δが図１１（ｂ）に示すように（−δ０）である場合には、被検知部３１からは長波長の光が撮像装置３に向かって発せられるので、撮像装置３の光センサは主に長波長光（Ｒ）の光を検知する。そのため、被検知部３１の画像データは、図１１（ｄ）に示すように長波長（Ｒ）側の強度が大きくなる。すなわち、キャリブレーションにより予め測定しておいた各波長の強度分布と、撮像装置３で撮像時に光センサで取得した被検知部３１から出射される光の波長の強度分布とを照らし合わせることにより、角度δを求めることができる。

以上説明したように、画像データで検知可能な４つの点Ａｍ３、Ｂｍ３、Ａｍ４、Ｂｍ４、距離Ｌ３、Ｌ４、及び画像データの撮像時の波長及び強度を用いて、仮想中心Ｏ３、Ｏ４の座標、角度α、角度δを求めることができる。これにより、実施例１、２と同様に、ペン３０の先端Ｐの座標を算出することができる。また、本実施例では、撮像装置３の光センサより撮像時の被検知部３１から発する光の波長及び強度を検知し、検知結果に基づいて角度δを算出しているため、角度δの検知精度を向上させることができる。その結果、ペン３０の先端Ｐの座標をより高精度に算出することができる。

本実施例では、白色光を用いる構成について説明したが、使用する光の波長帯域はこれに限定するものではなく、波長と波長の強度分布を用いて角度δを検知できればよい。また、ペン３０の構成は本実施例の構成に限定するものではなく、例えば被検知部３１は、仮想中心Ｏ３、Ｏ４と角度α、δが算出できる形状や位置に配置されていればよい。また、レンズ３３及び回折素子３４は、光源３２からの光を被検知部３１に波長毎に分離して導光できればよい。

本実施例では、回折素子３４を用いて白色光を分光する構成について述べたが、角度δを特定できる波長の分布が得られればよい。例えば、光源３２として、異なる波長の光を発光する複数の光源を用いてもよい。また、被検知部３１は、端部３１ａ側に短波長光、端部３１ｂ側に長波長光を分離する構成について述べたが、これに限定されるものではなく、角度δを特定できる波長の分布が得られればよい。

以上、実施例１〜３で説明した通り、本発明に係る構成によって、撮像装置でペンの後端側に設けた被検知部を撮像し、得られた画像データをもとにペン先の座標を算出できる。したがって、ペンの先端部が死角に配置された場合でも、その位置を算出することが可能となる。よって、会議の参加者が筆記動作を行う際に、手を置く位置を考慮する必要がなくなるため、ユーザビリティが向上できる。また、画像データ上で被検知部の少なくとも３点の座標を検知することで、撮像装置を一台しか有さない位置検知システムにおいても、ペン先の位置を算出することが可能となる。なお、実施例１、２では、ペンの先端が撮像装置の方向に向かっている場合の角度δを用いたが、ペンの先端が撮像装置から離れる方向の角度（−δ）の場合にでも、上述した式に角度（−δ）を代入することにより、先端Ｐの位置を算出することができる。
以上説明したように、本実施例によれば、ペン先が死角に配置されても、一台の撮像装置を用いてペン先の位置を算出することができる。

３ 撮像装置
４ 情報処理装置
１０ ペン
１１ 被検知部

Claims (22)

1. 位置を示すための被検知部を後端側に有するペンと、
   前記ペンの前記被検知部を撮像する撮像装置と、
   前記撮像装置から出力される前記被検知部を撮像した２次元の画像データの座標に基づいて、前記ペンの所定の位置の座標を算出する算出手段と、
   を備え、
   前記算出手段は、前記撮像装置の撮像平面と前記撮像平面に垂直な撮像方向とが形成する撮像空間での前記所定の位置の座標を、前記画像データの座標のうち、前記被検知部の少なくとも３つの点の座標情報に基づいて算出することを特徴とする位置検知システム。
2. 前記撮像装置は、１つであることを特徴とする請求項１に記載の位置検知システム。
3. 前記所定の位置は、前記ペンの先端部であることを特徴とする請求項２に記載の位置検知システム。
4. 前記被検知部には、前記ペンの全周にわたって、前記ペンの基体の輝度又は色相とコントラストを成す輪形状部が設けられていることを特徴とする請求項３に記載の位置検知システム。
5. 前記算出手段は、前記画像データでの前記被検知部の２つの端部の座標、前記２つの端部を結ぶ前記被検知部の外周の円弧上の中点の座標、及び前記被検知部と前記ペンの先端部との距離に基づいて、前記ペンの先端部の座標を算出することを特徴とする請求項４に記載の位置検知システム。
6. 前記算出手段は、前記被検知部の前記２つの端部を直線で結んだ中点の座標、前記ペンと前記撮像平面との角度、前記ペンと前記撮像方向との角度に基づいて、前記ペンの先端部の座標を算出することを特徴とする請求項５に記載の位置検知システム。
7. 前記算出手段は、予め測定された前記撮像空間での前記被検知部の前記２つの端部の座標と、前記画像データでの前記被検知部の前記２つの端部の座標との相関関係、及び予め測定された前記撮像空間での前記被検知部の前記撮像装置からの距離と、前記画像データでの前記被検知部の前記２つの端部の直線距離との相関関係の情報を有し、前記画像データでの前記被検知部の前記２つの端部の座標、及び前記２つの端部の直線距離に基づいて、前記被検知部の前記２つの端部を直線で結んだ中点の前記撮像空間での座標を算出することを特徴とする請求項６に記載の位置検知システム。
8. 前記算出手段は、前記ペンと前記撮像平面との角度を、前記画像データでの前記被検知部の前記２つの端部の水平方向及び垂直方向の距離に基づいて算出することを特徴とする請求項７に記載の位置検知システム。
9. 前記算出手段は、前記撮像方向との角度を、前記被検知部の円筒部の半径と、前記画像データでの前記被検知部の前記２つの端部を直線で結んだ中点から前記円弧上の中点までの距離に基づいて算出することを特徴とする請求項８に記載の位置検知システム。
10. 前記被検知部は、光源からの光により発光する第１の被検知部及び第２の被検知部を有し、
    前記第１の被検知部及び第２の被検知部は、それぞれ前記ペンの全周にわたる輪形状を有し、前記ペンの長さ方向に離して設けられていることを特徴とする請求項３に記載の位置検知システム。
11. 前記算出手段は、前記画像データでの前記第１の被検知部の２つの端部の座標、前記第２の被検知部の２つの端部の座標、前記第１の被検知部と前記ペンの先端部との距離、及び前記第２の被検知部と前記ペンの先端部との距離に基づいて、前記ペンの先端部の座標を算出することを特徴とする請求項１０に記載の位置検知システム。
12. 前記算出手段は、前記第１の被検知部の前記２つの端部を直線で結んだ中点の座標、前記第２の被検知部の前記２つの端部を直線で結んだ中点の座標、前記ペンと前記撮像平面との角度、及び前記ペンと前記撮像方向との角度に基づいて、前記ペンの先端部の座標を算出することを特徴とする請求項１１に記載の位置検知システム。
13. 前記算出手段は、予め測定された前記撮像空間での前記第１の被検知部の前記２つの端部の座標及び前記第２の被検知部の前記２つの端部の座標と、前記画像データでの前記第１の被検知部の前記２つの端部の座標及び前記第２の被検知部の前記２つの端部の座標との相関関係、及び予め測定された前記撮像空間での前記第１の被検知部の前記撮像装置からの距離及び前記第２の被検知部の前記撮像装置からの距離と、前記画像データでの前記第１の被検知部の前記２つの端部の直線距離及び前記第２の被検知部の前記２つの端部の直線距離との相関関係の情報を有し、前記画像データでの前記第１の被検知部の前記２つの端部の座標、前記第２の被検知部の前記２つの端部の座標、及びそれぞれの前記２つの端部の直線距離に基づいて、前記第１の被検知部の前記２つの端部を直線で結んだ中点の前記撮像空間での座標及び前記第２の被検知部の前記２つの端部を直線で結んだ中点の前記撮像空間での座標を算出することを特徴とする請求項１２に記載の位置検知システム。
14. 前記算出手段は、前記ペンと前記撮像平面との角度を、前記画像データでの前記第１の被検知部の前記２つの端部を直線で結んだ中点と前記第２の被検知部の前記２つの端部を直線で結んだ中点との水平方向及び垂直方向の距離に基づいて算出することを特徴とする請求項１３に記載の位置検知システム。
15. 前記算出手段は、前記ペンと前記撮像平面に垂直な前記撮像方向との角度を、前記第２の被検知部と前記ペンの先端部までの距離と前記第１の被検知部から前記ペンの先端部までの距離の差と、前記画像データでの前記第１の被検知部の前記２つの端部を直線で結んだ中点と前記第２の被検知部の２つの端部を直線で結んだ中点との距離に基づいて算出することを特徴とする請求項１４に記載の位置検知システム。
16. 前記被検知部は、前記ペンの全周にわたる円筒形状で、前記ペンの長さ方向に前記ペンの先端部側の前記ペンの基体との境界である第１の境界部、及び前記ペンの先端部から離れた後端側の前記ペンの基体との境界である第２の境界部を有することを特徴とする請求項３に記載の位置検知システム。
17. 前記被検知部は、光源と、前記光源からの光を波長に応じて異なる方向に分離する回折素子と、を有し、
    前記光源から出射された光は、光の波長に応じて、前記第１の境界部から前記第２の境界部の間に分離されることを特徴とする請求項１６に記載の位置検知システム。
18. 前記算出手段は、前記画像データでの前記第１の境界部の２つの端部、前記第２の境界部の２つの端部、及び前記第１の境界部及び前記第２の境界部と前記ペンの先端部との距離に基づいて、前記ペンの先端部の座標を算出することを特徴とする請求項１０に記載の位置検知システム。
19. 前記算出手段は、前記第１の境界部の前記２つの端部を直線で結んだ中点の座標、前記第２の境界部の前記２つの端部を直線で結んだ中点の座標、前記ペンと前記撮像平面との角度、前記ペンと前記撮像方向との角度に基づいて、前記ペンの先端部の座標を算出することを特徴とする請求項１８に記載の位置検知システム。
20. 前記算出手段は、予め測定された前記撮像空間での前記第１の境界部の前記２つの端部の座標及び前記第２の境界部の前記２つの端部の座標と、前記画像データでの前記第１の境界部の前記２つの端部の座標及び前記第２の境界部の前記２つの端部の座標との相関関係、及び予め測定された前記撮像空間での前記第１の境界部の前記撮像装置からの距離及び前記第２の境界部の前記撮像装置からの距離と、前記画像データでの前記第１の境界部の前記２つの端部の直線距離及び前記第２の境界部の前記２つの端部の直線距離との相関関係の情報を有し、前記画像データでの前記第１の境界部の前記２つの端部の座標及び前記第２の境界部の前記２つの端部の座標、及びそれぞれの前記２つの端部の直線距離に基づいて、前記第１の境界部の前記２つの端部を直線で結んだ中点の前記撮像空間での座標及び前記第２の境界部の前記２つの端部を直線で結んだ中点の前記撮像空間での座標を算出することを特徴とする請求項１９に記載の位置検知システム。
21. 前記算出手段は、前記ペンと前記撮像平面との角度を、前記画像データでの前記第１の境界部の前記２つの端部を直線で結んだ中点と前記第２の境界部の前記２つの端部を直線で結んだ中点との水平方向及び垂直方向の距離に基づいて算出することを特徴とする請求項２０に記載の位置検知システム。
22. 前記撮像装置は、前記被検知部が発する光の波長及び強度を検知可能な光センサを有し、
    前記算出手段は、前記撮像方向との角度を、予め測定された前記光センサにより検知された前記光の波長毎の強度分布と、前記撮像方向との角度との相関関係に基づいて算出することを特徴とする請求項２１に記載の位置検知システム。

Images