JP2015060543A - デジタルペン及びそれを備える情報処理システム - Google Patents

デジタルペン及びそれを備える情報処理システム Download PDF

Info

Publication number
JP2015060543A
JP2015060543A JP2013195779A JP2013195779A JP2015060543A JP 2015060543 A JP2015060543 A JP 2015060543A JP 2013195779 A JP2013195779 A JP 2013195779A JP 2013195779 A JP2013195779 A JP 2013195779A JP 2015060543 A JP2015060543 A JP 2015060543A
Authority
JP
Japan
Prior art keywords
digital pen
distance
angle
mirror
pen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013195779A
Other languages
English (en)
Inventor
岳央 道坂
Takeo Michisaka
岳央 道坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Funai Electric Co Ltd
Original Assignee
Funai Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Funai Electric Co Ltd filed Critical Funai Electric Co Ltd
Priority to JP2013195779A priority Critical patent/JP2015060543A/ja
Publication of JP2015060543A publication Critical patent/JP2015060543A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】高い汎用性、且つ、低コストで、描画領域におけるペン先の位置を求めることができる。
【解決手段】紙面画像IM1におけるX軸方向の距離lx及びY軸方向の第2距離lyと、紙面画像IM1における距離と当該距離に対応する位置から球面鏡3に入射した光の反射角とを対応付ける光の反射角に関する情報と、デジタルペン1の長さhとを用いて、紙面画像IM1における距離lxに対応する光の反射角である第1角度θ1、及び、紙面画像IM1における距離lyに対応する光の反射角である第2角度θ2を求め、求めた第1角度θ1及び第2角度θ2に基づいて、ペン先頂点11AとX軸方向の紙端2Aとの間の距離Lx、及び、ペン先頂点11AとY軸方向の紙端2Bとの間の距離Lyを求め、これら2つの距離Lx、Lyに基づいて、ペン先頂点11Aの紙面2における絶対位置を求める。
【選択図】図8

Description

本発明は、平面状の描画領域に描画するためのデジタルペン及びそれを備える情報処理システムに関する。
近時、従来まで使用されていたペンや鉛筆などに代わり、紙面上でペン先を動かして文字や図形を描けば、その文字や図形を表す移動軌跡情報をストックしたり、ストックされた移動軌跡情報をパーソナルコンピュータ(PC)などの情報処理装置に送信できるデジタルペンが普及してきている。
この種のデジタルペンでは、移動軌跡情報を作成するためには、書き始め点となる基準点の絶対位置を求めることが必要である。特許文献1では、特殊な位置検出パターンが表面上に形成されたホワイトボードを用いて、基準点の絶対位置を求めている。
特許第4920153号公報
ところが、上記した特許文献1では、基準点の絶対位置を求めるのに特殊な位置検出パターンを必要とするため、一般に流通している普通紙にデジタルペンで文字や図形を書く際には、基準点の絶対位置を求めることができない。すなわち、従来では、デジタルペンのペン先の絶対位置を求めるのに特殊な位置検出パターンを必要とし、一般の普通紙を用いた場合、ペン先の絶対位置を求めることができない。
そのため、汎用性に欠ける。また、特殊な位置検出パターンが形成されたホワイトボードを準備するのにコストがかかる。
本発明は、上述の課題を解決するためになされたものであり、高い汎用性、且つ、低コストで、描画領域におけるペン先の位置を求めることができるデジタルペン及びそれを備える情報処理システムを提供することを目的とする。
上記目的を達成するために、本発明の一態様に係るデジタルペンは、平面状の描画領域に描画するためのデジタルペンであって、前記デジタルペン及び前記描画領域を含む前記描画領域方向を映し出す鏡と組み合わせて用いられ、前記デジタルペンの一端が前記描画領域と接触した状態で、前記鏡に映し出された鏡像を画像として取得する鏡面画像取得部と、前記鏡面画像取得部で取得された前記画像において、予め定められた第1基準点から、予め定められた第1方向に沿って前記描画領域の第1端に至る第1距離と、前記第1基準点から、前記第1方向と交差する第2方向に沿って前記描画領域の第2端に至る第2距離とを算出する距離算出部と、(1)前記デジタルペンの長さを記憶しており、且つ、(2)光の反射角に関する情報として、前記画像において前記第1基準点から前記第1方向に沿って離れた距離と、当該距離に対応する位置から前記鏡に入射した光の反射角である第1角度とを対応付けて記憶し、且つ、(3)前記光の反射角に関する情報として、さらに、前記画像において前記第1基準点から前記第2方向に沿って離れた距離と、当該距離に対応する位置から前記鏡に入射した光の反射角である第2角度とを対応付けて記憶している記憶部と、前記距離算出部によって算出された前記第1距離及び前記第2距離と、前記記憶部に記憶されている前記光の反射角に関する情報及び前記デジタルペンの長さとを用いて、前記第1距離に対応する前記第1角度、及び、前記第2距離に対応する前記第2角度を求め、求めた前記第1角度及び前記第2角度に基づいて、前記デジタルペンの一端と前記第1端との間の距離、及び、前記デジタルペンの一端と前記第2端との間の距離を求め、これら2つの距離に基づいて、前記デジタルペンの一端の前記描画領域における絶対位置を求める制御部と、を備える。
この構成によると、第1距離、第2距離、光の反射角に関する情報、及び、デジタルペンの長さを用いて、ペン先であるデジタルペンの一端と描画領域の第1端との間の距離、及び、デジタルペンの一端と描画領域の第2端との間の距離を求める。そして、求めた2つの距離に基づいて、描画領域におけるデジタルペンの一端の位置である絶対位置を求めることができる。つまり、この構成によると、描画領域におけるペン先の絶対位置を、上述した特殊な位置パターンを用いなくても取得することができるため、高い汎用性、かつ、低コストで、描画領域におけるペン先の位置を求めることができる。
例えば、前記制御部は、以下の2式に基づいて、前記デジタルペンの一端と前記第1端との間の距離、及び、前記デジタルペンの一端と前記第2端との間の距離を求めてもよい。
Lx=h’×tan(2×θ1)
Ly=h’×tan(2×θ2)
但し、Lxは前記デジタルペンの一端と前記第1端との間の距離、Lyは前記デジタルペンの一端と前記第2端との間の距離、h’は前記デジタルペンの重力方向の長さ、θ1は前記第1角度、θ2は前記第2角度を、それぞれ表す。
この構成によると、鏡に映し出された鏡像から、第1角度及び第2角度を取得し、上記の2式に代入することによって、デジタルペンの一端から描画領域の第1端までの距離と、デジタルペンの一端から描画領域の第2端までの距離を求める。
これにより、描画領域として特殊な位置パターンのない例えば普通紙を用いた場合であっても、ペン先の紙端からの距離を求めることができるので、高い汎用性、かつ、低コストで、描画領域におけるペン先の位置を求めることができる。
また、例えば、前記鏡は、前記デジタルペンの他端と対向する、凸状の鏡面を備えてもよい。
この構成によると、鏡は、デジタルペンの他端(ペン先とは反対側の端部)と対向する、凸状の鏡面を備えるので、鏡面に、デジタルペンを含む描画領域全体を映すことができる。ここで、デジタルペンの一端の絶対位置を求めるためには、画像に描画領域の第1端及び第2端が含まれることが必要である。そこで、平面状の鏡を用いた場合と比較して、凸状の鏡面を備える鏡を用いることにより、鏡面画像取得部で取得される画像に描画領域の第1端及び第2端をより確実に含むことができる。したがって、デジタルペンのペン先の絶対位置が検知できないという不具合を低減できる。
また、例えば、さらに、前記デジタルペンの一端が前記描画領域と接していることを検出する接触検出部を備え、前記制御部は、前記接触検出部によって、前記デジタルペンの一端が前記描画領域と接していることが検出されている際に、前記鏡面画像取得部、及び、前記距離算出部を作動させ、前記接触検出部は、圧力センサで構成されていてもよい。
この構成によると、市場に広く流通している圧力センサによって、接触検出部が構成されているので、簡易に、且つ低コストで、接触検出部を設けることができる。
また、例えば、さらに、前記デジタルペンが重力方向となす角度を検出する角度検出部を備え、前記制御部は、以下の2式に基づいて、前記デジタルペンの一端と前記第1端との間の距離、及び、前記デジタルペンの一端と前記第2端との間の距離を求めてもよい。
Lx=a×sin(θ1−β)
+{(a+h)×cosβ−a×cos(θ1−β)}×tan(2×θ1−β)
Ly=a×sin(θ2−α)
+{(a+h)×cosα−a×cos(θ2−α)}×tan(2×θ2−α)
但し、Lxは前記デジタルペンの一端と前記第1端との間の距離、Lyは前記デジタルペンの一端と前記第2端との間の距離、hは前記デジタルペンの長さ、θ1は前記第1角度、θ2は前記第2角度、βは前記第2方向から見て前記デジタルペンが重力方向となす角度、αは前記第1方向から見て前記デジタルペンが重力方向となす角度、aは前記鏡の予め定められた第2基準点から前記デジタルペンの他端までの距離を、それぞれ表す。
一般に、ユーザがこのデジタルペンを手に持って図形や文字を描画領域に描く場合、デジタルペンが傾いている場合が多い。この場合、デジタルペンの方向と重力方向との間で何らかの角度が生じる。
この構成によると、デジタルペンが重力方向となす角度と、第2基準点からデジタルペンの他端までの距離と、先述した各パラメータとを、上記の2式に代入することによって、ペン先と描画領域の第1端との間の距離、及び、ペン先と描画領域の第2端との間の距離が求まる。
これにより、デジタルペンが重力方向に対して傾いていても、ペン先と描画領域の第1端との間の距離、及び、ペン先と描画領域の第2端との間の距離が求まるので、ペン先の描画領域における絶対位置を得ることができる。
また、例えば、さらに、前記デジタルペンの一端の前記描画領域上における動き情報を取得する動き情報取得部と、前記動き情報取得部によって取得された前記動き情報と、前記制御部によって求められた、前記デジタルペンの一端の前記絶対位置を示す情報とを用いて、前記デジタルペンの一端の前記描画領域上における移動軌跡を表す移動軌跡情報を生成する移動軌跡情報生成部と、を備え、前記記憶部は、さらに、前記移動軌跡情報を記憶してもよい。
この構成によると、制御部によって求められた絶対位置を示す情報と、動き情報取得部によって取得された動き情報とを用いて、デジタルペンの一端の移動軌跡情報を生成し、記憶するので、デジタルペンによって描画領域に描かれた文字や図形を、ペーパーレスで残すことができる。
本発明の他の一態様に係る情報処理システムは、情報処理装置と、当該情報処理装置に入力操作を行うデジタルペンとを備える情報処理システムであって、前記デジタルペンは、平面状の描画領域に描画するためのデジタルペンであって、当該デジタルペン及び前記描画領域を含む前記描画領域方向を映し出す鏡と組み合わせて用いられ、前記デジタルペンの一端が前記描画領域と接触した状態で、前記鏡に映し出された鏡像を画像として取得する鏡面画像取得部と、前記鏡面画像取得部で取得された前記画像において、予め定められた第1基準点から、予め定められた第1方向に沿って前記描画領域の第1端に至る第1距離と、前記第1基準点から、前記第1方向と交差する第2方向に沿って前記描画領域の第2端に至る第2距離とを算出する距離算出部と、(1)前記デジタルペンの長さを記憶しており、且つ、(2)光の反射角に関する情報として、前記画像において前記第1基準点から前記第1方向に沿って離れた距離と、当該距離に対応する位置から前記鏡に入射した光の反射角である第1角度とを対応付けて記憶し、且つ、(3)前記光の反射角に関する情報として、さらに、前記画像において前記第1基準点から前記第2方向に沿って離れた距離と、当該距離に対応する位置から前記鏡に入射した光の反射角である第2角度とを対応付けて記憶している記憶部と、前記距離算出部によって算出された前記第1距離及び前記第2距離と、前記記憶部に記憶されている前記光の反射角に関する情報及び前記デジタルペンの長さとを用いて、前記第1距離に対応する前記第1角度、及び、前記第2距離に対応する前記第2角度を求め、求めた前記第1角度及び前記第2角度に基づいて、前記デジタルペンの一端と前記第1端との間の距離、及び、前記デジタルペンの一端と前記第2端との間の距離を求め、これら2つの距離に基づいて、前記デジタルペンの一端の前記描画領域における絶対位置を求める制御部とを備え、前記情報処理装置は、前記制御部により求められた前記絶対位置を用いて、前記入力操作を受け付ける。
この構成によると、情報処理装置は、デジタルペンの制御部により求められた絶対位置を用いて、入力操作を受け付けることができる。したがって、情報処理装置は、デジタルペンによって描画領域に描かれた文字や図形に応じた処理を行うことができる。
なお、本発明は、デジタルペンとして実現できるだけでなく、そのデジタルペンを構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なCD−ROMなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。
本発明によると、高い汎用性、且つ、低コストで、描画領域におけるペン先の位置を求めることができる。
本発明の実施の形態1に係るデジタルペンの外観構成の一例と、デジタルペンの座標軸と、カメラの撮像面の座標軸とを表した図である。 本発明の実施の形態1に係るデジタルペンの外観構成の一例を模式的に示した側面図であり、デジタルペンを紙面の奥行き方向から見たときの図である。 図2のデジタルペンを、紙面の幅方向から見たときの図である。 デジタルペンの機能構成の一例を示したブロック図である。 カメラにより取得された紙面画像の一例を表した図である。 反射角と、紙面画像において原点と第1端との間の第1距離との対応付けの一例を表した図である。 反射角と、紙面画像において原点と第2端との間の第2距離との対応付けの一例を表した図である。 本発明の実施の形態1に係るデジタルペンの基本動作の一例を示したフローチャートである。 図2に示す、デジタルペン、球面鏡、紙面、及び、反射光をモデル化したモデル図である。 本発明の実施の形態2に係るデジタルペンの機能構成の一例を示したブロック図である。 原点を中心として時計回りに角度γ回転した紙面画像を示した図である。 紙面画像の補正画像を示した図である。 本発明の実施の形態3について説明するための、デジタルペンと紙面との関係を表す関係図である。 図12をZ軸プラス方向から見た図である。 図11をX−Z平面でモデル化したモデル図を示している。
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される構成要素、構成要素の配置位置及び接続形態などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
<デジタルペンの構成>
図1は、本発明の実施の形態1に係るデジタルペン1の外観構成の一例と、デジタルペン1の座標軸と、カメラの撮像面10Sの座標軸とを表した図である。図2は、本発明の実施の形態1に係るデジタルペン1の外観構成の一例を模式的に示した側面図であり、紙面2を奥行き方向に見たときの図である。図3は、本発明の実施の形態1に係るデジタルペン1の外観構成の一例を模式的に示した側面図であり、紙面2を幅方向に見たときの図である。
なお、図1〜図3において、X軸方向は紙面2の幅方向を表し、Y軸方向は紙面2の奥行き方向を表し、Z軸方向は高さ方向を表している。また、図1〜図3において、X’軸方向は、カメラ10の撮像面10Sの幅方向を表し、Y’軸方向は、カメラ10の撮像面10Sの奥行き方向を表し、Z’軸方向は、撮像面10Sから球面鏡3に向かう方向を表し、Z’軸は例えばデジタルペン1の軸と一致している。
デジタルペン1は、図2及び図3では軸が鉛直となっている。つまり、軸が重力の作用する方向と一致している。また、デジタルペン1は、球面鏡(鏡)3と対向するカメラ(鏡面画像取得部)10を備える。なお、カメラ10は、球面鏡3で反射した反射光L2及びL4を判りやすくするために、球面鏡3と一定の距離を保つように描かれているが、実際のデジタルペン1では、カメラ10の上に球面鏡3が取り付けられている。また、球面鏡の半径は、デジタルペン1の長さよりも極めて小さい。
球面鏡3は、外面を反射面とした凸面鏡である。このような凸面鏡は、球面鏡3には限られず、カメラ10の撮像面10Sと対向する部分が凸状であればよく、例えば、楕円面鏡や双曲面鏡を用いてもよい。
デジタルペン1は、撮像面10Sが上方を向いたカメラ10と、ペン先11と、本体部12とを備える。
球面鏡3は、図2に示すように、紙面2の幅方向の紙端2Aからの反射光L1を含み、ペン先11から紙端2Aに至る紙面2からの反射光を受け付ける。また、球面鏡3は、図3に示すように、紙面2の長さ方向の紙端2Bからの反射光L3を含み、ペン先11から紙端2Bに至る紙面2からの反射光を受け付ける。
球面鏡3は、反射光L1を反射角(第1角度)θ1で反射して、反射光L2としてカメラ10に入射させる。また、球面鏡3は、反射光L3を反射角(第2角度)θ2で反射して、反射光L4としてカメラ10に入射させる。さらに、球面鏡3は、ペン先11から紙端2A及び2Bのそれぞれに至る紙面2からの反射光を、所定の反射角でカメラ10に入射させる。これにより、カメラ10の撮像面10Sは、紙端2A及び2Bを含む紙面2全体の画像(以下、紙面画像という)を捉えることができるので、カメラ10は紙面画像を取得する。
ペン先11は、紙面2に当たるペン先頂点11Aを備える。このペン先頂点11Aからは、本体部12に格納されたインクカートリッジから供給されるインクが吐出されてもよい。また、ペン先11そのものが、鉛筆の先端部分と同様の構成であってもよい。なお、以下、ペン先11とペン先頂点11Aとを特に区別せずに記載している場合がある。
本体部12は、ユーザの手によって握られて紙面2に文字や図形を描く場合に用いられる。本体部12は、そのために、先述したインクカートリッジを内蔵していてもよい。
図4は、デジタルペン1の機能構成の一例を示したブロック図である。図5は、カメラ10により取得された紙面画像IM1の一例を表した図である。紙面画像IM1は、球面鏡3に映った紙面2全体を現している。図6Aは、反射角θ1と、紙面画像IM1において原点Oと第1端A2’との間の第1距離lxとの対応付けの一例を表した図である。図6Bは、反射角θ2と、紙面画像IM1において原点Oと第2端2B’との間の第2距離lyとの対応付けの一例を表した図である。
デジタルペン1は、図4に示すように、カメラ10と、距離算出部101と、記憶部102と、6軸センサ(動き情報取得部)103と、制御部104と、圧力センサ(接触検出部)105と、移動軌跡情報生成部106と、移動軌跡情報出力部107と、を備える。
カメラ10(鏡面画像取得部)は、先述したように、撮像面が上方を向いており、撮像面に映る紙面画像IM1を取得する。つまり、カメラ10は、デジタルペン1の一端が紙面2と接触した状態で、球面鏡3に映し出された鏡像を紙面画像IM1(画像)として取得する。
距離算出部101は、紙面画像IM1において、原点O(第1基準点)からX’軸方向に沿って、紙端2Aに相当する第1端2A’に至る第1距離lx、及び、原点OからY’軸方向に沿って、紙端2Bに相当する第2端2B’に至る第2距離lyを算出する。つまり、距離算出部101は、カメラ10(鏡面画像取得部)で取得された紙面画像IM1において、原点O(第1基準点)から、X軸方向(第1方向)に沿って紙面2(描画領域)の第1端2A’に至る第1距離lxと、原点O(第1基準点)から、X軸方向(第1方向)と交差するY軸方向(第2方向)に沿って紙面2の第2端2B’に至る第2距離lyとを算出する。このように、距離算出部101は、紙面画像IM1における原点Oから紙面2の端までの距離を算出する。
なお、ここでは、第1基準点を紙面画像IM1の原点Oとして説明したが、第1基準点は原点Oに限らず、紙面画像IM1の点であればよい。また、第1方向をX軸方向、第2方向をY軸方向として説明したが、第1方向及び第2方向はこれに限らず、互いに交差する2つの方向であればよい。
記憶部102は、このデジタルペン1が作動するのに必要な制御プログラムの他に、光の反射角に関する情報として、反射角θ1と、紙面画像IM1において原点Oと第1端A2’との間の第1距離lxとの対応付け102A(図6A参照)と、反射角θ2と、紙面画像IM1において原点Oと第2端2B’との間の第2距離lyとの対応付け102B(図6B参照)とを、予め記憶している。さらに、記憶部102は、デジタルペン1の長さを記憶している。
つまり、記憶部102は、次の3つを記憶している。すなわち、(1)デジタルペン1の長さ、(2)光の反射角に関する情報として、紙面画像IM1(画像)において原点O(第1基準点)からX軸方向(第1方向)に沿って離れた距離と、当該距離に対応する紙面2の位置から球面鏡3に入射した光の反射角θ1である第1角度との対応付け102A、及び、(3)光の反射角に関する情報として、さらに、紙面画像IM1(画像)において原点O(第1基準点)からY’軸方向(第2方向)に沿って離れた距離と、当該距離に対応する紙面2の位置から球面鏡3に入射した光の反射角である第2角度との対応付け102B、を記憶している。このように、記憶部102には、光の反射角に関する情報として、紙面画像IM1における距離と球面鏡3における光の反射角との対応付け102A、102Bが記憶されている。
対応付け102Aには、例えば、第1角度θ1として“θ11”が記憶されており、この第1角度“θ11”に対応する第1距離lxとして、“lx1”が記憶されている。
また、対応付け102Bには、第2角度θ2として“θ21”が記憶されており、この第2角度“θ21”に対応する第2距離lyとして、“ly1”が記憶されている。これらの対応付け102A及び102Bは、制御部104が、ペン先頂点11Aの紙面2における絶対位置を求める際に利用される。
また、記憶部102は、さらに、移動軌跡情報生成部106によって生成された移動軌跡情報を記憶する。この移動軌跡情報については後述する。
なお、記憶部102は、光の反射角に関する情報として、距離lxと第1角度θ1とを対応付ける関係式、及び、距離lyと第2角度θ2とを対応付ける関係式を記憶していてもよい。
6軸センサ103(動き情報取得部)は、デジタルペン1のペン先頂点11A(デジタルペン1の一端)の紙面2(描画領域)上における動き情報を取得する。ここで、動き情報とは、デジタルペン1のペン先頂点11Aの移動量を示す情報である。6軸センサ103は、3軸加速度センサ103Aと3軸角速度センサ103Bとを備える。3軸加速度センサ103Aは、ペン先頂点11Aが紙面2において移動する際における、X軸方向、Y軸方向、及びZ軸方向の加速度を検出する。各々の加速度は、制御部104がペン先11の紙面2における移動量を算出する際に使用される。
3軸角速度センサ103Bは、例えば、ジャイロセンサで構成されており、ペン先頂点11Aが紙面2において移動する際における、X軸方向、Y軸方向、及びZ軸方向の角速度を検出する。各々の角速度は、デジタルペン1の鉛直方向に対する傾きを算出する際に使用される。
制御部104は、このデジタルペン1を統括的に制御する。制御部104は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)などから構成され、CPUが所定の制御プログラムを実行することにより実現される。この制御部104は、距離算出部101によって算出された第1距離lx及び第2距離lyと、記憶部102に記憶されている光の反射角に関する情報及びデジタルペン1の長さとを用いて、第1距離lxに対応する第1角度θ1、及び、第2距離lyに対応する第2角度θ2を求める。さらに、求めた第1角度θ1及び第2角度θ2に基づいて、デジタルペン1のペン先頂点11A(デジタルペン1の一端)と紙面2の紙端2A(第1端)との間の距離(例えばLx)、及び、デジタルペン1のペン先頂点11Aと紙面2の紙端2B(第2端)との間の距離(例えばLy)を求める。さらに、これら2つの距離(Lx及びLy)に基づいて、デジタルペン1のペン先頂点11Aの紙面2における絶対位置を求める。さらに、求めた絶対位置を示す情報である絶対位置情報を生成する。
ここで、紙面2における絶対位置とは、例えば、紙端2Aと紙端2Bとの交点を原点とした場合に表されるペン先頂点11Aの座標である。
圧力センサ105は、例えば、ペン先11の内部に配置されており、ペン先頂点11Aが紙面2に接触していることを検出する。
移動軌跡情報生成部106は、制御部104によって求められた、ペン先頂点11Aの紙面2における絶対位置を示す情報と、6軸センサ103(動き情報取得部)によって取得された動き情報とに基づいて、ペン先11の移動軌跡を表す移動軌跡情報を生成する。
移動軌跡情報出力部107は、アンテナ5を備え、移動軌跡情報生成部106によって生成された移動軌跡情報を、無線信号の形で、パーソナルコンピュータ(PC4)などの情報処理装置に出力する。
<デジタルペンの動作>
図7は、本発明の実施の形態1に係るデジタルペン1の基本動作の一例を示したフローチャートである。
制御部104は、圧力センサ105によってペン先頂点11Aが紙面2に接触していると検出されたときには(ステップS10でYES)、ペン先11の紙面2における絶対位置(X0,Y0)を求める(ステップS11)。具体的には、制御部104は、以下のようにして絶対位置(X0,Y0)を、基準点として求める。ここで、基準点とは、デジタルペン1を操作するユーザによって文字等の図形が描かれる最初の点である。
図8は、図2に示す、デジタルペン1、球面鏡3、紙面2、及び、反射光L1及びL2をモデル化したモデル図である。
なお、球面鏡の半径aは、デジタルペン1の長さhよりも極めて小さい。そのため、デジタルペン1の上端が、球面鏡3の最下点P1ではなく、球面鏡3の中心を基準として、最下点P1から紙面2の幅方向に第1角度θ1をなす接点P2に接しているとみなすことができるので、以下のことが言える。すなわち、球面鏡3の半径aが、デジタルペン1の長さhより極めて小さい場合には、ペン先頂点11Aの本来の位置PO1と、デジタルペン1の上端が球面鏡3における接点P2に接している場合のペン先の位置PO2との間の距離は“0”に等しいとみなすことができる。したがって、図8に示すモデル図を得ることができる。
図8において、先述したように、紙端2Aからの反射光L1の球面鏡3に対する反射角は、θ1である。そして、球面鏡3は、鉛直方向に配置されたデジタルペン1に対して、反射角θ1で反射光L1を入射させる。
そのため、接点P2、ペン先頂点11A、及び紙端2Aとの間では、ペン先11部分の頂点が直角の直角三角形が形成される。そして、接点P2を頂点とする角の角度は2×θ1であるので、ペン先11から紙端2Aに至る紙面2の幅方向の距離Lxは、次の式(1)で表すことができる。
Lx=h×sin(2×θ1)・・・(1)
この式(1)に示すように、θ1の値が求まれば、Lxが求まる。そこで、制御部104は、距離算出部101によって、紙面画像IM1におけるlxを算出させる。そして、制御部104は、対応付け102Aを参照して、算出されたlxに対応するθ1を得る。これにより、制御部104は、Lxを得ることができる。つまり、制御部104は、距離算出部101によって算出された距離lx(第1距離)と、記憶部102に記憶されている光の反射角に関する情報とを用いて、距離lx(第1距離)に対応する第1角度θ1を求める。さらに、制御部104は、求めた第1角度θ1と、記憶部102に記憶されているデジタルペンの長さhとを上記の式(1)に代入することにより、ペン先頂点11Aと紙面2の紙端2A(第1端)との間の距離Lxを求める。
なお、ペン先11から紙面2の長さ方向に紙端2Bに至る距離Lyについては、距離Lxを求める際と同様のモデル図を得ることができるから、ペン先11から紙端2Bに至る紙面2の長さ方向の距離Lyは、次の式(2)で表すことができる。
Ly=h×tan(2×θ2)・・・(2)
よって、距離Lxを求めるのと同様に、制御部104は、距離算出部101によって算出された距離ly(第2距離)と、記憶部102に記憶されている光の反射角に関する情報とを用いて、距離ly(第2距離)に対応する第2角度θ2を求める。さらに、制御部104は、求めた第2角度θ2と、記憶部102に記憶されているデジタルペンの長さhとを上記の式(2)に代入することにより、デジタルペン1のペン先頂点11Aと紙面2の紙端2B(第2端)との間の距離(例えばLy)を求める。
以上のようにして、LxとLyが求まれば、制御部104は、これらLxとLyとに基づいて、ペン先頂点11Aの紙面2における絶対位置(X0,Y0)を求める。
LxとLyとに基づいて、ペン先の絶対位置(X0,Y0)を求める方法としては、例えば、以下の方法が挙げられる。
すなわち、記憶部102に、予め、紙端2Aを、原点を基準としたX軸方向の座標として記憶させておくとともに、紙端2Bを、原点を基準としたY軸方向の座標として記憶させておく。そして、制御部104は、紙端2Aの座標から距離Lxを減じた座標を求め、紙端2Bの座標から距離Lyを減じた座標を求める。こうすることにより、ペン先頂点11Aの絶対位置を求めることができる。
以上のようにして、ペン先頂点11Aの絶対位置を基準点として求めた(ステップS11)後に、制御部104は、基準点からのペン先頂点11Aの移動量(ΔX,ΔY)を初期値(0,0)とする(ステップS12)。つまり、制御部104は、基準点の絶対位置(X0,Y0)を求めた後に、移動量(ΔX,ΔY)をリセットする。
そして、所定の時間経過後も、圧力センサ105によってペン先頂点11Aが紙面2に接触していると検出されている場合には(ステップS13でYES)、基準点を求めてから所定の時間経過後のペン先頂点11Aの紙面2における位置情報を書き始め位置(X0+ΔX,Y0+ΔY)として取得する(ステップS14)。
その後、圧力センサ105によってペン先頂点11Aが紙面2に接触していると検出されている間は、(ステップS13でYES)、制御部104は、3軸角速度センサ103Bによって得られたX軸、Y軸、及びZ軸それぞれの方向のペン先頂点11Aの加速度を、ペン先頂点11Aが紙面2に接触していると検出されてから経過した時間で2回積分することにより、ペン先頂点11Aの紙面における移動量(ΔX、ΔY)を取得する(ステップS15)。
なお、制御部104は、ペン先頂点11Aの移動量(ΔX,ΔY)を得るのに、3軸加速度センサ103Aにより得られた加速度を2回積分することにより得ているが、ペン先頂点11Aの移動量(ΔX,ΔY)を得る構成はこれに限らず、例えば、光センサを用いて移動量を得る構成であってもよい。
この処理によれば、所定の時間の間にペン先頂点11Aが移動していれば、移動量(ΔX,ΔY)として(0,0)以外が得られ、一定の時間の間にペン先頂点11Aが移動していなければ、移動量(ΔX,ΔY)として(0,0)が得られる。
このとき、移動軌跡情報生成部106は、ステップS11において取得された基準点の絶対位置(X0,Y0)と、ステップS14で取得された移動量(ΔX、ΔY)とに基づいて、ペン先の移動軌跡を表す移動軌跡情報を生成し、記憶部102に順次記憶させる。
そして、圧力センサ105によってペン先頂点11Aが紙面2に接触していることが検出されなくなった際には(ステップS16でNO)、制御部104は、ペン先頂点11Aが紙面2において移動した移動量の積算量(ΣX,ΣY)を求める(ステップS17)。
例えば、制御部104は、記憶部102に記憶されている移動軌跡情報を参照して、ペン先頂点11AのX軸方向及びY軸方向のそれぞれの移動量の積算量(ΣX,ΣY)を求める。
そして、X軸方向の移動量の積算量ΣXが予め設定された閾値T未満で、且つ、Y軸方向の移動量の積算量ΣYが閾値T未満である際には(ステップS18でNO)、以下の処理を行う。すなわち、ペン先頂点11Aが空中で移動しているものの移動量が大きくない場合には、デジタルペン1を操作しているユーザによって一旦は図形の描画が終えられたものの、引き続き、図形の描画が行われる状態であると想定することができる。例えば、ユーザによって文字が描かれている場合、一の文字の描画が終わり、次の文字の描画が始まる前の状態であると想定することができる。
そのため、制御部104は、X軸方向の移動量の積算量ΣXが予め設定された閾値T未満、且つ、Y軸方向の移動量の積算量ΣYが閾値T未満である際には(ステップS18でNO)、3軸角速度センサ103Bによって得られたX軸、Y軸、及びZ軸それぞれの方向のペン先頂点11Aの加速度を2回積分することにより、ペン先頂点11Aの移動量(ΔX,ΔY)を取得する(ステップS19)。
一方で、X軸方向の移動量の積算量ΣXが予め設定された閾値T以上、及び、Y軸方向の移動量の積算量ΣYが閾値T以上の少なくとも一方を満たさない場合には(ステップS18でYES)、制御部104は、ステップS15と同様の処理を行って、ペン先頂点11AのX軸方向及びY軸方向それぞれの移動量を取得し、取得した移動量を、当該移動量の取得を開始してから経過した時間で割る。
つまり、制御部104は、単位時間当たりのペン先頂点11AのX軸方向の移動量(ΔX/Δt)と、単位時間当たりのペン先頂点11AのY軸方向の移動量(ΔY/Δt)とを取得する(ステップS20)。
そして、単位時間当たりのペン先頂点11AのX軸方向の移動量(ΔX/Δt)と、単位時間当たりのペン先頂点11AのY軸方向の移動量(ΔY/Δt)との双方が“0”であれば(ステップS21でYES)、デジタルペン1が例えば机に置かれたと想定できるので、制御部104は、処理を終了する。
一方で、単位時間当たりのペン先頂点11AのX軸方向の移動量(ΔX/Δt)と、単位時間当たりのペン先頂点11AのY軸方向の移動量(ΔY/Δt)とのいずれかが“0”でなければ(ステップS21でNO)、デジタルペン1が置かれていないと想定できるので、制御部104は、ステップS10に移る。すなわち、ペン先頂点11Aが空中で移動し、その移動量が大きい場合(ステップS18でYES)には、デジタルペン1を操作しているユーザによって図形の描画が終えられたと想定することができる。ただし、単位時間当たりのペン先頂点11AのX軸方向の移動量(ΔX/Δt)と、単位時間当たりのペン先頂点11AのY軸方向の移動量(ΔY/Δt)との双方が“0”でない場合(ステップS21でNO)、ユーザによって新たに図形の描画が開始されると想定することができる。例えば、ユーザによって一の紙面への描画が終わり、次の紙面への描画が始まる前の状態であると想定することができる。そのため、ステップS10に戻ることで、これまでと同様の処理を繰り返す。
なお、ステップS21では、さらに、単位時間当たりのペン先頂点11AのZ軸方向の移動量(ΔZ/Δt)を用いて、デジタルペン1が置かれたか否かを判断してもよい。
<効果>
以上のように、この構成によると、紙面画像IM1において、原点OからX’軸方向に沿って紙面画像IM1の第1端2A’(右端)に至る第1距離lxと、原点OからY’軸方向に沿って、紙面画像IM1の第2端2B’(上端)に至る第2距離lyを求める。
そして、第1距離lx及び第2距離lyに基づいて、紙面2のX軸方向の紙端2Aで反射して鏡の予め定められた接点P2に向けて入射した光が接点P2で反射する反射角である第1角度θ1を求めるとともに、紙面2のY軸方向の紙端2Bで反射して接点P2に向けて入射した光が接点P2で反射する反射角である第2角度θ2を、記憶部102を参照して求める。
そして、記憶部102には予めデジタルペン1の長さhが記憶されているので、制御部104は、この長さhと、第1角度θ1とを、上述した式(1)に代入して、ペン先頂点11Aと紙面2の紙端2Aとの間の距離Lxを得る。
また、制御部104は、長さhと、第2角度θ2とを、上述した式(2)に代入して、ペン先頂点11Aと紙面2の紙端2Bとの間の距離Lyを得る。
そして、これら2つの距離Lx,Lyを用いて、ペン先頂点11Aの絶対位置を求めるので、普通紙を用いた場合に、ペン先の絶対位置を求めることができるので、汎用性が高く、コストの抑制を図ることができる。
すなわち、この構成によると、第1距離lx、第2距離lx、光の反射角に関する情報、及び、デジタルペン1の長さを用いて、ペン先頂点11A(デジタルペン1の一端)と紙面2(描画領域)の第1端との間の距離Lx、及び、ペン先頂点11Aと紙面2の第2端との間の距離Lxを求める。そして、求めた2つの距離Lx、Lyに基づいて、紙面2におけるペン先頂点11Aの位置である絶対位置を求めることができる。つまり、この構成によると、紙面2におけるペン先頂点11Aの絶対位置を、特殊な位置パターンを用いなくても取得することができるため、高い汎用性、かつ、低コストで、紙面2におけるペン先頂点11Aの位置を求めることができる。
具体的には、制御部104は、上述した式(1)及び式(2)に基づいて、ペン先頂点11A(デジタルペン1の一端)と紙端2A(描画領域の第1端)との間の距離Lx、及び、ペン先頂点11Aと紙端2B(描画領域の第2端)との間の距離Lxを求める。すなわち、球面鏡3に映し出された鏡像から、第1角度θ1及び第2角度θ2を取得し、上述した式(1)及び式(2)に代入することによって、ペン先頂点11Aから紙端2Aまでの距離Lxと、ペン先頂点11Aから紙端2Bまでの距離Lyを求める。
これにより、描画領域として特殊な位置パターンのない例えば普通紙を用いた場合であっても、ペン先頂点11Aの紙端からの距離を求めることができるので、高い汎用性、かつ、低コストで、描画領域におけるペン先頂点11Aの位置を求めることができる。
また、球面鏡3は、デジタルペン1のペン先11と反対側の端部(デジタルペン1の他端)凸状の鏡面を備える。
これにより、鏡面に、デジタルペン1を含む紙面2(描画領域)全体を映すことができる。ここで、デジタルペン1のペン先頂点11Aの絶対位置を求めるためには、紙面画像IM1に紙端2A及び紙端2Bが含まれることが必要である。そこで、平面状の鏡を用いた場合と比較して、凸状の鏡面を備える球面鏡3を用いることにより、カメラ10で取得される紙面画像IM1に紙端2A及び紙端2Bをより確実に含むことができる。したがって、デジタルペン1のペン先頂点11Aの絶対位置が検知できないという不具合を低減できる。
また、デジタルペン1は、デジタルペン1のペン先頂点11A(デジタルペンの一端)が紙面2(描画領域)と接していることを検出する圧力センサ105(接触検出部)を備え、制御部104は、圧力センサ105によって、ペン先頂点11Aが紙面2と接していることが検出されている際に、カメラ10、及び、距離算出部101を作動させる。
また、デジタルペン1は、デジタルペン1のペン先頂点11A(デジタルペンの一端)の紙面2(描画領域)上における動き情報を取得する6軸センサ103(動き情報取得部)と、6軸センサ103によって取得された動き情報(例えば、移動量(ΔX,ΔY)を示す情報)と、制御部104によって求められたペン先頂点11Aの絶対位置(例えば、基準点(X0,Y0))を示す情報とを用いて、ペン先頂点11Aの紙面2上における移動軌跡を表す移動軌跡情報を生成する移動軌跡情報生成部106とを備え、記憶部102は、さらに、移動軌跡情報を記憶する。
この構成によると、制御部104によって求められた絶対位置を示す情報と、6軸センサ103によって取得された動き情報とを用いて、デジタルペン1のペン先頂点11Aの移動軌跡を表す移動軌跡情報を生成し、記憶するので、デジタルペン1によって紙面2に描かれた文字や図形を、ペーパーレスで残すことができる。
なお、上述の式(1)及び式(2)の導出では、デジタルペン1が鉛直方向に配置されているとして説明したが、デジタルペン1が鉛直方向に配置されていない場合であっても式(1)中及び式(2)中のhをデジタルペン1の重力方向の長さh’に置き換えることで、式(1)及び式(2)を適用することができる。すなわち、デジタルペン1の重力方向の長さをh’、第1端(X軸方向の紙端)から球面鏡3に入射する光の反射角(第1角度)をθ1、第2端(Y軸方向の紙端)から球面鏡3に入射する光の反射角(第2角度)をθ2とすると、デジタルペン1のペン先頂点11Aと第1端(X軸方向の紙端)との間の距離をLx、及び、デジタルペン1のペン先頂点11Aと第2端(Y軸方向の紙端)との間の距離Lyは次の2つの式で表される。
Lx=h’×tan(2×θ1)
Ly=h’×tan(2×θ2)
ここで、デジタルペン1の重力方向の長さh’は、例えば、記憶部102に記憶されたデジタルペン1の長さhと、3軸角速度センサ103Bによって検出された角速度を積分することによって得られるX軸方向の傾き及びY軸方向の傾きを用いて算出してもよい。
(実施の形態2)
なお、距離算出部101は、カメラ10(鏡面画像取得部)で取得された紙面画像IM10(画像)が補正された補正画像を用いて、補正画像におけるX軸方向の距離lxとY軸方向の距離lyを算出してもよい。以下、このように補正画像を用いて距離lx及びlyを算出する、実施の形態2に係るデジタルペンについて説明する。
図9は、本発明の実施の形態2に係るデジタルペンの機能構成の一例を示したブロック図である。図10は、原点Oを中心として時計回りに角度γ回転した紙面画像IM10を示した図である。図11は、紙面画像IM10の補正画像IM100を示した図である。
図9に示すデジタルペン1Aは、図4に示すデジタルペン1に、画像補正部108を新たに付加した構成となっている。
デジタルペン1Aは、紙面2上において、ユーザによってデジタルペン1Aの鉛直方向の軸を中心として幾分か回転した状態にされてもよい。このような場合、カメラ10の撮像面10Sの幅方向のX’軸方向、及び、奥行き方向のY’軸方向は、X軸、及び、Y軸に対して、デジタルペン1Aの回転に応じた回転角で回転する。これにより、例えば、図10に示すような紙面画像IM10が得られる。なお、図10は、デジタルペン1が、その鉛直方向の軸を中心として時計回り方向に角度γだけ回転した状態で得られた紙面画像IM10を示した図である。
画像補正部108は、角度γ時計周り方向に回転した紙面画像IM10を、半時計周り方向に角度γ回転させて、補正画像IM100(図11参照)とする。
例えば、画像補正部108は、手を表す画像が、原点Oを基準としてどの程度の角度で回転した位置に含まれているかを特定して、角度γを求める。すなわち、実際には、紙面画像IM10には、デジタルペン1Aを持つユーザの手を表す画像が含まれている。デジタルペン1Aが、例えば、反時計回り方向に角度γだけ回転すれば、手を表す画像は原点Oを基準として角度γだけ時計回り方向に回転した位置に含まれることとなる。
これにより、予め、X’軸プラス方向が紙面2の右方向であり、且つ、Y’軸プラス方向が紙面2の上方向である場合に多いと想定される、ユーザの手の位置情報を記憶部102に記憶しておき、画像補正部108が、紙面画像IM10における手の位置情報と、記憶部102に記憶された手の位置情報とを比較することにより、角度γを求めることができる。そして、画像補正部108は、角度γだけ、紙面画像IM10を反時計回りに方向に回転させる。
或いは、画像補正部108は、紙面画像IM10のエッジE1或いはE2を検出する。つまり、紙面画像IM1における紙面2の画像領域のエッジE1或いはE2を検出する。エッジE1或いはE2の傾きから、角度γが判るので、画像補正部108は、角度γだけ紙面画像IM10を反時計回り方向に回転させる。以上の処理を得て、図11に示す補正画像IM100が得られる。
これにより、本実施の形態に係るデジタルペン1Aは、当該デジタルペン1Aの軸が回転することにより、紙面2のX軸及びY軸と、カメラ10のX’軸及びY’軸方向とが異なる場合であっても、高い汎用性、且つ、低コストで、紙面2(描画領域)におけるペン先頂点11Aの位置を求めることができる。
(実施の形態3)
図12は、本発明の実施の形態3について説明するための、デジタルペン1Bと紙面2との関係を表す関係図である。図13は、図12をZ軸プラス方向から見た図である。
デジタルペン1Bは、ユーザによって持たれた際には、図12に示すように、重力方向ではなく、重力方向と所定の角度βをなした状態であることが多い。このような場合、ペン先頂点11Aの絶対位置は、以下のようにして求めることができる。
図14は、図11をX−Z平面でモデル化したモデル図を示している。なお、球面鏡3の半径aは、デジタルペン1Bの長さhよりも極めて小さい。そのため、デジタルペン1Bの上端が、球面鏡3の最下点P1ではなく、球面鏡3の中心を基準として、最下点P1から紙面2の幅方向に第1角度θ1をなす接点P2に接しているとみなすことができるので、以下のことが言える。すなわち、ペン先頂点11Aが位置する点P3と球面鏡3の最下点P1とを結ぶ線分P3−P1を接点P2と接するように平行移動させた線分P2−P4の長さは、線分P1−P3の長さhと等しいものとみなすことができる。したがって、図14に示すモデル図を得ることができる。
図14に示すモデル図から、原点Oから紙面2におろした垂線が紙面2と交わる点P5と、接点P2から紙面2におろした垂線が紙面2と交わる点P6との間の長さAと、点P6と紙端2Aとの間の長さBと、接点P2と点P6との間の長さCとが求まる。
具体的には、原点Oと、接点P2と、接点P2から紙面2と平行な線が原点Oから紙面2におろした垂線O−P5と交わる点P7とで直角三角形が形成されるから、点P5と点P6との間の長さAは、次の式(3)で表すことができる。
A=a×sin(θ1−β)・・・(3)
ただし、aは球面鏡3の半径、θ1は球面鏡3の最下点P1と接点P2とのなす角、βはX−Z平面においてデジタルペン1Bが重力方向となす角度である。つまり、βはY軸方向(第2方向)から見てデジタルペン1Bが重力方向となす角度である。このβは、例えば、3軸角速度センサ103Bによって得られるX軸方向の角速度を積分することにより算出される。
また、紙端2Aと、接点P2と、接点P2から紙面2におろした垂線が紙面2と交わる点P6と、紙端2Aとで、直角三角形が形成されるから、点P6と紙端2Aとの間の長さBは、次の式(4)で表すことができる。
B=C×tan(2×θ1−β)・・・(4)
さらに、点P3と、原点Oと、点P5とで直角三角形が形成される。さらには、原点Oと、接点P2と、点P7とで直角三角形が形成される。そのため、長さCは、次の式(5)で表すことができる。
C=(a+h)×cosβ−a×cos(θ1−β)・・・(5)
ただし、hはデジタルペン1Bの長さである。
ここで、図14に示すように、Lxは、AとBとを用いて、次の式(6)で表すことができる。
Lx=A+B・・・(6)
式(6)に、式(3)〜(5)の各々を代入すると、Lxは次の式(7)で表すことができる。
Lx=a×sin(θ1−β)+{(a+h)×cosβ−a×cos(θ−β)}
×tan(2×θ1−β)・・・(7)
なお、ペン先頂点11Aと紙端2Bとの間の距離Lyについては、距離Lxを求める際と同様のモデル図を得ることができるから、Lyは次の式(8)で表すことができる。
Ly=a×sin(θ2−α)+{(a+h)×cosα−a×cos(θ−α)}
×tan(2×θ2−α)・・・(8)
ただし、αはY−Z平面においてデジタルペン1Bが重力方向となす角度である。つまり、αはX軸方向(第1方向)から見てデジタルペン1Bが重力方向となす角度である。このαは、例えば、3軸角速度センサ103Bによって得られるY軸方向の角速度を積分することにより算出される。
このようにして制御部104は、ペン先頂点11Aと紙端2Aとの間の距離Lxと、ペン先頂点11Aと紙端2Bとの間の距離Lyとを取得した後、実施の形態1で説明した方法と同様の方法により、ペン先頂点11Aの絶対位置(X0,Y0)を取得する。
<効果>
この構成によると、デジタルペン1Bと重力方向との間の角度も加味して、距離Lx及Lyを得ることができるので、実際にデジタルペン1Bがユーザの手に持たれた場合に、デジタルペン1Bと重力方向との間に角度ができても、デジタルペン1Bのペン先頂点11Aの絶対位置を得ることができる。
なお、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
例えば、上記説明では、デジタルペンは紙面に描画するとして説明したが、デジタルペンが描画する対象はこれに限らず、ホワイトボード等の平面状の描画領域であってもよい。
また、上記説明では、デジタルペンはアンテナ5を含む移動軌跡情報出力部107を備えるとしたが、備えなくてもよい。つまり、記憶部102に記憶された移動軌跡情報は、デジタルペンに接続される外部メモリ(例えば、USBメモリなど)に出力されてもよい。
また、上記説明では、デジタルペンは移動軌跡情報出力部106を備えるとしたが、備えなくてもよい。つまり、制御部によって絶対位置を求めるだけでもよい。
また、上記説明では、圧力センサ105を接触検出部の一例として説明したが、デジタルペン1のペン先頂点11A(デジタルペン1の一端)が紙面2と接触していることを検出する構成はこれに限らない。ただし、接触検出部として市場に広く流通している圧力センサ105を用いることにより、簡易に、且つ低コストで、接触検出部を設けることができる。
また、本発明は、情報処理装置と、上記説明したデジタルペンであって、情報処理装置に入力操作を行うデジタルペンとを備える情報処理システムとして実現されてもよい。この構成によると、情報処理装置は、デジタルペンの制御部により求められた絶対位置を用いて、入力操作を受け付けることができる。したがって、情報処理装置は、デジタルペンによって描画領域に描かれた文字や図形に応じた処理を行うことができる。
また、例えば、上記のデジタルペンを構成する構成要素の一部は、具体的には、マイクロプロセッサ、ROM、RAM、などから構成されても良い。RAMまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各構成要素は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
さらに、上記のデジタルペンを構成する構成要素の一部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしても良い。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
さらにまた、上記のデジタルペンを構成する構成要素の一部は、デジタルペンに脱着可能なICカードまたは単体のモジュールから構成されているとしても良い。ICカードまたはモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカードまたはモジュールは、上記の超多機能LSIを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ICカードまたはモジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしても良い。
本発明は、ユーザ操作により処理を指定する機器、例えば、STB(Set Top Box)、ゲーム機、あるいは、AV機器などの入力デバイスに適用できる。
1、1A、1B デジタルペン
2 紙面
2A 紙端(紙面の幅方向の紙端)
2B 紙端(紙面の長さ方向の紙端)
2A’ 第1端(紙面画像の右端)
2B’ 第2端(紙面画像の上端)
3 球面鏡
5 アンテナ
10 カメラ
11 ペン先
11A ペン先頂点
101 距離算出部
102 記憶部
102A、102B 対応付け
103 6軸センサ
103A 3軸加速度センサ
103B 3軸角速度センサ
104 制御部
105 圧力センサ
E1、E2 エッジ
IM1、IM10 紙面画像
IM100 補正画像
L1、L2、L3、L4 反射光
lx 第1距離
ly 第2距離
Lx ペン先と第1端部との間の距離
Ly ペン先と第2端部との間の距離
P1 最下点
P2 接点
P3〜P6 点
θ1 第1角度
θ2 第2角度

Claims (7)

  1. 平面状の描画領域に描画するためのデジタルペンであって、
    前記デジタルペン及び前記描画領域を含む前記描画領域方向を映し出す鏡と組み合わせて用いられ、
    前記デジタルペンの一端が前記描画領域と接触した状態で、前記鏡に映し出された鏡像を画像として取得する鏡面画像取得部と、
    前記鏡面画像取得部で取得された前記画像において、予め定められた第1基準点から、予め定められた第1方向に沿って前記描画領域の第1端に至る第1距離と、前記第1基準点から、前記第1方向と交差する第2方向に沿って前記描画領域の第2端に至る第2距離とを算出する距離算出部と、
    (1)前記デジタルペンの長さを記憶しており、且つ、(2)光の反射角に関する情報として、前記画像において前記第1基準点から前記第1方向に沿って離れた距離と、当該距離に対応する位置から前記鏡に入射した光の反射角である第1角度とを対応付けて記憶し、且つ、(3)前記光の反射角に関する情報として、さらに、前記画像において前記第1基準点から前記第2方向に沿って離れた距離と、当該距離に対応する位置から前記鏡に入射した光の反射角である第2角度とを対応付けて記憶している記憶部と、
    前記距離算出部によって算出された前記第1距離及び前記第2距離と、前記記憶部に記憶されている前記光の反射角に関する情報及び前記デジタルペンの長さとを用いて、前記第1距離に対応する前記第1角度、及び、前記第2距離に対応する前記第2角度を求め、求めた前記第1角度及び前記第2角度に基づいて、前記デジタルペンの一端と前記第1端との間の距離、及び、前記デジタルペンの一端と前記第2端との間の距離を求め、これら2つの距離に基づいて、前記デジタルペンの一端の前記描画領域における絶対位置を求める制御部と、を備える
    デジタルペン。
  2. 前記制御部は、以下の2式に基づいて、前記デジタルペンの一端と前記第1端との間の距離、及び、前記デジタルペンの一端と前記第2端との間の距離を求める
    請求項1に記載のデジタルペン
    Lx=h’×tan(2×θ1)
    Ly=h’×tan(2×θ2)
    但し、Lxは前記デジタルペンの一端と前記第1端との間の距離、Lyは前記デジタルペンの一端と前記第2端との間の距離、h’は前記デジタルペンの重力方向の長さ、θ1は前記第1角度、θ2は前記第2角度を、それぞれ表す。
  3. 前記鏡は、前記デジタルペンの他端と対向する、凸状の鏡面を備える
    請求項1又は2に記載のデジタルペン。
  4. さらに、
    前記デジタルペンの一端が前記描画領域と接していることを検出する接触検出部を備え、
    前記制御部は、前記接触検出部によって、前記デジタルペンの一端が前記描画領域と接していることが検出されている際に、前記鏡面画像取得部、及び、前記距離算出部を作動させ、
    前記接触検出部は、圧力センサで構成されている
    請求項1〜3のいずれか1項に記載のデジタルペン。
  5. さらに、
    前記デジタルペンが重力方向となす角度を検出する角度検出部を備え、
    前記制御部は、以下の2式に基づいて、前記デジタルペンの一端と前記第1端との間の距離、及び、前記デジタルペンの一端と前記第2端との間の距離を求める
    請求項1、3及び4のいずれか1項に記載のデジタルペン
    Lx=a×sin(θ1−β)
    +{(a+h)×cosβ−a×cos(θ1−β)}×tan(2×θ1−β)
    Ly=a×sin(θ2−α)
    +{(a+h)×cosα−a×cos(θ2−α)}×tan(2×θ2−α)
    但し、Lxは前記デジタルペンの一端と前記第1端との間の距離、Lyは前記デジタルペンの一端と前記第2端との間の距離、hは前記デジタルペンの長さ、θ1は前記第1角度、θ2は前記第2角度、βは前記第2方向から見て前記デジタルペンが重力方向となす角度、αは前記第1方向から見て前記デジタルペンが重力方向となす角度、aは前記鏡の予め定められた第2基準点から前記デジタルペンの他端までの距離を、それぞれ表す。
  6. さらに、
    前記デジタルペンの一端の前記描画領域上における動き情報を取得する動き情報取得部と、
    前記動き情報取得部によって取得された前記動き情報と、前記制御部によって求められた、前記デジタルペンの一端の前記絶対位置を示す情報とを用いて、前記デジタルペンの一端の前記描画領域上における移動軌跡を表す移動軌跡情報を生成する移動軌跡情報生成部と、を備え、
    前記記憶部は、さらに、前記移動軌跡情報を記憶する
    請求項1〜5のいずれか1項に記載のデジタルペン。
  7. 情報処理装置と、当該情報処理装置に入力操作を行うデジタルペンとを備える情報処理システムであって、
    前記デジタルペンは、
    平面状の描画領域に描画するためのデジタルペンであって、
    当該デジタルペン及び前記描画領域を含む前記描画領域方向を映し出す鏡と組み合わせて用いられ、
    前記デジタルペンの一端が前記描画領域と接触した状態で、前記鏡に映し出された鏡像を画像として取得する鏡面画像取得部と、
    前記鏡面画像取得部で取得された前記画像において、予め定められた第1基準点から、予め定められた第1方向に沿って前記描画領域の第1端に至る第1距離と、前記第1基準点から、前記第1方向と交差する第2方向に沿って前記描画領域の第2端に至る第2距離とを算出する距離算出部と、
    (1)前記デジタルペンの長さを記憶しており、且つ、(2)光の反射角に関する情報として、前記画像において前記第1基準点から前記第1方向に沿って離れた距離と、当該距離に対応する位置から前記鏡に入射した光の反射角である第1角度とを対応付けて記憶し、且つ、(3)前記光の反射角に関する情報として、さらに、前記画像において前記第1基準点から前記第2方向に沿って離れた距離と、当該距離に対応する位置から前記鏡に入射した光の反射角である第2角度とを対応付けて記憶している記憶部と、
    前記距離算出部によって算出された前記第1距離及び前記第2距離と、前記記憶部に記憶されている前記光の反射角に関する情報及び前記デジタルペンの長さとを用いて、前記第1距離に対応する前記第1角度、及び、前記第2距離に対応する前記第2角度を求め、求めた前記第1角度及び前記第2角度に基づいて、前記デジタルペンの一端と前記第1端との間の距離、及び、前記デジタルペンの一端と前記第2端との間の距離を求め、これら2つの距離に基づいて、前記デジタルペンの一端の前記描画領域における絶対位置を求める制御部とを備え、
    前記情報処理装置は、前記制御部により求められた前記絶対位置を用いて、前記入力操作を受け付ける
    情報処理システム。
JP2013195779A 2013-09-20 2013-09-20 デジタルペン及びそれを備える情報処理システム Pending JP2015060543A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013195779A JP2015060543A (ja) 2013-09-20 2013-09-20 デジタルペン及びそれを備える情報処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013195779A JP2015060543A (ja) 2013-09-20 2013-09-20 デジタルペン及びそれを備える情報処理システム

Publications (1)

Publication Number Publication Date
JP2015060543A true JP2015060543A (ja) 2015-03-30

Family

ID=52817977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013195779A Pending JP2015060543A (ja) 2013-09-20 2013-09-20 デジタルペン及びそれを備える情報処理システム

Country Status (1)

Country Link
JP (1) JP2015060543A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019050295A (ja) * 2017-09-11 2019-03-28 ファスフォードテクノロジ株式会社 ダイボンディング装置および半導体装置の製造方法
WO2019225327A1 (ja) * 2018-05-22 2019-11-28 京セラ株式会社 測定装置及び測定装置の制御方法
KR20200020827A (ko) * 2017-06-22 2020-02-26 슈테틀러 마르스 게엠베하 운트 콤파니 카게 아날로그 스트로크들을 생성하고, 아날로그 스트로크들을 디지털 방식으로 저장하기 위한 전자 디바이스, 및 아날로그 레코딩들을 디지털화하기 위한 입력 시스템 및 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200020827A (ko) * 2017-06-22 2020-02-26 슈테틀러 마르스 게엠베하 운트 콤파니 카게 아날로그 스트로크들을 생성하고, 아날로그 스트로크들을 디지털 방식으로 저장하기 위한 전자 디바이스, 및 아날로그 레코딩들을 디지털화하기 위한 입력 시스템 및 방법
JP2020528171A (ja) * 2017-06-22 2020-09-17 ステッドラー マルス ゲーエムーベーハー ウント コー カーゲーSTAEDTLER Mars GmbH & Co. KG アナログストロークの生成及びアナログストロークのデジタル記録のための電子装置並びにアナログ記録のデジタル化のための入力システム及び方法
KR102338351B1 (ko) * 2017-06-22 2021-12-10 슈테틀러 마르스 게엠베하 운트 콤파니 카게 아날로그 스트로크들을 생성하고, 아날로그 스트로크들을 디지털 방식으로 저장하기 위한 전자 디바이스, 및 아날로그 기록들을 디지털화하기 위한 입력 시스템 및 방법
JP7086116B2 (ja) 2017-06-22 2022-06-17 ステッドラー マルス ゲーエムーベーハー ウント コー カーゲー アナログストロークの生成及びアナログストロークのデジタル記録のための電子装置並びにアナログ記録のデジタル化のための入力システム及び方法
JP2019050295A (ja) * 2017-09-11 2019-03-28 ファスフォードテクノロジ株式会社 ダイボンディング装置および半導体装置の製造方法
JP7102113B2 (ja) 2017-09-11 2022-07-19 ファスフォードテクノロジ株式会社 ダイボンディング装置および半導体装置の製造方法
WO2019225327A1 (ja) * 2018-05-22 2019-11-28 京セラ株式会社 測定装置及び測定装置の制御方法
JP2019203755A (ja) * 2018-05-22 2019-11-28 京セラ株式会社 測定装置及び測定装置の制御方法
JP7020998B2 (ja) 2018-05-22 2022-02-16 京セラ株式会社 測定装置及び測定装置の制御方法
US11435831B2 (en) 2018-05-22 2022-09-06 Kyocera Corporation Measurement apparatus and control method of measurement apparatus

Similar Documents

Publication Publication Date Title
US8593402B2 (en) Spatial-input-based cursor projection systems and methods
US10147243B2 (en) Generating virtual notation surfaces with gestures in an augmented and/or virtual reality environment
JP3837357B2 (ja) コンピュータ用電子ペンデータ入力装置及び座標測定方法
US20110157236A1 (en) Head-mounted display
JP5474202B2 (ja) 顔検出および画像測定に基づいて注視点を検出する方法および装置
US8941587B2 (en) Method and device for gesture recognition diagnostics for device orientation
US7952561B2 (en) Method and apparatus for controlling application using motion of image pickup unit
US20160098125A1 (en) Determining User Handedness and Orientation Using a Touchscreen Device
JP2015060543A (ja) デジタルペン及びそれを備える情報処理システム
WO2016115881A1 (zh) 手写记录装置和手写记录方法
US8421751B2 (en) Computer-readable storage medium having information processing program stored therein, information processing system, and information processing method
US20170090716A1 (en) Computer program for operating object within virtual space about three axes
JP4644800B2 (ja) 3次元位置入力装置
JP2012220271A (ja) 姿勢認識装置、姿勢認識方法、プログラム及び記録媒体
KR20190140657A (ko) 오브젝트를 생성하는 전자장치 및 시스템
US20120212410A1 (en) Operation input device
Song et al. The ModelCraft framework: Capturing freehand annotations and edits to facilitate the 3D model design process using a digital pen.
JP2016076104A (ja) ジェスチャ入力システムのデータ加工方法
JP2006323454A (ja) 三次元指示入力システム、三次元指示入力装置、三次元指示入力方法およびプログラム
US11531392B2 (en) Tracking upper arm movements using sensor modules attached to the hand and forearm
JP5652647B2 (ja) 小型電子機器、処理方法及びプログラム
CN110858103B (zh) 具有轨迹补偿功能的笔型鼠标
KR102646684B1 (ko) 전자 장치 및 컨텐츠를 생성하는 방법
JP4676415B2 (ja) 断面画像表示装置、断面画像表示方法及び断面画像表示プログラム
WO2023181568A1 (ja) コントローラ及びコンピュータ