JP2016024717A - 指示体判定装置、座標入力装置、指示体判定方法、座標入力方法、及びプログラム - Google Patents
指示体判定装置、座標入力装置、指示体判定方法、座標入力方法、及びプログラム Download PDFInfo
- Publication number
- JP2016024717A JP2016024717A JP2014149799A JP2014149799A JP2016024717A JP 2016024717 A JP2016024717 A JP 2016024717A JP 2014149799 A JP2014149799 A JP 2014149799A JP 2014149799 A JP2014149799 A JP 2014149799A JP 2016024717 A JP2016024717 A JP 2016024717A
- Authority
- JP
- Japan
- Prior art keywords
- light
- indicator
- unit
- pattern
- intensity distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 28
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 230000003287 optical effect Effects 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 230000002093 peripheral effect Effects 0.000 claims description 20
- 238000012937 correction Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 description 52
- 238000004891 communication Methods 0.000 description 17
- 239000000523 sample Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000013459 approach Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 3
- 230000010365 information processing Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Position Input By Displaying (AREA)
Abstract
Description
に関する。
電子情報ボードは、パソコンを接続することによって、パソコンの画面に表示されている画像を電子情報ボード上に大きく映すことができ、企業や行政機関の会議におけるプレゼンテーションや、教育機関等で用いられている。電子情報ボードに搭載されているタッチパネルを用いて、電子情報ボードの画面に直接タッチすることで、画面情報を提供しているパソコンを操作することが可能なパソコン操作機能が提供されている。
さらに、電子情報ボードに接続したパソコン上で実行される、電子黒板アプリケーションソフトウエアがこれらの機器と伴に提供されている。
このアプリケーションソフトウエアには、黒板の役割を果す画面を提供してディスプレイ上に手書き文字などを描く機能、パソコンから画像を取り込んでその画像上に手書き文字を重畳して描く機能など、タッチパネルを介した手書機能が提供されている。
特許文献1には、座標入力領域の2箇所に配置された受発光手段と、各受発光手段から座標入力領域に出射された光を各受発光手段の方向に向けて反射させる再帰性反射手段と、を備え、各受発光手段から座標入力領域に出射され、再帰性反射手段で反射し、各受発光手段に到達する光の光路が座標入力領域に接触した指示体により遮断されたとき、各受発光手段の間の距離と、各受発光手段と遮断された光路のなす角度とから、三角測量により指示体が接触した座標入力領域上の座標位置を算出するという座標入力装置が開示されている。
しかし、従来、複数のユーザが夫々に指示体(電子ペン)を用いて同時に描画する場合、電子ペン毎の描画を区別するためには、指示体側に指示体IDを発行するための電子回路を含む構成が必要であった。
また、指示体側に電子回路を使用することにより、内蔵電池の消耗が早まり、電池の交換が頻繁になり、会議中に電池交換を行う場合であり、ユーザの手間が増えるといった問題があった。
なお、特許文献1にあっては、描画位置の座標を検出する点が開示されている。しかし、上述した複数の指示体を用いて同時に描画する場合、指示体毎の描画を区別することができないといった問題は解消できていない。
そこで、指示体側の構成を簡単化し、電子情報ボード側で指示体を特定することが可能な構成の提供が切望されている。
本発明は、上記に鑑みてなされたもので、その目的としては、複数の指示体が画面上において操作された場合であっても、夫々の指示体を判別することができる指示体判定装置、座標入力装置、指示体判定方法、座標入力方法、及びプログラムを提供することにある。
要するに、夫々の指示体の先端部に、固有の特徴を有する再帰反射部を備え、既存の強度分布検出部で検出された先端部の情報を用いて指示体を特定することが特徴になっている。
本発明の実施形態について、図面を参照して説明する。
画像処理システム100は、画像処理装置110と、ユーザPC130a、130bとを備えており、画像処理装置110および2台のユーザPC130a、130bは、それぞれケーブル124によって接続されている。
画像処理装置110は、2台のユーザPC130a、130bの表示画像を表示するとともに、ユーザが生成する描画画像を表示することが可能な装置である。ユーザPC130a、130bは、画像処理装置110に表示すべき画像を提供する情報処理装置である。ユーザPC130a、130bは、画像信号を出力するインタフェースを備えており、ユーザPC130a、130bの表示画像を形成する画像信号を所定のビデオレート(例えば、毎秒30フレーム)で画像処理装置110に供給する。
本実施形態では、ユーザPC130a、130bは、インタフェースとしてVGA出力端子(図示せず)を備えており、VGAケーブル等のケーブル124を介してVGA信号を画像処理装置110に送信する。なお、ユーザPC130a、130bは、各種無線通信プロトコルに準拠した無線通信により、表示画像を送信してもよい。
本実施形態では、ユーザPC130a、130bとしてノート型PCを採用するが、デスクトップ型PCやタブレット型PC、PDA、デジタルビデオカメラ、デジタルカメラ等の画像フレームを供給可能な情報処置装置を採用してもよい。また、図1に示す画像処理システム100では、2台のユーザPC130a、130bを採用するが、1台のユーザPCまたは3台以上のユーザPCを採用してもよい。
図2に示す画像処理システム1000について、図1に示す画像処理システム100との相違点を中心に説明する。
画像処理システム1000は、画像処理装置1010aと、画像処理装置1010bと、ユーザPC103dとがネットワーク1014を介して接続される。ネットワーク1014は、LANやインターネットなどのネットワークであり、画像処理装置1010a、1010b、及びユーザPC103dの間で種々のデータを通信する。画像処理装置1010aは、ケーブル124を介してユーザPC130a、130bが接続されている。画像処理装置1010bは、ケーブル124を介してユーザPC130cが接続されている。画像処理装置1010a、1010b及びユーザPC103dは、画像データおよびイベント等の情報をネットワーク1014を介して相互に通信する。
図2に示す実施形態では、画像処理装置1010a、1010b、1010cがネットワーク1014を介して接続されるが、これらの画像処理装置をネットワーク1014を介さずに、スター型等の接続形態で直接接続してもよい。
画像処理装置1010は、画像入力インタフェースを備えており、これらのインタフェースを介してユーザPC130a、130bと接続される。
画像入力インタフェース232は、ユーザPC130a、130bの表示画像を形成する画像信号を受信するためのインタフェースである。本実施形態では、画像入力インタフェース232としてDVI(Digital Visual Interface)端子によって構成されるDVIコネクタを採用することができる。画像入力インタフェース232は、ユーザPC130a、130bからVGAケーブル等のケーブル124を介してVGA信号を受信し、画像処理装置110が備える画像取得部206にVGA信号を供給する。
なお、DVIコネクタに代わって、VGA(Video Graphics Array)コネクタ、HDMI(登録商標)(High-Definition Multimedia Interface)コネクタ、Displayportコネクタ等を採用してもよい。さらに、画像入力インタフェース232は、Bluetooth(登録商標)やWiFi等の無線通信プロトコルに準拠した無線通信により、ユーザPC130a、130bから画像信号を受信してもよい。
プロセッサ200は、CPUやMPU等の演算処理装置であり、WINDOWS(登録商標)シリーズ、UNIX(登録商標)、LINUX(登録商標)、TRON、ITRON、μITRONなどのOSを動作させる。さらに、プロセッサ200は、これらのOSの管理下でアセンブラ、C、C++、Java(登録商標)、JavaScript(登録商標)、PERL、RUBY、PYTHONなどのプログラム言語で記述された本発明のプログラムを実行する。ROM202は、BIOSやEFI等のブートプログラムなどが保存される不揮発性メモリである。
RAM204は、DRAMやSRAM等の主記憶装置であり、本発明のプログラムを実行するためのメモリ空間を提供する。プロセッサ200は、ソフトウェアプログラムや種々のデータなどを持続的に保持するためのハードディスク装置(図示せず)から、本発明のプログラムを読み出し、RAM204に展開して実行する。本発明のプログラムには、プログラムモジュールであるイベント処理部210、アプリ画像生成部212、レイアウト管理部214、描画生成部216、合成部218、表示制御部220、スナップショット生成部222、スナップショット保存部236、スナップショット送信部238およびリポジトリ管理部228を備えている。
また、画像取得部206は、当該画像信号を使用してユーザPC130a、130bの表示画像である画像フレームをそれぞれ形成し、画像データを一時的に保存可能な記憶手段であるビデオRAM208にそれぞれ上書き保存する。
アプリ画像生成部212は、表示部112に表示すべき種々の表示ウィンドウを生成する機能手段である。表示ウィンドウには、ユーザPC130a、130bの表示画像である画像フレームを表示する表示ウィンドウ、ユーザが生成する描画画像を表示する表示ウィンドウ、画像処理装置110の各種設定を行うためのボタンやメニュー等を表示する表示ウィンドウ、ファイルビューアやWebブラウザ等の表示ウィンドウなどが含まれる。アプリ画像生成部212は、これらの表示ウィンドウを、当該表示ウィンドウを描画すべき画像レイヤに描画する。
接触検知装置226は、指示体によって遮断された2の受発光装置が放射した赤外線の識別情報を座標検出部224に、赤外線の強度分布からデータを2値化し、図11に示すように平板的なペン先の幅の情報を、円周状になっているペン先の実際の幅に変換し、ペン先の幅方向の明暗パターンの情報をパターン照合部225に通知し、パターン照合部225がペン先の明暗パターンから登録されているペン先パターンと照合し、適合したペン先パターンが有するペン先IDを座標検出部224に通知し、座標検出部224が、物体の接触位置である座標位置を特定する。
座標検出部224は、接触位置の座標位置と共に、種々のイベントをイベント処理部210に発行する。座標検出部224が発行するイベントには、指示体の接触又は接近したことを通知するイベント(TOUCH)、指示体が表示部112に接触又は接近した状態で接触点または接近点が移動したことを通知するイベント(MOVE)、指示体が表示部112から離れたことを通知するイベント(RELEASE)が含まれる。これらのイベントには、パターン照合部225よりのペン先ID、接触位置座標および接近位置座標である座標位置情報が含まれる。
本実施形態では、座標検出部224は、接触検知装置226から赤外線の識別情報を受信すると、指示体の接近又は接触位置である座標位置を算出し、次いで、指示体42から接触信号を受信すると、各種イベントを発行する。このとき、座標検出部224は、モード種別を示す情報(以下、「モード種別情報」とする。)を当該イベントと共にイベント処理部210に通知する。
描画指示イベントとは、画像処理装置110に対して描画を指示するイベントである。消去指示イベントは、画像処理装置110に対して描画されたオブジェクトを消去するイベントである。描画指示イベント及び消去イベントは、指示体42が表示部112に接近又は接触することに起因して発行される。
なお、描画指示イベントおよび選択通知イベントには、それぞれ識別情報が割り当てられており、これらのイベントをトリガとして動作する画像処理装置110の機能手段は、当該識別情報を参照して種々の処理を実行する。また、選択通知イベントには、選択されたオブジェクトの識別情報が付加されており、選択通知イベントをトリガとして動作する画像処理装置110の機能手段は、当該オブジェクトの識別情報を参照して種々の処理を実行する。
合成部218は、種々の画像を合成する機能手段である。合成部218は、アプリ画像生成部212が画像を描画すべき画像レイヤ(以下、「アプリ画像レイヤ」とする。)と、レイアウト管理部214がユーザPC130a、130bの表示画像を描画すべき画像レイヤ(以下、「画像キャプチャレイヤ」とする。)と、描画生成部216が画像を描画すべき画像レイヤ(以下、「手書きレイヤ」とする。)とを合成する。
表示制御部220は、表示部112を制御する機能手段である。表示制御部220は、合成部218が生成した合成画像を表示部112に表示する。本実施形態では、合成部218は、表示制御部220を呼び出して合成画像を表示部112に表示する。なお、合成部218および表示制御部220は、画像情報に含まれる画像フレームの更新頻度と同じ頻度で、画像レイヤを合成して表示部112に表示してもよい。
スナップショット生成部222は、ユーザPC130a、130bの表示画像と描画生成部216が生成した描画画像との合成画像であるスナップショット画像を生成する機能手段である。スナップショット生成部222は、表示部112に表示されたスナップショットの取得を指示するスナップショットボタンが選択されたことを示す選択通知イベントを受信すると、画像キャプチャレイヤと手書きレイヤとを合成し、スナップショット画像を生成する。スナップショット生成部222は、スナップショット画像を生成すると、リポジトリ管理部228に対しスナップショット画像を記憶装置230に保存させる。
スナップショット保存部236は、リポジトリ管理部228を通じて記憶装置230に保存されたスナップショット画像をデータ出力インタフェース234を通じてUSBメモリ242等の外部保存装置にスナップショット画像を保存する機能手段である。スナップショット保存部236は、表示部112に表示されたスナップショットの保存を指示するスナップショット保存ボタンが選択されたことを示す選択通知イベントを受信すると、リポジトリ管理部228を通じて記憶装置230に保存されたスナップショット画像を取得し、データ出力インタフェース234に接続された外部保存装置にスナップショット画像を出力する。
データ出力インタフェース234は、スナップショット画像を外部装置に出力する物理インタフェースである。なお、画像出力インタフェース234としてUSBソケットを採用してもよい。
画像処理装置1010aは、通信制御部250と、通信部252とを備えている。通信制御部250は、ネットワーク1014を介した画像処理装置間の通信を制御する機能手段である。通信部252は、ネットワーク1014とのネットワークインタフェースである。通信制御部250は、認証情報、画像フレームやスナップショット画像等の画像データや描画情報、イベントなどの情報を、通信部252を介して通信する。
座標入力装置40は、受発光部41、座標入力領域43、再帰性反射部材44を備えている。
座標入力領域43は、四角形の形状であり、例えば文字や画像を表示するディスプレイ表面に指示体42で書き込むタッチパネルなどの平面が座標入力領域となる。
座標入力装置40は、座標入力領域43上を光学的に不透明な材質からなる指示体42で触ったときの指示体42の座標位置を検出して、その位置情報を電子情報ボード等に伝える装置である。
再帰性反射部材44は、入射した光を、入射角度によらずにほぼ同一方向に反射する特性をもった部材である。例えば、受発光部41から発した扇形板状の光波の内、ある一つのビーム47に注目すると、ビーム47は再帰性反射部材44によって反射されて再び同じ光路を再帰光46として受発光部41に向かって戻るように進行する。
受発光部41には、後述するように受光部が設置されていて、プローブ光L1〜Lmのそれぞれに対して、その再帰光46が受発光部41に再帰したか否かを検出することができる。
従って、プローブ光45の再帰光46は受発光部41には到達せず、プローブ光45に対応する再帰光46が受光されないことを検出することによって、プローブ光45の延長線(直線L)上に指示体が挿入されたことを検出することができる。
同様に、図4の右上方に設置された受発光部41からもプローブ光を照射し、プローブ光48に対応する再帰光46が受光されないことを検出することによって、プローブ光48の延長線(直線R)上に指示体42が接近又は接触されたことを検出することができる。直線Lおよび直線Rを求めることができれば、この交点座標を演算により算出することにより、指示体42が接近又は接触した座標位置を得ることができる。
受発光部41は、点光源61、集光レンズ51、受光素子50を備えている。
点光源61は、点光源61から見て受光素子50と反対方向に扇形に光を出射するものとする。点光源61から出射された扇形に広がる光は、矢印53、58の方向、その他の方向に進行するビームの集合であると考える。矢印53方向に進行したビームは再帰性反射部材44で反射されて、再帰反射光54が集光レンズ51を通り、受光素子50上の位置57に到達する。
従って、ある位置に指示体が接近又は接触され、あるビームが遮断されると、そのビームに対応する受光素子50上の点に光が到達しなくなる。このことから、受光素子50上の光強度の分布を調べることによって、どのビームが遮られたことを検知することができる。
図6において、受光素子50は集光レンズ51の焦点面に設けられているものとする。点光源61から図6の右方向に向けて出射した光は、再帰性反射部材44によって反射されて同じ光路を戻ってくる。従って、点光源61の位置に再び集光する。集光レンズ51の中心は点光源位置と一致するように設けられている。再帰性反射部材44から戻った再帰光は、集光レンズ51の中心を通るので、レンズ後方(受光素子側)に対称の光路で進行する。
このとき、受光素子50上の光強度分布を調べると、指示体42が光路上に挿入されていなければ、受光素子50上の光強度分布はほぼ一定であるが、図6に示すように、光を遮る指示体42が光路上に挿入された場合、この点を通過するビームは指示体42によって遮られ、受光素子50上では位置Dnの位置に、光強度が弱い領域(暗点)が生じる。
この位置Dnは、遮られたビームの出射/入射角θnと対応しており、位置Dnを検出することにより出射/入射角θnを算出することができる。
すなわち、出射/入射角θnは位置Dnの関数として、
θn=arctan(Dn/f) 式(1)
と表すことができる。ただし、fは図6に示すように、集光レンズ51と受光素子50との間の距離で、集光レンズ51の焦点距離に相当する。
図7において、受発光部41と座標入力領域43との幾何学的な相対位置関係の変換関数gにより、指示体42と座標入力領域43のx軸とのなす角θLは、式(1)で求められるDnLの関数として、
θL=g(θnL)
ただし、
θnL=arctan(DnL/f) 式(2)
と表すことができる。
同様に、図4に示す右上方の受発光部41についても、上記した式の記号Lを記号Rに置き換えて、右側の受発光部41と座標入力領域43との幾何学的な相対位置関係の変換関数hにより、
θR=h(θnR)
ただし、
θnR=arctan(DnR/f) 式(3)
と表すことができる。
x=wtanθR/(tanθL+tanθR) 式(4)
y=wtanθL・tanθR/(tanθL+tanθR) 式(5)
となり、式(2)、(3)、(4)、(5)から座標(x,y)は、DnL、DnRの関数として表すことができる。
すなわち、左右の受発光部41の受光素子50上の暗点の位置DnL、DnRを検出し、受発光部41の幾何学的配置を考慮することにより、指示体42で指示した点の座標を算出することができる。
なお、上記説明した座標算出方法は、三角測量の原理に基づくものであり、例えば特開平9−91094号公報に記載されている。
指示体60の被検出部である先端部60aには、入射した光を反射しない非反射部64と、入射した光をほぼ同一光路に向けて反射する再帰反射部63とを備えている。
図8(a)(b)は、指示体60の円周方向に略等間隔の3つの再帰反射部63を備えているが、再帰反射部63の夫々の幅が異なる例であり、強度分布検出部81では1つ再帰反射部63が検出される。
図8(f)は、規則的単位を円周方向に4つ備えた例であり、強度分布検出部81では2つの再帰反射部63が検出される。
下記の表1は、図8(a)〜(f)に示す再帰反射部63の外周方向の幅を明部の幅mとし、その前後の非反射部64の外周方向の幅を幅aとし、指示体IDと関連付けて表したことを示しており、特徴値テーブルとして特徴値DB85(図10)に記憶されている。なお、m、aは、画素数を表すため自然数である。
このように、指示体が複数ある場合に、各指示体の再帰反射部63の個数、面積、長さ、幅のうちの少なくとも1つを異ならせたので、入力領域43上に、指示体が複数ある場合でも、夫々の指示体に固有のIDを特定することができる。
また、再帰反射部63がその周面に沿って少なくとも3つ以上が非反射部64と交互に配置されるので、指示体60が受発光部41の方向に正対していない場合でも、指示体に固有の明暗パターンを反射することができる。
図9(a)に示すように、この指示体60は、先端部60aの外周に、再帰反射部63と非反射部64を備えている。受発光部41から放出されたプローブ光45は、ディスプレイの周縁部に設けられた再帰性反射部材44より反射されて戻ってくる。
パターン照合部225では、ピーク箇所の光強度が基準レベルLth以下か否かを判断して2値化する。このとき、図9(c)に示すように、パターン照合部225では、ピーク箇所の光強度が基準レベルLth以下の場合には「0」とし、ピーク箇所の光強度が基準レベルLthよりも大きい場合には「1」とし、結果データがRAMに記憶される。
座標入力装置40は、受発光部41、再帰性反射部材44、指示体60、パターン照合部225、座標検出部224を備えている。なお、座標入力装置40から座標検出部224を除外した部分の構成を備えたものが指示体判定装置80である。
再帰性反射部材44は、上述したように、入射した光を入射角度によらず、ほぼ同一方向に反射する特性をもった部材である。
指示体60は、上述したように、先端部60aの外周に入射した光を反射する再帰反射部63と、入射した光を反射しない非反射部64とを備えている。
受発光部41は、プローブ光45を出射しており、再帰性反射部材44又は指示体60の再帰反射部63により反射された再帰光46を受光する。受発光部41は、複数の画素がライン状に配列されたラインセンサから構成される受光素子50を備え、受光素子50から各画素のアナログ信号が直列に順次にパターン照合部225に出力される。
パターン照合部225は、強度分布検出部81により検出された強度分布データに基づいて、指示体を表す固有の明暗パターンを抽出し、抽出された指示体固有の明暗パターンに基づいて、特徴値DB85から取得したデータと照合し、指示体を特定する指示体IDを発行する。
特徴値DB85は、指示体に設けられた再帰反射部63の外周方向の幅m、非反射部64の外周方向の幅aに指示体IDを関連付けて表したデータを特徴値テーブルとしてEEPROM上に記憶する。
座標検出部224は、上述したように、接触検知装置226が通知する遮断された赤外線の識別情報を利用して、指示体の接触位置の座標位置を算出する。
ステップS5では、パターン照合部225は、ユーザによる指示体60を用いた筆記操作に対応した処理を開始する。
まず、ステップS10では、パターン照合部225は、受光素子50(ラインセンサ)が受光した強度分布を強度分布検出部81において測定する。すなわち、受光素子50から各画素のアナログ信号を順次にA/D変換器に入力し、A/D変換器により1画素分の光強度データ(多値/画素)に順次変換してRAMに記憶する。
次いで、ステップS15では、パターン照合部225は、光強度データ(多値/画素)を2値化して指示体の先端部から反射された光が受光素子50の受光面に形成した明暗パターンを抽出する。すなわち、パターン照合部225は、RAMから1画素分の光強度データを読み出し、光強度データを基準レベルLthと比較し、Lth以下の場合には「0」とし、光強度データが基準レベルLthよりも大きい場合には「1」として2値化する。さらに、パターン照合部225は、2値化した結果データをRAMに記憶する。この結果、指示体の先端部から反射された光が受光素子50の受光面に形成した明暗パターンがRAMに記憶される(図9(c))。
このため、パターン照合部225は、上述したような左側縁部と右側縁部に挟まれたデータ群を明暗パターンとして探索することにより抽出し、この明暗パターンのデータをRAMに記憶する。
以下の説明において、明暗パターンは、指示体60の光強度を表す左側縁部と右側縁部に挟まれた2値のデータ群であることとして説明する。
ここで、図12(d)に示すように、再帰反射部63の中央部が受光面に正対していない場合、ステップS15において抽出された明暗パターンは、例えば「01100・・・00」となる。
次いで、ステップS20では、パターン照合部225は幅変換処理を行う。すなわち、パターン照合部225は、抽出された先端部の明暗パターン中の明部(1)の幅、及び暗部(0)の幅を先端部の周方向の幅に変換する。
ここで、図12及び図13を参照して、ステップS20における幅変換処理について説明する。
図12(a)は指示体60の再帰反射部63の中央部が受光面に正対したときの位置関係を示した断面図であり、(b)はそのときに受光面で検出される光強度の一部であり、(c)はそのときに明暗パターンの一部である。
図12(d)は指示体60の再帰反射部63の中央部が受光面に斜めに非正対したときの位置関係を示した断面図であり、(e)はそのときに受光面で検出される光強度の一部であり、(f)はそのときに明暗パターンの一部である。
図12(c)(f)は夫々に、明部(再帰性反射部44による反射光)、暗部(指示体の非反射部64)、明部(指示体の再帰反射部63)、暗部(指示体の非反射部64)、明部(再帰性反射部44による反射光)が左から右方向に明暗パターンが検出されたものである。
そこで、抽出された先端部の明暗パターン中の明部(1)の幅(位置)、暗部(0)の幅(位置)を先端部の断面の周方向の幅(位置)に変換しておけば、指示体の再帰反射部63が受光面に対して非正対の場合であっても誤認識を低減することを可能となる。
このため、本実施形態では、指示体60の明暗パターンに対して、左側縁部と右側縁部に挟まれた中心点を起点とし、この中心点からの距離を指示体60の外周上の距離に変換するように補正することとする。このような距離−外周距離の変換特性を有する補正係数を予め記憶しておき、この補正係数を用いて明暗パターン(0、1パターン)の距離を表すアドレスを、外周距離を表すアドレスに変換することで、夫々の見かけ上の位置を外周方向の位置に変換する。
図12(e)に示すように、指示体の非反射部64及び再帰性反射部44による反射光が受光面に入射された場合、位置W1〜W2の間が暗部となり、位置W2〜W3の間が明部となり、位置W3〜W5の間が暗部となる。
このとき、左側縁部と右側縁部に挟まれた相対的な中心点をWcと仮定する。
この中心点Wcは、左側縁部W1と右側縁部W5から、
Wc=(1/2)(W1+W5)
が求まる。
図13に示すように、指示体60の先端部62における外周方向の断面は円形状であり、その半径をrとし、相対的中心点Wcの位置を0とすると、右縁部の位置がW5である。ここで、円周の長さは2πrであるから、相対的中心点Wcから外周方向に(1/4)周分だけ進んだ位置は、(π/2)rとなる。
この関係から、相対的中心点Wcから距離が0のときに補正後の距離は0、相対的中心点Wcから距離がrのときに補正後の距離は(π/2)rとなり、両者をrで除算すると、相対的中心点Wcから距離が1のときに補正後の距離は(π/2=1.57)となりる補正係数を生成すればよい。
下記の表2は、上述した距離−外周距離の変換特性を有する補正係数を示す表である。
なお、RAMには、図9(c)に示すように、ステップS15において抽出された、受光素子50の受光面に形成した明暗パターンが記憶されている。
そこで、ステップS20では、パターン照合部225は、RAM上の隣り合うビット間の距離を1とし、各ビット距離に応じた補正係数を乗算することで全体の画素数が1.57(π/2)倍に間延びした補正済明暗パターンを生成し、RAMに記憶することで、算出処理に要する負荷が軽減される。
この際、パターン照合部225は、データ数が増加するため、元になる明暗パターン上にないデータは、隣接する左側又は右側のデータ値(0、1)を用いて補間することとする。
ここで、図13に示すように、再帰反射部63の中央部が受光面に正対していない場合、ステップS20において変換された後の補正済明暗パターンは、例えば「00111100・・・00」となる。
このように、指示体固有の明暗パターンの各位置に所定の補正係数を乗算することにより、被検出部の外周方向の位置に対応した明暗パターンに変換するので、指示体が受発光部の方向に正対していない場合でも、指示体固有の明暗パターンを抽出することができる。
次いで、ステップS25では、パターン照合部225は、補正済明暗パターンを特定する。すなわち、各基準パターン(表1)を参照し、RAMに記憶された補正済明暗パターンに基づいて、補正済明暗パターンがどの基準パターンに属するかを照合する。
ここで、図14を参照して、補正済明暗パターンの特定処理について詳しく説明する。図14は、本発明の実施形態に係る補正済明暗パターンの特定処理を示すサブルーチンのフローチャートである。
まず、パターン照合部225は、特定処理を示すサブルーチン(図14)をコールする。ステップS105では、パターン照合部225は、補正済明暗パターンから明部の個数と暗部の個数を算出し、分類テーブルに記憶する。この際、「1」が連続した明部を1個とし、「0」が連続した暗部は2つあるため2とする。
表3は、当該補正済明暗パターンの特徴を種類毎に数値化してRAM上に記憶するための分類テーブルである。
次いで、ステップS115では、パターン照合部225は、最小の明部幅/最大の明部幅の比率R2を算出し、分類テーブルに記憶する。ここで、例えば、最小の明部幅を4、最大の明部幅を4とすると、R2は1となる。
次いで、ステップS120では、パターン照合部225は、最小の暗部幅/最大の明部幅の比率R3を算出し、分類テーブルに記憶する。ここで、例えば、最小の暗部幅を2、最大の明部幅を4とすると、R3は0.5となる。
表4は、指示体IDに対応したNm、Na、R1、R2、R3の期待値を記憶した基準テーブルである。夫々の期待値は特徴値テーブル(表1)に基づいて算出することができる。
次いで、ステップS135では、パターン照合部225は、各総合点に対して、大きい順に順位付けし、最高順位を獲得した指示体IDを特定する。なお、順位は、総合点が高い順に順位付けした数値を表す。
この結果、補正済明暗パターンが複数の基準パターンの何れかに属していると照合できた場合には、補正済明暗パターンに対応する基準パターンの指示体IDを特定し、RAMに記憶する。一方、補正済明暗パターンが複数の基準パターンの何れにも属していない場合には、エラーフラグをRAMに記憶する。
この結果、スコアテーブルから読み出した最高順位「1」を有する指示体IDとして「#1」を特定することができる。
パターン照合の結果が無である場合、補正済明暗パターンが複数の基準パターンの何れにも属していないため、ステップS30では、パターン照合部225は、補正済明暗パターンをEEPROMにパターン登録し、ステップS40において、パターン照合部225は、新たな指示体ID(表1にない)を付与する。
一方、パターン照合の結果が有である場合、ステップS40では、パターン照合部225は、RAMから読み出した指示体IDを付与する。
次いで、ステップS45では、パターン照合部225は、付与された指示体IDを座標データに関連付けする。すなわち、パターン照合部225は、付与された指示体IDを、上述した座標検出部224により算出された指示体の接触位置の座標位置に関連付けする。
次いで、ステップS50では、パターン照合部225は、筆記処理を終了する。
また、強度分布データを利用して、遮光位置の座標を特定し、座標に指示体IDを関連付けて出力することができ、簡単な構成で指示体に固有のIDと座標を関連付けて特定することができる。
さらに、明暗パターンがどの基準パターンに属するかを判別することにより指示体IDを特定することができる。
また、各基準パターンは、明暗パターンの明部の個数、暗部の個数、明部の幅、暗部の幅のうち少なくとも1つを異ならせたことで、指示体が複数ある場合でも、夫々の指示体に固有のIDを特定することができる。
<第1態様>
本態様の指示体判定装置80は、所定範囲の入力領域43を進行する光を出射する少なくとも二つの受発光部41と、入力領域43の周縁部に設けられ、受発光部41から出射された光をほぼ同一光路に向けて反射する再帰性反射部材44と、入力領域43内を移動し、被検出部を有した指示体60と、再帰性反射部材44により反射された光を夫々受光し、受光した各光の強度分布を検出する強度分布検出部81と、を備え、指示体60の被検出部には、入射した光を反射しない非反射部64と、入射した光をほぼ同一光路に向けて反射する再帰反射部63と、を備え、強度分布検出部81により検出された強度分布データに基づいて、指示体60を表す固有の明暗パターンを抽出するパターン抽出手段(パターン照合部225)と、パターン抽出手段により抽出された指示体固有の明暗パターンに基づいて、指示体60を特定する指示体IDを発行する特定手段(パターン照合部225)と、を備えたことを特徴とする。
本態様によれば、指示体の被検出部に非反射部と再帰反射部とを備え、受光した光の強度分布データに基づいて、指示体を表す固有の明暗パターンを抽出し、指示体固有の明暗パターンに基づいて、指示体を特定する指示体IDを発行するので、複数の指示体が画面上において操作された場合であっても、夫々の指示体を判別することができる。
本態様の指示体判定装置80は、指示体が複数ある場合に、各指示体の再帰反射部63の個数、面積、長さ、幅のうちの少なくとも1つを異ならせたことを特徴とする。
本態様によれば、指示体が複数ある場合に、各指示体の再帰反射部63の個数、面積、長さ、幅のうちの少なくとも1つを異ならせたので、入力領域43上に、指示体が複数ある場合でも、夫々の指示体に固有のIDを特定することができる。
本態様の再帰反射部63は、その周面に沿って少なくとも3つ以上が非反射部64と交互に配置されることを特徴とする。
本態様によれば、再帰反射部63がその周面に沿って少なくとも3つ以上が非反射部64と交互に配置されるので、指示体60が受発光部41の方向に正対していない場合でも、指示体に固有の明暗パターンを反射することができる。
本態様の指示体判定装置80は、パターン抽出手段(パターン照合部225)により抽出された指示体固有の明暗パターンの各位置に所定の補正係数を乗算することにより、被検出部の外周方向の位置に対応した明暗パターンに変換する明暗パターン変換手段(パターン照合部225)を備えることを特徴とする。
本態様によれば、指示体固有の明暗パターンの各位置に所定の補正係数を乗算することにより、被検出部の外周方向の位置に対応した明暗パターンに変換するので、指示体が受発光部の方向に正対していない場合でも、指示体固有の明暗パターンを抽出することができる。
本態様の指示体判定装置80は、複数の基準パターンと、各基準パターンが表す指示体IDを関連付けて記憶する特徴値DB85を備え、特定手段(パターン照合部225)は、各基準パターンを参照し、明暗パターンがどの基準パターンに属するかを判別することにより指示体IDを特定することを特徴とする。
本態様によれば、明暗パターンがどの基準パターンに属するかを判別することにより指示体IDを特定することができる。
本態様の指示体判定装置80は、各基準パターンは、明暗パターンの明部の個数、暗部の個数、明部の幅、暗部の幅のうち少なくとも1つを異ならせたことを特徴とする。
本態様によれば、各基準パターンは、明暗パターンの明部の個数、暗部の個数、明部の幅、暗部の幅のうち少なくとも1つを異ならせたことで、指示体が複数ある場合でも、夫々の指示体に固有のIDを特定することができる。
本態様の座標入力装置40は、第7乃至第6態様の何れか1つに記載の指示体判定装置80を備え、強度分布検出部81により検出された強度分布データを利用して、入力領域43を進行する光が指示体60の非反射部64により遮られた際の遮光位置の座標を特定し、座標に指示体IDを関連付けて出力する座標特定手段(座標検出部224)を備えたことを特徴とする。
本態様によれば、強度分布データを利用して、遮光位置の座標を特定し、座標に指示体IDを関連付けて出力することができ、簡単な構成で指示体に固有のIDと座標を関連付けて特定することができる。
本態様の指示体判定方法は、所定範囲の入力領域43を進行する光を出射する少なくとも二つの受発光部41と、入力領域43の周縁部に設けられ、受発光部41から出射された光をほぼ同一光路に向けて反射する再帰性反射部材44と、入力領域43内を移動し、被検出部を有した指示体60と、再帰性反射部材44により反射された光を夫々受光し、受光した各光の強度分布を検出する強度分布検出部81と、指示体60の被検出部には、入射した光を反射しない非反射部64と、入射した光をほぼ同一光路に向けて反射する再帰反射部63と、を備えた指示体判定装置63による指示体判定方法であって、強度分布検出部81により検出された強度分布データに基づいて、指示体60を表す固有の明暗パターンを抽出するパターン抽出ステップ(S15)と、パターン抽出ステップにより抽出された指示体固有の明暗パターンに基づいて、指示体を特定する指示体IDを発行する特定ステップ(S25)と、を備えたことを特徴とする。
本態様によれば、受光した光の強度分布データに基づいて、指示体を表す固有の明暗パターンを抽出し、指示体固有の明暗パターンに基づいて、指示体を特定する指示体IDを発行するので、複数の指示体が画面上において操作された場合であっても、夫々の指示体を判別することができる。
本態様の指示体判定方法は、第8態様に記載の指示体判定方法を利用し、強度分布検出部810により検出された強度分布データを利用して、入力領域43を進行する光が指示体60の非反射部64により遮られた際の遮光位置の座標を特定し、座標に指示体IDを関連付けて出力する座標特定ステップ(S45)を備えたことを特徴とする。
本態様によれば、強度分布データを利用して、遮光位置の座標を特定し、座標に指示体IDを関連付けて出力することができ、簡単な構成で指示体に固有のIDと座標を関連付けて特定することができる。
本態様のプログラムは、第8又は第9態様に記載の各ステップをプロセッサに実行させることを特徴とする。
本態様によれば、プロセッサにより、強度分布データを利用して、遮光位置の座標を特定し、座標に指示体IDを関連付けて出力することができ、簡単な構成で指示体に固有のIDと座標を関連付けて特定することができる。
Claims (10)
- 所定範囲の入力領域を進行する光を出射する少なくとも二つの光出射手段と、
前記入力領域の周縁部に設けられ、前記各光出射手段から出射された光をほぼ同一光路に向けて反射する反射手段と、
前記入力領域内を移動し、被検出部を有した指示体と、
前記反射手段により反射された光を夫々受光し、受光した各光の強度分布を検出する強度分布検出手段と、を備えた指示体判定装置であって、
前記指示体の被検出部には、
入射した光を反射しない非反射部と、入射した光をほぼ同一光路に向けて反射する再帰反射部と、を備え、
前記強度分布検出手段により検出された強度分布データに基づいて、前記指示体を表す固有の明暗パターンを抽出するパターン抽出手段と、
前記パターン抽出手段により抽出された前記指示体固有の明暗パターンに基づいて、前記指示体を特定する指示体IDを発行する特定手段と、を備えたことを特徴とする指示体判定装置。 - 前記指示体が複数ある場合に、各指示体の前記再帰反射部の個数、面積、長さ、幅のうちの少なくとも1つを異ならせたことを特徴とする請求項1記載の指示体判定装置。
- 前記再帰反射部は、その周面に沿って少なくとも3つ以上が前記非反射部と交互に配置されることを特徴とする請求項1又は2記載の指示体判定装置。
- 前記パターン抽出手段により抽出された前記指示体固有の明暗パターンの各位置に所定の補正係数を乗算することにより、前記被検出部の外周方向の位置に対応した明暗パターンに変換する明暗パターン変換手段を備えることを特徴とする請求項1記載の指示体判定装置。
- 複数の前記基準パターンと、前記各基準パターンが表す指示体IDを関連付けて記憶する基準パターン記憶手段を備え、
前記特定手段は、
前記各基準パターンを参照し、前記明暗パターンがどの基準パターンに属するかを判別することにより前記指示体IDを特定することを特徴とする請求項1記載の指示体判定装置。 - 前記各基準パターンは、明暗パターンの明部の個数、暗部の個数、明部の幅、暗部の幅のうち少なくとも1つを異ならせたことを特徴とする請求項5記載の指示体判定装置。
- 請求項1乃至6の何れか1記載の指示体判定装置を備え、
前記強度分布検出手段により検出された強度分布データを利用して、前記入力領域を進行する光が前記指示体の前記非反射部により遮られた際の遮光位置の座標を特定し、前記座標に前記指示体IDを関連付けて出力する座標特定手段を備えたことを特徴とする座標入力装置。 - 所定範囲の入力領域を進行する光を出射する少なくとも二つの光出射手段と、
前記入力領域の周縁部に設けられ、前記各光出射手段から出射された光をほぼ同一光路に向けて反射する反射手段と、
前記入力領域内を移動し、被検出部を有した指示体と、
前記反射手段により反射された光を夫々受光し、受光した各光の強度分布を検出する強度分布検出手段と、
前記指示体の被検出部には、入射した光を反射しない非反射部と、入射した光をほぼ同一光路に向けて反射する再帰反射部と、を備えた指示体判定装置による指示体判定方法であって、
前記強度分布検出手段により検出された強度分布データに基づいて、前記指示体を表す固有の明暗パターンを抽出するパターン抽出ステップと、
前記パターン抽出ステップにより抽出された前記指示体固有の明暗パターンに基づいて、前記指示体を特定する指示体IDを発行する特定ステップと、を備えたことを特徴とする指示体判定方法。 - 請求項8記載の指示体判定方法を利用し、
前記強度分布検出手段により検出された強度分布データを利用して、前記入力領域を進行する光が前記指示体の前記非反射部により遮られた際の遮光位置の座標を特定し、前記座標に前記指示体IDを関連付けて出力する座標特定ステップを備えたことを特徴とする座標入力方法。 - 請求項8又は9記載の各ステップをプロセッサに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014149799A JP6476626B2 (ja) | 2014-07-23 | 2014-07-23 | 指示体判定装置、座標入力装置、指示体判定方法、座標入力方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014149799A JP6476626B2 (ja) | 2014-07-23 | 2014-07-23 | 指示体判定装置、座標入力装置、指示体判定方法、座標入力方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016024717A true JP2016024717A (ja) | 2016-02-08 |
JP6476626B2 JP6476626B2 (ja) | 2019-03-06 |
Family
ID=55271401
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014149799A Expired - Fee Related JP6476626B2 (ja) | 2014-07-23 | 2014-07-23 | 指示体判定装置、座標入力装置、指示体判定方法、座標入力方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6476626B2 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006031275A (ja) * | 2004-07-14 | 2006-02-02 | Canon Inc | 座標入力装置およびその制御方法 |
JP2009245226A (ja) * | 2008-03-31 | 2009-10-22 | Sega Corp | 画像処理方法並びに装置、及び載置物 |
JP2010108052A (ja) * | 2008-10-28 | 2010-05-13 | Canon Inc | 座標入力装置 |
JP2010262340A (ja) * | 2009-04-30 | 2010-11-18 | Panasonic Corp | 入力表示システム |
US20110242006A1 (en) * | 2010-04-01 | 2011-10-06 | Smart Technologies Ulc | Interactive input system and pen tool therefor |
JP2013069200A (ja) * | 2011-09-26 | 2013-04-18 | Nec Infrontia Corp | バーコード読取装置及び方法 |
JP2013206127A (ja) * | 2012-03-28 | 2013-10-07 | Denso Wave Inc | バーコード読取装置 |
-
2014
- 2014-07-23 JP JP2014149799A patent/JP6476626B2/ja not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006031275A (ja) * | 2004-07-14 | 2006-02-02 | Canon Inc | 座標入力装置およびその制御方法 |
JP2009245226A (ja) * | 2008-03-31 | 2009-10-22 | Sega Corp | 画像処理方法並びに装置、及び載置物 |
JP2010108052A (ja) * | 2008-10-28 | 2010-05-13 | Canon Inc | 座標入力装置 |
JP2010262340A (ja) * | 2009-04-30 | 2010-11-18 | Panasonic Corp | 入力表示システム |
US20110242006A1 (en) * | 2010-04-01 | 2011-10-06 | Smart Technologies Ulc | Interactive input system and pen tool therefor |
JP2013069200A (ja) * | 2011-09-26 | 2013-04-18 | Nec Infrontia Corp | バーコード読取装置及び方法 |
JP2013206127A (ja) * | 2012-03-28 | 2013-10-07 | Denso Wave Inc | バーコード読取装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6476626B2 (ja) | 2019-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4442877B2 (ja) | 座標入力装置およびその制御方法 | |
CN102073418B (zh) | 坐标定位方法和设备 | |
US9454260B2 (en) | System and method for enabling multi-display input | |
JP2011521331A (ja) | 光学ベゼル付き対話型入力装置 | |
JP6187067B2 (ja) | 座標検出システム、情報処理装置、プログラム、記憶媒体、座標検出方法 | |
US20110122099A1 (en) | Multiple-input touch panel and method for gesture recognition | |
JP4812124B2 (ja) | 座標入力装置、座標検出方法、及びコンピュータプログラム | |
JP2012185798A (ja) | 座標検出システム、情報処理装置、方法、プログラムおよび記録媒体 | |
TWI511006B (zh) | 光學影像式觸控系統與觸控影像處理方法 | |
JP6176013B2 (ja) | 座標入力装置及び画像処理装置 | |
JP5553920B2 (ja) | 表示パネルおよび表示装置 | |
US10146424B2 (en) | Display of objects on a touch screen and their selection | |
JP2016021229A (ja) | 入力装置 | |
JP6476626B2 (ja) | 指示体判定装置、座標入力装置、指示体判定方法、座標入力方法、及びプログラム | |
JP4560224B2 (ja) | 情報入力装置、情報入出力システム、プログラム及び記憶媒体 | |
JP4401737B2 (ja) | 座標入力装置及びその制御方法、プログラム | |
KR20200039995A (ko) | 공간 터치 감지 방법 및 이를 수행하는 표시 장치 | |
JP4615178B2 (ja) | 情報入出力システム、プログラムおよび記憶媒体 | |
JPWO2013161245A1 (ja) | 表示制御システム、表示装置及び表示パネル | |
KR101088019B1 (ko) | 원격 데이터 입력 시스템 및 그에 따른 데이터 입력 방법 | |
KR20050077230A (ko) | 펜 형의 위치 입력 장치 | |
JP2002268809A (ja) | 情報入出力システム、情報制御方法、プログラムおよび記録媒体 | |
JP2010170468A (ja) | 座標検出装置、その座標検出方法、およびコンピュータが実行可能なプログラム | |
WO2022191276A1 (ja) | 操作入力装置、操作入力方法及びプログラム | |
CN102479002A (zh) | 光学触控系统及其感测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170707 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180327 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180605 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180724 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190121 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6476626 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |