JP2016110492A - 光学式位置情報検出装置、プログラム、対象の紐付け方法 - Google Patents

光学式位置情報検出装置、プログラム、対象の紐付け方法 Download PDF

Info

Publication number
JP2016110492A
JP2016110492A JP2014248995A JP2014248995A JP2016110492A JP 2016110492 A JP2016110492 A JP 2016110492A JP 2014248995 A JP2014248995 A JP 2014248995A JP 2014248995 A JP2014248995 A JP 2014248995A JP 2016110492 A JP2016110492 A JP 2016110492A
Authority
JP
Japan
Prior art keywords
image
captured
instruction
time
blob
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014248995A
Other languages
English (en)
Inventor
康宏 小野
Yasuhiro Ono
康宏 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2014248995A priority Critical patent/JP2016110492A/ja
Priority to US14/950,128 priority patent/US9721353B2/en
Publication of JP2016110492A publication Critical patent/JP2016110492A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ゴースト点の検知を防止することができる光学式位置情報検出装置の提供。【解決手段】位置情報を検出する光学式位置情報検出装置１００（コンピュータ）であって、表示面における周辺部の画像を撮像する撮像手段と、撮像手段により第１の時刻に撮像された第１の画像及び撮像手段により第１の時刻よりも後の第２の時刻に撮像された第２の画像を取得する画像取得手段１１と、１つ以上の指示対象が撮像されている第１の画像に基づく第１の特徴量と、１つ以上の指示対象が撮像されている第２の画像に基づく第２の特徴量とを用いて、表示面において第１の画像に撮像された指示対象それぞれから第２の画像に撮像された指示対象それぞれまでの移動距離を算出する移動距離算出手段１２と、予め定められた移動距離に対する制約に基づいて、第２の画像に撮像された指示対象それぞれと第１の画像に撮像された指示対象とを対応付ける対応付け手段１３と、を有する。【選択図】図１０

Description

本発明は、光学式位置情報検出装置、プログラム及び対象の紐付け方法に関する。
従来のホワイトボードに情報の取込機能や表示機能、通信機能等が追加された電子的なホワイトボードが知られている。ユーザが電子ホワイトボードに書き込んだ情報は座標データとして蓄積され、電子ホワイトボードがディスプレイの表示面に描画する。したがって、ユーザは従来のホワイトボードと同様に文字や図形などを描画でき、さらに描画データを保存したり他の電子ホワイトボードや端末に送信するなどして活用することができる。
電子ホワイトボードがユーザにより入力された座標を取得する方式の１つとして光学的に取得する方式がある。図１（ａ）は、光学的な座標検出方式の構成を模式的に示す図の一例である。ディスプレイ２００の左上隅と右上隅のそれぞれに撮像部３２ａ、３２ｂが設置されている。ユーザは先端に発光部を有する電子ペンを用いて又は発光部を有さない指やペン状部材を用いて（以下、指示部材という）ディスプレイ２００に文字や図形を描画する。電子ホワイトボードは２つの撮像部３２ａ，３２ｂで指示部材をそれぞれ撮像し、三角測量の原理でディスプレイ２００の表示面における指示部材の座標を算出する。撮像部３２ａ、３２ｂが撮像した指示部材をターゲットと称する。図１（ａ）では１つのターゲット１が撮像される。
ところで、タッチパネルなどでは指などによる複数のタッチ位置を同時に検出することが可能になっている。電子ホワイトボードにおいても、複数のユーザがそれぞれ指示部材を同時に使用できること又は一人のユーザが複数の指示部材を同時に使用できることが望まれる場合がある。
しかし、複数の指示部材が同時に使用される場合に、電子ホワイトボードがゴースト点を検知してしまうことがある。ゴースト点とは、実際には指示部材がない位置で指示部材が検知されること又はその座標である。ゴースト点が検知されると電子ホワイトボードが正しい応答をしない（例えば、指示部材で筆記した位置と異なる位置に描画点が描かれる、複数本の指を使って操作した場合に正しい応答が得られないなど）症状が生じる。
図１（ｂ）を参照してゴースト点について説明する。ディスプレイ２００の表示面に２つのターゲット１，２が存在する。この場合、ゴースト点ｇ１は、撮像部３２ａとターゲット１とを結ぶ直線と、撮像部３２ｂとターゲット２とを結ぶ直線との交点に発生する。ゴースト点ｇ２は、撮像部３２ａとターゲット２とを結ぶ直線と、撮像部３２ｂとターゲット１とを結ぶ直線との交点に発生する。
従来からこのようなゴースト点を排除する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、ターゲットの過去の位置や速度をカルマンフィルタなどに入力した現在のターゲット位置を予測することにより、ゴースト点の検知を抑制する方法が開示されている。
しかしながら、特許文献１に記載された方法では、例えば１つの撮像部から見て２つのターゲットの位置が接近している場合に、ターゲットを識別しながら追跡することが困難になるためゴースト点を検知するおそれがあるという問題がある。
本発明は、上記課題に鑑み、ゴースト点の検知を防止することができる光学式位置情報検出装置を提供することを目的とする。
上記課題に鑑み、本発明は、情報が表示される表示面において指示対象によって指示された位置情報を検出する光学式位置情報検出装置であって、前記表示面における周辺部の画像を撮像する撮像手段と、前記撮像手段により第１の時刻に撮像された第１の画像及び前記撮像手段により前記第１の時刻よりも後の第２の時刻に撮像された第２の画像を取得する画像取得手段と、１つ以上の指示対象が撮像されている前記第１の画像に基づく第１の特徴量と、１つ以上の指示対象が撮像されている前記第２の画像に基づく第２の特徴量とを用いて、前記表示面において前記第１の画像に撮像された指示対象それぞれから前記第２の画像に撮像された指示対象それぞれまでの移動距離を算出する移動距離算出手段と、予め定められた移動距離に対する制約に基づいて、前記第２の画像に撮像された指示対象それぞれと前記第１の画像に撮像された指示対象とを対応付ける対応付け手段と、を有する。
ゴースト点の検知を防止することができる光学式位置情報検出装置を提供することができる。
光学的な座標検出方式の構成を模式的に示す図の一例である。 ２つのターゲットが存在する場合に１つの撮像部がターゲットを１つだけ撮像するターゲットの配置を示す図の一例である。 撮像部が撮像するターゲット１，２の配置を示す図の一例である。 １つの撮像部がターゲットを１つだけ撮像する場合のゴースト点の検知の抑制方法を説明する図の一例である。 １つの撮像部がターゲット１，２を撮像した場合のゴースト点の検知の抑制方法を説明する図の一例である。 １つの撮像部が２つのターゲット１，２を撮像した際のゴースト点の検知の抑制方法を説明する図の一例である。 描画システムの概略図の一例である。 電子ペンの概略構成図の一例である。 コンピュータのハードウェア構成図の一例である。 コンピュータの機能ブロック図の一例である。 距離算出部が算出する距離Ｄを構成する２成分を説明する図の一例である。 水平方向成分D_horizontalの算出方法を模式的に説明する図の一例である。 深さ方向成分D_depthの算出方法を模式的に説明する図の一例である。 時刻ｔに３つめのblobが現れた場合の紐付けについて説明する図の一例である。 ターゲットが存在しない場合の電子ペン２の誤動作を説明する図の一例である。 時刻ｔ−１に２つのblobが撮像されたが時刻ｔに１つのblobだけが撮像された場合の紐付けについて説明する図の一例である。 コンピュータの動作手順を示すフローチャート図の一例である
以下、本発明を実施するための形態について図面を参照しながら説明する。
＜用語について＞
まず、本実施形態で用いる用語について説明する。
指示部材…発光部を有する電子ペン、発光部を有さない指、ペン状部材などディスプレイ２００の表示面を指示できる部材を指示部材と称する。指示部材は指示対象の一例である。
ターゲット…撮像部が撮像する指示部材をターゲットと称する。
blob…撮像部が撮像したターゲットの像である。blobには実際にはターゲットがなくてもノイズとして撮像された像が含まれる。なお、ノイズとはターゲット以外の像をいう。
座標…電子ホワイトボードのディスプレイ２００の表示面における指示部材の位置を示す位置情報である。この座標は任意に設定された原点と三次元の座標系において１点を示す世界座標で表される。あるいは、ディスプレイ２００のコーナー（例えば、左上）を原点とする二次元の座標系を用いて表されてもよい。
＜ゴースト点が検知されやすい状況＞
本実施形態にかかる電子ホワイトボードを説明するため、従来技術（特許文献１）においてゴースト点が検知されやすい状況について説明する。なお、本実施形態の電子ホワイトボードは従来技術においてゴースト点が検知されやすい状況に限られずにゴースト点の検知を抑制できる。
従来技術においてゴースト点が検知されやすい状況は、１つの撮像部３２により撮像される２つのターゲットの位置が比較的近い場合、より具体的には２つのターゲットと撮像部を結ぶ直線のなす角が比較的小さい場合に生じる。これらの場合を「ターゲットからの入射角が比較的小さい場合」と称する。以下、次の２つのケースに分類してそれぞれ説明する。
１．２つのターゲットが存在する場合に１つの撮像部３２がターゲットを１つ検出する場合
図２は、２つのターゲットが存在する場合に１つの撮像部３２がターゲットを１つだけ撮像するターゲットの配置を示す図の一例である。なお、ターゲットの符号に付与されたｔ、ｔ−１は撮像時刻を示す。
時刻t-1：図２（ａ）に示すように、２つのターゲット１，２が撮像部３２ａと電子ペンを結ぶ直線上に存在するため、撮像部３２ａは１つのターゲット１のみを撮像する。
時刻t：図２（ｂ）に示すように、ターゲット１がわずかにｘ方向に移動し、ターゲット２は時刻ｔと同じ場所に静止しているものとする。図２（ｂ）のターゲット１，２の位置が実際のターゲット１，２の位置である。
しかしながら、特許文献１の技術ではターゲット１の過去の位置と速度を利用して現在のターゲット１の位置を推定するため、時刻ｔに撮像部３２ａが撮像するターゲット２をターゲット１と取り違えるおそれがある。すなわち、ターゲット１をターゲット１として追跡できず、ターゲット２をターゲット２として追跡できない。この場合、電子ホワイトボードは図２（ｃ）に示す位置にゴースト点ｇ１、ｇ２を検出してしまう。
２．２つのターゲット１，２が存在する場合に、撮像部３２ａがターゲット１，２を検出する場合
図３は、撮像部３２ａが撮像するターゲット１，２の配置を示す図の一例である。
時刻t-1：図３（ａ）に示すように、２つのターゲット１，２が比較的小さい入射角で撮像部３２ａにより撮像されている。撮像部３２ａは２つターゲット１，２を検出する。
時刻t：図３（ｂ）に示すように、ターゲット１が、時刻ｔ−１において撮像部３２ａとターゲット２を結ぶ直線上に移動したものとする。また、ターゲット２が、時刻ｔ−１において撮像部３２ａとターゲット１を結ぶ直線上に移動したものとする。図３（ｂ）のターゲット１，２の位置が実際のターゲット１，２の位置である。
しかしながら、特許文献１の技術ではターゲット１、２の過去の位置と速度を利用して現在のターゲット１、２の位置を推定するため、時刻ｔに撮像部３２ａが撮像するターゲット２をターゲット１と、ターゲット１をターゲット２とそれぞれ取り違えるおそれがある。この場合、電子ホワイトボードは図３（ｃ）に示す位置にゴースト点ｇ１、ｇ２を検出してしまう。
＜本実施形態におけるゴースト点の検知の抑制方法の概略＞
次に、図４を用いて上記１のゴースト点の抑制について説明する。まず、ターゲットの配置は図２（ａ）のとおりであるとする。図４は、１つの撮像部３２がターゲットを１つだけ撮像する場合のゴースト点の検知の抑制方法を説明する図の一例である。図４（ａ）〜（ｄ）は撮像部３２ａが撮像した画像Pctを示す。時刻ｔ−１にはターゲット１のみが、時刻ｔではターゲット１、２が撮像されている。
ユーザの描画速度や時間間隔の制約を考慮すれば、時刻ｔのターゲットは時刻ｔ−１のターゲットに対しそれほど大きく離れた位置に移動しないはずである。本実施形態では、これを利用して、時刻ｔのターゲット１、２のどちらかを時刻ｔ−１のターゲット１と紐づける。簡単には、時刻ｔとｔ−１の間にターゲット１，２の移動距離が最も少なくなるように、時刻ｔのターゲット１、２のどちらかを時刻ｔ−１のターゲット１と紐づける。
ここで、電子ホワイトボードが単に時刻ｔのターゲット１，２のピクセル位置と時刻ｔ−１のターゲット１のピクセル位置とを比較しても移動距離を精度よく求めることができない。これは、時刻ｔとｔ−１の２つのターゲットの間のピクセル数が同じでも、撮像部３２から見てターゲットが遠方にある場合と近傍にある場合とではターゲットの移動距離が異なるためである。また、同じピクセル位置に撮像されていても、撮像部３２から離れていく方向に移動している場合又は撮像部３２に対し接近する方向に移動している場合がある。
そこで、本実施形態の電子ホワイトボードは以下のように、撮像部３２とターゲットとの距離を考慮して、時刻ｔ−１から時刻ｔまでの間にターゲットが移動した距離を評価する。なお、詳細な計算については後述する。
まず、撮像部３２ａに関して以下の処理を行う。説明のため、以下のように時刻ｔのターゲットiの像をblobt,i（iはターゲットの識別番号）、時刻ｔ−１のターゲットiの像をblobt-1,iで示す。図４（ａ）（ｂ）によれば、時刻ｔにはblobt,1とblobt,2が得られているが、時刻ｔ−１にはblobt-1,1のみが得られている。
電子ホワイトボードは、blobt,1とblobt-1,1の距離Ｄ１の二乗と、blobt,2とblobt-1,1の距離Ｄ２の二乗のうち小さい方を決定する。そして小さい方の時刻ｔのblob t-1,iと時刻ｔ−１のblob t-1,1とを紐づける。これにより、時刻ｔのターゲット１又は２を時刻ｔ−１のターゲット１と紐づけることができる。すなわち、時刻ｔ−１のターゲット１を追跡して時刻ｔのターゲット１を特定できる。
数式で表すと、時刻ｔ−１と時刻ｔのblob間の距離ＤをＤ（blobt-1,1, blobt,i）、i∈｛１，２｝として、電子ホワイトボードはＤ（blobt-1,1, blobt,i）2を最小にするblob t-1,1をblobt,iをと紐づける。
なお、図４からは直接的に距離を求めることはできないが、図４（ａ）（ｂ）が正しい紐付け、図４（ｃ）（ｄ）が誤った紐付けになっている。また、距離Ｄ１、Ｄ２の二乗を比較したのは後述する算出式によるものであり、距離Ｄ１、Ｄ２を比較してもよい。ただし、二乗を比較する場合は平方根を算出する必要がないため処理負荷が低減される。
同様の処理を撮像部３２ｂについても行う。図５は、１つの撮像部３２ｂがターゲット１，２を撮像した場合のゴースト点の検知の抑制方法を説明する図の一例である。
図２（ａ）（ｂ）に示すように、撮像部３２ｂからは時刻ｔ、時刻ｔ−１の両方で２つのターゲット１，２が撮像されているので４つの距離Ｄ１〜Ｄ４が求められる。電子ホワイトボードは、blobt,1とblobt-1,1の距離Ｄ１の二乗と、blobt,2とblobt-1,2の距離Ｄ２の二乗の合計１求める。同様に、電子ホワイトボードは、blobt,1とblobt-1,2の距離Ｄ３の二乗と、blobt,2とblobt-1,1の距離Ｄ４の二乗の合計２求める。
そして、電子ホワイトボードは、合計１と合計２のうち小さい方を決定し、小さい方の組み合わせにおける時刻ｔのblob t,1or2と時刻ｔ−１のblob t-1,1or2とを紐づける。これにより、時刻ｔのblob tを時刻ｔ−１のblob t-1と紐づけることができる。すなわち、時刻ｔ−１のターゲット１、２を追跡して時刻ｔのターゲット１、２を特定できる。
数式で表すと、電子ホワイトボードは、Ｄ（blobt-1,1, blobt,i）2＋Ｄ（blobt-1,2, blobt,j）2、（ｉ，ｊ）∈｛（１，２），（２，１）｝として、距離Ｄの２乗の合計が最小となるblob t-1とblobtを紐づける。
図５からは正しい紐付けが明らかではないが、図５（ａ）（ｂ）が正しい紐付け、図５（ｃ）（ｄ）が誤った紐付けになっている。また、距離Ｄの二乗の合計を比較したのは後述する算出式によるものであり、距離Ｄの合計を比較してもよい。
電子ホワイトボードはこの紐付け情報を使って三角測量を行い、複数の対象それぞれの座標の位置を算出するので、ゴースト点の発生を抑制できる。
次に、図６を用いて上記２のゴースト点の抑制について説明する。ターゲットの配置は図３（ａ）のとおりであるとする。図６は、１つの撮像部３２ａが２つのターゲット１，２を撮像した際のゴースト点の検知の抑制方法を説明する図の一例である。
撮像部３２ａからは時刻ｔ、時刻ｔ−１の両方で２つのターゲットが撮像されているので、４つの距離Ｄ１〜Ｄ４が求められる。電子ホワイトボードは、blobt,1とblobt-1,2の距離Ｄ１の二乗と、blobt,2とblobt-1,1の距離Ｄ２の二乗の合計１求める。同様に、電子ホワイトボードは、blobt,1とblobt-1,1の距離Ｄ３の二乗と、blobt,2とblobt-1,2の距離Ｄ４の二乗の合計２求める。
そして、電子ホワイトボードは合計１と合計２のうち小さい方を決定し、小さい方の組み合わせにおける時刻ｔのblob t,1or2と時刻ｔ−１のblob t-1,1or2とを紐づける。これにより、時刻ｔのblob tを時刻ｔ−１のblob t-1と紐づけることができる。
数式で表すと、電子ホワイトボードは、Ｄ（blobt-1,1, blobt,i）2＋Ｄ（blobt-1,2, blobt,j）2、（ｉ，ｊ）∈｛（１，２），（２，１）｝として、距離Ｄの２乗の合計が最小となるblob t-1とblobtを紐づける。
図６からは正しい紐付けが明らかではないが、図６（ａ）（ｂ）が正しい紐付け、図６（ｃ）（ｄ）が誤った紐付けになっている。また、距離Ｄの二乗の合計を比較したのは後述する算出式によるものであり、距離Ｄの合計を比較してもよい。
なお、上記２のゴースト点の抑制に関し、撮像部３２ｂにおけるblob tとblobt-1 の紐付け方法は図５及びその説明と同様なので重複した図示を控えた。
＜構成例＞
図７は、本実施形態における描画システム４００の概略図の一例を示す。描画システム４００は、ディスプレイ２００、４つの撮像部３２ａ〜３２ｄ（以下、４つの撮像部を区別しないで説明する場合は撮像部３２という）と、４つの再帰反射板４１ａ〜４１ｄ（以下、４つの再帰反射板を区別しないで説明する場合は再帰反射板４１という）、及び、コンピュータ１００を有する。コンピュータ１００は光学式位置情報取得装置の一例である。また、コンピュータ１００には画像出力装置５０が接続されているが、画像出力装置５０はなくてもよい。すなわち、電子ホワイトボード３００は少なくともディスプレイ２００とコンピュータ１００を有し、その他の構成要素を適宜、有していてもよい。
ディスプレイ２００は液晶ディスプレイ、プラズマ発光型ディスプレイ、有機ＥＬ型ディスプレイ、電気泳動型ディスプレイ、又は、ＦＥＤ（Field Emission Display）などどのようなものでもよく表示方式は問わない。また、自発光するものの他、プロジェクターやリアプロジェクションなどの投影装置で映像を投影してディスプレイを構築してもよい。本実施形態ではディスプレイ２００がタッチパネルを有している必要はないが、有していてもよい。
４つの再帰反射板４１ａ〜４１ｄは、ディスプレイ２００の周囲に固定されて配置されていてもよく、着脱可能に装着されていてもよい。再帰反射板４１は電子ペンが用いられた描画では必要ないためである。ただし、再帰反射板４１がある場合、ユーザは発光部を有さない指示部材を用いて座標を入力できる。
コンピュータ１００には、描画システム４００に対応した後述の描画システム用プログラムがインストールされている。コンピュータ１００がこの描画システム用プログラムを実行することで、撮像部３２が撮像した画像に基づきユーザが電子ペン２で指示した座標を検出する。コンピュータ１００はその座標に基づきディスプレイ２００に点や線などの視覚情報を描画する。
また、コンピュータ１００は描画システム４００への操作を受け付けるためのメニュー（視覚情報の一例）をディスプレイ２００に表示するため、座標に基づいてどのメニューが選択されたのかを判定して操作を受け付ける。
例えば、ユーザが線を描画するメニューに触れた後、電子ペン２でディスプレイ２００の表示面に図形を描画した場合、コンピュータ１００は電子ペン２が触れている位置の座標をリアルタイムに取得して、時系列の座標を作成する。コンピュータ１００は時系列の座標を接続して線を作成しディスプレイ２００に表示する。線の色や太さもユーザがメニューから設定できる。
図７では、ユーザが三角形の形状に沿って電子ペン２を移動させたため、コンピュータ１００は三角形を構成する一連の座標を記録する。そして、コンピュータ１００は画像出力装置５０がディスプレイ５１に出力する画像と三角形を合成して（画像や三角形が合成された画像は視覚情報の一例である）ディスプレイ２００に表示する。ユーザからはディスプレイ２００にユーザが三角形を描画しているように見える。
このように、ディスプレイ２００がタッチパネルを有していなくても、ユーザは描画システム４００に対し様々な操作を行うことができる。また、再帰反射板４１を使用することで、ユーザは電子ペン２を用いなくても手指や汎用の指示棒で描画システム４００を操作することができる。
次に、図８を用いて電子ペン２の概略構成について説明する。図８は電子ペン２の概略構成図の一例を示す。電子ペン２は、赤外光を発する先端部２１と、先端部２１がディスプレイ２００の表示面に物理的に接触した際の筆圧を検知する接触検知部２２と、接触検知部２２が検知した筆圧をコンピュータ１００に無線により通知する無線通知部２３と、電子ペン２の全体を制御するＣＰＵ２４とを有する。なお、電子ペン２はマイコンなどの情報処理装置が有するＲＡＭやＲＯＭなどの一般的な構成を有している。
接触検知部２２は筆圧を閾値と比較して、先端部２１が表示面に接触したこと及び表示面から離れたことを検知することができる。また、電子ペン２が固有のＩＤなどの属性情報をＲＯＭなどに格納していてもよい。無線通知部２３は例えばBluetooth（登録商標）によりコンピュータ１００と通信するが、赤外線、超音波、可視光通信などで通信してもよい。
無線通知部２３は筆圧だけでなく、接触・非接触の情報とＩＤを送信することができる。そのような構成にすると、コンピュータ１００は接触・非接触の情報を送信した電子ペン２の固体を識別することができる。なお、無線通知部２３が筆圧や接触・非接触の情報をコンピュータ１００に送信しなくても、ユーザが点や線などの視覚情報をディスプレイ２００に描画することは可能である。
電子ペン２のＣＰＵ２４は接触検知部２２が閾値以上の筆圧を検知した場合にだけ先端部２１の発光部を発光させる。これにより消費電力を低減できる。あるいは常時点灯していてもよい。この場合、ユーザの使用状態を推定するための加速度センサ等のセンサを搭載し、その出力によりＣＰＵ２４が、ユーザが使用しているかどうかを判定し、使用していないときは消灯する。
次に、図９を用いて、コンピュータ１００のハードウェア構成について説明する。図９はコンピュータ１００のハードウェア構成図の一例である。コンピュータ１００は、アドレスバスやデータバス等のバスライン１１８を介して電気的に接続されたＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＳＳＤ（Solid State Drive）１０４、ネットワークコントローラ１０５、外部記憶コントローラ１０６、電子ペンコントローラ１１６、センサコントローラ１１４、ＧＰＵ（Graphics Processor Unit）１１２、及び、キャプチャデバイス１１１を備えている。さらに、本実施形態におけるコンピュータ１００は、ＧＰＵ１１２に接続されたディスプレイコントローラ１１３を備えている。
ＣＰＵ１０１は描画システム用プログラム１１９を実行して描画システム４００の全体的な動作を制御する。ＲＯＭ１０２にはＩＰＬ（Initial Program Loader）等、主に描画システム４００の起動時にＣＰＵ１０１が実行するプログラムが記憶されている。ＲＡＭ１０３は、ＣＰＵ１０１が描画システム用プログラム１１９を実行する際の作業メモリである。ＳＳＤ１０４は、描画システム用プログラム１１９や各種データが記憶された不揮発メモリである。
ネットワークコントローラ１０５は、ネットワークを介して他の機器と通信する際に通信プロトコルに基づく処理を行う。なお、ネットワークは、ＬＡＮ又は複数のＬＡＮが接続されたＷＡＮなどである。ＷＡＮは例えばインターネット等でもよい。また、ネットワークに携帯電話網が含まれていてもよい。また、ネットワークコントローラ１０５が専用線で直接、他の機器と接続されていてもよい。他の機器とはサーバなどの他、別の描画システム４００が含まれる。ネットワークコントローラ１０５が別の描画システム４００と接続された場合、ユーザは別の描画システム４００と描画内容を送受信して各拠点の描画システム４００が同じ描画内容をディスプレイ２００に表示できる。
外部記憶コントローラ１０６は、ＣＰＵ１０１からの指示により着脱可能な外部メモリ１１７に対する書き込み又は外部メモリ１１７からの読み出しを行う。外部メモリ１１７は、例えばＵＳＢメモリ、ＳＤカード等のフラッシュメモリである。
電子ペンコントローラ１１６は、電子ペン２の無線通知部２３と無線で通信し、先端部２１が表示面に接触したか否かの接触・非接触の情報及び筆圧などを受信する。これにより、コンピュータ１００はユーザが電子ペン２を用いて描画しているか否かを検出することができる。なお、コンピュータ１００と電子ペン２が通信しない場合には、電子ペンコントローラ１１６はなくてもよい。
センサコントローラ１１４には４つの撮像部３２ａ〜３２ｄが接続されている。撮像部３２ａ〜３２ｄは２次元画像を取得するためのCMOSやCCDイメージセンサでもよいし、リニアイメージセンサのように１次元画像を取得するイメージセンサでもよい。また、ＰＳＤ(position sensitive detector)と呼ばれる位置検知用デバイスのように、光を面的又は線的に検知するデバイス全般を指すものとする。
撮像部３２は最低、２つあれば１つ以上の座標を検出できる。図７にも示したように、撮像部３２はディスプレイ２００のコーナーに、ディスプレイ２００の表示面に略平行な方向に光軸を向けて配置される。これにより、表示面の付近（表示面から所定距離内）の指示部材を撮像することができる。このような撮像範囲を周辺部と称する場合がある。
撮像部３２の数が多いほど同時に検出可能な座標の数が増える。センサコントローラ１１４は、撮像部３２ａ〜３２ｄが撮像した画像Pctから三角測量方式による座標の検出を行う。詳細は後述する。
キャプチャデバイス１１１は、画像出力装置５０が表示装置５１に表示している映像を取り込む。
ＧＰＵ１１２はディスプレイ２００の各ピクセルの画素値を演算する描画専用のプロセッサである。ディスプレイコントローラ１１３は、ＧＰＵ１１２が作成した画像をディスプレイ２００に出力する。
なお、描画システム用プログラム１１９は、外部メモリ１１７に記憶された状態で配布されてもよいし、ネットワークコントローラ１０５を介して描画システム４００のメーカのサーバやメーカの依頼先の企業のサーバからダウンロードされてもよい。また、描画システム用プログラム１１９は配布形式で配布されてもよいし実行形式で配布されてもよい。
＜＜座標検出システムの機能について＞＞
図１０は、コンピュータ１００の機能ブロック図の一例を示す。本実施形態におけるコンピュータ１００は、画像取得部１１、距離算出部１２、紐付け判断部１３、座標算出部１４、描画データ生成部１５、及び、描画データ出力部１６を有する。画像取得部１１、距離算出部１２、紐付け判断部１３、座標算出部１４、描画データ生成部１５、及び、描画データ出力部１６は、コンピュータ１００のＣＰＵ１０１がＲＡＭ１０３に展開された描画システム用プログラム１１９を実行し図９に図示したハードウェアと協働することで実現される機能又は手段である。なお、コンピュータ１００は図示した以外にも多くの機能を有し、本実施形態の主要な構成でない機能は図示されていない場合がある。
画像取得部１１は撮像部３２により撮像された画像Pctを取得する。図９では撮像部３２が４つ図示されているため、画像取得部１１は４つの画像Pctを取得するが、以下の説明では撮像部３２は撮像部３２ａと３２ｂの２つであるとする。
距離算出部１２はディスプレイ２００の表示面における、同じ撮像部３２が撮像した時刻ｔ−１の画像Pctに撮像されているblobt-1と時刻ｔの画像Pctに撮像されているblobtとの距離Ｄを算出する。
紐付け判断部１３は距離Ｄに基づいて、時刻ｔの画像Pctのblobtを時刻ｔ−１の画像Pctのどのblobt-1と対応づけるかを決定する。詳細は後述する。なお、紐付け判断部１３は紐付けによって同一性が得られたblobに同じblob番号numを付与する。撮像部３２ａの画像Pctと３２ｂの画像Pctで同じblobには同じblob番号numを付与すれば（例えば初めて撮像部３２ａと３２ｂで同時に撮像されたblobに同じblob番号numを付与する）、撮像部３２ａと３２ｂが撮像した２つの画像Pctのblobを対応付けることができる。
座標算出部１４は、同じblob番号num のblobを用いて、撮像部３２ａが撮像した画像Pctのblob及び撮像部３２ｂが撮像した画像Pctのblobから三角測量により座標を算出する。座標データｄは描画データ生成部１５に出力されるが、複数のblobが検出されている場合は複数の座標データｄが出力される。この際、座標データｄには識別番号が付与される。紐付け判断部１３が時刻ｔと時刻ｔ−１のblobを紐づけているため、ゴースト点を検知することを抑制できる。
描画データ生成部１５は、ディスプレイ２００に筆跡等の画像Pctを描画する。描画データ生成部１５は、座標算出部１４からの同じblobの座標データと座標データの間を多項式などで補間して描画データを生成する。この時、線の色、濃度、太さなどはユーザが指定できる。描画データ出力部１６は描画データＤｒをＧＰＵ１１２に出力する。
なお、画像取得部１１が画像Pctを取得する方法には主に２つの方法がある。１つは電子ペン２の発光部が発光した光を撮像する方法である。この場合、電子ペン２は先端に閾値以上の圧力が加わったことを検知して接触信号を送信する。コンピュータ１００は再帰反射板４１を照明する光源を消灯して、撮像部３２が発光部を撮像しやすくする。
もう１つは指などの指示部材が作る影（遮光部）を撮像する方法である（光遮断方式）。この場合、コンピュータ１００の電子ペンコントローラ１１６が接触信号を受信しないため、コンピュータ１００は再帰反射板４１を照明する光源を点灯する。これにより、再帰反射板４１が光るので撮像部３２は指などが作る影を撮像しやすくする。なお、再起反射板が自発光してもよい。
本実施形態では特に断らない限り、画像取得部１１が２つの方式のどちらで画像Pctを取得しても同じように時刻ｔのblobtと時刻ｔ−１のblobt-1を紐づけることができる。
＜距離の算出方法＞
図１１〜図１３を用いて時刻ｔ−１のblobt-1と時刻ｔのblobtの距離Ｄを算出する方法について説明する。図１１は、距離算出部１２が算出する距離Ｄを構成する２成分を説明する図の一例である。図１１（ａ）は時刻ｔ−１と時刻ｔにおける１つのターゲット１t-1の位置を示し、図１１（ｂ）は図１１（ａ）のターゲットの配置を拡大した図を示す。図１１（ｃ）は時刻ｔ−１に撮像部３２ａが撮像したターゲット１t-1のblobt-1を示し、図１１（ｄ）は時刻ｔに撮像部３２ａが撮像したターゲット１tのblobtを示す。
ターゲット１t-1とターゲット１tが同じターゲットであると仮定して、時刻t-1のターゲット１t-1と時刻ｔのターゲット１tの距離をＤとする。任意の撮像部３２を基準（図１１では撮像部３２ａ）に、距離Ｄは、撮像部３２ａとターゲット１を結ぶ直線方向の成分（以下、深さ方向成分D_depthという）と深さ方向成分D_depthに垂直な方向の水平方向成分D_horizontalとに分けられる。距離Ｄは深さ方向成分D_depthと水平方向成分D_horizontalの二乗和の平方根で近似される。
以下、水平方向成分D_horizontalと深さ方向成分D_depthは、撮像部３２ａに映るターゲットのblobの特徴量のみから算出できることが示される。特徴量は、例えば、画像Pctにおけるblobの水平方向の位置、blobの幅、面積、高さ、及び、輝度値の累積値などである。
＜＜水平方向成分D_horizontal＞＞
図１２は水平方向成分D_horizontalの算出方法を模式的に説明する図の一例である。ターゲット１t-1又はターゲット１tから撮像部３２ａまでの距離をＬ[mm]（距離Ｌは時刻ｔとｔ−１で同じであるとする）、撮像部３２ａの水平方向の分解能をｋ[pix/rad]とする。時刻tのblobtの中心（水平位置）と時刻ｔ−１のblobt-1の中心（水平位置）の水平方向の差をΔx[pix]とする。
したがって、水平方向成分D_horizontalは以下のように近似できる。
Figure 2016110492
 なお、Δθが微小な場合に成立するtanΔθ≒Δθを使った。また、距離Ｌについてはまだ明らかになっていないが距離Ｌについては式（３）（４）にて説明する。式（３）（４）に示すように、水平方向成分D_horizontalはblobの水平位置だけでなくblobの幅をも用いて算出されている。
＜＜深さ方向成分D_depth＞＞
図１３は深さ方向成分D_depthの算出方法を模式的に説明する図の一例である。ターゲットから撮像部３２ａまでの距離をＬ[mm]とする。また、時刻ｔ−１のblob t-1の幅をwt-1[pix]、時刻ｔのblobtの幅をwt[pix]とする。また、計算のために、時刻ｔと時刻ｔ−１の中間の時刻ｔ-1/2を導入する。距離算出部１２は深さ方向成分D_depthを時刻ｔと時刻ｔ−１のblobt-1の幅の変化量を使用して算出する。
ターゲット１t-1が深さ方向に移動しない場合、blobの幅は変化しない（深さ方向成分D_depthはゼロ）。また、ターゲット１t-1が撮像部３２ａから遠方に行くほどblobが小さくなるが、近似のために、ターゲット１t-1が深さ方向に距離Ｌだけ移動すると、blobの幅がゼロになると仮定する（深さ方向成分D_depthはＬ）。この仮定から深さ方向成分D_depthは以下のように算出される。
Figure 2016110492
 なお、D_depthの算出にblobの幅を利用する代わりにblobの面積、高さ、又は、輝度の累積値を利用してもよい。または、これらの２つ以上を用いてD_depthを算出してもよい。
＜＜Ｌを推定した場合のＤの算出＞＞
以上から、水平方向成分D_ horizontalと深さ方向成分D_depthが求められるので、距離Ｌを見積もることでＤを算出できる。
距離Ｌは、説明のため、時刻ｔ-1/2の時の値を算出するものとするが、時刻ｔ又は時刻ｔ−１の時の値を算出してもよい。距離Ｌは、発光体の直径Ｒ[mm]を利用して、blobの大きさが撮像部３２ａから離れるほど小さくなることを利用して以下のように推定される。なお、発光体の直径Ｒ[mm]を分解能ｋ[pix/rad]を用いてピクセル単位に変換する。するとＬ≒ｋ・Ｒ／ｗの関係があるのでＬは下式にて表すことができる。
Figure 2016110492
 式（３）を使うと、式（１）（２）から距離Ｄの二乗は以下のように表すことができる。
Figure 2016110492
 最終的に距離算出部１２は式（４）を使用して距離Ｄの二乗を算出する。
また、式（４）のかっこ内の左側の項が深さ方向成分D_depthに起因し、右側の項が水平方向成分D_ horizontalに起因する。式（４）では深さ方向成分D_depthと水平方向成分D_ horizontalとが同じ重み付けであるが、それぞれに重み付けしてもよい。
Figure 2016110492
 この場合、α＜βとすることが好ましい。これは、深さ方向成分D_depthの算出には、blobの幅が用いられているが、撮像部３２から輝点が遠くに存在する場合には輝点の幅が数ピクセル程度に小さくなる場合があるためである。このような場合、時刻ｔ−１と時刻ｔで輝点の幅が１ピクセル変わっただけで深さ方向成分D_depthが見かけ上大きくなってしまう。すなわち、深さ方向成分D_depthが観測誤差等の影響を受けやすくなる。あるいは、αをゼロとしてもよい。なお、撮像部３２のイメージセンサの分解能が十分に高い場合は、α＝βとしたり、α＞βとしてもよい。
距離Ｄは大小関係を比較する目的に使われるので、距離Ｌは既知の値である直径Ｒで表すことができればよい（直径Ｒの何倍であるかが算出できればよい）。したがって、直径Ｒの正確な値を設定する必要は必ずしもないが、例えばペン先が5[mm]径の電子ペン２であればＲ=5[mm]として計算してもよい。
距離算出部１２は撮像部３２が画像Pctを撮像する度に、式（４）を用いて距離Ｄの二乗を算出する。１つの画像Pctには２つ以上のblobが撮像されている場合があるため、上述したように、時刻ｔの１つのblobtごとに時刻ｔ−１の全てのblobt-1との組み合わせで距離Ｄの二乗を算出する。時刻ｔ及び時刻ｔ−１の両方で複数のblobが撮像されている場合は、距離Ｄの二乗の合計を算出する。
紐付け判断部１３は、距離Ｄの二乗又は距離Ｄの二乗の合計が最も小さく組み合わせで、時刻tの画像Pctのblobtを時刻ｔ−１のblobt-1と紐づける。距離Ｄが最も小さくなるblobを紐づけることで、短時間の移動距離はそれほど大きくないという前提を考慮でき、ゴースト点の検知を抑制できる。
＜＜本実施形態の電子ホワイトボードのその他の適用例＞＞
本実施形態のゴースト点の抑制方法はターゲットが３つ以上検出された場合にも好適に適用できる。
・ノイズとして３つめのblobが撮像された場合
図１４に示すように、ノイズとしてのblobt,3が撮像された場合にも、紐付け判断部１３は時刻ｔのblobtと時刻ｔ−１のblobt-1を正しく紐づけることができる。図１４は時刻ｔに３つめのblob t,3が現れた場合の紐付けについて説明する図の一例である。距離算出部１２は時刻ｔの任意のblobtと時刻ｔ−１の任意のblobt-1を組み合わせて距離Ｄを算出する。これにより図１４の距離Ｄ１〜Ｄ６が算出される。
紐付け判断部１３は、距離Ｄ１の二乗とＤ２の二乗との合計、距離Ｄ１の二乗とＤ３の二乗との合計、距離Ｄ４の二乗とＤ３の二乗との合計、距離Ｄ４の二乗とＤ５の二乗との合計、距離Ｄ２の二乗とＤ６の二乗との合計、距離Ｄ５の二乗とＤ６の二乗との合計を算出する。そして、紐付け判断部１３は、合計が最も小さい組み合わせが得られた時刻ｔのblob tと時刻ｔ−１のblobt-1を紐づける。この場合、ノイズとして現れたblobt,3と時刻ｔ−１のblobt-1,1 、blobt-1,2との距離は、blobt,1、blobt,2とblobt-1,1 、blobt-1,2との組み合わせよりも大きくなる可能性が高いので、ノイズとして現れたblobt,3は時刻ｔ−１のblobt-1,1 、blobt-1,2とは紐づけられない可能性が高い。したがって、ゴースト点の発生を抑制できる。
このように、ノイズなどで本来、存在しないblobが撮像されても、本実施形態の電子ホワイトボード３００は直前に撮像されたblobと正しく紐づけることができる。
・ターゲットが１つだけの場合に１つのblobが撮像された場合
また、本実施形態の電子ホワイトボード３００は、ターゲットが１つしか使用されていない場合も、ノイズなどで発生したblobにより正しく動作しないことを抑制できる。例えば、ユーザは指示部材を用いた描画を停止したが、次の撮像のタイミングでノイズや手などの影がblobとして撮像される場合である。
図１５は、ターゲットが存在しない場合の電子ペン２の誤動作を説明する図の一例である。図１５（ａ）に示すように時刻ｔ−１のターゲット１t-1は１つである。また、図１５（ｂ）に示すように時刻ｔにはユーザが意識的に使用する指示部材は存在しない。しかしながら、図１５（ｃ）に示すように、時刻ｔにblobt,1が撮像される場合がある。この場合、電子ホワイトボード３００は時刻ｔにもターゲットが存在するものとして、時刻ｔ−１のターゲット１t-1と時刻ｔのターゲット１tを結ぶ線５３を引くなどのおそれがある。
ここで、電子ホワイトボード３００が座標を算出する頻度をＡ[Ｈｚ]、一般的なユーザが指示部材を使用して表示面を操作する際の最大速度をＢ[cm/sec]とする。すると、頻度から求められる座標の算出時間間隔における最大の移動距離ＹはＢ／Ａにより求められる。Ｂを実験的に求めれば最大の移動距離Ｙを見積もることができるが、１５〜２０[mm]程度であると考えられる。
したがって、紐付け判断部１３がこの最大の移動距離Ｙを閾値として距離Ｄと比較すれば、時刻ｔのblobt,1がノイズや手などによるものと判断して、誤動作を抑制できる。すなわち、時刻ｔ及び時刻ｔ−１にそれぞれ１つのblobのみが撮像されている場合でも、距離算出部１２が距離Ｄを算出し、紐付け判断部１３が最大の移動距離Ｙと比較する。そして、距離Ｄが最大の移動距離Ｙ以下でなければ、時刻ｔのblobtを座標の算出対象としないことで誤動作を抑制できる。
・時刻ｔ−１に２つのblobt-1が撮像されたが時刻ｔに１つのblobtだけが撮像された場合
これまでは時刻ｔに複数のblobtが撮像される場合を説明したが、本実施形態の電子ホワイトボード３００は時刻ｔに１つのblobtが撮像された場合にも好適に適用できる。
図１６は時刻ｔ−１に２つのblobt-1,1 blobt-1,2が撮像されたが時刻ｔに１つのblobt,1だけが撮像された場合の紐付けについて説明する図の一例である。図１６（ａ）に示すように時刻ｔ−１に２つのターゲット１，２が撮像されている。また、図１６（ｂ）に示すように時刻ｔには一人のユーザが描画を中止したため、１つのターゲット１が撮像される。したがって、図１６（ｃ）に示すように、時刻ｔ−１にはblobt-1,1 とblobt-1,2が撮像され、時刻ｔにはblobt,1だけが撮像されている。
この場合も、電子ホワイトボード３００は距離Ｄを使って、時刻ｔのblobt,1を時刻ｔ−１のblobt-1,1 とblobt-1,2のうちどちらと紐づけるかを決定できる。すなわち、紐付け判断部１３は距離Ｄ１の二乗と距離Ｄ２の二乗のうち小さい方を決定し、距離の二乗が小さくなる方のblobt-1,iとblobt1,1とを紐づける。
こうすることで、一人のユーザが描画を中止しても、描画を中止しなかった別のユーザのターゲットを追跡して描画を継続できる。
＜動作手順＞
図１７は、コンピュータ１００の動作手順を示すフローチャート図の一例である。図１７の動作手順は、例えば電子ホワイトボード３００の電源がＯＮになるとスタートする。なお、図１７の動作手順は１つの撮像部３２が撮像した画像Pctごとに行われる。
まず、距離算出部１２は画像取得部１１が取得した画像Pctに１つ以上のblobが撮像されているか否かを判定する（Ｓ１０）。blobが一切、撮像されていない場合、座標を算出する必要はないので距離算出部１２はblobが撮像されるまで待機する。
１つ以上のblobが撮像された場合（Ｓ１０のＹｅｓ）、距離算出部１２は時刻ｔのblobtと時刻ｔ−１のblobt-1との距離Ｄを算出する（Ｓ２０）。
次に、紐付け判断部１３は時刻ｔのblobtが１つだけか否かを判定する（Ｓ３０）。時刻ｔのblobtが１つだけでない場合（Ｓ３０のＮｏ）、処理はステップＳ８０に進む。紐付け判断部１３は、時刻ｔ−１のblobt-1のうち距離Ｄの二乗又は距離Ｄの二乗の合計が最も小さくなるblobt-1と時刻ｔのblobtを紐づける（Ｓ８０）。距離Ｄの二乗が比較されるのは時刻ｔ−１のblobt-1が１つだけの場合である。距離Ｄの二乗の合計が比較されるのは時刻ｔ−１のblobt-1が２つ以上の場合である。
時刻ｔのblobtが１つだけの場合（Ｓ３０のＹｅｓ）、紐付け判断部１３は時刻ｔ−１のblobt-1が２つ以上か否かを判定する（Ｓ４０）。時刻ｔ−１のblobt-1が２つ以上の場合（Ｓ４０のＹｅｓ）、処理はステップＳ８０に進む。
時刻ｔ−１のblobt-1が２つ以上でない場合（Ｓ４０のＮｏ）、１つのターゲットを正しく追跡しているか否かを判定するため、紐付け判断部１３は距離Ｄが最大の移動距離Ｙ以下か否かを判断する（Ｓ５０）。
ステップＳ５０の判定がＹｅｓの場合、紐付け判断部１３は時刻ｔのblobtを用いて座標を算出すると判断する（Ｓ６０）。
ステップＳ５０の判定がＮｏの場合、紐付け判断部１３は時刻ｔのblobtはノイズであると判断する（Ｓ７０）。これにより、ユーザが意図せずに書き終わりなどに線が延長して描画されてしまうような電子ホワイトボード３００の誤動作を抑制できる。
以上説明したように、本実施形態の電子ホワイトボード３００は、時刻ｔのblobtと時刻ｔ−１のblobt-1を適切に紐づけるので、時刻ｔ−１のターゲットを追跡して時刻ｔのターゲットを特定できる。これにより、ゴースト点の検知を抑制できる。ターゲットがノイズにより増えた場合でも、ターゲットとして撮像されたblob同士を紐づけることができる。また、blobが１つだけ撮像されている場合でも、適切な閾値を使用して時刻tと時刻ｔ−１のblobの紐付けが正しいかどうかを検証できる。
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、本実施形態で示した処理手順、具体的名称、各種のデータやパラメタ等を含む情報は、特記する場合を除いて任意に変更することができる。また、図示した各装置の各要素構成は、機能概念的なものであり、必ずしも物理的に図示のごとく合成されていることを要しない。すなわち、各装置の具体的形態は、図示のものに限られず、その全部又は一部を各種の負担や使用状況などに応じて、任意の単位で機能的又は物理的に分散又は統合することができる。つまり、上述した実施形態で説明した電子ホワイトボード３００は、用途や目的に応じて様々なシステム内に組み込まれて構成されても良いし、電子ホワイトボード３００の各機能部を分散又は統合したシステムとしても実施できる。
また、本実施形態では電子ホワイトボード３００を例にして説明したが、電子ホワイトボード３００は電子黒板、インタラクティブホワイトボード、スマート黒板などどのように呼ばれていてもよい。
また、撮像部３２は電子ペン２の発光を撮像すると説明したが、指示部材が自発光しなくてもよい。例えば、ディスプレイ２００の周囲にレーザー光の照射装置を配置し、指示部材に貼付された反射テープなどの反射光を撮像部３２で撮像してもよい。
２ 電子ペン
１１ 画像取得部
１２ 距離算出部
１３ 紐付け判断部
１４ 座標算出部
１５ 描画データ生成部
１６ 描画データ出力部
３２ 撮像部
１００ コンピュータ
３００ 電子ホワイトボード
４００ 描画システム
特表２０１１‐５２２３３２号公報

Claims (10)

  1. 情報が表示される表示面において指示対象によって指示された位置情報を検出する光学式位置情報検出装置であって、
    前記表示面における周辺部の画像を撮像する撮像手段と、
    前記撮像手段により第１の時刻に撮像された第１の画像及び前記撮像手段により前記第１の時刻よりも後の第２の時刻に撮像された第２の画像を取得する画像取得手段と、
    １つ以上の指示対象が撮像されている前記第１の画像に基づく第１の特徴量と、１つ以上の指示対象が撮像されている前記第２の画像に基づく第２の特徴量とを用いて、前記表示面において前記第１の画像に撮像された指示対象それぞれから前記第２の画像に撮像された指示対象それぞれまでの移動距離を算出する移動距離算出手段と、
    予め定められた移動距離に対する制約に基づいて、前記第２の画像に撮像された指示対象それぞれと前記第１の画像に撮像された指示対象とを対応付ける対応付け手段と、を有する光学式位置情報検出装置。
  2. 前記第１の特徴量は前記第１の画像に撮像された指示対象の第１の水平位置、前記第２の特徴量は前記第２の画像に撮像された指示対象の第２の水平位置であり、
    前記移動距離算出手段は、前記第１の水平位置と前記第２の水平位置の差を用いて対象の水平方向の移動距離を算出する、請求項１に記載の光学式位置情報検出装置。
  3. 前記移動距離算出手段は、前記第１の特徴量として前記第１の画像に撮像された指示対象の幅、面積又は輝度の累積値の少なくとも１つを用い、前記第２の特徴量として前記第２の画像に撮像された指示対象の幅、面積又は輝度の累積値の少なくとも１つを用い、
    前記第１の画像に撮像された指示対象の幅、面積又は輝度の累積値に対する、前記第２の画像に撮像された指示対象の幅、面積又は輝度の累積値の変化量を用いて、前記撮像手段と対象を結ぶ直線方向である深さ方向の移動距離を算出し、水平方向の移動距離と深さ方向の移動距離とを用いて前記移動距離を算出する請求項２に記載の光学式位置情報検出装置。
  4. 前記移動距離算出手段は、水平方向の移動距離の重み付けを深さ方向の移動距離の重み付けよりも大きくして前記移動距離を算出する請求項３に記載の光学式位置情報検出装置。
  5. 前記第２の画像に複数の指示対象が撮像され、前記第１の画像に指示対象が１つだけ撮像されている場合、
    前記対応付け手段は前記第２の画像に撮像された指示対象のそれぞれと前記第１の画像に撮像された指示対象の組み合わせごとに前記移動距離を算出し、前記移動距離が最も少ない組み合わせになる前記第２の画像に撮像された指示対象を前記第１の画像に撮像された指示対象と対応づける請求項１〜４いずれか１項に記載の光学式位置情報検出装置。
  6. 前記第２の画像に１つの指示対象が撮像され、前記第１の画像に複数の指示対象が撮像されている場合、
    前記対応付け手段は前記第１の画像に撮像された指示対象のそれぞれと前記第２の画像に撮像された指示対象の組み合わせごとに前記移動距離を算出し、前記移動距離が最も少ない組み合わせになる前記第１の画像に撮像された指示対象を前記第２の画像に撮像された指示対象と対応づける請求項１〜４いずれか１項に記載の光学式位置情報検出装置。
  7. 前記第２の画像に複数の指示対象が撮像され、前記第１の画像に複数の指示対象が撮像されている場合、
    前記移動距離算出手段は前記第１の画像に撮像された指示対象と前記第２の画像に撮像された指示対象の任意の組み合わせで前記移動距離を算出し、
    前記対応付け手段はそれぞれの組み合わせごとに前記移動距離の合計を算出して、該合計が最も少ない組み合わせの前記第２の画像に撮像された指示対象と前記第１の画像に撮像された指示対象とを対応付ける請求項１〜４いずれか１項に記載の光学式位置情報検出装置。
  8. 前記第２の画像及び前記第１の画像にそれぞれ指示対象が１つだけ撮像されている場合、
    前記対応付け手段は前記移動距離が閾値以下か否かを判定し、
    閾値以下の場合は前記第２の画像に撮像された指示対象と前記第１の画像に撮像された指示対象を対応付け、閾値以下でない場合は前記第２の画像に撮像された指示対象と前記第１の画像に撮像された指示対象を対応付けない、請求項１〜４いずれか１項に記載の光学式位置情報検出装置。
  9. 情報が表示される表示面において指示対象によって指示された位置情報を検出する情報処理装置に、
    前記表示面における周辺部の画像を撮像する撮像ステップと、
    前記撮像ステップにより第１の時刻に撮像された第１の画像及び前記撮像手段により前記第１の時刻よりも後の第２の時刻に撮像された第２の画像を取得する画像取得ステップと、
    １つ以上の指示対象が撮像されている前記第１の画像に基づく第１の特徴量と、１つ以上の指示対象が撮像されている前記第２の画像に基づく第２の特徴量とを用いて、前記表示面において前記第１の画像に撮像された指示対象それぞれから前記第２の画像に撮像された指示対象それぞれまでの移動距離を算出する移動距離算出ステップと、
    予め定められた移動距離に対する制約に基づいて、前記第２の画像に撮像された指示対象それぞれと前記第１の画像に撮像された指示対象とを紐づける紐付けステップと、を実行させるプログラム。
  10. 情報が表示される表示面において指示対象によって指示された位置情報を検出する情報処理装置によって実行される対象の紐付け方法であって、
    前記表示面における周辺部の画像を撮像する撮像ステップと、
    前記撮像ステップにより第１の時刻に撮像された第１の画像及び前記撮像手段により前記第１の時刻よりも後の第２の時刻に撮像された第２の画像を取得する画像取得ステップと、
    １つ以上の指示対象が撮像されている前記第１の画像に基づく第１の特徴量と、１つ以上の指示対象が撮像されている前記第２の画像に基づく第２の特徴量とを用いて、前記表示面において前記第１の画像に撮像された指示対象それぞれから前記第２の画像に撮像された指示対象それぞれまでの移動距離を算出する移動距離算出ステップと、
    予め定められた移動距離に対する制約に基づいて、前記第２の画像に撮像された指示対象それぞれと前記第１の画像に撮像された指示対象とを紐づける紐付けステップと、
    を有する対象の紐付け方法。
JP2014248995A 2014-12-09 2014-12-09 光学式位置情報検出装置、プログラム、対象の紐付け方法 Pending JP2016110492A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014248995A JP2016110492A (ja) 2014-12-09 2014-12-09 光学式位置情報検出装置、プログラム、対象の紐付け方法
US14/950,128 US9721353B2 (en) 2014-12-09 2015-11-24 Optical positional information detection apparatus and object association method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014248995A JP2016110492A (ja) 2014-12-09 2014-12-09 光学式位置情報検出装置、プログラム、対象の紐付け方法

Publications (1)

Publication Number Publication Date
JP2016110492A true JP2016110492A (ja) 2016-06-20

Family

ID=56094326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014248995A Pending JP2016110492A (ja) 2014-12-09 2014-12-09 光学式位置情報検出装置、プログラム、対象の紐付け方法

Country Status (2)

Country Link
US (1) US9721353B2 (ja)
JP (1) JP2016110492A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023522675A (ja) * 2020-05-15 2023-05-31 エッチディーティ・カンパニー・リミテッド マルチ電子ペンを活用した電子黒板

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170126294A (ko) * 2016-05-09 2017-11-17 엘지전자 주식회사 이동 단말기 및 그 제어방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4627781B2 (ja) 1998-05-11 2011-02-09 株式会社リコー 座標入力／検出装置および電子黒板システム
JP2000105671A (ja) 1998-05-11 2000-04-11 Ricoh Co Ltd 座標入力／検出装置および電子黒板システム
AU2009253801A1 (en) 2008-06-05 2009-12-10 Smart Technologies Ulc Multiple pointer ambiguity and occlusion resolution
JP2012084122A (ja) 2010-09-15 2012-04-26 Ricoh Co Ltd 画像表示装置、画像表示システム、画像表示方法、プログラムおよび記録媒体
JP2015158827A (ja) 2014-02-25 2015-09-03 株式会社リコー 座標検出システム、情報処理装置、座標検出方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023522675A (ja) * 2020-05-15 2023-05-31 エッチディーティ・カンパニー・リミテッド マルチ電子ペンを活用した電子黒板
JP7429831B2 (ja) 2020-05-15 2024-02-09 エッチディービジョン・カンパニー・リミテッド マルチ電子ペンを活用した電子黒板

Also Published As

Publication number Publication date
US9721353B2 (en) 2017-08-01
US20160162121A1 (en) 2016-06-09

Similar Documents

Publication Publication Date Title
US9513715B2 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
TWI483143B (zh) 混合式指向裝置
CN104166509B (zh) 一种非接触式屏幕交互方法及系统
US9454260B2 (en) System and method for enabling multi-display input
TWI520036B (zh) 物件偵測方法以及用於光學觸控系統的校正裝置
US20120319945A1 (en) System and method for reporting data in a computer vision system
KR101794148B1 (ko) 효율적인 자유 공간 손가락 인식
US20160041632A1 (en) Contact detection system, information processing method, and information processing apparatus
JP6127564B2 (ja) タッチ判定装置、タッチ判定方法、およびタッチ判定プログラム
JP2016162162A (ja) 接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム及び接触検出方法
US20150301690A1 (en) Input-operation detection device, image display apparatus, projector apparatus and projector system
US10379678B2 (en) Information processing device, operation detection method, and storage medium that determine the position of an operation object in a three-dimensional space based on a histogram
JP6528964B2 (ja) 入力操作検出装置、画像表示装置、プロジェクタ装置、プロジェクタシステム、及び入力操作検出方法
JP2016110492A (ja) 光学式位置情報検出装置、プログラム、対象の紐付け方法
US9013404B2 (en) Method and locating device for locating a pointing device
JP6555958B2 (ja) 情報処理装置、その制御方法、プログラム、および記憶媒体
JP6618301B2 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
JP2018005543A (ja) 画像処理装置、画像処理システム及び画像処理方法
JP6417939B2 (ja) 手書きシステム及びプログラム
JP2018063555A (ja) 情報処理装置、情報処理方法及びプログラム
JP6248723B2 (ja) 座標検知システム、座標検知方法、情報処理装置及びプログラム
JPWO2019171635A1 (ja) 操作入力装置、操作入力方法、及びプログラム
EP3059664A1 (en) A method for controlling a device by gestures and a system for controlling a device by gestures
KR101695727B1 (ko) 스테레오 비전을 이용한 위치검출 시스템 및 위치검출 방법
WO2021117595A1 (ja) 情報処理装置、情報処理方法、及びプログラム