JP2012053603A - Information display system - Google Patents
Information display system Download PDFInfo
- Publication number
- JP2012053603A JP2012053603A JP2010194779A JP2010194779A JP2012053603A JP 2012053603 A JP2012053603 A JP 2012053603A JP 2010194779 A JP2010194779 A JP 2010194779A JP 2010194779 A JP2010194779 A JP 2010194779A JP 2012053603 A JP2012053603 A JP 2012053603A
- Authority
- JP
- Japan
- Prior art keywords
- pen
- tip
- pointing device
- light
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Abstract
Description
本発明は、ポインティングデバイスの軌跡を検出して表示する情報表示技術に関する。 The present invention relates to an information display technique for detecting and displaying a locus of a pointing device.
スクリーン上でのポインティングデバイスの軌跡を検出し投写映像中にその軌跡を描画することができる投写型表示システムが実用化されており、例えばプレゼンテーションや学校での講義などに利用されている。この種のシステムでは、一般に、スクリーンの全体を撮像するカメラを設置しておき、ポインティングデバイスの先端から光を発光させ、カメラの撮像画像内からこの光を検出することで、ポインティングデバイスの軌跡を検出している。しかしながら、ポインティングデバイスの操作者がカメラとスクリーンの間に位置すると、デバイスの先端をカメラで撮像できず、軌跡を追えなくなるという問題が生じる。 A projection display system that can detect the locus of a pointing device on a screen and draw the locus in a projected image has been put into practical use, and is used for, for example, a presentation or a lecture at a school. In this type of system, a camera that captures the entire screen is generally installed, light is emitted from the tip of the pointing device, and this light is detected from the captured image of the camera, so that the locus of the pointing device can be determined. Detected. However, when the operator of the pointing device is positioned between the camera and the screen, there is a problem that the tip of the device cannot be imaged by the camera and the locus cannot be traced.
特許文献1には、赤外線発光部と超音波発生部を設けた電子ペンを使用し、赤外線受光部における赤外線の受光時刻と、複数の超音波受信部における超音波の受信時刻の差から、投写映像上での電子ペンの座標を算出する投写型表示装置が開示されている。これによると、投写型表示装置から見て電子ペンがユーザの背後に位置した場合でも、その座標を算出することができる。 In Patent Document 1, an electronic pen provided with an infrared light emitting unit and an ultrasonic wave generating unit is used, and projection is performed based on a difference between an infrared light receiving time at an infrared light receiving unit and an ultrasonic wave receiving time at a plurality of ultrasonic receiving units. A projection display device that calculates the coordinates of an electronic pen on an image is disclosed. According to this, even when the electronic pen is located behind the user as viewed from the projection display device, the coordinates can be calculated.
特許文献1に記載の技術では、超音波の送受信装置をそれぞれ電子ペンと投写型表示装置に組み込む必要があるため、構成が複雑になりコストも増大する。 In the technique described in Patent Document 1, since it is necessary to incorporate ultrasonic transmission / reception devices into the electronic pen and the projection display device, respectively, the configuration becomes complicated and the cost increases.
本発明はこうした状況に鑑みてなされたものであり、その目的は、ポインティングデバイスからスクリーン上に投写される光を撮像してデバイスの軌跡を検出するシステムにおいて、ポインティングデバイスの先端がカメラで撮像できない場合でも、その位置を特定する技術を提供することにある。 The present invention has been made in view of such a situation, and an object of the present invention is to detect the tip of the pointing device with a camera in a system that detects light projected from the pointing device onto the screen and detects the locus of the device. Even in such a case, a technique for specifying the position is to be provided.
本発明の一態様は、ポインティングデバイスと、ポインティングデバイスの先端部の軌跡を検出する制御装置と、を含む情報表示システムである。ポインティングデバイスは、所定面上で先端部を中心として放射状に広がる放射光を照射する発光部を備える。制御装置は、所定面上の前記放射光を含む領域を撮像する撮像部と、撮像された画像から放射光を検出する検出部と、検出された放射光からポインティングデバイスの先端部の位置を推定する推定部と、を備える。 One embodiment of the present invention is an information display system including a pointing device and a control device that detects a trajectory of a distal end portion of the pointing device. The pointing device includes a light emitting unit that emits radiated light that spreads radially around the tip on a predetermined surface. The control device includes an imaging unit that captures an area including the radiated light on a predetermined surface, a detection unit that detects radiated light from the captured image, and the position of the tip of the pointing device from the detected radiated light. An estimation unit.
本発明の別の態様も、ポインティングデバイスと、ポインティングデバイスの先端部の軌跡を検出する制御装置と、を含む情報表示システムである。ポインティングデバイスは、先端部の方向に第1照射領域を形成する第1発光部と、第1照射領域を取り囲むような第2照射領域を形成する第2発光部と、第1発光部または第2発光部のいずれかをオンオフするスイッチと、を備える。制御装置は、所定面上の第1照射領域および第2照射領域を含む領域を撮像する撮像部と、撮像された画像から第1照射領域および第2照射領域を検出する検出部と、検出された第1照射領域または第2照射領域の位置または形状に基づきポインティングデバイスの先端部の位置を推定する推定部と、第1照射領域または第2照射領域が検出されたとき、スイッチの作動を外部装置に通知する通知部と、を備える。 Another aspect of the present invention is also an information display system including a pointing device and a control device that detects a locus of the tip of the pointing device. The pointing device includes a first light emitting unit that forms a first irradiation region in the direction of the tip, a second light emitting unit that forms a second irradiation region surrounding the first irradiation region, and the first light emitting unit or the second light emitting unit. A switch for turning on or off one of the light emitting units. The control device detects an imaging unit that images a region including the first irradiation region and the second irradiation region on a predetermined surface, and a detection unit that detects the first irradiation region and the second irradiation region from the captured image. An estimation unit that estimates the position of the tip of the pointing device based on the position or shape of the first irradiation region or the second irradiation region, and the operation of the switch when the first irradiation region or the second irradiation region is detected. A notification unit for notifying the apparatus.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, etc. are also effective as an aspect of the present invention.
本発明によれば、ポインティングデバイスからスクリーン上に投写される光を撮像してデバイスの軌跡を検出する表示システムにおいて、ポインティングデバイスの先端をカメラで撮像できない場合でも、その位置を特定することが可能になる。 According to the present invention, in a display system that detects light projected on a screen from a pointing device and detects the trajectory of the device, the position of the pointing device can be specified even when the tip of the pointing device cannot be captured by the camera. become.
実施の形態1.
図1は、本発明の実施の形態1に係る投写表示システム100の全体構成を示す。投写表示システム100は、投写型表示装置(「プロジェクタ」とも呼ぶ)80、投写型表示装置80から映像が投写されるスクリーン110、およびユーザSが操作するポインティングデバイス120を含む。投写型表示装置80は、スクリーン110方向を撮影するためのカメラ30を備える。一例として、カメラ30は、その光軸中心と、投写型表示装置80から投写される投写光の光軸中心とが平行な関係になるように設置される。
Embodiment 1 FIG.
FIG. 1 shows an overall configuration of a
実施の形態1では、ユーザSは、スクリーン110の投影面に対してペン型のポインティングデバイス120を接触させた状態でデバイス120を動かして、線や文字を書く動作をする。投写型表示装置80は、カメラ30により撮像された画像に基づき、ポインティングデバイス120の先端部の軌跡を検出する。そして、軌跡を描画した画像を作成し、スクリーン110に投写する。
In the first embodiment, the user S performs an operation of writing a line or a character by moving the
カメラ30は、投写映像上でのポインティングデバイス120の動きを撮像するために、スクリーン110のほぼ全体が視野角に収まるように配置される。図1のように、スクリーン110とカメラ30とが正対していることが好ましいが、投写型表示装置80から左右方向に離れた位置にカメラ30を配置してもよいし、あるいは投写型表示装置80よりもスクリーン近傍に配置してもよい。また、複数台のカメラ30を使用してもよい。
The
図2(a)は、実施の形態1に係るペン型ポインティングデバイス(以下、単に「ペン型デバイス」と称する)120の構造を示す。ペン型デバイス120は、通常のペンと同様にユーザが保持した状態でスクリーンの投影面に対してなされた動作が検出される。図2において、実線は外形形状を、点線は内部構造または背面側の形状を示している。
FIG. 2A shows the structure of a pen-type pointing device (hereinafter simply referred to as “pen-type device”) 120 according to the first embodiment. The pen-
ペン型デバイス120の先端には、半球形の先端部を有するスイッチ122が取り付けられている。ペン型デバイス120の略円筒形の筐体内部には、図示しない電池から電力を供給されるLED(Light Emitting Diode)等の発光素子124が設けられている。ユーザがペン型デバイス120の先端をスクリーン110に対して押しつけると、スイッチ122が内側に押されて発光素子124が点灯するように構成されている。
A
ペン型デバイス120の筐体には、発光素子124よりも先端側に複数の細長いスリット130が形成されている。基本的に、スリット130は、ペン型デバイス120の軸方向に伸びる細長い長方形状であるが、他の形状であってもよい。
In the case of the pen-
ペン型デバイス120の中心軸、スイッチ122のスクリーンへの接触点、および発光素子124の発光中心は、同軸に配置されることが好ましい。また、ペン型デバイス120の筐体は、円筒形に限られず任意の形状でよいが、ペン型デバイス120の筐体に形成されるスリット130は、デバイスの中心軸から等距離であることが好ましい。
The central axis of the pen-
図2(b)は、ペン型デバイス120を先端側から見た端面図である。この実施形態では、周方向に等間隔に3つのスリット130が形成されている。
FIG. 2B is an end view of the pen-
スリット130の軸方向の長さは、カメラ30から見てペン型デバイス120がユーザSの影に隠れた場合でも、スクリーン上の放射光がユーザの影から出てカメラにより撮像できるような位置まで放射光が延びるように選択されることが好ましい。
The length of the
図3は、ペン型デバイス120をスクリーンに対して垂直に押し当てたときに、デバイスからスクリーン上に照射される光の形状の一例を示す。ペン型デバイス120のスイッチ122が押されると、発光素子124が発光し、スリット130を通して光が漏れる。それぞれのスリット130から漏れた光は、図3に示すように、ペン型デバイスの先端(すなわち、スイッチ122のスクリーンへの接触位置)Pを中心として放射状に広がる、細長い略台形状の放射光132を形成する。スリット130はペン型デバイス120の先端までは延びていないため、放射光132はペン先位置Pから離れた位置に現れる。
FIG. 3 shows an example of the shape of light emitted from the device onto the screen when the pen-
発光素子124がLEDのように指向性の強い発光体である場合、スリット130から十分な光が漏れるように、発光素子124の照射方向にプリズムやミラーなどの反射体を配置することが好ましい。なお、発光素子124の照度や色は、投写型表示装置80の想定使用環境において、スクリーンの撮像画像内で放射光132の少なくとも一部の外形が認識できる程度の照度または色が選択される。
When the
図4は、カメラにより撮像された放射光からペン先位置Pを推定する方法について説明する図である。上述したように、カメラ30はスクリーン110の略全体を視野角に収める位置に配置されているため、ペン型デバイス120がユーザSの影に隠れてしまい、ペン型デバイス120の先端を撮像できなくなる場合が生じる。本実施形態の投写型表示装置80は、ペンの先端を撮像できなくても、撮像画像に含まれる細長い放射光を利用してペン先位置Pを推定することができる。
FIG. 4 is a diagram for explaining a method of estimating the pen tip position P from the radiated light imaged by the camera. As described above, since the
図4のように、ペン先位置PがユーザSの影にありカメラ30から観察できないものとする。このとき、投写型表示装置80は、撮像画像から放射光132を検出する。さらに、放射光132の外形を構成する線分のうち、ペン先位置Pを中心にして半径方向に延びる二つの線分を検出する。そして、撮像画像内でこの二つの線分を延長したときに交差する点をペン先位置Pと推定する。上述したように、ペン先位置Pと発光素子124の中心とは同軸上にあるので、放射光の放射された方向を求めることでペン先位置Pも求めることができる。
Assume that the pen tip position P is in the shadow of the user S and cannot be observed from the
3つの放射光132の外形形状のうち、半径方向に延びる少なくとも二つの線分が検出されれば、上述の推定方法を実行することができる。すなわち、一つの放射光132の外形を構成する二つの線分の交点を用いてもよいし、または第1の放射光132の外形を構成する一つの線分と、第2の放射光132の外形を構成する一つの線分との交点を用いてもよい。したがって、放射光の大半がユーザSの影に隠れてしまっても、ペン先位置Pを推定することが可能である。
If at least two line segments extending in the radial direction are detected among the outer shapes of the three radiated
複数の放射光132が撮像画像内で検出された場合、いずれか一つの放射光132を選択してペン先位置Pを推定してもよいし、または放射光毎にペン先位置を推定してもよい。後者の場合、放射光毎に推定されたペン先位置Pの平均値を採用してもよい。
When a plurality of emitted
図5は、実施の形態1に係る投写型表示装置80の構成を示す図である。投写型表示装置80は、主に投写部10、カメラ30および制御装置50を備える。制御装置50は、先端検出部52、放射光検出部54、推定部56、描画部58、映像信号出力部60および画像メモリ62を備える。
FIG. 5 is a diagram showing a configuration of the
制御装置50の構成は、ハードウェア的には、任意のコンピュータのCPU、メモリ、その他のLSIで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
The configuration of the
投写部10は、スクリーン110に映像を投写する。投写部10は、光源11、光変調器12およびフォーカスレンズ13を含む。光源11には、フィラメント型の電極構造を有するハロゲンランプ、アーク放電を発生させる電極構造を有するメタルハライドランプ、キセノンショートアークランプ、高圧型の水銀ランプ、LEDランプなどを採用することができる。
The
光変調器12は、映像信号出力部60から設定される映像信号に応じて、光源11から入射される光を変調する。例えば、光変調器12にはDMD(Digital Micromirror Device)を採用することができる。DMDは、画素数に対応した複数のマイクロミラーを備え、各マイクロミラーの向きが各画素信号に応じて制御されることにより、所望の映像光を生成する。
The
フォーカスレンズ13は、光変調器12から入射される光の焦点位置を調整する。光変調器12により生成された映像光は、フォーカスレンズ13を介して、スクリーン110に投写される。
The
カメラ30は、スクリーン110、投写部10によりスクリーン110に投写された映像、およびペン型デバイス120を主な被写体として撮像する。カメラ30は、固体撮像素子31および信号処理回路32を含む。固体撮像素子31には、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Devices)イメージセンサなどを採用することができる。信号処理回路32は、固体撮像素子31から出力される信号に対して、A/D変換や、RGBフォーマットからYUVフォーマットへの変換などの各種信号処理を施し、制御装置50に出力する。
The
先端検出部52は、カメラ30から得られる撮像画像から、ペン型デバイス120の先端部を検出する。この検出は、周知のテンプレートマッチング等の技術を用いて実行する。代替的に、ペン型デバイス120のスイッチ122に発光素子を組み込んでおき、スイッチ122の先端がスクリーンに押しつけられたときにスイッチ自体が発光するように構成してもよい。この場合、先端検出部52は、カメラ30から得られる撮像画像からペン先の発光点を検出する。
The
撮像画像からペン型デバイス120の先端部を検出できた場合、先端検出部52は、投写映像領域内でのペン先位置Pの座標を決定する。この情報は、描画部58に送信される。
When the tip of the
撮像画像からペン型デバイス120の先端部を検出できなかった場合、放射光検出部54は、撮像画像内から略台形状の放射光132を検出する。この検出も、テンプレートマッチング等の技術を用いて実現できる。
When the tip of the pen-
推定部56は、放射光検出部54で検出された放射光132の外形形状を特定し、半径方向に延びる少なくとも二つの線分をさらに検出する。そして、この二つの線分を撮像画像内で延長し、交差位置をペン先位置Pと推定する。推定部56は、さらに投写映像領域内でのペン先位置Pの座標を決定し、描画部58に出力する。
The
描画部58は、撮像画像毎に先端検出部52または推定部56から受け取るペン先位置Pの座標を連続的につなぎ合わせて、ペン型デバイス120の先端部の軌跡を特定する。そして、特定した軌跡に予め定められた特性(色、太さ、線種など)を有する線を描画した画像を作成する。
The
画像メモリ62は、スクリーン110に投写すべき画像データを保持する。この画像データは、図示しない外部インタフェースを介してパーソナルコンピュータ(PC)などの外部装置から供給される。映像信号出力部60は、画像メモリ62に保持される画像データに基づく映像信号と、描画部58で作成された画像とを合成した上で、光変調器12に出力する。この結果、映像信号にユーザSの描いた線が書き加えられた画像がスクリーン110に投写表示される。なお、映像信号出力部60は、画像メモリからの映像信号を出力せず、軌跡の画像のみを出力してもよい。
The
図6は、投写表示システム100を用いてペン型デバイスでスクリーン上に軌跡を描画するプロセスのフローチャートである。
まず、カメラ30がスクリーン上の投写映像領域を撮像する(S10)。先端検出部52が、撮像画像内でペン型デバイスの先端部の検出を試みる(S12)。ペン先端が検出された場合(S12のY)、先端検出部52は投写領域内でのペン先位置の座標を決定する(S14)。ペン先端が検出できなかった場合(S12のN)、放射光検出部54は、撮像画像内で放射光の検出を試みる(S16)。放射光が検出されない場合(S16のN)、スクリーンにペン型デバイスが接触していないと考えられるので、描画画像を作成せずにS24に進む。放射光が検出された場合(S16のY)、推定部56は、放射光の外形を構成する少なくとも二つの線分に基づき、ペン先位置の座標を推定する(S18)。
FIG. 6 is a flowchart of a process of drawing a trajectory on the screen with a pen-type device using the
First, the
描画部58は、先端検出部52または推定部56で決定されたペン先座標に基づき、ペン型デバイスの軌跡を描画した画像を作成する(S20)。映像信号出力部60は、画像メモリ62からの映像信号に軌跡画像を合成し(S22)、合成された画像が投写部10によりスクリーン上に投写される(S24)。
The
以上説明したように、実施の形態1によれば、ペン型デバイスの筐体に形成された複数のスレットから漏れる放射光を利用して、デバイスのペン先位置を推定する。スリットから漏れた光は、スクリーン上で放射状に延びるため、ユーザによりペン先がカメラから隠された場合でも、放射光の少なくとも一部はカメラにより撮像される。したがって、ペン型デバイスのペン先位置を推定することができる。 As described above, according to the first embodiment, the pen tip position of the device is estimated using the radiated light leaking from the plurality of threats formed in the casing of the pen-type device. Since the light leaking from the slit extends radially on the screen, even when the pen tip is hidden from the camera by the user, at least a part of the emitted light is captured by the camera. Therefore, the pen tip position of the pen-type device can be estimated.
また、スリットをペン型デバイスの周方向に複数設けることで、ペン型デバイスの向きやスクリーンに対する角度によって放射光が撮像できなくなる事態を回避することができる。また、複数の放射光を利用してペン先位置を推定することで、検出精度を高めることができる。 Further, by providing a plurality of slits in the circumferential direction of the pen-type device, it is possible to avoid a situation in which the emitted light cannot be imaged depending on the orientation of the pen-type device and the angle with respect to the screen. Moreover, detection accuracy can be improved by estimating the pen tip position using a plurality of radiated light.
以下、実施の形態1の変形例について説明する。 Hereinafter, modifications of the first embodiment will be described.
図7は、ペン型デバイス120を使用してスクリーン面に対するデバイスの傾きを推定する方法を説明する図である。(a)のようにスクリーン面に対してペン型デバイス120を傾けて接触させた場合、(b)のように傾けられた方向では放射光136が小さくなり、その反対向きでは放射光134が大きくなる。そこで、推定部は、ペン型デバイスをスクリーンに対して垂直に押し当てたときに形成される放射光と、撮像画像から検出された放射光との比較に基づき、ペン型デバイスの傾斜の角度および方向を推定することができる。例えば、ペン型デバイスとスクリーンとがなす角度に応じた放射光の基準パターンを投写型表示部内に保持しておき、この基準パターンと撮像画像から検出された放射光とのマッチング結果に基づき、角度を推定してもよい。
FIG. 7 is a diagram for explaining a method of estimating the tilt of the device with respect to the screen surface using the pen-
図8は、ペン型デバイス120を使用してデバイスの回転を検出する方法を説明する図である。カメラ30による撮像画像のフレーム間比較によって、推定部がペン先位置Pが変化することなく放射光132が(a)から(b)のように角度変化したことを特定すれば、ペン型デバイスの回転を検出することができる。
FIG. 8 is a diagram for explaining a method of detecting the rotation of the device using the pen-
図9は、ペン型デバイス120を使用してスクリーン面に対するデバイスの距離を推定する方法を説明する図である。この例では、デバイス内部の発光素子124は、スイッチ122とは無関係に常に点灯しているものとする。(a)に示すように、ペン型デバイス120がスクリーン面から離れた位置にあるとき、スクリーン上に形成される放射光132はペン先位置Pからも離れている。(b)に示すように、ペン型デバイス120がスクリーン面に接触するとき、スクリーン上に形成される放射光132はペン先位置Pに接近する。したがって、撮像画像中でのペン先位置Pと放射光132の先端部との間の距離と、実際のスクリーンとペン型デバイスとの間の距離を対応させるテーブルまたは計算式を予め準備しておくことで、推定部がスクリーンとペン型デバイスとの距離を推定することが可能になる。
FIG. 9 is a diagram for explaining a method of estimating the distance of the device with respect to the screen surface using the pen-
図7〜図9を参照して説明したように、ペン型デバイス120の傾き、回転および距離を求めることで、ペン型デバイスの描画以外の動作をPC等の外部装置に対する入力として用いることができる。例えば、ペン型デバイスのスクリーン面に対する接近動作を、マウスのクリック操作に対応させたり、ペン型デバイスの所定角度以上の傾きを、選択したオブジェクトの傾き方向への移動に対応させたり、またはペン型デバイスの回転を、選択したオブジェクトの回転に対応させたりすることが考えられる。
As described with reference to FIGS. 7 to 9, by obtaining the tilt, rotation, and distance of the pen-
図10〜図12は、ペン型デバイスの筐体に形成されるスリット形状の変形例を示す。各図において、(a)はペン型デバイスを先端から観察した端面図を示し、(b)はペン型デバイスをスクリーンに対して垂直に接触させたときにスクリーン上に形成される放射光の形状を示している。 FIGS. 10-12 shows the modification of the slit shape formed in the housing | casing of a pen-type device. In each figure, (a) shows an end view of the pen-type device observed from the tip, and (b) shows the shape of the emitted light formed on the screen when the pen-type device is brought into contact with the screen perpendicularly. Is shown.
図10(a)は、スリット130の位置を非対称としたペン型デバイス140を示す。この例では、3つのスリットが中心線よりも左側に位置している。したがって、スクリーン上の放射光も、図10(b)に示すように、ペン先位置の左側に延びる。ユーザがスリットのない側を手の平向きにしてペン型デバイス140を保持することで、スリット130から漏れた光がユーザの手によって遮られにくくなる。したがって、カメラによって放射光を検出しやすくなる。
FIG. 10A shows a pen-
図11(a)は、上述の実施形態よりもスリット152の幅を拡大したペン型デバイス150を示す。ペン型デバイス150によりスクリーン上に形成される放射光は、図11(b)に示すように扇形に近くなる。こうすると、放射光の半径方向に延びる二本の線分間のなす角度が大きくなるため、ペン先位置の検出精度が向上することが期待される。
FIG. 11A shows a pen-
図12(a)は、スリット162をペン先まで延長したペン型デバイス160を示す。ペン型デバイス160によりスクリーン上に形成される放射光は、図12(b)に示すように中央部のつながった三つ叉形状になる。
FIG. 12A shows a pen-
図13(a)は、筐体に形成されるスリットの数を増やしたペン型デバイス170を示す。各スリット172は、図2のペン型デバイス120におけるスリットと同様に、周方向に等間隔に配置されているが、各スリットが軸方向に二分されている。図13(b)は、このペン型デバイス170によりスクリーン上に形成される放射光の形状を示しており、形の異なる二種類の放射光176、178を含む。このようにすると、ペン先位置を推定するための放射光の情報量が増大するため、ペン先位置やペンの傾きの推定精度が向上することが期待される。
FIG. 13A shows a pen-
一つのスクリーンに対し二人以上のユーザが描画を行う場合、各ユーザにそれぞれ異なるスリット形状を有するペン型デバイスを使用させてもよい。このようにすると、スクリーン面上の放射光形状がそれぞれ異なるため、投写型表示装置側の処理によってユーザ毎のペン先位置を区別することができる。したがって、ユーザ毎に異なる特性(太さ、色、線種など)の線で描画された映像を投写することができる。 When two or more users draw on one screen, each user may use a pen-type device having a different slit shape. In this case, since the shapes of the emitted light on the screen surface are different, the pen tip position for each user can be distinguished by the processing on the projection display device side. Therefore, it is possible to project an image drawn with lines having different characteristics (thickness, color, line type, etc.) for each user.
スリットの形状、位置および数は上記に限定される訳ではなく、カメラで撮像された放射光形状からペン先位置を推定できる限り、任意のものを適宜選択することができる。ペン型デバイスの先端部を中心として放射状に配置されていれば、放射光の形状が台形または扇形でなくてもよい。また、スリットの形状、位置、および数が適切に選択されている限り、ポインティングデバイスとしてペン型以外のデバイスを用いることも可能である。 The shape, position, and number of the slits are not limited to the above, and any one can be appropriately selected as long as the pen tip position can be estimated from the radiated light shape captured by the camera. The shape of the emitted light may not be trapezoidal or fan-shaped as long as it is arranged radially around the tip of the pen-type device. Further, as long as the shape, position, and number of slits are appropriately selected, it is possible to use a device other than the pen type as the pointing device.
また、放射光を形成するのにスリットに加え、ミラー、プリズム、レンズなどの光学素子を利用してもよい。スリットを使用せずに、ペン型デバイスの筐体の側面に発光素子を取り付けて直接放射光を照射してもよい。 In addition to the slit, an optical element such as a mirror, a prism, or a lens may be used to form the emitted light. Instead of using a slit, a light emitting element may be attached to the side surface of the case of the pen-type device and directly irradiated with radiated light.
実施の形態2.
図14(a)は、本発明の別の実施形態に係る投写型表示装置とともに使用するペン型デバイス220の断面図である。このペン型デバイス220には、二つの発光素子222、224が設けられている。第1の発光素子222はデバイス220の先端に配置され、スクリーン上に照射領域R1を形成する。第1の発光素子222は、使用中は常に点灯されている。これに対し、第2の発光素子224は、ペン型デバイス220の筐体側面に配置されたスイッチ226によって、点灯/消灯が切り換えられる。第2の発光素子224は、第1の発光素子222の後方に配置される。そして、図14(b)に示すように、第1の発光素子222による照射領域R1を取り囲んで照射領域R2を形成する。
Embodiment 2. FIG.
FIG. 14A is a cross-sectional view of a pen-
第1の照射領域R1は、ペン型デバイスのペン先位置を検出するために使用される。これに対し、第2の照射領域R2は、ペン型デバイス220においてスイッチ226が押されているか否かを判定するために使用される。
The first irradiation region R1 is used for detecting the pen tip position of the pen-type device. On the other hand, the second irradiation region R2 is used to determine whether or not the
第1の発光素子と第2の発光素子は、識別の観点から色が異なることが好ましい。しかしながら、両者が同色でも、照射領域R1とR2の輝度差から両者を識別することも可能である。 The first light emitting element and the second light emitting element are preferably different in color from the viewpoint of identification. However, even if both are the same color, it is also possible to distinguish both from the luminance difference between the irradiation regions R1 and R2.
図15は、実施の形態2に係る投写型表示装置200の構成を示す図である。投写型表示装置200は、主に投写部10、カメラ30および制御装置250を備える。投写部10およびカメラ30については、図5の投写型表示装置80のものと同様の機能を有するので、説明を省略する。
FIG. 15 is a diagram showing a configuration of a
制御装置250は、照射領域検出部72、クリック通知部74、描画部58、映像信号出力部60および画像メモリ62を備える。制御装置250の機能ブロックについても、ハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できる。
The
照射領域検出部72は、カメラ30による撮像画像内から照射領域R1およびR2を検出する。この検出は、撮像画像内で第1および第2の発光素子に対応する色または輝度と、ペン型デバイスがスクリーンに接触しているときに形成される照射領域の大きさとに対応する部分を検出することで実現できる。照射領域検出部72は、照射領域R1を検出すると、投写領域内でのその座標をペン先位置として特定し、描画部58に出力する。
The irradiation
クリック通知部74は、照射領域検出部72により照射領域R2が検出されたとき、スイッチ226が押されたことをPC等の外部機器に通知する。好適には、スイッチ226は一般的なマウスの右クリックに対応している。
The
描画部58は、照射領域検出部72から受け取ったペン先位置Pの座標に、予め定められた特性(色、太さ、線種など)を有する線を描画した画像を作成する。
The
映像信号出力部60および画像メモリ62の機能は、図5の投写型表示装置80のものと同様なので、説明を省略する。
The functions of the video
以上説明したように、実施の形態2に係る投写型表示装置によれば、ペン型デバイス内に二つの発光素子が設けられる。一方はペン先位置の検出に使用される。他方は、点灯/消灯を例えばマウスのクリック操作に対応させる。二つの発光素子によりスクリーン上に形成される照射領域をカメラで撮像することで、ペン先位置の検出と右クリックの検出を同時に行うことができる。 As described above, according to the projection display apparatus according to the second embodiment, two light emitting elements are provided in the pen type device. One is used for detecting the pen tip position. On the other hand, lighting / extinguishing is made to correspond to, for example, a mouse click operation. By detecting an irradiation area formed on the screen by two light emitting elements with a camera, it is possible to simultaneously detect the pen tip position and the right click.
また、ペン先方向に円形の照射領域を形成するため、ペンを傾けた場合の形状のひずみが小さくなる。したがって、スクリーンに対するペン型デバイスの傾きが照射領域の検出に及ぼす影響が小さく、安定した検出が可能になる。 Further, since the circular irradiation area is formed in the pen tip direction, the distortion of the shape when the pen is tilted is reduced. Therefore, the influence of the tilt of the pen-type device with respect to the screen on the detection of the irradiation area is small, and stable detection is possible.
従来、投写型表示装置においてポインティングデバイスでのクリック操作を送信するために、ブルートゥース等の無線を用いることが多かった。これに対し、実施の形態2に係る投写型表示装置では、単一のカメラでペン先位置とクリック操作の両方を検出できるので、構成が簡単になり低コストになる。 Conventionally, in order to transmit a click operation with a pointing device in a projection display device, radio such as Bluetooth is often used. On the other hand, in the projection display apparatus according to the second embodiment, since both the pen tip position and the click operation can be detected with a single camera, the configuration is simplified and the cost is reduced.
クリック操作を安定して検出できるようにするために、クリック操作の検出、すなわち照射領域R2の有無の検出は、照射領域R1が検出されたときのみとしてもよい。また、照射領域R2の誤検出を防止するために、照射領域R1を中心とした所定範囲内でのみ照射領域R2の有無を検出するようにしてもよい。 In order to enable stable detection of the click operation, the detection of the click operation, that is, the presence / absence of the irradiation region R2 may be performed only when the irradiation region R1 is detected. In order to prevent erroneous detection of the irradiation region R2, the presence / absence of the irradiation region R2 may be detected only within a predetermined range centered on the irradiation region R1.
実施の形態3.
実施の形態1で説明したスリットからの放射光によるペン先位置の検出と、実施の形態2で説明したクリックの検出とを組み合わせて使用してもよい。図16は、そのような実施の形態に係るペン型デバイス230の構成を示す断面図である。
Embodiment 3 FIG.
You may use combining the detection of the pen tip position by the radiated light from the slit demonstrated in Embodiment 1, and the detection of the click demonstrated in Embodiment 2. FIG. FIG. 16 is a cross-sectional view showing the configuration of the pen-
図16(a)に示すように、ペン型デバイス230には、二つの発光素子232、234が設けられている。第1の発光素子232はデバイス230の先端に配置され、スクリーン上に照射領域R1を照射する。第1の発光素子232は、ペン型デバイス230の筐体側面に配置されたスイッチ226によって、点灯/消灯が切り換えられる。第2の発光素子234は、第1の発光素子232の後方に配置される。第2の発光素子234から照射された光は、筐体内部に配置されたミラーまたはプリズム236によって反射され、筐体側面に形成されたスリット238を通過して、ペン型デバイス230の側方に光を照射する。この例では、周方向に等間隔に4つのスリット238が形成されているものとする。
As shown in FIG. 16A, the pen-
図16(b)は、ペン型デバイス230によってスクリーン上に形成される照射領域の形状を示す。照射領域R1は、第1の発光素子232によって、スイッチ226が押されている間のみ照射される。照射領域R2は、第2の発光素子234によって形成される。
FIG. 16B shows the shape of an irradiation area formed on the screen by the pen-
カメラによるスクリーンの撮像画像から、第2の実施形態と同様にして照射領域R1の有無を検出することにより、クリック操作を検出することができる。また、第1の実施形態と同様にして照射領域R2を検出し、その形状に基づきペン先位置の座標を求めることができる。 A click operation can be detected by detecting the presence or absence of the irradiation region R1 from the captured image of the screen by the camera in the same manner as in the second embodiment. Further, similarly to the first embodiment, the irradiation region R2 can be detected, and the coordinates of the pen tip position can be obtained based on the shape thereof.
上述の各実施形態では、スクリーン上に投写映像を表示する投写型表示装置を含むシステムを例として説明した。しかしながら、本発明は、フラットパネルディスプレイ、電子黒板などの画面上でのポインティングデバイスの軌跡を検出し、その軌跡をディスプレイに表示するシステムにも適用することができる。この場合、ポインティングデバイスをマウス等の代替物として使用できる。また、ポインティングデバイスで描画する場所と、対応する軌跡の画像の表示先とは同一でなくてもよい。例えば、あるスクリーン上でのポインティングデバイスの軌跡が、別のスクリーンやディスプレイ上に表示されてもよい。 In each of the above-described embodiments, a system including a projection display device that displays a projected image on a screen has been described as an example. However, the present invention can also be applied to a system that detects the locus of a pointing device on a screen such as a flat panel display or an electronic blackboard, and displays the locus on the display. In this case, the pointing device can be used as a substitute for a mouse or the like. In addition, the place where the pointing device draws and the display destination of the image of the corresponding locus need not be the same. For example, the locus of the pointing device on one screen may be displayed on another screen or display.
10 投写部、 30 カメラ、 50、250 制御装置、 52 先端検出部、 54 放射光検出部、 56 推定部、 58 描画部、 60 映像信号出力部、 62 画像メモリ、 72 照射領域検出部、 74 クリック通知部、 80、200 投写型表示装置、 100 投写表示システム、 110 スクリーン、 120、140、150、160、170、220、230 ペン型デバイス、 122 スイッチ、 124、222、224、232、234 発光素子、 130、152、162、172 スリット、 132、134、136、176 放射光、 226 スイッチ。
DESCRIPTION OF
Claims (8)
前記ポインティングデバイスは、所定面上で前記先端部を中心として放射状に広がる放射光を照射する発光部を備え、
前記制御装置は、
前記所定面上の前記放射光を含む領域を撮像する撮像部と、
撮像された画像から前記放射光を検出する検出部と、
検出された放射光から前記ポインティングデバイスの先端部の位置を推定する推定部と、
を備えることを特徴とする情報表示システム。 An information display system including a pointing device and a control device that detects a trajectory of the tip of the pointing device,
The pointing device includes a light emitting unit that radiates radiation light that spreads radially around the tip on a predetermined surface;
The controller is
An imaging unit for imaging an area including the emitted light on the predetermined surface;
A detection unit for detecting the emitted light from the captured image;
An estimation unit that estimates the position of the tip of the pointing device from the detected radiation;
An information display system comprising:
前記ポインティングデバイスは、前記先端部の方向に第1照射領域を形成する第1発光部と、前記第1照射領域を取り囲むような第2照射領域を形成する第2発光部と、前記第1発光部または前記第2発光部のいずれかをオンオフするスイッチと、を備え、
前記制御装置は、
所定面上の前記第1照射領域および前記第2照射領域を含む領域を撮像する撮像部と、
撮像された画像から前記第1照射領域および前記第2照射領域を検出する検出部と、
検出された第1照射領域または第2照射領域の位置または形状に基づき前記ポインティングデバイスの先端部の位置を推定する推定部と、
前記第1照射領域または前記第2照射領域が検出されたとき、前記スイッチの作動を外部装置に通知する通知部と、
を備えることを特徴とする情報表示システム。 An information display system including a pointing device and a control device that detects a trajectory of the tip of the pointing device,
The pointing device includes: a first light emitting unit that forms a first irradiation region in the direction of the tip; a second light emitting unit that forms a second irradiation region surrounding the first irradiation region; and the first light emission. Or a switch for turning on or off either the second light emitting unit,
The controller is
An imaging unit for imaging an area including the first irradiation area and the second irradiation area on a predetermined surface;
A detection unit for detecting the first irradiation region and the second irradiation region from the captured image;
An estimation unit that estimates the position of the tip of the pointing device based on the detected position or shape of the first irradiation region or the second irradiation region;
A notification unit for notifying an operation of the switch to an external device when the first irradiation region or the second irradiation region is detected;
An information display system comprising:
画像表示装置に対して前記描画した画像を出力する出力部と、
をさらに備えることを特徴とする請求項1または6に記載の情報表示システム。 A drawing unit that creates an image in which the locus of the tip portion is drawn with reference to the position of the tip portion estimated for a plurality of captured images;
An output unit for outputting the drawn image to an image display device;
The information display system according to claim 1, further comprising:
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010194779A JP2012053603A (en) | 2010-08-31 | 2010-08-31 | Information display system |
US13/211,642 US20120044140A1 (en) | 2010-08-19 | 2011-08-17 | Information display system and program, and optical input system, projection-type images and display apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010194779A JP2012053603A (en) | 2010-08-31 | 2010-08-31 | Information display system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012053603A true JP2012053603A (en) | 2012-03-15 |
Family
ID=45906863
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010194779A Pending JP2012053603A (en) | 2010-08-19 | 2010-08-31 | Information display system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012053603A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014199633A (en) * | 2013-03-15 | 2014-10-23 | 株式会社リコー | Coordinate detection device, coordinate detection system, coordinate detection method, and coordinate detection program |
JP2018120442A (en) * | 2017-01-25 | 2018-08-02 | 富士通株式会社 | Information processing method, information processing system, and optical device |
WO2020090227A1 (en) * | 2018-11-01 | 2020-05-07 | ソニー株式会社 | Information processing device, information processing method, and program |
WO2022009645A1 (en) * | 2020-07-09 | 2022-01-13 | ソニーグループ株式会社 | Information processing device and information processing method |
-
2010
- 2010-08-31 JP JP2010194779A patent/JP2012053603A/en active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014199633A (en) * | 2013-03-15 | 2014-10-23 | 株式会社リコー | Coordinate detection device, coordinate detection system, coordinate detection method, and coordinate detection program |
JP2018120442A (en) * | 2017-01-25 | 2018-08-02 | 富士通株式会社 | Information processing method, information processing system, and optical device |
WO2020090227A1 (en) * | 2018-11-01 | 2020-05-07 | ソニー株式会社 | Information processing device, information processing method, and program |
JPWO2020090227A1 (en) * | 2018-11-01 | 2021-10-07 | ソニーグループ株式会社 | Information processing equipment, information processing methods, and programs |
EP3876083A4 (en) * | 2018-11-01 | 2021-12-29 | Sony Group Corporation | Information processing device, information processing method, and program |
US11435856B2 (en) | 2018-11-01 | 2022-09-06 | Sony Group Corporation | Information processing device, information processing method, and program |
JP7294350B2 (en) | 2018-11-01 | 2023-06-20 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
WO2022009645A1 (en) * | 2020-07-09 | 2022-01-13 | ソニーグループ株式会社 | Information processing device and information processing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6307972B2 (en) | REFLECTOR, ADJUSTING METHOD, AND POSITION DETECTION DEVICE | |
US20120044140A1 (en) | Information display system and program, and optical input system, projection-type images and display apparatus | |
JP6375672B2 (en) | Position detecting apparatus and position detecting method | |
JP6398248B2 (en) | Position detection system and method for controlling position detection system | |
JP6417690B2 (en) | Projector, display device, and projector control method | |
US8449122B2 (en) | Image marking method and apparatus | |
JP6111706B2 (en) | Position detection apparatus, adjustment method, and adjustment program | |
JP6075122B2 (en) | System, image projection apparatus, information processing apparatus, information processing method, and program | |
JP6459194B2 (en) | Projector and projected image control method | |
US9830023B2 (en) | Image display apparatus and method of controlling image display apparatus | |
JP2012053584A (en) | Information display system and program | |
JP2011043876A (en) | Image display device | |
JP6375660B2 (en) | POSITION DETECTION DEVICE, PROJECTOR, POSITION DETECTION SYSTEM, AND POSITION DETECTION DEVICE CONTROL METHOD | |
WO2016157803A1 (en) | Display device, display device control method, document camera and document camera control method | |
CN107239177A (en) | Display system, display device, information processor and information processing method | |
JP6562124B2 (en) | Position detection system and method for controlling position detection system | |
JP2017009829A (en) | Image projection device, image projection system and video supply device | |
JP2012053603A (en) | Information display system | |
JP2016071402A (en) | Position detection apparatus, projector, and position detection method | |
JP2010078854A (en) | Lighting system | |
JP6569259B2 (en) | POSITION DETECTION DEVICE, DISPLAY DEVICE, POSITION DETECTION METHOD, AND DISPLAY METHOD | |
JP2017010314A (en) | Image projection system, image projection device, pointing device, and video supply device | |
JP2009200846A (en) | Indication system, indication program and indication device | |
JP2012043176A (en) | Optical input system and projection type video display device equipped with the same | |
JP6300053B2 (en) | Projector device and projector system |