JP2017204224A - 情報入力システム及び電子ペン - Google Patents

Abstract

【課題】直感的且つ簡単な操作で、所望の情報を入力できる情報入力システム及びそれに用いる電子ペンを提供する。【解決手段】情報入力システムにおいて、ユーザーが指又は前記指から出射される赤外光とは異なるパターンの赤外光を出射する電子ペンで投影面に触れることにより、前記指又は前記電子ペンでカーテン状の赤外光が遮られた状態を赤外用撮像部が撮像したときは、画像解析部が、前記赤外用撮像部の信号に対応する画像から赤外光パターンを検出し、制御部は、前記赤外光パターンに応じて、前記カーテン状の赤外光を遮ったものが前記電子ペンと前記指のいずれかであるかを判別し、判別した前記電子ペン又は前記指に応じて異なる情報の入力を行うようになっている。【選択図】図１

Description

本発明は、画像を投影する投影部を備えた情報入力システム及び電子ペンに関する。

近年、スクリーンに投影した投影画像に文字や図などを書き込む機能や、投影画像の拡大、縮小、及びページ送りなどの操作を実行する機能を有するいわゆるインタラクティブなプロジェクタ装置が市販されている。これらの機能は、スクリーンをタッチする操作者の指や、操作者が保持しているペン及び指し棒などを入力操作手段とし、該入力操作手段の位置及び動きを検出して、その検出結果をコンピュータなどへ送ることで実現されている。

特許文献１には、電子ペンまたは指示手段が表示手段へ接触したことを判別する判別手段と、判別手段で表示手段への接触が指示手段であると判別した場合、指示手段に対応する表示を表示手段に表示させる表示制御手段と、を有する情報処理装置が開示されている。

特許文献１の技術によれば、イベント振分部が、座標検知部によって検知されたイベントの座標位置と接触検知部によって検出された検出結果を、ストローク描画、ＵＩ操作、及びジェスチャー操作の各イベントに振り分けている。例えば「ストローク描画」は、ディスプレイ上にストローク画像が表示されている場合に、ユーザーがディスプレイ上で電子ペンを押下し、この押下した状態で電子ペンを移動させ、最終的にディスプレイ上から電子ペンを離すまでのイベントであるとされる。このストローク描画により、例えば、アルファベット等がディスプレイ上に描画される。又、「ＵＩ操作」は、ディスプレイ上にＵＩ画像が表示されている場合に、ユーザーが電子ペン又は手によって所定の位置を押下したイベントである。このＵＩ操作により、例えば、電子ペンにより描画される線の色や幅等が設定される。

これに対し、「ジェスチャー操作」は、ディスプレイ上にストローク画像が表示されている場合に、ユーザーが手でディスプレイ上をタッチしたり移動させたりするイベントである。このジェスチャー操作により、例えば、ユーザーがディスプレイに手をタッチさせた状態で手を移動させることで、画像の拡大（若しくは縮小）、表示領域の変更、又は、ページ切り換え等を行うことができるとされる。

特開２０１５−８４２１１号公報

しかるに、特許文献１の技術によれば、ストローク描画、ＵＩ操作、及びジェスチャー操作のいずれかを実現するには、ディスプレイ上に，それに対応する画像を予め表示しなくてはならない。すなわち、所望の操作を行うためには、それに対応する画像の表示と、実際の操作のツーアクションが少なくとも必要となって、操作が煩雑になり，また直感的操作が行えないという問題がある。

本発明は、かかる問題点に鑑みてなされ、直感的且つ簡単な操作で、所望の情報を入力できる情報入力システム及びそれに用いる電子ペンを提供することを目的とする。

本発明の情報入力システムは、
投影面に画像を投影する投影部と、
前記投影面に沿って、赤外光をカーテン状に出射する赤外光出射部と、
前記投影面上の前記赤外光を撮像する赤外用撮像部と、
前記赤外用撮像部からの信号を入力して解析を行う画像解析部と、
前記画像解析部の解析に基づいて前記投影部を制御する制御部と、を有する情報入力システムであって、
ユーザーが指又は前記指から出射される赤外光とは異なるパターンの赤外光を出射する電子ペンで前記投影面に触れることにより、前記指又は前記電子ペンで前記カーテン状の赤外光が遮られた状態を前記赤外用撮像部が撮像したときは、前記画像解析部が、前記赤外用撮像部の信号に対応する画像から赤外光パターンを検出し、
前記制御部は、前記赤外光パターンに応じて、前記カーテン状の赤外光を遮ったものが前記電子ペンと前記指のいずれかであるかを判別し、判別した前記電子ペン又は前記指に応じて異なる情報の入力を行うようになっているものである。

本発明によれば、直感的且つ簡単な操作で、所望の情報を入力できる情報入力システム及びそれに用いる電子ペンを提供することができる。

本実施の形態にかかる情報入力システム１００を示すブロック図である。 情報入力システム１００の使用状態を示す図である。 本実施の形態で好適に用いられる電子ペンＥＰの斜視図である。 電子ペンＥＰの分解図である。 電子ペンＥＰの先端をスクリーンＳＣに接触させた状態で赤外光を出射した場合において、第１キャップＣＰ１と第２キャップＣＰ２との相対回転位置と、スクリーン上に形成される赤外光のパターンＰＴとを対応づけて示す図であり、相対回転角を変えて示している。 情報入力システム１００にて行われる制御を示すフローチャートである。 電子ペンＥＰで赤外線を出射しながら、スクリーンＳＣに対して操作を行った際に、撮像部１０３で撮像した画像の一部を模式的に示す図である。 ユーザーＵＳの指ＦＧで、スクリーンＳＣに対して操作を行った際に、撮像部１０３で撮像した画像の一部を模式的に示す図である。 本実施の形態の変形例にかかる情報入力システム１００の制御を示すフローチャートである。

以下、本発明に係る実施の形態を説明する。図１は、本実施の形態にかかる情報入力システム１００を示すブロック図であり、図２は、情報入力システム１００の使用状態を示す図である。図1において、情報入力システム１００は、投影部１０１と、赤外光出射部１０２と、撮像部１０３と、画像解析部１０４と、これらと信号伝達可能に接続された画像制御部１０５とを有する。

投影部１０１は、投影制御部１０１ａと、光源及び光学系（不図示）とを有しており、外部のパソコンＰＣから画像制御部１０５を介して送信されたオリジナル画像の画像信号を、投影制御部１０１ａにて画像に変換して、スクリーン（投影面）ＳＣに投影可能となっている。

赤外光出射部１０２は、赤外レーザ光源とシリンドリカルレンズ又はビームシェイパ等の光学系（不図示）とを有し、赤外レーザ光源から出射された赤外光を、光学系を介して整形しつつスクリーンＳＣから２〜５ｍｍの位置で、これに沿って略平行にカーテン状（膜状）に出射する。

撮像部（赤外用撮像部）１０３は、赤外帯域に感度を持つ撮像素子（不図示）を備え、カーテン状に出射された赤外光ＩＲ越しにスクリーンＳＣを撮像して、それに応じた画像信号を出力する。

画像解析部１０４は、撮像部１０３から出力された画像信号を解析するものであり、位置情報検出部１０４ａと輝度情報検出部１０４ｂとを有する。

画像制御部（制御部）１０５は、画像解析部１０４による解析結果に応じて、投影部１０１の投影する画像を制御するものであり、赤外光出射部１０２の制御部を兼ねている。

図２に示すように、情報入力システム１００はケースＣＳＥに収容された状態で、スクリーンＳＣ上部中央に配置されると好ましい。情報入力システム１００は、有線（Ｈ）又は無線にて外部のパソコンＰＣに接続されている。このとき、赤外光出射部１０２から出射されたカーテン状の赤外光は、スクリーンＳＣに対して略平行に延在するように出射されるので、情報入力システム１００から離れた位置に電子ペンＥＰ又は指ＦＧを置いた場合でも、撮像部１０３の撮像した画像から赤外光を遮った状態を明確に検出できる。

図３は、本実施の形態で好適に用いられる電子ペンＥＰの斜視図であり、図４は，電子ペンＥＰの分解図である。電子ペンＥＰは、ユーザーＵＳが把持する円筒状のボディＢＤと、ボディＢＤ内に配置された電池（電源）ＢＴと、電池ＢＴに接続された赤外レーザ（光源）ＬＤと、第１キャップＣＰ１と、第２キャップＣＰ２とを有する。

第１キャップＣＰ１はドーム状であって、ボディＢＤの先端の取付部ＡＴに固定されている。第１キャップＣＰ１は、図４に示すように、中心から互いに略４５°の交差角で延在する３本のスリットＳＬを形成しており、また外周に円周溝ＧＲを形成している。

一方、第２キャップＣＰ２は同様にドーム状であって、略１２０°の範囲で切り欠かれた切欠部ＣＴを有しており、内周に突起部（不図示）を形成している。かかる突起部を、第１キャップＣＰ１の円周溝ＧＲに係合することで、第１キャップＣＰ１に対して第２キャップＣＰ２が離間することなく取り付けられている。但し、第１キャップＣＰ１と第２キャップＣＰ２との間に作用する摩擦力で、例えスクリーンにタッチしたときでも両者は不用意に相対回転しないようになっており、かかる摩擦力を超えた力を付与したときのみ、両者は回転するようになっていると好ましい。第１キャップＣＰ１と第２キャップＣＰ２の形状は逆であっても良いし、この形状に限られることもない。第１キャップＣＰ１と第２キャップＣＰ２とで、整形部を構成する。

不図示のスイッチを操作することで、電池ＢＴから供給された赤外レーザＬＤが発光し、ボディＢＤの先端の孔ＨＬを介して赤外光が外部へと出射する。このとき、ボディＢＤの先端に、第１キャップＣＰ１と第２キャップＣＰ２とが取り付けられているので、孔ＨＬから出射した赤外光は、第１キャップＣＰ１のスリットＳＬと、第２キャップＣＰ２の切欠ＣＴとを通過することにより整形されて出射することとなる。第１キャップＣＰ１にスリットＳＬを設けることで、これを通過した赤外光が、スクリーンＳＣの撮像部１０３から比較的離れた位置（例えばスクリーンＳＣの周辺近傍）に照射された場合でも、撮像部１０３が明瞭に撮像できる赤外光パターンを形成できる。

図５は、電子ペンＥＰの先端をスクリーンＳＣに接触させた状態で赤外光を出射した場合において、第１キャップＣＰ１と第２キャップＣＰ２との相対回転位置と、スクリーン上に形成される赤外光のパターンＰＴとを対応づけて示す図であり、パターンＰＴにおいてハッチングで示す部位は，それ以外の部位よりも赤外光強度が高いことを意味している。

第２キャップＣＰ２の切欠ＣＴで、第１キャップＣＰ１の３本のスリットＳＬ全てを露出した状態であると、図５（ａ）に示すように、スクリーン上に形成される赤外光のパターンＰＴは、長軸が４５°方向に傾いた３つの長円の焦点同士を接合した形状となる。

又、第２キャップＣＰ２の切欠ＣＴで、第１キャップＣＰ１の１本のスリットＳＬを覆った状態であると、図５（ｂ）に示すように、スクリーン上に形成される赤外光のパターンＰＴは、長軸が４５°方向に傾いた２つの長円の焦点同士を接合した形状となる。

更に、第２キャップＣＰ２の切欠ＣＴで、第１キャップＣＰ１の２本のスリットＳＬを覆った状態であると、図５（ｃ）に示すように、スクリーン上に形成される赤外光のパターンＰＴは、１つの長円のみの形状となる。尚、パターンＰＴにおける１つの長円は、縦横比（ａ／ｂ）が２以上であるものとする。

尚、第２キャップＣＰ２の切欠ＣＴで、第１キャップＣＰ１の３本のスリットＳＬ全てを覆った状態であると、図５（ｄ）に示すように、スクリーン上には赤外光のパターンが形成されない状態となる。このように、第２キャップＣＰ２と第１キャップＣＰ１とを相対回転させることで、赤外光が透過するスリット形状を変更できる。

これに対し、指ＦＧをスクリーンにタッチしたときは、その指ＦＧから放射される赤外線により、ほぼ円形の赤外光パターン（後述する図８参照）が形成されることとなる。本実施の形態では、電子ペンＥＰから出射された赤外線により形成される赤外線パターンと、指ＦＧから放出される赤外線により形成されるパターンとが，互いに形状が異なることを利用して電子ペンＥＰか指ＦＧかを識別し、それに応じて後述するように異なる情報の入力を行えるようになっている。

次に、情報入力システム１００の動作について説明する。図６は、情報入力システム１００にて行われる制御を示すフローチャートである。図７は、電子ペンＥＰで赤外線を出射しながら、スクリーンＳＣに対して操作を行った際に、撮像部１０３で撮像した画像の一部を模式的に示し、図８は、ユーザーＵＳの指ＦＧで、スクリーンＳＣに対して操作を行った際に、撮像部１０３で撮像した画像の一部を模式的に示す図である。図７，８において、黒色領域が電子ペンＥＰ又は指ＦＧによりスクリーンＳＣ上に形成される赤外光パターンを示し、灰色領域がカーテン状に出射された赤外光を示す。

図６のステップＳ１０１において、投影部１０１は、パソコンＰＣから送信された画像信号に基づいて、図２に示すようにオリジナル画像ＯＩＧをスクリーンＳＣに投影する。又、ステップＳ１０２において、赤外光出射部１０２はスクリーンＳＣに沿ってカーテン状に赤外光を出射する。このとき撮像部１０３は、スクリーンＳＣ上の赤外光ＩＲを撮像している。

ステップＳ１０３にて、画像解析部１０４が、撮像部１０３からの画像信号を解析し、電子ペンＥＰ又は指ＦＧがスクリーンＳＣに接触するまで待ち受ける。図示していないが、ユーザーＵＳが電子ペンＥＰ又は指ＦＧでスクリーンＳＣ上をタッチしなければ、スクリーンＳＣに沿って赤外光出射部１０２から出射された赤外光が遮られないので、スクリーンＳＣ全面を覆った赤外光ＩＲが撮像されることとなる。又、投影部１０１からスクリーンＳＣ上に投影された画像は赤外成分を含まないので、後述する赤外光パターンの検出に悪影響を与えることはない。

ここで、ユーザーＵＳが電子ペンＥＰ又は指ＦＧで、スクリーンＳＣ上をタッチしたものとする。かかる場合、図７，８に示すように、スクリーンＳＣに沿って出射された赤外光の一部が遮光され、赤外光出射部１０２と反対側に赤外光が写らない領域ＡＲが生じることとなる。このような領域ＡＲは、例えば赤外光を発しない棒でスクリーンＳＣをタッチした場合にも生じるが、電子ペンＥＰ又は指ＦＧでタッチした場合、それ自体が赤外線を放出しているので、図７，８に示すように、領域ＡＲの上端（赤外光出射部１０２側端）に、赤外光パターンＰＴが出現することとなる。かかる赤外光パターンＰＴは、赤外光出射部１０２から出射されたカーテン状の赤外光ＩＲよりも強度（輝度）が高くなっており、両者は容易に識別できる。

よって図７又は８に示す状態であれば、画像解析部１０４の輝度情報検出部１０４ｂが、電子ペンＥＰ又は指ＦＧがスクリーンＳＣに接触したと判断でき、フローをステップＳ１０４以降に進めることとなる。

ステップＳ１０４で、画像解析部１０４の位置情報検出部１０４ａが、スクリーンＳＣに対し、赤外光パターンＰＴの位置座標を取得する。位置座標としては、図７に示す電子ペンの赤外光パターンＰＴでは、例えば長円の共通の焦点位置（単一の長円の場合は領域ＡＲに近い側の焦点位置）とすることができ、図８に示す指の赤外光パターンＰＴでは、例えば円の中心位置とすることができる。

更にステップＳ１０５で、画像解析部１０４の輝度情報検出部１０４ｂが赤外光パターンＰＴの形状を検出し、ステップＳ１０６で、検出した赤外光パターンの形状を解析して、２つの明部（赤外光強度が高い）で１つの暗部（赤外光強度が低い）を挟んでいるか否かを判定する。２つの明部で１つの暗部を挟んでいると判定すると、図５（ａ）、（ｂ）に示すいずれかの赤外光パターンＰＴに相当するから、輝度情報検出部１０４ｂはステップＳ１０８で、ユーザーＵＳが電子ペンＥＰでスクリーンＳＣにタッチしたと判断する。

これに対し、２つの明部で１つの暗部を挟んでいなかったと判定された場合、図５（ｃ）に示す赤外光パターンＰＴ，もしくは指ＦＧから発せられる赤外光パターンＰＴの可能性がある。そこで、ステップＳ１０７にて、輝度情報検出部１０４ｂは、赤外光パターンＰＴの縦横比（ａ／ｂ）を検出し、これが閾値２以上であるか否か判断する。縦横比（ａ／ｂ）が閾値２以上であると判断されれば、これは図５（ｃ）に示す赤外光パターンＰＴに相当するから、ステップＳ１０８で輝度情報検出部１０４ｂは、ユーザーＵＳが電子ペンＥＰでスクリーンＳＣにタッチしたと判断する。

かかる場合、ステップＳ１０９で、画像制御部１０５が「描画処理モード」を設定する。「描画処理モード」では、赤外光パターンＰＴの移動を利用して、描画を行うことができる。より具体的には、図７において電子ペンＥＰが座標（Ｘ１，Ｙ１）から座標（Ｘ２，Ｙ２）へと移動したことを、画像解析部１０４の位置情報検出部１０４ａからの信号で認識したときは、画像制御部１０５は、座標（Ｘ１，Ｙ１）から座標（Ｘ２，Ｙ２）へと引かれた線Ｌの画像情報を、投影部１０１へと送信する。投影部１０１は、受信した画像情報に基づいて、線ＬをスクリーンＳＣに追加表示する。これにより、オリジナル画像ＯＩＧ上に、任意の線Ｌを描画することができる。尚、線Ｌの画像情報をパソコンＰＣに送信して、オリジナル画像ＯＩＧに重畳し，これを記憶しても良い。

一方、ステップＳ１０７にて、赤外光パターンＰＴの縦横比（ａ／ｂ）が閾値２未満であると判断されたときは、輝度情報検出部１０４ｂは、ステップＳ１１０でユーザーＵＳが指ＦＧでスクリーンＳＣにタッチしたと判断する。

かかる場合、ステップＳ１１１で、画像制御部１０５が「画面制御処理モード」を設定する。「画面制御処理モード」では、赤外光パターンＰＴの移動を利用して、画面制御処理を行うことができる。より具体的には、図８において、指ＦＧが座標（Ｘ３，Ｙ３）から座標（Ｘ４，Ｙ４）へと移動したことを、画像解析部１０４の位置情報検出部１０４ａからの信号で認識したときは、画像制御部１０５は、その向きや速度に応じて、画面スクロールやドラッグ等を実行することができる。

その後、ステップＳ１１２で、電子ペンＥＰ又は指ＦＧでスクリーンＳＣをタッチしているか否かを、画像解析部１０４の輝度情報検出部１０４ｂが判断し、タッチしている場合には、フローをステップＳ１０４へと戻し、いずれもタッチしていない場合には、制御を終了する。

図９は、本実施の形態の変形例にかかる情報入力システム１００の制御を示すフローチャートである。ステップＳ１０１〜Ｓ１０５は、上述した実施の形態と同様であるため説明を省略する。ステップＳ１０５で赤外光パターンＰＴの形状を検出した後、ステップＳ１０６で、画像解析部１０４の輝度情報検出部１０４ｂが、検出した赤外光パターンの形状が非点対称であるか否か判定する。ここで、赤外光パターンの形状の重心から外形までの最大寸法と最小寸法を求めたとき、例えば（最大寸法−最小寸法）／最大寸法が５０％を超える場合、非点対称であると判断する。

赤外光パターンの形状が非点対称でなければ、輝度情報検出部１０４ｂは、ステップＳ１１０でユーザーＵＳが指ＦＧでスクリーンＳＣにタッチしたと判断し、ステップＳ１１１で、画像制御部１０５が「画面制御処理モード」を設定する。「画面制御処理モード」に関しては、上述した実施の形態と同様である。

これに対し、赤外光パターンの形状が非点対称であれば、輝度情報検出部１０４ｂは、ステップＳ２０７で、ユーザーＵＳが電子ペンＥＰでスクリーンＳＣにタッチしたと判断する。更に、輝度情報検出部１０４ｂは、ステップＳ２０８で画像解析により長円の数Ｎをカウントする。ここで、Ｎ＝３であると判断した場合（図５（ａ）参照）、ステップＳ２０９で、画像制御部１０５が描画に用いる線の色を黒色に設定する。又、Ｎ＝２であると判断した場合（図５（ｂ）参照）、ステップＳ２１０で、画像制御部１０５が描画に用いる線の色を赤色に設定する。更に、Ｎ＝１であると判断した場合（図５（ｃ）参照）、ステップＳ２１１で、画像制御部１０５が描画に用いる線の色を青色に設定する。

続くステップＳ１０９で、画像制御部１０５が「描画処理モード」を設定する。「描画処理モード」に関しては、上述した実施の形態と同様であるが、描画される線の色については、ステップＳ２０９〜Ｓ２１１のいずれかで選択された色とする。それ以外の構成については、上述した実施の形態と同様であるので説明を省略する。

以上述べた例では、赤外光パターンの形状に応じて、描画する線の色を変えているが、例えば赤外光パターンの形状に応じて，線種（実線、点線等）や、点と線の区別などを行うこともできる。又、指ＦＧによる情報の入力としては、上述したスクロールやドラッグの要求の他、画像の拡大、縮小、ページめくりの要求など、種々のものがある。

１００ 情報入力システム
１０１ 投影部
１０１ａ 投影制御部
１０２ 赤外光出射部
１０３ 撮像部
１０４ 画像解析部
１０４ａ 位置情報検出部
１０４ｂ 輝度情報検出部
１０５ 画像制御部
ＡＲ 領域
ＡＴ 取付部
ＢＤ ボディ
ＢＴ 電池
ＣＰ１ 第１キャップ
ＣＰ２ 第２キャップ
ＣＴ 切欠
ＥＰ 電子ペン
ＦＧ 指
ＧＲ 円周溝
ＨＬ 孔
ＩＲ カーテン状の赤外光
ＬＤ 赤外レーザ
ＰＣ パソコン
ＰＴ 赤外光パターン
ＳＣ スクリーン
ＳＬ スリット
ＵＳ ユーザー

Claims (5)

1. 投影面に画像を投影する投影部と、
   前記投影面に沿って、赤外光をカーテン状に出射する赤外光出射部と、
   前記投影面上の前記赤外光を撮像する赤外用撮像部と、
   前記赤外用撮像部からの信号を入力して解析を行う画像解析部と、
   前記画像解析部の解析に基づいて前記投影部を制御する制御部と、を有する情報入力システムであって、
   ユーザーが指又は前記指から出射される赤外光とは異なるパターンの赤外光を出射する電子ペンで前記投影面に触れることにより、前記指又は前記電子ペンで前記カーテン状の赤外光が遮られた状態を前記赤外用撮像部が撮像したときは、前記画像解析部が、前記赤外用撮像部の信号に対応する画像から赤外光パターンを検出し、
   前記制御部は、前記赤外光パターンに応じて、前記カーテン状の赤外光を遮ったものが前記電子ペンと前記指のいずれかであるかを判別し、判別した前記電子ペン又は前記指に応じて異なる情報の入力を行うようになっている情報入力システム。
2. 前記制御部は、前記赤外光を遮ったものが前記電子ペンであると判別したときは、前記電子ペンの前記投影面上における座標に基づいて点又は線の入力が行われたと判断し、前記投影部を制御して、前記入力された点又は線を含む画像を前記投影面に投影する請求項１に記載の情報入力システム。
3. 前記制御部は、前記赤外光を遮ったものが前記指であると判別したときは、前記指を用いた画面制御に関する情報の入力が行われたと判断し、前記情報に従って前記投影部を制御する請求項１又は２に記載の情報入力システム。
4. 請求項１〜３のいずれかに記載の情報入力システムに用いる電子ペンであって、電源と、前記電源からの電力により赤外光を出射する光源と、前記光源から出射された赤外光を整形する整形部とを有する電子ペン。
5. 前記整形部は形状変更可能なスリットを有し、前記スリットを前記赤外光が透過する請求項４の記載の電子ペン。