JP2021026333A - 位置指示装置、表示システム、位置指示方法、及びプログラム - Google Patents

Abstract

【課題】赤外式タッチディスプレイにおけるポインティングで、キャリブレーション操作を不要としつつ、誤検知を起こさないようにすること。【解決手段】開示の技術の一態様に係る位置指示装置は、電子機器の備える表示面の外枠で発せられた赤外線分布を検出する撮像部と、所定方向を検出する方向検出部と、前記赤外線分布及び前記所定方向に基づいて取得された指示位置情報を、前記電子機器に出力する出力部と、を備える。【選択図】図５

Description

本願は、位置指示装置、表示システム、位置指示方法、及びプログラムに関する。

従来、プレゼンテーションや会議等に利用され、表示面へのタッチ（触る）によって操作されるタッチディスプレイ等の画像表示装置が知られている。

一方、タッチディスプレイを利用するプレゼンテーション等では、表示面上での位置を指示する際にレーザポインタ等の位置指示装置を利用すると、タッチディスプレイにおける画面の発光によって、照射されたレーザ光の位置が見えにくくなり、レーザ光による指示位置の視認性が低下する場合がある。

また、表示画像を撮像してポインティングに活用する技術が開示されている（例えば、特許文献１参照）。

さらに、赤外発光体を設置し、その発光位置をセンシングしてポインティングに活用する技術が開示されている（例えば、特許文献２参照）。

しかしながら、特許文献１に記載の技術では、ユーザがキャリブレーション操作をする必要があるため、利便性に劣る場合があった。また、特許文献２に記載の技術では、キャリブレーションは不要になるものの、ディスプレイの外側に発光体を設置するため、赤外式タッチディスプレイに適用すると、赤外タッチセンサからの赤外光を誤検知してしまう場合があった。そのため、赤外式タッチディスプレイにおいて、キャリブレーション操作を不要としつつ、誤検知を起こさないようにすることができない場合があった。

開示の技術は、赤外式タッチディスプレイにおけるポインティングで、キャリブレーション操作を不要としつつ、誤検知を起こさないようにすることを課題とする。

開示の技術の一態様に係る位置指示装置は、電子機器の備える表示面の外枠で発せられた赤外線分布を検出する撮像部と、所定方向を検出する方向検出部と、前記赤外線分布及び前記所定方向に基づいて取得された指示位置情報を、前記電子機器に出力する出力部と、を備える。

開示の技術によれば、赤外式タッチディスプレイにおけるポインティングで、キャリブレーション操作を不要としつつ、誤検知を起こさないようにすることができる。

実施形態の表示システムの全体構成例を示す図である。 一般的な赤外式タッチディスプレイのタッチ位置検出方式例を説明する図であり、（ａ）は赤外線遮断方式を説明する図、（ｂ）は赤外線カメラ方式を説明する図である。 実施形態のタッチディスプレイのハードウェア構成例を示すブロック図である。 実施形態のポインティングデバイスのハードウェア構成例のブロック図である。 第１の実施形態の処理部の機能構成例を示すブロック図である。 実施形態の二値化処理例を説明する図である。 第１の実施形態の近似線生成処理例を説明する図であり、（ａ）は処理前の画像を示す図、（ｂ）は処理過程の画像を示す図、（ｃ）は処理後の画像を示す図である。 実施形態の回転補正処理例を説明する図である。 第１の実施形態の初期位置決定処理例を説明する図であり、（ａ）は赤外線分布近似後、初期位置決定処理前を示す図、（ｂ）は赤外線分布の重心位置ずれを示す図、（ｃ）は表示面に表示されたポインタを示す図である。 第１の実施形態の移動量取得処理例を説明する図であり、（ａ）は移動前の赤外線分布とポインタを示す図、（ｂ）は移動後の赤外線分布とポインタを示す図である。 実施形態の処理部による処理例を示すフローチャートである。 操作感度を説明する図であり、（ａ）は比較例のポインティングデバイスの場合を説明する図、（ｂ）は実施形態のポインティングデバイスの場合を説明する図である。 第２の実施形態の処理部の機能構成例を示すブロック図である。 第２の実施形態の近似線生成処理例を説明する図であり、（ａ）は処理前の画像を示す図、（ｂ）は処理過程の画像を示す図、（ｃ）は処理後の画像を示す図である。 第２の実施形態の初期位置座標の決定処理例を説明する図である。

以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一の構成部分には同一符号を付し、重複した説明を省略する場合がある。

実施形態に係る位置指示装置は、タッチディスプレイ等の電子機器を利用するプレゼンテーションや会議等で利用され、電子機器の表示面に表示されるポインタ等の指示図形の位置を変化させることで、表示面内での位置を指示するものである。

また、実施形態では、電子機器の備える表示面の外枠で発せられた赤外線分布と、検出された所定方向とに基づいて取得された指示位置情報を電子機器に出力することで、赤外式タッチディスプレイにおいて、キャリブレーション操作を不要としつつ、誤検知を起こさないようにする。ここで、指示位置情報とは、電子機器の表示面内での位置を指示するための情報である。

以下では、タッチディスプレイとポインティングデバイスとを備える表示システムを例に実施形態を説明する。ここで、タッチディスプレイは「電子機器」の一例であり、また、ポインティングデバイスは「位置指示装置」の一例である。さらに、ポインタは、「指示図形」の一例である。

＜表示システム１の全体構成＞
まず、実施形態に係る表示システム１の全体構成について、図１を参照して説明する。図１は、表示システム１の全体構成の一例を説明する図である。図１に示すように、表示システム１は、タッチディスプレイ２とポインティングデバイス１００とを備える。

タッチディスプレイ２は、表示面２０と、表示面２０の外周部分を支持する外枠２１とを備え、ユーザの手Ｈによって生じたイベント（表示面２０を手Ｈでタッチ）により描画された画像を、表示面２０に表示させることができる。また、拡大、縮小、ページめくり等のジェスチャに基づいて、表示面２０上に表示されている画像を変更させることもできる。

タッチディスプレイ２を用いた会議に参加するユーザは、手Ｈによりタッチディスプレイ２に情報を入力させることができる。入力された情報は表示面２０に表示され、会議に参加する複数のユーザ間でのコミュニケーションのために利用される。

なお、上述した例では、ユーザの手Ｈを示したが、ユーザの手Ｈの他、スタイラスペンによって生じたイベント（表示面２０にスタイラスペンのペン先、又は、スタイラスペンのペン尻のタッチ）により描画された画像を、表示面２０に表示させることも可能である。

ポインティングデバイス１００は、プレゼンテーションや会議等を行うユーザにより保持され、ポインティングデバイス１００を傾ける等のユーザの操作に応じて、表示面２０に表示されるポインタ２００の位置を変化させることで、表示面２０内での位置を指示する装置である。なお、ポインティングデバイス１００を保持するユーザは、手Ｈのユーザと同じであってもよいし、異なっていてもよい。

＜一般的な赤外式タッチディスプレイにおけるタッチ位置検出方式＞
ここで、一般的な赤外式タッチディスプレイの表示面に、ユーザの手Ｈがタッチした時のタッチ位置を検出する方式について、図２を参照して説明する。図２は、赤外式タッチディスプレイにおける表示面のタッチ位置検出方式例を説明する図であり、（ａ）は赤外線遮断方式を説明する図、（ｂ）は赤外線カメラ方式を説明する図である。

図２（ａ）において、赤外式タッチディスプレイ３は、表示面３０を支持する外枠３１に、赤外線光源アレイ３２ａ及び３２ｂと、赤外線センサアレイ３３ａ及び３３ｂとを備えている。

赤外線光源アレイ３２ａ及び３２ｂのそれぞれは、赤外線を発する複数の光源を備えている。このような光源は、ＬＥＤ（Light Emitting Diode）光源等である。赤外線光源アレイ３２ａは、外枠３１の長辺の１つに配列して設けられ、また、赤外線光源アレイ３２ｂは、外枠３１の短辺の１つに配列して設けられている。

赤外線センサアレイ３３ａ及び３３ｂのそれぞれは、受光した赤外線に応じた電気信号を出力する複数の受光素子を備えている。このような受光素子は、ＰＤ（Photo Diode）等である。赤外線センサアレイ３３ａは、外枠３１の他方の長辺に配列して設けられ、また、赤外線センサアレイ３３ｂは、外枠３１の他方の短辺に配列して設けられている。

赤外線光源アレイ３２ａ及び３２ｂの備える各光源が発する赤外線は、表示面３０の表面に沿うようにして、図２（ａ）に破線で示した矢印の方向に伝搬し、赤外線センサアレイ３３ａ及び３３ｂの備える各受光素子で受光される。

ユーザの手Ｈが表示面３０にタッチすると、伝搬する赤外線が手Ｈにより遮断され、遮断された位置が赤外線センサアレイ３３ａ及び３３ｂにより検出される。赤外線センサアレイ３３ａは、Ｘ方向の位置を検出し赤外線センサアレイ３３ｂは、Ｙ方向の位置を検出する。赤外線遮断方式では、このようにしてタッチ位置のＸＹ座標が検出される。

一方、図２（ｂ）において、赤外式タッチディスプレイ４は、表示面４０を支持する外枠４１に、赤外線タッチセンサユニット４２ａ及び４２ｂと、再帰反射シート４３とを備えている。

赤外線タッチセンサユニット４２は、赤外線を発するＬＥＤ光源と、赤外線画像を撮像する赤外線カメラを備えている。赤外線タッチセンサユニット４２ａは、外枠４１の長辺の１つにおける負のＸ方向の端部付近に設けられ、赤外線タッチセンサユニット４２ｂは、正のＸ方向における端部付近に設けられている。

再帰反射シート４３は、入射した光を入射した方向に強く反射する機能を有するシート状部材である。再帰反射シート４３は、４つの辺のそれぞれに設けられている。

赤外線タッチセンサユニット４２のそれぞれにおけるＬＥＤ光源は、表示面４０の平面に沿って、表示面４０の略全体を照らすように広がる複数の赤外線を放射する。放射された赤外線は、再帰反射シート４３によって入射方向に強く反射され、赤外線タッチセンサユニット４２における赤外線カメラにより撮像される。

ユーザの手Ｈが表示面４０にタッチすると、伝搬する赤外線が手Ｈにより遮断され、遮断された位置が影になった赤外線画像が赤外線カメラにより撮像される。撮像された赤外線画像の影の位置からタッチ位置のＸＹ座標が検出される。

実施形態に係るタッチディスプレイ２には、上述した赤外線遮断方式及び赤外線カメラ方式の何れの方式を適用してもよい。なお、静電容量方式や抵抗膜方式など、赤外式以外のタッチディスプレイは含まない。以下では、タッチディスプレイ２は、赤外線カメラ方式で表示面２０へのタッチ位置を検出するものとして説明する。

＜タッチディスプレイ２のハードウェア構成＞
次に、実施形態に係るタッチディスプレイ２のハードウェア構成について、図３を参照して説明する。図３は、タッチディスプレイ２のハードウェア構成の一例を説明するブロック図である。

図３に示すように、タッチディスプレイ２は、ＣＰＵ（Central Processing Unit）２０１と、ＲＯＭ（Read Only Memory）２０２と、ＲＡＭ（Random Access Memory）２０３と、ＳＳＤ（Solid State Drive）２０４と、ネットワークＩ／Ｆ２０５と、外部機器接続Ｉ／Ｆ（Interface）２０６とを備える。

これらのうち、ＣＰＵ２０１は、タッチディスプレイ２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ（Initial Program Loader）等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。

ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＳＳＤ２０４は、タッチディスプレイ２用のプログラム等の各種データを記憶する。ネットワークＩ／Ｆ２０５は、タッチディスプレイ２に接続される通信ネットワークとの通信を制御する。

外部機器接続Ｉ／Ｆ２０６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ（Universal Serial Bus）メモリ２３０、外付け機器（マイク２４０、スピーカ２５０、カメラ２６０）である。

また、タッチディスプレイ２は、ＧＰＵ（Graphics Processing Unit）２１２と、ディスプレイコントローラ２１３と、赤外線タッチセンサユニット２２と、タッチセンサコントローラ２１５と、通信Ｉ／Ｆ２１６と、近距離通信回路２１９と、近距離通信回路２１９のアンテナ２１９ａと、電源スイッチ２２２と、選択スイッチ類２２３とを備える。

これらのうち、キャプチャデバイス２１１は、外付けのＰＣ（Personal Computer）２７０のディスプレイの表示内容に対応する映像情報を静止画又は動画として表示面２０に表示させる。ＧＰＵ２１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ２１３は、ＧＰＵ２１２からの出力画像を表示面２０等へ出力するために画面表示の制御及び管理を行う。

赤外線タッチセンサユニット２２は、上述した赤外線カメラ方式により表示面２０上にスタイラスペンやユーザの手Ｈ等のタッチ（接触）位置を検出する。外枠２１（図１参照）の上側の長辺の左端部に赤外線タッチセンサユニット２２に含まれる赤外線タッチセンサユニット２２ａが設置され、右端部に赤外線タッチセンサユニット２２に含まれる赤外線タッチセンサユニット２２ｂが設置されている。そして、それぞれが表示面２０に平行して複数の赤外線を放射し、表示面２０の周囲に設けられた再帰反射シートによって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光して、スタイラスペンやユーザの手Ｈ等のタッチ位置を検出する。

タッチセンサコントローラ２１５は、赤外線タッチセンサユニット２２の処理を制御する。赤外線タッチセンサユニット２２は、ユーザの手Ｈ等によって遮断された赤外線のＩＤをタッチセンサコントローラ２１５に出力し、タッチセンサコントローラ２１５が、手Ｈのタッチ位置である座標位置を特定する。

通信Ｉ／Ｆ２１６は、２．４ＧＨｚの周波数帯を用いたＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路であり、後述するポインティングデバイス１００と通信するためのインターフェースである。

近距離通信回路２１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ等の通信回路である。電源スイッチ２２２は、タッチディスプレイ２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。選択スイッチ類２２３は、例えば、表示面１０の表示の明暗や色合い等を調整するためのスイッチ群である。

更に、タッチディスプレイ２は、バスライン２１０を備えている。バスライン２１０は、図３に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

＜ポインティングデバイス１００のハードウェア構成＞
次に、実施形態に係るポインティングデバイス１００のハードウェア構成について、図４を参照して説明する。図４は、ポインティングデバイス１００のハードウェア構成の一例を説明するブロック図である。図４に示すように、ポインティングデバイス１００は、レンズ１０１と、光学フィルタ１０２と、撮像素子１０３と、方向センサ１０４と、処理部１１０とを備える。これらは、ポインティングデバイス１００の筐体（図示を省略）の内部に設置されている。ここで、光学フィルタ１０２は「光学部材」の一例であり、撮像素子１０３は「撮像部」の一例であり、方向センサ１０４は「方向検出部」の一例である。

レンズ１０１は、被写体であるタッチディスプレイ２の像を、光学フィルタ１０２を介して撮像素子１０３の撮像面上で結像させるレンズである。レンズ１０１は、筐体における内部と外部を連通させる開口部に取り付けられている。レンズ１０１は、樹脂やガラス等を材料とする１つのレンズ、又は複数のレンズの組合せで構成され、可視光及び赤外線等の任意の波長帯域の光を通過させて結像させる。

光学フィルタ１０２は、レンズ１０１と撮像素子１０３の間の光路に設けられ、所定の波長帯域の赤外線を選択的に通過させ、また、当該赤外線以外の可視光等の光を反射、又は吸収する光学フィルタである。所定の波長帯域の赤外線は、タッチディスプレイ２の外枠２１（図１参照）に設置された赤外線タッチセンサユニット２２（図３参照）が備える光源が発する赤外線である。光学フィルタ１０２は、樹脂やガラス等の透明な板状部材と、板状部材の表面に形成された多重反射膜によって構成されている。

撮像素子１０３は、光学フィルタ１０２を通過した赤外線が撮像面上で結像したタッチディスプレイ２の像を撮像するイメージセンサである。撮像素子１０３には、ＭＯＳ（Metal Oxide Semiconductor Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor Device）、ＣＣＤ（Charge Coupled Device）等を用いることができる。

ここで、赤外線タッチセンサユニット２２の備える光源から射出された赤外線は、表示面２０の表面に沿って、略平行に伝搬し、外枠２１で拡散反射する。拡散反射された赤外線の一部は、ユーザによって保持されたポインティングデバイス１００の方向に伝搬する。

ポインティングデバイス１００の方向に伝搬する赤外線は、レンズ１０１及び光学フィルタ１０２を通過して撮像素子１０３の撮像面に到達する。撮像面上では、赤外線を拡散反射させた外枠２１の像がレンズ１０１により結像される。赤外線以外の可視光等の光は光学フィルタ１０２により除去されるため、撮像素子１０３は、外枠２１で発せられた赤外線による赤外線分布を特定するための画像を撮像し、処理部１１０に出力できる。

なお、上述した例では、レンズ１０１と撮像素子１０３との間の光路に配置された光学フィルタ１０２を例示したが、これに限定されるものではない。光学フィルタ１０２は、レンズ１０１と被写体であるタッチディスプレイ２との間に配置された構成にしてもよい。

また、赤外線タッチセンサユニット２２の備える光源が発する赤外線を選択的に通過させる光学部材として、光学フィルタ１０２を例示したが、これに限定されるものではない。光学部材は、レンズ１０１の表面、撮像素子１０３の撮像面、又は当該撮像面の保護ガラス表面等に形成され、所定の波長帯域の赤外線を選択的に通過させる多重反射膜であってもよい。

また、赤外線による画像を撮像するため、レンズ１０１は、赤外線に対して収差が低減するように設計されていると好適である。

図４に戻り説明を続ける。方向センサ１０４は、ジャイロセンサ等の加速度センサである。ここで、ポインティングデバイス１００を保持するユーザの保持の仕方によっては、ポインティングデバイス１００が回転する場合がある。ポインティングデバイス１００の回転により、撮像素子１０３で撮像される画像が回転して、後述する指示位置情報を正確に取得できない場合がある。特に、水平方向を軸とする回転（以下、ローリングという）は、撮像される画像内で赤外線分布６１がローリングするため、指示位置情報への影響が顕著になる。

そこで、方向センサ１０４は、検出された方向センサ１０４の姿勢データに基づき重力方向を検出し、重力方向を示す方向データを処理部１１０に出力する。この方向データに基づき、ポインティングデバイス１００の回転のうち、影響が大きいローリングが検出され、撮像される画像内で赤外線分布６１のローリングが補正される。

ここで、重力方向は「所定の方向」の一例である。但し、方向センサ１０４は、重力方向以外の所定方向を検出するものであってもよい。例えば、重力方向、水平方向、及びこれらと直交する方向の３軸方向を検出することで、ポインティングデバイス１００のローリング、ピッチング、及びヨーイングを検出してもよい。この場合、撮像される画像内で赤外線分布６１のローリング、ピッチング、及びヨーイングを補正できる。また、加速度センサに代えて、地磁気センサ等を用いてもよい。

次に、処理部１１０は、撮像素子１０３から画像を入力し、また方向センサ１０４から方向データを入力して、次述する各種機能を実現する処理装置である。当該処理部１１０は、ＣＰＵ１１１と、ＲＯＭ１１２と、ＲＡＭ１１３と、メモリ１１４と、送信Ｉ／Ｆ１１５と、撮像素子コントローラ１１６と、方向センサコントローラ１１７とを備える。これらの構成要素のそれぞれは、バスＢを介して互いに接続されている。なお、上記構成要素は、有線通信及び無線通信の何れを介して接続されてもよい。

ＣＰＵ１１１は、プロセッサ等で構成され、ポインティングデバイス１００の各部の動作及び全体動作を制御する。ＲＯＭ１１２は、不揮発性半導体記憶装置等で構成され、ポインティングデバイス１００で動作する各種プログラム及び各種パラメータを記憶する。ＲＡＭ１１３は揮発性半導体記憶装置等で構成され、ＣＰＵ１１１のワークエリアとして使用される。ＲＡＭ１１３は、各種信号処理及び画像処理を施す際にデータを一時的に保存する記憶領域を提供する。

メモリ１１４は、各種プログラムで利用されるデータ並びに撮像素子１０３によって撮像された画像等の種々の情報を記憶する。メモリ１１４は、揮発性又は不揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）等の記憶装置で構成される。なお、メモリ１１４が、ＲＯＭ１１２及び／又はＲＡＭ１１３を含んでもよい。

プログラムは、ＲＯＭ１１２又はメモリ１１４等に予め保持されている。プログラムは、ＣＰＵ１１１によって、ＲＯＭ１１２又はメモリ１１４等からＲＡＭ１１３に読み出されて展開される。ＣＰＵ１１１は、ＲＡＭ１１３に展開されたプログラム中のコード化された各命令を実行する。なお、プログラムは、ＲＯＭ１１２及びメモリ１１４に限らず、例えば記録ディスク等の記録媒体に格納されていてもよい。また、プログラムは、有線ネットワーク、無線ネットワーク又は放送等を介して伝送され、ＲＡＭ１１３に取り込まれてもよい。

送信Ｉ／Ｆ１１５は、処理部１１０で処理されたデータ及び又は信号をタッチディスプレイ２に送信するためのインターフェースであって、Ｂｌｕｅｔｏｏｔｈ等の通信回路である。

撮像素子コントローラ１１６は撮像素子１０３の処理を制御し、方向センサコントローラ１１７は方向センサ１０４の処理を制御する電気回路である。

［第１の実施形態］
＜第１の実施形態に係る処理部１１０の機能構成＞
次に、ポインティングデバイス１００の備える処理部１１０の機能構成について、図５を参照して説明する。図５は、処理部１１０の機能構成の一例を説明するブロック図である。図５に示すように、処理部１１０は、二値化部１２１と、近似線生成部１２２と、回転補正部１２３と、初期位置決定部１２４と、移動量取得部１２５と、出力部１２６とを備える。

これらのうち、二値化部１２１、近似線生成部１２２、回転補正部１２３、初期位置決定部１２４、及び移動量取得部１２５のそれぞれの機能は、図４のＣＰＵ１１１が所定のプログラムを実行すること等により実現される。また、出力部１２６の機能は、送信Ｉ／Ｆ１１５等により実現される。

処理部１１０は、上記の構成により、撮像素子１０３から入力した画像、及び方向センサ１０４から入力した方向データに基づいて、表示面２０内での位置を指示するための指示位置情報を取得し、タッチディスプレイ２に出力する。

二値化部１２１は、撮像素子１０３が撮像した画像を入力し、画像における各画素の輝度値と予め定められた閾値とを比較することで、入力画像を二値化する。これにより、入力した画像における赤外線分布６１に該当する画素を有効画素とし、赤外線分布６１以外に該当する画素を無効画素とすることができる。二値化部１２１は、二値化処理後の画像を近似線生成部１２２に出力する。

近似線生成部１２２は、二値化画像における赤外線分布６１を直線近似し、赤外線分布６１の各辺（２つの長辺と２つの短辺）に対応する近似線が含まれる画像を生成する。なお、直線近似処理には、Ｈｏｕｇｈ変換やＬＳＤ（Line Segment Detector）等の従来の画像処理技術を適用できるため、さらなる詳細な説明は省略する。近似線生成部１２２は、生成した画像を回転補正部１２３に出力する。

回転補正部１２３は、方向センサ１０４から入力した方向データに基づき、近似線生成部１２２から入力した画像を面内回転させ、ローリングを補正する。そして、補正後の画像を初期位置決定部１２４、又は移動量取得部１２５の何れかに出力する。

初期位置決定部１２４は、ローリング補正後の画像に基づき、表示面２０への表示画像内におけるポインタ２００の初期位置を決定する。換言すると、表示面２０への画像の表示を開始させた時に、表示画像内に表示させるポインタ２００の位置を決定する。

より具体的には、初期位置決定部１２４は、赤外線分布６１の重心位置座標を算出し、当該重心位置座標の画像中心位置座標に対するベクトル（ずれ量Δｄ及びずれ方向φ）を算出する。そして、当該ベクトルに応じて、表示面２０への表示画像の中心からずれた位置を、ポインタ２００の初期位置として決定する。例えば、表示画像の中心から方向π−φに、ずれ量Δｄに対応したずれ量Δｄ'だけずれた位置を、ポインタ２００の初期位置として決定する。重心位置座標の算出方法には、有効画素のＸ座標の平均値及びＹ座標の平均値を算出する等の従来技術を適用可能である。

初期位置決定部１２４は、決定した初期位置情報を出力部１２６に出力する。また、初期位置決定部１２４は、初期位置を決定後に、初期位置決定済みのフラグをＲＡＭ１１３等に記憶させる。このフラグは、回転補正部１２３が、補正後の画像の出力先を初期位置決定部１２４、又は移動量取得部１２５の何れかに決定する際に参照される。

移動量取得部１２５は、ポインティングデバイス１００を傾ける等のユーザの操作に応じてポインタ２００を移動させるための移動量を取得する。

より詳しくは、３０Ｈｚ等のフレームレートで時系列に撮像素子１０３により撮像される画像に対して、上述した二値化部１２１、近似線生成部１２２、及び回転補正部１２３による処理が実行され、処理後の画像が移動量取得部１２５に入力される。移動量取得部１２５は、時系列の画像間における赤外線分布６１の重心位置座標の変化量を、上記の移動量として算出し、移動量情報を出力部１２６に出力する。ここで、重心位置座標の変化量は、「重心位置情報」の一例である。

なお、上述した例では、フレームレートで移動量を算出して出力部１２６に出力するものを示したが、これに限定されるものではなく、フレームレートより低い周波数で移動量が算出されてもよい。

出力部１２６は、初期位置決定部１２４から入力した初期位置情報、又は移動量取得部１２５から入力した移動量情報の何れか一方をタッチディスプレイ２に出力する。ここで、上記の初期位置情報及び移動量情報のそれぞれは、「指示位置情報」に対応する。

タッチディスプレイ２は、処理部１１０から入力した指示位置情報に応答した位置にポインタ２００を含む表示画像を、表示面２０に表示させる。

＜処理後の画像例＞
次に、処理部１１０の各機能部による処理後の画像について、図６〜図１０を参照して説明する。

まず、図６は、二値化部１２１による処理の一例を説明する図である。図６において、撮像素子１０３により撮像された画像６０には、赤外線分布６１が含まれている。部分画像６３は、画像６０における破線で示した部分６２を拡大して示したものである。部分画像６３に含まれる格子は画素を表している。また、部分画像６３内に梨地ハッチングで示した部分は、赤外線分布６１の一部に該当する。部分画像６４は、部分画像６３の二値化処理後の画像を示している。赤外線分布６１を構成する画素は有効画素なり、赤外線分布６１以外を構成する画素は無効画素となる。

次に、図７は、近似線生成処理例を説明する図であり、（ａ）は処理前の画像を示す図、（ｂ）は処理過程の画像を示す図、（ｃ）は処理後の画像を示す図である。

二値化処理後の画像７０に含まれる赤外線分布７１を直線近似し、赤外線分布７１の各辺に対応する近似線７２ａ〜７２ｄが生成される。近似線７２ａ〜７２ｄ同士の交点を境界に画像を領域分割し、隣接する領域間で有効画素の数を比較する。そして、有効画素が多い方の領域に含まれる近似線を赤外線分布６１の辺に該当する近似線として残し、有効画素が少ない方の領域に含まれる近似線を除去する（無効画素とする）。その結果、赤外線分布６１の辺に該当する近似線のみが有効画素として残された近似線画像が生成される。

次に、図８は、回転補正部１２３による回転補正処理の一例を説明する図である。図８は、撮像素子１０３で撮像された画像８０に含まれる赤外線分布８１を示している。ポインティングデバイス１００のローリングにより、画像８０内で赤外線分布８１が面内回転している。方向センサ１０４の検出した方向データにより重力方向に対する回転角度が分かるため、この回転角度で画像８０を面内回転させることで、ローリングが補正された赤外線分布８１が得られる。

次に、図９は、初期位置決定部１２４による初期位置決定処理の一例を示す図であり、（ａ）は赤外線分布近似後、初期位置決定処理前を示す図、（ｂ）は赤外線分布近似結果の重心位置ずれを示す図、（ｃ）は表示面２０に表示されたポインタ２００を示す図である。

図９（ｂ）において「×」で示した重心位置９３は、画像９０に含まれる赤外線分布近似結果９２の重心位置を示し、中心位置９４は、画像９０の中心位置を示している。重心位置９３は、中心位置９４に対し、ずれ方向φにずれ量Δｄだけずれている。初期位置決定部１２４により決定された初期位置に応じて、表示面２０では、表示画像の中心９５から方向π−φにずれ量Δｄ'だけずれた位置を初期位置としてポインタ２００が表示される（図９（ｃ）参照）。

次に、図１０は、移動量取得部１２５による移動量取得処理の一例を説明する図であり、（ａ）は移動前の赤外線分布近似結果とポインタを示す図、（ｂ）は移動後の赤外線分布近似結果とポインタを示す図である。

図１０（ａ）において、移動前の画像９６ａには赤外線分布近似結果９７ａが含まれ、画像９６ａの下方に示した表示面２０には、赤外線分布近似結果９７ａに基づく位置に表示されたポインタ９９ａが含まれている。

この状態からポインティングデバイス１００が操作されると、図１０（ｂ）に示すように、画像９６ｂ内で赤外線分布近似結果９７ｂが操作に応じて移動する。この移動量が移動量取得部１２５により取得され、取得された移動量に応じて、表示面２０内でポインタ９９ｂが矢印方向に移動する。

＜処理部１１０による処理の流れ＞
次に、処理部１１０による処理の流れについて説明する。図１１は、処理部１１０による処理の一例を説明するフローチャートである。

まず、ステップＳ１１１において、二値化部１２１は、撮像素子１０３から撮像素子コントローラ１１６を介して入力した画像に対して二値化処理を実行し、処理後の画像を近似線生成部１２２に出力する。

続いて、ステップＳ１１２において、近似線生成部１２２は、二値化画像における赤外線分布を直線近似し、赤外線分布６１の各辺に対応する近似線が含まれる画像を生成し、生成した画像を回転補正部１２３に出力する。

続いて、ステップＳ１１３において、回転補正部１２３は、方向センサ１０４から方向センサコントローラ１１７を介して入力した方向データに基づき、近似線生成部１２２から入力した画像を面内回転させ、ローリングを補正する。

続いて、ステップＳ１１４において、回転補正部１２３は、ＲＡＭ１１３等に記憶されたフラグを参照して、初期位置を決定済みであるか否かを判定する。

ステップＳ１１４で、初期位置を決定済みでないと判定された場合は（ステップＳ１１４、Ｎｏ）、回転補正部１２３は、補正後の画像を初期位置決定部１２４に出力する。

その後、ステップＳ１１５において、初期位置決定部１２４は、ローリング補正後の画像に基づき、表示面２０への表示画像内におけるポインタ２００の初期位置を決定し、決定した初期位置情報を出力部１２６に出力する。

一方、ステップＳ１１４で、初期位置を決定済みであると判定された場合は（ステップＳ１１４、Ｙｅｓ）、回転補正部１２３は、補正後の画像を移動量取得部１２５に出力する。

続いて、ステップＳ１１６において、移動量取得部１２５は、ポインタ２００を移動させるための移動量を取得し、取得した移動量情報を出力部１２６に出力する。

続いて、ステップＳ１１７において、出力部１２６は、入力した初期位置情報、又は移動量情報の何れか一方を、指示位置情報として、タッチディスプレイ２に出力する。

このようにして、処理部１１０は、撮像素子１０３から入力した画像、及び方向センサ１０４から入力した方向データに基づいて、表示面２０内での位置を指示するための指示位置情報をタッチディスプレイ２に出力できる。

＜ポインティングデバイス１００の作用効果＞
以上説明したように、本実施形態では、撮像素子１０３で撮像された赤外線分布を特定するための画像と、方向センサ１０４で検出された重力方向を示す方向データとに基づいて取得された指示位置情報を、タッチディスプレイ２に出力する。

表示面への画像の表示を開始させた時に、ポインティングデバイス１００がタッチディスプレイ２に対して傾いていると、当該傾きに応じて赤外線分布の位置がずれ、このずれに応じた指示位置情報をタッチディスプレイ２に出力できる。これにより、表示面への画像の表示を開始させた時に、ポインタの初期位置を適切に決定することができ、赤外式タッチディスプレイにおけるポインティングで、キャリブレーション操作を不要にできる。また、タッチ位置検出で用いられる赤外線を利用し、新たに赤外線光源を設けないため、誤検知を起こさないようにすることができる。

また、上述した効果に加え、ポインティングデバイス１００の操作感度に関して以下の効果を得ることもできる。図１２は、このような操作感度を説明する図であり、（ａ）は比較例に係るポインティングデバイスの場合を説明する図、（ｂ）は実施形態に係るポインティングデバイス１００の場合を説明する図である。

図１２（ａ）において、表示面２０に近い位置で、ポインティングデバイス３００を角度θだけ傾けると表示面２０では、ポインタが移動距離ｅ１だけ移動する。一方、表示面２０から遠い位置で、ポインティングデバイス３００を同様に角度θだけ傾けると、表示面２０では、近い位置の場合と同様にポインタが移動距離ｅ１だけ移動する。従って、表示面２０とポインティングデバイス３００との間の距離によらず、角度θに対する移動距離の操作感度は一定となる。

これに対し、図１２（ｂ）に示すように、本実施形態では、表示面２０に近い位置でポインティングデバイス１００を角度θだけ傾けると、表示面２０ではポインタが移動距離ｅ１だけ移動する。また、表示面２０から遠い位置でポインティングデバイス１００を同様に角度θだけ傾けると、表示面２０では、近い位置の場合より大きい移動距離ｅ２だけポインタが移動する。つまり、表示面２０とポインティングデバイス３００との間の距離が長くなるにつれ、角度θに対する移動距離が大きくなるように操作感度が変化する。

本実施形態に係る操作感度は、レーザポインタによる表示面でのポインタの指示の場合と同様である。従って、本実施形態によれば、プレゼンテーション等で使用される機会が多いレーザポインタと同様の操作感覚で、ポインティングデバイスを操作できる。

なお、本実施形態では、赤外線を通過させる光学部材を備える例を示したが、このような光学部材を備えず、可視光と赤外線の両方により撮像される画像に基づき、指示位置情報を取得してもよい。但し、赤外線を選択的に通過させる光学部材を用いると、指示位置情報の取得には使用しない可視光を予め除去できるため、指示位置情報の取得処理を簡略化し、また高精度に指示位置情報を取得できる。

［第２の実施形態］
次に、第２の実施形態に係る表示システム１ａを説明する。

ここで、第１の実施形態では、撮像素子１０３により撮像される画像に、赤外線分布６１の４つの辺が全て含まれる場合を説明したが、例えば、ポインティングデバイス１００がタッチディスプレイ２に近い位置にあるような場合、赤外線分布６１が大きくなって、撮像素子１０３による撮像の視野内に赤外線分布６１の全体が含まれない場合がある。換言すると、撮像素子１０３により撮像される画像に、赤外線分布における４本の辺が含まれない場合がある。本実施形態では、このような場合に、辺の配置情報と、辺の交点位置情報とに基づき取得された指示位置情報をタッチディスプレイ２に出力する。

図１３は、本実施形態に係るポインティングデバイス１００ａの備える処理部１１０ａの機能構成の一例を説明するブロック図である。図１３に示すように、処理部１１０ａは、近似線数検出部１２７と、初期位置決定部１２４ａと、移動量取得部１２５ａとを備える。

これらのうち、近似線数検出部１２７は、近似線生成部１２２により生成された近似線画像における近似線の個数を検出し、検出結果をＲＡＭ１１３に記憶する。ここで、近似線の個数は、「赤外線分布における辺の個数情報」に対応する。

初期位置決定部１２４ａは、検出された近似線の個数が４本である場合は、上述した初期位置決定部１２４と同様の処理により、表示面２０への表示画像内におけるポインタ２００の初期位置を決定する。

一方、検出された近似線の個数が４本でない場合は、初期位置決定部１２４ａは、近似線画像における近似線が赤外線分布６１のどの部分に該当するかを識別し、識別された部分に対応する表示面内での位置を、ポインタ２００を表示させる初期位置として決定する。初期位置決定部１２４ａは、決定された初期位置情報を出力部１２６に出力する。なお、この詳細は、図１５を用いて別途説明する。

移動量取得部１２５ａは、検出された近似線の個数が４本である場合は、上述した移動量取得部１２５と同様の処理により、ポインタ２００を移動させるための移動量を取得する。一方、検出された近似線の個数が４本でない場合は、時系列の画像間における近似線の交点位置座標の変化量を、ポインタ２００を移動させるための移動量として取得する。ここで、交点位置座標の変化量は、「交点位置情報」の一例である。移動量取得部１２５ａは、取得した移動量情報を出力部１２６に出力する。

次に、図１４は、撮像視野内に赤外線分布６１の全体が含まれない場合における近似線生成部１２２による近似線生成処理の一例を説明する図であり、（ａ）は処理前の画像を示す図、（ｂ）は処理過程の画像を示す図、（ｃ）は処理後の画像を示す図である。

図１４（ａ）に示すように、二値化処理後の画像１４０は、赤外線分布６１の４つの辺のうちの２辺に該当する赤外線分布１４１を含んでいる。近似線生成部１２２は、赤外線分布１４１を直線近似し、赤外線分布１４１の各辺に対応する近似線１４２ａ〜１４２ｂを生成する。近似線生成部１２２は、近似線１４２ａ〜１４２ｂ同士の交点を境界に画像を領域分割し、隣接する領域間で有効画素の数を比較する。そして、有効画素が多い方の領域に含まれる近似線を、赤外線分布６１の辺に該当する近似線として残し、有効画素が少ない方の領域に含まれる近似線を除去する（無効画素とする）。その結果、赤外線分布６１の辺に該当する近似線のみが有効画素として残された近似線画像が生成される。

図１４の近似線画像の場合、近似線数検出部１２７は近似線の個数を２本として検出できる。

次に、図１５は、初期位置決定部１２４ａによる初期位置決定処理の一例を示す図であり、（ａ）は処理前の画像を示す図、（ｂ）は表示面２０に表示されたポインタ２００を示す図である。

図１５（ａ）に示すように、近似線画像１５０は、赤外線分布６１の４つの辺のうちの２辺に対応する赤外線分布近似結果１５１を含んでいる。初期位置決定部１２４ａは、赤外線分布近似結果１５１が表示面２０の右上、右下、左上又は左下の何れに対応するかを判別する。この判別は、近似線の交点と近似線との相対位置関係に基づき行える。ここで、このような近似線の交点と近似線との相対位置関係は、「辺の配置情報」の一例である。

例えば、図１５の場合、交点１５２に対して近似線は上側と左側にある。この場合は、赤外線分布近似結果１５１は表示面２０の右下に対応する。他に、交点に対して近似線が上側と右側にある場合は、赤外線分布近似結果１５１は表示面２０の左下に対応する。また、交点に対して近似線が下側と左側にある場合は、赤外線分布近似結果１５１は表示面２０の右上に対応する。さらに、交点に対して近似線が下側と右側にある場合は、赤外線分布近似結果１５１は表示面２０の左上に対応する。

初期位置決定部１２４ａは、表示面２０の右上、右下、左上又は左下の何れかを、ポインタ２００を表示させる初期位置として決定し、表示面２０の右上、右下、左上又は左下を識別する情報を、出力部１２６を介してタッチディスプレイ２に出力する。

初期位置決定部１２４ａにより決定された初期位置に応じて、表示面２０では、表示画像の右下を初期位置としてポインタ２００が表示される（図１５（ｂ）参照）。

＜ポインティングデバイス１００ａの作用効果＞
以上説明したように、本実施形態では、近似線画像における近似線の個数を検出し、近似線の個数が４本でない場合には、辺の配置情報と、辺の交点位置情報とに基づき取得された指示位置情報をタッチディスプレイ２に出力する。

これにより、撮像素子１０３による撮像の視野内に赤外線分布６１の全体が含まれない場合においても指示位置情報を取得し、タッチディスプレイ２に出力できる。

なお、本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

また、実施形態は、位置指示方法も含む。例えば、位置指示方法は、電子機器の備える表示面の外枠で発せられた赤外線分布を検出する工程と、所定方向を検出する工程と、前記赤外線分布及び前記所定方向に基づいて取得された指示位置情報を、前記電子機器に出力する工程と、を含む。このような位置指示方法により、上述した位置指示装置と同様の効果を得ることができる。

また、実施形態は、プログラムも含む。例えば、プログラムは、電子機器の備える表示面の外枠で発せられた赤外線分布を検出させ、所定方向を検出させ、前記赤外線分布及び前記所定方向に基づいて取得された指示位置情報を、前記電子機器に出力する処理をコンピュータに実行させる。このようなプログラムにより、上述した位置指示装置と同様の効果を得ることができる。

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

１ 表示システム
２ タッチディスプレイ（電子機器の一例）
２０ 表示面
２１ 外枠
２２ 赤外線タッチセンサユニット
２１５ タッチセンサコントローラ
２１６ 通信Ｉ／Ｆ
１００ ポインティングデバイス（位置指示装置の一例）
１０１ レンズ
１０２ 光学フィルタ（光学部材の一例）
１０３ 撮像素子（撮像部の一例）
１０４ 方向センサ（方向検出部の一例）
１１０ 処理部
１１５ 送信Ｉ／Ｆ
１２１ 二値化部
１２２ 近似線生成部
１２３ 回転補正部
１２４ 初期位置決定部
１２５ 移動量取得部
１２６ 出力部
１２７ 近似線数検出部
２００ ポインタ
Ｈ ユーザの手
Δｄ ずれ量
φ ずれ方向

特開２０１４−５９６７８号公報 特許３４２２３８３号公報

Claims (8)

1. 電子機器の備える表示面の外枠で発せられた赤外線分布を検出する撮像部と、
   所定方向を検出する方向検出部と、
   前記赤外線分布及び前記所定方向に基づいて取得された指示位置情報を、前記電子機器に出力する出力部と、を備える
   位置指示装置。
2. 前記赤外線を選択的に通過させる光学部材を備え、
   前記撮像部は、
   前記光学部材を通過した前記赤外線分布を検出する
   請求項１に記載の位置指示装置。
3. 前記所定方向は、重力方向である
   請求項１、又は２に記載の位置指示装置。
4. 前記出力部は、
   前記画像に含まれる、前記赤外線分布の重心位置情報に基づき取得された前記指示位置情報を、前記電子機器に出力する
   請求項１乃至３の何れか１項に記載の位置指示装置。
5. 前記出力部は、
   前記画像に含まれる、前記赤外線分布における辺の個数情報と、前記辺の配置情報と、前記辺の交点位置情報と、に基づき取得された前記指示位置情報を、前記電子機器に出力する
   請求項１乃至４の何れか１項に記載の位置指示装置。
6. 表示面を備える電子機器と、前記表示面に表示される指示図形の位置を指示する位置指示装置と、を備える表示システムであって、
   前記表示面の外枠で発せられた赤外線分布を検出する撮像部と、
   所定方向を検出する方向検出部と、
   前記赤外線分布及び前記姿勢に基づいて取得された指示位置情報を、前記電子機器に出力する出力部と、を備える
   表示システム。
7. 電子機器の備える表示面の外枠で発せられた赤外線分布を検出する工程と、
   所定方向を検出する工程と、
   前記赤外線分布及び前記所定方向に基づいて取得された指示位置情報を、前記電子機器に出力する工程と、を備える
   位置指示方法。
8. 電子機器の備える表示面の外枠で発せられた赤外線分布を検出させ、
   所定方向を検出させ、
   前記赤外線分布及び前記所定方向に基づいて取得された指示位置情報を、前記電子機器に出力する
   処理をコンピュータに実行させるプログラム。

Images