JP2002312123A - タッチ位置検出装置 - Google Patents

Abstract

(57)【要約】 【課題】表示画面上に特殊な装置を設置困難な大型ディ
スプレイや掲示物に対して利用者がタッチして指示した
位置を検出する手段を提供する。 【解決手段】画像データを表示する手段１と、その表示
面上を表示面に平行な位置から撮影する少なくとも１台
のビデオカメラ２と、該ビデオカメラからの画像情報を
取込んだ現画像フレームメモリ部３２の画像と背景フレ
ームメモリ部３３の画像との差分を求め、画像上での差
分大の部分の位置とカメラ情報記憶部３７からの情報を
もとに、表示面上の任意の場所を指示している物体の位
置を検出する画像処理装置３を設けることにより利用者
がタッチした位置を検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は不特定多数を対象と
した個人向けの情報表示用大型ディスプレイや掲示板に
対してタッチ方式の入力ユーザーインタフェースを提供
するタッチ位置検出装置に関する。

【０００２】

【従来の技術】個人向け情報提供端末や駅の券売機など
には、ディスプレイ上に設置した超音波方式などのタッ
チパネルによる入力ユーザーインタフェースが、広く一
般に採用されている。

【０００３】個人向けではなく、プレゼンテーション用
大型ディスプレイへの指示位置検出方式としては、特開
平８−９５７０７号公報記載のように、説明者が表示画
面上を指示している指示棒を、スクリーンの後方から照
射した赤外線ライトによりできる指示棒の影を赤外線カ
メラで撮影し、画像処理で指示棒の先端を検出すること
により指示位置を検出する方式が示されている。

【０００４】

【発明が解決しようとする課題】上記従来技術は、指示
位置を検出するために特殊な装置をディスプレイ画面上
に設置したり、赤外線ライトや赤外線カメラなどが必要
となるという問題点を有する。

【０００５】本発明の目的は、表示画面上に特殊な装置
を設置困難な大型ディスプレイや掲示物に対して、特殊
なライトやカメラを使用せずに利用者がタッチして指示
した位置を、表示画面の種類に関係なく検出するタッチ
位置検出装置を提供することにある。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に、 画像データを表示する表示手段と、前記表示手段
の表示面を表示面に平行な位置から撮影する少なくとも
１台のビデオカメラと、前記ビデオカメラからの画像情
報を取込むビデオキャプチャ手段と、前記ビデオキャプ
チャ手段で取込んだ現画像を格納する現画像フレームメ
モリと、予め取込んでおいた画像を格納する背景フレー
ムメモリと、前記ビデオカメラの設置位置と画角を含む
カメラ情報を記憶するカメラ情報記憶手段と、プログラ
ムを格納するＲＯＭと、前記ＲＯＭに格納されているプ
ログラムに従って処理を行なう演算処理手段と、前記演
算処理手段が処理を行なうためのワークエリアであるＲ
ＡＭとを具備し、前記演算処理手段により前記現画像フ
レームメモリの画像と前記背景フレームメモリの画像と
の差分を求め、画像上での変化部分の位置と前記カメラ
情報記憶手段からのカメラ情報に基づき前記表示手段の
表示面の任意場所を指示している物体の位置を検出する
ようにしたものである。

【０００７】

【発明の実施の形態】以下、本発明の実施例を図面を用
いて説明する。

【０００８】図１は本発明の第１の実施例を示すブロッ
ク図である。

【０００９】図１において、情報提供装置は画像データ
を表示する表示手段１と、表示手段１の表示面上を表示
面に平行な上方向から見るように設置したビデオカメラ
２と、ビデオカメラ２からの画像情報を処理して表示手
段１の画面上をタッチしている利用者の手５の位置を検
出する画像処理装置３と、画像処理装置３からの検出し
た位置情報を信号線３８を介して受け取り表示手段１上
に表示しているボタン６またはボタン７の位置かどうか
を判断しその結果により、前ボタン７がタッチされたな
らば前ページの画面を、次ボタン６がタッチされたなら
ば次ページの画像データを作成し信号線４１を介して表
示手段１に表示するコンピュータ４とからなる。

【００１０】表示手段１は、コンピュータ４からの画像
データを表示可能な大型液晶ディスプレイあるいは大型
プラズマディスプレイあるいは背面投射式大型プロジェ
クターなどからなる。画像処理装置３はビデオカメラ２
からの画像情報を取込むビデオキャプチャ部３１、ビデ
オキャプチャ部で取込んだ現画像を格納する現画像フレ
ームメモリ部３２、予め取込んでおいた画像を格納する
背景フレームメモリ部３３、カメラの設置位置や画角な
どを記憶しておくカメラ情報記憶部３７、プログラムを
格納しておくＲＯＭ部３４、ＲＯＭ部のプログラムに従
って処理を行なうＣＰＵ部３６、ＣＰＵ部が処理を行な
うためのワークエリアであるＲＡＭ部３５からなる。

【００１１】次に図２〜図５を参照してタッチ位置検出
の動作を説明する。

【００１２】図１において、真下に向けてビデオカメラ
２を設置し、ビデオカメラ２から表示手段１上に表示す
る前ボタン７と次ボタン６の中心を結んだ直線までの垂
線の長さ（カメラ高さ）と表示手段１の左端から前記垂
線までの距離及びビデオカメラ２の画角を画像処理装置
３内のカメラ情報記憶部３７に記憶する。

【００１３】利用者がいない（障害物がない）状態での
ビデオカメラ２からの画像をビデオキャプチャ部３１で
取込み背景画像フレームメモリ部３３に記憶する。この
時、画像処理を行なう領域を決定しカメラ情報記憶部３
７に記憶する。

【００１４】図２に背景画像フレームメモリ部３３に記
憶した画像と処理領域の１例を示す。

【００１５】図２において、１１はビデオカメラ２から
見た場合の表示手段１の表示画面部、１２は前ボタン７
の表示位置、１３は後ボタン６の表示位置を示してい
る。処理領域１４は表示データの影響を受けないように
表示画面部１１から少し離して設定している。

【００１６】図３は通常のタッチ位置検出処理フローを
示している。

【００１７】まず、現画像取り込み処理１００として図
１におけるビデオカメラ２からの画像をビデオキャプチ
ャ部３１で取込み現画像フレームメモリ３２に取り込
む。画像処理領域切出し処理１０１として図１における
現画像フレームメモリ３２および背景画像フレームメモ
リ部３３に取り込んだ画像からカメラ情報記憶部３７に
記憶している処理領域（図２での領域１４）に相当する
部分を切出してＲＡＭ３５にそれぞれ現画像処理領域内
画像および背景画像処理領域内画像として格納する。

【００１８】背景画像との差分抽出処理１０２として背
景画像処理領域内画像と現画像処理領域内画像との各画
素間の差分をとった結果を差分画像としてＲＡＭ３５に
格納する。差分画像を予め決めておいた閾値で2値化し
て2値物体画像を作成しＲＡＭ３５に格納する（差分画
像の2値化処理１０３）。

【００１９】ここで、もし現画像フレームメモリ３２内
に利用者の手５が撮影されていたならば、2値物体とし
て出現するのでその出現座標を求める（2値物体位置検
出処理１０４）。現画像フレームメモリ３２内での2値
物体の出現位置をカメラ情報記憶部３７に記憶している
カメラ位置情報を基に表示手段１での座標位置に変換す
る（表示画面内での座標位置への変換処理１０５）。

【００２０】以上の処理フローをＲＯＭ３４にプログラ
ムとして登録しておき、この処理フローをＣＰＵ３６で
繰り返し実行することによりタッチ位置検出が行える。

【００２１】図４は、図３の処理フローにおける１０１
から１０３までの処理により作成される画像の1例を示
したものである。

【００２２】図４において、２０２は背景画像フレーム
メモリ部３３に取り込んだ画像２００からカメラ情報記
憶部３７に記憶している処理領域１４に相当する部分を
切出してＲＡＭ３５に格納した背景画像処理領域内画像
を示している。

【００２３】また、２０３は現画像フレームメモリ３２
取り込んだ画像２０１からカメラ情報記憶部３７に記憶
している処理領域１４に相当する部分を切出してＲＡＭ
３５に格納した現画像処理領域内画像を示し、２０４は
背景画像処理領域内画像２０２と現画像処理領域内画像
２０３との各画素間の差分をとった結果の差分画像を示
している。

【００２４】図５は、図３の処理フローにおける表示画
面内での座標位置への変換処理１０５を説明するための
ものである。

【００２５】図５において、ビデオカメラ２の水平方向
の画角をθ、表示手段１上に表示しているボタン６とボ
タン７の中心を結ぶ直線にビデオカメラ２から引いた垂
線の長さをＬ１、表示手段１の左端から前記垂線までの
距離をＬ２、ビデオカメラ２から入力した画像の水平方
向の画素数をＮとすると、ビデオカメラ２で見えるボタ
ン６とボタン７の中心を結ぶ直線の長さＬ３は式１で表
される。

【００２６】 Ｌ３＝Ｌ１＊ｔaｎ（θ／２）＊２ …（式１） となり、表示手段１の左端からビデオカメラ２で見える
ボタン６とボタン７の中心を結ぶ直線の左端までの距離
Ｌ４は式２となる。

【００２７】 Ｌ４＝Ｌ２−（Ｌ３／２） …（式２） そこで、画面上で検出したタッチ位置ＰのＸ座標をｘと
するとタッチ位置Ｐの表示手段１上でのＸ座標は、式３
で求めることができる。

【００２８】 Ｘ＝Ｌ４＋（Ｌ３／Ｎ）＊ｘ …（式３） 以上、説明したように本実施例によれば表示画面上に特
殊な装置を設置困難な大型ディスプレイに対しても、表
示画面上にボタンを表示しておき、利用者がタッチして
指示した位置を、大型ディスプレイの上に設置したビデ
オカメラと画像処理装置により検出することにより、利
用者が自由に表示画面を選択できるグラフィックス・ユ
ーザー・インタフェースを提供できるという効果があ
る。

【００２９】図６は本発明の第2の実施例を示すブロッ
ク図である。

【００３０】図6は画像データを表示する表示手段３０
０と、表示手段３００の表示面上を表示面に平行な上方
向から見るように設置したビデオカメラ３０１と、ビデ
オカメラ３０１とは別の角度から表示手段３００の表示
面上を表示面に平行な上方向から見るように設置したビ
デオカメラ３０２と、ビデオカメラ３０１および３０２
からの画像情報を処理して表示手段３００の画面上をタ
ッチしている利用者の手３０７の位置を検出する画像処
理装置３０３と、画像処理装置３０３の検出した位置情
報を受け取り表示手段３００上に表示しているボタン３
０５またはボタン３０６の位置かどうかを判断しその結
果により、前ボタン３０５がタッチされたならば前ペー
ジの画面を、次ボタン３０６がタッチされたならば次ペ
ージの画像データを作成し表示手段３００に表示するコ
ンピュータ３０４とからなる。

【００３１】図６の第2の実施例が図１の第1の実施例と
異なる点は、表示手段３００の表示面上を撮影するビデ
オカメラ３０１、３０２を2台とし、異なる角度で同一
領域を見ることにより、図６に示すように表示手段３０
０上に前ボタン３０５と次ボタン３０６をＹ方向に並べ
た場合でも、利用者によるタッチ位置を正しく検出でき
るようにしたことにある。

【００３２】画像処理装置３０３の構成は、図１での画
像処理装置３と同じなので詳細な説明は省略する。第1
の実施例と異なる点は、処理対象となる現画像がビデオ
カメラ３０１および３０２とから２つ得られることと、
２つの現画像を基に得られた２つの2値物体の位置情報
から表示手段３００上での座標位置に変換する計算方法
である。

【００３３】前者の相違点に対しては、まず、2台のビ
デオカメラ３０１、３０２のカメラ情報をカメラ情報記
憶部３７に記憶する。現画像フレームメモリ３２に2台
のビデオカメラ３０１、３０２の画像を取り込めるよう
にし、2値物体の位置検出までの処理は、ビデオカメラ
３０１からの現画像に対する処理とビデオカメラ３０２
からの現画像に対する処理とをシーケンシャルに処理す
ることにより解決できる。 後者の座標位置に変換方法
については図７を使用して説明する。

【００３４】図７において、θｇはビデオカメラ３０１
および３０２の水平方向の画角を、Ｘ１・Ｙ１はそれぞ
れ表示手段３００上での左上隅の原点Ｏ（０，０）から
ビデオカメラ３０１の設置位置までのＸ方向の距離・Ｙ
方向の距離を、 Ｘ２・Ｙ２はそれぞれ表示手段３００
上での左上隅の原点Ｏ（０，０）からビデオカメラ３０
２の設置位置までのＸ方向の距離・Ｙ方向の距離を、θ
ｃはビデオカメラ３０２の取り付け角度を示す。

【００３５】ここで、ビデオカメラ３０１、３０２から
取り込んだ画像のＸ方向の画素数をＮとすると、ビデオ
カメラ３０１から見たタッチ位置検出点Ｐの画面上のＸ
座標値ｘ１から、ビデオカメラの主軸方向３１１に対す
る検出点Ｐを通る線分ＡＢの傾きθ１は式４で求められ
る。

【００３６】 θ１＝（θｇ／Ｎ）＊ （ｘ１−Ｎ／２） …（式４） 同様にビデオカメラ３０２から見たタッチ位置検出点Ｐ
の画面上のＸ座標値ｘ２から、ビデオカメラの主軸方向
３１２に対する検出点Ｐを通る線分ＣＤの傾きθ２は式
５で求められる。

【００３７】 θ２＝（θｇ／Ｎ）＊ （ｘ２−Ｎ／２） …（式５） 従って、表示手段３００上で点（Ｘ１，Ｙ１）と線分Ａ
Ｂを通る直線の傾きはθ１、点（Ｘ２，Ｙ２）と線分Ｃ
Ｄを通る直線の傾きは（θｃ ＋θ２）となる直線の式
でそれぞれ表すことができる。この2直線の交点Ｐの座
標が求める表示手段３００上でのタッチ位置となる。

【００３８】以上、説明したように本実施例によれば表
示画面上に特殊な装置を設置困難な大型ディスプレイに
対しても、表示画面上の任意の位置にボタンを表示して
おき、利用者がタッチして指示した位置を、大型ディス
プレイの上に設置した2台のビデオカメラと画像処理装
置により検出することにより、利用者が自由に表示画面
を選択できるグラフィックス・ユーザー・インタフェー
スを提供できるという効果がある。

【００３９】

【発明の効果】本発明によれば、表示画面上に特殊な装
置を設置困難な大型ディスプレイや掲示板などに対して
も、表示画面上の任意の位置にボタンを表示しておき、
利用者がタッチして指示した位置を、表示画面上の上に
設置したのビデオカメラと画像処理装置により検出する
ことができるので、利用者が自由に表示画面から入力操
作を行えるグラフィックス・ユーザー・インタフェース
を提供できるという効果がある。また、ビデオカメラか
ら取込んだ画像の内、表示面上の空間の処理領域情報を
予め画像処理装置内のカメラ情報記憶部に記憶しておく
ようにしたことにより表示画面の種類に関係なく物体の
指示位置を検出することができるので、ビデオカメラか
ら取込んだ表示画面の内容が変化するような場合でも、
利用者が自由に表示画面から入力操作を行えるグラフィ
ックス・ユーザー・インタフェースを提供できるという
効果がある。

【図面の簡単な説明】

【図１】 本発明の第1の実施例を示すブロック図であ
る。

【図２】 背景画像フレームメモリ部に記憶した画像と
処理領域の１例を示す図である。

【図３】 画像処理装置の画像処理フロー図である。

【図４】 画像処理フローの説明図である。

【図５】 表示画面内での座標位置への変換処理説明図
である。

【図６】 本発明の第２の実施例を示すブロック図であ
る。

【図７】 第２の実施例における表示画面内での座標位
置への変換処理説明図である。

【符号の説明】

１ 画像データを表示する表示手段 ２ ビデオカメラ ３ タッチ位置を検出する画像処理装置 ３１ ビデオカメラからの画像情報を取込むビデオキャ
プチャ部 ３２ ビデオキャプチャ部で取込んだ現画像を格納する
現画像フレームメモリ部 ３３ 予め取込んでおいた画像を格納する背景フレーム
メモリ部 ３４ プログラムを格納しておくＲＯＭ部 ３６ ＲＯＭ部のプログラムに従って処理を行なうＣＰ
Ｕ部 ３５ ＣＰＵ部が処理を行なうためのワークエリアであ
るＲＡＭ部 ３７ カメラの設置位置や画角などを記憶しておくカメ
ラ情報記憶部

フロントページの続き Ｆターム(参考） 5B057 BA02 BA13 CA08 CA12 CA16 CE12 CH11 DA07 DB02 DB09 DC32 5B068 AA01 AA11 BB18 BC02 BD09 BD20 BE08 CC06 CD01 5B087 AA00 AE03 BC12 BC26 BC32 CC03 CC09 CC26 CC33 5L096 AA06 CA02 CA05 EA43 FA69 HA01 LA05

Claims (2)

【特許請求の範囲】
1. 【請求項１】画像データを表示する表示手段と、前記表
   示手段の表示面を表示面に平行な位置から撮影する少な
   くとも１台のビデオカメラと、前記ビデオカメラからの
   画像情報を取込むビデオキャプチャ手段と、前記ビデオ
   キャプチャ手段で取込んだ現画像を格納する現画像フレ
   ームメモリと、予め取込んでおいた画像を格納する背景
   フレームメモリと、前記ビデオカメラの設置位置と画角
   を含むカメラ情報を記憶するカメラ情報記憶手段と、プ
   ログラムを格納するＲＯＭと、前記ＲＯＭに格納されて
   いるプログラムに従って処理を行なう演算処理手段と、
   前記演算処理手段が処理を行なうためのワークエリアで
   あるＲＡＭとを具備し、前記演算処理手段により前記現
   画像フレームメモリの画像と前記背景フレームメモリの
   画像との差分を求め、画像上での変化部分の位置と前記
   カメラ情報記憶手段からのカメラ情報に基づき前記表示
   手段の表示面の任意場所を指示している物体の位置を検
   出することを特徴とするタッチ位置検出装置。
2. 【請求項２】請求項１において、前記ビデオカメラから
   取込んだ画像の内、表示面上の空間に設けたスリット状
   の画像のみを処理するために、その処理領域情報を予め
   前記カメラ情報記憶手段に記憶しておくことを特徴とす
   るタッチ位置検出装置。