JP2002032193A - 座標入力システム、座標入力方法および座標入力用プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 任意の指示物による接触を複数個検出できる
座標入力装置を提供する。 【解決手段】 映像表示手段１２は、映像信号発生手段
１１から出力された映像信号を背面投射型スクリーン１
３に裏側より投影する。撮影手段１４は、スクリーン１
３を裏側より撮影する。エッジ画像生成手段１０１は、
撮影手段１４から画像を１画面取り込み、エッジ画像を
生成する。エッジ差分生成手段１０２は現フレームのエ
ッジ画像と、基準となるフレームのエッジ画像との間の
差分画像を生成する。差分マスク生成手段１０３は、差
分画像に対して閾値処理を行い、差分マスクを生成す
る。膨張画像生成手段１０４は、差分マスクに対して膨
張処理を行う。ラベル画像生成手段１０５は、膨張画像
中の連結成分ごとにラベル番号を振る。入力データ生成
手段１０６は、各ラベルごとに特徴量を計算し、映像信
号発生手段１１に入力するデータを生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、コンピュータシス
テム等により情報が表示される画面上で指示物が接触し
た位置を検出し、その座標を入力する座標入力システ
ム、座標入力方法および座標入力用プログラムを記録し
た記録媒体に関し、特に複数の指示物が同時に接触して
いる状態においてもそれぞれの位置を検出し、入力する
ことが可能な座標入力システム、座標入力方法および座
標入力用プログラムを記録した記録媒体に関する。

【０００２】

【従来の技術】コンピュータシステム等により情報が表
示される表示装置の画面上を人の指などの指示物によっ
て触れることにより、情報を入力したり、システムに対
して種々の指示を与える座標入力装置が利用されてい
る。

【０００３】特許第２６８３６９９号公報では、光学式
の座標入力装置が開示されている。同装置では、表示画
面の対応する２辺に赤外線発光ダイオード（ＬＥＤ）等
の発光器とフォトトランジスタ等の検出器の複数対を対
応して配置してオプトマトリックスを形成し、指、針等
のスタイラスによる発光器からの光ビームの遮断を検出
器により検出する。

【０００４】特開平７−１６０４０５号公報では、超音
波式の座標入力装置が開示されている。同装置では、画
面の表面上に表面弾性波をＸ方向、Ｙ方向それぞれに発
生させる。表面弾性波は指先等の接触により減衰を受け
るため、非接触時の受信波形と比較することによって接
触位置を確定する。

【０００５】特開平１１−３５３１０１号公報では、感
圧式の座標入力装置が開示されている。同装置ではすき
間を保って２枚の抵抗膜フィルムをそれぞれＸ方向、Ｙ
方向に交差するように張り合わせる。一方の抵抗膜フィ
ルムに接触すると、その位置で他方のフィルムと接触す
る。２枚のフィルムに電圧を加えておくと、Ｘ軸、Ｙ軸
の電極に電流が検出できる。この検出した電流は接触位
置に比例するので、接触点の座標を求めることができ
る。

【０００６】特開平７−１２９３１号公報では、静電容
量方式の座標入力装置が開示されている。同装置では透
明な複数のＸ軸電極線と、それに交差するように透明な
複数のＹ軸電極線を配置する。指先など導電性のある指
示物と電極線との静電結合容量は両者の距離に反比例す
る関係がある。よって、Ｘ軸電極線、Ｙ軸電極線それぞ
れについて検出電圧が最も低いものを検出し、その位置
を指示物の座標とする。また、電磁誘導式の座標入力装
置も存在する。同装置は、Ｘ方向、Ｙ方向にそれぞれ複
数配置されたアンテナコイルと、高周波発信器を内蔵し
たペンから構成される。ペンがアンテナコイルに近接す
ると、アンテナコイルに電圧が誘起され、各コイルの電
圧からペンの位置が求まる。

【０００７】

【発明が解決しようとする課題】しかしながら、上述し
た従来のシステムでは、次のような問題がある。光学
式、超音波式のように指示物で光や波を遮断する方式の
装置では、複数の指示物の接触位置を検出できない。そ
の理由は、指示物の接触座標をＸ，Ｙそれぞれ独立に検
出する手法では、２つの指示物が接触して例えば図２に
示すようにＸ軸方向ではＸ１，Ｘ２が遮断され、Ｙ軸方
向ではＹ１，Ｙ２が遮断された場合に、２つの指示物の
位置が（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）であるのか、
（Ｘ１，Ｙ２），（Ｘ２，Ｙ１）であるのか区別できな
いからである。

【０００８】感圧式の座標入力装置においても複数の指
示物の接触位置を検出できないという問題がある。その
理由は、例えば座標入力装置の両はじが同時に押された
場合、分圧作用により出力電圧は抵抗膜に印加された電
圧の半分となり、押された位置は装置の中心であると判
断してしまい、正しい位置を知ることができないからで
ある。

【０００９】静電容量方式の座標入力装置においては、
指や導電性のある指示物による接触しか検出できないと
いう問題がある。その理由は、導電性があるものでない
と電極線との間に静電結合が発生しないからである。

【００１０】また異なる周波数を発生するペンなどを複
数用いれば、図２のような場合にもＸ１，Ｘ２とＹ１，
Ｙ２がそれぞれどちらと対応するのかを周波数の違いに
より判定できるが、指が複数接触した場合にはそれぞれ
の接触位置を検出することができない。電磁誘導式の座
標入力装置においては、指による接触を検出することが
できないという問題がある。その理由は、指は高周波を
発生しないため、アンテナコイルに電圧を誘起しないか
らである。

【００１１】本発明の目的は、任意の指示物による接触
を検出できる座標入力装置を提供することにある。

【００１２】本発明の他の目的は、上記指示物が複数あ
る場合にもそれぞれの接触位置を検出できる座標入力装
置を提供することにある。

【００１３】

【課題を解決するための手段】本発明による座標入力装
置は、背面投射型のスクリーン（図１の１３）と、前記
スクリーンに出力する映像信号を発生するコンピュータ
等の映像信号発生手段（図１の１１）と、映像信号を前
記スクリーンに背面から投影するプロジェクタ等の映像
表示手段（図１の１２）と、映像信号が投影された前記
スクリーンを裏側より撮影するビデオカメラ等の撮影手
段（図１の１４）と、前記ビデオカメラで撮影された画
像中における指示物（図１の１５）の接触位置を検出す
る画像処理手段（図１の１００）により構成され、上記
画像処理手段は、前記撮影手段から入力された画像中の
エッジ強度を計算するエッジ画像生成手段（図１の１０
１）と、前記エッジ画像生成手段で生成された現フレー
ムのエッジ画像と、基準となるフレームのエッジ画像と
の差分を計算するエッジ差分生成手段（図１の１０２）
と、前記エッジ差分を閾値処理する差分マスク生成手段
（図１の１０３）と、前記差分マスクに膨張処理を行う
膨張画像生成手段（図１の１０４）と、前記膨張画像に
ラベリング処理を行うラベル画像生成手段（図１の１０
５）と、前記ラベル画像から前記映像信号発生手段に入
力するデータを生成する入力データ生成手段（図１の１
０６）と、を有する。前記背面投射型スクリーンを採用
することにより、スクリーン裏側では投影映像がぼやけ
て表示されるのに対し、スクリーン表側、つまりユーザ
ー側には鮮明な映像を表示できるという効果が得られ
る。

【００１４】前記エッジ画像生成手段および差分マスク
生成手段を有することにより、スクリーン裏側で観測さ
れるぼやけた投影映像の変化には反応せずに、スクリー
ン表側より指などの指示物がスクリーンに接触した場合
に接触部の輪郭部分で観測される強いエッジだけを検出
できる。前記膨張手段を有することにより、接触が不充
分なために１つの指示物が前記差分マスク生成手段によ
り複数の近接した領域群として抽出された場合にも、同
一の領域に併合できる。前記ラベル画像生成手段を有す
ることにより、複数の指示物がスクリーンに接触してい
る場合に、それぞれの接触部分に個別のラベル番号を振
り、同一ラベルをもつ画素群それぞれについて重心座標
等の特徴量を算出することができる。

【００１５】従って、指示物が発する特定周波数等を検
出する手段や静電容量の変化を検出する手段などを用い
ず、指示物が接触することにより生じるエッジに着目す
るため、任意の指示物による接触を検出できるという効
果が得られる。

【００１６】さらに、上記指示物が複数個スクリーンに
接触している場合においても、それぞれの接触位置を特
定できるという効果が得られる。

【００１７】

【発明の実施の形態】本発明の第１の実施の形態につい
て図１および図３のフローチャートを参照して詳細に説
明する。図１を参照すると、本発明の第１の実施の形態
は、プログラム制御により動作する画像処理手段１００
と、映像信号発生手段１１と、映像表示手段１２と、背
面投射型スクリーン１３と、撮影手段１４とから構成さ
れている。

【００１８】画像処理手段１００は、エッジ画像生成手
段１０１と、エッジ差分生成手段１０２と、差分マスク
生成手段１０３と、膨張画像生成手段１０４と、ラベル
画像生成手段１０５と、入力データ生成手段１０６とを
含む。

【００１９】これらの手段はそれぞれ概略つぎのように
動作する。映像表示手段１２（例えばプロジェクタな
ど）は、映像信号発生手段１１から出力された映像信号
を背面投射型スクリーン１３に裏側より投影する。

【００２０】撮影手段１４は、スクリーン１３を裏側よ
り撮影する。エッジ画像生成手段１０１は、撮影手段１
４から画像を１画面取り込み（ステップ３１）、画像中
の各画素ごとにエッジ強度を計算してエッジ画像を生成
する（ステップ３２）。エッジ差分生成手段１０２はエ
ッジ画像生成手段１０１で生成された現フレームのエッ
ジ画像と、基準となるフレームのエッジ画像との差分を
計算する（ステップ３３）。

【００２１】差分マスク生成手段１０３は、エッジ差分
生成手段１０２で計算された差分値に対して閾値処理を
行い（ステップ３４）、スクリーン表側より指などの指
示物１５がスクリーンに接触する、またはスクリーンに
接触していた指示物１５が離れる、または接触している
指示物１５が接触したままスクリーン上を移動すること
による変化を検出する。差分の形態としては、現フレー
ムのエッジ画像と、現フレームから一定の時間差のある
フレームにおけるエッジ画像との差分を計算するものが
考えられる。また、指示物が接触していない状態のエッ
ジ画像をあらかじめ記憶しておき、それと現フレームの
エッジ画像との差分を計算してもよい。

【００２２】膨張画像生成手段１０４は、差分マスク生
成手段１０３で生成された差分マスクに対して膨張処理
を行い（ステップ３５）、指示物１５の接触不良が原因
で得られる複数の近接した領域群を同一の領域に併合す
る。

【００２３】ラベル画像生成手段１０５は、膨張画像生
成手段１０４で生成された膨張画像に対してラベリング
処理を行い、連結成分ごとにラベル番号を振る（ステッ
プ３６）。

【００２４】入力データ生成手段１０６は、ラベル画像
生成手段より入力されたラベル情報から映像信号発生手
段１１に入力するデータを生成する（ステップ３７）。
取り込んだ画像が最後の画像でなければ次の画像の取り
込み（ステップ３１）に戻り、最後の画像であった場合
は処理を終了する（ステップ３８）。

【００２５】次に、本発明の第２の実施の形態について
説明する。

【００２６】本実施の形態は、一度に接触する指示物の
数が１つに限定される場合に好ましい。図４を参照する
と、本発明の第２の実施の形態は、画像処理手段４００
が図１に示された第１の実施の形態におけるラベル画像
生成手段１０５および入力データ生成手段１０６をもた
ない点で異なる。

【００２７】入力データ生成手段４０４は、差分マスク
生成手段４０３で抽出された画素の重心座標等の特徴量
を算出し、映像信号発生手段４１に入力する。

【００２８】その他の手段の動作は、第１の実施の形態
の各手段の動作と同じである。

【００２９】次に、本発明の第３の実施の形態について
説明する。

【００３０】本発明は、その好ましい実施の形態におい
て、座標入力プログラムを記録した記録媒体５６を備え
る。この記録媒体５６は磁気ディスク、半導体メモリ、
磁気テープ、ＣＤ（compact disk）−ＲＯＭ、ＤＶＤ
（digital versatile disk）、その他の記録媒体であ
ってもよい。

【００３１】座標入力プログラムは記録媒体５６から画
像処理手段５００に読み込まれ、あるいは、不図示のサ
ーバ等から通信媒体を介してダウンロードして画像処理
手段５００に読み込まれ、画像処理手段５００の主記憶
にロードして実行することで、画像処理手段５００の動
作を制御し、本発明を実施することができる。

【００３２】座標入力プログラムは、前記第１の実施の
形態におけるエッジ画像生成手段１０１と、エッジ差分
生成手段１０２と、差分マスク生成手段１０３と、膨張
画像生成手段１０４と、ラベル画像生成手段１０５と、
入力データ生成手段１０６の処理を画像処理手段５００
で実行するためのプログラム、または前記第１の実施の
形態におけるエッジ画像生成手段４０１と、エッジ差分
生成手段４０２と、差分マスク生成手段４０３と、入力
データ生成手段４０４の処理を画像処理手段５００で実
行するためのプログラムである。

【００３３】画像処理手段５００としては、映像信号発
生手段５１と通信媒体を介して接続されたコンピュー
タ、映像信号発生手段５１に内蔵された画像処理ボード
などが挙げられる。

【００３４】また、映像信号発生手段５１で上記座標入
力プログラムを実行することにより、映像信号発生手段
５１が画像処理手段５００の役割を果たしてもよい。

【００３５】（実施例）本発明の第１の実施例を、図１
および図６〜図８を参照して説明する。かかる実施例は
本発明の第１の実施の形態に対応するものである。

【００３６】本実施例は、映像信号発生手段としてパー
ソナルコンピュータ７１を、映像表示手段としてプロジ
ェクタ７２を、撮影手段としてビデオカメラ７４を、画
像処理手段としてパーソナルコンピュータ７１に内蔵さ
れた画像処理ボード７００を備えている。

【００３７】画像処理ボード７００はエッジ画像生成手
段、エッジ差分生成手段、差分マスク生成手段、膨張画
像生成手段、ラベル画像生成手段、入力データ生成手段
を有する。これらの各機能手段は、画像処理プロセッサ
で実行されるプログラム制御によりその処理が実現され
る。

【００３８】図８は、本実施例における上記手段の配置
を説明するための図である。プロジェクタ８２はスクリ
ーン８３の後方に設置され、プロジェクタ８２に組み込
まれた台形歪み補正機能により、表示映像の歪みを補正
しておく。ビデオカメラ８４はプロジェクタ８２同様、
スクリーン８３の後方に設置される。パーソナルコンピ
ュータ８１はその内部に画像処理ボード８００を備え
る。ビデオカメラ８４は画像処理ボード８００と、プロ
ジェクタ８２はパーソナルコンピュータ８１とそれぞれ
接続されている。

【００３９】ビデオカメラ８４で撮影された画像とパー
ソナルコンピュータ８１が発生する映像との間の座標変
換式は、例えば特許第００２５５４５７７号公報に開示
された方法によってあらかじめ求めておく。操作者はス
クリーン８３の表側より指などの指示物８５によってス
クリーン８３と接触する。

【００４０】はじめに、ビデオカメラはスクリーン裏側
の映像を撮影し、画像処理ボードに入力する。エッジ画
像生成手段では、以下に示す３ｘ３のマトリクスで表さ
れるフィルタを入力画像にかけることによりエッジ画像
を生成する。

【００４１】-1-1-1-1+8-1-1-1-1 エッジ差分生成手段
では、現フレームにおけるエッジ画像と、１フレーム前
のエッジ画像との差分を計算する。

【００４２】差分マスク生成手段では、上記差分値に対
して閾値処理を行い、指示物の接触部分の輪郭を抽出
し、差分マスクを生成する。図６に例として、現フレー
ムにおいて２つの指示物がスクリーンに接触した場合の
現フレームのエッジ画像６１、１フレーム前のエッジ画
像６２、両者の差分に対して閾値処理を行って生成され
た差分マスク６３を示す。膨張画像生成手段では、上記
差分６３マスクに含まれない非マスク画素のうち、自身
を中心とする近傍領域に上記差分マスク６３に含まれる
マスク画素があるものを非マスク画素からマスク画素に
変更する処理を行う。この処理を一定回数繰り返し、膨
張画像６４を生成する。

【００４３】ラベル画像生成手段では、上記膨張画像生
成手段で生成された膨張画像６４中における連結成分ご
とに個別のラベル番号を振る。これにより、接触領域６
４１にはラベル１が与えられ、接触領域６４２にはラベ
ル２が与えられる。

【００４４】最後に、入力データ生成手段は、ラベル画
像生成手段より入力されたラベル画像中で、同一ラベル
をもつ画素群それぞれについて重心座標を算出する。あ
らかじめ求めておいた前記座標変換式を用いて、各重心
座標をパーソナルコンピュータが発生する映像中の座標
に変換し、パーソナルコンピュータに入力する。

【００４５】次に、本発明の第２の実施例を図９を参照
して説明する。

【００４６】かかる実施例は、第１の実施例と同様、本
発明の第１の実施の形態に対応するものであるが、映像
信号発生手段としてパーソナルコンピュータ９１と、Ｒ
Ｓ−２３２Ｃケーブルを介してパーソナルコンピュータ
９１から制御可能なビデオ再生機９６を備える点で第１
の実施例と異なる。

【００４７】パーソナルコンピュータ９１は画像処理ボ
ード９００で生成された入力データに基づき、ビデオ再
生機９２が出力する映像信号を切りかえる。その他の手
段の動作は、第１の実施例の各手段の動作と同じであ
る。

【００４８】次に、本発明の第３の実施例を説明する。

【００４９】かかる実施例は、第１の実施例と同様、本
発明の第１の実施の形態に対応するものであるが、画像
処理手段として画像処理ボード７００の代わりにパーソ
ナルコンピュータ１０００を備える点で第１の実施例と
異なる。

【００５０】パーソナルコンピュータ１０００で生成さ
れた入力データはネットワークを介して映像信号発生手
段であるパーソナルコンピュータ１００１に入力され
る。パーソナルコンピュータ１００１は入力データに基
づき、出力する映像信号を切りかえる。その他の手段の
動作は、第１の実施例の各手段の動作と同じである。

【００５１】

【発明の効果】以上説明したように、本発明において
は、次のような効果を奏する。

【００５２】第１の効果は、任意の指示物による接触を
検出できることにある。その理由は、指示物の種類によ
らず、スクリーンに接触する際にスクリーン上に生じる
エッジを検出するためである。

【００５３】第２の効果は、上記指示物が複数個スクリ
ーンに接触している場合においても、それぞれの接触位
置を特定できることにある。その理由は、スクリーン上
の変化を後方から撮影手段でとらえるためである。

【図面の簡単な説明】

【図１】 本発明の第１の実施の形態の構成を示すブロ
ック図である。

【図２】 従来技術の動作の例を示す図である。

【図３】 本発明の第１の実施の形態の動作を示すフロ
ーチャートである。

【図４】 本発明の第２の実施の形態の構成を示すブロ
ック図である。

【図５】 本発明の第３の実施の形態の構成を示すブロ
ック図である。

【図６】 本発明の第１の実施例の動作の具体例を示す
図である。

【図７】 本発明の第１の実施例を説明するための図で
ある。

【図８】 本発明の第１の実施例を説明するための図で
ある。

【図９】 本発明の第２の実施例を説明するための図で
ある。

【図１０】 本発明の第３の実施例を説明するための図
である。

【符号の説明】

１１ 映像信号発生手段 １２ 映像表示手段 １３ 背面投射型スクリーン １４ 撮影手段 １５ 指示物 １００ 画像処理手段 １０１ エッジ画像生成手段 １０２ エッジ差分生成手段 １０３ 差分マスク生成手段 １０４ 膨張画像生成手段 １０５ ラベル画像生成手段 １０６ 入力データ生成手段 ４１ 映像信号発生手段 ４２ 映像表示手段 ４３ 背面投射型スクリーン ４４ 撮影手段 ４５ 指示物 ４００ 画像処理手段 ４０１ エッジ画像生成手段 ４０２ エッジ差分生成手段 ４０３ 差分マスク生成手段 ４０４ 入力データ生成手段 ５１ 映像信号発生手段 ５２ 映像表示手段 ５３ 背面投射型スクリーン ５４ 撮影手段 ５５ 指示物 ５６ 記録媒体 ５００ 画像処理手段 ６１ 現フレームにおけるエッジ画像 ６２ １フレーム前におけるエッジ画像 ６３ 差分マスク ６４ 膨張画像 ６４１ 第１の接触領域 ６４２ 第２の接触領域 ７１ パーソナルコンピュータ ７２ プロジェクタ ７３ スクリーン ７４ ビデオカメラ ７５ 指示物 ７００ 画像処理ボード ８１ パーソナルコンピュータ ８２ プロジェクタ ８３ スクリーン ８４ ビデオカメラ ８５ 指示物 ８００ 画像処理ボード ９１ パーソナルコンピュータ ９２ プロジェクタ ９３ スクリーン ９４ ビデオカメラ ９５ 指示物 ９６ ビデオ再生機 ９００ 画像処理ボード １０００ パーソナルコンピュータ １００１ パーソナルコンピュータ １００２ プロジェクタ １００３ スクリーン １００４ ビデオカメラ １００５ 指示物

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA03 AA07 AA69 BB27 DD19 FF01 FF21 JJ03 JJ09 JJ26 QQ13 QQ31 QQ32 QQ37 SS00 SS13 UU05 5B068 AA21 AA36 BB18 BE06 CC12 5B087 BC32 CC09 CC26 CC33 5L096 CA03 EA02 FA06 FA69 GA07 GA08 GA10 GA34 GA51

Claims (4)

【特許請求の範囲】
1. 【請求項１】背面投射型のスクリーンと、 前記スクリーンに出力する映像信号を発生する映像信号
   発生手段と、 映像信号を前記スクリーンに背面から投影する映像表示
   手段と、 映像信号が投影されたスクリーンを裏側より撮影する撮
   影手段と、 前記ビデオカメラで撮影された画像中における指示物の
   接触位置を検出する画像処理手段とを備えたことを特徴
   とする座標入力システム。
2. 【請求項２】前記座標入力システムにおいて、 撮影手段から入力された入力画像中のエッジ強度を計算
   するエッジ画像生成手段と、 前記エッジ画像生成手段で生成された現フレームのエッ
   ジ画像と基準となるフレームのエッジ画像との差分を計
   算するエッジ差分生成手段と、 エッジ差分を閾値処理する差分マスク生成手段と、 差分マスクに膨張処理を行う膨張画像生成手段と、 膨張画像にラベリング処理を行うラベル画像生成手段
   と、 ラベル画像から映像信号発生手段に入力するデータを生
   成する入力データ生成手段で構成された画像処理手段と
   を備えたことを特徴とする座標入力システム。
3. 【請求項３】撮影手段から入力された入力画像中のエッ
   ジ強度を計算し、 現フレームのエッジ画像と基準となるフレームのエッジ
   画像との差分を計算し、 差分を閾値処理して差分マスクを生成し、 差分マスクに膨張処理を行って膨張画像を生成し、 膨張画像にラベリング処理を行ってラベル画像を生成
   し、 ラベル画像から映像信号発生手段に入力するデータを生
   成することを特徴とする座標入力方法。
4. 【請求項４】撮影手段から入力された入力画像中のエッ
   ジ強度を計算するエッジ画像生成処理と、 前記エッジ画像生成処理で生成された現フレームのエッ
   ジ画像と基準となるフレームのエッジ画像との差分を計
   算するエッジ差分生成処理と、 エッジ差分を閾値処理する差分マスク生成処理と、 差分マスクに膨張処理を行う膨張画像生成処理と、 膨張画像にラベリング処理を行うラベル画像生成処理
   と、 ラベル画像から映像信号発生手段に入力するデータを生
   成する入力データ生成処理とをコンピュータに実行させ
   るためのプログラムを記録したことを特徴とする記録媒
   体。