JP2007328754A - タッチパネルシステム及びその動作方法 - Google Patents

Abstract

【課題】大画面投影スクリーンを使用し、接触式にてコンピュータと対話可能なシステムを構築する。
【解決手段】システムには。透明支柱１、投影スクリーン２、視覚センサ３、プロジェクタ４、コンピュータ５及び赤外光源６が含まれている。視覚センサ３にはデジタルカメラ３１、カメラインターフェース３２、デジタル信号プロセッサ３３とコンピュータインターフェース３４が含まれ、デジタルカメラ３１とカメラインターフェース３２が接続され、投影スクリーン２は透明支柱１に設置され、視覚センサ３、プロジェクタ４、コンピュータ５及び赤外光源６は適宜収納され、視覚センサ３とプロジェクタ４は共につながっている。このシステムを動作させるため、エキスパートシステムと神経回路網を結合した計算方法を採用し、スクリーンとコンピュータの起動時座標較正には五点定位法を採用した。
【選択図】 図１５

Description

本発明は、タッチパネルシステム及びその動作方法に関し、特に、指で投影画像の特定部分に接触することによりコンピュータと対話することができる大画面背面投射システム及びその動作方法に関する。

ビジネス、展示会、デモンストレーション及び視聴覚教育等の活動が頻繁になるに従って、大画面スクリーン投影技術は人々にとって既に必要不可欠なマルチメディアディスプレイ手段になり、その設備は既に科学研究、教育過程、軍事訓練、業界応用等の様々な領域で広く応用されるようになった。

次々に出てくる新技術は、大画面スクリーン投影技術の持続的な発展に可能性のある条件を提供し、プロジェクタは初期の低光度（８００ルーメン以下）から現在の高光度（５０００ルーメン以上）及び高解像度（１０２４×７６８以上）にまで発展し、大画面スクリーンの材質も初期の白い壁媒質（利得０．８）から利得０．９の白いプラスチックスクリーンになり、それから利得２ぐらいのガラススクリーン等になり、最近の利得８に達する金属スクリーンまでに発展した。しかし、プロジェクタの発展と大画面スクリーン材質の改善は全て投影スクリーンシステムの画像効果を高めるためのものである。

但し、現有技術でのスクリーン投影システムの大部分は、単なる一方向性のものであり、タッチパネルのような双方向性の情報照会機能は不可能であり、筆記等機能と相互動作機能が欠けている。特に、遠距離ＴＶ会議中に異なる場所の何人かがオンラインコンピュータを通じて同一の内容に関する作業をすることは不可能である。従来のタッチパネルスクリーン技術にはレジスタンス式、電気容量式、超音波式と赤外線式の四種類が含まれるが、通常大きなサイズの実現が不可能であり、しかも使用環境に対する要求も高く、未だ大画面背面投影スクリーンに適合するタッチパネルがない。

本発明の課題は、視覚センサを利用して指若しくはペン類の背面投影大画面スクリーン上での位置を感知且つ識別し、それをコンピュータ指令情報に変換させ、投影スクリーンに接触式スクリーン機能をもたらすことである。

上記の目的を実現するために、本発明のタッチパネルシステムには、透明支柱、投影スクリーン、プロジェクタ及びコンピュータが含まれている。本システムには、さらに、視覚センサが含まれ、この視覚センサにはデジタルカメラ、カメラインターフェース、デジタル信号プロセッサとコンピュータインターフェース、デジタルカメラとカメラインターフェースが接続され、カメラインターフェースはデジタル信号プロセッサと接続され、デジタル信号プロセッサから出力される信号はコンピュータインターフェースによってコンピュータとつながっている。投影スクリーンは透明支柱に設置され、視覚センサは投影スクリーンとプロジェクタの間に設置され、視覚センサと投影スクリーンは同じ高さを保ち、視覚センサとプロジェクタは共にコンピュータとつながっている。
視覚センサは投影スクリーン前方の同じ高さの位置に設置することが可能であり、デジタルカメラの数は一つ以上であり、投影スクリーンの材質はポリスチレンである。

本発明のタッチパネルシステムの動作方法は、以下のステップが含まれている。
（１）起動訂正
（２）投影スクリーンの特徴点を拾い、次元を低める。
（３）エキスパートシステムが初歩的に篩い分ける。
（４）情報が定義条件に該当するか否かを判断する。
（５）該当情報がある場合は、神経回路網計算方法に昇進する。
（６）指位置があるか否かを判断する。
（７）ある場合は、指位置抽出を行う。
（８）抽出した指位置と視覚センサから伝送された情報を照らし合わせる。
（９）コンピュータが情報の照らし合わせ処理を行い、マウスを駆動しながら制御を行う。

起動訂正（起動時にコンピュータの画面座標と投影スクリーンの画像座標を整合させる較正処理）には五点定位法を採用している。具体的に言えば、コンピュータのカーソルが左上角―右上角―スクリーン中心点―左下角―右下角に移動し、コンピュータのカーソルが各位置に止まる際に、ユーザーはレーザーペンでスクリーン上のカーソル位置に合わせると、カーソルは次の位置に移動する。次の位置で又上記の操作を繰り返しながら、全ての五つの点まで進行する。

エキスパートシステムは、投影スクリーン上の画像情報を篩い分け、画像上の指情報（スクリーンを利用する可能性のある人の、又は、不特定多数の人の、指先画像）を判断して指位置を識別する。エキスパートシステムは、総データベース（知識データベース）、制御作戦と生成式規則（推論エンジン）が含まれ、知識データベースには、実践中に認識される画像分析下で生成される指が持っている一定の経験情報とデータ、及び、画像処理過程で画像中の指情報が代表できる一部のデータ情報が含まれ、制御作戦とは様々な環境で出来るだけ如何に錯誤を減少させるかの指情報識別の計算方法であり、生成式規則は総データベースと制御作戦の連係と調和を担当する。

神経回路網計算方法にはＭｅａｎ Ｔａｘｏｎｏｍｙを採用して隠れ層の学習方法とし、傾斜降下法を応用して出力層の学習方法にする。

以下、図面を参照して本発明の実施の形態について説明する。但し、本実施形態に記載されている構成部品の寸法、材質、形状、その相対的配置等に特定的な記載があっても、本発明をそれに限定する趣旨ではない。

図１は、本実施形態のタッチパネルシステムの概念図である。透明支柱１、投影スクリーン２、視覚センサ３、プロジェクタ４及びコンピュータ５が含まれている。透明支柱１の材質はガラス等が可能であり、投影スクリーン２の材質はポリスチレンであり、透明支柱１に設置して、端末と接触スクリーンインターフェースを顕示することができる。視覚センサ３は投影スクリーン２とプロジェクタ４の間に設置され、その高さは投影スクリーン２と一致するか投影スクリーン２の真下でも構わない。視覚センサは平面鏡の数回鏡面反射によって、投影スクリーン２範囲に対しての感知を実現する（図面では標記していない）。プロジェクタ４と視覚センサ５は共に標準のＲＳ２３２ＣインターフェースあるいはＵＳＢインターフェースを通じてコンピュータ５とつながって、相互間の通信機能を実現する。

図２は、視覚センサ３にはデジタルビデオカメラＣＡＭＥＲＡ３１、カメラインターフェースＣＡＭＥＲＡ・Ｉ／Ｆ３２、デジタル信号プロセッサＤＳＰ３３とコンピュータインターフェースＣＯＭＰ・Ｉ／Ｆ３４が含まれている。カメラ３１は一つ或いは多数を設置することが可能であり、その役割としては、投影スクリーン２の指などの物体情報を獲得し、カメラインターフェース３２はカメラ３１が収集した情報を受けてからデジタル信号プロセッサ３３に伝送し、デジタル信号プロセッサ３３は収集した信号をデジタル化させ、スクリーン上の物体特徴を識別し、ユーザー入力情報であるかそれともノイズであるかを判断する。ユーザー入力情報に関しては、ユーザー指或いはその他物体のスクリーン上の物理座標と制御指令を計算してから、コンピュータインターフェース３４を通じてコンピュータ５に伝送し、それに応じた操作を実行する。

図３は、本実施形態のタッチパネルシステムの動作方法のフローチャートである。この動作方法は、以下のステップを含む。
ステップ１０１：起動訂正
ステップ１０２：投影スクリーンの特徴点を拾い、次元を低める。
ステップ１０３：エキスパートシステムが初歩的に篩い分ける。
ステップ１０４：情報が定義条件に該当するか否かを判断する。
ステップ１０５：該当情報がある場合は、神経回路網計算方法に昇進する。
ステップ１０６：指位置があるか否かを判断する。
ステップ１０７：ある場合は、指位置抽出を行う。
ステップ１０８：抽出した指位置と視覚センサから伝送された情報を照らし合わせる。
ステップ１０９：コンピュータが情報の照らし合わせ処理を行い、マウスを駆動しながら制御を行う。

ステップ１０１での、初期定位と訂正は五点定位法による。そのため、訂正プログラムを起動する際に、コンピュータのカーソルは、左上角―右上角―スクリーン中心点―左下角―右下角に移動する。コンピュータのカーソルが各位置に止まる度に、ユーザーはレーザーペンをスクリーン上のカーソル位置に合わせ数秒すると、カーソルは次の位置に移動する。次の位置で又上記の操作を繰り返しながら、全ての五つの点まで進行する。このような訂正を経て、指がスクリーンを接触する際に、カーソルは指の移動に従って、指位置の真下に止まる。

ステップ１０２で投影スクリーンの特徴点（プロジェクタ４が投影した画像とは異なる点）を拾い、次元を低める。

ステップ１０３で、エキスパートシステムは画像上の指情報を判断して指位置を識別する。エキスパートシステムには、総データベース、制御作戦と生成式規則が含まれる。総データベースのデータには、（１）実践中に認識される画像分析下で生成される指が持っている一定の経験情報とデータ、（２）画像処理過程で画像中の指情報が代表できる一部のデータ情報が含まれる。制御作戦とは様々な環境で出来るだけ如何に錯誤を減少させるかの指情報識別の計算方法である。生成式規則は『もしこの条件を満たすと、ある操作を取るべきである。』との方式で判断し、総データベースと制御作戦の連係と調和を担当する。本エキスパートシステムは、『もし画像上ある点のデータがデータベースの中のある特徴データに該当する場合は、この点は指情報が次の段階の篩い分けに昇進する可能性があると認識される。該当しない点は篩い分けから外される。幾重もの篩い分けを経てから最後の結論を得る。』システムである。

ステップ１０４で、情報がエキスパートシステムが定義した指条件に該当するか否かを判断する。

ステップ１０５：該当情報がある場合は、神経回路網計算方法に昇進するステップ１０５での神経回路網計算方法はモデル識別中の基本計算方法を採用する。すなわち、実験中に得た指情報を利用して神経回路網に対する訓練と学習を行い、このような学習によってネットワークのパラメータ（例えば、隠れ層節点数、ウエイト、隠れ層節点広さ等）を確定し、このパラメータからネットワークの構造を確定する。学習とは、一部の既に得た入力出力情報によって、ネットワークのパラメータを推算且つ調整することである。学習の進行と共に、これらのパラメータは一つの中心値を巡って少量の変化を生じる。これらの中心値はネットワークの構造パラメータとして制定されることができ、全体の学習過程に於いて大体二つの段階に分けられる。隠れ層の学習過程と出力層の学習過程である。その中の隠れ層の訓練課程は隠れ層節点数とウエイトの確定過程であり、出力層の訓練を通じて連結されたウエイトを得ることができる。この中で、隠れ層の学習方法はＭｅａｎ Ｔａｘｏｎｏｍｙを採用することができ、出力層の学習方法は傾斜度降下法Ｇｒａｄｉｅｎｔ Ｄｅｃｅｎｔ（最急降下法）を採用する。神経回路網とエキスパートシステムを相互結合したソフト方式で、視覚センサ３から伝送されるデータに対して識別を行うことによって、指の更なる正確な位置を確定する。

ステップ１０６で、指位置があるか否かを判断する。

ステップ１０７で、指位置がある場合は、指位置抽出を行う。

ステップ１０８で、抽出した指位置と視覚センサから伝送された情報を照らし合わせる。

ステップ１０９で、コンピュータが情報の照らし合わせ処理を行い、マウスを駆動しながら制御を行う。

ここで、本実施形態のタッチパネルの動作を要約する。指或いは指型の物体が投影スクリーン２の上で操作する際に、視覚センサ３が複雑な背景下の投影スクリーン２上の画像場面を撮影して、デジタル信号に変換させ、スクリーン上物体の特徴を識別してからユーザー入力情報（指情報）かそれとも妨害情報（ノイズ）かを判断する。ユーザー入力情報に関しては、ユーザー指或いはその他物体がスクリーン上での物理座標と制御指令を計算してから、目標位置と制御情報をコンピュータ５に伝送して処理を行う。コンピュータ５の中でそれに応じたアプリケーションソフトウエアの駆動によって、マウス位置と制御情報に対して制御を行う。コンピュータ５に保存された画像情報はプロジェクタを通じて大画面投影スクリーン上に投影され、コンピュータと人との間で双方向対話を達成することができる。

本実施形態によれば、スーパー投影スクリーンを接触式スクリーンに変化させることが可能である。

また、センサは、プロジェクタ後方の１ｍ〜４ｍの範囲内に設置することが可能であり、センサ設置の高さは地上から４ｍぐらいの所である。

また、プロジェクタスクリーンの大きさは五点定位法によって確定され、スクリーンの大きさを変化する際にはセンサに対して予定外の要求を提出しない。

また、五点定位法は簡単且つ正確である。

［補足］ 以上説明した中国出願について補足する。

まず、図５を参照して、デジタル信号プロセッサ（ＤＳＰ３３）について補足する。

デジタル信号プロセッサは、カメラインターフェイスから伝送するデジタル信号に対して処理を行い、スクリーン上の指先の位置を計算し、そして、コンピューターインタフェースを通じてコンピュータに情報を転送する役割を負っている。

情報プロセッサーは、カメラインターフェースが画像信号を処理した情報を読み取り、ここで指のデジタル画像の特徴の計算を行い、背景画像の中から指を識別して、その位置の座標を計算し、そして計算結果を、つまり指がスクリーンに現れる情報と位置の情報を、コンピューターインターフェイスが、コンピュータへ送り届ける。情報プロセッサは同時に視覚システムのｄｉｓｔｏｒｔｉｏｎ ｒｅｃｔｉｆｙｉｎｇ計算方法を完成する。そのうち、電源管理モジュールは、情報プロセッサに電力を供給する役割を担当する。そしていつも情報プロセッサの稼動状況を監視し、負荷が重いとき、あるいは電圧の不安定時に、電源管理モジュールが保護する。

Ｃｌｏｃｋ Ｇｅｎｅｒａｔｏｒは、入力するビデオ信号によって、画像素信号に成る。あるいは、ひとつの画像素を獲得すれば、一回信号を出力する。本システムには、Ｃｌｏｃｋ Ｇｅｎｅｒａｔｏｒ が２７ＭＨｚと１３．５ＭＨｚの二つ異なる周波数を発生する。

ＳＤＲＡＭは、ビデオカメラインタフェイスが画像信号を処理した情報を一時的に保存する。情報プロセッサは１フレームの画像データを計算し終わると、ＳＤＲＡＭの記憶内容は更新される。

ＦＬＡＳＨメモリは、情報プロセッサ内部のプログラムコードを蓄積する。ＦＬＡＳＨメモリ内部のデータが情報プロセッサに読み込まれ、あとで、これらのプログラムコードはスタートから実行して、ＳＤＲＡＭに一時保存するデータに対して運算を行う。

図６を参照して、コンピューターインターフェイス（ＣＯＭＰ・Ｉ／Ｆ３４）について補足する。コンピューターインターフェイスは、情報プロセッサの計算結果をシリアル・ポートで、コンピュータ５へ転送する。しかも、シリアル・ポートを通して、ユーザはシステムの実際運行環境によってシステムの運行モードを設けることができる。従って、システムは異なる環境に適応させることができる。プログラムドライバは異なるモードによって相応するパラメータを調整し、目標の認識と位置の測定が予定の精度範囲に達成させる。非同期ＵＡＲＴ電気回路とＬｅｖｅｌ Ｔｒａｎｓｌａｔｉｎｇ Ｄｉｇｉｔａｌ Ｂｕｓ Ｓｗｉｔｃｈｅｓを利用して、情報デジタルの外部の記憶装置のインターフェイスと接続し、通信プロトコルの一致することを維持する役割を担当する。

図７を参照して、カメラインターフェイス（ＣＡＭＥＲＡ・Ｉ／Ｆ３２）について補足する。カメラインターフェイスは、カメラ１の転送信号の収集と調整をする役割を担当しており、信号形式の認識ユニット、同期信号の検査・測定、ビデオ信号の検査・測定・出力ユニット、Ｃｌｏｃｋ Ｇｅｎｅｒａｔｏｒ，及びＡ／Ｄ（アナログ ／デジタルコンバータを含む。信号形式の認識はビデオの信号の検出・測定をするために、入力信号を判断する。本システムはＰＡＬ形式を利用している。

Ａ／Ｄ転換器は、カメラのアナログ信号をＩＴＵ−Ｒ ＢＴ．６５６標準形式のデジタル信号に変換させ、光度デジタル信号とカラー度デジタル信号も含まれる。従って、後の信号処理には直接デジタル信号に処理することが出来る。

同期データ転送電気回路：ビデオの同期信号の検出・測定することは周期的な出力が信号を表すことを指すので、信号処理に電気回路の現在処理する信号を全体のプロジェクトの中の位置を教えるためのフレーム同期、行同期、奇数／偶数同期信号が含まれる。フレーム同期はフレーム画像毎に同期信号を送ることであり、行同期は行画像毎に信号を送ることであり、奇数／偶数同期は転送する信号が奇数場の信号或いは偶数場の信号を表示することである。

Ｃｌｏｃｋ Ｇｅｎｅｒａｔｏｒは、入力するビデオ信号によって、画像素信号に成る。あるいは、ひとつの画像素を獲得すれば、一回信号を出力する。本システムには、Ｃｌｏｃｋ Ｇｅｎｅｒａｔｏｒ が２７ＭＨｚと１３．５ＭＨｚ二つ異なる周波率を発生する。

次に、図３のフローチャートについて補足する。

ステップ１０１の五点定位法で、スクリーン上のそれぞれの基本的な点の情報を確定された以後、物理座標がロジック座標に転換するために、全体スクリーン地域を異なる子地域に分割して、異なる子地域にはサイズ転換する係数を確定している。

ステップ１０２（投影スクリーンの特徴点を拾い、次元を低める）について補足する。本実施形態のタッチスクリーンシステムでは、デジタル画像信号に対して主要成分分析方法（Ｐｒｉｎｃｉｐｌｅ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ、略称 ＰＣＡ）を使う。ＰＣＡは平方偏差（ｖａｒｉａｎｃｅ）を使用する。本システムの中では、人や電圧のもたらす妨害に起因して、ビデオカメラの得る信号は多次元であり、指の特徴の情報は比較的に複雑で、もしすべての情報に対してすべて分類を行うならば、システムの分析速度は遅くなる。そこで、ＰＣＡが線形転換を通じて情報量の多い（分散の大きな）データを保留して、ノイズを除去し、データの次元を下げる。

デジタル画像のデータ空間の中のサンプル｛Ｘｉ｝（ｉは１〜Ｎ）において、（デジタル画像情報のひとつである１フレーム画像のある１つの小さい範囲の領域のピクセルの、灰色度（ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｐｉｘｅｌ ｇｒａｙ）と、色度（ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｃｈｒｏｍａｔｉｃｉｔｙ）を使って、その平均Ｘ_０（ｍｅａｎ ｖａｌｕｅ）及び共分散（ｃｏｖａｒｉａｎｃｅ）Σ＝Ｅ （Ｘ−Ｘ_０）×（Ｘ−Ｘ_０）を得る。さらに、Σ＝ＵΛＵ^Ｔと表わす。ここで、Ｕは直交マトリックスであり、Λは対角マトリクス（ｄｉａｇｏｎａｌ ｍａｔｒｉｘ，Σの固有ベクトル（ｃｈａｒａｃｔｅｒｉｓｔｉｃ ｍａｔｒｉｘ）である。主な成分Ｙ＝Ｕ^Ｔ（Ｘ−Ｘ_０）は、ひとつの新しいデータ集合Ｙｉ）（ｉは１〜Ｎ）の平均値はゼロになり、Λは共分散マトリクス（ｃｏｖａｒｉａｎｃｅ ｍａｔｒｉｘ）となる。

このようにして、変数の間の関連性を取り除いて、より平方偏差の小さい変数を除去し、それによってデータの次元を下げる。この範囲内の全てのピクセルの灰色度と色度の中から役に立つ情報を取り出し、指の特徴の情報を灰色度の、形と運動の情に限定し、後続のエキスパートシステムの処理に備える。

図８を参照して、ステップ１０３に記載したエキスパートシステムについて補足する。エキスパート（専門家）はある特定領域中専門知識を持っている人である。あるいは、専門家は他の人間が知らない、利用できない専門技能を持っている人である。専門家は普通の人間が解決が出来ない或いは高い効率で解決できない問題を解決ことが出来る。エキスパートシステムは人工知能の一つのｂｒａｎｃｈであり、多量専門知識を利用して、専門家しか解決できない問題を解決する。

ユーザがエキスパートシステムに事実或いは他の情報を提供し、返しに専門知識或いは専門家アドバイスをもらう。エキスパートシステム内部は主なデータベースと推理エンジンの二つの部分を含む。データベースには推理エンジンを利用して、獲得する結論知識が含まれる。この結論はエキスパートシステムからユーザに出力される。
エキスパートシステムは画像上の指情報を判断して指位置を認識する。また総データベース、制御作戦と生成式規則が含まれ，総データベースのデータには、（１）実践中に認識される画像分析下で生成される指が持っている一定の経験情報とデータ、（２）画像処理過程で画像中の指情報が代表できる一部のデータ情報が含まれ、制御作戦とは様々な環境で出来るだけ如何に錯誤を減少させるかの指情報識別の計算方法であり，生成式規則は『もしこの条件を満たすと、ある操作を取るべきである。』の方式で判断し、総データベースと制御作戦の連係と調和を担当する。本エキスパートシステムは実際的に『もし画像上ある点のデータがデータベースの中のある特徴データに該当する場合は、この点は指情報が次の篩い分けの段階に移行する可能性があると認識される。該当しない点は篩い分けられる。何重の篩い分けを経てから最後の結論を得る。』である。

ステップ１０４では、この範囲内の全てのピクセルの灰色度と色度の中から役に立つ情報を取り出し、指の特徴の情報を灰色度の、形と運動の情報に限定し、指としてあらかじめ定義した条件に該当するか否かを大まかに判定する。

図９を参照して、ニューロン（神経細胞）について補足する。

人間頭脳は一つ一つの細胞がたくさんの突起を伸ばし、仲間の神経細胞（標的細胞）とつながっている。一本だけ長く伸び、途中で何度も分岐しながら数多くの仲間の細胞とつながっているのが軸索で、情報を送り出す働きがある。また、無数に伸びているのが樹突起で、こちらはほかの細胞の軸索から情報を受け取る働きがある。１０００億個とも１４００億個ともいわれる脳の神経細胞の一つ一つが、平均すると約１万個の仲間の細胞とつながっていて、その網の目のようにはりめぐらされた神経細胞同士のつながりが神経ネットワークである。

五感を通して得た情報はすべて電気信号となって、この神経ネットワークに伝えられる。ところが軸索と樹状突起のつなぎ目（シナプス）にはシナプス間隙といわれるほんのわずかなすき間があり、電気信号のままではここを飛び越えることができない。そこで軸索の末端までくると、その信号に応じた分量の化学物質（神経伝達物質）に変換されてシナプス間隙に飛び出し、それを樹状突起のレセプター（受容体）が受け止めると、またすばやく電気信号に戻って、次の神経細胞へと伝わっていく。つまり、脳の中では常に膨大な数の神経ネットワークのあちこちで、さまざまな情報が電気信号→化学物質→電気信号→ と形を変えながら駆け巡っている。そして私たち人間は、その神経ネットワークの働きによって、何かを考えたり、記憶したり、思い出したり、想像したり、行動している。

人工神経ネット（ニューラルネット）は神経細胞の生理構造の模型に基づく。ニューロンの最も簡単なモデルは、次のような人工のニューロンである。ｘ_１〜ｘ_Ｎは他のニューロンからの入力信号。ｗ_１〜ｗ_Ｎは突然触れる強さ、Ｙはニューロンの出力信号とする。上述の各変数とパラメーターは全て実数を取る。簡単な入力−出力対応関係は以下のとおりである。

その中でｓｇｎ［・］は記号値を取って表す。これは１９４０年代に出したＭｃＣｕｌｌｏｃｈ−Ｐｉｔｔｓ模型である。ある特定のニューロン模型に基づいて、多くのニューロンは異なる方案で、様々なタイプの人工神経のネットワークを合成することができる。

神経ネットワークは以下の特徴がある。
１ ネットワークは一つ簡単な非線型のプロセッサユニット、つまりニューロンで構成する。
２ ネットワークは、すべて分布−並行する方式で構成と運行している。一つ一つのニューロンと樹状突起はすべての記憶内容のメモリを引き受けて、すべての記憶を取り出してもすべてのニューロンと樹状突起に関連する
３ ネットワークには、ニューロンの数量が非常に多いから、ネットワークは複雑なシステムになることが出来る。
４ ネットワークは学習能力を持つ。それはすでに出来ているプログラムで、必要な機能を実現することではなく、学習を通じてこの機能を獲得しにくる。

本タッチパネルシステムの神経ネットワーク計算方法はモデル識別中の基本計算方法を採用する。実験中に得た指情報を利用して神経ネットワークに対する訓練と学習を行い、このような学習によって神経ネットワークのパラメーター（例えば、隠れ層節点数、ウエイト、隠れ層節点広さ等）を確定し、このパラメーターから神経ネットワークの構造を確定する。学習とは、一部の既に得た入力出力情報によって、神経ネットワークのパラメーターを推算し調整することである。学習の進行と共に、これらのパラメーターは一つの中心値を巡って少量の変化を生じる。これらの中心値はネットワークの構造パラメーターとして制定されることができ，全体の学習過程に於いて大体二つの段階に分けられる。隠れ層の学習過程と出力層の学習過程である。その中の隠れ層の訓練課程は隠れ層節点数と権値の確定過程であり，出力層の訓練を通じて連結された権値を得ることができる。この中で、隠れ層の学習方法は平均値集類法を採用することができ、出力層の学習方法は最急降下法を採用する。

ステップ１０７では、指でマウスに取って代わって大きいスクリーンに対してコントロールを行うので、手形領域を分割した後で手形領域の中で指先の位置を検測し、スクリーンの座標に転換してシステムに指示を行う。一つの画像に対して検査・測定することを行う時、すでに手形領域を分割したため、指先の捜索は全体領域から局部の捜索に変わる、捜索時間を減らすことができる。本システムは分割した手形領域で、曲率の最大の点を計算する方法と定向捜索方法を結合する指先の位置付けの技術を利用する。

本システムには、前記方法で分割した手形領域の画像情報を獲得するために、手形領域中心の座標（ｘｃ、ｙｃ）と方向角度θｃを計算しなければならない。それによって、後続の模板（テンプレート）マッチングの方向を捜索するように指示を行う。

まず、Ｍ０（零階長方形）とＭ１０（一階長方形）を通じて手形領域の中心座標を計算する。Ｍ０（零階長方形）とＭ１０（一階長方形）の計算公式は以下の通りです：

それからＭ２０（２階長方形）を利用して画像の２次元の方向を計算する。計算公式は次の通りである。

画像中の角点を測定するために、現在すでにたくさん異なっている方法が存在している。本システムの計算方法は模板（テンプレート）マッチングの角点に基づいて検査・測定することを利用している。原理は次の通りである。画像処理の中で、模板（テンプレート）マッチングを利用するのは一つ熟していて実用的な技術である。へりの検査・測定すること中で模板（テンプレート）マッチングを利用するのはとてもよい一つ方法で、それが角点の測定にも利用できる。模板（テンプレート）マッチング方法で、角点の測定の原理は以下の通りである。割り当てるｎ×ｎ模板と画像のすべてＭ×Ｎ地域の関連性および類似性を確定する。Ｂｒｅｔｓｃｈｉは次の模板（テンプレート）を確立した。

上述のような模板（テンプレート）を連続９０°回転すると、全部で８セットの模板（テンプレート）を生むことができる。画像とこの８セットの模板（テンプレート）について関連している度（度合）を計算するにより、すべての画像の角点測定値（ピクセル）を得、最後に最大値のピクセルを角点として選ぶ。

理想的な情況の下で、この模板はすべての角点を検査・測定することが出来る。しかし、角点が多量な特徴（点度、内角度、へりの台形度）を持っているので、すべての角点にマッチングする多量な模板（テンプレート）を設計することは不可能だ。したがって、複雑な画像中では、この方法を利用することが出来ない。

ステップ１０８では、情報を対比し、多い情報を融合する技術を採用し、情報の単一な特徴制限を排除することが出来る。高域濾波器に基づいての画像処理計算法を利用され、手形画像を分割するにはＳｏｂｅｌ分割演算子を利用し、しかも指は大画面スクリーンの背景の下で特定の灰色特徴があるので、限界値分割とＳｏｂｅｌ分割演算子はお互いに協力し合う度を増加し、境のはっきりしない現象を取り除くことができる。さらに、指の運動の特徴を考慮に入れて、また背景と時間の画面差の互いに結合する運動探知演算式（ｍｏｖｉｎｇ ｄｅｔｅｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ）を利用する。そして、分割した手形領域で、曲率の最大の点を計算する方法と定向捜索方法を結合する技術に基づいて、指先の位置を確定する。指先位置についての追跡は、このシステムがＫａｌｍａｎフィルターを取り入れて、指の運動する規則によって、運動移転矩形と測量矩形を作り上げる。リアルタイム性の要求を満たすため、本システムはＰＣＩに基づく画像の採集カードを使用し、採集した画像が直接メモリーに置くによって、画像の採集時間は最大限度に短縮する。さらに、演算の実行効率を高める為に、本システムは灰度画像が原始画像として入力し、直接灰度画像に処理するによって、画像処理時間が減少するころが出来る。

ステップ１０９では、指先位置の情報を認識した後、座標転換を通じて、画像中の指先の物理位置を大画面の上論理的座標情報に転換して、コンピューターの指令に転送するので、指先がタッチ機能に成る。

本システムの神経ネットワーク計算方法はモデル識別中の基本計算方法を採用する。実験中に得た指情報を利用して神経ネットワークに対する訓練と学習を行い、このような学習によって神経ネットワークのパラメーター（例えば、隠れ層節点数、権値、隠れ層節点広さ等）を確定し、このパラメーターから神経ネットワークの構造を確定する。学習とは、一部の既に得た入力出力情報によって、神経ネットワークのパラメーターを推算且つ調整することである。学習の進行と共に、これらのパラメーターは一つの中心値を巡って少量の変化を生じる。これらの中心値はネットワークの構造パラメーターとして制定されることができ，全体の学習過程に於いて大体二つの段階に分けられる。隠れ層の学習過程と出力層の学習過程である。その中の隠れ層の訓練課程は隠れ層節点数と権値の確定過程であり，出力層の訓練を通じて連結された権値を得ることができる。この中で、隠れ層の学習方法は平均値集類法を採用することができ、出力層の学習方法は最急降下法を採用する。

当システムの実現の目標は指でマウスに取って代わって大きいスクリーンに対してコントロールを行うので、だから手形領域を分割した後で手形領域の中で指先の位置を検測し、そしてスクリーンの座標に転換してシステムに指示を行う。一つ画像に対して検査・測定することを行う時、すでに手形領域を分割したため、指先の捜索は全体領域から局部の捜索に変わる、捜索時間を減らすことができる。本システムは分割した手形領域で、曲率の最大の点を計算する方法と定向捜索方法を結合する指先の位置付けの技術を利用する。

ステップ１０２（投影スクリーンの特徴点を拾い、次元を低める）ことについて説明する。本実施形態のタッチスクリーンシステムでは、デジタル画像信号に対して主要成分分析方法（Ｐｒｉｎｃｉｐｌｅ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ、略称 ＰＣＡ）を使う。ＰＣＡは平方偏差（ｖａｒｉａｎｃｅ）を使用する。本システムの中では、人や電圧のもたらす妨害に起因して、ビデオカメラの得る信号は多次元であり、指の特徴の情報は比較的に複雑で、もしすべての情報の分類を行うならば、システムの分析速度は遅くなる。そこで、ＰＣＡが線形転換を通じて情報量の多い（分散の大きな）データを保留して、ノイズを除去し、データの次元を下げる。

ここで、エキスパートシステムについてさらに補足する。

知識データベースは、五点定位法によって較正された指情報の基本となるデータと、投影スクリーン上の指の位置を認識するに至るデータを蓄積するデータベースである。さらに、この知識データベースに経験情報として指の位置を判断した結果を蓄積し、以後の分析に利用する。

制御作戦は、より簡単に指情報を抽出するために、隠れ層や出力層のニューロンに訓練と学習をおこなわせる手法で、たとえば指情報以外の情報をノイズとして識別するために、隠れ層のニューロンと選択した特定の出力層のニューロンに結合の重みを加えたりして、出力の値をできるだけ参照する実際の指情報に近いものにして行くための手法である。

生成式規則は、参照するデータベースと制御作戦の相互の関係おいて特定の条件を満足すかどうかの篩分けをおこなうための条件式でノイズを除去する手法の一部を構成する。

隠れ層の接点数とは、隠れ層に属するニューロン数であり、隠れ層ニューロン数ともいう。また、隠れ層の接点広さは、隠れ層に属するニューロンのパラメータの値が許容される範囲内で変動するその変動幅のことである。

図１０に示すとおり、隠れ層（ｈｉｄｄｅｎ ｌａｙｅｒ）は、ｉｎｐｕｔｌａｙｅｒ（Ｉ_０．Ｉ_１、Ｂｉａｓ ｕｎｉｔ ）とｐｏｕｔｐｕｔｌａｙｅｒ Ｙ（Ｉ_０．ｏｒ Ｉ_１）を結ぶ経路（重みＷ_０、Ｗ_１、Ｗ_ｂ）である。

図１１、図１２を参照して、隠れ層を含め、神経回路網の一般的特性について説明する。ある素子ｊは、他の素子ｉの出力ｙｉを入力として受け、重みｗｉｊをかけて加えたものを入力の総和ｕｊとする（３．１）。
そして、出力ｙｊは入力の総和に単調増加関数ｆを施したもので表されることにする（３．２）。しきい値は重みの一つとして含まれていると考える。ここで、出力関数ｆは階段関数であってもよい。ここでは、出力関数ｆとしてシグモイド関数を用いることにする。シグモイド関数は、０から１までの連続した値をとる関数なので微分可能であり、後に解析的に問題を解くことが可能になる。次に、神経回路における学習を一般化して考える。式（３．３）右辺の２乗頁内の第２項（負項）をある入力ベクトルｃに対して出力素子ｊが出すべき望ましい出力、式（３．３）右辺の２乗頁内の第１項（正項）をその時の出力素子ｊの実際の出力とした時、学習の評価として、式（３．３）のような誤差関数Ｅを考える。この誤差関数を最小にする手続きを一般に最小２乗誤差（ｌｅａｓｔ ｍｅａｎ ｓｑｕａｒｅ，ＬＭＳ）法という。式（３．３）右辺の２乗頁内の第１項（正項）はその時の素子間の結合の強さ、すなわち重みｗｉｊで決まるため、誤差関数も重みに関して陰に定義された関数となる。したがって、各重みの値を軸としてできる空間を考え、さらにこの誤差関数Ｅによって定義される値を高さと考えれば、Ｅは重み空間上の超曲面として誤差曲面を与えることになる。任意の重み状態から、この誤差曲面の極小値に達するには、例えば各重みを、式（３．４）右辺の偏微分項に比例した量ずつ変化させていけばよいことになる。これは、誤差曲面上を最も急な傾斜方向に進んでいくことに相当し、このような学習則を一般に最急降下法（ｇｒａｄｉｅｎｔ ｄｅｃｅｎｔ ｍｅｔｈｏｄ）という。

さて、式（３．１）、式（３．２）のように素子の性質が定義されていれば、式（３．４）は合成関数の微分公式により、展開できる（式（３．５）添字ｃは省略した）。式（３．１）（３．２）を微分して代入すれば、式（３．６）、（３．７）となるので、結局式（３．４）は、式（３．８）となる。中間層が学習しない場合、式（３．５）右辺の乗算項の第１項（Ｅをｙｊで偏微分したもの）は、式（３．３）を微分することにより簡単に式（３．９）により求まる。したがって、式（３．８）より、式（３．１０）という学習則が得られる。これを一般化デルタルールと呼ぶ。例えばｆがシグモイド関数で与えられる場合、式（３．１１）より、（３．１２）という形になる。式（３．１１）の方法では、すべての入出力パターンが与えられた後にはじめて重みを変化させることになるが、ηが十分に小さければ、パーセプトロンのように各入出力が与えられるごとに重みを反復的に変化させる。すなわち、（３．１３）としても、全体の変化量は最急降下法とほぼ等しくなる。

ニューラル関連の学習則は，最急降下法を使っていることが多い．バックプロパゲーションもホップフィールドモデルも最急降下法を使っている。エネルギー関数最小化（または最大化）を目的とする問題では，パラメータ逐次更新の方法として最急降下法を使うのが常套手段である。まず最小化（または最大化）すべき基準となる，ある関数Ｅ（ｗ）が与えられているとする．この関数Ｅ（ｗ）を最小化（または最大化）するようなｗ＝［ｗ_１、ｗ_２、…、ｗ_Ｎ］^ｔを求めるのが目的なのだが、まずｗに適当な初期値を与え，図１３に示す（８．１）、（８．２）のような方法でｗを逐次更新していく。ここでηは１より小さな正の値とする。

図１４を参照して、この方法で関数Ｅ（ｗ）を最小化（または最大化）することについて説明する。まず、最小化に関して説明する。Ｅ（ｗ）を、時刻ｔにおけるＥ（ｗ（ｔ））を通るｗｉ−Ｅ（ｗ）平面に平行な面で切ったものをプロットしたものが図９である．このとき，パラメータのひとつｗｉをどのように更新してやれば，Ｅ（ｗ）をより小さくできるのか，ということを考える。Ｅ（ｔ）のｗｉに関する偏微分は，この点Ｅ（ｗ（ｔ））におけるｗｉ方向の傾きを表している。傾きが負であるならば、ｗｉを正の方向に動かしてやればＥ（ｗ）は現時点よりもより小さい値になる。逆に傾きが正であれば，ｗｉを負の方向に動かしてやればいい．つまりはｗｉをＥ（ｔ）のｗｉに関する偏微分の符号の反対方向に動かしてやればいい、ということなので、ｗｉの更新量を、−η×（Ｅ（ｔ）のｗｉに関する偏微分）としてやればつじつまが合う。個々に、ηは正の値である。ｔこれが基本的な原理である。Ｅ（ｗ）最大化を考えるならば，更新方向を逆にしてやればいいだけである。実際にはＥ（ｗ）に起伏がいくつもあったりして簡単に行かない場合が多い（極小解，ローカルミニマム，と呼ばれる）。それに対する対処法として「慣性項を付ける」と工夫もある。

［実施例１］ 実施例１が、上述した実施形態に比して具体的となっている点は、デジタルビデオカメラに赤外光源を一体化させた点、及び、投影スクリーンの材質は赤外線を透過できるアクリルである点である。なお、デジタルカメラは、デジタルスチルカメラとデジタルビデオカメラを合わせた上位概念である。

特に、赤外光で、投影スクリーンを照明することにより、可視光で投影される画像から、指位置を、ノイズ少なく正確に検出することができる。また、赤外線の迷光が強いときは赤外光源の出力を増加させて検出ノイズを低減し、一方、赤外線の迷光が弱いときは赤外光源の出力を低下させて電力消費を抑制するとよい。

以下、実施例１について説明する。視覚センサは働いているとき、絶え間なくイメージを得る。ビデオカメラインターフェースＶＣ・Ｉ／Ｆ３２によってイメージを処理され、デジタル信号プロセッサＤＰＳ３３に入力する。ＤＰＳ３３は、スクリーン１にタッチする指形を認識する。この指形認識の演算方法を説明し直す。演算方法は、以下のステップを含む。
１．視覚センサーシステムはビデオカメラからイメージ枠を獲得し、領域を測定する、
２．測定手段に基づいてイメージを処理し、指形物の特徴を抽出する、
３．エキスパートシステムを通じて可能性がある指形物を濾過する
４．指位置があるか否かを判断する
５．ある場合は，神経ネットワーク認識演算法を通じて指形を照合し、イメージの座標の中で指位置を読み取る
６．コンピューターインターフェース電気回路によって、検出した情報をコンピュータに伝送する

エキスパートシステムは、経験情報データベースに基づいて、指形を判断する規則を含むシステムである。神経回路網は、仕込まれた指形特徴パラメータのサンプルから、明確指形を照合する演算の一部分である。

シリアルポートは指の接触情報と指先位置をコンピュータに送る。ウインドウズタスクループで動作しているドライバは、シリアルポートからデータを送信する。データが受け取られるとき、カメライメージの座標はデスクトップの論理的座標にマップされる。マップする座標パラメータは既に本発明の実施形態において説明した五点測定方法から得られる。

［実施例２］ 実施例２は、図１５に示すように、透明支柱1として既存建築物のショーウインドーの透明硝子を用いた。投影スクリーン２はその透明硝子に密着させた。このとき透明硝子の少なくとも1面を投影スクリーンとして使用できるように透過光が散乱するように処理した硝子を用いて透明支柱1と投影スクリーン２を一体化することもできる。視覚センサ３、プロジェクタ４、コンピュータ５及び赤外光源６を一括して専用のボックスに収納した。しかる後に、コンピュータ５に蓄積された静止画や動画をスクリーンに投影する。視覚センサ３は、透明支柱1を境界にしてプロジェクタ４と同一の側で且つ近傍に配される。人間が透明支柱1の外側から透明支柱1にタッチするとき、すなわちショウーウインドーの外側にいる人が、投影スクリーン２に映し出された映像に硝子越しから触れたとき、視覚センサ３は、その指形を認識する。

このとき、赤外光源６から投影スクリーン２に赤外線を照射すると、周辺からのノイズが低減し、その指位置を検出することが容易になる。赤外光源６は、赤外発光ダイオードを面状に多数配置し投影スクリーン２に均一な照度で投射されるように配列して構成されえている。投影スクリーン２の設置環境によっては、赤外線の迷光が強い場合がある。そのときは赤外光源６の出力を増加させて検出ノイズを低減させるとよい。また、赤外線の迷光が弱いときは赤外光源６の出力を低下させて電力消費を抑制することもできる。

視覚センサ３は、プロジェクタ４から投影される映像と、透明支柱1の外側から映る背景と、赤外光源６から照射されてできる赤外投影映像とが合成されたイメージを絶えず得ている。この指形認識の演算方法は、実施形態で説明した方法を整理したものであり、起動訂正を行う第１０ステップと、前記投影スクリーンのイメージを捕獲し、指の形を認識し、分析する第２０ステップと、情報が定義条件に該当するか否かを判断する第３０ステップと、指位置があるか否かを判断する第４０ステップと、前記指位置がある場合は，イメージの座標の中で指位置を読み取る第５０ステップと、当該読み取った前記指位置と前記視覚センサから伝送された情報をコンピュータが照合し、マウスがクリックしたメッセージをウィンドウのループに送る第６０ステップとを含む。

エキスパートシステムは、実施例１及び実施形態で説明したとおりである。

シリアルポートは、実施例１及び実施形態で説明したとおりである。

図１６は、プロジェクタ４の映像を、反射ミラー４１を介して投影することにより、設置スペースがより節約できるようにした実施例である。このとき、反射ミラーは1枚以上でもかまわない。鏡面は、必ずしも平面である必要はなく、投影のゆがみを補正するような曲面を持っていてもよい。図１５、図１６で示す収納は、床面に設置した状態を示したが、天吊金具を用いて天井から吊るした状態で収納してもよい。

図１７は、透明支柱１と透明支柱１１の間に投影スクリーン２を挟んで構成されている。
１及び１１は、透明且つ赤外線を透過する硝子や合成樹脂でできている。投影スクリーン２の素材は、硝子や合成樹脂を用いるが、時には偏光硝子や液晶を用いる場合もある。
図１７に示すように、硝子と硝子の間に液晶を装着し、その液晶すなわち投影スクリーン２に電極を取り付けて電圧をコントロールし、プロジェクタの投射光や外光が液晶を透過したり散乱したりできるようにしたものである。電圧のコントロールは、コンピュータ５によって映像・音声や内臓の時計と同期させることもできる。

図１８に示すように、巻き取り可能な投影スクリーンを透明支柱の前面に配したものである。透明支柱１は、主にショウーウインドーや全面硝子のドアなどに用いられる。ロールスクリーンを使用する場合にのみ、映像が投射される。ロールスクリーンの巻き取りは電動、手動いずれでもかまわない。

図１９に示すように、透明支柱１が曲面だった場合を示している。このとき赤外光源６の照度分布が変るので、中心部分が暗くならないように補正を加える必要がある。投射映像の歪みの補正は、分割画面の角度補正を複数部分で行い近似値補正ができる機能を持ったプロジェクタ４を用いるとよい。近似補正は、直線、２次曲線、それ以上の次数の曲線でも設定できる。このとき用いる投影スクリーン２は、曲面に対応できるやわらかい素材のものを用いるとよい。

本発明は、投影スクリーンに指接触などで指示情報をコンピュータに送り、コンピュータと対話するシステム及びその動作方法に利用可能である。
また、本発明は、透明のドアやウインドー、間仕切りに内外の境界の役割を持たせたときに、内部から投射されているスクリーンの映像や画像を見て、その境界外部から、投影スクリーン上に指を接触させて、指示情報を境界内部のコンピュータに送り、当該コンピュータと対話することができる。そのとき、境界の内部と外部は全く遮断された状態でも、投影スクリーンの画面だけを介してコンピュータと対話が可能になる。これらの設置した設備機器のセキュリティーと設置環境に因る損耗は、建造物自体が持つ内部環境に依存するため、安全且つ長期運用可能なシステムを構築し、利用することが可能である。

本発明の接触式投影スクリーンコンピュータ対話システムの概念明図である。 視覚センサのブロック図である。 接触式投影スクリーンコンピュータ対話システムの動作方法のフローチャートである。 五点定位の説明図である。 デジタル信号処理回路のブロック図である。 コンピューターインターフェイスのブロック図である。 カメラインタフェイスのブロック図である。 エキスパートシステムの概念図である。 ニューロンの概念図である。 隠れ層の説明図である。 神経回路網の説明図である。 神経回路網を説明する数式である。 誤差関数Ｅの最小化（最大化）方法を説明する数式である。 誤差関数Ｅの最小化（最大化）方法の説明図である。 接触式投影スクリーンコンピュータ対話システムの実施例の概念図である。 反射ミラーを用いた実施例の概念図である。 透明支柱と透明支柱の間に投影スクリーンを挟んだ側面図である。 巻き取り可能な投影スクリーンを透明支柱の前面に配した側面図である。 非平面の透明支柱に投影スクリーンを配した平面図である。

符号の説明

１ 透明支柱
１１ 透明支柱
２ 投影スクリーン
３ 視覚センサ
３１ ＣＡＭＥＲＡ
３２ ＣＡＭＥＲＡ・Ｉ／Ｆ
３３ ＤＳＰ
３４ ＣＯＭＰ・Ｉ／Ｆ
４ プロジェクタ
４１ 反射ミラー
５ コンピュータ
６ 赤外光源

Claims (19)

1. 透明支柱、投影スクリーン、プロジェクタ、コンピュータとを含むタッチパネルシステムにおいて、
   さらに、デジタルカメラ、カメラインターフェース、デジタル信号プロセッサとコンピュータインターフェースとを備える視覚センサを含み、
   前記デジタルカメラと前記カメラインターフェースとが連結され、前記カメラインターフェースは前記デジタル信号プロセッサと連結され、前記デジタル信号プロセッサから出力される信号は前記コンピュータインターフェースによって前記コンピュータと接続され、
   前記投影スクリーンは前記透明支柱に設置され、前記視覚センサは前記投影スクリーンと前記プロジェクタの間、又は、前記プロジェクタと同じ位置に設置され、
   前記視覚センサと前記プロジェクタは、それぞれ前記コンピュータと接続されることを特徴とするタッチパネルシステム。
2. 前記視覚センサは、投影スクリーン後方の床から天井までの異なる高さの位置に設置することを特徴とする請求項１記載のタッチパネルシステム。
3. 前記デジタルカメラの数は一つ以上であることを特徴とする請求項１記載のタッチパネルシステム。
4. 前記投影スクリーンの材質はポリスチレンであることを特徴とする請求項１記載のタッチパネルシステム。
5. 請求項１記載のタッチパネルシステムの動作方法において、
   起動訂正を行う第１ステップと、
   前記投影スクリーンの特徴点を拾い次元を低める第２ステップと、
   エキスパートシステムが初歩的に篩い分ける第３ステップと、
   情報が定義条件に該当するか否かを判断する第４ステップと、
   該当する情報がある場合は神経回路網計算方法に進む第５ステップと、
   指位置があるか否かを判断する第６ステップと、
   前記指位置がある場合は前記指位置抽出を行う第７ステップと、
   抽出した前記指位置と前記視覚センサから伝送された情報を照らし合わせる第８ステップと、
   前記コンピュータが情報の照らし合わせ処理を行い、マウスを駆動しながら制御を行う第９ステップとを含むことを特徴とするタッチパネルシステム動作方法。
6. 前記起動訂正の方式は五点定位法であり、
   コンピュータのカーソルが、左上角―右上角―スクリーン中心点―左下角―右下角に移動し、
   コンピュータのカーソルが各位置に止まる際に、ユーザはレーザーペンでスクリーン上のカーソル位置に合わせると、カーソルは次の位置に移動し、
   次の位置で上記の操作を繰り返しながら、全ての五つの点まで進行することを特徴とする請求項５記載のタッチパネルシステム動作方法。
7. 投影画像上の指情報を判断して指位置を識別する前記エキスパートシステムは、総データベース、制御作戦及び生成式規則を含み、
   総データベースには、実践中認識された画像分析下で生成される指が持っている一定の経験情報とデータ、及び、画像処理過程で画像中の指情報が代表できる一部のデータ情報が含まれ、
   制御作戦は、各種環境下で出来るだけ如何に錯誤を減少させるかの指情報識別の計算方法であり、
   生成式規則は、総データベースと制御作戦の連係と調和を担当することを特徴とする請求項５記載のタッチパネルシステム動作方法。
8. 前記神経回路網計算方法では、Ｍｅａｎ Ｔａｘｏｎｏｍｙを採用して隠れ層の学習方法とし、傾斜降下法を応用して出力層の学習方法にすることを特徴とする請求項５記載のタッチパネルシステム動作方法。
9. 前記投影スクリーンは、赤外光を透過できるアクリル製であり、
   前記ビデオカメラは、デジタルビデオカメラと前記赤外光を発光する赤外光源と一体になっており、
   前記視覚センサは、前記プロジェクタと同じ方向に設置することを特徴とする請求項１記載のタッチパネルシステム。
10. 前記視覚センサは、前記投影スクリーン上のユーザーの指の形を対象として感知し、指先の位置はマウスポインタになり、スクリーンにタッチするだけで、パソコンのプログラムが起動できることを特徴とする請求項１記載のタッチパネルシステム。
11. 前記赤外光源からの前記赤外線強度は、外界赤外線強度に応じて調整されることを特徴とする請求項９記載のタッチパネルシステム。
12. 請求項１記載のタッチパネルシステムの動作方法において、
    起動訂正を行う第１０ステップと、
    前記投影スクリーンのイメージを捕獲し、指の形を認識し、分析する第２０ステップと、
    情報が定義条件に該当するか否かを判断する第３０ステップと、
    指位置があるか否かを判断する第４０ステップと、
    前記指位置がある場合は，イメージの座標の中で指位置を読み取る第５０ステップと、
    当該読み取った前記指位置と前記視覚センサから伝送された情報をコンピュータが照合し、マウスがクリックしたメッセージをウィンドウのループに送る第６０ステップとを含むことを特徴とするタッチパネルシステム動作方法。
13. 前記透明支柱は、透明ガラスであることを特徴とする請求項１記載のタッチパネルシステム。
14. 前記透明支柱の少なくとも１面をスリガラス状に拡散処理することを特徴とする請求項１３記載のタッチパネルシステム。
15. ２次元配列の赤外線発光ダイオードをさらに備え、前記投影スクリーンを均一な照度の赤外線で照明することを特徴とする請求項１記載のタッチパネルシステム。
16. 前記プロジェクタの映像を反射して前記投影スクリーンに投影する反射ミラーをさらに備えることを特徴とする請求項１記載のタッチパネルシステム。
17. 前記投影スクリーンは、電極付き液晶であり、
    前記液晶を透明部材で挟持し、
    前記電極への印加電圧により、液晶全面を透過性又は散乱性とすることを特徴とする請求項１記載のタッチパネルシステム。
18. 前記投影スクリーンは、巻き取り可能であることを特徴とする請求項１記載のタッチパネルシステム。
19. 前記投影スクリーンは、曲面状であることを特徴とする請求項１記載のタッチパネルシステム。

Images