JP2015102983A - 三次元応動入力装置 - Google Patents

Abstract

【課題】三次元タッチパネルを用いた三次元応動入力装置において、操作者の意図とは異なった入力がされることを防止する。【解決手段】タッチパネルとしての入力用画面に接近する入力媒体要素を検出対象とし入力用画面での座標を取得するタッチパネル入力処理部３と、検出対象としての入力媒体要素の入力用画面との距離を検出するカメラ入力処理部４と、タッチパネル入力処理部３により取得された座標に応じて入力動作を行う入力判定部５とを備え、入力判定部５は、選択的に入力を要する検出対象として複数の入力媒体要素が存在し、複数の入力媒体要素相互間における入力用画面に対する距離の相対値が所定値未満の場合には、前記入力媒体要素に係る入力動作を誤入力として処理するようにした。【選択図】図１

Description

この発明は、三次元応動入力装置、特に、プラント監視制御システムなどに適用される三次元タッチパネルを用いた入力装置に関するものである。

従来のプラント監視制御システムでは、入力装置として二次元タッチパネルが用いられてきた。二次元タッチパネルは、ユーザより指定された画面上の座標値およびその座標値の変化を、入力値として計算機に伝える装置である。これまでは、タッチパネルの検出能力や、計算機の演算性能による制約のため、二次元タッチパネルが用いられてきた。しかし近年、タッチパネルの性能向上のため、画面上の二次元座標値だけでなく、法線方向の高さを検知できる三次元タッチパネルが開発され、プラント監視制御システムでも使われている。また、従来の二次元タッチパネルでは、タッチパネルの側面にカメラを配置し、タッチ時の指の撮影情報から、タッチ時の指の中心位置の補正を行い、それによって、タッチ操作者の感覚上の中心位置と、検出された指の中心位置のずれを小さくしている（例えば、特許文献１参照）。

特開２００３−５９１３号公報（［００１３］〜［００３１］）

三次元タッチパネルを用いた三次元応動入力装置では、画面上に近づいた指の三次元座標（画面上の二次元平面座標および画面上からの距離）を検知する。これによって、二次元タッチパネルと同様のタッチパネルに触れる直接操作の他に、タッチパネルに指を接近する近接操作が可能になる。近接操作の場合、操作者が三次元タッチパネルを操作している感覚が得られないため、近接操作をしている指以外の箇所が三次元タッチパネルに接近してしまう可能性がある。このような場合、操作者の意図しない点が三次元タッチパネルに入力され、プラント監視制御システムが誤動作してしまう可能性がある。

この発明は上記のような問題を解決するためになされたものであり、三次元応動入力装置における誤入力を防止し、プラント監視制御システムなどの制御系が予期せぬ動作をすることを防ぐことを目的としている。

この発明に係る三次元応動入力装置は、入力用画面に接近する入力媒体要素を検出対象とし前記入力媒体要素に応動して前記入力用画面での座標を取得する座標処理手段と、検出対象としての前記入力媒体要素の前記入力用画面との距離を検出する位置処理手段と、前記座標処理手段により取得された前記座標に応じて入力動作を行う入力手段とを備え、前記入力手段は、選択的に入力を要する検出対象として複数の前記入力媒体要素が存在し、複数の前記入力媒体要素相互間における前記入力用画面に対する距離の相対値が所定値未満の場合には、前記入力媒体要素に係る入力動作を誤入力として処理するものである。

この発明によれば、三次元応動入力装置において、操作者の意図とは異なった入力がされることを防止することができる。

この発明に係る実施の形態１におけるシステム構成を示すブロック図である。 この発明に係る実施の形態１におけるカメラと三次元タッチパネルの配置状況を示す正面図である。 この発明に係る実施の形態１における近接操作時の入力用画面と入力媒体との位置関係を示す側面図である。 この発明に係る実施の形態１における入力動作を示すフローチャートである。 この発明に係る実施の形態２におけるカメラと三次元タッチパネルの配置状態を示す正面図である。 この発明に係る実施の形態２における近接操作時の入力用画面と入力媒体との位置関係を示す側面図である。 この発明に係る実施の形態３におけるシステム構成を示すブロック図である。 この発明に係る実施の形態３におけるカメラと三次元タッチパネルの配置を示す正面図である。 この発明に係る実施の形態３における入力動作を示すフローチャートである。 この発明に係る実施の形態４における近接操作時の入力用画面と入力媒体との位置関係を示す側面図である。 この発明に係る実施の形態４における入力動作を示すフローチャートである。 この発明に係る実施の形態５における入力動作を示すフローチャートである。 この発明に係る実施の形態６における入力動作を示すフローチャートである。

実施の形態１．
この発明に係る実施の形態１を図１から図４までに基づいて説明する。図１は実施の形態１におけるシステム構成を示すブロック図である。図２は実施の形態１におけるカメラと三次元タッチパネルの配置状況を示す正面図である。図３は実施の形態１における入力用画面に対する近接操作時の入力用画面と入力媒体との位置関係を示す側面図である。図４は実施の形態１における入力動作を示すフローチャートである。

このシステム構成を示す図１において、三次元タッチパネル１およびカメラ２からの信号はタッチパネル入力処理部３およびカメラ入力処理部４によって処理される。タッチパネル入力処理部３およびカメラ入力処理部４による処理結果としての出力は、それぞれ入力判定部５に入力される。入力判定部５はタッチパネル入力処理部３とカメラ入力処理部４からの入力によって三次元タッチパネル１へのタッチが有効かどうかを判定する。タッチパネル入力処理部３とカメラ入力処理部４と入力判定部５とによって入力検出装置６が構成されている。入力検出装置６からの入力を元に演算処理手段である計算機７は演算処理を行い、処理結果に基づきプラント制御監視装置としてのプラント制御を行う。

図２は、三次元タッチパネル１と側面に配置したカメラ２の位置関係を示している。三次元タッチパネル１には正面に入力用画面ＴＰが設けられ、操作者の指などの入力媒体要素（Ｅ１，Ｅ２：図３参照）と入力用画面ＴＰとの相対位置をカメラ２で撮影される画像によって検出するものである。

図３では、近接操作時の三次元タッチパネル１の入力用画面ＴＰと操作者により入力動作が行われる入力媒体ＭＥの要素である操作者の指Ｅ１，Ｅ２との位置関係を示している。
三次元タッチパネル１の入力用画面ＴＰに対する入力操作は、操作者により入力動作が行われる入力媒体要素Ｅ１を入力用画面ＴＰに対しその座標面に直接接触して入力を行う二次元タッチパネルにおける操作と同様の直接操作と、操作者により入力動作が行われる入力媒体要素Ｅ１を入力用画面ＴＰに対する法線上で所定距離を置いて位置決めし入力を行う近接操作とにより行うことができる。ここでは、主として後者の近接操作について説明する。
近接操作において入力が正常に行われる場合は、唯一の入力媒体要素Ｅ１が作動限界ＬＴを超えて入力用画面ＴＰに接近する。三次元タッチパネル１は入力媒体要素Ｅ１が最接近している入力用画面ＴＰ上の座標点における座標値に応じた信号を出力する。この場合には、図３に示す入力媒体要素Ｅ２は存在せず、誤入力のおそれはないものである。
この実施の形態１では、このように一連の入力操作過程において、同時に入力できる入力媒体要素Ｅ１は一つであり、シングルタッチと呼ばれる単一入力形態に関するものであって、この場合の入力許容数は１である。
このように唯一の入力媒体要素Ｅ１により正常入力動作が行われる場合に反し、図３で示される状態で近接操作が行われる状況にあり、入力媒体要素Ｅ１が作動限界ＬＴ内で入力用画面ＴＰと法線上の距離Ａの位置にあって、入力媒体要素Ｅ２が作動限界ＬＴ内で入力用画面ＴＰと法線上の距離Ｂの位置にある場合には、誤入力の可能性がある。この発明は、このような場合の誤入力を防止するものである。
ここでは、シングルタッチにおける近接操作について、（１Ａ）正常入力動作の場合、（１Ｂ）誤入力の可能性があり誤入力判別処理を行う場合に分けて説明する。

（１Ａ）正常入力動作（シングルタッチ：近接操作）
まず、実施の形態１における動作を、近接操作において入力が正常に行われる場合につき、入力動作時の各ステップＳ００１〜Ｓ００６を示すフローチャートからなる図４を参照しながら説明する。入力用画面ＴＰの作動限界ＬＴを超えて入力用画面ＴＰに接近する作用点が入力媒体要素Ｅ１（図３）のみ１点の場合である。
最初のステップでは、三次元タッチパネル１における入力用画面ＴＰの作動限界ＬＴを超えて入力媒体要素Ｅ１が入力用画面ＴＰに接近すると、接近する入力媒体要素Ｅ１に対向する入力用画面ＴＰの平面座標値に対応する信号を三次元タッチパネル１は生成して出力し、三次元タッチパネル１からの入力がタッチパネル入力処理部３で処理され、入力媒体要素Ｅ１が接近した三次元タッチパネル１における入力用画面ＴＰでの平面座標値に相当する近接座標が計算される（Ｓ００１）。
後続のステップでは、入力媒体ＭＥとしての操作者の手を側方から撮影し撮影結果情報を出力するカメラ２からの入力が、カメラ入力処理部４で処理され、三次元タッチパネル１に対する入力時の入力媒体ＭＥとしての操作者の手の輪郭情報を計算する。ここでは、入力媒体要素Ｅ１のみの輪郭情報が抽出される（Ｓ００２）。カメラ入力処理部４で計算された入力媒体要素Ｅ１についての輪郭情報が入力判定部５で処理され、入力媒体要素Ｅ１がタッチパネルとしての入力用画面ＴＰに接近している点を計算する（Ｓ００３）。入力判定部５は、タッチパネルに近接した作用点が入力媒体要素Ｅ１の１点であることを確認し、比較すべき他の１点が検出されていないので画面に近い２点の差は１ｃｍ以上であると見做して、ステップＳ００５へ移行する（Ｓ００４）。入力検出装置６は、タッチパネル入力処理部３で得られた座標を、演算処理手段としての計算機７に入力する（Ｓ００５）。ここでは、誤入力のおそれはない。

（１Ｂ）誤入力判別処理（シングルタッチ：近接操作）
次に、近接操作において誤入力の可能性があり、その誤入力を防止する場合について、入力動作時の各ステップＳ００１〜Ｓ００６を示すフローチャートからなる図４を参照しながら説明する。入力用画面ＴＰの作動限界ＬＴを超えて入力用画面ＴＰに接近する入力媒体要素が入力媒体要素Ｅ１，Ｅ２（図３）の２点の場合である。
最初のステップでは、三次元タッチパネル１における入力用画面ＴＰの作動限界ＬＴを超えて先ず入力媒体要素Ｅ２が入力用画面ＴＰに接近すると、接近する入力媒体要素Ｅ１に対向する入力用画面ＴＰの平面座標値に対応する信号を三次元タッチパネル１は生成して出力し、三次元タッチパネル１からの入力がタッチパネル入力処理部３で処理され、入力用画面ＴＰの作動限界ＬＴを超えて最初に入力用画面ＴＰに接近した入力媒体要素Ｅ２について入力媒体要素Ｅ２が接近した三次元タッチパネル１における入力用画面ＴＰでの平面座標値に相当する近接座標が計算される（Ｓ００１）。
後続のステップでは、入力媒体ＭＥとしての操作者の手を側方から撮影し撮影結果情報を出力するカメラ２からの入力が、カメラ入力処理部４で処理され、三次元タッチパネル１に対する入力時の入力媒体ＭＥとしての操作者の手の輪郭情報を計算する。ここでは、入力媒体要素Ｅ１，Ｅとしての操作者の手の指について輪郭情報が抽出される（Ｓ００２）。カメラ入力処理部４で計算された輪郭情報が入力判定部５で処理され、タッチパネルとしての入力用画面ＴＰに接近している作用点となる２点を計算する（Ｓ００３）。入力判定部５は、タッチパネルとしての入力用画面ＴＰに近接した２点（Ａ，Ｂ）の高さ、すなわち入力媒体要素Ｅ１，Ｅ２の入力用画面ＴＰとのそれぞれの距離（Ａ，Ｂ）を比較し、高さの差すなわち入力媒体要素Ｅ１，Ｅ２の入力用画面ＴＰとのそれぞれの距離の相対値（｜Ａ−Ｂ｜）が１ｃｍ以上であるかどうかを比較する（Ｓ００４）。このとき、高さの差（｜Ａ−Ｂ｜）が１ｃｍ以上である場合、入力検出装置６は、計算機７に対して、タッチパネル入力処理部３で得られた座標を、演算処理手段としての計算機７に入力する（Ｓ００５）。高さの差（｜Ａ−Ｂ｜）が１ｃｍ未満の場合、誤入力の可能性があるとして、入力検出装置６は入力媒体要素Ｅ２についての近接座標を破棄する（Ｓ００６）。
なお、誤検知の判定基準を固定値としているが、判定基準を管理テーブルで保持し、入力検出装置の用途に応じて値を更新可能にしても良い。また、判定基準をｃｍ単位で記載しているが、距離が区別できるなら任意の単位を使用しても良い。

このように、三次元タッチパネル１の側面にカメラ２を配置し、カメラ２によって入力用画面ＴＰへの近接操作時における操作者が操作する入力媒体としての手を撮影し取得した画像から操作者の近接操作時における手の側面の輪郭を計算することによって、三次元タッチパネル１の正面に座った操作者の手の角度による誤入力の可能性を減らすことができる。

この発明に係る実施の形態１では、三次元タッチパネル１を構成する入力用画面ＴＰに接近する入力媒体要素Ｅ１，Ｅ２を検出対象とし前記入力媒体要素Ｅ１，Ｅ２に応動して前記入力用画面ＴＰでの座標面の平面座標値を取得するタッチパネル入力処理部３からなる座標処理手段と、検出対象としての前記入力媒体要素Ｅ１，Ｅ２の前記入力用画面ＴＰとの距離を検出するカメラ入力処理部４からなる位置処理手段と、前記座標処理手段により取得された前記座標値に応じて入力動作を行う入力判定部５からなる入力手段とを備え、前記入力判定部５からなる入力手段は、選択的に入力を要する検出対象として複数の前記入力媒体要素Ｅ１，Ｅ２が存在する場合（ここでは、入力許容数は１であり、入力媒体要素Ｅ１，Ｅ２の何れか一方を選択して入力する必要がある）に前記入力媒体要素Ｅ１，Ｅ２の前記入力用画面との距離に基づいて前記入力媒体要素Ｅ１，Ｅ２の何れか（例えばＥ２）を作動限界ＬＴを先に超えて入力用画面ＴＰに接近したとの理由で選択対象として選択し座標入力動作を進めるものであって、選択対象としての前記入力媒体要素Ｅ２と選択対象以外の前記入力媒体要素Ｅ１との前記入力用画面ＴＰに対する距離の相対値｜Ａ−Ｂ｜が所定値（例えば１ｃｍ）未満の場合には、前記入力媒体要素Ｅ１，Ｅ２に係る入力動作を誤入力として処理し前記入力媒体要素Ｅ２についての座標入力を破棄するようにしたので、プラント監視制御システムなどに適用される三次元タッチパネルを用いた入力装置としての三次元応動入力装置において、操作者の意図とは異なった不本意な入力がされることを防止でき、誤動作を防止することができる。

また、この発明に係る実施の形態１では、前項の発明において、カメラ入力処理部４からなる前記位置処理手段は、前記入力媒体要素Ｅ１，Ｅ２の画像を取得するカメラ２からなる画像取得部を備え、前記画像処理部により取得された前記入力媒体要素Ｅ１，Ｅ２の画像から前記入力媒体要素Ｅ１，Ｅ２の輪郭を抽出し、前記入力媒体要素Ｅ１，Ｅ２の前記入力用画面ＴＰとの距離を検出するようにしたので、プラント監視制御システムなどに適用される三次元タッチパネルを用いた入力装置としての三次元応動入力装置において、入力媒体要素Ｅ１，Ｅ２としての操作者の手の指について入力用画面ＴＰに対する位置を確実に検出し、操作者の意図とは異なった不本意な入力がされることを防止でき、誤動作を防止することができる。

さらに、この発明に係る実施の形態１では、前項の発明において、前記入力媒体要素Ｅ１，Ｅ２の画像を取得する画像取得部は、前記入力用画面ＴＰの側面に配置したカメラ２により構成されるようにし、このカメラ２によって入力媒体要素Ｅ１，Ｅ２（図３）としての操作者の手の指を側方から撮影してその画像を取得するようにしたので、プラント監視制御システムなどに適用される三次元タッチパネルを用いた入力装置としての三次元応動入力装置において、操作者の手の指などが用いられる入力媒体要素Ｅ１，Ｅ２の入力用画面ＴＰに対する位置について接近状態を的確に把握できる方向から確実に検出し、操作者の意図とは異なった不本意な入力がされることを防止でき、誤動作を防止することができる。

実施の形態２．
この発明に係る実施の形態２を図５および図６と、先に実施の形態１で説明した図１および図３とに基づいて説明する。図５は実施の形態２におけるカメラと三次元タッチパネルの配置状態を示す正面図である。図６は実施の形態２における近接操作時の入力用画面と入力媒体との位置関係を示す側面図である。
この実施の形態２において、ここで説明する特有の構成および作用以外の構成および作用については、先に説明した実施の形態１と同様の構成を具備し、同様の作用を奏するものである。

プラント監視制御システムでは、図６に示すように、三次元タッチパネル１を用いた入力装置として、複数の三次元タッチパネル１Ｌ，１Ｍ，１Ｒを横に並べ、一人の操作者ＰＬが操作することがある。このとき、操作者ＰＬが斜め前方の三次元タッチパネル１Ｒの入力用画面としてのディスプレイを操作する際に、本来の入力媒体要素Ｅ１，Ｅ２（図３）である操作者ＰＬの手の指以外の操作者ＰＬの身体部位が三次元タッチパネル１Ｍに接近して、誤入力してしまうような可能性がある。
この実施の形態２では、このような場合の誤入力を防ぐために、図５に示すように、三次元タッチパネル１の上部にカメラ２を配置し、このカメラ２によって入力媒体要素Ｅ１，Ｅ２（図３）としての操作者ＰＬの手の指を上方から撮影してその画像を取得する。そして近接操作時の手の上部の輪郭情報から、誤入力の可能性を判断する。

この発明に係る実施の形態２においては、先に説明した実施の形態１の発明において、前記入力媒体要素Ｅ１，Ｅ２の画像を取得する画像取得部は、前記入力用画面ＴＰの上部に配置したカメラ２により構成されるようにし、このカメラ２によって入力媒体要素Ｅ１，Ｅ２（図３）としての操作者ＰＬの手の指を前記入力用画面ＴＰの上方から撮影してその画像を取得するようにしたので、プラント監視制御システムなどに適用される三次元タッチパネルを用いた入力装置としての三次元応動入力装置において、入力媒体要素Ｅ１，Ｅ２としての操作者ＰＬの手の指について入力用画面ＴＰに対する位置を誤操作が的確に把握できる方向から確実に検出し、操作者の意図とは異なった不本意な入力がされることを防止でき、誤動作を防止することができる。

実施の形態３．
この発明に係る実施の形態３を図７から図９と、先に実施の形態１で説明した図３とに基づいて説明する。図７は実施の形態３におけるシステム構成を示すブロック図である。図８は実施の形態３におけるカメラと三次元タッチパネルの配置を示す正面図である。図９は実施の形態３における入力動作を示すフローチャートである。
この実施の形態３において、ここで説明する特有の構成および作用以外の構成および作用については、先に説明した実施の形態１および実施の形態２と同様の構成を具備し、同様の作用を奏するものである。

先に説明した実施の形態１および実施の形態２では、三次元タッチパネル１の側面または上部にカメラ２を配置することで、誤入力の検知を行っていた。しかし、これらの場合、カメラ２から見て縦方向に入力媒体要素である指が重なっていると、誤入力を検知できないといった問題がある。
そこで、この実施の形態では、図８に示すように、三次元タッチパネル１の側面と上部とにカメラ２Ａとカメラ２Ｂとを設置する。ここでは、カメラ２Ａとカメラ２Ｂとによって、入力媒体要素Ｅ１，Ｅ２（図３）を入力用画面ＴＰの側方と上方とから撮影してその輪郭情報を取得し、入力検出処理装置６で処理して、入力媒体要素Ｅ１，Ｅ２の入力用画面ＴＰに対する位置を把握するものである。
そうすることで、１台のカメラでは検知できない場合でも、誤入力を検知できるようになる。

次に、実施の形態３の動作を、近接操作において誤入力の可能性があり、その誤入力を防止する場合について、入力動作時の各ステップＳ１０１〜Ｓ１０９を示すフローチャートからなる図９を参照しながら説明する。入力用画面ＴＰの作動限界ＬＴを超えて入力用画面ＴＰに接近する入力媒体要素が入力媒体要素Ｅ１，Ｅ２（図３）の２点の場合である。

最初のステップでは、三次元タッチパネル１における入力用画面ＴＰの作動限界ＬＴを超えて先ず入力媒体要素Ｅ２が入力用画面ＴＰに接近すると、接近する入力媒体要素Ｅ２に対向する入力用画面ＴＰの平面座標値に対応する信号を三次元タッチパネル１は生成して出力し、三次元タッチパネル１からの入力がタッチパネル入力処理部３で処理され、入力用画面ＴＰの作動限界ＬＴを超えて最初に入力用画面ＴＰに接近した入力媒体要素Ｅ２について近接座標が計算される（Ｓ１０１）。
後続のステップでは、入力媒体ＭＥとしての操作者の手を側方からカメラ２Ａによって撮影し撮影結果情報を出力するカメラ２Ａからの入力が、カメラ入力処理部４で処理され、三次元タッチパネル１に対する入力時の入力媒体ＭＥとしての操作者の手の輪郭情報を計算する。ここでは、入力媒体要素Ｅ１，Ｅ２の輪郭情報が抽出される（Ｓ１０２）。カメラ入力処理部４で計算された輪郭情報が入力判定部５で処理され、タッチパネルとしての入力用画面ＴＰに接近している２点を計算する（Ｓ１０３）。入力判定部５は、タッチパネルとしての入力用画面ＴＰに近接した２点（Ａ，Ｂ）の高さ、すなわち入力媒体要素Ｅ１，Ｅ２の入力用画面ＴＰとのそれぞれの距離を比較し、高さの差すなわち入力媒体要素Ｅ１，Ｅ２の入力用画面ＴＰとのそれぞれの距離の相対値（｜Ａ−Ｂ｜）が１ｃｍ以上であるかどうかを比較する（Ｓ１０４）。高さの差（｜Ａ−Ｂ｜）が１ｃｍ未満の場合、誤入力の可能性があるとして、入力検出装置６は入力媒体要素Ｅ２についての近接座標を破棄する（Ｓ１０９）。
更に後続のステップでは、入力媒体ＭＥとしての操作者の手を上方から撮影し撮影結果情報を出力するカメラ２Ｂからの入力が、カメラ入力処理部４で処理され、三次元タッチパネル１に対する入力時の入力媒体ＭＥとしての操作者の手の輪郭情報を計算する。ここでは、入力媒体要素Ｅ１，Ｅ２の上方からの輪郭情報が抽出される（Ｓ１０５）。
カメラ入力処理部４で計算された輪郭情報が入力判定部５で処理され、タッチパネルとしての入力用画面ＴＰに接近している２点を計算する（Ｓ１０６）。入力判定部５は、タッチパネルとしての入力用画面ＴＰに近接した２点（Ａ，Ｂ）の高さ、すなわち入力媒体要素Ｅ１，Ｅ２の入力用画面ＴＰとのそれぞれの距離を比較し、高さの差すなわち入力媒体要素Ｅ１，Ｅ２の入力用画面ＴＰとのそれぞれの距離の相対値（｜Ａ−Ｂ｜）が１ｃｍ以上であるかどうかを比較する（Ｓ１０７）。このとき、高さの差（｜Ａ−Ｂ｜）が１ｃｍ以上である場合、入力検出装置６は、タッチパネル入力処理部３で得られた座標を、演算処理手段としての計算機７に入力する（Ｓ１０８）。高さの差（｜Ａ−Ｂ｜）が１ｃｍ未満の場合、誤入力の可能性があるとして、入力検出装置１０６は近接座標を破棄する（Ｓ１０９）。

この発明に係る実施の形態３においては、先に説明した実施の形態１の発明において、前記入力媒体要素Ｅ１，Ｅ２の画像を取得する画像取得部は、前記入力用画面ＴＰの側部材に配置した第１のカメラ２Ａと、前記入力用画面ＴＰの上部に配置した第２のカメラ２Ｂとにより構成されるようにし、これら第１および第２のカメラ２Ａ，２Ｂによって入力媒体要素Ｅ１，Ｅ２（図３）としての操作者の手の指を前記入力用画面ＴＰの側方および上方から撮影してその画像を取得するようにしたので、プラント監視制御システムなどに適用される三次元タッチパネルを用いた入力装置としての三次元応動入力装置において、入力媒体要素Ｅ１，Ｅ２の入力用画面ＴＰに対する位置について接近状態を的確に把握できる方向および誤操作を的確に把握できる方向から確実に検出し、操作者の意図とは異なった不本意な入力がされることを防止でき、誤動作を防止することができる。

実施の形態４．
この発明に係る実施の形態４を図１０および図１１と、先に実施の形態１で説明した図１および図２とに基づいて説明する。図１０は実施の形態４における近接操作時の入力用画面と入力媒体との位置関係を示す側面図である。図１１は実施の形態４における入力動作を示すフローチャートである。
この実施の形態４において、ここで説明する特有の構成および作用以外の構成および作用については、先に説明した実施の形態１〜３のそれぞれと同様の構成を具備し、同様の作用を奏するものである。

先に説明した実施の形態１〜３では、同時に一つの近接操作しか検出できないものであって、一連の入力操作過程において、同時に入力できる入力媒体要素Ｅ１は一つであり、入力許容数が１であるところのシングルタッチと呼ばれる単一入力形態に関するものであった。
この実施の形態４は、複数の指で近接操作が可能な三次元タッチパネル１を備えたものであり、一連の入力操作過程において、同時に入力できる入力媒体要素Ｅ１，Ｅ２…は二つ以上であり、マルチタッチと呼ばれる複数入力形態に関し、誤入力の検知を可能にする。ここでは、一連の入力操作過程において、同時に入力できる入力媒体要素Ｅ１，Ｅ２は二つであって、入力許容数が２の場合について説明する。

図１０は、実施の形態４で近接操作を行った際の、三次元タッチパネル１と操作者の指の位置関係を示した側面図である。三次元タッチパネル１には正面に入力用画面ＴＰ（図２）が設けられ、入力媒体ＭＥを構成する操作者の指などの入力媒体要素Ｅ１，Ｅ２，Ｅ３と入力用画面ＴＰとの相対位置をカメラ２（図２）で撮影される画像によって検出するものである。

ここで、マルチタッチにおける近接操作について、（２Ａ）正常入力動作の場合、（２Ｂ）誤入力の可能性があり誤入力判別処理を行う場合に分けて説明する。
（２Ａ）正常入力動作（マルチタッチ：近接操作）
まず、実施の形態４における動作を、マルチタッチにおける近接操作において入力が正常に行われる場合につき、入力動作時の各ステップＳ２０１〜Ｓ２０６を示すフローチャートからなる図１１を参照しながら説明する。この正常入力動作の場合は、入力用画面ＴＰの作動限界ＬＴを超えて入力用画面ＴＰに接近する作用点が入力媒体要素Ｅ１，Ｅ２（図１０）の２点の場合である。図１０に示されている入力媒体要素Ｅ３は存在しないものとする。
最初のステップでは、三次元タッチパネル１における入力用画面ＴＰの作動限界ＬＴを超えて入力媒体要素Ｅ１，Ｅ２が入力用画面ＴＰに接近すると、接近する１番目および２番目の入力媒体要素Ｅ１，Ｅ２に対向する入力用画面ＴＰの平面座標値に対応する信号を三次元タッチパネル１は生成して出力し、三次元タッチパネル１からの入力がタッチパネル入力処理部３で処理され、入力媒体要素Ｅ１，Ｅ２としての操作者の手の指についての近接座標がそれぞれ計算される（Ｓ２０１）。
後続のステップでは、入力媒体ＭＥとしての操作者の手を側方から撮影し撮影結果情報を出力するカメラ２からの入力が、カメラ入力処理部４で処理され、三次元タッチパネル１に対する入力時の入力媒体ＭＥとしての操作者の手の輪郭情報を計算する。ここでは、入力媒体要素Ｅ１，Ｅ２としての操作者の手の指の輪郭情報が抽出される（Ｓ２０２）。
カメラ入力処理部４で計算された入力媒体要素Ｅ１，Ｅ２についての輪郭情報が入力判定部５で処理され、入力媒体要素Ｅ１，Ｅ２がタッチパネルとしての入力用画面ＴＰに接近している１番目および２番目の作用点である２点を計算する（Ｓ２０３）。３番目の作用点は検出されないので、ステップＳ２０４からステップＳ２０５へ移行し、入力判定部５は、１番目および２番目である入力媒体要素Ｅ１，Ｅ２についての近接座標を入力する（Ｓ２０５）。ここでは、誤入力のおそれはない。
（２Ｂ）誤入力判別処理（マルチタッチ：近接操作）
次に、実施の形態４の動作を、近接操作において誤入力の可能性があり、その誤入力を防止する場合について、入力動作時の各ステップＳ２０１〜Ｓ２０６を示すフローチャートからなる図１１を参照しながら説明する。入力用画面ＴＰの作動限界ＬＴを超えて入力用画面ＴＰに接近する入力媒体要素が入力媒体要素Ｅ１，Ｅ２，Ｅ３（図１０）の３点の場合である。
最初のステップでは、三次元タッチパネル１における入力用画面ＴＰの作動限界ＬＴを超えて入力媒体要素Ｅ１，Ｅ２，Ｅ３が入力用画面ＴＰに接近すると、接近する入力媒体要素Ｅ１に対向する入力用画面ＴＰの平面座標値に対応する信号を三次元タッチパネル１が生成して出力し、三次元タッチパネル１からの入力がタッチパネル入力処理部３（図１）で処理され、入力用画面ＴＰの作動限界ＬＴを超えて入力用画面ＴＰに接近した入力媒体要素Ｅ１，Ｅ２について近接座標が計算される（Ｓ２０１）。
後続のステップでは、入力媒体ＭＥとしての操作者の手を側方から撮影し撮影結果情報を出力するカメラ２（図２）からの入力が、カメラ入力処理部４（図１）で処理され、三次元タッチパネル１に対する入力時の入力媒体ＭＥとしての操作者の手の輪郭情報を計算する。ここでは、入力媒体要素Ｅ１，Ｅ２，Ｅ３としての操作者の手の指の側方からの輪郭情報が抽出される（Ｓ２０２）。カメラ入力処理部４で計算された輪郭情報が入力判定部５で処理され、タッチパネルとしての入力用画面ＴＰに近い３点を、入力媒体要素Ｅ１，Ｅ２，Ｅ３による作用点として計算する（Ｓ２０３）。ここでは、入力媒体要素Ｅ１が１番目に接近したものとし、入力媒体要素Ｅ２が２番目に接近したものとし、入力媒体要素Ｅ３が３番目に接近したものとして、これらの３点についての入力媒体要素Ｅ１，Ｅ２，Ｅ３の三次元タッチパネル１における入力用画面ＴＰとの距離を、入力用画面ＴＰに接近している順に、Ａ，Ｂ，Ｃとする。

入力判定部５は、タッチパネルとしての入力用画面ＴＰから２番目と３番目に近接した２点の高さ（Ｂ，Ｃ）、すなわち入力媒体要素Ｅ２，Ｅ３の入力用画面ＴＰとのそれぞれの距離を比較し、高さの差すなわち入力媒体要素Ｅ２，Ｅ３の入力用画面ＴＰとのそれぞれの距離の相対値（｜Ｂ−Ｃ｜）が１ｃｍ以上であるかどうかを比較する（Ｓ２０４）。このとき、高さの差（｜Ｂ−Ｃ｜）が１ｃｍ以上である場合、入力検出装置６は、計算機７に対して、タッチパネル入力処理部３で得られた座標の内、三次元タッチパネル１の入力用画面ＴＰから１番目と２番目に近接した入力媒体要素Ｅ１，Ｅ２の座標を、計算機７に入力する（Ｓ２０５）。

ステップＳ２０４で、点Ｂ，Ｃの高さの差（｜Ｂ−Ｃ｜が１ｃｍ未満であった場合、誤入力の可能性があるとして、入力検出装置６は入力媒体要素Ｅ２についての近接座標を破棄する（Ｓ２０６）。ここでは、一連の入力動作について誤入力の可能性があるとして、２番目に近接した入力媒体要素Ｅ２だけでなく１番目に近接した入力媒体要素Ｅ１についての近接座標をも破棄するようにすることができる。
なお、三次元タッチパネル１で検知可能な座標が３点を超える場合でも、ステップＳ２０４，Ｓ２０５を繰り返すことで、適用可能である。

この発明に係る実施の形態４においては、三次元タッチパネル１を構成する入力用画面ＴＰに接近する入力媒体要素Ｅ１，Ｅ２，Ｅ３を検出対象とし前記入力媒体要素Ｅ１，Ｅ２，Ｅ３に応動して前記入力用画面ＴＰの座標面での平面座標値を取得するタッチパネル入力処理部３からなる座標処理手段と、検出対象としての前記入力媒体要素Ｅ１，Ｅ２，Ｅ３の前記入力用画面ＴＰとの距離を検出するカメラ入力処理部４からなる位置処理手段と、前記座標処理手段により取得された前記座標値に応じて入力動作を行う入力判定部５からなる入力手段とを備え、入力判定部５からなる前記入力手段は、選択的に入力を要する検出対象として複数の前記入力媒体要素が存在する場合（ここでは、入力許容数は２であり、入力媒体要素Ｅ１，Ｅ２，Ｅ３のうち２個を選択して入力する必要がある）に検出対象としての前記入力媒体要素Ｅ１，Ｅ２，Ｅ３に含まれる複数の前記入力媒体要素（例えば、Ｅ１，Ｅ２）を入力動作の対象となる選択対象として選択して座標入力動作を進めるようにし、選択対象としての前記入力媒体要素の何れか（例えば、Ｅ２）と選択対象以外の前記入力媒体要素（例えば、Ｅ３）との前記入力用画面ＴＰに対する距離の相対値（例えば、｜Ｂ−Ｃ｜）が所定値（例えば、１ｃｍ）未満の場合には、前記入力媒体要素Ｅ２に係る入力動作を誤入力として処理し前記入力媒体要素Ｅ２または前記入力媒体要素Ｅ２およびＥ３についての座標入力を破棄するようにしたので、プラント監視制御システムなどに適用される三次元タッチパネルを用いた入力装置としての三次元応動入力装置において、一連の入力操作過程で同時に入力できる入力媒体要素Ｅ１，Ｅ２…は二つ以上であり、マルチタッチと呼ばれる複数入力形態を採用した際に、操作者の意図とは異なった不本意な入力がされることを防止でき、誤動作を防止することができる。

実施の形態５．
この発明に係る実施の形態５を図１２と、先に実施の形態１で説明した図１〜図３とに基づいて説明する。図１２は実施の形態５における入力動作を示すフローチャートである。
この実施の形態５において、ここで説明する特有の構成および作用以外の構成および作用については、先に説明した実施の形態１〜４のそれぞれと同様の構成を具備し、同様の作用を奏するものである。

この実施の形態５では、実施の形態１〜４の発明に近接操作時の時間測定機能を追加し、入力の精度を向上するものである。
先に説明した実施の形態１〜４では、入力媒体要素Ｅ１，Ｅ２が作動限界ＬＴを超えて入力用画面ＴＰに接近し検出動作が行われると、その検出動作に直ちに応動して入力動作が行われるものであって、僅かの間でも三次元タッチパネル１の入力用画面ＴＰに入力媒体ＭＥとしての操作者の手が近づくと入力の検知を行ってしまう。
そこで、この実施の形態５では、近接操作時の時間測定機能を追加し、操作者の手が不意に三次元タッチパネル１の入力用画面ＴＰに近づいた場合でも、誤入力を防ぐことが出来る。
なお、ここでは実施の形態１のものに時間測定機能を追加した形態で説明するが、実施の形態２〜４でも同様に実施可能である。

次に、実施の形態５の動作を、近接操作において誤入力の可能性があり、その誤入力を防止する場合について、入力動作時の各ステップＳ３０１〜Ｓ３０９を示すフローチャートからなる図１２を参照しながら説明する。入力用画面ＴＰの作動限界ＬＴを超えて入力用画面ＴＰに接近する入力媒体要素が入力媒体要素Ｅ１，Ｅ２（図３）の２点の場合である。

最初のステップでは、三次元タッチパネル１における入力用画面ＴＰの作動限界ＬＴを超えて先ず入力媒体要素Ｅ２が入力用画面ＴＰに接近すると、三次元タッチパネル１からの入力がタッチパネル入力処理部３に入力される（Ｓ３０１）。そこで、タッチパネル入力処理部３は、近接時間の測定を開始する（Ｓ３０２）。次のステップでは近接時間が一定時間以上であるかどうかを判別する（Ｓ３０３）。タッチパネル入力処理部３は、近接時間が一定時間以上経過した場合、三次元タッチパネル１からの入力を処理する。 接近する入力媒体要素Ｅ１に対向する入力用画面ＴＰの平面座標値に対応する信号を三次元タッチパネル１は生成して出力し、三次元タッチパネル１からの入力がタッチパネル入力処理部３で処理され、入力用画面ＴＰの作動限界ＬＴを超えて最初に入力用画面ＴＰに接近した入力媒体要素Ｅ２について近接座標が計算されるものである。ここで、タッチパネル入力処理部３は、入力媒体要素Ｅ２が入力用画面ＴＰの作動限界ＬＴを超えて三次元タッチパネル１で検出されてからの近接時間が一定時間以上経過した場合、三次元タッチパネル１からの入力を処理するものであって、このとき、三次元タッチパネル１からの入力がタッチパネル入力処理部３で処理され、近接座標が計算される（Ｓ３０４）。入力媒体要素Ｅ２が検出されてからの近接時間が所定時間未満の場合にはタッチパネル入力処理部３による入力処理動作は行われない。
後続のステップでは、入力媒体ＭＥとしての操作者の手を側方から撮影し撮影結果情報を出力するカメラ２からの入力が、カメラ入力処理部４で処理され、三次元タッチパネル１に対する入力時の入力媒体ＭＥとしての操作者の手の輪郭情報を計算する。ここでは、入力媒体要素Ｅ１，Ｅ２としての操作者の手の指の輪郭情報が抽出される（Ｓ３０５）。カメラ入力処理部４で計算された輪郭情報が入力判定部５で処理され、タッチパネルとしての入力用画面ＴＰに接近している２点を計算する（Ｓ３０６）。入力判定部５は、タッチパネルとしての入力用画面ＴＰに近接した２点（Ａ，Ｂ）の高さ、すなわち入力媒体要素Ｅ１，Ｅ２の入力用画面ＴＰとのそれぞれの距離を比較し、高さの差すなわち入力媒体要素Ｅ１，Ｅ２の入力用画面ＴＰとのそれぞれの距離の相対値（｜Ａ−Ｂ｜）が１ｃｍ以上であるかどうかを比較する（Ｓ００７）。このとき、高さの差（｜Ａ−Ｂ｜）が１ｃｍ以上である場合、入力検出装置６は、計算機７に対して、タッチパネル入力処理部３で得られた座標を、計算機７に入力する（Ｓ３０８）。高さの差（｜Ａ−Ｂ｜）が１ｃｍ未満の場合、誤入力の可能性があるとして、入力検出装置６は入力媒体要素Ｅ２についての近接座標を破棄する（Ｓ３０９）。

この発明に係る実施の形態５においては、先に説明した実施の形態１〜４の何れかの発明において、前記座標処理手段は、前記入力用画面に接近する入力媒体要素の検出から所定時間未満の間は座標取得動作を行わないようにしたので、プラント監視制御システムなどに適用される三次元タッチパネルを用いた入力装置としての三次元応動入力装置において、操作者の身体部位などの瞬間的な不意の接近により操作者の意図とは異なった不本意な入力がされることを防止でき、誤動作を防止することができる。

実施の形態６．
この発明に係る実施の形態６を図１３と、先に実施の形態１で説明した図１〜図３とに基づいて説明する。図１３は実施の形態６における入力動作を示すフローチャートである。
この実施の形態６において、ここで説明する特有の構成および作用以外の構成および作用については、先に説明した実施の形態１〜５のそれぞれと同様の構成を具備し、同様の作用を奏するものである。

この実施の形態６では、タッチパネルとしての入力用画面ＴＰに入力媒体ＭＥとしての操作者の手の指（入力媒体要素Ｅ１，Ｅ２）を直接接触して操作する直接操作と入力用画面ＴＰに入力媒体ＭＥとしての操作者の手の指（入力媒体要素Ｅ１，Ｅ２）を接近して操作する近接操作の区別を行い、近接操作の場合にのみ誤入力かどうかの判別操作を行う。実施の形態１〜５の発明では、直接操作と近接操作の区別を行っていないため、直接操作時でも誤入力の判定が行われ、直接操作時における入力装置の負荷が増大する。そこで、この実施の形態６では、直接操作と近接操作の区別を行い、近接操作の時だけ誤入力の判定を実施し、直接操作時における入力装置の無用な負荷を軽減するものである。
直接操作と近接操作を区別する手法としては、例えば、タッチパネルとしての入力用画面ＴＰと入力媒体ＭＥとしての操作者の指との距離が接触しているかまたは近接しているかを入力用画面ＴＰからの距離情報、およびカメラ映像からの情報を基に判定することで区別可能である。
なお、ここでは実施の形態１に近接操作の識別機能を追加した形態で説明するが、実施の形態２〜５でも同様に実施可能である。

次に、実施の形態６の動作を、直接操作および近接操作を含む入力動作での近接操作において誤入力の可能性があり、その誤入力を防止する場合について、入力動作時の各ステップＳ４０１〜Ｓ４１０を示すフローチャートからなる図１３を参照しながら説明する。入力用画面ＴＰの作動限界ＬＴを超えて入力用画面ＴＰに接近する入力媒体要素が入力媒体要素Ｅ１，Ｅ２（図３）の２点の場合である。
最初のステップでは、三次元タッチパネル１からの入力がタッチパネル入力処理部３に入力される（Ｓ４０１）。このとき、タッチパネル入力処理部３は、三次元タッチパネル１への操作が、タッチパネルへの直接操作か近接操作かを判定する（Ｓ４０２）。

次のステップでは、タッチパネルの操作が直接操作であった場合、タッチパネル入力処理部３は、タッチ座標を計算し、計算した座標を入力判定部５に入力する（Ｓ４０９）。タッチ座標を受け取った入力判定部５は、タッチ座標を計算機７に入力する（Ｓ４１０）。このように直接操作の場合には、誤入力かどうかの判別処理は行われない。
ステップＳ４０２にてタッチパネルへの操作が近接操作であった場合、三次元タッチパネル１からの入力がタッチパネル入力処理部３で処理され、近接座標が計算される（Ｓ４０３）。
カメラ２からの入力が、カメラ入力処理部４で処理され、三次元タッチパネル入力時の手の輪郭情報を計算する（Ｓ４０４）。カメラ入力処理部４で計算された輪郭情報が入力判定部５で処理され、タッチパネルに接近している２点を計算する（Ｓ４０５）。入力判定部５は、タッチパネル１に近接した２点の高さ、すなわち入力媒体要素Ｅ１，Ｅ２の入力用画面ＴＰとのそれぞれの距離を比較し、高さの差すなわち入力媒体要素Ｅ１，Ｅ２の入力用画面ＴＰとのそれぞれの距離の相対値（｜Ａ−Ｂ｜）が１ｃｍ以上であるかどうかを比較する（Ｓ４０６）。このとき、高さの差（｜Ａ−Ｂ｜）が１ｃｍ以上である場合、入力検出装置６は、計算機７に対して、タッチパネル入力処理部３で得られた座標を、計算機７に入力する（Ｓ４０７）。高さの差（｜Ａ−Ｂ｜）が１ｃｍ未満の場合、誤入力の可能性があるとして、入力検出装置６は近接座標を破棄する（Ｓ４０８）。

この発明に係る実施の形態６においては、先に説明した実施の形態１〜５の何れかの発明において、タッチパネルを構成する入力用画面ＴＰに接触して入力動作を行う直接操作と入力用画面ＴＰに対して距離を置いて行う近接操作の入力とを判別し、近接操作時の場合にのみ、誤入力とするかどうかの処理を進めるようにしたので、プラント監視制御システムなどに適用される三次元タッチパネルを用いた入力装置としての三次元応動入力装置において、直接操作時における入力装置での無用な負荷を軽減できるとともに、近接操作時における操作者の意図とは異なった不本意な入力がされることを防止でき、誤動作を防止することができる。

なお、本発明は、その発明の範囲内において、各実施の形態の一部または全部を自由に組合せたり、各実施の形態を適宜、変形、省略することが可能である。

１，１Ｌ，１Ｍ，１Ｒ 三次元タッチパネル、ＴＰ 入力用画面、ＬＴ 作動限界、ＭＥ 入力媒体、Ｅ１，Ｅ２，Ｅ３ 入力媒体要素、２，２Ａ，２Ｂ カメラ（画像取得部）、３ タッチパネル入力処理部（座標処理手段）、４ カメラ入力処理部（位置処理手段）、５ 入力判定部。６ 入力検出装置（入力手段）、７ 計算機（演算処理手段）。

Claims (9)

1. 入力用画面に接近する入力媒体要素を検出対象とし前記入力媒体要素に応動して前記入力用画面での座標を取得する座標処理手段と、検出対象としての前記入力媒体要素の前記入力用画面との距離を検出する位置処理手段と、前記座標処理手段により取得された前記座標に応じて入力動作を行う入力手段とを備え、前記入力手段は、選択的に入力を要する検出対象として複数の前記入力媒体要素が存在し、複数の前記入力媒体要素相互間における前記入力用画面に対する距離の相対値が所定値未満の場合には、前記入力媒体要素に係る入力動作を誤入力として処理することを特徴とする三次元応動入力装置。
2. 入力用画面に接近する入力媒体要素を検出対象とし前記入力媒体要素に応動して前記入力用画面での座標を取得する座標処理手段と、検出対象としての前記入力媒体要素の前記入力用画面との距離を検出する位置処理手段と、前記座標処理手段により取得された前記座標に応じて入力動作を行う入力手段とを備え、前記入力手段は、選択的に入力を要する検出対象として複数の前記入力媒体要素が存在する場合に前記入力媒体要素の何れかを入力動作の対象となる選択対象として選択し、選択対象としての前記入力媒体要素と選択対象以外の前記入力媒体要素との前記入力用画面に対する距離の相対値が所定値未満の場合には、前記入力媒体要素に係る入力動作を誤入力として処理することを特徴とする三次元応動入力装置。
3. 入力用画面に接近する入力媒体要素を検出対象とし前記入力媒体要素に応動して前記入力用画面での座標を取得する座標処理手段と、検出対象としての前記入力媒体要素の前記入力用画面との距離を検出する位置処理手段と、前記座標処理手段により取得された前記座標に応じて入力動作を行う入力手段とを備え、前記入力手段は、選択的に入力を要する検出対象として複数の前記入力媒体要素が存在する場合に検出対象としての前記入力媒体要素に含まれる複数の前記入力媒体要素を入力動作の対象となる選択対象として選択し、選択対象としての前記入力媒体要素の何れかと選択対象以外の前記入力媒体要素との前記入力用画面に対する距離の相対値が所定値未満の場合には、前記入力媒体要素に係る入力動作を誤入力として処理することを特徴とする三次元応動入力装置。
4. 前記位置処理手段は、前記入力媒体要素の画像を取得する画像取得部を備え、前記画像取得部により取得された前記入力媒体要素の画像から前記入力媒体要素の輪郭を抽出し、前記入力媒体要素の前記入力用画面との距離を検出することを特徴とする請求項１から請求項３までの何れかに記載の三次元応動入力装置。
5. 前記入力媒体要素の画像を取得する画像取得部は、前記入力用画面の側方から前記入力媒体要素を撮影するカメラにより構成されることを特徴とする請求項４に記載の三次元応動入力装置。
6. 前記入力媒体要素の画像を取得する画像取得部は、前記入力用画面の上方から前記入力媒体要素を撮影するカメラにより構成されることを特徴とする請求項４に記載の三次元応動入力装置。
7. 前記入力媒体要素の画像を取得する画像取得部は、前記入力用画面の側方から前記入力媒体要素を撮影する第１のカメラと前記入力用画面の上方から前記入力媒体要素を撮影する第２のカメラとにより構成されることを特徴とする請求項４に記載の三次元応動入力装置。
8. 前記座標処理手段は、前記入力用画面に接近する入力媒体要素の検出から所定時間未満の間は座標取得動作を行わないことを特徴とする請求項１から請求項７までの何れかに記載の三次元応動入力装置。
9. 前記入力用画面に接触して入力動作を行う直接操作と前記入力用画面と距離を置いて行う近接操作の入力を判別し、近接操作時の場合にのみ、誤入力とするかどうかの処理を進めることを特徴とする請求項１から請求項８までの何れかに記載の三次元応動入力装置。

Images