JP2010238094A

JP2010238094A - 操作入力装置および操作入力方法、並びにプログラム

Info

Publication number: JP2010238094A
Application number: JP2009087096A
Authority: JP
Inventors: Takafumi Kanehara; 崇文金原
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-03-31
Filing date: 2009-03-31
Publication date: 2010-10-21
Also published as: CN101853108A; US20100245295A1

Abstract

【課題】操作入力に対して正確な動作をする操作入力装置を提供する。
【解決手段】入出力ディスプレイ２２は、画像を表示する表示画面に対して、外部からの表示画面に対する複数の操作入力に対応する光の検出を行い、ターゲット生成部３１は、外部から入力があった入力部分の時間的若しくは空間的な位置関係に基づいて、一連の入力を表すターゲットの情報を生成する。また、消失データ補完部４２は、ターゲットが一時的に消失したときに、消失したターゲットを補完する処理を行い、不安定データ除去部４３は、不安定なターゲットが生成されたときに、不安定なターゲットを除去する処理を行う。そして、処理選択部４１は、消失データ補完部４２による処理と、不安定データ除去部４３による処理とのいずれかを選択する。
【選択図】図２

Description

本発明は、操作入力装置および操作入力方法、並びにプログラムに関し、特に、操作入力に対して正確な動作をすることができるようにした操作入力装置および操作入力方法、並びにプログラムに関する。

従来、パネル上の点に関する情報を、複数の点について出力可能なパネルとして、例えば、液晶表示装置に光センサを内蔵させ、外部からの光の入力を光センサで検出することにより、光による入力が可能な表示パネル（以下、入出力パネルともいう）が提案されている（例えば、特許文献１参照）。

図１を参照して、従来の入出力パネルについて説明する。

図１の入出力パネル１１は、入出力ディスプレイ１２、受光信号処理部１３、画像処理部１４、生成部１５、および制御部１６を備えて構成される。

入出力ディスプレイ１２は、画像の表示と、外部からの入力に対応する光の検出とを行う。例えば、入出力ディスプレイ１２は、表示画面全体に分布するように配置された複数の光センサ１２Ａを内蔵しており、光センサ１２Ａが、外部から入射する光を受光し、その光の受光量に対応する受光信号を生成して、受光信号処理部１３に供給する。

受光信号処理部１３は、入出力ディスプレイ１２から供給される受光信号に対して、所定の処理を施すことにより、受光信号の輝度に応じた画像を生成し、画像処理部１４に供給する。

画像処理部１４は、受光信号処理部１３から供給される画像に対して、所定の画像処理を施すことにより、入出力ディスプレイ１２の表示画面に、ユーザの指などの物体が接触している部分を、外部からの入力があった入力部分として検出する。そして、画像処理部１４は、その入力部分の点情報として、入力位置の座標、入力部分の接触面積、入力部分の形状（接触領域）を生成し、生成部１５に供給する。

生成部１５は、ターゲット生成部１７および記憶部１８を有しており、記憶部１８には、ターゲット生成部１７から１フレームごとに出力されるターゲット情報が記憶される。ターゲット生成部１７は、画像処理部１４から供給される入力部分の点情報に対し、フレームごとに、記憶部１８に記憶されている全フレームでのターゲット情報との統合処理を施すことにより、ターゲット情報を生成する。ターゲット情報は、入力部分の時間的または空間的な位置関係に基づいて、一連の入力を表す識別用のＩＤが割り振られた情報である。

制御部１６は、生成部１５により生成されたターゲット情報に基づいて、必要に応じて、入出力ディスプレイ１２に供給される画像データを制御することにより、入出力ディスプレイ１２の表示状態を変化させる。

ところで、従来の入出力ディスプレイ１２では、周囲環境光の照度変化や、フラッシュなどの発光装置による一時的な高輝度の照射などにより、入出力ディスプレイ１２の表面への照射光の時間的または空間的な変化に起因して、入出力ディスプレイ１２上の物体の非接触部分にも点情報が生成されることがある。例えば、入出力ディスプレイ１２から離れたところで指が動いているときに照度変化があると、その指の影の端部が点情報として生成される。このような非接触部分に発生した点情報に対して、上位のアプリケーションが接触部分と同様の反応をすることで誤動作が発生する。

また、例えば、指などの非完全反射物（光を完全に遮蔽することなく、光を若干透過させる物体）が接触している場合、入出力ディスプレイ１２の表面への照射光の時間的または空間的な変化が発生したとき、接触部分の点情報が一時的に消滅することがある。そのような点情報を受け取った生成部１５は、点情報が消滅した前後のフレームで、異なるＩＤが割り振られたターゲット情報を生成することになる。このため、例えば、一連の指の接触中に急峻な外光変化が発生すると、その急峻な外光変化により点情報が消滅し、その後のターゲット処理において、指の接触が２回あったと認識されて、上位のアプリケーションにおいて誤作動が発生することがある。

特開２００８−１４６１６５号公報

上述したように、従来の入出力パネルでは、照射光の変化によって、非接触部分に点情報が発生したり、一時的に点情報が消滅したりすることがある。そのような点情報に基づいて生成されたターゲット情報に基づいて上位のアプリケーションが処理を行うと、誤動作が発生することになる。即ち、操作入力に対して正確な動作が行われないことがあった。

本発明は、このような状況に鑑みてなされたものであり、操作入力に対して正確な動作をすることができるようにするものである。

本発明の一側面の操作入力装置は、画像を表示する表示画面に対して、外部からの前記表示画面に対する複数の操作入力に対応する光の検出を行う入出力手段と、外部から入力があった入力部分の時間的若しくは空間的な位置関係に基づいて、一連の入力を表すターゲットの情報を生成するターゲット生成手段と、前記ターゲット生成手段により生成されたターゲットが一時的に消失したときに、消失した前記ターゲットを補完する消失データ補完手段と、前記ターゲット生成手段により不安定なターゲットが生成されたときに、不安定な前記ターゲットを除去する不安定データ除去手段と、前記消失データ補完手段による処理と、前記不安定データ除去手段による処理とのいずれかを選択する処理選択手段を備える。

本発明の一側面の操作入力方法またはプログラムは、画像を表示する表示画面に対して、外部からの前記表示画面に対する複数の操作入力に対応する光の検出を行い、外部から入力があった入力部分の時間的若しくは空間的な位置関係に基づいて、一連の入力を表すターゲットの情報を生成し、生成されたターゲットが一時的に消失したときに、消失した前記ターゲットを補完し、不安定なターゲットが生成されたときに、不安定な前記ターゲットを除去し、前記ターゲットを補完する処理と、不安定な前記ターゲットを除去する処理とのいずれかを選択するステップを含む。

本発明の一側面においては、画像を表示する表示画面に対して、外部からの表示画面に対する複数の操作入力に対応する光の検出が行われ、外部から入力があった入力部分の時間的若しくは空間的な位置関係に基づいて、一連の入力を表すターゲットの情報が生成される。また、生成されたターゲットが一時的に消失したときに、消失したターゲットが補完され、不安定なターゲットが生成されたときに、不安定なターゲットが除去される。そして、ターゲットを補完する処理と、不安定なターゲットを除去する処理とのいずれかが選択される。

本発明の一側面によれば、操作入力に対して正確な動作をすることができる。

従来の入出力パネルの構成例を示すブロック図である。本発明を適用した操作入力装置の第１の実施の形態の構成例を示すブロック図である。操作入力装置において表示を制御する処理のフローチャートである。ノイズ除去処理を説明するフローチャートである。異常高密度フィルタ処理を説明するフローチャートである。異常低密度フィルタ処理を説明するフローチャートである。異常アスペクト比フィルタ処理を説明するフローチャートである。ターゲット修正処理を説明するフローチャートである。不安定データ除去処理を説明するフローチャートである。消失データ補完処理を説明するフローチャートである。修正部の動作例を説明する図である。修正部の動作例を説明する図である。修正部の動作例を説明する図である。本発明を適用した操作入力装置の第２の実施の形態の構成例を示すブロック図である。操作入力装置において実行されるターゲット修正処理を説明するフローチャートである。本発明を適用した操作入力装置の第３の実施の形態の構成例を示すブロック図である。代表照度と各パラメータの設定値とが登録されたテーブルを示す図である。コンピュータの構成例を示すブロック図である。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

図２は、本発明を適用した操作入力装置の第１の実施の形態の構成例を示すブロック図である。

図２において、操作入力装置２１は、入出力ディスプレイ２２、受光信号処理部２３、画像処理部２４、ノイズ除去部２５、生成部２６、修正部２７、および制御部２８を備えて構成される。

入出力ディスプレイ２２は、画像の表示と、外部からの入力に対応する光の検出とを行う。即ち、入出力ディスプレイ２２は、図示しない表示信号処理部から供給される画像データに対応する画像を、その表示画面に表示する。また、入出力ディスプレイ２２は、例えば、表示画面全体に分布するように配置された複数の光センサ２２Ａを内蔵し、外部から入射する光を受光し、その光の受光量に対応する受光信号を生成して、受光信号処理部２３に供給する。

受光信号処理部２３は、入出力ディスプレイ２２からの受光信号に対して、所定の処理を施すことにより、入出力ディスプレイ２２の表示画面に対して、ユーザの指などの物体が接触している部分と、何も接触していない部分とで輝度が異なる画像を生成する。なお、ユーザの指などの物体が接触している部分には、ユーザの指などの物体がほぼ接触していると判断できるほど短い距離だけ近接している部分が含まれるものとする。受光信号処理部２３は、ユーザの指などの接触に応じて輝度が異なる画像を、入出力ディスプレイ２２の表示画面に表示される画像のフレームごとに生成し、画像処理部２４に供給する。

画像処理部２４は、受光信号処理部２３から供給される各フレームの画像に対して、例えば、２値化、ノイズ除去、ラベリング等の画像処理を施す。これにより、画像処理部２４は、入出力ディスプレイ２２の表示画面にユーザの指などが接触している部分（領域）を、外部からの入力があった入力部分として検出し、その入力部分の点情報を生成してノイズ除去部２５に供給する。入力部分の点情報には、入力部分の座標（入力部分を代表する入出力ディスプレイ２２の表示画面上の点を示す座標）、入力部分の接触面積、および入力部分の形状（接触領域）が含まれる。

ノイズ除去部２５は、画像処理部２４から供給される入力部分の点情報に基づいて、ノイズ成分を除去するノイズ除去処理を行う。

上述したように、画像処理部２４は、入出力ディスプレイ２２が出力する受光信号から生成される画像に基づいて入力部分を検出する。ところが、画像処理部２４が検出する入力部分には、ユーザの指などの接触により検出されるものの他、例えば、ユーザの指などが接触していなくても、入出力ディスプレイ２２の表面画面への照射光の急激な変化により、入力部分として検出されるものがある。そこで、ノイズ除去部２５は、このような物体の非接触部分で検出された入力部分を、その形状などの特徴を抽出することによりノイズ成分として認識して、ノイズ成分と認識された入力部分の点情報を削除するノイズ除去処理を行う。

生成部２６は、ターゲット生成部３１および記憶部３２を備えて構成される。

ターゲット生成部３１には、ノイズ除去部２５においてノイズ成分が除去された入力部分の点情報が供給される。ターゲット生成部３１は、その入力部分の点情報に対し、フレームごとに、記憶部３２に記憶されている全フレームのターゲット生成用参照データとの統合処理を施す。この統合処理により、ターゲット生成部３１は、入力部分の時間的または空間的な位置関係に基づいて、一連の入力を表すターゲットを識別するためのターゲットＩＤを割り振ったターゲット情報を生成する。

記憶部３２には、後述するように、修正部２７から、ターゲット生成部３１がターゲット情報を生成する際に参照されるターゲット生成用参照データが供給され、記憶される。

修正部２７は、ターゲット生成部３１が生成したターゲット情報から、不安定なターゲットを除去することにより、または、一時的に消失したターゲットを補完することにより、誤動作を起こす原因となるターゲットを修正する。そして、修正部２７は、修正後のターゲット情報を制御部２８に供給する。

即ち、修正部２７は、処理選択部４１、消失データ補完部４２、不安定データ除去部４３、および記憶部４４を備えて構成される。

処理選択部４１は、ターゲット生成部３１から供給されるターゲット情報と、記憶部４４に記憶されている中間データとに基づいて、各ターゲットに対して施す処理を選択する。そして、処理選択部４１は、ターゲットに対して施す処理に従って、消失データ補完部４２および不安定データ除去部４３のいずれか一方に、ターゲット情報を供給する。

消失データ補完部４２は、処理選択部４１から供給されたターゲット情報と、記憶部４４に記憶されている中間データとに基づいて、一時的に消失したターゲットがあれば、そのターゲットを補完し、一連の操作として再生成する消失データ補完処理を行う。例えば、消失データ補完部４２は、ターゲットが消失してから経過した時刻を示す補完期間（Hold Time）に基づいて、補完すべきターゲットであるか否かを判断する。

不安定データ除去部４３は、処理選択部４１から供給されたターゲット情報と、記憶部４４に記憶されている中間データとに基づいて、不安定なターゲットがあれば、そのターゲットを除去する不安定データ除去処理を行う。例えば、不安定データ除去部４３は、ターゲットの面積の安定性と、ターゲットが認識されてから経過した時刻を示す生存期間（Life）とに基づいて、不安定なターゲットであるか否かを判断する。

記憶部４４には、消失データ補完部４２または不安定データ除去部４３において処理が施されたターゲット情報が供給され、記憶部４４は、そのターゲット情報を、修正部２７の内部処理で使用される中間データとして記憶（保持）する。そして、記憶部４４に記憶されている中間データ（例えば、１フレーム前のターゲット情報）が、処理選択部４１、消失データ補完部４２、および不安定データ除去部４３が実行する処理において参照される。

制御部２８は、例えば、入出力ディスプレイ２２の表示画面上に接触されるユーザの指などの動きに応じて、入出力ディスプレイ２２の表示画面の表示（動作）を制御する上位のアプリケーションを実行する。そして、制御部２８には、修正部２７において修正されたターゲット情報が供給され、制御部２８は、そのターゲット情報に基づき、必要に応じて、入出力ディスプレイ２２に画像データを供給する表示信号処理部（図示せず）を制御する。このような制御部２８の制御に従って、例えば、入出力ディスプレイ２２の表示状態が変化（例えば、縮小または拡大や、回転、スライドなど）する。

次に、図３のフローチャートを参照して、図２の操作入力装置２１において、入出力ディスプレイ２２の表示画面上におけるユーザの指などの動きに応じて表示を制御する処理について説明する。

例えば、ユーザが操作入力装置２１の電源をオンにすると処理が開始され、入出力ディスプレイ２２に表示される画像の１フレームごとに処理が繰り返して行われる。

ステップＳ１において、入出力ディスプレイ２２の光センサ２２Ａは、例えば、入出力ディスプレイ２２の表示画面にフレームが表示されるのに同期したタイミングで光を受光し、その受光量に応じた受光信号を受光信号処理部２３に供給する。光センサ２２Ａは、例えば、入出力ディスプレイ２２の表示画面に接触しているユーザの指などにより反射する反射光や、入出力ディスプレイ２２の表示画面に照射される外光などを受光する。

ステップＳ２において、受光信号処理部２３は、入出力ディスプレイ２２から供給される受光信号に所定の処理を施す。これにより、受光信号処理部２３は、例えば、入出力ディスプレイ２２の表示画面に対して、ユーザの指などが接触している部分と、何も接触していない部分とで輝度が異なる画像を取得し、その画像を画像処理部２４に供給する。

ステップＳ３において、画像処理部２４は、受光信号処理部２３から供給される画像に対して、２値化、ノイズ除去、ラベリング等の画像処理を施す。画像処理部２４は、これらの画像処理により、ユーザの指などが入出力ディスプレイ２２の表示画面に接触している領域を、外部からの入力があった入力部分として検出し、その入力部分の点情報を取得して、ノイズ除去部２５に供給する。

ステップＳ４において、ノイズ除去部２５は、画像処理部２４から供給される入力部分の点情報に基づいて、ノイズ成分として認識された入力部分の点情報を削除するノイズ除去処理を施す。ノイズ除去処理の詳細については、図４乃至図７を参照して後述する。ノイズ除去部２５は、ノイズ成分ではないと認識された入力部分の点情報を生成部２６に供給する。

ステップＳ５において、生成部２６のターゲット生成部３１は、ノイズ除去部２５から供給される入力部分の点情報に対し、記憶部３２に記憶されている全フレームのターゲット生成用参照データとの統合処理を施す。ターゲット生成部３１は、統合処理によりターゲットと認識した入力部分について、ターゲット情報を生成して修正部２７に供給する。

ステップＳ６において、修正部２７は、生成部２６により生成されたターゲット情報に基づいて、不安定なターゲットの除去、または一時的に消失したターゲットの補完を行ってターゲット情報を修正するターゲット修正処理を施し、制御部２８に供給する。ターゲット修正処理の詳細については、図８乃至図１０を参照して後述する。

ステップＳ７において、制御部２８は、修正部２７から供給されるターゲット情報に基づいて、必要に応じて、入出力ディスプレイ２２に画像データを供給する表示信号処理部（図示せず）に対し、入出力ディスプレイ２２の表示状態を変更させる表示制御を行う。

ステップＳ８において、入出力ディスプレイ２２は、制御部２８の表示制御に従い、それまでとは異なる表示状態、例えば、それまで表示されていた画像が時計周りに９０°回転して表示される表示状態で、画像を表示する。

その後、処理は、ステップＳ１に戻り、次のフレームに対して同様の処理が繰り返される。

以上のように、操作入力装置２１では、ノイズ成分として認識された入力部分の点情報を削除されるとともに、不安定なターゲットが除去され、または一時的に消失したターゲットが補完されるので、ユーザの指などの動きに応じた確実な表示制御が行われる。即ち、例えば、入出力ディスプレイ２２の表示画面への照射光の急激な変化に起因する誤作動を防止することができる。

次に、図４は、図３のステップＳ４におけるノイズ除去処理を説明するフローチャートである。

例えば、画像処理部２４が、所定の１フレームにおける入力部分の点情報をノイズ除去部２５に供給すると処理が開始される。上述したように、入力部分の点情報には、処理対象となるフレームにおいて検出された全ての入力部分についての座標、接触面積、および形状を示す情報が含まれている。

ステップＳ１１において、ノイズ除去部２５は、物体の非接触部分で検出された入力部分についての形状などの特徴を抽出するために、画像処理部２４から供給される入力部分の点情報に基づいて、入力部分についての２次的情報を生成する。例えば、ノイズ除去部２５は、入力部分の密度値およびアスペクト比を２次的情報として生成する。即ち、ノイズ除去部２５は、入力部分の形状に基づいて入力部分に外接する矩形を求め、この外接矩形の面積に対する入力部分の面積を入力部分の密度値として算出する。また、ノイズ除去部２５は、この外接矩形の縦方向と横方向の長さの比率をアスペクト比として算出する。

ステップＳ１２において、ノイズ除去部２５は、ステップＳ１１で算出した各入力部分の密度値に従って、所定の高密度閾値以上となる密度値が算出された入力部分の点情報を除去する異常高密度フィルタ処理（図５）を行う。

ステップＳ１３において、ノイズ除去部２５は、ステップＳ１１で算出した各入力部分の密度値に従って、所定の低密度閾値以下となる密度値が算出された入力部分の点情報を除去する異常低密度フィルタ処理（図６）を行う。

ステップＳ１４において、ノイズ除去部２５は、ステップＳ１１で算出した各入力部分のアスペクト比に従って、所定のアスペクト比閾値以上となるアスペクト比が算出された入力部分の点情報を除去する異常アスペクト比フィルタ処理（図７）を行う。ステップＳ１４の処理後、処理は終了する。

次に、図５乃至図７を参照して、異常高密度フィルタ処理、異常低密度フィルタ処理、および異常アスペクト比フィルタ処理について説明する。なお、ノイズ除去部２５には、例えば、操作入力装置２１の設計時などにおいて、ユーザの指などによる入力操作に対して正常に応答するような閾値が決定されており、それらの閾値が予め記憶されている。

図５は、図４のステップＳ１２における異常高密度フィルタ処理を説明するフローチャートである。

異常高密度フィルタ処理において、ノイズ除去部２５は、図４のステップＳ１１で２次的情報が生成された点情報を、順次、対象として評価を行っており、ステップＳ２１において、２次的情報が生成された全ての点情報を評価の対象としたか否かを判定する。

ステップＳ２１において、ノイズ除去部２５が、全ての点情報を評価の対象としていないと判定した場合、即ち、評価の対象とされていない点情報がまだある場合、処理はステップＳ２２に進む。

ステップＳ２２において、ノイズ除去部２５は、評価の対象とされていない所定の点情報を処理の対象とし、評価対象の点情報の密度値が高密度閾値以上であるか否かを判定する。

ステップＳ２２において、ノイズ除去部２５が、評価対象の点情報の密度値が高密度閾値以上であると判定した場合、処理はステップＳ２３に進む。

ステップＳ２３において、ノイズ除去部２５は、ステップＳ２２で評価対象とした点情報を除去する。即ち、高密度閾値以上となるような異常に高い密度値が算出された点情報は、ノイズ成分であると認識されて除去される。

ステップＳ２３の処理後、または、ステップＳ２２で評価対象の点情報の密度値が高密度閾値以上でないと（高密度閾値未満であると）判定された場合、処理はステップＳ２１に戻り、以下、同様の処理が繰り返される。

一方、ステップＳ２１において、ノイズ除去部２５が、全ての点情報を評価の対象としたと判定した場合、異常に高い密度値が算出された点情報は全て削除されており、処理は終了する。

次に、図６は、図４のステップＳ１３における異常低密度フィルタ処理を説明するフローチャートである。

ステップＳ３１において、ノイズ除去部２５は、図５のステップＳ２１と同様に、２次的情報が生成された全ての点情報を評価の対象としたか否かを判定し、全ての点情報を評価の対象としていないと判定した場合、処理はステップＳ３２に進む。

ステップＳ３２において、ノイズ除去部２５は、評価の対象とされていない所定の点情報を処理の対象とし、評価対象の点情報の密度値が低密度閾値以下であるか否かを判定する。

ステップＳ３２において、ノイズ除去部２５が、評価対象の点情報の密度値が低密度閾値以下であると判定した場合、処理はステップＳ３３に進み、ノイズ除去部２５は、その点情報を除去する。即ち、低密度閾値以下となるような異常に低い密度値が算出された点情報は、ノイズ成分であると認識されて除去される。

ステップＳ３３の処理後、または、ステップＳ３２で評価対象の点情報の密度値が低密度閾値以下でないと（低密度閾値より大であると）判定された場合、処理はステップＳ３１に戻り、以下、同様の処理が繰り返される。

一方、ステップＳ３１において、ノイズ除去部２５が、全ての点情報を評価の対象としたと判定した場合、異常に低い密度値が算出された点情報は全て削除されており、処理は終了する。

次に、図７は、図４のステップＳ１４における異常アスペクト比フィルタ処理を説明するフローチャートである。

ステップＳ４１において、ノイズ除去部２５は、図５のステップＳ２１と同様に、２次的情報が生成された全ての点情報を評価の対象としたか否かを判定し、全ての点情報を評価の対象としていないと判定した場合、処理はステップＳ４２に進む。

ステップＳ４２において、ノイズ除去部２５は、評価の対象とされていない所定の点情報を処理の対象とし、評価対象の点情報のアスペクト比がアスペクト比閾値以上であるか否かを判定する。

ステップＳ４２において、ノイズ除去部２５が、評価対象の点情報のアスペクト比がアスペクト比閾値以上であると判定した場合、処理はステップＳ４３に進み、ノイズ除去部２５は、その点情報を除去する。即ち、アスペクト比閾値以上となるような異常に高いアスペクト比が算出された点情報は、ノイズ成分であると認識されて除去される。

ステップＳ４３の処理後、または、ステップＳ４２で評価対象の点情報のアスペクト比がアスペクト比閾値以上でないと（アスペクト比閾値以上未満であると）判定された場合、処理はステップＳ４１に戻り、以下、同様の処理が繰り返される。

一方、ステップＳ４１において、ノイズ除去部２５が、全ての点情報を評価の対象としたと判定した場合、異常に高いアスペクト比が算出された点情報は全て削除されており、処理は終了する。

以上のように、ノイズ除去部２５では、密度値およびアスペクト比に基づいて、ノイズ成分と認識された入力部分を除去することができる。

例えば、操作入力装置２１は、ユーザの指により入力操作が行われることを想定して設計されており、通常、ユーザの指が接触したときの接触領域は楕円形となる。従って、例えば、想定されている楕円形よりも細長い形状が検出された入力部分は、ユーザの指による入力操作ではない、即ち、ノイズ成分であると判断することができ、ノイズ除去処理において除去される。つまり、ユーザの指による接触領域と判断できる範囲となるように、高密度閾値および低密度閾値が設定され、ユーザの指による接触領域と判断できる最も高いアスペクト比に、アスペクト比閾値が設定される。

従って、ノイズ除去処理により、ユーザの指などによる操作入力以外で検出された入力部分の点情報を削除すること、例えば、入出力ディスプレイ２２への照射光の変化によって検出された非接触部分の点情報を削除することができる。これにより、非接触部分の点情報に基づく誤動作を防止することができ、より正確な動作をすることができる。

次に、図８は、図３のステップＳ６におけるターゲット修正処理を説明するフローチャートである。ここで、上述したように、操作入力装置２１では、入出力ディスプレイ２２に表示される画像の１フレームごとに処理が繰り返して行われており、現在処理の対象としているフレームを、以下、適宜、時刻ｔのフレームと称する。

ステップＳ５１において、処理選択部４１は、ターゲット生成部３１において生成された全てのターゲット情報を対象として処理を行ったか否かを判定する。例えば、入出力ディスプレイ２２の表示画面上に複数箇所でユーザの指などが接触しているとき、ターゲット生成部３１では、時刻ｔのフレームにおいて、それらに対応する複数のターゲットを認識し、複数のターゲット情報を生成している。従って、修正部２７では、ターゲット生成部３１において複数のターゲット情報が生成されているとき、それらのターゲット情報を、順次、対象として処理を行う。

ステップＳ５１において、処理選択部４１が、全てのターゲット情報を対象として処理を行っていないと判定した場合、即ち、処理の対象とされていないターゲット情報がまだある場合、処理はステップＳ５２に進む。

ステップＳ５２において、処理選択部４１は、まだ処理の対象とされていないターゲット情報を処理の対象として、そのターゲット情報に記載されている処理内容を確認し、処理はステップＳ５３に進む。

例えば、時刻ｔ−１のフレーム（１フレーム前のフレーム）に対する処理においてターゲット生成部３１によりターゲットとして認識された入力部分についてのターゲット情報には、時刻ｔ−１におけるターゲット修正処理で処理内容が記載されている。従って、処理選択部４１は、記憶部４４に記憶されている中間データのうちの、時刻ｔ−１の同一のターゲットＩＤで識別されるターゲット情報を参照し、その記載内容を確認する。

また、処理選択部４１は、ターゲット情報に処理内容が記載されていなければ、そのターゲット情報の処理内容に、除去処理を記載する。即ち、時刻ｔ−１における処理においてターゲットとして認識されてなく、時刻ｔのフレームに対する処理においてターゲットとして認識された入力部分についてのターゲット情報には、処理内容が記載されていない。このため、処理選択部４１は、処理内容の初期設定として除去処理を記載する。

ステップＳ５３において、処理選択部４１は、ステップＳ５２で確認（または記述）したターゲット情報の処理内容（Mode）が、除去処理（Delete Mode）および補完処理（Hold Mode）のいずれであるかを判定する。

ステップＳ５３において、処理選択部４１が、ターゲット情報の処理内容が除去処理である（Mode=Delete Mode）と判定した場合、処理選択部４１はターゲット情報を不安定データ除去部４３に供給し、処理はステップＳ５４に進む。ステップＳ５４において、不安定データ除去部４３は、ステップＳ５３で処理選択部４１から供給されたターゲット情報に不安定データ除去処理（図９）を施す。

一方、ステップＳ５３において、処理選択部４１が、処理の対象としたターゲットの処理内容が補完処理である（Mode=Hold Mode）と判定した場合、処理選択部４１はターゲット情報を消失データ補完部４２に供給し、処理はステップＳ５５に進む。ステップＳ５５において、消失データ補完部４２は、ステップＳ５３で処理選択部４１から供給されたターゲット情報に消失データ補完処理（図１０）を施す。

ステップＳ５４またはＳ５５の処理後、処理はステップＳ５１に戻り、以下、ステップＳ５１において、全てのターゲット情報を対象として処理を行ったと判定されるまで、処理が繰り返される。

ここで、ターゲット修正処理を繰り返す回数（即ち、全てのターゲットの個数）は、時刻ｔ−１のフレームに対する処理において制御部２８に出力したターゲット情報の個数と、時刻ｔのフレームに対する処理において生成部２６から供給されたターゲット情報のうちの、時刻ｔ−１のフレームに対する処理において制御部２８に出力したターゲット情報に含まれるターゲットＩＤと重複しないものの個数とを加算したものとなる。

次に、図９は、図８のステップＳ５４における不安定データ除去処理を説明するフローチャートである。

ステップＳ６１において、不安定データ除去部４３は、時刻ｔのフレームに対してターゲット生成部３１が生成したターゲット情報を、時刻ｔの中間データとして記憶部４４に記憶させ、処理はステップＳ６２に進む。

ステップＳ６２において、不安定データ除去部４３は、時刻ｔの中間データの面積値Ａ_tと、時刻ｔ−１の中間データの面積値Ａ_t-1とに基づいて、次の式（１）を演算することにより、面積変化率（ｄＡ／Ａ）を求める。なお、時刻ｔ−１の中間データとは、時刻ｔ−１（１サンプル前）のフレームに対してターゲット生成部３１が生成し、中間データとして記憶部４４に既に記憶されているターゲット情報のうちの、処理対象の中間データと同一のターゲットＩＤのものである。

・・・（１）

ステップＳ６２の処理後、処理はステップＳ６３に進み、不安定データ除去部４３は、ステップＳ６２で算出した面積変化率が、面積変化率閾値（Ａｔｈ）より大であるか否かを判定する。

ステップＳ６３において、不安定データ除去部４３が、面積変化率が、面積変化率閾値より大である（ｄＡ／Ａ＞Ａｔｈ）と判定した場合、処理はステップＳ６４に進む。ステップＳ６４において、不安定データ除去部４３は、処理の対象としている中間データに新規のＩＤを割り当て、中間データに割り当てられた新規ＩＤの生存期間に１をセット（Life=1）する。即ち、この場合、面積変化率が大きいので、一連の操作入力ではなく、新たな操作入力と判断することができ、処理の対象としている中間データに対応するターゲットは新規に創出されたものとして処理が行われる。

一方、ステップＳ６３において、不安定データ除去部４３が、面積変化率が、面積変化率閾値より大でない（ｄＡ／Ａ≦Ａｔｈ）と判定した場合、処理はステップＳ６５に進む。ステップＳ６５において、不安定データ除去部４３は、処理の対象としているターゲットデータの生存期間をインクリメント（Life++）する。即ち、この場合、面積変化率が小さいので、一連の操作入力として安定したものとして処理が行われる。

ステップＳ６４またはＳ６５の処理後、処理はステップＳ６６に進み、不安定データ除去部４３は、処理の対象としている中間データの生存期間が、所定の生存期間閾値（Life th）より大であるか否かを判定する。

ステップＳ６６において、不安定データ除去部４３が、中間データの生存期間が、所定の生存期間閾値より大である（Life＞Life th）と判定した場合、処理はステップＳ６７に進む。

ステップＳ６７において、不安定データ除去部４３は、この中間データを出力ターゲットデータに代入する。即ち、この場合、中間データは、規定期間において面積変化が少ないので、不安定なデータではなく、ユーザの指などによる入力操作によるデータであると判断することができ、その中間データであるターゲット情報が制御部２８に出力される。また、以降の処理において、同じＩＤの中間データの消失を防止するために、中間データの処理内容を補完処理（Mode=Hold Mode）とするとともに、中間データの補完期間に０をセット（Hold Time=0）する。

一方、ステップＳ６６において、不安定データ除去部４３が、ターゲット情報の生存期間が、所定の生存期間閾値より大でない（Life≦Life th）と判定した場合、処理はステップＳ６８に進む。

ステップＳ６８において、不安定データ除去部４３は、出力ターゲットデータをクリアする。即ち、この場合、中間データは、不安定なデータであると判断することができ、その中間データであるターゲット情報は制御部２８に出力されない。また、この中間データの処理内容を除去処理（Mode=Delete Mode）とするとともに、中間データの補完期間に０をセット（Hold Time=0）する。

ステップＳ６７またはＳ６８の処理後、処理はステップＳ６９に進み、不安定データ除去部４３は、時刻ｔの中間データを生成部２６の記憶部３２に記憶させ、処理は終了する。即ち、時刻ｔの中間データは、ターゲット生成部３１が、次の時刻のフレーム（時刻ｔ＋１のフレーム）におけるターゲット情報を生成する処理で参照するためのターゲット生成用参照データとされる。

以上のように、不安定データ除去部４３では、面積変化率、および、ターゲットの生存期間に基づいて、不安定なデータを除去することができる。これにより、誤作動を防止することができる。

次に、図１０は、図８のステップＳ５５における消失データ補完処理を説明するフローチャートである。

ステップＳ７１において、消失データ補完部４２は、時刻ｔのフレームに対してターゲット生成部３１が生成したターゲット情報を、時刻ｔの中間データとして記憶部４４に記憶させ、処理はステップＳ７２に進む。

ステップＳ７２において、消失データ補完部４２は、時刻ｔの中間データと、時刻ｔ−１の出力データ（時刻ｔ−１で出力ターゲットデータに代入した全てのターゲット情報）とを比較し、処理はステップＳ７３に進む。

ステップＳ７３において、消失データ補完部４２は、ステップＳ７２で時刻ｔの中間データと時刻ｔ−１の出力データとを比較した結果、ターゲットが消失したか否かを判定する。

例えば、消失データ補完部４２は、ステップＳ７２での比較の結果、時刻ｔ−１の出力データにおいて処理内容が補完処理（Mode=Hold Mode）であるターゲット情報であり、かつ、時刻ｔの中間データにおいて存在しないターゲットＩＤ（消失したターゲットＩＤ）を含むターゲット情報が検出されている場合、この条件に合致するターゲット情報のターゲットは消失したものとする。

一方、消失データ補完部４２は、時刻ｔの中間データのターゲット情報に含まれるターゲットＩＤが、時刻ｔ−１の出力データにおけるターゲット情報に含まれるターゲットＩＤと一致する場合、ターゲットは消失していないと判定する。

ステップＳ７３において、消失データ補完部４２が、ターゲットが消失した判定した場合、処理はステップＳ７４に進む。

ステップＳ７４において、消失データ補完部４２は、消失したと判定されたターゲットについての時刻ｔ−１の出力ターゲットデータを参照し、その補完期間（Hold Time）が、所定の補完期間閾値（Hth）より大であるか否かを判定する。

ステップＳ７４において、消失データ補完部４２が、消失したと判定されたターゲットについての時刻ｔ−１の出力ターゲットデータの補完期間が、所定の補完期間閾値より大である（Hold Time＞Hth）と判定した場合、処理はステップＳ７５に進む。

ステップＳ７５において、消失データ補完部４２は、中間データの生存期間に１をセット（Life=1）し、処理はステップＳ７６に進む。

ステップＳ７６において、消失データ補完部４２は、出力ターゲットデータをクリアする。即ち、この場合、消失したと判定されたターゲットの中間データは制御部２８に出力されない。また、消失データ補完部４２は、この中間データの処理内容を除去処理（Mode=Delete Mode）とするとともに、中間データの補完期間に０をセット（Hold Time=0）する。

ステップＳ７６の処理後、処理はステップＳ７７に進み、消失データ補完部４２は、時刻ｔの出力ターゲットデータをターゲット生成用参照データとして、生成部２６の記憶部３２に記憶させ、処理は終了する。即ち、時刻ｔの出力ターゲットデータは、ターゲット生成部３１が、次のフレーム（時刻ｔ＋１のフレーム）に対してターゲット情報を生成する処理で参照するためのターゲット生成用参照データとされる。この場合、時刻ｔの出力ターゲットデータはクリアされており、ターゲットが消失した（例えば、ユーザの指などが入出力ディスプレイ２２の表示画面から離された）ものとして以降の処理が行われる。

一方、ステップＳ７４において、消失データ補完部４２が、消失したと判定されたターゲットについての時刻ｔ−１の出力ターゲットデータの補完期間が、所定の補完期間閾値より大でない（Hold Time≦Hth）と判定した場合、処理はステップＳ７８に進む。

ステップＳ７８において、消失データ補完部４２は、中間データの生存期間をインクリメント（Life++）し、処理はステップＳ７９に進む。

ステップＳ７９において、消失データ補完部４２は、出力ターゲットデータに、時刻ｔ−１の出力データ（即ち、時刻ｔ−１で出力ターゲットデータに代入されたターゲット情報のうちの、消失したと判定されたターゲットのターゲット情報）をコピーする。即ち、この場合、消失したと判定されたターゲットについては、１フレーム前のターゲット情報と同一のターゲット情報が出力される。また、消失データ補完部４２は、この中間データの処理内容を補完処理（Mode=Hold Mode）とするとともに、中間データの補完期間をインクリメント（Hold Time++）する。

ステップＳ７９の処理後、処理はステップＳ７７に進み、消失データ補完部４２は、時刻ｔの出力ターゲットデータをターゲット生成用参照データとして記憶部３２に記憶させ、処理は終了する。この場合、時刻ｔの出力ターゲットデータは、時刻ｔ−１の出力データがコピーされたものであり、消失したターゲットが補完されて以降の処理が行われる。

一方、ステップＳ７３において、消失データ補完部４２が、ターゲットが消失していないと判定した場合、処理はステップＳ８０に進む。

ステップＳ８０において、消失データ補完部４２は、時刻ｔの中間データの生存期間をインクリメント（Life++）し、処理はステップＳ８１に進む。

ステップＳ８１において、消失データ補完部４２は、中間データを出力ターゲットデータに代入する。即ち、この場合、ターゲットは消失していないので、中間データが制御部２８に出力される。また、消失データ補完部４２は、この中間データの処理内容を補完処理（Mode=Hold Mode）とするとともに、中間データの補完期間に０をセット（Hold Time=0）する。

ステップＳ８１の処理後、処理はステップＳ７７に進み、消失データ補完部４２は、時刻ｔの出力ターゲットデータをターゲット生成用参照データとして記憶部３２に記憶させ、処理は終了する。この場合、ターゲットは消失していないので、検出されたターゲットを用いて以降の処理が行われる。

以上のように、消失データ補完部４２では、ターゲットが消失したときに、補完期間が所定の閾値以下の短いものであれば、一時的にターゲットが消失したものと判断できるので、そのターゲットを、１フレーム前の出力データで補完する処理が行われる。これにより、ターゲットが一時的に消失することにより、例えば、消失の前後で異なる操作と判断されることによる誤作動を防止することができる。即ち、一時的な消失であれば、一連の入力とみなして処理を行うことができる。

次に、図１１乃至図１３を参照して、修正部２７の動作例を説明する。なお、この動作例においては、生存期間閾値（Life th）が１に設定されているとともに、補完期間閾値（Hth）が１に設定されている。

図１１乃至図１３では、横方向がサンプリング時間を表し、左側から右側に向かって時刻ｔの経過が示されている。また、図１１乃至図１３では、縦方向が処理の流れを表している。即ち、上側から下側に向かって、ターゲット生成部３１に入力される入力部分の点情報、ターゲット生成部３１において生成されたターゲット情報、記憶部４４に記憶される中間データ、制御部２８に出力される出力ターゲットデータ、および、記憶部３２に記憶されるターゲット生成用参照データを表している。

図１１は、修正部２７の不安定データ除去部４３における不安定データ除去処理による効果が示されている。

例えば、ターゲット生成部３１は、時刻ｔ＋１においてターゲットを新たに検出し、そのターゲットにターゲットＩＤ＃１を割り振るとともに、生存期間に１をセット（Life=1）し、補完期間に０をセット（Hold Time=0）する。また、処理選択部４１は、処理内容の初期設定として除去処理を記載する（図８のステップＳ５２の処理）。

そして、時刻ｔ＋２において、連続的なターゲットが検出され、ターゲット生成部３１は、そのターゲットに時刻ｔ＋１で検出したターゲットＩＤ＃１を割り振る。しかしながら、時刻ｔ＋２で検出されたターゲットは、時刻ｔ＋１で検出されたターゲットＩＤ＃１のターゲットの面積よりも急激に大きな面積に変化している。例えば、その面積変化率が、面積変化率閾値より大である（ｄＡ／Ａ＞Ａｔｈ）場合、不安定データ除去部４３は、時刻ｔ＋２で検出されたターゲットに新規ＩＤ（ターゲットＩＤ＃２）を割り当てる（図９のステップＳ６４の処理）。さらに、生存期間が１以下である（Life≦Life th）であるので、この場合、出力ターゲットデータはクリアされ、ターゲットＩＤ＃２のターゲットは出力されない（図９のステップＳ６８の処理）。

その後、時刻ｔ＋３において、２つのターゲットが検出され、ターゲット生成部３１は、その一方にターゲットＩＤ＃２を割り当てる。しかしながら、時刻ｔ＋３におけるターゲットＩＤ＃２のターゲットの面積は、時刻ｔ＋２におけるターゲットＩＤ＃２のターゲットの面積よりも急激に小さな面積に変化している。従って、不安定データ除去部４３は、そのターゲットに新規ＩＤ（ターゲットＩＤ＃４）を割り当て、出力ターゲットデータをクリアする。

このように、不安定データ除去部４３が、面積変化率が大きいターゲットは不安定なターゲットとして、出力されないように不安定データ処理を行うので、ユーザによる入力操作以外の、不安定なターゲットに基づく誤動作を防止することができる。

図１２は、修正部２７の消失データ補完部４２における消失データ補完処理による効果が示されている。

例えば、ターゲット生成部３１は、時刻ｔ＋１においてターゲットを新たに検出し、そのターゲットにターゲットＩＤ＃５を割り振るとともに、生存期間に１をセット（Life=1）し、補完期間に０をセット（Hold Time=0）する。また、処理選択部４１は、処理内容の初期設定として除去処理（Mode=Delete Mode）を記載する（図８のステップＳ５２の処理）。

そして、時刻ｔ＋２において、連続的なターゲットが検出され、ターゲット生成部３１は、そのターゲットに時刻ｔ＋１で検出したターゲットＩＤ＃５を割り振る。そして、処理内容が除去処理（Mode=Delete Mode）であるので、不安定データ除去部４３にターゲット情報が供給されるが、時刻ｔ＋２で検出されたターゲットは、時刻ｔ＋１で検出されたターゲットＩＤ＃５のターゲットの面積と同等であるので、その中間データの生存期間がインクリメントされる（図９のステップＳ６５の処理）。

さらに、不安定データ除去部４３は、生存期間が１以上である（Life＞Life th）ので、その中間データを出力ターゲットデータに代入するとともに、処理内容を補完処理（Mode=Hold Mode）にして、補完期間に０をセット（Hold Time=0）する。従って、この場合、ターゲットＩＤ＃５のターゲット情報が出力される。

その後、時刻ｔ＋３で、ターゲットが検出されなくても、ターゲットＩＤ＃５の中間データの処理内容が補完処理であるので、消失データ補完部４２において消失データ補完処理が行われ、１フレーム前のターゲット情報と同一のターゲット情報が出力される（図１０のステップＳ７９の処理）。

このように、安定的なターゲットが一時的に消失しても、そのターゲットを補完することで、一時的な消失の前後で、異なるターゲットＩＤが割り振られることなく、即ち、一連の操作入力として同一のＩＤを割り振ることができる。従って、異なる２回の操作が行われたと判断されることによる誤動作が発生することを回避することができる。

図１３は、修正部２７の不安定データ除去部４３における不安定データ除去処理による効果が示されている。なお、図１４では、ユーザの指などによる入力操作に基づいて検出されるターゲットと同時に、不安定なターゲットが発生したときの動作例が示されている。

即ち、時刻ｔ＋１から時刻ｔ＋３までの間、ターゲットＩＤ＃６のターゲットは安定している入力部分として検出されているが、時刻ｔ＋２で検出されているターゲットＩＤ＃７のターゲットは、一時的に発生している不安定なターゲットであるため除去されている。

このように、各ターゲットを識別するターゲットＩＤを利用して、ターゲットごとに独立して不安定データ除去処理と消失データ補完処理とに処理が振り分けられるので、ユーザによる入力操作中に不安定なターゲットが発生しても、操作入力によるターゲットに影響を与えずに、不安定なターゲットのみを除去することができる。

以上のように、不安定データ除去処理と消失データ補完処理とを適切に選択して処理を行うことで、外部から入力があった複数の点の点情報を、入出力ディスプレイ２２を備えた操作入力装置２１において実行される上位のアプリケーションにおいて容易に取り扱うことができる。また、入出力ディスプレイ２２への照射光の時間的または空間的な変動により発生するノイズ成分を除去することで、指などの非完全反射物による操作時のターゲットの消失を防止することができ、上位のアプリケーションで誤動作が発生することを防止することができる。

次に、図１４は、本発明を適用した操作入力装置の第２の実施の形態の構成例を示すブロック図である。

図１４において、操作入力装置５１は、外光センサ５２、選択処理部５３、入出力ディスプレイ２２、受光信号処理部２３、画像処理部２４、ノイズ除去部２５、生成部２６、修正部２７、および制御部２８を備えて構成される。なお、図１４では、図２の操作入力装置２１と共通する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

即ち、図１４の操作入力装置５１は、入出力ディスプレイ２２、受光信号処理部２３、画像処理部２４、ノイズ除去部２５、生成部２６、修正部２７、および制御部２８を備える点で、図２の操作入力装置２１と共通する。但し、図１４の操作入力装置５１は、外光センサ５２および選択処理部５３を備える点で、図２の操作入力装置２１と相違する。

外光センサ５２は、例えば、入出力ディスプレイ２２に照射される外光の状態（例えば、外光の照度や、外光のスペクトル、外光の照射方向など）を検出し、外光の状態を示す外光情報を取得して、その外光情報を処理選択部４１および５３に供給する。

選択処理部５３は、外光センサ５２から供給される外光情報に基づいて、ノイズ除去部２５にノイズ除去処理を行わせか否かを選択する。例えば、選択処理部５３は、入出力ディスプレイ２２に照射されている外光が、画像処理部２４において検出される入力部分の点情報にノイズ成分が発生させるようなものである場合、入力部分の点情報をノイズ除去部２５に供給し、ノイズ除去処理を行わせる。一方、選択処理部５３は、入出力ディスプレイ２２に照射されている外光が、画像処理部２４において検出される入力部分の点情報にノイズ成分が発生させるようなものでない場合、入力部分の点情報を生成部２６に供給する。この場合、ノイズ除去部２５によるノイズ除去処理は行われない。

このように選択処理部５３がノイズ除去部２５にノイズ除去処理を行わせか否かを選択することで、ノイズ成分が発生するような外光条件でないとき、ノイズ除去処理をスキップすることにより、処理速度を向上させることができる。

また、操作入力装置５１では、修正部２７の処理選択部４１に、外光センサ５２から外光情報が供給され、修正部２７では、その外光情報に基づいたターゲット修正処理が実行される。

例えば、入出力ディスプレイ２２に照射されている外光の状態によっては、ターゲットの消失が発生せずに不安定なターゲットが発生するような外光条件や、不安定なターゲットが発生せずにターゲットの消失が発生するような外光条件がある。また、不安定なターゲットが発生するとともに、ターゲットの消失が発生するような外光条件や、不安定なターゲットが発生せず、ターゲットの消失が発生しないような外光条件がある。従って、処理選択部４１は、外光センサ５２から供給される外光情報に基づき、入出力ディスプレイ２２に照射されている外光の状態に応じて、ターゲット修正処理において実行する処理を決定する。

即ち、図１５は、図１４の操作入力装置５１において実行されるターゲット修正処理を説明するフローチャートである。

ステップＳ１０１において、外光センサ５２は、入出力ディスプレイ２２に照射される外光の状態を検出して外光情報を取得し、修正部２７の処理選択部４１に供給する。

ステップＳ１０２において、処理選択部４１は、ステップＳ１０１で外光センサ５２から供給された外光情報に基づいて、不安定なターゲットが発生するような外光条件であるか否かを判定する。

ステップＳ１０２において、処理選択部４１が、不安定なターゲットが発生するような外光条件であると判定した場合、処理はステップＳ１０３に進み、処理選択部４１は、ターゲットの消失が発生するような外光条件であるか否かを判定する。

ステップＳ１０３において、処理選択部４１が、ターゲットの消失が発生するような外光条件であると判定した場合、処理はステップＳ１０４に進む。即ち、この場合、不安定なターゲットが発生するともに、ターゲットの消失が発生するような外光条件であるので、不安定データ除去処理および消失データ補完処理のいずれかの処理が選択的に行われる。

ステップＳ１０４乃至Ｓ１０８において、図８のステップＳ５１乃至Ｓ５５と同様に、全てのターゲットに対して、不安定データ除去処理および消失データ補完処理のうちの一方の処理が施され、処理は終了する。

一方、ステップＳ１０３において、処理選択部４１が、ターゲットの消失が発生するような外光条件でないと判定した場合、処理はステップＳ１０９に進む。即ち、この場合、入出力ディスプレイ２２に照射されている外光の状態は、ターゲットの消失は発生せずに、不安定なターゲットが発生する外光条件となっている。

ステップＳ１０９において、処理選択部４１は、全てのターゲット情報を不安定データ除去部４３に供給し、不安定データ除去部４３が、全てのターゲットに対して不安定データ除去処理を施し、処理は終了する。

一方、ステップＳ１０２において、処理選択部４１が、不安定なターゲットが発生するような外光条件でないと判定した場合、処理はステップＳ１１０に進み、処理選択部４１は、ターゲットの消失が発生するような外光条件であるか否かを判定する。

ステップＳ１１０において、処理選択部４１が、ターゲットの消失が発生するような外光条件であると判定した場合、処理はステップＳ１１１に進む。即ち、この場合、入出力ディスプレイ２２に照射されている外光の状態は、不安定なターゲットが発生せずに、ターゲットの消失が発生する外光条件となっている。

ステップＳ１１１において、処理選択部４１は、全てのターゲット情報を消失データ補完部４２に供給し、消失データ補完部４２が、全てのターゲットに対して消失データ補完処理を施し、処理は終了する。

一方、ステップＳ１１０において、処理選択部４１が、ターゲットの消失が発生するような外光条件でないと判定した場合、不安定データ除去処理および消失データ補完処理は行われずに、処理は終了する。即ち、この場合、入出力ディスプレイ２２に照射されている外光の状態は、不安定なターゲットが発生せずに、ターゲットの消失も発生しない外光条件となっている。

以上のように、外光条件に従って処理を選択するので、操作入力装置５１の使用環境の照度などに合わせて最適な処理を行うことができる。例えば、ターゲットの消失が発生するような外光条件や、不安定なターゲットが発生するような外光条件であれば、処理性能が向上するように（例えば、誤作動が発生せずに正確に動作するように）処理が選択される。また、ターゲットの消失の発生も、不安定なターゲットの発生もないよう外光条件であれば、処理速度が向上するように処理が選択される。これにより、より効果的に誤動作を防止する効果を得ることができる。

また、消失データ補完部４２または不安定データ除去部４３は、外光条件に応じて、それぞれの処理に用いる閾値を最適化することができる。

例えば、ターゲットの消失が発生しやすい外光条件である場合、消失データ補完部４２は、補完期間閾値（Hth）を、通常よりも大きな値に設定することで、ターゲットが消失し難くなるようにすることができる。また、不安定なターゲットが発生しやすい外光条件である場合、不安定データ除去部４３は、生存期間閾値（Life th）を、通常よりも大きな値に設定することで、不安定なターゲットを除去し易くすることができる。

次に、図１６は、本発明を適用した操作入力装置の第３の実施の形態の構成例を示すブロック図である。

図１６において、操作入力装置６１は、制御パラメータ調整部６２、ターゲット修正部６３、外光センサ５２、選択処理部５３、入出力ディスプレイ２２、受光信号処理部２３、画像処理部２４、ノイズ除去部２５、生成部２６、修正部２７、および制御部２８を備えて構成される。なお、図１６では、図１４の操作入力装置５１と共通する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

即ち、図１６の操作入力装置６１は、外光センサ５２、選択処理部５３、入出力ディスプレイ２２、受光信号処理部２３、画像処理部２４、ノイズ除去部２５、生成部２６、修正部２７、および制御部２８を備える点で、図１４の操作入力装置５１と共通する。但し、図１６の操作入力装置６１は、制御パラメータ調整部６２およびターゲット修正部６３を備える点で、図１４の操作入力装置５１と相違する。

制御パラメータ調整部６２には、入出力ディスプレイ２２に照射される外光の状態を示す外光情報が外光センサ５２から供給される。制御パラメータ調整部６２は、外光の照度に基づいて、入出力ディスプレイ２２の表示画面における発光素子の発光強度（Power）や、受光信号処理部２３における信号レベル下限閾値（Signal Th）を調整する。また、制御パラメータ調整部６２は、外光の照度に基づいて、画像処理部２４における面積上限閾値（Amax）および面積下限閾値（Amin）を調整する。

ターゲット修正部６３には、修正部２７の消失データ補完部４２または不安定データ除去部４３から修正されたターゲット情報が供給されるとともに、外光センサ５２から外光情報が供給される。ターゲット修正部６３は、ターゲット情報に含まれるターゲットの面積値を、外光センサ５２からの外光情報に基づいて求められるゲインで増幅し、その処理が施されたターゲット情報を制御部２８に供給する。

例えば、制御パラメータ調整部６２およびターゲット修正部６３は、図１７に示すような、代表照度ごとに予め設定された各パラメータの設定値を登録したテーブル（のうちのそれぞれ必要な部分）を記憶することができる。そして、制御パラメータ調整部６２およびターゲット修正部６３は、外光センサ５２から供給される外光情報の照度に応じて、図１７のテーブルを参照し、各パラメータを決定することができる。

図１７のテーブルでは、代表照度として、10,100,1000,10000,100000が登録されており、代表照度10に対応付けて、発光強度Power₁₀、信号レベル下限閾値Signal Th₁₀、面積上限閾値Amax₁₀、面積下限閾値Amin₁₀、およびゲインGain₁₀が登録されている。また、同様に、代表照度100〜100000に対応付けて、発光強度Power₁₀₀〜Power₁₀₀₀₀₀、信号レベル下限閾値Signal Th₁₀₀〜Signal Th₁₀₀₀₀₀、面積上限閾値Amax₁₀₀〜Amax₁₀₀₀₀₀、面積下限閾値Amin₁₀₀〜Amin₁₀₀₀₀₀、およびゲインGain₁₀₀〜Gain ₁₀₀₀₀₀がそれぞれ登録されている。

ここで、制御パラメータ調整部６２が、外光センサ５２からの外光情報の照度値をＬとしたときの発光強度Power_Lを算出する例について説明する。例えば、代表照度のうちの、照度値Ｌ以下で最大のものをＬ_aとし、照度値Ｌ以上で最小のものをＬ_bとする。このとき、制御パラメータ調整部６２は、図１７のテーブルを参照し、代表照度Ｌ_aに対応付けられている発光強度をPower_aとし、代表照度Ｌ_bに対応付けられている発光強度をPower_bとする。

そして、制御パラメータ調整部６２は、次の式（２）を演算することにより、発光強度Power_Lを求める。

・・・（２）

なお、発光強度Power_L以外のパラメータ、即ち、信号レベル下限閾値Signal Th_L、面積上限閾値Amax_L、面積下限閾値Amin_L、およびゲインGain_Lについても、式（２）に基づいて、発光強度Power_Lと同様に算出することができる。

また、テーブルに登録された代表照度の数が十分に多い場合には、上述の式（２）を簡易化した次の式（３）を用いて、各パラメータを算出することができる。

・・・（３）

以上のように、図１６の操作入力装置６１では、外光センサ５２の出力に基づいてパラメータを調整するので、例えば、高照度環境下において検出率の低下を防止することができる。

即ち、従来の入出力パネルでは、野外などの高照度環境下では、指などの非完全反射物下の光センサの信号強度は、透過光の影響を受けて、入力として認識される光センサの個数が、屋内などの低照度環境下よりも少なくなる。例えば、指のような断面が楕円形の形状となる非完全反射物の場合、低照度環境下では接触面と非接触面の境界周辺の光センサの信号強度は急峻に変化するが、高照度環境下では接触面と非接触面の境界周辺の光センサの信号強度は透過光の影響によりなだらかに変化する。このため、受信信号処理および画像処理において一定の閾値を用いて入力認識を行うと、照度によって入力光を受光していると認識される光センサの個数が異なり、高照度ほど点情報の面積が小さくなる。

さらに、ノイズ除去のために一定の面積値以下の点情報を除去する処理が行われると、点情報が除去される可能性がある。その結果、野外などの高照度環境下での指などの非完全反射物による入力操作は、低照度での操作と比較し、入力対象として認識される光センサの個数が減少し、面積値を用いたノイズ除去処理によって検出率が低下し、操作性が低下することがある。

これに対し、操作入力装置６１では、たとえば、ターゲット出力時の面積値を、外光条件に応じたゲインで増幅することで、周囲の環境光によらず同一の入力対象であれば、同一の面積値のターゲットを生成することができる。従って、高照度環境下と低照度環境下とで、ターゲットの面積を一定にすることができるので、上述したような検出率が低下することが回避され、その結果、操作性を維持することができる。即ち、外光条件による検出率の低下を防止する効果を得ることができる。

さらに、操作入力装置６１では、上位アプリケーションでターゲットの面積を利用した処理、例えば、ユーザが指を強く押し当てることによる接触面積の増加を利用した処理などにおいて、上述したような外光条件によって挙動が変化することが回避されるので、そのような処理を正確に行うことができる。

なお、図１４の操作入力装置５１において、外光センサ５２として、外光の状態を検出するための専用のセンサを設ける他、例えば、入出力ディスプレイ２２に配置されている複数の光センサ２２Ａの一部を利用することができる。このように、光センサ２２Ａの一部を外光の状態を検出するセンサとして利用する場合、操作入力装置５１を構成するシステムとして新たなデバイスを追加することなく外光の状態を用いた制御を行うことができる。また、図１６の操作入力装置６１においても同様である。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インタネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

２１操作入力装置，２２入出力ディスプレイ，２２Ａ光センサ，２３受光信号処理部，２４画像処理部，２５ノイズ除去部，２６生成部，２７修正部，２８制御部，３１ターゲット生成部，３２記憶部，４１処理選択部，４２消失データ補完部，４３不安定データ除去部，４４記憶部，５１操作入力装置，５２外光センサ，５３選択処理部，６１操作入力装置，６２制御パラメータ調整部，６３ターゲット修正部

Claims

画像を表示する表示画面に対して、外部からの前記表示画面に対する複数の操作入力に対応する光の検出を行う入出力手段と、
外部から入力があった入力部分の時間的若しくは空間的な位置関係に基づいて、一連の入力を表すターゲットの情報を生成するターゲット生成手段と、
前記ターゲット生成手段により生成されたターゲットが一時的に消失したときに、消失した前記ターゲットを補完する消失データ補完手段と、
前記ターゲット生成手段により不安定なターゲットが生成されたときに、不安定な前記ターゲットを除去する不安定データ除去手段と、
前記消失データ補完手段による処理と、前記不安定データ除去手段による処理とのいずれかを選択する処理選択手段
を備える操作入力装置。
前記入出力手段による前記光の検出に基づく入力部分の形状の特徴を抽出し、異常な特徴を有する形状の入力部分を除去し、異常な特徴を有する形状以外の入力部分を前記ターゲット生成手段に供給するノイズ除去手段
をさらに備える請求項１に記載の操作入力装置。
前記入出力手段の表示画面に表示される画像のフレームごとに処理が繰り返して行われ、
前記ターゲット生成手段により生成されたターゲットの情報を、次のフレームに対する処理で参照する中間データとして記憶する記憶手段をさらに備え、
前記処理選択手段は、前記記憶手段に記憶されている前記中間データに基づいて、処理の対象としているターゲットに対する処理を選択する
請求項１に記載の操作入力装置。
前記処理選択手段は、処理の対象としているターゲットに対応するものが、前記記憶手段に記憶されている前記中間データに存在しない場合、処理の対象としているターゲットについて、前記不安定データ除去手段による処理を行うことを選択する
請求項３に記載の操作入力装置。
前記中間データには、その中間データに対応するターゲットの情報がターゲット生成手段により生成されてからの期間を表す生存期間が設定されており、
前記処理選択手段は、前記生存期間の長さが所定の閾値以上である場合、前記ターゲットの次のフレームにおける処理を、前記消失データ補完手段によるものと設定する
請求項１に記載の操作入力装置。
前記中間データには、その中間データに対応するターゲットが消失してから前記消失データ補完手段による補完が行われた期間を表す補完期間が設定されており、
前記処理選択手段は、前記補完期間の長さが所定の閾値より大である場合、前記ターゲットの次のフレームにおける処理を、前記不安定データ除去手段によるものと設定する
請求項１に記載の操作入力装置。
前記中間データには、その中間データに対応するターゲットの情報がターゲット生成手段により生成されてからの期間を表す生存期間と、その中間データに対応するターゲットが消失してから前記消失データ補完手段による補完が行われた期間を表す補完期間とが設定されており、
前記処理選択手段は、前記生存期間の長さ、および、前記補完期間の長さに基づいて、処理の対象としている前記ターゲットの次のフレームにおける処理を、前記消失データ補完手段による処理と、前記不安定データ除去手段による処理とのいずれにするか選択する
請求項１に記載の操作入力装置。
前記不安定データ除去手段は、処理の対象としている前記ターゲットについて、１フレーム前の中間データからの面積変化に基づき、所定の閾値以上の面積変化である場合、新たなターゲットとして処理を行う
請求項１に記載の操作入力装置。
前記入出力手段の表示画面に照射される外光の状態を検出する外光検出手段をさらに備え、
前記処理選択手段は、前記外光検出手段により検出された外光の状態に基づいて、前記消失データ補完手段による処理と、前記不安定データ除去手段による処理とのいずれかを選択する
請求項１に記載の操作入力装置。
画像を表示する表示画面に対して、外部からの前記表示画面に対する複数の操作入力に対応する光の検出を行い、
外部から入力があった入力部分の時間的若しくは空間的な位置関係に基づいて、一連の入力を表すターゲットの情報を生成し、
生成されたターゲットが一時的に消失したときに、消失した前記ターゲットを補完し、
不安定なターゲットが生成されたときに、不安定な前記ターゲットを除去し、
前記ターゲットを補完する処理と、不安定な前記ターゲットを除去する処理とのいずれかを選択する
ステップを含む操作入力方法。
画像を表示する表示画面に対して、外部からの前記表示画面に対する複数の操作入力に対応する光の検出を行い、
外部から入力があった入力部分の時間的若しくは空間的な位置関係に基づいて、一連の入力を表すターゲットの情報を生成し、
生成されたターゲットが一時的に消失したときに、消失した前記ターゲットを補完し、
不安定なターゲットが生成されたときに、不安定な前記ターゲットを除去し、
前記ターゲットを補完する処理と、不安定な前記ターゲットを除去する処理とのいずれかを選択する
ステップを含む処理をコンピュータに実行させるプログラム。