JP2007128497A - 表示装置および表示方法 - Google Patents

Abstract

【課題】表示画面上の複数の接触箇所を検出し、その位置や大きさなどを連続的に検出することにより、高度な操作を可能にする表示装置を提供する。
【解決手段】表示／受光ディスプレイパネル部１２０として、マトリクス状に配置された複数の表示素子で表示を行い、複数の表示素子のそれぞれに近接して配置された受光素子が表示面に接触又は近接した物体の画像を取得できる表示装置を用いて、受光信号レシーバ１１３が取得した受光信号を基に受光画像生成部１１４が受光画像を生成し、画像処理演算部１１５で接触部の形状や位置の検出を行う。指示判定部１１６が、画像処理演算部１１５にて検出された接触部の形状や位置に対応した指示を判断し、その指示に応じて所定の処理を行うようにした。
【選択図】図３

Description

本発明は、例えば、液晶表示ディスプレイやＥＬ（electro−luminescence ）ディスプレイに適用して好適な表示装置及び表示方法に関し、特にディスプレイを通じた操作を効率的、効果的に行う技術に関する。

従来、テレビジョン受像機などの表示装置の表示画面上に、その画面に触れることで操作が可能なタッチパネルを構成させる場合、表示装置とは別体のタッチパネルを表示画面上に重ねる構成としてあった。

別体のタッチパネルを使用する構成としては、例えば、画面の上に透明で薄い入力検出装置を貼り付けたものがある。ディスプレイの表面に接触したことを検知する手段としては、圧力の変化を感知する抵抗膜式や、人体との接触で変化する静電気による電気信号を感知する静電容量式などのタッチパネルが実用化されている。しかし、これらのタッチパネルは、基本的に表面の一点のみの位置検出が可能であり、複数点の同時検出はできない。そのためタッチパネルを用いた操作入力装置においては、接触した１点の位置を基に使用者からの指示を判別するか、あるいは一点の位置の変化を基に指示を判別する方法が一般的であった。

特許文献１には、表示画面上の２ 次元方向の指示位置の移動入力を受け付け、移動開始から移動終了までの指示位置の座標変化に基づいて使用者からの指示内容を判別し、指示内容に応じた処理を行う操作入力受付装置についての開示がある。
特開２００４−３３６５９７号公報

ディスプレイを通した操作を分かりやすく、効率的に行うためには、ディスプレイの表面に直接触れて指示する方法が有効であるが、従来のタッチパネルでは表示画面上の接触箇所を１点しか認識できないため、操作方法が限定され、画面上で実行できる処理に限界があった。

これらの従来のタッチパネルの不都合を解決するために、パネルを分割して複数点を検出できるようにしたタッチパネルも考案されているが、各々限られた範囲の中で１点ずつを検出するものであり、画面上の自由な位置で複数の点を検知する事は難しい。また、赤外線式などの検出部を複数備えることで、複数点の位置検出ができる接触位置検出装置も考案されているが、画面外部に検出部を設置する必要があるなど、装置が大型化、複雑化するという問題があった。

本発明は、表示画面上の複数の接触箇所を検出し、その位置や大きさなどを連続的に検出することにより、高度な操作を可能にする表示装置を提供することを目的とする。

上記問題を解決するために、本発明は、マトリクス状に配置された複数の表示素子で表示を行い、複数の表示素子のそれぞれに近接して配置された受光素子が出力する受光信号に基づいて、表示面に接触又は近接した物体の画像を取得できる表示装置を用い、ディスプレイの表示面に接触又は近接した物体の画像を用いて、接触あるいは近接する複数の物体の位置や大きさを連続的に検出し、その変化に応じて所定の処理を行うようにしたものである。

このようにしたことで、複数箇所の接触位置又は近接する複数の物体の位置の変化に応じて、操作者の指示を判断させることにより、各種処理を実行することが可能になる。

本発明によると、表示画面上の複数箇所の接触位置又は近接位置や、接触又は近接する複数の物体の大きさや位置の変化に応じて、各種処理が可能になるため、表示画面を通した操作の種類が増え、高度な操作が可能になる。

以下、本発明の一実施の形態を、図１乃至図４４を参照して説明する。

図１は、本発明が適用される情報処理システムの機能的構成例を示す機能ブロック図である。

図１の情報処理システムは、本発明が適用される画像処理装置としての画像入出力装置１と、情報処理装置２とから構成されている。

画像入出力装置１は、自身が生成した画像データや、情報処理装置２から入力された画像データを、操作者に認識可能な画像として表示することができる。また、画像入出力装置１は、所定の画像データを取得するためのコマンド等の各種情報を、情報処理装置２に適宜出力することもできる。

詳細には、画像入出力装置１は、表示画像生成部１１乃至コマンド認識／発行部１７を含むように構成されている。

表示画像生成部１１は、表示部１３において動画像や静止画像を表示するための画像データを生成し、表示制御部１２に提供する。なお、以下、動画像と静止画像とを区別する必要がない場合、それらをまとめて単に画像と称する。

また、表示画像生成部１１は、必要に応じて、情報処理装置２と各種情報の授受を行う。なお、授受される情報の具体例については、後述する。

表示制御部１２は、表示画像生成部１１からの画像データを、表示部１３の画面に表示できる形式およびタイミングの形態に変換し、表示部１３に提供する。表示部１３は、表示制御部１２からの画像データを、認識可能な画像として画面に表示する。これにより、操作者は画像を視認できるようになる。

受光部１４は、複数の受光素子がマトリクス状に配置されて構成されている。複数の受光素子のそれぞれからは、受光量に基づく信号（以下、受光信号と称する）が出力され、受光画像生成部１５にそれぞれ提供される。

受光部１４は、例えば、表示部１３と同一平面上又は重ね合わさられて配置されている。従って、受光部１４は、表示部１３が画像を表示している最中にその表示部１３に対して入射された光を、受光することになる。

換言すると、操作者は、表示部１３に表示された画像を観察しつつ、光による指示を表示部１３に対して行うことができる。このとき、その光が受光部１４の各受光素子に入射され、その指示に応じたレベルをそれぞれ有する受光信号が各受光素子から出力されることになる。ここに、「光による指示」とは、受光部１４の複数の受光素子のうちの少なくとも一部の入射光の光量を変化させることをいう。この場合、入射光の光源は特に限定されず、また、入射光の光量の変化量、変化率、変化方向（明→暗の方向、または暗→明の方向）等も特に限定されない。例えば、外部の光源からの光を受光部１４に照射することによる指示（光量を増加させる指示）、外部の光源からの光を遮って影として与える指示（光量を減少させる指示）、或いは、光源として、外部の光源ではなく、表示部１３からの照射光の反射光を用いる指示等の様々な指示を、「光による指示」として採用することができる。

受光画像生成部１５は、受光部１４の複数の受光素子のそれぞれから出力された各受光信号に基づいて、１枚の静止画像の画像データ（以下、受光画像データと称し、それに対応する静止画像を受光画像と称する）を生成し、オブジェクト検出部１６に提供する。より正確には、受光部１４の各受光素子からの受光信号は順次出力されてくるので、受光画像生成部１５においては、複数の受光画像データが連続的に生成され、生成された順番で１枚ずつオブジェクト検出部１６に順次提供される。即ち、受光画像生成部１５は、１つの受光画像を例えばフィールドまたはフレームとして、複数のフィールドまたはフレームから構成される動画像のストリームデータを生成して、オブジェクト検出部１６に提供する。換言すると、以下、単に受光画像と称している場合、それは、１つのフレームまたはフィールドを意味する。

オブジェクト検出部１６は、受光画像生成部１５からの受光画像データからオブジェクトを１以上検出する。

ここに、オブジェクトとは、受光画像内の領域であって、所定の規則に従って形成される一領域をいう。例えば、受光画像が複数の画素から構成されているとすると、所定の規則に従って連結される１以上の画素の集合体（以下、連結要素と称する）が、オブジェクトの一例である。

オブジェクト検出部１６は、さらに、各オブジェクトに関する各種情報（以下、これらの各種情報をまとめてオブジェクト情報と称する）をそれぞれ生成する。例えば、オブジェクトが持つ様々な属性情報、より具体的には例えば、その重心の座標、その中心の座標、その面積、その形状等が、オブジェクト情報としてオブジェクト検出部１６により生成される。

オブジェクト検出部１６により生成された各オブジェクト情報は、コマンド認識／発行部１７に提供される。

なお、オブジェクト情報の生成機能は、オブジェクト検出部１６が有する必要は特に無く、後述するコマンド認識／発行部１７に委譲してもよい。この場合、オブジェクト検出部１６が、オブジェクトを検出し、その検出結果をコマンド認識／発行部１７に提供する。そして、コマンド認識／発行部１７が、その検出結果に基づいて、オブジェクト情報を生成することになる。

いずれにしても、コマンド認識／発行部１７は、各オブジェクト情報に基づいて、表示部１３に対して操作者が与えた「光による指示」とは如何なるコマンドであったのかを認識し、即ち、操作者が画像入出力装置１に対して与えたコマンドを認識し、そのコマンドを表示画像生成部１１に発行する。

なお、コマンド認識／発行部１７の詳細例やコマンド例等については、図２を参照して後述する。

このようにしてコマンド認識／発行部１７から所定のコマンドが発行されると、表示画像生成部１１は、その所定のコマンドに従って表示部１３の表示画像を変更すべく、新たな画像データを生成し、表示制御部１２に提供する。すると、表示部１３の表示画像は、その所定のコマンドに従って更新されることになる。

なお、表示画像生成部１１は、表示画像データを自身で生成せずに、コマンド認識／発行部１７から発行されたコマンドを、外部の情報処理装置２に提供するようにしてもよい。この場合、情報処理装置２は、得られたコマンドによって表示させる画像データを変更し、即ち新たな画像データを生成し、表示画像生成部１１に提供する。表示画像生成部１１は、その画像データを表示制御部１２に提供する。すると、この場合も、表示部１３の表示画像は、そのコマンドに従って更新されることになる。換言すると、画像データの生成機能は、画像入出力装置１が有する必要は特に無く、外部の情報処理装置２に委譲することも可能である。

なお、表示部１３の画面表示の状態によっては、ある時だけコマンドの発行が必要になる場合がある。例えば、画面の右端にソフトウエアボタンが出現する場合である。この場合は、コマンド認識／発行部１７は、自身でコマンドを認識せずに、オブジェクト情報を表示画像生成部１１を介して情報処理装置２に提供し、情報処理装置２側でコマンドを認識させるようにしてもよい。或いは、情報処理装置２または表示画像生成部１１が、表示画像内のソフトウエアボタンの座標位置およびその有無を認識し、点線矢印で示されているように、その認識結果をコマンド認識／発行部１７に提供し、コマンド定義を新たに追加して、コマンド認識／発行部１７がコマンドの発行有無を判断するようにしてもよい。

図２は、図１の画像入出力装置１のうちのコマンド認識／発行部１７の詳細な機能的構成例を示している。

図２の例のコマンド認識／発行部１７は、検出結果保持部２１乃至コマンド発行部２７を含むように構成されている。

オブジェクト検出部１６から出力された各オブジェクト情報は、検出結果保持部２１、時間位置変化型コマンド認識部２２、位置関係型コマンド認識部２３、形状型コマンド認識部２４、および複合型コマンド認識部２５のそれぞれに提供される。

コマンド定義保持部２６には、所定のオブジェクト情報に基づいて所定のコマンドを判定するための条件が１以上保持されている。

本実施の形態では、判定されるオブジェクト情報の種類に応じて次の４つの型のコマンドが定義されている。

即ち、１つ目の型のコマンドは、オブジェクト情報のうちの、オブジェクトの形状に基づいて判定されるコマンドである。以下、このような１つ目の型のコマンドを、形状型コマンドと称する。

２つ目の型のコマンドは、オブジェクト情報のうち、オブジェクトの座標位置に基づいて判定されるコマンドである。かかる２つ目の型のコマンドには、１つのオブジェクトの座標位置のみに基づいて判定されるコマンドと、複数のオブジェクトの各々の座標位置の関係に基づいて判定されるコマンドとが存在する。以下、このような２つ目の型のコマンドを、位置関係型コマンドと称する。

３つ目の型のコマンドは、オブジェクト情報のうち、オブジェクトの時間位置変化に基づいて判定されるコマンドである。即ち、上述したように、受光画像生成部１５においては、時間的に連続して複数の受光画像データが順次生成される。それらに対応する複数の受光画像のうちの時間差がある２以上の受光画像における、同一オブジェクトの座標位置の変化の関係に基づいて判定されるコマンドが、３つ目の型のコマンドである。以下、このような３つ目の型のコマンドを、時間位置変化型コマンドと称する。

４つ目の型のコマンドは、オブジェクト情報のうちの、上述したオブジェクトの形状、オブジェクトの座標位置、および、オブジェクトの時間位置変化のうちの２以上の情報を複合的に用いて判定されるコマンドである。以下、このような４つ目の型のコマンドを、複合型コマンドと称する。

さらに以下、形状型コマンド、位置関係型コマンド、時間位置変化型コマンド、および複合型コマンドのそれぞれの詳細について、その順番で個別に説明していく。

はじめに、形状型コマンドについて説明する。

１つの形状型コマンドに対してオブジェクトの１以上の形状が対応付けられており、この対応関係が条件として、コマンド定義保持部２６に保持されている。そこで、形状型コマンド認識部２４は、オブジェクト検出部１６から提供されたオブジェクト情報のうちのオブジェクトの形状を取得し、その形状と、コマンド定義保持部２６に保持されている各種条件とを比較する。そして、その形状と合致する条件がコマンド定義保持部２６に保持されている場合には、形状型コマンド認識部２４は、その条件により特定される形状型コマンド、即ち、その形状に対応付けられた形状型コマンドが、操作者により指示されたコマンドであると認識し、その認識結果をコマンド発行部２７に通知する。

ここで、オブジェクトの形状とは、丸や四角等のオブジェクトのかたちの他、オブジェクトの所定部分の長さや幅、オブジェクトの大きさ（面積）等、或いは、それらの１以上の組合せを含む広義な概念である。

なお、オブジェクトの形状としてオブジェクトの面積が採用され、かかるオブジェクトの面積と対応付けられた形状型コマンドが採用された場合の具体例について、図４０等を用いて後述する。

次に、位置関係型コマンドについて説明する。

１つの位置関係型コマンドに対して、１つのオブジェクトの所定の座標位置、または、複数のオブジェクトの各々の座標位置の所定の関係が対応付けられており、この対応関係が条件として、コマンド定義保持部２６に保持されている。そこで、位置関係型コマンド認識部２３は、オブジェクト検出部１６から提供されたオブジェクト情報のうちの各オブジェクトの各座標位置を取得し、座標位置単体や２以上の座標位置の関係と、コマンド定義保持部２６に保持されている各種条件とをそれぞれ比較する。そして、各座標位置のうちの所定の１つの位置、または、２以上の座標位置の所定の関係と合致する条件がコマンド定義保持部２６に保持されている場合には、位置関係型コマンド認識部２３は、その条件により特定される位置関係型コマンド、即ち、各座標位置のうちの所定の１つの位置、または、２以上の座標位置の所定の関係に対応付けられた位置関係型コマンドが、操作者により指示されたコマンドであると認識し、その認識結果をコマンド発行部２７に通知する。

なお、オブジェクトの座標位置は、受光画像内におけるオブジェクトを一意に特定できる位置であれば特に限定されない。例えば、オブジェクトの重心、中心、所定の端点等の各座標位置を、オブジェクトの座標位置として採用できる。なお、受光画像生成部１５により生成される受光画像が複数の画素からなる場合、受光画像における所定の画素位置が、オブジェクトの座標位置として採用される。

また、複数のオブジェクトの各々の座標位置の所定の関係とは、各々の座標位置が示す各点の絶対的な位置関係、受光画像内における各点の相対的な位置関係、それらを組み合わせた関係等を含む広義な概念である。

前者の関係、即ち、各点の絶対的な位置関係としては、例えば、各点の絶対距離に基づく関係や、各点を結んで形成される形状に基づく関係を採用できる。なお、各点の絶対距離に基づく関係が採用され、かかる関係と対応付けられた位置関係型コマンドが採用された場合の具体例については、図３８を用いて後述する。また、各点を結んで形成される形状に基づく関係として、例えば、各点がほぼ直線状に並んでいる（縦または横に並んでいる）という関係が採用され、かかる関係と対応付けられた位置関係型コマンドが採用された場合の具体例については、図８、図２２等を用いて後述する。

一方、後者の関係、即ち、各点の相対的な位置関係としては、例えば、受光画像を基準とした各点の配置関係、具体的には例えば、各点の全てが受光画像の下側または上側にあるという関係を採用できる。かかる関係と対応付けられた位置関係型コマンドが採用された場合の具体例については、図２２等を用いて後述する。なお、より正確に言えば、図２２の例は、３点がほぼ横に並んでいるとう前者の関係（ステップＳ１１４参照）と、ほぼ横に並んでいるその３点が画面（静止画像）の上側または下側にあるという後者の関係（ステップＳ１１６参照）との組み合わせが採用され、かかる組合せの関係と対応付けられた「表示画面を所定の方向にスクロールさせる」という位置関係型コマンドが採用された場合の例である。

次に、時間位置変化型コマンドについて説明する。

１つの時間位置関係型コマンドに対して、オブジェクトの所定の時間位置変化が対応付けられており、この対応関係が条件として、コマンド定義保持部２６に保持されている。そこで、時間位置変化型コマンド認識部２２は、オブジェクト検出部１６から提供されたオブジェクト情報のうちのオブジェクトの座標位置を取得し、また、検出結果保持部２１に保持されている同一オブジェクトの過去の座標位置を１以上取得し、それらの座標位置の時間位置変化を認識し、その変化と、コマンド定義保持部２６に保持されている各種条件とを比較する。そして、その変化と合致する条件がコマンド定義保持部２６に保持されている場合には、時間位置変化型コマンド認識部２２は、その条件により特定される時間位置変化型コマンド、即ち、その時間位置変化に対応付けられた時間位置変化型コマンドが、操作者により指示されたコマンドであると認識し、その認識結果をコマンド発行部２７に通知する。

なお、オブジェクトの座標位置は、位置関係型コマンド認識部２３で利用される情報と基本的に同様のものを採用できる。

また、オブジェクト検出部１６から提供されるオブジェクトの座標位置とは、動画像を構成する複数の受光画像（フレームまたはフィールド）のうちの、処理対象として注目すべき受光画像（以下、注目受光画像と称する）における座標位置をいう。一方、検出結果保持部２１から提供されるオブジェクトの過去の座標位置とは、注目受光画像より過去に処理された受光画像における座標位置をいう。

即ち、検出結果保持部２１においては、受光画像生成部１５により１枚の受光画像データが生成され、それからオブジェクト情報がオブジェクト検出部１６により生成される度に、このオブジェクト情報が更新されていく。これにより、時間位置変化型コマンド認識部２２においては、注目受光画像におけるオブジェクトの座標位置（最新のデータ）と、例えば注目受光画像の１つ前の受光画像における同一オブジェクトの座標位置（１つ前のデータ）との比較が可能になる。もちろん、検出結果保持部２１は、１つ前の状態のみを残しておくだけでなく、複数枚の過去の受光画像データ毎のオブジェクト情報をそれぞれ保持しておくこともでき、この場合には、過去一定時間との間での比較も可能になる。

また、時間位置変化型コマンド認識部２２が認識するオブジェクトの時間位置変化は、時間的変化を表現可能な情報であれば特に限定されず、オブジェクトの移動方向、移動量、それらを組み合わせた移動ベクトル、移動速度等を採用できる。

なお、時間位置変化型コマンドが採用された場合の具体例については、図２４を用いて後述する。なお、より正確に言えば、図２４の例は、３点がほぼ円周状に並んでいるとう位置関係（ステップＳ１２０）と、その円周が拡大または縮小方向に移動しているという時間位置変化（ステップＳ１２３参照）との組み合わせが採用され、かかる組合せと対応付けられた「表示画面を拡大／縮小させる」という複合型コマンドが採用された場合の例である。

次に、複合型コマンドについて説明する。

１つの複合型コマンドに対しては、オブジェクトの形状、座標位置、時間位置変化等のうちの２以上が複合されたものが条件として対応付けられており、かかる条件が、コマンド定義保持部２６に保持されている。そこで、複合型コマンド認識部２５は、オブジェクト検出部１６から提供された各種オブジェクト情報を取得し、また必要に応じて、検出結果保持部２１に保持されている過去のオブジェクト情報（座標位置等）を取得し、それらを用いた各種組合せと、コマンド定義保持部２６に保持されている各種条件とを比較する。そして、所定の組合せと合致する条件がコマンド定義保持部２６に保持されている場合には、複合型コマンド認識部２５は、その条件により特定される複合型コマンドが、操作者により指示されたコマンドであると認識し、その認識結果をコマンド発行部２７に通知する。

コマンド定義保持部２６は、上述した様に、オブジェクト検出部１６から提供されたオブジェクト情報等が、所定のコマンドに対応付けられているか否かを判断するための定義（条件）を保持している。コマンド定義保持部２６は、あらかじめ設定されている定義だけでなく、時間位置変化型コマンド認識部２２乃至複合型コマンド認識部２５からコマンド定義保持部２６に引かれた各矢印で示されるように、操作者の操作によって発生したオブジェクト情報に基づく新たな定義を保持することも可能である。また、上述したように、表示部１３の画面表示の状態との比較が必要になる場合、例えば、画面の右端にソフトウエアボタンが出現するような場合、表示画像生成部１１からコマンド定義保持部２６に引かれた矢印で示されるように、コマンド定義保持部２６は、表示画像生成部１１または情報処理装置２から新たな定義を取得して、保持することもできる。

コマンド発行部２７は、時間位置変化型コマンド認識部２２乃至複合型コマンド認識部２５のうちの何れかにより認識されたコマンドを、表示画像生成部１１に対して発行する。

なお、複合型コマンド認識部２５の機能を、コマンド発行部２７に委譲することも可能である。この場合、コマンド発行部２７は、時間位置変化型コマンド認識部２２乃至形状型コマンド認識部２４の各認識結果を総合的に判断して、どのようなコマンドが操作者から発せられたかを最終的に判断して、そのコマンドを表示画像生成部１１に対して発行する。特に、オブジェクトの形状、位置関係、および時間位置変化のうちの２以上の条件が重なりあった状態が発生する場合、コマンド発行部２７は、その意味を判断し、最終的なコマンド、即ち、上述した複合型コマンドを発行する役目を負う。

以上説明した図１または図２に示される１つの機能ブロックは、ハードウエア単体で構成してもよいし、ソフトウエア単体で構成してもよいし、或いは、それらの組合せで構成してもよい。また、図１または図２に示される機能ブロックは、特に図示しないが、他の機能ブロックと結合した機能ブロックとして構成してもよいし、分割して複数の小機能ブロックとして構成してもよい。

以下の図３乃至図４３の例（以下、本例と称する）は、図２の機能的構成を有する画像入出力装置１を、液晶表示ディスプレイとして構成された表示装置に適用した例であり、その液晶表示ディスプレイを構成する各発光素子に隣接して受光素子を配置して、発光（表示）と受光（読み取り）とを並行して行えるように構成した例である。ここでは、発光（表示）と受光（読み取り）を並行して行える本例のディスプレイを、表示／受光ディスプレイと称する。即ち、図１の表示部１３と受光部１４とを組み合わせたものの一例が、本例の表示／受光ディスプレイである。また、後述するように本例の表示／受光ディスプレイは、画面を触れた状態である接触だけでなく、画面に近接した物体についても検出が可能であり、以下の説明で接触の検出と述べた場合には、特に説明がある場合を除いて、近接の検出をも含むようにしてある。

図３は、本例の表示装置の構成例を示すブロック図である。本例では、表示装置の入出力の処理を行う入出力処理部１０１と、画面上に表示した文書などの情報を編集するドキュメント処理部１０２から構成する場合について説明する。

表示信号生成部１１０は、例えば、ドキュメント処理部１０２から要求されたドキュメントや、その他のアプリケーションから要求された画像などの情報を表示するための表示データを生成し、その表示データを信号制御部１１１に送る。信号制御部１１１は、表示データを表示信号ドライバ１１２に送り、表示信号ドライバ１１２は表示／受光ディスプレイパネル部１２０で画像を表示させるための駆動を行う。

表示／受光ディスプレイパネル部１２０（表示／受光パネルと呼ぶ）は、液晶表示ディスプレイとして構成し、ガラス基板などの透明な基板上に透明電極などを配置して、表示エリア（センサエリア）１２１（図４参照）に、複数の画素（表示素子）をマトリクス状に形成したディスプレイであり、背面にバックライト（図示せず）を配置してある。本例のバックライトは、例えば複数の発光ダイオードが配列されたものを使用してあり、比較的高速でバックライトの点灯のオン・オフ制御ができるようにしてある。バックライトの点灯のオン・オフ制御は、表示信号ドライバ１１２での表示駆動に連動して行われる。表示信号ドライバ１１２による液晶表示ディスプレイの駆動としては、ディスプレイを構成する画素電極に、駆動用の電圧信号を印加することで行われる。

表示／受光パネル部１２０は、表示素子とは別に複数の受光素子を配置してある。即ち、例えば、表示エリア（センサエリア）１２１の各表示画素に隣接して、受光素子がマトリクス状に配置してあり、この受光素子への受光光量に対応して蓄積した信号電荷を、受光信号レシーバ１１３からの駆動で読み出す構成としてある。

信号制御部１１１は、表示信号ドライバ１１２へ表示データを送るとともに、上記表示及び受光の走査ラインの制御を行う表示側スキャナ１２７と受光側スキャナ１２８に対して駆動を指示する。

受光信号レシーバ１１３は、表示／受光パネル部１２０に入力された光を受光信号として読み出し、受光画像生成部１１４に送る。受光画像生成部１１４は、受光信号を基に表示画面に接触又は近接する物体の状態などを画像データとして生成する。受光画像生成部１１４には記憶装置（フレームメモリ（図示せず））があり、１フレーム毎の画像データを記憶する。この画像データは画像処理演算部１１５にて画像処理され、接触又は近接する物体の形状や大きさ、位置の変化などの判定を行う。この判定を行う際には、１フレーム前の判定結果との差分を判断して、接触状態の変化についても検出するようにしてある。また、本例においては、複数箇所の同時接触についても判定するようにしてある。画像処理演算部１１５での判定結果は、指示判定部１１６に送られ、その判定結果に基づいてどのように指示されたかを判断し、表示信号生成部１１０に送られる。表示信号生成部１１０では、実行中のアプリケーションに応じた所定の処理を行う。具体的な処理状態の例については後述する。

即ち、入出力処理部１０１が、図１の画像入出力装置１の一例である。具体的には、表示信号生成部１１０が表示画像生成部１１の一例であり、信号制御部１１１と表示信号ドライバ１１２とが表示制御部１２の一例であり、表示／受光パネル部１２０（表示側スキャナ１２７や受光側スキャナ１２８を含めてもよい）が表示部１３と受光部１４との組合せの一例であり、受光信号レシーバ１１３と受光画像生成部１１４が受光画像生成部１５の一例であり、画像処理演算部１１５が主にオブジェクト検出部１６の一例であり、指示判定部１１６が主にコマンド認識／発行部１７の一例である。なお、「主に」と記述したのは、コマンド認識／発行部１７の一部の機能を、画像処理演算部１１５が有している場合もあるからである。

次に、図４を参照して、本例の表示／受光パネル部１２０のドライバの配置例を説明する。図３に示したように、表示／受光パネル部１２０は、画面表示のための表示信号ドライバ１１２と受光のための受光信号レシーバ１１３を通して画像データの発光（表示）と受光（読み取り）を行うが、実際の構成としては、どちらも２次元の画像に対応するために水平方向と垂直方向の２組の装置で構成する。

表示／受光パネル部１２０は、図４に示すように、中央に透明な表示エリア（センサエリア）１２１が配置され、表示エリア１２１の４つの端面に、表示用水平ドライバ１２２、表示用垂直ドライバ１２３、センサ用水平レシーバ１２５、センサ用垂直レシーバ１２４を配置してある。表示用水平ドライバ１２２と表示用垂直ドライバ１２３には、表示用のデータとして、表示信号と制御クロックとが供給されて、表示エリア１２１にマトリクス状に配置された表示画素の駆動が行われる。センサ用水平レシーバ１２５とセンサ用垂直レシーバ１２４には、読み出し用のクロックが供給されて、そのクロックに同期して読み出された受光信号を、受光信号線を介して受光画像生成部１１４に供給する。

図５は、表示エリア１２１に配置された画素の１つの構成を示した図である。１つの画素１３１が備える表示のための構成としては、ここでは水平方向にゲート電極１３１ｈが配置してあり、垂直方向にドレイン電極１３１ｉが配置してあり、両電極の交点にスイッチング素子１３１ａが配置してあり、そのスイッチング素子１３１ａと画素電極１３１ｂが接続してある。スイッチング素子１３１ａは、ゲート電極１３１ｈを介して得られる信号によりオン・オフが制御され、ドレイン電極１３１ｉを介して供給される信号により、画素電極１３１ｂでの表示状態が設定される。

そして、画素電極１３１ｂに隣接した位置に、受光センサ（受光素子）１３１ｃが配置してあり、電源電圧VDDが供給される。この受光センサ（受光素子）１３１ｃには、リセットスイッチ１３１ｄとコンデンサ１３１ｅが接続してあり、リセットスイッチ１３１ｄでリセットされた後、コンデンサ１３１ｅで受光量に対応した電荷を蓄積するようにしてある。その蓄積された電荷に比例した電圧が、読み出しスイッチ１３１ｇがオンとなるタイミングで、バッファアンプ１３１ｆを介して、信号出力用電極１３１ｊに供給され、外部に出力される。リセットスイッチ１３１ｄのオン・オフは、リセット電極１３１ｋに得られる信号により制御され、読み出しスイッチ１３１ｇのオン・オフは、読出し制御電極１３１ｍに得られる信号により制御される。

図６は、画像の表示（発光）と受光とが、各フレーム期間に行われる状態を示した図である。図６の横軸は時間であり、縦軸は表示や受光を行う走査ライン（水平ライン）の位置を示してあり、表示信号の書き換えや受光信号の読出しは、ここでは１画面の最下段のラインから順に走査ラインを上に変化させて、最後に最上段のライン（１番目のライン）の走査を行う構成としてある。図６では、任意のフレーム位置である、ｎフレーム目の処理と、そのｎフレームの次のフレームであるｎ＋１フレーム目の処理を示してあり、同様の処理が継続して行われる。

ここでは、１フレーム期間は、例えば１ ／６０秒としてあり、図６に示すように、その１フレーム期間を前半と後半に２等分して分けてあり、前半はバックライトを点灯させる期間とし、後半はバックライトを消灯させる期間としてある。そして、受光信号の読出しについては、点灯期間と消灯期間のそれぞれで行うようにしてある。

さらに、バックライトオンの期間と、バックライトオフの期間とを、それぞれ２等分してある。ｎフレーム目では、表示のための画素電極の駆動ラインＧ１は、バックライトオンの期間の前半に、画面の下半分の走査を行って、そのラインの表示状態を、そのフレーム期間の画像に書き換えさせ、バックライトオンの期間の後半では、走査ラインを変化させずに休止期間としてある。バックライトオフの期間の前半には、画面の上半分の走査を行って、そのラインの表示状態を、そのフレーム期間の画像に書き換えさせ、バックライトオフの期間の後半では、走査ラインを変化させずに休止期間としてある。

受光処理については、ｎフレーム目では、バックライトオンの期間の前半に、全てのラインの受光信号を順にリセットさせる処理ＲＳ１を行い、バックライトオンの期間の後半に、全てのラインの受光信号を順に読み出す処理ＲＤ１を行い、それぞれのセンサで一定期間蓄積した受光信号を読み出す。同様に、バックライトオフの期間の前半に、全てのラインの受光信号を順にリセットさせる処理ＲＳ２を行い、バックライトオフの期間の後半に、全てのラインの受光信号を順に読み出す処理ＲＤ２を行い、それぞれのセンサで一定期間蓄積した受光信号を読み出す。

このようにして、１フレーム当り、バックライトがオンでいわゆる自発光時の受光信号読出しと、バックライトがオフで消灯時の受光信号読出しの２回の読出しが行われる。その１フレームの２回の読出し信号は、受光画像生成部１１４内のフレームメモリ（図示せず）に入力されて、各画素位置の信号ごとに差分が検出され、その差分の信号が、ノイズ除去された差分受光信号として、画像処理演算部１１５に送られる。

図７は、本例の表示装置を指で操作する場合の例を示した図である。ここでは、表示装置として例えばユーザ（操作者）が携帯可能な小型・薄型の表示装置１３０として構成してあり、表示／受光パネル部１２０の表示エリア１２１の表示面を操作者が指ｆ１、ｆ２、ｆ３などで触れることで、操作ができる構成としてある。このように、表示／受光パネル部１２０の表示エリア１２１の表面に、指などの反射物が触れた、あるいは近づいた場合、パネル部に表示されている映像によって反射物が照射され、反射した光が再び表示／受光パネル部１２０に戻り、これを受光することで反射物の形状や位置を検出する。図７の上部に示したように表示エリア１２１の画面右端を操作者が指ｆ１、ｆ２、ｆ３の３本で触れた場合、図７の下部に示したような受光画像が得られる。この受光画像では、３つの接触部１４１、１４２、１４３が検出される。なお、より正確には、図７の下部の受光画像とは、図９乃至図１２を参照して後述する画像二値化処理後の画像（図１２参照）である。

図７に示すような受光画像から接触部の形状や位置を検出する処理は、画像処理演算部１１５で行われる。そして、画像処理演算部１１５は、検出した接触部の形状や位置の情報を指示判定部１１６に送り、指示判定部１１６にて検出された複数の接触部の形状や位置に対応した指示を判断し、その指示を表示信号生成部１１０に送る。

図８は、画像処理演算部１１５と指示判定部１１６における、受光画像から操作指示を判断する処理の例を示すフローチャートである。本フローチャートを参照して、検出した複数の接触部の位置関係を基に操作者からの指示を判断する処理について説明する。ここでは、予め接触部と操作指示との対応を「３本の指が同時に縦方向に並んで接触した場合に、表示画像をその方向にスクロールさせる」と定義しておいた場合について説明する。

換言すると、図３の例では指示判定部１１６として構成されている図２のコマンド認識／発行部１７のうちの、位置関係型コマンド認識部２３、コマンド定義保持部２６、および、コマンド発行部２７が主に機能する場合の処理の一例が、図８のフローチャートに示されている。即ち、「３本の指が同時に縦方向に並んで接触した場合に、表示画像をその方向にスクロールさせる」という定義がコマンド定義保持部２６に保持されており、位置関係型コマンド認識部２３がかかる定義に基づいて、「表示画像を左方向にスクロールさせる」または「表示画像を右方向にスクロールさせる」というコマンドを認識し、コマンド発行部２７がかかるコマンドを発行する場合の処理例が、図８のフローチャートに示されている。

まず、接触部を検出するための面積の閾値Ａを設定する（ステップＳ１０１）。閾値Ａは、画面上に操作者の指などが接触しているか否かを判断できるように設定するもので、指や、操作指示用のペンなど、操作するものに合わせてその面積を設定する。次に、受光画像生成部１１４によって受光信号から変換された受光画像データ（以下、適宜画像データと略記する）を取得し（ステップＳ１０２ ）、第１の画像処理として接触部の面積を計算する（ステップＳ１０３）。なお、ステップＳ１０３の処理の詳細例については、図９乃至図１６を参照して後述する。面積の計算の結果、画像データ中に面積の閾値Ａ以上の点（図８でいう点とは、１つの画素を意味するのではなく、上述した１つのオブジェクト、即ち、図９等で後述する１つの連結成分を意味する）があるかを判断し（ステップＳ１０４）、点があれば次の処理に進み、なければ次の画像データを取得する。面積Ａ以上の点がある場合、その点が３点か否かを判断し（ステップＳ１０５）、３点あれば次の処理に進み、なければ別処理へ進む（ステップＳ１０６）。

次に、第２の画像処理として、３点の接触部の位置関係を計算する（ステップＳ１０７）。なお、ステップＳ１０７の処理の詳細例については、図１７乃至図２０を参照して後述する。位置の計算の結果、３点がほぼ縦方向に並んでいるかを判断し（ステップＳ１０８）、点がほぼ縦方向に並んでいれば次の処理に進み、並んでいなければ別処理へ進む（ステップＳ１０９）。３点がほぼ縦方向に並んでいる場合、その点が画面のどの位置にあるかを判断し（ステップＳ１１０）、画面の左側に位置する場合は、表示画面を左方向へスクロールする指示とし（ステップＳ１１１）、画面の右側に位置する場合は、表示画面を右方向へスクロールする指示とする（ステップＳ１１２）。

例えば、図７の上部に示したように、表示エリア１２１の画面右端を操作者が指ｆ１、ｆ２、ｆ３の３ 本で触れた場合、図７の下部に示したような受光画像が得られ、３つの接触部１４１、１４２、１４３が検出される。この例では、接触部の面積が閾値Ａ以上あり、３点の接触部がほぼ縦方向に並んで、画面の右側に位置しているため、表示画面を右スクロールさせることができる。

ここで、図８のステップＳ１０３の画像処理（面積計算）と、ステップＳ１０７の画像処理（位置計算）とのそれぞれの詳細について、その順番で個別に説明していく。

なお、以下の説明では、図８のステップＳ１０３の画像処理（面積計算）と、ステップＳ１０７の画像処理（位置計算）とは何れも、図３の画像処理演算部１１５により実行されるとする。ただし、図８のステップＳ１０３の画像処理（面積計算）と、ステップＳ１０７の画像処理（位置計算）とのうちの少なくとも一部を、指示判定部１１６に実行させるようにしてもよい。

図９は、ステップＳ１０３の画像処理（面積計算）の詳細例を説明するフローチャートである。

ステップＳ１０３ａにおいて、画像処理演算部１１５は、画像二値化処理を実行する。

具体的には例えば、図８のステップＳ１０２において、図１０に示される受光画像に対応する画像データが取得されたとする。この画像データは、上述した図７の上部の状態で、１フィールド期間におけるディスプレイ表面（図３の表示／受光パネル部１２０の表示面）に配置された各受光素子からの出力を再校正した結果得られたものである。図１０の例では、受光素子の出力が大きくなるほど、より白くなるようになされており、また、指が接触または近接している場所からの受光素子の出力は大きく、そうでない場所からの受光素子の出力は小さい値となるようになされている。

この図１０の受光画像の横線Ｌに対応する画像データの水平ラインの各画素の信号レベル（輝度）が、図１１の上部に示されている。この場合、画像処理演算部１１５は、画像二値化処理として、かかる水平ラインの各信号レベル（各画素値）と、スライスレベル（Ｓ）とを比較し、スライスレベル（Ｓ）以上である画素には「１」という画素値を付し、スライスレベル（Ｓ）未満である場合「０」という画素値を付す処理を実行する。かかる画像二値化処理が施された結果が、図１１の下部に示されている。なお、図１１の例では、スライスレベル（Ｓ）は固定されているが、必ずしも固定である必要は無い。例えば、画像データ全体の平均値からスライスレベル（Ｓ）を導出してもよいし、画像データから作成した平均化などのフィルタの値をスライスレベル（Ｓ）として算出してもよい。

このような画像二値化処理を、図１０の受光画像に対応する画像データの全水平ラインについて同様に施した結果得られる画像が、図１２に示されている。即ち、上述したように、図１２の画像とは、図７の上部に示したように表示エリア１２１の画面右端を操作者が指ｆ１、ｆ２、ｆ３の３本で触れた場合に得られる図７の下部の画像である。即ち、図７で説明した３つの接触部１４１、１４２、１４３のそれぞれとは、より正確には、画素値が「１」の画素（白い画素）を多く含む領域１４１，１４２，１４３のそれぞれをいう。

ただし、図１２の領域１４１，１４２，１４３のそれぞれの内部には、画素値が「０」の画素（黒い画素）も存在しており、また、領域１４１，１４２，１４３の境界もあいまいである。ここで、画素値が「１」の画素の集合体からなる領域、即ち、画素値が「１」の画素の連結成分をオブジェクトとして検出すると定義すると、図１２の状態の領域１４１，１４２，１４３はまだ、検出されたオブジェクトであるとはいえない。なお、かかる定義を採用したのは、オブジェクト情報を容易に作成できるから、例えば、オブジェクトの面積算出（後述するステップＳ１０３ｅ参照）や、オブジェクトの重心位置の算出（図１７乃至図２０を参照して後述する）等が容易に行えるからである。

そこで、図１２の領域１４１，１４２，１４３のそれぞれに対応するオブジェクト（連結成分）であって、指のオブジェクト候補を検出すべく、さらに、図９のステップＳ１０３ｂ乃至Ｓ１０３ｄの処理が実行されるのである。

即ち、図３の画像処理演算部１１５は、ステップＳ１０３ｂにおいて、ノイズ除去処理を実行し、ステップＳ１０３ｃにおいて、孤立点除去処理を実行し、さらに、ステップＳ１０３ｄにおいて、ラベリング処理を実行する。これにより、指のオブジェクト候補となる幾つかの連結成分が生成される。

なお、ステップＳ１０３ｂの処理でノイズ除去処理が実行される理由は、次の通りである。

即ち、図３の受光画像生成部１１４から出力された画像データ（図１０参照）は、表示／受光パネル部１２０の各受光素子が持つばらつきや周囲環境によってノイズを含んだものになっている場合が多い。このノイズは、画像二値化処理（ステップＳ１０３ａ）の後にも残ることがあり、こうしたノイズが多く残っている場合は、後に行う孤立点除去処理（ステップＳ１０３ｃ）やラベリング処理（ステップＳ１０３ｄ）の際に処理量が著しく増加することがある。これを防止する為に、ステップＳ１０３ｂの処理でノイズ除去処理を実行するのである。

ノイズ除去処理としては、様々な手法が提案されており、何れの手法を採用しても構わないが、ここでは次のような手法が採用されているとする。即ち、処理対象として注目すべき画素（以下、注目画素と称する）の周囲の幾つかの画素の状態を調査し、この状態によって注目画素の画素値を特定する、といった手法が採用されているとする。

そして、ここでは例えば次のようなルールが規定されているとする。即ち、注目画素の８近傍の各画素のうちの画素値が「０」の画素の数（黒の画素数）が１個以下の場合、注目画素の画素値は「１」とする。即ち、注目画素は白の画素とする。一方、注目画素の８近傍の各画素のうちの画素値が「０」の画素の数（黒の画素数）が５個以上の場合、注目画素の画素値は「０」とする。即ち、注目画素は黒の画素とする。また、注目画素の８近傍の各画素のうちの画素値が「０」の画素の数（黒の画素数）が２個以上４個以下の場合、注目画素の画素値は元のままの値（二値化されているので「０」または「１」）とする、といったルールが規定されているとする。

この場合、図３の画像処理演算部１１５は、画像二値化処理後の受光画像を構成する各画素を１つずつ注目画素として、上述したルールに従って注目画素の画素値を決定していく。なお、注目画素の設定手法は特に限定されないが、ここでは例えば、受光画像の左上から順次右側に注目画素を設定していき、右端の画素が注目画素に設定されたら、次に、１つ下の行（水平ライン）の左端の画素を注目画素に設定していく、という設定を最下行（最終水平ライン）まで繰り返していく、という設定手法が採用されているとする。

なお、上述したルールはあくまでも一例であり、他のルールを採用してもよい。例えば、注目画素の画素値を「０」にする基準条件は、上述した例では黒の画素の数が１個以下とされたが、上述した例に限定されず、状況に応じて適宜変更することもできる。同様に、注目画素の画素値を「１」にする基準条件は、上述した例では黒の画素の数が５個以上とされたが、上述した例に限定されず、状況に応じて適宜変更することもできる。

次に、ステップＳ１０３ｃの孤立点除去処理について、詳しく説明する。

上述したように、ステップＳ１０３ｄのラベリング処理の結果得られた幾つかの連結成分の中から指のオブジェクトが検出されることになる。即ち、ステップＳ１０３ｄのラベリング処理の結果、指のオブジェクト候補となる幾つかの連結成分が得られることになる。なお、ここでは、接触或いは近接している物体（ここでは指）に対応する画素データ（画素値）群が、指のオブジェクトとして検出されることになる。そこで、かかる検出処理を容易に行うべく、即ち、指のオブジェクト候補の数を減らすことを目的として、ノイズ除去処理後の画像データに含まれる幾つかの連結成分のうちの、明らかに接触あるいは近接している物体ではない連結成分、即ち、除去しきれなかったノイズにより形成された連結成分を除外する、といった処理を行うと好適である。かかる処理の一例として、図９の例では、ステップＳ１０３ｃの孤立点除去処理が実行されるのである。

具体的には例えば、ステップＳ１０３ｂのノイズ除去処理後の結果、図１３に示されるような受光画像（一部）が得られたとする。

この場合、周囲が黒で囲まれた白の画素の集合体である連結成分Ｉ，IIが、指のオブジェクト候補となる。

上述したように、図８のステップＳ１０１の処理で面積閾値Ａが設定され、ステップＳ１０４の処理でデータ中に面積Ａ以上の点（上述したように、ここでいう点は、１つの画素ではなく連結成分）があるか否かが判定される。即ち、図８の例では、面積Ａ以上の連結成分（ステップＳ１０４でいう点）が指のオブジェクトとして検出されることになる。

この場合、面積とは、連結成分に属する画素の総数であるとし、面積閾値Ａ＝１００が設定されたとすると、この面積閾値Ａよりも遥かに小さい面積の連結成分（画素群）、例えば「5」以下の面積の連結成分は、指のオブジェクトではなくノイズであると判断できる。

図１３の例では、連結成分Ｉは、３つの白い画素の集合体である。即ち、連結成分Ｉの面積は「３」である。そこで、かかる連結成分Ｉは有意なデータではないと判断し、即ち指のオブジェクト候補ではないと判断し、連結成分Ｉを除去する、という処理が孤立点除去処理である。なお、連結成分Ｉを除去するとは、連結成分Ｉを構成する３つの白い画素を黒の画素に変換する、即ち、連結成分Ｉを構成する３つの画素の画素値を「１」から「０」に変換することを意味する。なお、連結成分IIは、１５の白い画素の集合体である。即ち、連結成分IIの面積は「１５」である。従って、連結成分IIは、孤立点除去処理では除去されずにそのまま残ることになる。即ち、図１３の受光画像（一部）に対して孤立点除去処理が施されると、図１４に示されるような画像が得られることになる。

次に、ステップＳ１０３ｄのラベリング処理について、詳しく説明する。

即ち、孤立点除去処理後の画像データの中から、画素値が「１」の画素（白い画素）の集合体からなる連結成分の１つ１つに一意のラベルを付す処理が、ラベリング処理である。

具体的には例えば、ステップＳ１０３ｃの孤立点除去処理後の結果、図１５に示されるような受光画像（一部）が得られたとする。

この場合、図１５の受光画像に対してラベリング処理が施されると、図１６に示されるように、４つの連結成分のそれぞれに対して、Label 01 , Label 02 , Label 03 , Label 04のそれぞれが付されることになる。

このようにして、図９のステップＳ１０３ｄのラベリング処理が実行されると、処理はステップＳ１０３ｅに進む。ステップＳ１０３ｅにおいて、図３の画像処理演算部１１５は、ラベルが付された各連結成分の点（画素）の数を数える。

このステップＳ１０３ｅの処理結果が、各連結成分の面積となる。具体的には例えば図１６の例の受光画像に対してステップＳ１０３ｅの処理が施されると、Label 01の連結成分の面積は「１８９」と、Label 02の連結成分の面積は「６」と、Label 03の連結成分の面積は「２３６」と Label 04の連結成分の面積は「１８」と、それぞれ算出されることになる。

この場合、例えば面積閾値Ａ＝１００が設定されたとすると、Label 01の連結成分と、Label 03の連結成分とのそれぞれが、指のオブジェクトとして検出されることになる。即ちここでは、近接又は接触した指に対応する連結成分であって、図８のステップＳ１０４等でいう「面積Ａ以上の点」として検出されることになる。

以上、図８のステップＳ１０３の画像処理（面積計算）の詳細について説明した。

次に、図８のステップＳ１０７の画像処理（位置計算）の詳細について説明する。

図１７は、ステップＳ１０７の画像処理（位置計算）の詳細例を説明するフローチャートである。

ステップＳ１０７ａにおいて、図３の画像処理演算部１１５は、各連結成分の重心位置座標を算出する。

なお、ステップＳ１０７ａの処理で重心位置座標が算出される連結成分とは、指のオブジェクトとして検出された連結成分、即ち、図８のステップＳ１０４等でいう「面積がＡ以上の点」として検出された連結成分である。具体的には例えば、上述した図１６の例では、Label 01の連結成分とLabel 03の連結成分とが、ステップＳ１０７ａの処理対象になる。

ただし、より正確にいえば、Label 01の連結成分とLabel 03の連結成分とが、ステップＳ１０７ａの処理対象になるためには、図８のステップＳ１０５に示されるように、図１６には図示しない面積Ａ以上の点（連結成分）がさらに１つ存在する必要がある。ここでは、図１６のLabel 01の連結成分とLabel 03の連結成分との他、図１６には図示しないLabel 02の連結成分（図１６に図示されているLabel 02の連結成分とは別の連結成分）が、面積Ａ以上であったとする。そして、Label 01の連結成分，Label 02の連結成分，Label 03の連結成分に対して、図１７の画像処理（位置計算）が施されるとして、以下、説明していく。

この場合、例えば図１６のLabel 01の連結成分を構成する各画素をPn（nは１乃至189のうちの何れかの整数値）とし、この座標を（xn,yn）とすると、Label 01の連結成分の重心位置座標は、次のようにして算出される。

即ち、Label 01の連結成分は189個の画素の集合体であるので、この189個の画素の位置座標の平均が、重心位置座標となる。即ち、重心位置座標G01=(（x1+x2+x3+…x189）/189, （y1+y2+y3+…y189）/189)となる。

あるいは、Labelｋ（ここでは、ｋは01，02，03のうちの何れかの値）の重心位置座標を求める式は、全画素を順に計算していく場合、次の式（１）のように表される。
Gｋ=((Σxi*wi)/ Σwi,(Σyi*wi)/ Σwi) ・・・（１）
ただし、式（１）において、wiはLabelｋを持つ画素の場合1、そうでないとき0とする。

このようにして、ステップＳ１０７ａの処理により、Label 01の連結成分の重心位置座標G01，Label 02の連結成分の重心位置座標G02，Label 03の連結成分の重心位置座標G03のそれぞれが算出される。なお、図１８は、上述した図１６の例に対応させて、Label 01の連結成分の重心位置座標G01とLabel 03の連結成分の重心位置座標G03とが算出された結果が示されている。

なお、以下、Label K（ここではKは01，02，03のうちの何れかの値）の連結成分の重心位置座標GKの点を、単に点GKと称する。また、ステップＳ１０７ａにより、図１９に示される結果が得られたとして、以下、説明していく。

次に、ステップＳ１０７ｂにおいて、画像処理演算部１１５は、重心位置間の距離を算出する。ここでは、図１９に示されるように、点G01-点G02間の距離、点G02-点G03間の距離、および、点G03-点G01間の距離がそれぞれ算出される。

ステップＳ１０７ｃにおいて、画像処理演算部１１５は、最高点と最下点が作る角度を計算する。ここに、最高点とは、ステップＳ１０７ａで算出された各連結成分の重心位置座標（点G01，G02,G03）のうちのｙ座標の値が最も大きい点を指す。一方、最下点とは最も小さい点を指す。ここでは、図１９に示されるように、最高点は点G01であり、最下点はG03であるので、この２点を結ぶ線分と水平線とがなす角度θsが計算される。

ステップＳ１０７ｄにおいて、画像処理演算部１１５は、各重心位置の中央の座標を計算する。具体的には例えば、図１９に示されるように、次の式（２）によって、各重心位置の中央の座標Gtotalが算出される。

Gtotal =((x1+x2+x3)/3, (y1+y2+y3)/3) ・・・（２）

以上の画像処理（位置計算）の処理結果を利用することで、図８のステップＳ１０８やＳ１１０の判定処理を実行することができる。

例えば、ステップＳ１０８の「３点はほぼ縦に並んでいるか」否かの判定については、ステップＳ１０７ｃの処理で算出された角度θsを用いることができる。

具体的には例えば、判定条件としての角度θvを設定しておき、次の不等式（３）を満たせば、３点はほぼ縦に並んでいると判定することが可能になる。
90-θv ＜ θs ＜ 90+θv ・・・（３）

例えば角度θv＝10°が設定されている場合には、角度θsが80°乃至100°のときに、ステップＳ１０８の処理でＹＥＳである、即ち「３点はほぼ縦に並んでいる」と判定されることになる。

さらに例えば、ステップＳ１０８の「３点はほぼ縦に並んでいるか」否かの判定については、上述した角度θsに加えて、ステップＳ１０７ｂの処理で算出された重心位置間の距離も用いることができる。これにより、より詳細な判断が可能になる。

具体的には例えば、３点はほぼ縦に並んでいると判定するか否かの条件として、上述した角度θsを用いる条件に加えてさらに、次の不等式（４），（５）を共に満たすという条件を付加することができる。
（点G01-点G02間の距離）＜（点G03-点G01間の距離） ・・・（４）
（点G02-点G03間の距離）＜（点G03-点G01間の距離） ・・・（５）

或いは例えば、付加する条件として、次の不等式（６）を満たすという条件を採用してもよい。
（点G02-点Gmid間の距離）＜（点G03-点G01間の距離の半分） ・・・（６）
なお、式（６）における点Gmidとは、図２０に示されるように、座標（(x1-x3)/2 , (y1-y3)/2）の点である。なお、この場合の判定処理の詳細については、図２５を参照して後述する。

また例えば、図８のステップＳ１１０の「画面のどの位置にあるか」の判定については、ステップＳ１０７ｄの処理で算出された重心位置の中央の座標Gtotalを用いることができる。具体的には例えば、重心位置の中央の座標Gtotalが、受光画像の中央よりも左側に位置する場合、画面の左側にあると判定することができる。これに対して、重心位置の中央の座標Gtotalが、受光画像の中央よりも右側に位置する場合、画面の右側にあると判定することができる。

次に、複数の接触部の位置関係を基に操作者からの指示を判断する処理の他の例について図２１、図２２を参照して説明する。図２１は、表示エリア１２１の画面下端を操作者が指ｆ１、ｆ２、ｆ３の３本で触れた場合である。このとき、図２１の下部に示したような受光画像が得られ、３つの接触部１５１、１５２、１５３が検出される。

図２２は、図２１に示すような接触部が検出される場合の、受光画像から操作指示を判断する処理の例を示すフローチャートである。本フローチャートを参照して、検出した複数の接触部の位置関係を基に操作者からの指示を判断する処理について説明する。

ここでは、予め接触部と操作指示との対応の定義として、「３本の指が同時に縦方向に並んで接触した場合に、表示画像をその方向にスクロールさせる」という定義に加えてさらに、「３本の指が同時に横方向に並んで接触した場合に、表示画像をその方向にスクロールさせる」という定義もなされている場合について説明する。

換言すると、図３の例では指示判定部１１６として構成されている図２のコマンド認識／発行部１７のうちの、位置関係型コマンド認識部２３、コマンド定義保持部２６、および、コマンド発行部２７が主に機能する場合の処理の一例が、図２２のフローチャートに示されている。即ち、「３本の指が同時に縦方向に並んで接触した場合に、表示画像をその方向にスクロールさせる」および「３本の指が同時に横方向に並んで接触した場合に、表示画像をその方向にスクロールさせる」という定義がコマンド定義保持部２６に保持されており、位置関係型コマンド認識部２３がかかる２つの定義に基づいて、「表示画像を左方向にスクロールさせる」、「表示画像を右方向にスクロールさせる」、「表示画像を上方向にスクロールさせる」、および、「表示画像を下方向にスクロールさせる」というコマンドを認識し、コマンド発行部２７がかかるコマンドを発行する場合の処理例が、図２２のフローチャートに示されている。

なお、図２２でいう点とは、図８でいう点と同様に、１つの画素を意味するのではなく、上述した１つのオブジェクト、即ち、図９等でいう１つの連結成分を意味する。

本処理において、接触部を検出するための面積の閾値Ａを設定する処理（ステップＳ１０１）から、検出した３点の接触部がほぼ縦方向に並んでいるかを判断する処理（ステップＳ１０８）までは、上記図８のフローチャートで説明したものと同様である。３点がほぼ縦方向に並んでいれば別処理へ進み（ステップＳ１１３）、並んでいなければ次の処理へ進む。なお、ここでいうステップＳ１１３の別処理とは、例えば上記図８のステップＳ１１０乃至Ｓ１１２の処理をいう。次に、３点がほぼ横方向に並んでいるかを判断し（ステップＳ１１４）、３点が横方向に並んでいない場合は別処理へ進む（ステップＳ１１５）。検出した３点がほぼ横方向に並んでいる場合、その点が画面のどの位置にあるかを判断し（ステップＳ１１６）、画面の下側に位置する場合は、表示画面を下方向へスクロールする指示とし（ステップＳ１１７ ）、画面の上側に位置する場合は、表示画面を上方向へスクロールする指示とする（ステップＳ１１８）。

なお、ステップＳ１１４の３点はほぼ横に並んでいるか否かの判定処理は、上述したステップＳ１０８の判定処理と同様に実行すればよい。また、ステップＳ１１６の画面のどの位置にあるか否かの判定処理は、上述した図８のステップＳ１１０の判定処理と同様に実行すればよい。

例えば、図２１の上部に示したように、表示エリア１２１の画面下端を操作者が指ｆ１、ｆ２ 、ｆ３の３本で触れた場合は、図２１の下部に示したような受光画像が得られ、検出された３つの接触部１５１、１５２、１５３がほぼ横方向に並んで、画面の下側に位置しているため、表示画面を下スクロールさせることができる。

上記の例では、検出した接触部の位置関係を基に操作者の指示を判断したが、次に、複数の接触部の移動位置変化を基に操作者からの指示を判断する処理例について、図２３乃至図３６を参照して説明する。図２３は、表示エリア１２１の表示面に操作者が指ｆ１、ｆ２、ｆ３の３本で触れた状態を示している。ここでは、この状態から指ｆ１、ｆ２、ｆ３の触れる位置を、矢印ａ１、ａ２、ａ３で示す向きに動かしたとする。図２３の下部に、この場合の受光画像を示す。受光画像Ｐ１は指を動かす前の受光画像の例であり、３つの接触部１６１ａ、１６２ａ、１６３ａが検出されている。受光画像Ｐ２は指を動かしている途中の受光画像の例であり、受光画像Ｐ３は指を動かした後の受光画像の例である。このように受光画像データにおいて、時間の経過に従って接触部の位置が変化し、受光画像Ｐ３では、３つの接触部１６１ｃ、１６２ｃ、１６３ｃの間隔が最初の受光画像Ｐ１より離れていることが分かる。

図２４は、図２３に示すような接触部が検出される場合の、受光画像から操作指示を判断する処理の例を示すフローチャートである。本フローチャートを参照して、検出した複数の接触部の移動位置の変化を基に操作者からの指示を判断する処理について説明する。ここでは、予め接触部と操作指示との対応を「３本の指がほぼ円周状に接触し、その円が大きくなるように画面上を移動した場合に、表示画像を拡大する」と「３本の指がほぼ円周状に接触し、その円が小さくなるように画面上を移動した場合に、表示画像を縮小する」とを定義しておく。

換言すると、図３の例では指示判定部１１６として構成されている図２のコマンド認識／発行部１７のうちの、検出結果保持部２１、複合型コマンド認識部２５、コマンド定義保持部２６、および、コマンド発行部２７が主に機能する場合の処理の一例が、図２４のフローチャートに示されている。即ち、「３本の指がほぼ円周状に接触し、その円が大きくなるように画面上を移動した場合に、表示画像を拡大する」と「３本の指がほぼ円周状に接触し、その円が小さくなるように画面上を移動した場合に、表示画像を縮小する」という定義がコマンド定義保持部２６に保持されており、複合型コマンド認識部２５がかかる２つの定義に基づいて、「表示画像を拡大表示させる」または「表示画像を縮小表示させる」というコマンドを認識し、コマンド発行部２７がかかるコマンドを発行する場合の処理例が、図２４のフローチャートに示されている。

即ち、「３本の指がほぼ円周状に接触し」た場合という３つのオブジェクト（指）の位置関係に基づく条件と、「その円が大きくなるように画面上を移動した場合」というオブジェクトの時間位置変化に基づく条件との複合条件が、「表示画像を拡大表示させる」という複合型コマンドの条件となっている。同様に、「３本の指がほぼ円周状に接触し」た場合という３つのオブジェクトの位置関係に基づく条件と、「その円が小さくなるように画面上を移動した場合」というオブジェクトの時間位置変化に基づく条件との複合条件が、「表示画像を縮小表示させる」という複合型コマンドの条件となっている。

このため、図２４の例では、複合型コマンド認識部２５が機能する。換言すると、上述したように、複合型コマンド認識部２５の機能がコマンド発行部２７に委譲されている場合には、位置関係型コマンド認識部２３と時間位置変化型コマンド認識部２２とが機能することになる。

なお、図２４でいう点とは、図８でいう点と同様に、１つの画素を意味するのではなく、上述した１つのオブジェクト、即ち、図９等でいう１つの連結成分を意味する。

本処理において、接触部を検出するための面積の閾値Ａを設定する処理（ステップＳ１０１）から検出した３点の接触部がほぼ横方向に並んでいるかを判断する処理（ステップＳ１１４）までは、上記図２２のフローチャートで説明したものと同様である。３点がほぼ横方向に並んでいる場合は別処理へ進む（ステップＳ１１９）。

なお、ここでいうステップＳ１１３の別処理とは、例えば上述した図８のステップＳ１１０乃至Ｓ１１２の処理をいう。ただし、かかる処理例を実行するためには、「３本の指が同時に縦方向に並んで接触した場合に、表示画像をその方向にスクロールさせる」という定義がコマンド定義保持部２６に保持されている必要がある。

また、ここでいうステップＳ１１９の別処理とは、例えば上述した図２２のステップＳ１１６乃至Ｓ１１８の処理をいう。ただし、かかる処理例を実行するためには、「３本の指が同時に横方向に並んで接触した場合に、表示画像をその方向にスクロールさせる」という定義がコマンド定義保持部２６に保持されている必要がある。

ステップＳ１１４の処理でＮＯであると判定された場合、即ち、３点が横方向に並んでいない場合、更にその３点がほぼ円周状に並んでいるかを判断し（ステップＳ１２０）、円周状に並んでいない場合は別処理へ進む（ステップＳ１２１）。円周状に並んでいる場合は、各点が移動しているかを判断し（ステップＳ１２２）、移動していない場合は処理を終了する。移動している場合は、どのように移動しているかを判断し（ステップＳ１２３）、３点が離れる方向に移動している場合は、表示画面を拡大表示する指示とし（ステップＳ１２４）、３点が近づく方向に移動している場合は、表示画面を縮小表示する指示とする（ステップＳ１２５）。

さらに以下、図２５乃至図３５を参照して、図２４の例の処理のうちの主要な処理の詳細について説明していく。

なお、以下の説明では、図２４のステップＳ１２０までの処理は、図３の画像処理演算部１１５により実行されるとする。ただし、図２４のステップＳ１２０までの処理のうちの少なくとも一部を、指示判定部１１６に実行させるようにしてもよい。

図２５は、ステップＳ１０８の「３点はほぼ縦に並んでいるか」否かの判定処理の詳細例を説明するフローチャートである。

なお、図２４のステップＳ１０７の画像処理（位置計算）により、図２６に示される結果が得られたとして、以下、説明を行っていく。

ステップＳ１０８ａ乃至Ｓ１０８ｆまでが、上述した式（３）の不等式を用いる判定処理である。

即ち、ステップＳ１０８ａにおいて、図３の画像処理演算部１１５は、角度θvを設定する。この角度θｖは、上述したように、３つの連結成分（図２４のステップＳ１０８でいう３点）がほぼ縦に並んでいるか否かを判定するための条件としての角度であり、通常はコマンド定義保持部２６（図２）等に予め保持されている。

ステップＳ１０８ｂにおいて、画像処理演算部１１５は、３つの連結成分のうちの最小のｙ座標を持つ重心を選び、それを点Gminとする。例えば図２６の例では、点G03が点Gminとなる。

ステップＳ１０８ｃにおいて、画像処理演算部１１５は、３つの連結成分のうちの最大のｙ座標を持つ重心を選び、それを点Gmaxとする。例えば図２６の例では、点G01が点Gmaxとなる。

ステップＳ１０８ｄにおいて、画像処理演算部１１５は、３つの連結成分のうちの残りの重心を点Gauxとする。例えば図２６の例では、点G02が点Gauxとなる。

ステップＳ１０８ｅにおいて、画像処理演算部１１５は、点Gmaxと点Gminが作る角度θsを求める。例えば図２６の例では、点G01と点G03とが作る角度θsが求まる。

ステップＳ１０８ｆにおいて、画像処理演算部１１５は、90-θv ＜ θs かつ θs＜ 90+θv か否かを判定する。

即ち、ステップＳ１０８ｆの判定処理とは、上述した不等式（３）を満たすか否かの処理である。

ステップＳ１０８ｆの処理でＮＯであると判定された場合、３点（３つの連結成分）はほぼ縦に並んでいないと判定され、即ち、ステップＳ１０８の判定処理としてＮＯであると最終判定され、処理は図２４のステップＳ１１４に進む。

これに対して、ステップＳ１０８ｆの処理でＹＥＳであると判定された場合、ステップＳ１０８ｇ乃至Ｓ１０８ｊがさらに実行される。即ち、ステップＳ１０８ｇ乃至Ｓ１０８ｊまでが、上述した式（６）の不等式を用いる判定処理である。換言すると、ステップＳ１０８ｇ乃至Ｓ１０８ｊまでの判定処理とは、３点の並び方に注目した場合の判定処理である。

ステップＳ１０８ｇにおいて、画像処理演算部１１５は、点Gmaxと点Gminの中点Gmidを求める。例えば図２６の例では、点G01と点G03との中点Gmid0103が、中点Gmidとして求められる。

ステップＳ１０８ｈにおいて、画像処理演算部１１５は、点Gmidと点Gaux（図２６の例ではG02）との距離"Gmid-Gaux"を求める。また、ステップＳ１０８ｉにおいて、画像処理演算部１１５は、点Gmaxと点Gminとの距離"Gmax-Gmin"を求める。

ステップＳ１０８ｊにおいて、画像処理演算部１１５は、"Gmid-Gaux" < "Gmax-Gmin"/2であるか否かを判定する。なお、図２６の例の場合、即ち、GmaxがG01であり、GminがG03であり、GauxがG02である場合には、"Gmid-Gaux" < "Gmax-Gmin"/2とは、上述した不等式式（６）になる。即ち、この場合、ステップＳ１０８ｊの判定処理とは、不等式（６）を満たすか否かの判定処理となる。

換言すると、ステップＳ１０８ｊの判定処理とは、距離"Gmid-Gaux"が、距離"Gmax-Gmin"の距離の半分よりも短いか否かの判定処理である。距離"Gmid-Gaux"が、距離"Gmax-Gmin"の距離の半分よりも短いとは、距離"Gmid-Gaux"（図２６の例では"Gmid-G02"）が、距離"Gmax-Gmid"（図２６の例では"G01-Gmid0103"）よりも短い、或いは、距離"Gmin-Gmid"（図２６の例では"G03-Gmid0103"）よりも短いことを意味する。

従って、距離"Gmid-Gaux"（図２６の例では"Gmid-G02"）が、距離"Gmax-Gmid"（図２６の例では"G01-Gmid0103"）よりも短い、或いは、距離"Gmin-Gmid"（図２６の例では"G03-Gmid0103"）よりも短い場合には、ステップＳ１０８ｊの処理でＹＥＳであると判定され、その結果、３点（３つの連結成分）はほぼ縦に並んでいると判定され、即ち、ステップＳ１０８の判定処理としてＹＥＳであると最終判定され、処理は図２４のステップＳ１１３に進む。

これに対して、ステップＳ１０８ｊの処理でＮＯであると判定された場合、３点（３つの連結成分）はほぼ縦に並んでいないと判定され、即ち、ステップＳ１０８の判定処理としてＮＯであると最終判定され、処理は図２４のステップＳ１１４に進む。

このように、図２５の例では、ステップＳ１０８ａ乃至Ｓ１０８ｆまでの判定処理だけでなく、即ち、上述した式（３）の不等式を用いる判定処理だけでなく、ステップＳ１０８ｇ乃至Ｓ１０８ｊまでの判定処理、上述した式（６）の不等式を用いる判定処理まで実行される。かかる理由は、上述した式（３）の不等式を用いる判定処理だけでは、図２４のステップＳ１２０の「３点はほぼ円周状に並んでいるか」否かの判定処理まで行き着かない場合があるからである。

具体的には例えば、、図２４のステップＳ１０７の画像処理（位置計算）により、図２６ではなく、図２７に示される結果が得られたとする。この場合、図２７に示されるように、角度θｓは、重心G2'と重心G3'とが作る角度となるため、ステップＳ１０８ａ乃至Ｓ１０８ｆまでの判定処理だけでは、即ち、上述した式（３）の不等式を用いる判定処理だけでは、３点（３つの連結成分）はほぼ縦に並んでいると判定されることになる。しかしながら、図２７に示される位置関係の場合には、「３点はほぼ縦に並んでいると」とは判定せずに、「３点はほぼ円周状に並んでいる」と判定する方が好適であることが多い。そこで、図２５の例では、上述した式（６）の不等式を用いる判定処理をさらに付加することで、「３点はほぼ縦に並んでいると」という条件を厳しくしているのである。ただし、図２７に示される位置関係を持って「３点はほぼ縦に並んでいる」と判断する様なルールを意識的に決めることに問題があるわけではない。

以上、図２４のステップＳ１０８の「３点はほぼ縦に並んでいるか」否かの判定処理の詳細について説明した。

以下、図２４のステップＳ１１４の「３点はほぼ横に並んでいるか」否かの判定処理の詳細について、図２８に示される場合を例として説明する。即ち、図２４のステップＳ１０７の画像処理（位置計算）により、図２８に示される結果が得られ、その結果、図２４のステップＳ１０８の処理でＮＯであると判定されて、ステップＳ１１４に進んだ場合を例として、以下、説明を行っていく。

なお、「３点はほぼ横に並んでいるか」否かの判定処理は、基本的に、「３点はほぼ縦に並んでいるか」否かの判定処理と同様の処理となる。そこで、以下、上述した処理に対応する処理については、適宜説明を省略する。

図２９は、ステップＳ１１４の「３点はほぼ横に並んでいるか」否かの判定処理の詳細例を説明するフローチャートである。

ステップＳ１１４ａ乃至Ｓ１１４ｆまでの処理が、図２５のステップＳ１０８ａ乃至Ｓ１０８ｆまでの処理に対応する。

即ち、ステップＳ１１４ａにおいて、図３の画像処理演算部１１５は、角度θhを設定する。この角度θhは、角度θvと同様に、３つの連結成分（図２４のステップＳ１１４でいう３点）がほぼ横に並んでいるか否かを判定するための条件としての角度であり、通常はコマンド定義保持部２６（図２）等に予め保持されている。

ステップＳ１１４ｂにおいて、画像処理演算部１１５は、３つの連結成分のうちの最小のｘ座標を持つ重心を選び、それを点Gminとする。即ち、図２８の例でいえば、点G13が点Gminとなる。

ステップＳ１１４ｃにおいて、画像処理演算部１１５は、３つの連結成分のうちの最大のｘ座標を持つ重心を選び、それを点Gmaxとする。即ち、図２８の例でいえば、点G11が点Gmaxとなる。

ステップＳ１１４ｄにおいて、画像処理演算部１１５は、３つの連結成分のうちの残りの重心を点Gauxとする。即ち、図２８の例でいえば、点G12が点Gauxとなる。

ステップＳ１１４ｅにおいて、画像処理演算部１１５は、点Gmaxと点Gminが作る角度θs（図２８参照）を求める。

ステップＳ１１４ｆにおいて、画像処理演算部１１５は、-θh ＜ θs かつ θs＜ θh か否かを判定する。

ステップＳ１１４ｆの処理でＮＯであると判定された場合、３点（３つの連結成分）はほぼ横に並んでいないと判定され、即ち、ステップＳ１１４の判定処理としてＮＯであると最終判定され、処理は図２４のステップＳ１２０に進む。

これに対して、ステップＳ１１４ｆの処理でＹＥＳであると判定された場合、ステップＳ１１４ｇ乃至Ｓ１１４ｊがさらに実行される。即ち、ステップＳ１１４ｇ乃至Ｓ１１４ｊまでの処理が、上述した図２５のステップＳ１０８ｇ乃至Ｓ１０８ｊまでの処理に対応する。換言すると、ステップＳ１１４ｇ乃至Ｓ１１４ｊまでの判定処理とは、３点の並び方に注目した場合の判定処理である。

ステップＳ１１４ｇにおいて、画像処理演算部１１５は、点Gmaxと点Gminの中点Gmidを求める。例えば図２８の例では、点G11と点G13との中点Gmid0103が、中点Gmidとして求められる。

ステップＳ１１４ｈにおいて、画像処理演算部１１５は、点Gmidと点Gaux（図２８の例ではG12）との距離"Gmid-Gaux"を求める。また、ステップＳ１１４ｉにおいて、画像処理演算部１１５は、点Gmaxと点Gminとの距離"Gmax-Gmin"を求める。

ステップＳ１１４ｊにおいて、画像処理演算部１１５は、"Gmid-Gaux" < "Gmax-Gmin"/2であるか否かを判定する。

ステップＳ１１４ｊの処理でＹＥＳであると判定された場合、３点（３つの連結成分）はほぼ横に並んでいると判定され、即ち、ステップＳ１１４の判定処理としてＹＥＳであると最終判定され、処理は図２４のステップＳ１１９に進む。

これに対して、ステップＳ１１４ｊの処理でＮＯであると判定された場合、３点（３つの連結成分）はほぼ横に並んでいないと判定され、即ち、ステップＳ１１４の判定処理としてＮＯであると最終判定され、処理は図２４のステップＳ１２０に進む。

このように、図２９の例では、ステップＳ１１４ａ乃至Ｓ１１４ｆまでの判定処理だけでなく、ステップＳ１１４ｇ乃至Ｓ１１４ｊまでの判定処理まで実行される。かかる理由は、ステップＳ１１４ａ乃至Ｓ１１４ｆまでの判定処理だけでは、即ち角度θsを用いる判定処理だけでは、図２４のステップＳ１２０の「３点はほぼ円周状に並んでいるか」否かの判定処理まで行き着かない場合があるからである。このことについては、図２７を参照して上述した通りである。

以上、図２４のステップＳ１１４の「３点はほぼ横に並んでいるか」否かの判定処理の詳細について説明した。

以下、図２４のステップＳ１２０の「３点はほぼ円周状に並んでいるか」否かの判定処理の詳細について説明する。

上述したように、図２４の例では、ステップＳ１０８の処理で「３点はほぼ縦に並んでいるか」否かが判定され、さらに、ステップＳ１１４の処理で「３点はほぼ横に並んでいるか」否かが判定される。即ち、図２４の例では、「縦又は横」かつ「並んでいる」という条件が設定されている。従って、それ以外の３点（３つの連結成分）の配置は全て「ほぼ円周状に並んでいる」と判定するようにしてもよい。この場合、ステップＳ１０８の処理で３点はほぼ縦に並んでいないと判定されて、さらに、ステップＳ１１４の処理で３点はほぼ横に並んでいないと判定された後に、ステップＳ１２０の「３点はほぼ円周状に並んでいるか」否かの判定処理が実行されるので、ステップＳ１２０の処理では常にＹＥＳと判定されることになる。

ただし、この場合、図２４のステップＳ１０７の画像処理（位置計算）により図３０に示される結果が得られたときにも、即ち、３つの連結成分の重心（ステップＳ１２０等でいう３点）の配置が図３０に示されるように、「縦でも横でもない」が比較的「並んでいる」配置であったときにも、「ほぼ円周状に並んでいる」と判定されてしまうことになる。

そこで、このような「縦でも横でもない」が比較的「並んでいる」配置を、「ほぼ円周状に並んでいる」配置から除外すべく、図２４のステップＳ１２０の「３点はほぼ円周状に並んでいるか」否かの判断処理として、例えば図３１に示されるような処理を採用することができる。

即ち、図３１は、ステップＳ１２０の「３点はほぼ円周状に並んでいるか」否かの判定処理の詳細例を説明するフローチャートである。

図２４のステップＳ１０７の画像処理（位置計算）により、図３２に示される結果が得られたとして、以下、説明を行っていく。

ステップＳ１２０ａにおいて、図３の画像処理演算部１１５は、３つの連結成分（ステップＳ１２０等でいう３点）の各重心間の距離を求める。

ここで、３つの連結成分の各重心を、図３２に示されるように、点G31,G32,G33のそれぞれと称するとすると、点G31-点G32間の距離、点G32-点G33間の距離、および点G33-点G31間の距離が求められる。

ステップＳ１２０ｂにおいて、画像処理演算部１１５は、最長の距離を作る２つの重心を点Ga,Gbとして、この中点を点Gmidとする。また、ステップＳ１２０ｃにおいて、画像処理演算部１１５は、残りの重心を点Gauxとする。例えば図３２の例では、点G31が点Gaとなり、点G32が点Gbとなり、点Gmid3132が中点Gmidとなり、点G33が点Gauxとなる。

ステップＳ１２０ｄにおいて、画像処理演算部１１５は、点Gmidと点Gauxとの距離"Gmid-Gaux"を求める。また、ステップＳ１２０ｅにおいて、画像処理演算部１１５は、点Gaと点Gbとの距離"Ga-Gb"を求める。

ステップＳ１２０ｆにおいて、画像処理演算部１１５は、"Gmid-Gaux" ＞ "Ga-Gb"/2であるか否かを判定する。

距離"Gmid-Gaux"が距離"Ga-Gb"の半分よりも長い場合、ステップＳ１２０ｆの処理でＹＥＳであると判定され、その結果、３点（３つの連結成分）はほぼ円周状に並んでいると判定され、即ち、ステップＳ１２０の判定処理としてＹＥＳであると最終判定され、処理は図２４のステップＳ１２２に進む。

これに対して、距離"Gmid-Gaux"が距離"Ga-Gb"の半分以下の場合、ステップＳ１２０ｆの処理でＮＯであると判定され、その結果、３点（３つの連結成分）はほぼ円周状に並んでいないと判定され、即ち、ステップＳ１２０の判定処理としてＮＯであると最終判定され、処理は図２４のステップＳ１２１に進む。

以上、図２４のステップＳ１２０の「３点はほぼ円周状に並んでいるか」否かの判定処理の詳細について説明した。

以下、図２４のステップＳ１２２の「各点は移動しているか」否かの判定処理の詳細について説明する。

図３の受光画像生成部１１４からは、即ち、図２の受光画像生成部１５からは、複数の受光画像データ（フィールドデータまたはフレームデータ）が時間的に連続して順次出力される。この場合、図２４の例の処理は、受光画像データを単位として、それぞれの受光画像データに対して実行される。そこで、以下、図２４の例の処理の対象として注目すべき受光画像データを、注目受光画像データと称するとする。

この場合、注目受光画像データの１つ前の受光画像データに対して図２４の例の処理（例えばステップＳ１０７の処理等）が施されて得られた座標の情報（上述したオブジェクト情報のひとつ）は、上述したように、図２の検出結果保持部２１に保持されている。

一方、注目受光画像データに対して図２４の例の処理（例えばステップＳ１０７の処理等）が施されて得られた座標の情報（上述したオブジェクト情報のひとつ）は、図２のオブジェクト検出部１６から出力されてコマンド認識／発行部１７に提供される。

この場合、図２の時間位置変化型コマンド認識部２２または複合型コマンド認識部２５は、即ち、図３の指示判定部１１６は、これらの座標の情報を比較することで、図２４のステップＳ１２２の「各点は移動しているか」否かを判定する。

なお、以下、説明の簡略上、ステップＳ１２２以降の処理の動作主体は、時間位置変化型コマンド認識部２２であるとして説明していく。

また、以下の説明では、上述した図３２に示される位置関係の重心G31，G32，G33に関する情報が、注目受光画像データの１つ前の受光画像データのオブジェクト情報（以下、直前オブジェクト情報と称する）として、図２の検出結果保持部２１に保持されているとする。そして、図３３に示される位置関係の重心G41，G42，G43に関する情報が、注目受光画像データのオブジェクト情報（以下、注目オブジェクト情報と称する）として、図２のオブジェクト検出部１６から時間位置変化型コマンド認識部２２に提供されてきたとする。

この場合、注目オブジェクト情報と直前オブジェクト情報との位置関係は、図３４に示されるようになる。なお、以下、重心G41,G42,G43を注目重心G41,G42,G43と称し、重心G31,G32,G33を直前重心G31,G32,G33と称する。

即ち、図２の時間位置変化型コマンド認識部２２は、図３４の情報を参照することで、図２４のステップＳ１２２の「各点は移動しているか」否かを判定することができる。

具体的には例えば、時間位置変化型コマンド認識部２２は、先ず、各注目重心G41,G42,G43のそれぞれは、直前重心G31,G32,G33のうちの何れに対応するのか、即ち、何れの直前重心が移動変化したものであるのかを判別し、その判別結果に基づいて、各注目重心G41,G42,G43のそれぞれについての移動方向と移動距離（移動ベクトル）を求める。

この判別手法自体は、特に限定されないが、ここでは、次のような座標からの距離で判別する手法が採用されているとする。即ち、注目重心の座標に最も近い座標の直前重心が、対応する重心である、という手法が採用されているとする。

この場合、図３４の例では、注目重心G43と、それに最も近い直前重心G33とが対応する、即ち、直前重心G33の座標から、注目重心G43の座標に移動変化したと判別される。これにより、注目重心G43についての移動方向と移動距離（移動ベクトル）が求められる。同様に、注目重心G42と、それに最も近い直前重心G32とが対応する、即ち、直前重心G32の座標から、注目重心G42の座標に移動変化したと判別される。これにより、注目重心G42についての移動方向と移動距離（移動ベクトル）が求められる。また、注目重心G41と、それに最も近い直前重心G31とが対応する、即ち、直前重心G31の座標から、注目重心G41の座標に移動変化したと判別される。これにより、注目重心G41についての移動方向と移動距離（移動ベクトル）が求められる。

そして、時間位置変化型コマンド認識部２２は、各注目重心G41,G42,G43のそれぞれについての移動距離が、予め定められた閾値を超えている場合、図２４のステップＳ１２２の処理で各点は移動していると判定して、処理をステップＳ１２３に進め、それ以外の場合、ステップＳ１２２の処理で各点は移動していないと判定して、図２４の処理を終了させる。なお、その際、各点が移動していることの判定条件としては、各注目重心G41,G42,G43のそれぞれについての移動距離のうちの少なくとも1つが閾値を超えていることを条件としてもよいし、各注目重心G41,G42,G43のそれぞれについての移動距離のうちの２つ以上が閾値を超えていることを条件としてもよいし、或いは、各注目重心G41,G42,G43のそれぞれについての移動距離の全てが閾値を超えていることを条件としてもよい。

処理がステップＳ１２３に進んだ場合には、時間位置変化型コマンド認識部２２は、さらに、どのように移動しているのかを判断することになる。

この判断手法自体も、特に限定されず、例えば、上述したように各注目重心G41,G42,G43のそれぞれについての移動ベクトル（移動方向と移動距離）が判るので、これらを用いて判断する手法を採用することもできる。

また例えば、図３５に示されるように、各直前重心G31,G32,G33を頂点とする三角形（以下、直前三角形と称する）の面積と、各注目重心G41,G42,G43を頂点とする三角形（以下、注目三角形と称する）の面積とを比較することで、どのように移動しているのかを判断する、という手法を採用することができる。かかる手法が採用された場合、注目三角形の面積が直前三角形の面積よりも一定以上大きいとき（図３５参照）には、図２４のステップＳ１２３の処理で「拡大」方向に移動していると判定されて、処理はステップＳ１２４に進むことになる。これに対して、注目三角形の面積が直前三角形の面積よりも一定以上小さいいときには、図２４のステップＳ１２３の処理で「縮小」方向に移動していると判定されて、処理はステップＳ１２５に進むことになる。

以上、図２５乃至図３５を参照して、図２４の例の処理のうちの主要な処理の詳細について説明した。

このような図２４の例の処理が実行される場合には、例えば、上述した図２３の上部に示したように、操作者が指ｆ１、ｆ２、ｆ３の３本で表示画面に触れ、指と指との間隔を離していくように移動させたときには、図２３の下部に示したような受光画像が得られ、検出された３つの接触部が離れる方向に移動しているため、図３６に示すような操作後画面例のように、画面を拡大表示する。

ここまでは、表示画像の表示状態を変化させる例について説明したが、表示装置の表示エリアを指やペン等で触れることによって、様々なアプリケーション処理を行うことも可能である。次に、表示エリアに表示した文章の編集を行う処理の例について、図３７、図３８、図３９を参照して説明する。本例では、図３７の上部に示したように、表示エリア１２１に文字列などの文書データを表示し、その文書データに対する操作を行う場合を示している。ここでは、画面に表示された文章の一部を操作者が指ｆ１、ｆ２の２本で挟むように触れている。このとき、図３７の下部に示したような受光画像が得られ、２つの接触部１７１、１７２が検出される。

図３８は、図３７に示すような接触部が検出される場合の、受光画像から操作指示を判断する処理の例を示すフローチャートである。本フローチャートを参照して、検出した複数の接触部の大きさを基に操作者からの指示を判断する処理について説明する。ここでは、予め接触部と操作指示との対応を「表示データが文書データの場合、文字列の両端を２本の指で同時に接触した場合に、当該文字列を選択する」と定義しておく。

換言すると、図３の例では指示判定部１１６として構成されている図２のコマンド認識／発行部１７のうちの、位置関係型コマンド認識部２３、コマンド定義保持部２６、および、コマンド発行部２７が主に機能する場合の処理の一例が、図３８のフローチャートに示されている。即ち、「表示データが文書データの場合、文字列の両端を２本の指で同時に接触した場合に、当該文字列を選択する」という定義がコマンド定義保持部２６に保持されており、位置関係型コマンド認識部２３がかかる定義に基づいて、「２本の指で挟まれた範囲の文字列を選択させる」というコマンドを認識し、コマンド発行部２７がかかるコマンドを発行する場合の処理例が、図３８のフローチャートに示されている。

なお、図３８でいう点とは、図８でいう点と同様に、１つの画素を意味するのではなく、上述した１つのオブジェクト、即ち、図９等でいう１つの連結成分を意味する。

まず、接触部が指先の場合を検出するための面積の閾値Ａと、接触部が指の腹の場合を検出するための閾値Ｂを設定する（ステップＳ１３１）。次に、受光画像生成部１１４によって受光信号から変換された画像データを取得し（ステップＳ１３２）、第１の画像処理として接触部の面積を計算する（ステップＳ１３３）。なお、ステップＳ１３３の処理の詳細例については、図９乃至図１６を参照して上述した通りである。面積の計算の結果、画像データ中に面積の閾値Ｂ以上の点があるかを判断し（ステップＳ１３４）、点があれば別処理に進み（ステップＳ１３５）、なければ画像データ中に面積の閾値Ａ 以上の点があるかを判断する（ステップＳ１３６）。閾値Ａ以上の点もない場合は、次の画像データを取得する。面積Ａ以上の点がある場合、その点が２点か否かを判断し（ステップＳ１３７）、２点あれば次の処理に進み、なければ、次の画像データを取得する。次に、第２の画像処理として、２点の接触部の位置関係を計算する（ステップＳ１３８）。なお、ステップＳ１３８の処理の詳細例については、図１７乃至図２０を参照して上述した通りである。位置の計算の結果、２点が一定の距離離れていれば、その２点間に表示されている文字列を選択する指示とする（ステップＳ１３９ ）。

本例では、操作者からの指示が文章の編集を行うための指示となるため、上記フローチャートで説明したように指示判定部１１６による処理が行われた後、判定した指示内容を入出力処理部１０１から外部のアプリケーションであるドキュメント処理部１０２へ通知する。そして、ドキュメント処理部１０２において指示内容に応じた文書データの編集処理を行い、その結果を再度入出力処理部１へ送り、そのデータを表示データとして生成して表示する。

例えば、図３７の上部に示したように、表示エリア１２１に表示された文章の一部を操作者が指ｆ１、ｆ２の２本で挟むように触れた場合、図３９に示すような操作後画面例のように、指ｆ１、ｆ２で挟んだ部分の文字列Ｈ１が選択状態となって表示される。

次に、図４０、図４１、図４２を参照して、表示エリアに表示した文章の編集を行う他の処理例について説明する。図４０は、表示エリア１２１に文字列などの文書データを表示し、操作者が指ｆ１を画面に表示された文章の文字列の上に置いた場合である。このとき、図４０の下部に示したような受光画像が得られ、１つの細長い接触部１８１が検出される。

図４１は、図４０に示すような接触部が検出される場合の、受光画像から操作指示を判断する処理の例を示すフローチャートである。ここでは、予め接触部と操作指示との対応を「表示データが文書データの場合、文字列の上に指を置いた場合に、当該文字列を消去する」と定義しておく。

換言すると、図３の例では指示判定部１１６として構成されている図２のコマンド認識／発行部１７のうちの、形状型コマンド認識部２４、コマンド定義保持部２６、および、コマンド発行部２７が主に機能する場合の処理の一例が、図４１のフローチャートに示されている。即ち、「表示データが文書データの場合、文字列の上に指を置いた場合に、当該文字列を消去する」という定義がコマンド定義保持部２６に保持されており、形状型コマンド認識部２４がかかる定義に基づいて、「指が置かれた範囲に含まれる文字列を消去させる」というコマンドを認識し、コマンド発行部２７がかかるコマンドを発行する場合の処理例が、図４１のフローチャートに示されている。

なお、図４１でいう点とは、図８でいう点と同様に、１つの画素を意味するのではなく、上述した１つのオブジェクト、即ち、図９等でいう１つの連結成分を意味する。

本処理において、接触部を検出するための面積の閾値Ａと閾値Ｂを設定する処理（ステップＳ１３１）から、画像データ中に面積の閾値Ｂ以上の点があるかを判断する処理（ステップＳ１３４）までは、上記図３８のフローチャートで説明したものと同様である。面積Ｂ以上の点がない場合の処理は図３８のフローチャートで説明したものである。ステップＳ１３４にて面積の閾値Ｂ以上の点がある場合は、第２の画像処理として、接触部の位置を計算する（ステップＳ１４１）。なお、ここでいう位置計算は、上述した図１７の計算とは異なり、受光画像における接触部（１つの連結成分全体）の占める位置が計算される。位置の計算の結果、接触部が画面に表示されている文字列の上に重なるように置かれている場合は、接触部が置かれている部分の文字列を消去する指示とする（ステップＳ１４２）。

上記処理を行った場合の操作後画面の例を図４２に示す。図４０の上部に示したように、表示エリア１２１に表示された文章の文字列の上に操作者が指ｆ１を置いた場合、図４２に示すように、指ｆ１を置いた部分の文字列Ｈ２が消去状態となって表示される。

なお、図３８及び図４１で示した処理は排他的なものではなく、両方を同時に実現できる。この場合の処理例を図４３のフローチャートで示す。ここでは、文章の編集を行う例を「選択」と「削除」の二つの例で示したが、接触部と操作指示の対応を別の組み合わせとすることも可能である。また、他の編集処理を行わせるための指示を実現することも可能である。

なお、図４３でいう点とは、図８でいう点と同様に、１つの画素を意味するのではなく、上述した１つのオブジェクト、即ち、図９等でいう１つの連結成分を意味する。

本実施の形態では、表示装置の表示エリアに接触または近接した物体を検出し、その接触部の状態を次のように判断する例について述べた。
・複数の接触部(オブジェクト)の位置関係を基に操作指示を判断する。
・ 複数の接触部(オブジェクト)の時間位置変化を基に操作指示を判断する。
・ 複数の接触部（オブジェクト）の形状（大きさ等）を基に操作指示を判断する。
これらの状態を組み合わせたものや、操作する接触部の数、位置関係や移動方法などの他の条件と操作指示との対応を定義することで、他の画面操作や、文書データの他の編集処理を行わせることも可能である。また、画面操作だけでなく、特定のアプリケーションの処理を実行させることもできる。他のアプリケーションを実行させる場合は、そのアプリケーション処理部を入出力処理部１０１の外部に組み込むように構成することで、処理を実現することができる。

以上の説明では、主に指などの反射物がディスプレイ表面に接触、あるいは近接した場合について述べてきた。しかし、本発明における表示/受光パネル部１２０はディスプレイ表面に受光素子を二次元的に配置してあるので、これ以外の状況でも操作の指示が可能である。例えば、レーザーポインタなどの光源を複数使用する、あるいはビームの大きさを変える、ビームの形状を変える、更にはこれらを動かす、などによって操作の指示をしても良い。

あるいはディスプレイ上に他の物体の像を結像させる、または影を検出するなど、受光画像が形成でき、かつそれが変化させられるものであれば何を用いても良い。例えば、クリップがディスプレイ上に置かれたら、特定のアプリケーションの処理を実行する、または、ディスプレイ上に鍵を置き、その鍵を右方向に回転させると「ロック」、左方向へ回転させると「ロック解除」などの処理を実行させることも可能である。

ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。

この場合、図１の画像入出力装置１の少なくとも一部として、例えば、図４４に示されるパーソナルコンピュータを採用してもよい。

図４４において、CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２に記録されているプログラム、または記憶部２０８からRAM（Random Access Memory）２０３にロードされたプログラムに従って各種の処理を実行する。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU２０１、ROM２０２、およびRAM２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インタフェース２０５も接続されている。

入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイなどよりなる出力部２０７、ハードディスクなどより構成される記憶部２０８、および、モデム、ターミナルアダプタなどより構成される通信部２０９が接続されている。通信部２０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

入出力インタフェース２０５にはまた、必要に応じてドライブ２１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア２１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２０８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

このようなプログラムを含む記録媒体は、図４４に示されるように、装置本体とは別に、操作者にプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）２１１により構成されるだけでなく、装置本体に予め組み込まれた状態で操作者に提供される、プログラムが記録されているROM２０２や、記憶部２０８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置や処理部により構成される装置全体を表すものである。

本発明が適用される情報処理システムの機能的構成例を示す機能ブロック図である。 図１のコマンド認識／発行部１７の詳細例を示す機能ブロック図である。 本発明の一実施の形態による表示装置の構成例を示すブロック図である。 本発明の一実施の形態による表示／受光ディスプレイパネルの例を示す構成図である。 本発明の一実施の形態による画素構成例を示す接続図である。 本発明の一実施の形態による表示と受光のタイミング例を示すタイミング図である。 本発明の一実施の形態による表示装置の操作例（１）を示す説明図である。 本発明の一実施の形態による画像処理例（１）を示すフローチャートである。 図８の処理のうちの画像処理（面積計算）の詳細例を示すフローチャートである。 図９の処理結果の具体例を示す図である。 図９の処理結果の具体例を示す図である。 図９の処理結果の具体例を示す図である。 図９の処理結果の具体例を示す図である。 図９の処理結果の具体例を示す図である。 図９の処理結果の具体例を示す図である。 図９の処理結果の具体例を示す図である。 図８の処理のうちの画像処理（位置計算）の詳細例を示すフローチャートである。 図１７の処理結果の具体例を示す図である。 図１７の処理結果の具体例を示す図である。 図１７の処理結果の具体例を示す図である。 本発明の一実施の形態による表示装置の操作例（２）を示す説明図である。 本発明の一実施の形態による画像処理例（２）を示すフローチャートである。 本発明の一実施の形態による表示装置の操作例（３）を示す説明図である。 本発明の一実施の形態による画像処理例（３）を示すフローチャートである。 図２４の処理のうちのステップＳ１０８の詳細例を示すフローチャートである。 図２５の処理結果の具体例を示す図である。 図２５のステップＳ１０８ｇ乃至Ｓ１０８ｊの採用理由を説明する図である。 図２４の処理のうちのステップＳ１１４の処理結果の具体例を示す図である。 図２４の処理のうちのステップＳ１１４の詳細例を示すフローチャートである。 図２４の処理のうちのステップＳ１２０の判断処理の判断手法例を説明する図である。 図２４の処理のうちのステップＳ１２０の詳細例を示すフローチャートである。 図３１の処理結果の具体例を示す図である。 図２４の処理のうちのステップＳ１２２の判断処理の処理内容例を説明する図である。 図２４の処理のうちのステップＳ１２２の判断処理の処理内容例を説明する図である。 図２４の処理のうちのステップＳ１２３の判断処理の処理内容例を説明する図である。 本発明の一実施の形態による操作後画面例（１）を示す説明図である。 本発明の一実施の形態による表示装置の操作例（４）を示す説明図である。 本発明の一実施の形態による画像処理例（４）を示すフローチャートである。 本発明の一実施の形態による操作後画面例（２）を示す説明図である。 本発明の一実施の形態による表示装置の操作例（５）を示す説明図である。 本発明の一実施の形態による画像処理例（５）を示すフローチャートである。 本発明の一実施の形態による操作後画面例（３）を示す説明図である。 本発明の一実施の形態による画像処理例（６）を示すフローチャートである。 本発明が適用される処理をソフトウエアで実行するパーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１ 画像入出力装置， ２ 情報処理装置， １１ 表示画像生成部， １２ 表示制御部， １３ 表示部， １４ 受光部， １５ 受光画像生成部， １６ オブジェクト検出部， １７ コマンド認識／発行部， ２１ 検出結果保持部， ２２ 時間位置変化型コマンド認識部， ２３ 位置関係型コマンド認識部， ２４ 形状型コマンド認識部， ２５ 複合型コマンド認識部， ２６ コマンド定義保持部， ２７ コマンド発行部， １０１ 入出力処理部， １０２ ドキュメント処理部， １１０ 表示信号生成部， １１１ 信号制御部， １１２ 表示信号ドライバ， １１３ 受光信号レシーバ， １１４ 受光画像生成部， １１５ 画像処理演算部， １１６ 指示判定部， １２０ 表示／受光パネル部， １２１ 表示エリア（センサエリア）， １２２ 表示用水平ドライバ， １２３ 表示用垂直ドライバ， １２４ センサ用垂直レシーバ， １２５ センサ用水平レシーバ， １２７ 表示側スキャナ， １２８ 受光側スキャナ， １３０ 表示装置， １３１ 画素， １３１ａ スイッチング素子， １３１ｂ 画素電極， １３１ｃ センサ素子， １３１ｄ リセットスイッチ， １３１ｅ コンデンサ， １３１ｆ バッファアンプ， １３１ｇ 読み出しスイッチ， １３１ｈ ゲート電極， １３１ｉ ドレイン電極， １３１ｊ 信号出力用電極， １３１ｋ リセット電極， １３１ｍ 読出し制御電極， ｆ１ ，ｆ２ ，ｆ ３ 指， １４１ ，１４２ ，１４３ ，１５１ ，１５２ ，１５３ ，１６１ ，１６２ ，１６３ ，１７１ ，１７２ ，１８１ 接触部， ２０１ ＣＰＵ， ２０２ ＲＯＭ， ２０３ ＲＡＭ， ２０４ バス， ２０５ 入出力インタフェース， ２０６ 入力部， ２０７ 出力部， ２０８ 記憶部， ２０９ 通信部， ２１０ ドライブ， ２１１ リムーバブルメディア

Claims (5)

1. 画像の表示と受光とを同時又は交互に行う表示装置において、
   マトリクス状に配置された複数の表示素子と、
   前記複数の表示素子に隣接して配置されて、表示面に入射した光の受光を行う複数の受光素子と、
   前記受光素子で受光した受光信号に基づいて、表示面に接触又は近接する物体の状態を画像データとして生成する受光画像生成部と、
   前記受光画像生成部で生成した画像データを基に、表示面に接触又は近接する物体の位置や大きさ、位置の変化の判定を行う画像処理演算部と、
   前記画像処理演算部で複数箇所の接触又は近接する物体の接触部を検出した場合に、その複数箇所の接触部の位置関係、又は接触部の移動位置変化、又は接触部の大きさに応じて、操作者の指示を判定する指示判定部とを備え、
   判定した指示に応じた所定の処理を実行することを特徴とする表示装置。
2. 請求項１記載の表示装置において、
   前記所定の処理は、前記表示素子で表示させる表示画像を変化させる処理である
   ことを特徴とする表示装置。
3. 請求項１記載の表示装置において、
   前記所定の処理は、前記表示素子で表示させる表示画像を生成させるアプリケーションの動作を変化させる処理である
   ことを特徴とする表示装置。
4. 請求項１記載の表示装置において、
   前記画像処理演算部の処理において、検出する画像が表示面に置かれた物体の像又は近接した物体の影の形状である
   ことを特徴とする表示装置。
5. 画像の表示と受光とを同時又は交互に行う表示方法において、
   マトリクス状に配置された複数の表示素子で表示を行い、
   前記複数の表示素子のそれぞれに近接して配置された受光素子が出力する受光信号に基づいて、表示面に接触又は近接した物体の接触部を検出し、
   前記複数箇所の接触又は近接した物体の接触部を検出した場合に、その複数箇所の接触部の位置関係、又は接触部の移動位置変化、又は接触部の大きさに応じて、所定の処理を行う
   ことを特徴とする表示方法。

Images