JP2010092420A - 情報処理装置、情報処理方法、情報処理システムおよび情報処理用プログラム - Google Patents

情報処理装置、情報処理方法、情報処理システムおよび情報処理用プログラム Download PDF

Info

Publication number
JP2010092420A
JP2010092420A JP2008264222A JP2008264222A JP2010092420A JP 2010092420 A JP2010092420 A JP 2010092420A JP 2008264222 A JP2008264222 A JP 2008264222A JP 2008264222 A JP2008264222 A JP 2008264222A JP 2010092420 A JP2010092420 A JP 2010092420A
Authority
JP
Japan
Prior art keywords
detection
dimensional
space
sensor
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008264222A
Other languages
English (en)
Other versions
JP4793422B2 (ja
Inventor
Haruo Oba
晴夫 大場
Atsushi Koshiyama
篤 越山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008264222A priority Critical patent/JP4793422B2/ja
Priority to EP09172301.5A priority patent/EP2175351B1/en
Priority to US12/587,449 priority patent/US8378966B2/en
Priority to CN2009102046899A priority patent/CN101794185B/zh
Publication of JP2010092420A publication Critical patent/JP2010092420A/ja
Application granted granted Critical
Publication of JP4793422B2 publication Critical patent/JP4793422B2/ja
Priority to US13/748,915 priority patent/US8754850B2/en
Priority to US14/211,391 priority patent/US20140198077A1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0447Position sensing using the local deformation of sensor cells
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of Length, Angles, Or The Like Using Electric Or Magnetic Means (AREA)

Abstract

【課題】静電容量検出型の非接触センサを用いて、任意の形状の立体物に対して検出対象物が接触したことを検出することができる情報処理装置を提供する。
【解決手段】センサ手段1は、検出対象物を検知可能な検知空間における検出対象物の、検知空間における3次元座標位置に応じたセンサ出力信号を、検出空間における静電容量を検出することにより生成して出力する。位置検出手段22は、センサ手段1のセンサ出力信号から、検出対象物の検知空間における3次元座標位置を検出する。記憶手段21は、検知空間において設定された3次元設定空間領域を特定するための座標情報を記憶する。判断手段23は、検出された検出対象物の3次元座標位置と、記憶手段に記憶されている座標情報とから、検知空間における検出対象物の3次元座標位置が、3次元設定空間領域に含まれるか否かを判断する。出力手段は、判断手段の判断結果を出力する。
【選択図】図1

Description

この発明は、非接触型のセンサ手段で検出される人の手や指などの検出対象物の空間の位置情報を用いて、実物体または仮想的な物体への接触等を検出できるようにする情報処理装置、情報処理方法、情報処理システムおよび情報処理用プログラムに関する。
従来、人が何らかの入力をする場合には、操作ボタンやタッチパネルが用いられるのが一般的である。タッチパネルの場合には、LCD(Liquid Crystal Display)などの平面ディスプレイと組み合わせられ、表示画面に表示されたボタンアイコンなどをあたかも押下操作するような操作入力となる。
これらの入力操作は、操作ボタントップの平面やタッチパネルの画面への接触や加圧を前提したものとなっている。そのため、平面との接触や加圧という限られた動作が操作入力となっていた。また、平面との接触が可能な限られた用途となっていた。
このため、接触や加圧による振動や力が、機器の性能を阻害するという問題や、接触面を汚したり、傷つけたりするなどという問題もあった。
上述の問題点を改善したものとして、出願人は、先に、特許文献1(特開2008−117371号公報)に、近接検知方情報表示装置を開示した。この特許文献1においては、例えば、互いに直交する2方向に複数のライン電極または点電極を配したセンサパネルを備えるセンサ手段を用いる。
そして、このセンサ手段においては、複数個の電極を含むセンサパネル面と、このパネル面に対して空間的に離間する検出対象物、例えば人の手や指との距離を、当該距離に応じた静電容量を複数の電極について検出することにより検出する。
すなわち、センサパネルの複数の電極のそれぞれと接地点との間の静電容量は、人の手や指の位置と、パネル面との空間的な離間距離に応じて変化する。そこで、人の指の位置と、パネル面との空間的な距離にスレッショールド値を設定し、その距離よりも指がパネルに近接したか、遠のいたかを、前記距離に応じた静電容量の変化を検出することにより、検出するものである。
そして、特許文献1では、特に、検出対象物とセンサパネル面との距離に応じて、静電容量を検出する電極の間隔を変えることにより、静電容量の検知感度を向上させることができる技術が開示されている。
この先に提案した技術によれば、センサパネルに接触することなく、スイッチ入力を行うことができる。また、センサパネルには、互いに直交する2方向に複数のライン電極または点電極を配しているので、パネル面に沿う方向の手や指の動きを空間的に検出することができ、空間内での手や指の動きに応じた操作入力をすることもできるという特徴がある。
上記の先行技術文献は、次の通りである。
特開2008−117371号公報
ところで、任意の形状の立体物の表面に人が手や指を接触させたことを検出する場合、従来は、タッチセンサを、立体物の表面に貼る方法が一般的である。
しかし、人が立体物のどこを触っても検知することできるようにする場合には、タッチセンサは立体物の表面全体に貼るようにしなければならず、構成が困難である。また、タッチセンサを用いる場合には、当該タッチセンサからリード電極を導出しなければならず、そのリード線を検知装置に接続する必要であるという問題がある。
さらに、対象の立体物が、貴重品や貴金属など、その表面にタッチセンサなどを貼ることができないものもある。
上述した特許文献1の技術を用いれば、人の手や指などの検出対象物の空間位置を検出することが可能である。しかし、上記の特許文献1には、検出対象物のセンサパネル面からの距離に応じて検出感度を調整する技術が示されているが、任意の立体物の表面の接触を検知するための技術については、開示されていない。
この発明は、以上の点にかんがみ、上述の特許文献1のような静電容量検出型の非接触センサを用いて、任意の形状の立体物に対して検出対象物が接触したことを検出することができるようにすることを目的とする。
上記の課題を解決するために、この発明においては、
検出対象物を検知可能な検知空間における前記検出対象物の、前記検知空間における3次元座標位置に応じたセンサ出力信号を、前記検出空間における静電容量を検出することにより生成して出力するセンサ手段と、
前記センサ手段の前記センサ出力信号から、前記検出対象物の前記検知空間における3次元座標位置を検出する位置検出手段と、
前記検知空間において設定された3次元設定空間領域を特定するための座標情報を記憶する記憶手段と、
前記位置検出手段で検出された前記検出対象物の3次元座標位置と、前記記憶手段に記憶されている座標情報とから、前記検知空間における前記検出対象物の3次元座標位置が、前記3次元設定空間領域に含まれるか否かを判断する判断手段と、
前記判断手段の判断結果を出力する出力手段と、
を備える情報処理装置を提供する。
上述の構成のこの発明による情報処理装置においては、例えば、センサ手段が検出対象物を検知可能な検知空間に置かれた立体物に応じて設定された3次元設定空間領域を特定するための座標情報を記憶する。
そして、位置検出手段は、センサ手段からのセンサ出力信号から、検知空間における手や指などの検出対象物の3次元座標位置を検出する。
判断手段は、位置検出手段で検出された検知空間における検出対象物の3次元座標位置が、3次元設定空間領域に含まれるか否かを判断し、出力手段は、その判断結果を出力する。
したがって、出力手段からの判断手段の判断結果から、例えば検知空間に置かれた立体物に人の手や指が触れたか否かが判る。
この場合に、この発明で用いるセンサ手段は、静電容量を検出するものであるので、検知空間に設定される3次元設定空間領域に実体の立体物が存在しても検出が可能なのである。
しかし、検知空間に設定される3次元設定空間領域に実体の立体物がなくてもよい。例えば、検知空間に設定される3次元設定空間領域に、立体画像の投影手段により投影された立体画像が存在するようにしてもよい。
この発明によれば、センサ手段の検知空間に置かれた立体物や立体画像に、人の手や指などの検出対象物が接触したか否かを検出することができる。この場合に、立体物や立体画像には、接触を検知するためのタッチセンサなどを設ける必要はなく、単に、センサ手段の検知空間に、立体物や立体画像が占有する空間に対応する3次元設定空間領域を設定して記憶しておくだけでよいというメリットがある。
以下、この発明による情報処理装置の一実施形態を、図を参照しながら説明する。以下に説明する実施形態においては、センサ手段は、特許文献1に開示した静電容量を検出することにより、その検知空間における3次元座標位置を検出できるセンサ部を用いる。また、検出対象物は、操作者の手や指を想定するものである。
<第1の実施形態>
この第1の実施形態においては、センサ手段の検知空間に置かれた任意形状の立体物に、検出対象物としての人の手や指が触れたか否かを検出し、触れたと検出したときには、すの旨を、光や音により報知するようにする。
図1は、第1の実施形態の情報処理装置の全体の構成の概要を示すブロック図である。この第1の実施形態の情報処理装置は、センサ部1と、制御部2と、報知手段3と、ディスプレイ4から構成される。
センサ部1は、検出対象物の検知空間における3次元座標位置に応じたセンサ出力を制御部2に供給する。後述するように、この実施形態では、センサ部1は、後述するように、所定の大きさの2次元平面からなる矩形状のセンサパネルを備える。そして、このセンサパネル面上の空間を検知空間として、この検知空間における検出対象物の3次元座標位置を検出し、その検出した3次元座標位置に応じたセンサ出力を制御部2に出力するものである。
そして、この実施形態では、センサ部1は、センサパネル面の横方向および縦方向において、それぞれ複数の位置(x,y軸座標位置)において、独立して検出対象物までの距離(z軸座標位置)を検出して、それぞれ検出出力とすることができるように構成されている。これにより、この実施形態の情報処理装置では、検出対象物が前記センサパネル面のいずれの位置上にあるかをも検出可能とされている。
すなわち、例えばセンサパネル面の横方向をx軸方向、縦方向をy軸方向とすると共に、センサパネル面に直交する方向をz軸方向としたとき、検出対象物の空間的な離間距離は、z軸座標値として検出される。そして、センサパネル上の検出対象物の空間位置は、x軸座標値およびy軸座標値により検出される。
制御部2は、この実施形態では、マイクロコンピュータを備えて構成されている。そして、制御部2は、3次元設定空間領域記憶部21と、位置検出部22と、接触検出部23と、3次元設定空間領域設定部24とを備えている。
位置検出部22と、接触検出部23と、3次元設定空間領域設定部24とは、この実施形態では、マイクロコンピュータでのプログラムによるソフトウエア処理として構成される。なお、位置検出部22と、接触検出部23と、3次元設定空間領域設定部24とを、それぞれハードウエアにより構成することもできることは言うまでもない。
この制御部2の位置検出部22は、センサ部1からのセンサ出力を受けて、検出対象物のセンサパネル面からの離間距離(z座標)を検出すると共に、検出対象物がセンサパネル面のどの位置(x座標およびy座標)にあるかを検出する。つまり、位置検出部22は、検出対象物の検知空間における3次元座標を、センサ手段1のセンサ出力から検知する。
一方、制御部2は、予め、人の手や指が触れたことを検出する立体物が空間において占める領域を表わす3次元設定空間領域を特定するための座標情報を、3次元設定空間領域記憶部21に記憶している。
この実施形態では、3次元設定空間領域についての座標情報は、3次元設定空間領域設定部24によって、設定操作入力部4を通じた設定操作にしたがって、3次元設定空間領域記憶部21に記憶される。この3次元設定空間領域についての座標情報の設定操作入力については、後で詳述する。
制御部2は、位置検出部22でセンサ手段1からのセンサ出力から検出した検出対象物の検出空間における3次元座標が、3次元設定空間領域記憶部21に記憶されている3次元設定空間領域に含まれるか否かを、接触判定部23において判定する。
ここで、接触判定部23は、検出対象物の検出空間における3次元座標が、3次元設定空間領域内にあるときはもちろん、3次元設定空間領域の境界位置にある場合も、3次元設定空間領域に含まれていると判定する。
そして、接触判定部23は、検出対象物の検出空間における3次元座標が、3次元設定空間領域に含まれていると判定したときには、センサ手段の検知空間に置かれた任意形状の立体物に、検出対象物である手や指が接触したと判断する。
そして、制御部2の接触判定部は、センサ手段の検知空間に置かれた任意形状の立体物に、手や指が接触したと判断したときには、報知手段3にその旨を通知する。報知手段3は、例えばブザー音や、「触らないで下さい」などのメッセージ音声を放音して、接触を人に報知するようにする。報知手段3は、手や指が接触したことを、前記音声報知に代えて、あるいは、音声報知と共に、ランプを点滅させる等、光を用いた報知を行うようにしても良い。
[センサ部1の説明]
この実施形態においても、特許文献1の場合と同様に、センサパネル10面と検出対象物との距離に応じた静電容量は、発振回路の発振周波数に変換して検出する。そして、この実施形態では、センサ部1は、発振周波数に応じたパルス信号のパルス数を計数し、その発信周波数に応じた計数値をセンサ出力信号とする。
図1においては、センサ部1の内部構成として、センサ出力信号を生成するための回路構成例を示している。また、図2および図3は、この実施形態におけるセンサ部のセンサパネル10の構成例を示すもので、図2は、センサパネル10の横断面図である。
図2に示すように、この例のセンサパネル10においては、2枚のガラス板11,13の間に、電極層12が挟持される構成とされている。そして、この2枚のガラス板11,13および電極層12からなるサンドイッチ構造物が、基板14上に被着されている。
図3は、ガラス板11を除去した場合において、センサパネル10をガラス板11側から見た図である。センサ部1の検出対象物の検知空間は、このセンサパルス10の横方向(x軸方向)および縦方向(y軸方向)で規定される面の上方の空間である。
この実施形態では、電極層12は、この図3に示すように、ガラス板13の上において、互いに直交する2方向に複数本のワイヤ電極が配列されて構成されている。すなわち、ワイヤ電極の延伸方向が図3上の水平方向(横方向)である複数の横電極12H1,12H2,12H3,・・・,12Hm(mは、2以上の整数)が、図3上の垂直方向(縦方向)に、この例では等間隔に配置されている。
これら複数の横電極12H1,12H2,12H3,・・・,12Hmのそれぞれと、接地間には静電容量(浮遊容量)CH1,CH2,CH3,・・・,CHmが存在する。そして、これらの静電容量CH1,CH2,CH3,・・・,CHmは、センサパネル10面上の空間における手や指の存在位置により変化する。
複数の横電極12H1,12H2,12H3,・・・,12Hmの一方および他方の端部は、それぞれ横電極端子とされている。そして、この例では、複数の横電極12H1,12H2,12H3,・・・,12Hmのそれぞれの横電極端子の一方は、横電極用の発信器15Hに接続される。また、複数の横電極12H1,12H2,12H3,・・・,12Hmのそれぞれの横電極端子の他方は、アナログスイッチ回路16に接続される。
この場合、横電極12H1,12H2,12H3,・・・,12Hmは、図1に示すような等価回路で表わすことができる。図1では、横電極12H1についての等価回路が示されているが、他の横電極12H2,・・・,12Hmにおいても同様である。
すなわち、横電極12H1の等価回路は、抵抗RHと、インダクタンスLHと、検出対象の静電容量CH1とからなる。他の横電極12H2,12H3,・・・,12Hmでは、静電容量がCH2,CH3,・・・,CHmに変わる。
この横電極12H1,12H2,12H3,・・・,12Hmの等価回路は、共振回路を構成するもので、発信器15Hと共に発振回路を構成し、それぞれ横電極容量検出回路18H1,18H2,18H3,・・・,18Hmを構成する。そして、横電極容量検出回路18H1,18H2,18H3,・・・,18Hmのそれぞれの出力は、検出対象物のセンサパネル10面からの距離に応じた静電容量CH1,CH2,CH3,・・・,CHmのそれぞれに応じた発振周波数の信号となる。
ユーザが、センサパネル面10上で、手や指先の位置をセンサパネル面10に対して近づけたり、遠ざけたりすると、静電容量CH1,CH2,CH3,・・・,CHmの値が変化する。そのため、横電極容量検出回路18H1,18H2,18H3,・・・,18Hmのそれぞれでは、手や指先位置の位置変化が、発振回路の発振周波数の変化として検出される。
また、ワイヤ電極の延伸方向が図3上の垂直方向(縦方向)である複数の縦電極12V1,12V2,12V3,・・・,12Vn(nは、2以上の整数)が、図3上、水平方向(横方向)に、この例では等間隔に配置されている。
そして、複数の縦電極12V1,12V2,12V3,・・・,12Vnの一方および他方の端部は、それぞれ縦電極端子とされている。そして、この例では、複数の縦電極12V1,12V2,12V3,・・・,12Vnのそれぞれの縦電極端子の一方は、縦電極用の発信器15Vに接続される。この例では、縦電極用の発信器15Vの出力信号の基本周波数は、横電極用の発信器15Hとは周波数が異なるものとされる。
また、複数の縦電極12V1,12V2,12V3,・・・,12Vnのそれぞれの縦電極端子の他方は、アナログスイッチ回路16に接続される。
次に、縦電極間容量検出回路16Vも、信号源161Vと、直流バイアス源162Vと、スイッチ回路163Vと、2電極間等価回路164Vと、周波数電圧変換回路(F−V変換回路という)165Vとからなり、横電極間容量検出回路16Hと同様の構成である。
この場合、縦電極12V1,12V2,12V3,・・・,12Vnも、図1に示すように、横電極の場合と同様の等価回路で表わすことができる。図1では、縦電極12V1についての等価回路が示されているが、他の縦電極12V2,・・・,12Vnにおいても同様である。
すなわち、縦電極12V1の等価回路は、抵抗RVと、インダクタンスLVと、検出対象の静電容量CV1とからなる。他の横電極12V2,12V3,・・・,12Vnでは、静電容量がCV2,CV3,・・・,CVnに変わる。
そして、この縦電極12V1,12V2,12V3,・・・,12Vnの等価回路は、共振回路を構成するもので、発信器15Vと共に発振回路を構成し、それぞれ縦電極容量検出回路18V1,18V2,18V3,・・・,18Vnを構成する。そして、縦電極容量検出回路18V1,18V2,18V3,・・・,18Vnのそれぞれの出力は、検出対象物のセンサパネル10面からの距離に応じた静電容量CV1,CV2,CV3,・・・,CVnのそれぞれに応じた発振周波数の信号となる。
そして、縦電極容量検出回路18V1,18V2,18V3,・・・,18Vnのそれぞれにおいても、手や指先位置の位置変化に応じた静電容量CV1,CV2,CV3,・・・,CVnの値の変化が、発振回路の発振周波数の変化として検出される。
そして、横電極容量検出回路18H1,18H2,18H3,・・・,18Hmのそれぞれの出力と、縦電極容量検出回路18V1,18V2,18V3,・・・,18Vnのそれぞれの出力とがアナログスイッチ回路16に供給される。
このアナログスイッチ回路16は、制御部2からの切替信号SWにより、横電極容量検出回路18H1〜18Hmおよび縦電極容量検出回路18V1〜18Vnのうちの、いずれか1つの出力を、順次に、所定の速度で選択して出力する。
そして、このアナログスイッチ回路16からの出力が、周波数カウンタ17に供給される。この周波数カウンタ17は、これに入力される信号の発振周波数を計数する。すなわち、周波数カウンタ17の入力信号は、発振周波数に応じたパルス信号であり、そのパルス信号の所定時間区間におけるパルス数を計数すると、その計数値は、発振周波数に対応したものとなる。
この周波数カウンタ17の出力計数値は、制御部2に、アナログスイッチ回路16で選択されたワイヤ電極についてのセンサ出力として供給される。そして、周波数カウンタ17の出力計数値は、制御部2からのアナログスイッチ回路16に供給する切替信号SWに同期して得られる。
したがって、制御部2は、アナログスイッチ回路16に供給する切替信号SWから、周波数カウンタ17の出力計数値がいずれのワイヤ電極についてのセンサ出力であるかを判断する。そして、制御部2は、空間位置検出部22が備えるバッファ部に、ワイヤ電極と、出力計数値とを対応付けて保持する。
そして、制御部2の空間位置検出部22は、バッファ部に保持した検出対象の全てのワイヤ電極についてのセンサ出力から、検出対象物の空間位置(センサパネル10面からの距離およびセンサパネル10面でのx,y座標)を検出する。
特許文献1に記載されているように、実際的には、センサパネル10面上における検出対象物のx,y座標位置に応じて、複数個の横電極容量検出回路18H1〜18Hmおよび縦電極容量検出回路18V1〜18Vnからのセンサ出力が得られる。そして、その複数のセンサ出力は、検出対象物が存在するセンサパネル10面上におけるx,y座標位置から、センサパネル10面までの距離が最も短くなるので、当該位置に対応する2電極間の静電容量を検出する横電極容量検出回路および縦電極容量検出回路からのセンサ出力が、他に比べて顕著なものとなる。
以上のことから、制御部2の空間位置検出部21は、前記センサ部1からの複数個のセンサ出力から、センサパネル10面上における検出対象物が位置するx,y座標およびセンサパネル10面から検出対象物までの距離(z座標)を求める。すなわち、検出したx,y座標位置上の空間に、検出対象物、例えば手の位置があると判断する。なお、検出対象物は、所定の大きさを有するので、検出対象物の大きさ分に相当する、センサパネル10上のx,y座標位置範囲上において、静電容量に応じた距離(z座標値)だけ離れているとして検出されるものである。
この実施形態でも、検出対象物の、センサパネル10面に対する空間的な離間位置の距離に応じて、特許文献1の場合と同様にして、静電容量を検出するワイヤ電極の間引き切り替えをするようにする。このワイヤ電極の間引き切り替えは、制御部2からの切り替え制御信号SWにより、アナログスイッチ回路16において、順次に選択するワイヤ電極を、何本置き(0本を含む)のワイヤ電極を選択するかが制御されることによりなされる。切り替えタイミングは、センサパネル10面から検出対象物までの距離に応じて予め定められ、例えば、後述するレイヤの変化点とするようにしてもよい。
なお、発信器は、上述の説明では、横電極用と縦電極用とを用いるようにしたが、簡易的には、1個の共通の発信器とするようにしても良い。また、理想的には、各ワイヤ電極毎に周波数の異なる発信器を設ける方が良い。
[3次元設定空間領域を特定するための座標情報の設定]
図4は、3次元設定空間領域を特定するための座標情報を、3次元設定空間領域記憶部21に格納するための手順を示すフローチャートである。この例は、接触監視をする対象である立体物の外表面形状を特定できるような多数点を、設定者が順次に設定し、その設定された点の座標値から、補間処理などにより、対象立体物が空間に占める領域を3次元設定空間領域として設定登録する場合である。
先ず、設定者は、図5に示すように、接触監視をする対象である立体物31を、センサパネル10の面上に載置する(手順T1)。
次に、設定者は、立体物31について、登録する外表面の点を手や指で接触する(手順T2)。このとき、直接的に手や指で触れることが禁止される立体物の場合には、手袋をした上で、立体物に触れるようにする。この実施形態のセンサ部1は、静電容量により位置検出するので、手袋をした状態でも手や指の位置の検出は可能である。このときに設定者が触れている点の3次元座標は、位置検出部22で検出される。
次に、立体物31の登録点に手や指を接触した状態で、設定者は、設定操作入力部4を通じて設定登録操作をする(手順T3)。この設定登録操作は、設定操作入力部4に備えられる設定ボタンを設定者が押下する操作でよい。
この設定登録操作が設定者によりなされると、制御部2の3次元設定空間領域設定部24は、内蔵するバッファメモリに、位置検出部22で検出された設定者が触れている点の3次元座標を格納する(手順T4)。
次に、設定者は、登録点の全ての設定入力を終了したか否かを判断する(手順T5)。そして、設定者は、さらに登録点の入力が必要と判断したときには、手順T2に戻って、立体物31のついて、次に登録する外表面の点を手や指で接触する。そして、上記の手順T2からT5までを繰り返す。
手順T5で、登録点の全ての設定入力を終了したと判断したときには、設定者は、登録点の設定入力終了の操作を、設定操作入力部4を通じて行う(手順T6)。この設定入力終了の操作は、設定操作入力部4に備えられる設定入力終了ボタンを設定者が押下する操作でよい。
設定者が設定入力終了ボタンを押下すると、その押下操作を受けて、制御部2の3次元設定空間領域設定部24は、内蔵するバッファメモリに格納されている登録点の座標値から、立体物31の形状に応じた3次元設定空間領域の座標情報を生成する(手順T6)。この手順T6では、3次元設定空間領域設定部24は、隣接する登録点間の座標値を補間により求めて、3次元設定空間領域の座標情報を生成する。
なお、この場合に、3次元設定空間領域の境界面の座標値としては、実際に立体物31に触れる直前の座標値(図5の点線32の位置参照)とするようにするとよい。接触判定部23で位置検出部22で検出した検出対象物の3次元座標と比較して、立体物31への接触を判定する際に、確実に判定ができるからである。また、もしも、立体物31に触れることを禁止する場合には、むしろそのように設定した方が都合が良い。
[制御部2の処理動作]
上述した第1の実施形態における制御部2における処理動作の例を図6のフローチャートに示す。なお、この図6のフローチャートの動作は、前述した位置検出部22および検出判定部23の動作を、マイクロコンピュータが実行した場合の動作に相当する。
制御部2は、先ず、センサ部1からのセンサ出力を監視して、センサパネル10上の検知空間に検出対象物である人の手や指があるか否か判別し(ステップS101)、手や指が検出できるようになるのを待つ。
ステップS101で、検知空間において手や指が検知できるようになったと判別したときには、制御部2は、検知空間における手や指の3次元座標位置を検出する(ステップS102)。
次に、制御部2は、検出した手や指の3次元座標位置と、3次元設定空間領域記憶部21の3次元設定空間領域の座標情報とを比較して、手や指の位置が3次元設定空間領域に含まれているか否か判別する(ステップS103)。
ステップS103で、手や指の位置が3次元設定空間領域に含まれていないと判別したときには、制御部2は、ステップS101に戻り、このステップS101以降の処理を繰り返す。また、ステップS103で、手や指の位置が3次元設定空間領域に含まれていると判別したときには、制御部2は、センサパネル10上の立体物に手や指が接触したと判定し、報知手段3にその旨を通知する(ステップS104)。これを受けた報知手段3は、前述の音声報知などを実行する。その後、ステップS101に戻り、このステップS101以降の処理を繰り返す。
以上のように、この第1の実施形態によれば、センサパネル10の上に載置した立体物に、検出対象物が触れたことを検出して、それを報知することができる。この場合に、立体物については、単にセンサパネル10上に置くだけでよく、接触検知のために何等かの加工を施す必要がないというメリットがある。
なお、上述の例では、検出対象物は人の手や指としたが、センサ部1において静電容量の変化として検出可能なものであれば、検出対象物は、人の手や指に限られるものではないことは言うまでもない。
また、上述の実施形態の説明では、立体物に検出対象物が接触したかどうかを判定するようにしたが、立体物の外表面よりも所定距離だけ大きい空間を3次元設定空間領域として設定するようにしてもよい。その場合には、立体物に対して、その外表面から前記所定距離だけ離れた位置よりも、検出対象物が接近したときに、それを検知して、報知することができるものである。
<第2の実施形態>
上述の第1の実施形態は、情報処理装置がセンサ部を備える構成であったが、センサ部1と、制御部2とは、別体のものの構成として、情報処理システムの構成とすることができる。第2の実施形態は、その情報処理システムの場合である。
図7は、この第2の実施形態における情報処理システムの構成例を示すブロック図である。
すなわち、この第2の実施形態の情報処理システムは、上述した第1の実施形態におけるセンサ部1と同様の構成を備えるセンサ装置5と、第1の実施形態の制御部2に対応する情報処理装置としてのパーソナルコンピュータ6と、音声や光による報知を行う報知手段3とからなる。この例では、センサ装置5とパーソナルコンピュータ6とは接続ケーブル61で接続される。そして、報知手段2は、パーソナルコンピュータ6に接続される。
センサ装置5は、上述した第1の実施形態におけるセンサ部1のセンサパネル10と同様の構成のセンサパネル5Pを備え、そのセンサパネル5Pの面上に、接触などを監視する立体物33が載置される。そして、センサ装置5のセンサ出力は、パーソナルコンピュータ6に供給される。
パーソナルコンピュータ6には、上述した制御部2の3次元設定空間領域記憶部21が備えられると共に、位置検出部22、接触判定部23、3次元設定空間領域設定部24の各機能を実行するためのアプリケーションプログラムがインストールされている。
この情報処理システムによれば、ユーザはセンサ装置5を用意して、パーソナルコンピュータに必要なアプリケーションプログラムをインストールすることにより、上述した第1の情報処理装置と同様にして、立体物に対する接触等の検出ができる。
<第3の実施形態>
第3の実施形態は、センサパネル上に載置した立体物、例えば直方体のブロックに対する操作者の手や指の接触を、スイッチ入力として判定し、その判定結果を用いて、特定のアプリケーションを実行するようにする情報処理装置の実施形態である。
この実施形態では、特定のアプリケーションは、例えば電子図鑑の場合である。この電子図鑑は、予め記憶されている動物や植物の画像情報を、スイッチ入力に応じて読み出して、表示装置の表示画面に表示するものである。
したがって、図8に示すように、この第3の実施形態の情報処理装置7は、LCDなどからなる表示装置8に、接続ケーブル81を通じて接続される。
この第3の実施形態の情報処理装置7のハードウエア構成例を、図9に示す。この図9に示すように、この第3の実施形態の情報処理装置7は、マイクロコンピュータを備えて構成されるものである。
すなわち、情報処理装置7は、CPU71に対して、システムバス78を介してプログラムが格納されているROM(Read Only Memory)72と、ワークエリア用のRAM(Random Access Memory)73とが接続される。
また、システムバス78には、センサ部インターフェース74を通じてセンサ部70が接続されている。さらに、システムバス78には、領域毎スイッチ情報記憶部75と、表示コントローラ76と、画像メモリ77が接続されている。
表示コントローラ76は、表示装置8に接続され、表示装置インターフェースの機能を有する。
画像メモリ77には、電子図鑑の画像情報、例えば鳥類、植物、魚類、獣類のそれぞれの画像情報が、アドレス領域を別々にされた状態で格納されている。さらに、この例では、同じ類のものでも、大型、中型、小型、極小というように、大きさの分類に応じてアドレス領域が分離されて格納されている。
センサ部70は、第1の実施形態で説明したセンサ部1と同様の構成を備えるものである。そして、情報処理装置7は、第1の実施形態における制御部2の機能を、CPU71による、ROM72に格納されているプログラムによるソフトウエア処理機能として備える。
図8に示すように、情報処理装置7の表面7sは、センサ部70のセンサパネル70Pのガラス面に平行する面とされており、所定の保護板(図示は省略)が、センサパネル70Pのガラス面上に設けられて、センサパネル70Pが保護されている。
この実施形態では、センサ部70のセンサパネル70Pのx,y座標表面領域は、図10に示すように、第1領域AR1、第2領域AR2、第3領域AR3、第4領域AR4の4領域に分けられている。この例の第1領域AR1〜第4領域AR4のそれぞれの領域範囲は、図10の(x、y)座標に示す通りである。
そして、この実施形態では、センサ部70のセンサパネル70Pの上に載置されて、スイッチ入力を行うためのブロック9が情報処理装置7の付属部品として付随されている。この実施形態では、ブロック9としては、例えば直方体形状とされ、例えば木材のような硬く弾性変形しないブロックが用いられる。
そして、この実施形態では、操作者は、ブロック9をセンサパネル70Pの上に載置して、当該ブロック9の上面を手や指で触る(タッチする)ことにより、スイッチ入力を行う。
情報処理装置7の領域毎スイッチ情報記憶部75には、ブロック9の上面がタッチされたことを検出するために、ブロック9についての3次元設定空間領域の座標情報として記憶されている。この実施形態では、ブロック9についての3次元設定空間領域の座標情報としては、ブロック9の高さ位置に相当するセンサパネル70Pからの距離(z座標値)の情報が記憶される。
したがって、この実施形態においては、ブロック9についての3次元設定空間領域は、センサパネル面の上空の、z座標値よりも短い距離範囲の領域の全てとなる。この場合、ブロック9の上面のタッチを確実に検出できるように、記憶される当該距離(z座標値)は、ブロック9の高さよりも僅かに高い距離(z座標値)とされるのが好ましい。
なお、ブロック9をセンサパネル70P上に載置するので、当該ブロック9の位置もセンサパネル70Pのセンサ出力から知ることができる。その場合には、ブロック9についての3次元設定空間領域は、センサパネル面の上空の、z座標値よりも短い距離範囲であって、ブロック9が示す領域となる。
情報処理装置7のCPU71は、前述の実施形態と同様に、センサ部70からのセンサ出力から、操作者の手や指の3次元座標位置を検出し、検出した位置が、記憶されているブロック9についての3次元設定空間領域に含まれているかどうかを検出する。そして、CPU71は、検出した3次元座標位置が、3次元設定空間領域に含まれていると判別したときには、ブロック9の上面がタッチされていると判定する。
そして、この実施形態では、第1領域AR1にブロック9を載置して、手でそのブロック9の上面に触れたときには、鳥類の画像が画像メモリ77から読み出されるように構成されている。
また、第2領域AR2にブロック9を載置して、手でそのブロック9の上面に触れたときには、植物の画像が画像メモリ77から読み出されるように構成されている。
また、第3領域AR3にブロック9を載置して、手でそのブロック9の上面に触れたときには、魚類の画像が画像メモリ77から読み出されるように構成されている。
また、第2領域AR2にブロック9を載置して、手でそのブロック9の上面に触れたときには、獣類の画像が画像メモリ77から読み出されるように構成されている。
さらに、同じ類でも、大きさが異なるものが画像メモリ77から読み出されるようにするために、ブロック9は、高さが異なる複数個が用意される。つまり、センサパネル70P面から検出対象物である手や指までの距離が複数に分けられて設定され、その距離に応じて、異なる動物や植物が画像メモリ77から読み出されるように構成される。
そのため、この実施形態では、図11に示すように、ブロック9として、高さがT1のブロック9A、高さがT2(>T1)のブロック9B、高さがT3(>T2)のブロック9C、高さがT4(>T3)のブロック9D、の4種のブロックが用意されている。
そして、ブロック9A,9B,9C,9Dのそれぞれに対して、スイッチA、スイッチB、スイッチC、スイッチDが定義される。
すなわち、図12に示すように、高さT1のブロックの上面を指で触ると、それはスイッチAのオン操作となり、また、高さT2のブロックの上面を指で触ると、それはスイッチBのオン操作となる。さらに、高さT3のブロックの上面を指で触ると、それはスイッチCのオン操作となり、高さT2のブロックの上面を指で触ると、それはスイッチDのオン操作となる。
なお、図12に示される距離T1´、T2´、T3´、T4´は、前述したように、スイッチオン検出のためのz座標値であり、高さT1,T2,T3,T4のそれぞれよりも若干高い位置である。
そして、この実施形態では、スイッチA,B,C,Dのそれぞれのオンは、極小、小型、中型、大型をそれぞれ指定するものとされる。
このように構成するための情報が、領域毎スイッチ情報記憶部75に記憶される。図13に、領域毎スイッチ情報記憶部75に記憶される領域毎スイッチ情報の例を示す。すなわち、図13に示すように、各スイッチA,B,C,Dのオンを検出するための情報として、距離(z座標値)T1´、T2´、T3´、T4´が記憶される。
そして、4つの領域と、スイッチA,B,C,Dのオンにより定まる情報として、それぞれの対応する鳥類、直物、魚類、獣類の大型、中型、小型、極小の画像情報が記憶される画像メモリ77のメモリアドレスが記憶される。
したがって、CPU71は、この領域毎スイッチ情報記憶部75を参照することにより、4領域のいずれかに、4種のブロックのいずれかが載置されて、操作者によりなされたスイッチ操作に応じた画像を読み出すようにする。
例えば、図14に示すように、第3領域AR3に載置した、高さT3のブロック9Cを操作者が指で触ったときには、CPU71は、領域毎スイッチ情報記憶部75を参照して、対応する中型の魚類のメモリアドレスを読み出す。そして、CPU71は、読み出したメモリアドレスを用いて画像メモリ77から、中型の魚類の画像を読み出して、表示装置8に供給する。したがって、表示装置8の画面には、中型の魚類が表示される。
そして、ブロックを交換して、他の高さのブロックを第3領域において、操作者が指で当該ブロックを触ったときには、同様にして、他の大きさの魚類が表示装置8の画面に表示される。
なお、この実施形態では、スイッチA,B,C,Dのオンを検出すると、指定された画像メモリのメモリアドレス領域に記憶されている複数の画像が順次に読み出されて、いわゆるスライドショーのように表示装置8の画面に表示される。そして、スイッチA,B,C,Dをオフにする(ブロック9の上面から指を離す)と、当該オフにした時点の画像で固定されて表示される。
さらに、この実施形態では、情報処理装置7では、センサパネル70Pの上方の空間で、予め定められた所定のジェスチャー、例えば図15に示すように、手を水平方向に左右に振るジェスチャーをすると、それを終了操作と判断する。すなわち、CPU71は、センサ部70からのセンサ出力を監視して、手が水平方向に左右に移動したことを検出すると、それを終了操作と判断する。
そして、CPU71は、終了操作を判別すると、表示装置8の画像の表示を終了するようにする。
[第3の実施形態における処理動作]
上述した情報処理装置7における処理動作のフローチャートの例を、図16に示す。この図16のフローチャートの各ステップの処理は、CPU71が、ROM72のプログラムにしたがって、RAM73をワークエリアとして用いて実行される。
先ず、CPU71は、センサパネル70P上の検知空間に手が接近したか否かを判別し(ステップS201)、手の接近を判別できなかったときには、このステップS201の処理を継続して、手の接近を待つ。
ステップS201で、センサパネル70P上の検知空間に手が接近したと判別したときには、CPU71は、センサ部70からのセンサ出力から、検知空間における手の3次元座標位置を検出する(ステップS202)。
次に、CPU71は、検出した手の3次元座標位置から、手が第1領域AR1〜第4領域AR4のいずれの領域にあるかを判定する(ステップS203)。
次に、CPU71は、センサ部70からのセンサ出力を監視して、スイッチA〜スイッチDのいずれかのスイッチのオン操作を検出する(ステップS204)。このステップS204のスイッチのオン操作の検出処理については、後で詳述する。
次に、CPU71は、領域毎スイッチ情報記憶部75に記憶されている領域毎スイッチ情報の中から、ステップS203で判定した領域と、ステップS204でオン操作を検出したスイッチとの組み合わせに対応する画像メモリアドレス情報を読み出す。そして、読み出した画像メモリアドレス情報を用いて、画像メモリ77から、スライドショーの形式で画像を順次に読み出して、それを表示装置8に供給し、その画面に表示させるようにする(ステップS205)。
次に、CPU71は、操作者がブロック9の上面から指を離して、スイッチをオフとしたか否か判別し(ステップS206)、スイッチをオフとしていないと判別したときには、ステップS205に戻って、画像の順次表示を継続する。
ステップS206で、操作者がスイッチをオフとしたと判別したときには、CPU71は、スイッチオフ時点での画像を画像メモリ77から継続して読み出すようにして、スイッチオフ時点の画像表示を固定する(ステップS207)。
次に、CPU71は、図15に示した終了のジェスチャーが操作者によりなされたか否かを、センサ部70からのセンサ出力を監視することにより判別する(ステップS208)。そして、ステップS208で、終了操作がなされていないと判別したときには、CPU71は、ステップS207に戻って、画像表示を繰り返す。
また、ステップS208で、操作者が終了操作をしたと判別したときには、表示装置の画面における画像表示を終了し、ステップS201に戻る。そして、ステップS201以降の処理を繰り返す。
上述の電子図鑑の画像表示制御は、一例であり、スライドショーではなく、第1領域AR1〜AR2のそれぞれから、対応して割り付けられている動物や植物の一覧を表示するようにしても良いし、その他種々の表示制御方法が可能である。
次に、ステップS204でのスイッチオンの検出処理の例について、図17のフローチャートを参照して説明する。
すなわち、CPU71は、先ず、手の高さ位置は、高さT4よりも低い位置であるかどうか判別する(ステップS211)。高さT4よりも高い位置であると判別したときには、CPU71は、手の高さ位置と高さT4´とを比較して、スイッチDのオン操作位置であり、かつ、手の位置が変わらないかどうか判別する(ステップS212)。
そして、ステップS212で、スイッチDのオン操作位置であり、かつ、手の位置が変わらないと判別したときには、CPU71は、スイッチDのオン操作がなされたと検出する(ステップS213)。すなわち、操作対象のブロックがブロック9Dであれば、スイッチDのオン操作検出高さT4´の位置で、手の位置は、変わらないはずであるので、CPU71は、それをスイッチDのオンとして検出する。そして、CPU71は、図16のメインの処理ルーチンに戻り、ステップS205以降の処理を行う。
ステップS212で、手の高さ位置が、スイッチDのオン操作位置ではないと判別したときには、ステップS211に戻る。
ステップS211で、手の高さ位置は、高さT4よりも低いと判別したときには、CPU71は、ブロック9Dよりも低い高さのブロックが操作対照であると判断して、手の高さ位置は、高さT3よりも低い位置であるかどうか判別する(ステップS214)。
ステップS214で、高さT3よりも高い位置であると判別したときには、CPU71は、手の高さ位置と高さT3´とを比較して、スイッチCのオン操作位置であり、かつ、手の位置が変わらないかどうか判別する(ステップS215)。
そして、ステップS215で、スイッチCのオン操作位置であり、かつ、手の位置が変わらないと判別したときには、CPU71は、スイッチCのオン操作がなされたと検出する(ステップS216)。すなわち、操作対象のブロックがブロック9Cであれば、スイッチCのオン操作検出高さT3´の位置で、手の位置は、変わらないはずであるので、それをスイッチCのオンとして検出する。そして、CPU71は、図16のメインの処理ルーチンに戻り、ステップS205以降の処理を行う。
ステップS215で、手の高さ位置が、スイッチCのオン操作位置ではないと判別したときには、ステップS214に戻る。
ステップS214で、手の高さ位置は、高さT3よりも低いと判別したときには、CPU71は、ブロック9Cよりも低い高さのブロックが操作対照であると判断して、手の高さ位置は、高さT2よりも低い位置であるかどうか判別する(ステップS217)。
ステップS217で、高さT2よりも高い位置であると判別したときには、CPU71は、手の高さ位置と高さT2´とを比較して、スイッチBのオン操作位置であり、かつ、手の位置が変わらないかどうか判別する(ステップS218)。
そして、ステップS218で、スイッチBのオン操作位置であり、かつ、手の位置が変わらないと判別したときには、CPU71は、スイッチBのオン操作がなされたと検出する(ステップS219)。すなわち、操作対象のブロックがブロック9Bであれば、スイッチBのオン操作検出高さT2´の位置で、手の位置は、変わらないはずであるので、それをスイッチBのオンとして検出する。そして、CPU71は、図16のメインの処理ルーチンに戻り、ステップS205以降の処理を行う。
ステップS218で、手の高さ位置が、スイッチBのオン操作位置ではないと判別したときには、ステップS217に戻る。
ステップS217で、手の高さ位置は、高さT2よりも低いと判別したときには、CPU71は、ブロック9Bよりも低い高さのブロック9Aが操作対照であると判断する。そして、CPU71は、手の高さ位置と高さT1´とを比較して、スイッチAのオン操作位置であり、かつ、手の位置が変わらないかどうか判別する(ステップS220)。
そして、ステップS220で、スイッチAのオン操作位置であり、かつ、手の位置が変わらないと判別したときには、CPU71は、スイッチAのオン操作がなされたと検出する(ステップS221)。すなわち、操作対象のブロックがブロック9Aであれば、スイッチAのオン操作検出高さT1´の位置で、手の位置は、変わらないはずであるので、それをスイッチAのオンとして検出する。そして、CPU71は、図16のメインの処理ルーチンに戻り、ステップS205以降の処理を行う。
ステップS220で、手の高さ位置が、スイッチAのオン操作位置ではないと判別したときには、手の高さ位置は、高さT1よりも低いかどうか判別する(ステップS222)。
ステップS222で、手の高さ位置が、高さT1よりも低くはないと判別したときには、CPU71は、ステップS220に戻る。また、ステップS222で、手の高さ位置が、高さT1よりも低いと判別したときには、ブロックを用いた操作がなされていないと判別し、この処理ルーチンを終了して、メインルーチンのステップS201に戻る。
<第4の実施形態>
この第4の実施形態は、第3の実施形態の変形例である。すなわち、第3の実施形態では、木材のような硬く弾性変形しないブロックをスイッチ操作用として用いた。これに対して、この第4の実施形態では、例えばスポンジのように、操作者の押圧操作に応じて弾性変形する素材の弾性変位ブロック9S(図18参照)が用いられる。
そして、第4の実施形態では、複数個のブロック9A〜9Dを用いずに、この弾性変位ブロック9Sの1個だけで、電子図鑑の画像情報の表示を制御するようにする。
したがって、情報処理装置のハードウエア構成例は、図9に示したものと同様である。しかし、以下に説明するように、この弾性変位ブロック9Sを用いた電子図鑑の画像情報の表示制御処理が第3の実施形態とは異なる。
この例では、弾性変位ブロック9Sは、高さがT4の直方体形状とされる。そして、この実施形態では、図19に示すように、弾性変位ブロック9Sの高さT4に対して、接触スイッチが割り当てられる。すなわち、弾性変位ブロック9Sへの接触(高さT4位置)が、接触スイッチのオンとして割り当てられ、弾性変位ブロック9Sへの接触の解除が接触スイッチのオフとして割り当てられる。
そして、この実施形態では、操作者は弾性変位ブロック9Sをセンサパネル70Pの方向に押し下げて弾性変位させることができるので、高さT4位置と、センサパネル70P面との間の距離空間に、距離に応じて4つのレイヤA〜Dを設定する。
すなわち、図19に示すように、センサパネル70Pの面位置をz軸の原点位置0としたとき、複数のレイヤA〜Dの境界となるz方向の距離を、T1、T2、T3、T4に設定する。
そして、0<レイヤA≦T1、T1<レイヤB≦T2、T2<レイヤC≦T3、T3<レイヤD≦T4、として、レイヤA〜Dのそれぞれについての距離範囲を設定する。なお、レイヤの境界の距離T1、T2、T3、T4に対応するセンサ部70の出力情報が、各レイヤA,B,C,Dの閾値として、領域毎スイッチ情報記憶部75に記憶される。
図19にも示したように、この場合、レイヤA〜Dのそれぞれは、操作者によるスイッチ操作の押圧力の強さに対応したものとすることができる。すなわち、レイヤA〜Dのそれぞれは、弾性変位ブロック9Sに対する操作者の押圧力の度合いを示すものとすることができる。
この第4の実施形態の場合における領域毎スイッチ情報記憶部22の記憶内容の例を図20に示す。
すなわち、この図20に示すように、接触スイッチのオン・オフのついての閾値の距離として、高さT´(Tより僅かに大きい)が記憶される。また、レイヤA〜Dのそれぞれについての距離範囲が記憶される。
そして、この第4の実施形態では、第3の実施形態におけるスイッチA,B,C,D,に代えて、レイヤA,B,C,Dのそれぞれに対して、第1領域AR1〜AR4のそれぞれについての画像情報が割り付けられる。
<第4の実施形態における画像表示制御処理>
この第4の実施形態では、1個のスイッチと、4個のレイヤによって、電子図鑑の画像表示制御を行うようにする。
図21に、この第4の実施形態の場合における画像表示制御処理の一例のフローチャートを示す。この図21のフローチャートの各ステップの処理も、図9のCPU71が、ROM72のプログラムにしたがって、RAM73をワークエリアとして用いて実行するものである。
第3の実施形態では、スイッチA〜Dの操作により、スライドショーのように画像を変更しながら、操作者の操作に応じて、画像の固定を行うようにしたが、第4の実施形態では、第3の実施形態とは異なる態様の表示制御を行う。
すなわち、第4の実施形態では、接触スイッチのオンにより、電子図鑑の画像表示を開始し、接触スイッチのオフにより、電子図鑑の画像表示を終了するようにする。そして、接触スイッチがオンにされる毎に、第1領域AR1〜AR2のそれぞれから読み出す画像を、異ならせるようにする。
先ず、CPU71は、センサパネル70P上の検知空間に手が接近したか否かを判別し(ステップS231)、手の接近を判別できなかったときには、このステップS231の処理を継続して、手の接近を待つ。
ステップS231で、センサパネル70P上の検知空間に手が接近したと判別したときには、CPU71は、センサ部70からのセンサ出力から、検知空間における手の3次元座標位置を検出する(ステップS232)。
次に、CPU71は、検出した手の3次元座標位置から、手が第1領域AR1〜第4領域AR4のいずれの領域にあるかを判定する(ステップS233)。
次に、CPU71は、センサ部70からのセンサ出力を監視して、弾性変位ブロック9Sに対して手が触れた位置になったかどうか、つまり、接触スイッチがオン操作の状態となったか否かを判別する(ステップS234)。
ステップS234で、接触スイッチがオン操作の状態となっていないと判別したときには、CPU71は、ステップS231に戻り、このステップS231以降の処理を繰り返す。
ステップS234で、接触スイッチがオン操作の状態となっていると判別したときには、CPU71は、電子図鑑の画像表示の開始指示があったと判断する。このとき、CPU71は、この第4の実施形態では、第1領域AR1〜AR4のそれぞれから読み出す画像を、前回の表示画像の次の表示画像とする準備をしておく(ステップS235)。
次に、CPU71は、手が位置しているレイヤが、レイヤA〜レイヤDのいずれであるかを判定する。接触スイッチがオン操作の状態となっていると判別されたときには、レイヤDであると判定される。そして、判定したレイヤと、ステップS233で判定した領域との組み合わせに対応する画像を、画像メモリ77から読み出して、表示装置8に供給して、その画面に表示する(ステップS236)。
次に、CPU71は、センサ部70からのセンサ出力を監視して、手が位置するレイヤが変化したか否か判別する(ステップS238)。そして、ステップS238で、手が位置するレイヤが変化したと判別したときには、ステップS236に戻り、新たなレイヤに対応する画像を、画像メモリ77から読み出して、表示装置8に供給して、その画面に表示する。
ステップS237で、手が位置するレイヤが変化していないと判別したときには、CPU71は、接触スイッチがオフ操作の状態、つまり、手が弾性変位ブロック9Sを離れて、高さT4よりも高い位置になったか否か判別する(ステップS238)。
ステップS238で、接触スイッチがオフ操作の状態になってはいないと判別したときには、CPU71は、ステップS237に戻り、このステップS237以降の処理を繰り返す。
また、ステップS238で、接触スイッチがオフ操作の状態になったと判別したときには、CPU71は、画像表示を終了し(ステップS239)、ステップS231に戻る。そして、ステップS231以降の処理を繰り返す。
<第5の実施形態>
以上の実施形態は、実体物が占有する空間領域に応じた空間領域を、3次元設定空間領域とした場合であるが、この発明は実体物がなくても、適用が可能である。この第5の実施形態は、その場合の例であり、例えばホログラム画像のように、あたかも空間に投影された立体画像に対して、操作者が仮想的に接触する場合に適用した例である。
図22は、この第5の実施形態の情報処理システムの構成例を示すブロック図である。この第5の実施形態は、センサ装置100と、情報処理装置200と、ホログラム投影装置300とからなる。
センサ装置100は、第1の実施形態におけるセンサ部1と同様の構成を備えるもので、第1の実施形態におけるセンサ部1のセンサパネル10と同様の構成のセンサパネル100Pを備える。センサ装置100のセンサ出力は、情報処理装置200に供給される。
そして、センサ装置100のセンサパネル100Pの面上の検知空間に、ホログラム投影装置300により投影される3次元立体画像IMが、仮想的に存在するように表示される。図22では、3次元立体画像IMの例として、カップが、センサパネル100P上の検知空間に表示されていることを示している。
情報処理装置200は、例えばパーソナルコンピュータで構成され、センサ装置100からのセンサ出力から、センサパネル100P上の検知空間における操作者の手や指を検出対象物の3次元座標位置を検出する機能を備えている。
また、情報処理装置200は、3次元立体画像の生成機能を備えており、生成した立体画像の画像情報を、ホログラム投影装置300に供給する。ホログラム投影装置300は、受け取った立体画像の画像情報を用いて、センサパネル100P上の検知空間に、3次元立体画像IMを投影表示する。
この実施形態では、情報処理装置200においては、センサパネル100P上の検知空間に投影表示される3次元立体画像IMの、前記検知空間内における位置を、操作者の指示操作に応じて変更することができるようにされている。また、情報処理装置200においては、投影表示される3次元立体画像IMを、操作者の指示操作に応じて種々の立体画像に変更することができる機能も備えている。
さらに、情報処理装置200は、この実施形態では、センサパネル100P上の検知空間において検出した操作者の手や指の3次元空間位置を、投影表示される3次元立体画像IMに反映させる機能を備えている。
すなわち、この実施形態の情報処理装置200は、3次元立体画像IMがセンサパネル100P上の検知空間において占める3次元領域を、3次元設定空間領域として、その座標情報を記憶する。そして、情報処理装置200は、センサ装置100からのセンサ出力を監視し、手や指の位置が3次元設定空間領域に含まれているか否かにより、3次元立体画像IMの外表面に仮想的に触れているか否かを判別する。
そして、情報処理装置200は、手や指の位置が3次元立体画像IMの外表面に仮想的に触れていると判別したときには、その3次元座標位置を、3次元立体画像IMにおいて、例えば赤や黄色のハイライトマーク点として表示するなどして、報知するようにする。
情報処理装置200は、以上の機能を実現する構成として、図22に示すような構成を備える。
すなわち、情報処理装置200は、CPU201に対して、システムバス210を介してプログラムが格納されているROM202と、ワークエリア用のRAM203とが接続される。
また、システムバス210には、センサ装置インターフェース204を通じてセンサ装置100が接続されている。さらに、システムバス210には、3次元画像情報メモリ205と、3次元表示画像生成部206と、操作部207が接続される操作部インターフェース208と、ホログラム投影装置300に立体画像情報を供給するためのI/Oポート209が接続されている。
3次元表示画像生成部206は、ハードウエアの構成とすることもできるが、CPU201によるソフトウエア処理機能として構成することも可能であることは勿論である。
さらに、また、システムバス210には、3次元設定空間領域生成記憶部211が接続されている。なお、この3次元設定空間領域生成記憶部211は、記憶メモリを備えるが、当該記憶メモリ以外の3次元設定空間領域生成は、CPU201によるソフトウエア処理機能として構成することも可能であることは勿論である。
情報処理装置200においては、操作者が、操作部207を通じて、表示する立体画像を選択する操作をし、その表示を指示すると、操作者が選択した3次元画像の画像情報が3次元画像メモリ205から読み出されて3次元表示画像生成部206に供給される。
3次元表示画像生成部206は、操作者による操作部207を通じた立体画像の向きの指示に応じて、表示する3次元立体画像の画像情報を、3次元画像メモリ205からの3次元画像情報から生成する。
そして、3次元表示画像生成部206は、生成した3次元表示画像の画像情報についての3次元座標情報(3次元画像の画像輪郭を現す情報となる)を、3次元設定空間領域生成記憶部211に送る。
3次元設定空間領域生成記憶部211は、3次元表示画像生成部206から取得した3次元座標情報から、センサパネル100P上の検知空間における、3次元立体画像IMに応じた3次元設定空間領域の座標情報を生成し、記憶メモリに格納保持する。ここで、生成される3次元設定空間領域の座標情報は、投影表示される3次元立体画像IMの仮想的な外表面の座標に相当する。
操作部207を通じて操作者が、センサパネル上の検知空間における3次元立体画像IMの表示位置や見る方向角度を変更したりすると、それに応じて、3次元設定空間領域生成記憶部211は、3次元設定空間領域の座標情報を変更する。
操作部207を通じて操作者が、3次元立体画像IMとする画像を変更したときにも、上述と同様の処理手順で、3次元設定空間領域生成記憶部211は、3次元設定空間領域の座標情報を生成し直し、記憶メモリに記憶保持する。
そして、CPU201は、センサ装置100からのセンサ出力を監視して、手や指の位置を検出する。そして、検出した手や指の3次元座標位置と、3次元設定空間領域生成記憶部211に記憶されている3次元設定空間領域の座標情報とを比較し、3次元立体画像IMの外表面に仮想的に触れているか否かを判別する。
そして、CPU201は、手や指の位置が3次元立体画像IMの外表面に仮想的に触れていると判別すると、その3次元座標位置を3次元表示画像生成部206に通知する。これを受けた3次元表示画像生成部206は、3次元立体画像IM上の対応する点位置に、例えば赤や黄色のハイライトマーク点を付加するようにした3次元表示画像の画像情報を生成し、出力する。すると、この3次元表示画像の画像情報が、I/Oポート209を通じてホログラム投影装置300に供給されて、センサパネル100P上の検知空間においては、ハイライトマーク点が付加された3次元立体画像IMが投影表示される。
<情報処理装置200の処理動作のフローチャート>
図23および図24に、3次元設定空間領域生成処理を含む上述したCPU201の処理動作の一例のフローチャートを示す。
先ず、CPU201は、3次元表示画像生成部206で生成された3次元画像の3次元座標情報を取得する(ステップS301)。次に、生成された3次元表示画像の投影立体画像IMのセンサパネル100P上検知空間における位置座標を取得する(ステップS302)。このステップS302の処理は、操作部207を通じた操作者の、センサパネル100P上の検知空間における表示位置の設定操作により入力された情報を取得する処理である。
次に、CPU201は、センサパネル上検知空間における投影立体画像IMが占める空間領域に相当する3次元設定空間領域の座標情報を、ステップS301およびステップS302で取得した情報から生成し、メモリ部に記憶する(ステップS303)。
以上のステップS301からステップS303までの処理は、3次元設定空間領域生成記憶部211における3次元設定空間領域生成処理に対応する処理である。
次に、CPU301は、センサパネル100P上の検知空間に手が接近したか否かを判別し(ステップS304)、手の接近を判別できなかったときには、このステップS304の処理を継続して、手の接近を待つ。
ステップS304で、センサパネル100P上の検知空間に手が接近したと判別したときには、CPU201は、センサ装置100からのセンサ出力から、センサパネル100P上検知空間における手の3次元座標位置を検出する(ステップS305)。
次に、CPU201は、センサ装置100からのセンサ出力を監視して、3次元設定空間領域に手の座標位置が含まれるか否かにより、投影立体画像IMの輪郭部分に手が触れた位置になったかどうかを判別する(ステップS306)。
ステップS306で、投影立体画像IMの輪郭部分に手が触れた位置になっていないと判別したときには、CPU201は、ステップS304に戻り、このステップS304以降の処理を繰り返す。
ステップS306で、投影立体画像IMの輪郭部分に手が触れた位置になっていると判別したときには、CPU201は、3次元表示画像生成部206に、接触点の3次元座標(手の3次元座標)を送り、接触点表示を依頼する(図24のステップS311)。
接触点の3次元座標の情報を受けた3次元表示画像生成部206は、前述したように、当該接触点位置に赤色や黄色のハイライトマークを付加した3次元表示画像の画像情報を生成し、ホログラム投影装置300に供給する。
ホログラム投影装置300は、この3次元表示画像情報に基づく投影立体画像IMを、
例えば図25に示すように、ハイライトマークMKを付加した状態で表示する。
次に、CPU201は、操作者によって、表示する3次元立体画像についての画像変更指示、例えば回転指示などがあったか否か判別する(ステップS312)。ステップS312で、表示する3次元立体画像についての画像変更指示があったと判別したときには、CPU201は、ステップS301に戻り、このステップS301以降の処理を繰り返す。
また、ステップS312で、表示する3次元立体画像についての画像変更指示がなかったと判別したときには、CPU201は、表示する3次元立体画像について、検知空間における表示位置の変更指示があったか否か判別する(ステップS313)。
ステップS313で、表示する3次元立体画像についての表示位置の変更指示があったと判別したときには、CPU201は、ステップS302に戻り、このステップS302以降の処理を繰り返す。
ステップS313で、表示する3次元立体画像についての表示位置の変更指示がなかったと判別したときには、CPU201は、操作部207を通じて表示終了の指示があったか否か判別する(ステップS314)。
そして、ステップS314で、終了操作がないと判別したときには、CPU201は、ステップS304に戻り、このステップS304以降の処理を繰り返す。また、ステップS314で、終了操作があったと判別したときには、CPU201は、この処理ルーチンを終了する。
以上のようにして、この第5の実施形態においては、センサパネル上の検知空間に投影表示された立体画像を、あたかも操作者が触ったような表示を、この例では、ハイライトマークMKによりすることができる。
なお、このハイライトマークMKの表示に加えて、あるいは、ハイライトマークMKの表示に代えて、操作者が投影立体画像IMの輪郭部分に仮想的に接触したタイミングで、ブザー音などを放音するようにしても良い。
なお、上述の第5の実施形態では、操作者の手の位置による投影立体画像IMへの反映は、接触点の表示や音声による報知としたが、例えば、操作者の手の動きに応じて、投影立体画像IMを移動したり、変形させたりする処理を行うこともできる。
例えば、操作者の手が投影立体画像IMの輪郭部分に接触した位置から、さらに、投影立体画像IMの内側に移動した場合、投影立体画像IMが固体物の画像である場合には、当該投影立体画像IMが操作者により押されたと判断する。そして、情報処理装置200は、センサ装置100からのセンサ出力から検出される操作者の手の移動距離に応じて、投影立体画像IMのセンサパネル100P上検知空間における位置を平行移動するように、3次元表示画像を変更するようにする。
また、例えば、操作者の手が投影立体画像IMの輪郭部分に接触した位置から、さらに、投影立体画像IMの内側に移動した場合、投影立体画像IMが弾性変位可能な立体物の画像である場合には、当該投影立体画像IMが操作者により弾性変位されたと判断する。そして、情報処理装置200は、センサ装置100からのセンサ出力から検出される操作者の手の移動距離に応じて、投影立体画像IMを弾性変位したような3次元表示画像に変更するようにする。
[その他の実施形態および変形例]
なお、以上の実施形態では、センサ手段は、検出対象物までの空間離間距離に応じた静電容量を発振周波数に変換し、その発振周波数を周波数カウンタで計数して出力するようにしたが、前記静電容量に応じたセンサ出力を得る手法は、これに限られない。すなわち、例えば特許文献1と同様に、周波数−電圧変換器を用いて、発振周波数に応じた出力電圧をセンサ出力としてもよい。
また、例えば、検出対象物までの空間離間距離に応じた静電容量を電圧に変換する、いわゆるチャージドトランスファー法を用いるようにしても良い。また、プロジェクテッドキャパシタ法によっても、検出対象物までの空間離間距離に応じた静電容量を検出することができる。
また、上述の実施形態では、センサ手段の電極はワイヤー電極を用いるようにしたが、前記横方向のワイヤー電極と、縦方向のワイヤー電極との交点に、点電極を配置するようにした構成とすることもできる。その場合には、各点電極と接地間における静電容量を検出するので、複数の電極について、1電極毎に、横方向および縦方向の順次に切り替えて静電容量を検出するようにする。そして、検出する距離に応じて検出感度を適正なものとするために、検出する距離に応じて検出する電極を間引いた飛び飛びの電極を用いるようにするのは、ワイヤー電極の場合と同様である。
また、以上の実施形態では、センサ手段は、静電容量により検出対象物までの空間離間距離を検出するものを用いたが、これに限らず、検出対象物までの空間離間距離を検出することができるものであれば、いずれのセンサ手段をも用いることができる。
この発明による情報処理装置の実施形態のハードウエア構成例を示すブロック図である。 この発明による情報処理装置の実施形態に用いるセンサ手段の例を説明するために用いる図である。 この発明による情報処理装置の実施形態に用いるセンサ手段の例を説明するために用いる図である。 この発明による情報処理装置の第1の実施形態における3次元設定空間領域の座標情報を生成するための手順を示す図である。 この発明による情報処理装置の第1の実施形態における3次元設定空間領域の座標情報を説明するために用いる図である。 この発明による情報処理装置の第1の実施形態における処理動作の例を示すフローチャートである。 この発明による情報処理システムの実施形態の構成例を示すブロック図である。 この発明による情報処理装置の他の実施形態(第3の実施形態)を含むシステム構成例を示す図である。 第3の実施形態の情報処理装置のハードウエア構成例を示すブロック図である。 第3の実施形態の情報処理装置を説明するために用いる図である。 第3の実施形態の情報処理装置を説明するために用いる図である。 第3の実施形態の情報処理装置を説明するために用いる図である。 第3の実施形態の情報処理装置を説明するために用いる図である。 第3の実施形態の情報処理装置による処理動作を説明するために用いる図である。 第3の実施形態の情報処理装置による処理動作を説明するために用いる図である。 第3の実施形態の情報処理装置による処理動作の一例を示すフローチャートである。 図6のフローチャートのステップS204における処理例を説明するためのフローチャートである。 この発明による情報処理装置の他の実施形態(第4の実施形態)を説明するために用いる図である。 第4の実施形態の情報処理装置を説明するために用いる図である。 第4の実施形態の情報処理装置を説明するために用いる図である。 第4の実施形態の情報処理装置による処理動作の一例を示すフローチャートである。 この発明による情報処理システムの実施形態(第5の実施形態)の構成例を示すブロック図である。 第5の実施形態の情報処理システムによる処理動作の一例を示すフローチャートの一部を示す図である。 第5の実施形態の情報処理システムによる処理動作の一例を示すフローチャートの一部を示す図である。 第5の実施形態の情報処理システムによる処理動作を説明するために用いる図である。
符号の説明
1…センサ部、2…制御部、3…報知手段、4…設定操作入力部、5,100…センサ装置、6…情報処理装置としてのパーソナルコンピュータ、7…情報処理装置、8…表示装置、10、70P,100P…センサパネル、21、211…3次元設定空間領域記憶部

Claims (14)

  1. 検出対象物を検知可能な検知空間における前記検出対象物の、前記検知空間における3次元座標位置に応じたセンサ出力信号を、前記検出空間における静電容量を検出することにより生成して出力するセンサ手段と、
    前記センサ手段の前記センサ出力信号から、前記検出対象物の前記検知空間における3次元座標位置を検出する位置検出手段と、
    前記検知空間において設定された3次元設定空間領域を特定するための座標情報を記憶する記憶手段と、
    前記位置検出手段で検出された前記検出対象物の3次元座標位置と、前記記憶手段に記憶されている座標情報とから、前記検知空間における前記検出対象物の3次元座標位置が、前記3次元設定空間領域に含まれるか否かを判断する判断手段と、
    前記判断手段の判断結果を出力する出力手段と、
    を備える情報処理装置。
  2. 請求項1に記載の情報処理装置において、
    前記センサ手段は、互いに交差する2方向に配列された複数個の電極を備え、前記複数個の電極を含む面上の空間を前記検知空間として、前記検出対象物の前記検知空間における3次元座標位置に応じたセンサ出力信号を、前記複数の電極の2電極間の静電容量から生成するものである
    情報処理装置。
  3. 請求項1に記載の情報処理装置において、
    前記設定された3次元設定空間領域は、前記検知空間に置かれた立体物に応じて設定されたものであり、
    前記判断手段は、前記検出対象物が前記立体物の外表面に接触したか否かを判断するものである
    情報処理装置。
  4. 請求項3に記載の情報処理装置において、
    前記出力手段は、前記検出対象物が前記立体物の外表面に接触したか否かをスイッチ出力として出力する
    情報処理装置。
  5. 請求項1に記載の情報処理装置において、
    前記3次元設定空間領域は、前記検知空間に置かれ、且つ、押圧力を受けたときに弾性変位可能な立体物の外表面に応じて設定されたものであり、
    前記判断手段は、前記検知空間における前記検出対象物の3次元座標位置の、前記3次元設定空間領域内における当該3次元設定空間領域の境界面からの距離に応じた押圧力を前記検出対象物から受けたと判断すると共に、前記境界面からの距離に応じた押圧力の強さを判断し、
    前記出力手段は、前記押圧力の強さに違いに応じた出力信号を出力する
    情報処理装置。
  6. 請求項1に記載の情報処理装置において、
    立体映像を前記センサ手段の前記検知空間に投影する投影手段を備え、
    前記3次元設定空間領域は、前記立体映像に応じて設定されたものであり、
    前記判断手段は、前記検出対象物が前記立体映像の仮想的な外表面に接触したか否かを判断するものである
    情報処理装置。
  7. 請求項6に記載の情報処理装置において、
    前記出力手段からの前記検出対象物が前記立体映像の仮想的な外表面に接触したことを示す出力を受けて、前記接触を報知する報知手段を備える
    情報処理装置。
  8. 請求項7に記載の情報処理装置において、
    前記報知手段は、
    前記検知空間に投影する前記立体映像の画像情報を生成して、前記投影手段に供給するものであって、
    前記出力手段からの前記検出対象物が前記立体映像の仮想的な外表面に接触したことを示す出力を受けて、前記立体映像に、前記仮想的な外表面における前記接触位置を示す表示を追加する立体画像情報生成手段で構成される
    情報処理装置。
  9. 請求項7に記載の情報処理装置において、
    前記報知手段は、前記出力手段からの前記検出対象物が前記立体映像の仮想的な外表面に接触したことを示す出力を受けて、音声を放音する手段からなる
    情報処理装置。
  10. 請求項6に記載の情報処理装置において、
    前記検知空間に投影する前記立体映像の画像情報を生成して、前記投影手段に供給する立体画像情報生成手段と、
    前記立体画像情報生成手段で生成された前記立体映像の3次元座標情報から、前記検知空間における前記3次元設定空間領域を特定するための3次元座標情報を生成し、前記記憶手段に記憶する設定空間領域情報生成手段と、
    を備え、前記立体画像が変化したとき、その変化に応じて前記設定空間領域情報生成手段は、前記3次元設定空間領域を特定するための3次元座標情報を、前記前記立体画像情報生成手段で生成された前記立体映像の3次元座標情報から生成し直す
    情報処理装置。
  11. センサ手段と、記憶手段と、位置検出手段と、判断手段と、出力手段とを備える情報処理装置における情報処理方法であって、
    前記センサ手段が、検出対象物を検知可能な検知空間における前記検出対象物の、前記検知空間における3次元座標位置に応じたセンサ出力信号を、前記検出空間における静電容量を検出することにより生成して出力する工程と、
    前記位置検出手段が、前記センサ手段の前記センサ出力信号から、前記検出対象物の前記検知空間における3次元座標位置を検出する位置検出工程と、
    前記記憶手段が、検知空間において設定された3次元設定空間領域を特定するための座標情報を記憶する工程と、
    前記判断手段が、前記位置検出工程で検出された前記検出対象物の3次元座標位置と、前記記憶工程で記憶された座標情報とから、前記検知空間における前記検出対象物の3次元座標位置が、前記3次元設定空間領域に含まれるか否かを判断する判断工程と、
    前記出力手段が、前記判断工程での判断結果を出力する出力工程と、
    を有する情報処理方法。
  12. センサ装置と、前記センサ装置からの出力信号を受ける情報処理装置とからなる情報処理システムであって、
    前記センサ装置は、
    検出対象物を検知可能な検知空間における前記検出対象物の、前記検知空間における3次元座標位置に応じたセンサ出力信号を、前記検出空間における静電容量を検出することにより生成して出力するものとされ、
    前記情報処理装置は、
    前記センサ装置の前記センサ出力信号から、前記検出対象物の前記検知空間における3次元座標位置を検出する位置検出手段と、
    前記検知空間において設定された3次元設定空間領域を特定するための座標情報を記憶する記憶手段と、
    前記位置検出手段で検出された前記検出対象物の3次元座標位置と、前記記憶手段に記憶されている座標情報とから、前記検知空間における前記検出対象物の3次元座標位置が、前記3次元設定空間領域に含まれるか否かを判断する判断手段と、
    前記判断手段の判断結果を出力する出力手段と、
    を備える情報処理システム。
  13. 検出対象物を検知可能な検知空間における前記検出対象物の、前記検知空間における3次元座標位置に応じたセンサ出力信号を、前記検出空間における静電容量を検出することにより生成して出力するセンサ装置と、
    立体映像を前記センサ手段の前記検知空間に投影する投影装置と、
    前記センサ装置からの出力信号を受けると共に、前記立体映像の画像情報を前記投影装置に供給する情報処理装置とからなる情報処理システムであって、
    前記情報処理装置は、
    前記センサ装置の前記センサ出力信号から、前記検出対象物の前記検知空間における3次元座標位置を検出する位置検出手段と、
    前記検知空間に投影される前記立体映像の仮想的な外表面位置に応じた3次元設定空間領域を特定するための座標情報を記憶する記憶手段と、
    前記位置検出手段で検出された前記検出対象物の3次元座標位置と、前記記憶手段に記憶されている座標情報とから、前記検知空間における前記検出対象物の3次元座標位置が、前記3次元設定空間領域に含まれるか否かを判断する判断手段と、
    前記判断手段の判断結果を出力する出力手段と、
    を備える情報処理システム。
  14. 検出対象物を検知可能な検知空間における前記検出対象物の、前記検知空間における3次元座標位置に応じたセンサ出力信号を、前記検出空間における静電容量を検出することにより生成して出力するセンサ手段からの検出出力を受ける情報処理装置が備えるコンピュータを、
    前記センサ装置の前記センサ出力信号から、前記検出対象物の前記検知空間における3次元座標位置を検出する位置検出手段と、
    前記検知空間において設定された3次元設定空間領域を特定するための座標情報を記憶する記憶手段、
    前記位置検出手段で検出された前記検出対象物の3次元座標位置と、前記記憶手段に記憶されている座標情報とから、前記検知空間における前記検出対象物の3次元座標位置が、前記3次元設定空間領域に含まれるか否かを判断する判断手段、
    前記判断手段の判断結果を出力する出力手段、
    として機能させるための情報処理用プログラム。
JP2008264222A 2008-10-10 2008-10-10 情報処理装置、情報処理方法、情報処理システムおよび情報処理用プログラム Expired - Fee Related JP4793422B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2008264222A JP4793422B2 (ja) 2008-10-10 2008-10-10 情報処理装置、情報処理方法、情報処理システムおよび情報処理用プログラム
EP09172301.5A EP2175351B1 (en) 2008-10-10 2009-10-06 Apparatus and method for processing input information in contactless sensor means
US12/587,449 US8378966B2 (en) 2008-10-10 2009-10-07 Apparatus, system, method, and program for processing information
CN2009102046899A CN101794185B (zh) 2008-10-10 2009-10-10 用于处理信息的设备、系统、方法
US13/748,915 US8754850B2 (en) 2008-10-10 2013-01-24 Apparatus, system, method, and program for processing information
US14/211,391 US20140198077A1 (en) 2008-10-10 2014-03-14 Apparatus, system, method, and program for processing information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008264222A JP4793422B2 (ja) 2008-10-10 2008-10-10 情報処理装置、情報処理方法、情報処理システムおよび情報処理用プログラム

Publications (2)

Publication Number Publication Date
JP2010092420A true JP2010092420A (ja) 2010-04-22
JP4793422B2 JP4793422B2 (ja) 2011-10-12

Family

ID=41455669

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008264222A Expired - Fee Related JP4793422B2 (ja) 2008-10-10 2008-10-10 情報処理装置、情報処理方法、情報処理システムおよび情報処理用プログラム

Country Status (4)

Country Link
US (3) US8378966B2 (ja)
EP (1) EP2175351B1 (ja)
JP (1) JP4793422B2 (ja)
CN (1) CN101794185B (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011253538A (ja) * 2010-06-02 2011-12-15 Sony Computer Entertainment Inc コンピュータプログラムのための静電容量入力
JP2011257820A (ja) * 2010-06-07 2011-12-22 Sony Corp 情報表示装置および表示画像制御方法
JP2012003734A (ja) * 2010-06-17 2012-01-05 Yoichi Ochiai 静電容量式タッチセンサー上ファイコン
JP2014074955A (ja) * 2012-10-02 2014-04-24 Denso Corp 操作デバイス
JP2014110010A (ja) * 2012-12-04 2014-06-12 Denso Corp 入力装置
JP2014164619A (ja) * 2013-02-26 2014-09-08 Panasonic Intellectual Property Corp Of America 電子機器
JP2014534525A (ja) * 2011-10-25 2014-12-18 マイクロソフト コーポレーション 間接タッチ入力デバイスのための圧力ベースのインタラクション
EP2853987A1 (en) 2013-09-25 2015-04-01 Fujitsu Component Limited Head up display with non contact gesture detection
JP2015095107A (ja) * 2013-11-12 2015-05-18 株式会社豊田中央研究所 入力装置
JP5861638B2 (ja) * 2010-09-22 2016-02-16 日本電気株式会社 表示装置および表示方法ならびにそのプログラム、端末装置
WO2016147423A1 (ja) * 2015-03-16 2016-09-22 Smk株式会社 静電容量式タッチパネル

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9001053B2 (en) * 2010-10-28 2015-04-07 Honeywell International Inc. Display system for controlling a selector symbol within an image
US9160898B2 (en) 2011-01-25 2015-10-13 Autofuss System and method for improved video motion control
JP5766479B2 (ja) * 2011-03-25 2015-08-19 京セラ株式会社 電子機器、制御方法および制御プログラム
JP5926500B2 (ja) * 2011-06-07 2016-05-25 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
TW201300839A (zh) * 2011-06-24 2013-01-01 Era Optoelectronics Inc 浮在空中的虛擬電漿顯示裝置
JP2015506121A (ja) * 2011-11-16 2015-02-26 ストーウェル・リンネル・エルエルシー ロボット制御のオブジェクトによる3dプロジェクション・マッピングのシステム及び方法
US9832352B2 (en) 2011-11-16 2017-11-28 Autofuss System and method for 3D projection mapping with robotically controlled objects
US9619036B2 (en) 2012-05-11 2017-04-11 Comcast Cable Communications, Llc System and methods for controlling a user experience
JP5542224B1 (ja) * 2013-03-06 2014-07-09 パナソニック株式会社 電子機器および座標検出方法
JP5894957B2 (ja) 2013-03-29 2016-03-30 株式会社ジャパンディスプレイ 電子機器、電子機器の制御方法
CN103808710A (zh) * 2014-01-21 2014-05-21 曹际娟 化学发光检测设备和方法
JP6482196B2 (ja) * 2014-07-09 2019-03-13 キヤノン株式会社 画像処理装置、その制御方法、プログラム、及び記憶媒体
JP6428020B2 (ja) * 2014-07-24 2018-11-28 セイコーエプソン株式会社 Gui装置
EP3239818A4 (en) 2014-12-26 2018-07-11 Nikon Corporation Control device, electronic instrument, control method, and program
JP6274134B2 (ja) * 2015-03-10 2018-02-07 京セラドキュメントソリューションズ株式会社 表示入力装置及びこれを備えた画像形成装置
US10857390B2 (en) 2015-10-16 2020-12-08 Dalhousie University Systems and methods for monitoring patient motion via capacitive position sensing
TWI653563B (zh) * 2016-05-24 2019-03-11 仁寶電腦工業股份有限公司 投影觸控的圖像選取方法
US20220139199A1 (en) * 2019-02-27 2022-05-05 Technomirai Co., Ltd. Accurate digital security system, method, and program
CN111982161A (zh) * 2020-07-30 2020-11-24 拉扎斯网络科技(上海)有限公司 一种导体对象方位确定方法以及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008117371A (ja) * 2006-10-13 2008-05-22 Sony Corp 近接検知型情報表示装置およびこれを使用した情報表示方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3251639B2 (ja) 1992-06-08 2002-01-28 株式会社東芝 ポインティング装置
JP2000501033A (ja) * 1995-11-30 2000-02-02 ヴァーチャル テクノロジーズ インコーポレイテッド 触覚をフィードバックする人間/機械インターフェース
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6175954B1 (en) * 1997-10-30 2001-01-16 Fuji Xerox Co., Ltd. Computer programming using tangible user interface where physical icons (phicons) indicate: beginning and end of statements and program constructs; statements generated with re-programmable phicons and stored
US6031519A (en) * 1997-12-30 2000-02-29 O'brien; Wayne P. Holographic direct manipulation interface
US6211848B1 (en) * 1998-05-15 2001-04-03 Massachusetts Institute Of Technology Dynamic holographic video with haptic interaction
US7050177B2 (en) * 2002-05-22 2006-05-23 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
JP2001307134A (ja) * 2000-04-19 2001-11-02 Sony Corp 三次元モデル処理装置および三次元モデル処理方法、並びにプログラム提供媒体
US7139685B2 (en) * 2000-11-03 2006-11-21 Siemens Aktiengesellschaft Video-supported planning of equipment installation and/or room design
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7382360B2 (en) * 2003-04-15 2008-06-03 Synaptics Incorporated Methods and systems for changing the appearance of a position sensor with a light effect
US7394459B2 (en) * 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
US7586490B2 (en) * 2004-10-20 2009-09-08 Siemens Aktiengesellschaft Systems and methods for three-dimensional sketching
JP2007219676A (ja) 2006-02-15 2007-08-30 Tokyo Institute Of Technology データ入力装置、情報機器、およびデータ入力方法
US8284165B2 (en) 2006-10-13 2012-10-09 Sony Corporation Information display apparatus with proximity detection performance and information display method using the same
WO2008062586A1 (fr) * 2006-11-22 2008-05-29 Sharp Kabushiki Kaisha Dispositif d'affichage, procédé d'affichage, programme d'affichage, et support d'enregistrement
US20080134102A1 (en) * 2006-12-05 2008-06-05 Sony Ericsson Mobile Communications Ab Method and system for detecting movement of an object
US20080204420A1 (en) 2007-02-28 2008-08-28 Fuji Xerox Co., Ltd. Low relief tactile interface with visual overlay
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US8432365B2 (en) * 2007-08-30 2013-04-30 Lg Electronics Inc. Apparatus and method for providing feedback for three-dimensional touchscreen
US20090109215A1 (en) * 2007-10-31 2009-04-30 Fein Gene S Method and apparatus for user interface communication with an image manipulator
US8593408B2 (en) * 2008-03-20 2013-11-26 Lg Electronics Inc. Electronic document reproduction apparatus and reproducing method thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008117371A (ja) * 2006-10-13 2008-05-22 Sony Corp 近接検知型情報表示装置およびこれを使用した情報表示方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011253538A (ja) * 2010-06-02 2011-12-15 Sony Computer Entertainment Inc コンピュータプログラムのための静電容量入力
US8872821B2 (en) 2010-06-07 2014-10-28 Sony Corporation Information display device and display image control method
JP2011257820A (ja) * 2010-06-07 2011-12-22 Sony Corp 情報表示装置および表示画像制御方法
JP2012003734A (ja) * 2010-06-17 2012-01-05 Yoichi Ochiai 静電容量式タッチセンサー上ファイコン
JP5861638B2 (ja) * 2010-09-22 2016-02-16 日本電気株式会社 表示装置および表示方法ならびにそのプログラム、端末装置
JP2014534525A (ja) * 2011-10-25 2014-12-18 マイクロソフト コーポレーション 間接タッチ入力デバイスのための圧力ベースのインタラクション
JP2014074955A (ja) * 2012-10-02 2014-04-24 Denso Corp 操作デバイス
JP2014110010A (ja) * 2012-12-04 2014-06-12 Denso Corp 入力装置
JP2014164619A (ja) * 2013-02-26 2014-09-08 Panasonic Intellectual Property Corp Of America 電子機器
US9134836B2 (en) 2013-02-26 2015-09-15 Panasonic Intellectual Property Corporation Of America Electronic device with touch panel for decreasing pointer wobble
EP2853987A1 (en) 2013-09-25 2015-04-01 Fujitsu Component Limited Head up display with non contact gesture detection
US9939906B2 (en) 2013-09-25 2018-04-10 Fujitsu Component Limited Combiner and operation detection device
JP2015095107A (ja) * 2013-11-12 2015-05-18 株式会社豊田中央研究所 入力装置
WO2016147423A1 (ja) * 2015-03-16 2016-09-22 Smk株式会社 静電容量式タッチパネル

Also Published As

Publication number Publication date
CN101794185A (zh) 2010-08-04
EP2175351A3 (en) 2013-07-10
US20100090948A1 (en) 2010-04-15
EP2175351B1 (en) 2018-02-28
EP2175351A2 (en) 2010-04-14
JP4793422B2 (ja) 2011-10-12
US20140198077A1 (en) 2014-07-17
CN101794185B (zh) 2012-09-26
US8378966B2 (en) 2013-02-19
US20130135252A1 (en) 2013-05-30
US8754850B2 (en) 2014-06-17

Similar Documents

Publication Publication Date Title
JP4793422B2 (ja) 情報処理装置、情報処理方法、情報処理システムおよび情報処理用プログラム
JP4775669B2 (ja) 情報処理装置、情報処理方法、情報処理システムおよび情報処理用プログラム
GB2498299B (en) Evaluating an input relative to a display
KR101639383B1 (ko) 근접 터치 동작 감지 장치 및 방법
US9035889B2 (en) Information processing apparatus and information processing method
CN103842945B (zh) 对象指向方法、设备
US20190114034A1 (en) Displaying an object indicator
CN107861653A (zh) 显示控制设备、显示控制系统和显示控制方法
CN102693060A (zh) 一种终端状态切换的方法、装置及终端
US20120120030A1 (en) Display with an Optical Sensor
CN109254658A (zh) 触觉反馈方法、触觉反馈装置及触摸显示装置
JP6424612B2 (ja) 組立支援システム、及び、組立支援方法
KR101518786B1 (ko) 터치의 압력 레벨에 따른 피드백 방법 및 이를 수행하는 터치 스크린을 포함하는 장치
JP6070211B2 (ja) 情報処理装置、システム、画像投影装置、情報処理方法およびプログラム
CA2847425C (en) Interaction with a three-dimensional virtual scenario
US10042471B2 (en) Interface system, object for operation input, operation input supporting method
JP7255203B2 (ja) 評価装置、評価装置の作動方法、及び評価プログラム
CN110837295A (zh) 一种手持控制设备及其追踪定位的方法、设备与系统
TWI506535B (zh) 電子裝置及顯示內容更新方法
TW201621554A (zh) 物件影像之捕捉及投影技術
CN110502166A (zh) 一种交互控件部署方法及装置
CN110502095B (zh) 具备手势感测功能的三维显示器
JP2016003899A (ja) 電子機器、および制御プログラム
TWM548807U (zh) 互動式立體投影器

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100819

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110628

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110711

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140805

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees