JP2010128545A - 情報処理装置、情報処理方法および情報処理用プログラム - Google Patents

情報処理装置、情報処理方法および情報処理用プログラム Download PDF

Info

Publication number
JP2010128545A
JP2010128545A JP2008299408A JP2008299408A JP2010128545A JP 2010128545 A JP2010128545 A JP 2010128545A JP 2008299408 A JP2008299408 A JP 2008299408A JP 2008299408 A JP2008299408 A JP 2008299408A JP 2010128545 A JP2010128545 A JP 2010128545A
Authority
JP
Japan
Prior art keywords
display
detection
information processing
sensor
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008299408A
Other languages
English (en)
Other versions
JP4816713B2 (ja
Inventor
Haruo Oba
晴夫 大場
Atsushi Koshiyama
篤 越山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008299408A priority Critical patent/JP4816713B2/ja
Priority to US12/589,873 priority patent/US20100127970A1/en
Priority to CN2009102265684A priority patent/CN101901091A/zh
Publication of JP2010128545A publication Critical patent/JP2010128545A/ja
Application granted granted Critical
Publication of JP4816713B2 publication Critical patent/JP4816713B2/ja
Priority to US15/670,462 priority patent/US20170336887A1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0445Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using two or more layers of sensing electrodes, e.g. using two layers of electrodes separated by a dielectric layer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0446Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a grid-like structure of electrodes in at least two directions, e.g. using row and column electrodes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザが位置する場所に自動的に所定の画像表示ができる情報処理装置を提供する。
【解決手段】検出手段212は、検出対象物の3次元座標位置を、当該検出対象物の3次元座標位置に応じて変化する静電容量を検出するセンサ手段を用いることにより検出する。検出手段212で検出された検出対象物の3次元座標位置に基づく表示を行うための表示手段4を備える。制御手段17は、検出手段212で検出された検出対象物の3次元座標位置のうちの、検出対象物とセンサ手段との離間距離方向に直交する方向の座標位置成分に対応する表示手段による表示領域内の表示位置に、検出対象物の3次元座標位置に基づく表示を行うように制御する。
【選択図】図7

Description

この発明は、例えばテーブルの表面を表示領域として所定の表示を行う情報処理装置に関する。また、この情報処理装置における情報処理方法および情報処理用プログラムに関する。
例えば会議用のテーブルの表面を表示領域として所定の表示画像を表示することで種々の用途に用いることが考えられている。
例えば特許文献1(特開2001−109570号公報)には、会議用のテーブルの表面にコンピュータのデスクトップをエミュレートした表示画像を表示するようにした情報入出力システムが記載されている。特許文献1においては、投影装置(プロジェクタ)が投影出力する画像を反射ミラー経由で、テーブルの表面に投影することで表示画像をテーブル表面に表示するようにしている。
そして、この特許文献1の情報入出力システムにおいては、PDA(Personal Digital Assistants)などのコンピュータ機器に3次元位置センサを取り付け、そのPDAを用いたユーザの仕草により、表示画像についての表示制御を行えるようにしている。例えば、表示画面に表示されたドキュメントを、会議参加者のPDAを用いて仕草により、表示画面上、移動したり回転させたりすることができるようにしている。
上記の特許文献は、次の通りである。
特開2001−109570号公報
ところで、特許文献1では、テーブルの表面に表示される表示画像は、テーブルに着席する会議参加者の位置に関係なく、予め定められたものとして投影表示される。このため、会議参加者は、例えば会議資料としてのドキュメントが表示された場合、そのドキュメントを読むためには、当該ドキュメントが表示された位置に移動するなどする必要があった。
この発明は、以上の点にかんがみ、ユーザが位置する場所に自動的に所定の画像表示をすることができるようにした情報処理装置を提供することを目的とする。
上記の課題を解決するために、この発明は、
検出対象物の3次元座標位置を、前記検出対象物の3次元座標位置に応じて変化する静電容量を検出するセンサ手段を用いることにより検出する検出手段と、
前記検出手段で検出された前記検出対象物の前記3次元座標位置に基づく表示を行うための表示手段と、
前記検出手段で検出された前記検出対象物の前記3次元座標位置のうちの、前記検出対象物と前記センサ手段との離間距離方向に直交する方向の座標位置成分に対応する前記表示手段による表示領域内の表示位置に、前記検出対象物の前記3次元座標位置に基づく前記表示を行うように制御する制御手段と、
を備える情報処理装置を提供する。
上述の構成のこの発明において、検出対象物が例えば人である場合には、次のような処理動作がなされる。
センサ手段は、人を検出対象物として、当該人の3次元座標位置に応じて変化する静電容量を検出することができる。検出手段は、このセンサ手段のセンサ出力から、検出対象物としての人の3次元座標位置を検出する。
制御手段は、検出手段で検出された人の3次元座標位置のうちの、人とセンサ手段との離間距離方向、つまりz方向、に直交する方向、つまりx,y方向の座標位置成分を参照する。そして、このx、y方向の座標位置に対応する表示手段による表示領域内の表示位置に、当該人の位置に基づく表示を行う。
したがって、例えば、テーブルに人が着席したとき、当該着席した人の近傍の表示領域に、ドキュメント表示などの所定の表示を行うことができる。
この発明によれば、検出対象物の3次元座標位置に応じた表示領域内の表示位置に、所定の表示を行うことができるので、検出対象物の位置と関連付けた位置に所定の表示を行うことができる。
以下、この発明による情報処理装置の幾つかの実施形態を図を参照しながら説明する。
[第1の実施形態]
図2は、第1の実施形態の情報処理装置の概要を説明するための図である。この第1の実施形態の情報処理装置1は、例えばテレビ受信装置2についてのリモートコマンダ(リモコン送信機)としての機能を備えるものである。
この第1の実施形態の情報処理装置1は、テーブル3に組み込まれたものとして構成されている。この実施形態のテーブル3は、非導電体である例えば木製材料で構成されている。
図1は、この実施形態の情報処理装置1のテーブル3の主要な構成を説明するための分解図である。図3は、テーブル3の、平板からなる天板3Tの断面図(図2のA−A断面図)である。
この実施形態の情報処理装置1においては、テーブル3の天板3Tの表面側に表示パネル4が設けられていると共に、このテーブル3に対して、人を検出対象物として検知できるセンサ部(図2では図示を省略)が設けられている。この実施形態では、このセンサ部としては、出願人が先に特許文献2(特開2008−117371号公報)に開示した、センサ部に対する検出対象物の3次元座標位置を、静電容量を用いて検出するものを使用する。
表示パネル4は、例えばLCD(Liquid Crystal Display)や有機ELなどからなるフラットディスプレイパネル4が用いられて構成されている。
センサ部は、この実施形態では、表面センサ部11と、側面センサ部12,13と、裏面センサ部14とからなる。これら表面センサ部11、側面センサ部12,13、裏面センサ部14は、それぞれ独立に設けられている。
表面センサ部11は、フラットディスプレイパネル4の上側に積層されて配設される。
側面センサ部12,13は、この実施形態では、テーブル3の長辺方向の2側面にそれぞれ配設される。この例では、テーブル3の長辺方向の部分にのみ、ユーザが着席する場合を想定下ので、テーブル3の側面には、側面センサ部12,13のみを設けるようにした。しかし、テーブル3の短辺方向にもユーザが着席する場合を考慮したときには、テーブル3の短辺方向の2側面のそれぞれにも側面センサ部をさらに設けてもよい。
裏面センサ部14は、テーブル3の天板の裏面側に配設されている。
表面センサ部11の表面は、テーブル表面カバー15により保護される。このテーブル表面カバー15は、表示パネル4において表示される表示画像をユーザが上から観視することができるように透明部材で構成されている。また、この実施形態では、センサ部は、静電容量を用いて検出対象物の空間的な位置を検出するものであるので、テーブル表面カバーは、非導電体材料で構成されている。なお、少なくとも表面センサ部11は、後述するように、透明ガラス基板が用いられて、表示パネル4において表示される表示画像をユーザが上から観視することができるように構成されている。
そして、この実施形態では、テーブル3の天板3T内には、プリント配線基板16に制御部17が形成されたものが設けられる。
制御部17に対しては、プリント配線基板16を通じてフラットディスプレイパネル4が接続されると共に、表面センサ部11、側面センサ部12,13、裏面センサ部14がそれぞれ接続される。制御部17は、この実施形態では、センサ部11,12,13,14からのセンサ出力を受けると共に、受けたセンサ出力に応じて、表示パネル4に表示画像を表示すると共に表示画像を制御する。
表面センサ部11、側面センサ部12,13、裏面センサ部14のそれぞれは、それぞれのセンサ部に対する検出対象物としての人体や人の手の空間的な離間距離に応じたセンサ検出出力を出力する。この実施形態では、表面センサ部11、側面センサ部12,13、裏面センサ部14のそれぞれは、所定の大きさの2次元平面からなる矩形状の2枚のセンサパネルを張り合わせたものとして構成される。
張り合わされる2枚のセンサパネルは、図1に示すように、X−Zセンサパネルと、Y−Zセンサパネルである。すなわち、表面センサ部11は、X−Zセンサパネル11Aと、Y−Zセンサパネル11Bとが張り合わされたものとされる。また、側面センサ部12は、X−Zセンサパネル12Aと、Y−Zセンサパネル12Bとが張り合わされたものとされる。また、側面センサ部13は、X−Zセンサパネル13Aと、Y−Zセンサパネル13Bとが張り合わされたものとされる。裏面センサ部14は、X−Zセンサパネル14Aと、Y−Zセンサパネル14Bとが張り合わされたものとされる。
この実施形態では、センサ部11,12,13,14のそれぞれは、このように構成されることで、センサパネル面の横方向および縦方向の複数の位置において、独立して検出対象物までの距離に応じたセンサ検出出力を出力することができる。これにより、この実施形態では、センサ部11,12,13,14は、検出対象物が、それぞれのセンサパネル面のいずれの位置上にあるかをも検出可能とされている。
すなわち、例えば各センサパネル面の横方向をx軸方向、縦方向をy軸方向とすると共に、センサパネル面に直交する方向をz軸方向としたとき、検出対象物の空間的な離間距離は、z軸座標値として検出される。そして、各センサパネル上の検出対象物の空間位置は、x軸座標値およびy軸座標値により検出される。
したがって、センサ部11,12,13,14からのセンサ検出出力は、検出対象物のそれぞれのセンサパネル面における位置(x、y座標)および空間離間距離(z座標)に応じたものとなる。
[センサ部の詳細構成例]
次に、X−ZセンサパネルおよびY−Zセンサパネルの構成例について説明する。X−ZセンサパネルおよびY−Zセンサパネルの構成は、センサ部11,12,13,14において同一であるので、ここでは、表面センサ部11のX−Zセンサパネル11Aと、Y−Zセンサパネル11Bとを例にとって説明する。
X−Zセンサパネル11AおよびY−Zセンサパネル11Bは、この例では、互いに直交する2方向に複数本のワイヤ電極が配列されて構成されている。
X−Zセンサパネル11Aにおいては、ワイヤ電極の延伸方向が図1上の垂直方向(縦方向)である複数個の縦電極11V1,11V2,11V3,・・・,11Vn(nは、2以上の整数)が、図1上、水平方向(横方向)に、この例では等間隔に配置されている。
また、Y−Zセンサパネル11Bにおいては、ワイヤ電極の延伸方向が図1上の水平方向(横方向)である複数個の横電極11H1,11H2,11H3,・・・,11Hm(mは、2以上の整数)が、図1上の垂直方向(縦方向)に、この例では等間隔に配置されている。
図4(A)および(B)は、それぞれX−Zセンサパネル11AおよびY−Zセンサパネル11Bの横断面図を示すものである。
X−Zセンサパネル11Aは、2枚のガラス板21A,22Aの間に、複数個の縦電極11V1,11V2,11V3,・・・,11Vnが含まれる電極層23Aが挟持される構成とされている。
また、Y−Zセンサパネル11Bは、2枚のガラス板21B,22Bの間に、複数個の横電極11H1,11H2,11H3,・・・,11Hmが含まれる電極層23Bが挟持される構成とされている。なお、図4(B)における11Hiは、i番目の横電極を意味している。
ここで、この実施形態では、複数個の横電極11H1,11H2,11H3,・・・,11Hmおよび複数個の縦電極11V1,11V2,11V3,・・・,11Vnは、ガラス板上に導電インクの印刷や蒸着により構成される。なお、複数個の横電極11H1,11H2,11H3,・・・,11Hmおよび複数個の縦電極11V1,11V2,11V3,・・・,11Vnは、透明電極の構成とされるのが好ましい。
次に、このX−Zセンサパネル11Aと、Y−Zセンサパネル11Bとを積層したセンサパネルから、検出対象物の3次元座標位置に応じたセンサ出力を得る回路構成について説明する。
この実施形態においても、特許文献2の場合と同様に、表面センサ部11のX−Zセンサパネル11AおよびY−Zセンサパネル11Bと検出対象物との距離に応じた静電容量は、発振回路の発振周波数に変換して検出する。そして、この実施形態では、表面センサ部11は、発振周波数に応じたパルス信号のパルス数を計数し、その発信周波数に応じた計数値をセンサ出力信号とする。
図5は、X−Zセンサパネル11AおよびY−Zセンサパネル11Bを積層した状態のセンサパネルについての説明図である。また、図6は、表面センサ部11から出力するセンサ検出出力信号を生成するための回路構成例を示している。
図5に示すように、この実施形態の表面センサ部11のX−Zセンサパネル11AおよびY−Zセンサパネル11Bでは、前述もしたように、互いに直交する2方向に複数本のワイヤ電極が配列されて構成されている。すなわち、複数個の縦電極11V1,11V2,11V3,・・・,11Vnと、複数の横電極11H1,11H2,11H3,・・・,11Hmとが、互いに直交する方向に配列されている。
この場合、複数の横電極11H1,11H2,11H3,・・・,11Hmのそれぞれと、接地間には静電容量(浮遊容量)CH1,CH2,CH3,・・・,CHmが存在する。そして、これらの静電容量CH1,CH2,CH3,・・・,CHmは、Y−Zセンサパネル11B面上の空間における手や指の存在位置により変化する。
複数の横電極11H1,11H2,11H3,・・・,11Hmの一方および他方の端部は、それぞれ横電極端子とされている。そして、この例では、複数の横電極11H1,11H2,11H3,・・・,11Hmのそれぞれの横電極端子の一方は、図6に示す横電極用の発信器101Hに接続される。
また、複数の横電極11H1,11H2,11H3,・・・,11Hmのそれぞれの横電極端子の他方は、アナログスイッチ回路103に接続される。
この場合、横電極11H1,11H2,11H3,・・・,11Hmは、図6に示すような等価回路で表わすことができる。図6では、横電極11H1についての等価回路が示されているが、他の横電極11H2,・・・,11Hmにおいても同様である。
すなわち、横電極11H1の等価回路は、抵抗RHと、インダクタンスLHと、検出対象の静電容量CH1とからなる。他の横電極11H2,11H3,・・・,11Hmでは、静電容量がCH2,CH3,・・・,CHmに変わる。
この横電極11H1,11H2,11H3,・・・,11Hmの等価回路は、共振回路を構成するもので、発信器101Hと共に発振回路を構成し、それぞれ横電極容量検出回路102H1,102H2,102H3,・・・,102Hmを構成する。横電極容量検出回路102H1,102H2,102H3,・・・,102Hmのそれぞれの出力は、検出対象物の表面センサ部11のセンサパネル面からの距離に応じた静電容量CH1,CH2,CH3,・・・,CHmのそれぞれに応じた発振周波数の信号となる。
ユーザが、Y−Zセンサパネル11B上で、手や指先の位置をY−Zセンサパネル11Bに対して近づけたり、遠ざけたりすると、静電容量CH1,CH2,CH3,・・・,CHmの値が変化する。そのため、横電極容量検出回路102H1,102H2,102H3,・・・,102Hmのそれぞれでは、手や指先位置の位置変化が、発振回路の発振周波数の変化として検出される。
一方、複数の縦電極11V1,11V2,11V3,・・・,11Vnの一方および他方の端部は、それぞれ縦電極端子とされている。そして、この例では、複数の縦電極11V1,11V2,11V3,・・・,11Vnのそれぞれの縦電極端子の一方は、縦電極用の発信器101Vに接続される。この例では、縦電極用の発信器101Vの出力信号の基本周波数は、横電極用の発信器101Hとは周波数が異なるものとされる。
また、複数の縦電極11V1,11V2,11V3,・・・,11Vnのそれぞれの縦電極端子の他方は、アナログスイッチ回路103に接続される。
この場合、縦電極11V1,11V2,11V3,・・・,11Vnも、図6に示すように、横電極の場合と同様の等価回路で表わすことができる。図6では、縦電極11V1についての等価回路が示されているが、他の縦電極11V2,・・・,11Vnにおいても同様である。
すなわち、縦電極11V1の等価回路は、抵抗RVと、インダクタンスLVと、検出対象の静電容量CV1とからなる。他の横電極11V2,11V3,・・・,11Vnでは、静電容量がCV2,CV3,・・・,CVnに変わる。
そして、この縦電極11V1,11V2,11V3,・・・,11Vnの等価回路は、共振回路を構成するもので、発信器101Vと共に発振回路を構成し、それぞれ縦電極容量検出回路102V1,102V2,102V3,・・・,102Vnを構成する。そして、縦電極容量検出回路102V1,102V2,102V3,・・・,102Vnのそれぞれの出力は、検出対象物のX−Zセンサパネル11A面からの距離に応じた静電容量CV1,CV2,CV3,・・・,CVnのそれぞれに応じた発振周波数の信号となる。
そして、縦電極容量検出回路102V1,102V2,102V3,・・・,102Vnのそれぞれにおいても、手や指先位置の位置変化に応じた静電容量CV1,CV2,CV3,・・・,CVnの値の変化が、発振回路の発振周波数の変化として検出される。
そして、横電極容量検出回路102H1,102H2,102H3,・・・,102Hmのそれぞれの出力と、縦電極容量検出回路102V1,102V2,102V3,・・・,102Vnのそれぞれの出力とがアナログスイッチ回路103に供給される。
このアナログスイッチ回路103は、制御部17からの切替信号SWにより、横電極容量検出回路102H1〜102Hmおよび縦電極容量検出回路102V1〜102Vnのうちの、いずれか1つの出力を、順次に、所定の速度で選択して出力する。
そして、このアナログスイッチ回路103からの出力が、周波数カウンタ104に供給される。この周波数カウンタ104は、これに入力される信号の発振周波数を計数する。すなわち、周波数カウンタ104の入力信号は、発振周波数に応じたパルス信号であり、そのパルス信号の所定時間区間におけるパルス数を計数すると、その計数値は、発振周波数に対応したものとなる。
この周波数カウンタ104の出力計数値は、制御部17に、アナログスイッチ回路103で選択されたワイヤ電極についてのセンサ出力として供給される。そして、周波数カウンタ104の出力計数値は、制御部17からアナログスイッチ回路103に供給される切替信号SWに同期して得られる。
したがって、制御部17は、アナログスイッチ回路103に供給する切替信号SWから、周波数カウンタ104の出力計数値がいずれのワイヤ電極についてのセンサ出力であるかを判断する。そして、制御部17は、自己が備えるバッファ部に、ワイヤ電極と、出力計数値とを対応付けて保持する。
そして、制御部17は、バッファ部に保持した検出対象の全てのワイヤ電極についてのセンサ出力から、検出対象物の空間位置(表面センサ部11からの距離および表面センサ部11でのx,y座標)を検出する。
実際的には、表面センサ部11からは、そのセンサパネル上における検出対象物のx,y座標位置に応じて、複数個の横電極容量検出回路102H1〜102Hmおよび縦電極容量検出回路102V1〜102Vnからのセンサ出力が得られる。そして、その複数のセンサ出力は、検出対象物が存在する表面センサ部11のセンサパネル上におけるx,y座標位置から、センサ部10までの距離が最も短くなる。したがって、当該位置に対応する2電極間の静電容量を検出する横電極容量検出回路および縦電極容量検出回路からのセンサ出力が、他に比べて顕著なものとなる。
以上のことから、制御部17は、表面センサ部11からの複数個のセンサ出力から、表面センサ部11上における検出対象物が位置するx,y座標および表面センサ部11から検出対象物までの距離を求める。すなわち、検出したx,y座標位置上の空間に、検出対象物、例えば手の位置があると判断する。なお、検出対象物は、所定の大きさを有するので、検出対象物の大きさ分に相当する、表面センサ部11のセンサパネル上のx,y座標位置範囲上において、静電容量に応じた距離だけ離れているとして検出されるものである。
この実施形態でも、検出対象物の、表面センサ部11のセンサパネル面に対する空間的な離間位置の距離に応じて、特許文献2の場合と同様にして、静電容量を検出するワイヤ電極の間引き切り替えをするようにする。このワイヤ電極の間引き切り替えは、制御部17からの切り替え制御信号SWにより、アナログスイッチ回路103において、順次に選択するワイヤ電極を、何本置き(0本を含む)のワイヤ電極を選択するかが制御されることによりなされる。切り替えタイミングは、表面センサ部11のセンサパネル面から検出対象物までの距離に応じて予め定められ、例えば、後述するレイヤの変化点とするようにしてもよい。
なお、発信器は、上述の説明では、横電極用と縦電極用とを用いるようにしたが、簡易的には、1個の共通の発信器とするようにしても良い。また、理想的には、各ワイヤ電極毎に周波数の異なる複数個の発信器を設ける方が良い。
以上のようにして、表面センサ部11からは、そのセンサパネル面の上方空間において、空間的に離間する位置にある検出対象物の3次元座標位置に応じたセンサ出力が出力される。
以上は、表面センサ部11についての説明であるが、前述したように、側面センサ部12,13および裏面センサ部14についても全く同様に構成される。
この実施形態の情報処理装置1においては、制御部17は、センサ部11〜14からのセンサ出力に基づいて、以下に説明するような表示制御およびこの実施形態では、リモコン制御を行う。
この第1の実施形態の情報処理装置1においては、ユーザ5がテーブル3の長辺方向のどこかに着席すると、センサ部11〜14は、ユーザの着席位置(3次元座標位置)に応じたセンサ出力を制御部17に出力する。
この場合、側面センサ部12または13は、着席したユーザの腹部のテーブル3の長辺方向の位置(x,y座標)および側面センサ部12または13のセンサパネル面に対する着席ユーザ接近距離(z座標)に応じたセンサ出力を制御部17に出力する。また、裏面センサ部14は、着席ユーザの足の大腿部のテーブル3の裏面における位置(x,y座標)および裏面センサ部14のセンサパネル面に対する着席ユーザの足の大腿部の接近距離(z座標)に応じたセンサ出力を制御部17に出力する。
表面センサ部11は、着席ユーザが手をテーブル3上に載置したとき、表面センサ部11のセンサパネル面上における位置(x,y座標)および当該センサパネルに対するユーザの手の接近距離(z座標)に応じてセンサ出力を制御部17に出力する。
制御部17は、上述のセンサ部11〜14のセンサ出力からユーザ5のテーブル3における着席位置を検出し、表示パネル4の表示画面のうち、当該着席位置の近傍位置にリモートコマンダ画像6を表示する。すなわち、この第1の実施形態の情報処理装置1においては、表示パネル4には、ユーザ5の着席位置に応じた位置に、リモートコマンダ画像6が自動的に表示される。
そして、この第1の実施形態の情報処理装置1においては、ユーザ5の、このリモートコマンダ画像6の上方空間における振る舞いが、表面センサ部11を通じて制御部17に伝達される。制御部17は、当該振る舞いの内容を判定し、その判定結果に応じて予め設定されているリモコン制御を行うリモコン信号を生成する。
例えば、ユーザ5は、リモートコマンダ画像6の上方空間において、手のテーブル3の表面に対する距離を変えたり(z軸方向操作)、手をテーブル3の表面に平行な方向に移動したり(x,y軸方向操作)する。
表面センサ部11は、このときの手の3次元座標位置に応じたセンサ出力を制御部17に供給する。制御部17は、受け取った表面センサ部11のセンサ出力から手の振る舞いを検出する。そして、制御部17は、検出したユーザ5のリモートコマンダ画像の上方空間における手の振る舞いから、テレビ受信装置2の、例えば音量制御あるいはチャンネル変更制御などのリモコン信号に生成する。
そして、制御部17は、生成したリモコン信号をテレビ受信装置2に供給するようにする。これにより、この実施形態の情報処理装置1によるテレビ受信装置2のリモコン制御が可能となる。
[制御部17の構成例]
制御部17は、マイクロコンピュータを備えて構成されている。すなわち、図7に示すように、制御部17は、システムバス200を介して、CPU(Central Processing Unit)201に対して、プログラムROM(Read Only Memory)202およびワークエリア用RAM(Random Access Memory)203が接続されている。
そして、この実施形態では、システムバス200に対しては、I/Oポート204〜207、リモコン送信部208、表示コントローラ209、画像メモリ210、表示画像情報生成部211が接続されている。また、システムバス200には、空間位置検出部212、レイヤ情報記憶部213、空間操作入力判定部214およびリモコン信号生成部215が接続されている。
表示画像生成部211、空間位置検出部212、空間操作入力判定部214は、CPU201が、ROM202に記憶されるプログラムに従ったソフトウエア処理としても実現することができる機能部である。
I/Oポート204,205,206,207のそれぞれは、表面センサ部11、側面センサ部12、側面センサ部13、裏面センサ部14に接続され、それぞれのセンサ部からのセンサ出力信号を受ける。
リモコン信号送信部208は、リモコン信号生成部215で生成されたリモコン信号を、例えば赤外線を用いて、被制御装置、この例では、テレビ受信装置2に送信する。
表示コントローラ209は、表示パネル4に接続され、制御部17からの表示情報が表示パネル4に供給される。
画像メモリ210には、この例では、リモートコマンダ画像6の表示画像情報が記憶されている。この例では、簡単のため、リモートコマンダ画像6を通じたリモコン機能としては、テレビ受信装置2の音量制御およびチャンネル逐次変更制御とされている。リモートコマンダ画像6としては、図8に示すように、音量制御表示画像61と、チャンネル逐次変更表示画像62とが、画像メモリ210には用意されている。
表示画像生成部211は、CPU201の制御の下に、画像メモリ210に記憶されているリモートコマンダ画像6の表示画像情報を読み出して、当該リモートコマンダ画像6を、制御部17の指示に応じた表示パネル4上の位置に表示する表示画像信号を生成する。
この実施形態では、表示画像生成部211は、図8に示すように、表示パネル4上において、音量制御表示画像61と、チャンネル逐次変更表示画像62とは、それぞれ隣接する別領域に表示するようにする。
この実施形態では、音量制御表示画像61またはチャンネル逐次変更表示画像62の上方空間において、ユーザが音量制御やチャンネル制御のための空間操作としての所定の振る舞いをしたとき、その振る舞いを制御部17が判定してリモコン信号を生成する。
この場合に、ユーザの空間における振る舞いの手助けとなるように、音量制御表示画像61およびチャンネル逐次変更表示画像62は、その画像内容を変更されるように構成されている。
画像メモリ210には、当該音量制御表示画像61およびチャンネル逐次変更表示画像62についての変更画像の表示画像も記憶されている。表示画像生成部211は、CPU201の制御に従い、音量制御表示画像61またはチャンネル逐次変更表示画像62の表示画像を変更するように表示画像情報を生成する。
例えば、音量制御表示画像61の画像内容は、ユーザが着席したときの初期画面としては、図9(A)に示すように、音量制御が可能であることを示す画像とされる。そして、ユーザが当該音量制御表示画像61の上方空間に手を位置させると、音量制御表示画像61は、図9(B)に示すように、音量の大小に応じて、横バーが伸び縮みすると共に、その時点における音量値数字を表示する画像に変更される。
また、チャンネル逐次変更表示画像62は、ユーザが着席したときの初期画面としては、図10(A)に示すように、チャンネル逐次変更が可能であることを示す画像とされる。そして、ユーザが当該チャンネル逐次変更表示画像62の上方空間に手を位置させて、後述するように、チャンネルのアップの空間操作をすると、チャンネル逐次変更表示画像62は、図10(B)に、当該チャンネルアップを示す画像に変更される。また、同様に、チャンネルのダウンの空間操作をすると、チャンネル逐次変更表示画像62は、図10(C)に、当該チャンネルダウンを示す画像に変更される。
空間位置検出部212は、センサ部11〜14のそれぞれからのセンサ出力を受けて、それぞれのセンサ部11〜14のセンサパネル上の空間における検出対象物の3次元座標情報を検出して一時保持する。そして、空間位置検出部212は、センサ11〜14のセンサ出力から、前述したように、ユーザの着席位置を検出し、その検出位置結果を、表示画像生成部211に渡す。
また、空間位置検出部212は、表面センサ部11からのセンサ出力から、着席ユーザの表面センサ部11の情報空間における手の3次元位置を検出し、その検出結果の3次元位置情報を、空間操作入力判定部214に渡す。
表示画像生成部211は、このユーザの着席位置検出結果から、リモートコマンダ画像6を表示する表示パネル4の領域を決定し、その決定した領域にリモートコマンダ画像6を表示するようにする。また、表示画像生成部211は、リモートコマンダ画像6の表示領域の情報を空間操作入力判定部214に転送するようにする。
レイヤ情報記憶部213は、この実施形態においては、特に表面センサ部11が検知するテーブル3の表面上空間において、表面センサ部11のセンサパネル面からの距離に応じて設定されるレイヤに関する情報が記憶されている。この例では、上述した音量制御およびチャンネル逐次変更のリモコン信号を生成するための情報がレイヤ情報として記憶されている。このレイヤ情報記憶部213に記憶されるレイヤ情報については、後で詳述する。
空間操作入力判定部214は、表示画像生成部211からのリモートコマンダ画像6の表示領域の情報と、空間位置検出部212からの着席ユーザの表面センサ部11の情報空間における手の3次元位置とから、ユーザのリモコン空間操作入力を判定する。
すなわち、空間操作入力判定部214は、ユーザの手の3次元位置の情報を受けて、ユーザの手が、予め、設定されている複数のレイヤのうちの、いずれのレイヤに位置しているかや、手の振る舞いなどを判定する。
そして、空間操作入力判定部214は、レイヤ情報記憶部213の記憶内容を参照して、判定したユーザの手の振る舞いに割り付けられてリモコン制御を判別し、その判別結果を、リモコン信号生成部215に転送する。
リモコン信号生成部215は、この空間操作入力判定部214からのリモコン制御の判別結果に対応したリモコン信号を生成して、リモコン信号送信部208に渡す。リモコン信号送信部208は、リモコン信号を受け取ると、赤外線によるリモコン信号の送信を実行する。
[リモートコマンダ画像の表示領域と、その情報空間における複数レイヤ]
図11は、表示画像生成部211で決定されたリモートコマンダ画像6の表示領域と、その上方空間における複数のレイヤと、その機能の割り付けの例を示す図である。
表示画像生成部211は、表示パネル4において、図11(A)に示すように、リモートコマンダ画像6の表示矩形領域を、空間位置検出部212からのユーザの着席位置の情報から設定する。
図11(A)に示すように、リモートコマンダ画像6の表示矩形領域は、その左下隅のx,y座標(x1、y1)と、その右上隅のx,y座標(x3、y2)として設定される。このリモートコマンダ画像6の領域の例えば左側の矩形領域は音量制御表示画像61の領域とされ、右側の矩形領域はチャンネル逐次変更表示画像62の領域と設定される。
すなわち、音量制御表示画像61の領域は、その左下隅のx,y座標(x1、y1)と、その右上隅のx,y座標(x2、y2)として設定される。また、チャンネル逐次変更表示画像62の領域は、その左下隅のx,y座標(x2、y1)と、その右上隅のx,y座標(x3、y2)として設定される。
表示画像生成部211は、空間位置検出部212からのユーザの着席位置の情報から、x1、x2、x3およびy1、y2の値を算出して、それぞれの画像の表示領域を決定する。
表示画像生成部211は、この決定したリモートコマンダ画像6についての設定情報を記憶すると共に、前述したように、空間操作入力判定部214に供給する。
なお、リモートコマンダ画像6の表示領域は矩形領域としたため、各領域の情報は、左下隅のx,y座標と、右上隅のx,y座標とを、設定情報とするようにしたが、これは、一例であり、領域を特定するための情報は、これに限らないことは勿論である。
レイヤ情報記憶部213には、図11におけるx1、x2、x3およびy1、y2で表わされる矩形領域の上方空間におけるレイヤ情報が記憶される。図11(B)に、このレイヤ情報の例を示す。
ここで、この実施形態においては、制御部17では、テーブル3の上方空間ではなく、テーブル3の表面に接触して置かれるユーザの手を、リモコン操作としないようにするため、テーブル3の表面から所定の距離範囲は、空間入力無効領域としている。
すなわち、この実施形態では、制御部17では、表面センサ部11からのセンサ出力から検出される表面センサ部11のセンサパネル面からの空間離間距離が、予め定めた距離Th以上であるか否か判別する。そして、制御部17は、表面センサ部11のセンサ出力が、予め定めた距離Th以上であるときにのみ、当該センサ出力について、空間操作入力情報として取り込むようにする。
図11(B)は、リモートコマンダ画像6の上方空間に設定されたレイヤおよびそれぞれのレイヤに割り付けられたリモコン制御機能の例を示すものである。
この実施形態では、表面センサ部11のセンサパネル11P上の空間においては、センサパネル11P面から前記距離Thまでは、前述したように、制御部17で、表面センサ部11からのセンサ出力を、空間操作入力としては無効として無視する無効領域とする。
そして、距離Thよりもさらに表面センサ部11のセンサパネル11Pの面から離れた空間において、音量制御表示画面61およびチャンネル逐次変更表示画面62において、センサパネル11P面からの距離の違いにより、複数個のレイヤが設定される。
すなわち、音量制御表示画面61の領域の上方空間においては、3個のレイヤA1,A2,A3が設定される。
この場合、図11(B)に示すように、センサパネル11Pの表面位置をz軸の原点位置0としたとき、3個のレイヤA1、A2、A3の境界となるz方向の距離を、LA1、LA2、LA3に設定する。したがって、Th<レイヤA1≦LA1、LA1<レイヤA2≦LA2、LA2<レイヤA3≦LA3として、各レイヤA1,A2,A3の距離範囲が設定される。
そして、この実施形態では、レイヤA1には、音量ダウンの制御機能が、レイヤA2には、音量アップの制御機能が、レイヤA3には、消音(ミューティング)の制御機能が割り当てられている。この音量制御表示画面61の上方空間におけるレイヤ情報は、レイヤ情報記憶部213において、前記領域設定情報(x1、y1)、(x2、y2)に対応して記憶されている。
ただし、レイヤ情報記憶部213における領域設定情報(x1、y1)、(x2、y2)は、確定した領域を示すものではなく、(x1、y1)、(x2、y2)の2点により示される矩形領域を意味している。そして、x1、y1、x2、y2の値は、前述したように表示画像生成部211で決定される。空間操作入力判定部214は、レイヤ情報記憶部213に記憶されている音量制御表示画像61の領域を、決定されたx1、y1、x2、y2の値により判別するようにする。
また、チャンネル逐次変更画像領域62の上方空間においては、センサパネル11P面からの距離の違いにより、2個のレイヤB1,B2が設定される。この場合、図11(B)に示すように、2個のレイヤB1、B2の境界となるz方向の距離を、LB1,LB2に設定する。すなわち、Th<レイヤB1≦LB1、LB1<レイヤB2≦LB2、として、各レイヤB1、B2の距離範囲が設定される。
そして、この実施形態では、レイヤB1には、チャンネルダウンの制御機能が、レイヤB2には、チャンネルアップの制御機能が割り当てられている。このチャンネル逐次変更表示画面62の上方空間におけるレイヤ情報は、レイヤ情報記憶部213において、前記領域設定情報(x2、y1)、(x3、y2)に対応して記憶されている。
このチャンネル逐次変更表示画面62の上方空間におけるレイヤ情報についての領域設定情報(x2、y1)、(x3、y2)も、音量制御表示画像の領域の場合と同様に、確定した領域を示すものではない。そして、x2、y1、x3、y2の値は、前述したように表示画像生成部211で決定される。空間操作入力判定部214は、レイヤ情報記憶部213に記憶されているチャンネル変更表示画像62の領域を、決定されたx2、y1、x3、y2の値により判別するようにする。
なお、複数のユーザがテーブル3に対して着席すると、表示パネル4の、当該複数のユーザのそれぞれの近傍において、リモートコマンダ画像6が表示される。そして、そのそれぞれのリモートコマンダ画像6についての領域設定情報が表示画像生成部211から空間操作入力判定部214に送られる。
空間操作入力判定部214では、当該複数のユーザに対して表示された複数のリモートコマンダ画像6の上方空間におけるユーザの空間入力操作(手の振る舞い)の全てを受け付けることができる。すなわち、テーブル3に着席した複数のユーザのいずれも、その近傍に表示されているリモートコマンダ画像6上で空間入力操作をすることにより、音量およびチャンネル変更のリモコン制御ができる。
[制御部17における処理制御動作]
図12、図13および図14は、この実施形態の情報処理装置1における制御部17での処理動作例のフローチャートである。
図12は、ユーザのテーブル3への着席/離席に応じてリモートコマンダ画像の表示/消去を行う処理動作のフローチャートである。この図12のフローチャートの各ステップの処理は、CPU201が、ROM202に記憶されるプログラムにしたがって、RAM203をワークエリアとして用いて実行するものである。すなわち、この図12のフローチャートは、表示画像生成部211、空間位置検出部212、空間操作入力判定部214、およびリモコン信号生成部215の機能をソフトウエア処理により実行する場合に相当する。
先ず、制御部17のCPU201は、主として、側面センサ部12,13および裏面センサ部14のセンサ出力を監視して(ステップS101)、人(ユーザ)の着席を検出したか否か判別する(ステップS102)。ここでは、表面センサ部11のセンサ出力は、着席には使用しなかったが、これも使用して着席を検出するようにしても勿論良い。
ステップS102で、人の着席を検出したときには、CPU201は、空間位置検出部212においてテーブル3における着席位置を検出し、検出した着席位置の位置情報をバッファに記憶すると共に、表示画像生成部211に転送する(ステップS103)。
CPU201の制御に従い、表示画像生成部211は、着席したユーザの近傍位置において、表示パネル4に、リモートコマンダ画像6を表示する(ステップS104)。このとき、表示画像生成部211は、リモートコマンダ画像6の表示領域の情報を、空間操作入力判定部214に供給するようにする。
CPU201は、このステップS104の次には、ステップS101に戻り、このステップS101以降の処理を繰り返す。
ステップS102で、人の着席を検出しないと判別したときには、CPU201は、着席していた人の離席を検出したか否か判別する(ステップS105)。人の離席は、側面センサ部12,13および裏面センサ部14のセンサ出力が、検出していた検出対象物についての消滅を示す状態になったことにより検出される。
ステップS105で、人の離席が検出されなかったと判別したときには、CPU201は、ステップS101に戻り、ステップS101以降の処理を繰り返す。
また、ステップS105で、人の離席を検出したと判別したときには、CPU201は、離席位置を検出して、検出した離席位置に対応する着席位置の情報をバッファメモリから消去すると共に、表示画像生成部211に離席位置の情報を伝える(ステップS106)。
CPU201の制御に従い、表示画像生成部211は、離席したユーザの近傍に表示していたリモートコマンダ画像6を、表示パネル4から消去し、その旨を空間操作入力判定部214に通知するようにする(ステップS107)。
そして、CPU201は、ステップS101に戻り、ステップS101以降の処理を繰り返す。
図13およびその続きである図14は、リモートコマンダ画像6上の空間におけるユーザの手の振る舞いに応じた空間操作入力に対する制御部17の処理動作例である。この図13および図14のフローチャートの各ステップの処理は、CPU201が、ROM202に記憶されるプログラムにしたがって、RAM203をワークエリアとして用いて実行するものである。
先ず、CPU201は、表面センサ部11のセンサパネルの上方の検出対象物としての手の検知空間における手の存在を検知したか否かを判別する(ステップS111)。このステップS111で、検知空間における手の存在を検知しないときには、CPU201は、このステップS111を繰り返す。
このステップS111で、検知空間における手の存在を検知したと判別したときには、CPU201は、空間位置検出部212で、検知空間における手の高さ位置(表面センサ部11のセンサパネル11P面からの距離)を検出する(ステップS112)。
そして、検出した手の高さ位置、つまりセンサパネル11P面からの距離は、距離Thよりも大きいか否かにより、手の高さ位置が空間操作入力無効領域にあるか否かを判別する(ステップS113)。
手が空間操作入力無効領域にあると判別したときには、CPU201は、センサ部11からのセンサ出力を無視して(ステップS114)、ステップS111に戻る。
ステップS113で、手が空間操作入力無効領域にはなく、その上空であると判別したときには、CPU201は、手が、リモートコマンダ画像6の音量制御表示画像61の領域の上空にあるか否か判別する(ステップS115)。
ステップS115で、手が、音量制御表示画像61の領域の上空にあると判別したときには、CPU201は、手が位置するレイヤを判定し、音量制御表示画像61を、判定したレイヤに応じた画像に変更するように制御する(ステップS116)。
次に、CPU201は、手が位置しているレイヤに応じた音量制御のリモコン信号を生成して、リモコン送信部208を通じて送出する(ステップS117)。
次に、CPU201は、表面センサ部11のセンサ出力から手が位置するレイヤが変化したか否か判別する(ステップS118)。ステップS118で、手が位置するレイヤが変化したと判別したときには、CPU201は、ステップS116に戻り、このステップS116以降の処理を繰り返す。
また、ステップS118で、手が位置するレイヤが変化していないと判別したときには、CPU201は、決定操作がなされたか否か判別する(ステップS119)。ここで、決定操作は、この例では、レイヤ内での手の振る舞いとして、予め設定されている。この決定操作の例を、図15に示す。
図15(A)の例は、レイヤ内に在る手を、水平方向に移動させて、他のレイヤに移動することなく、センサパネル11Pのリモートコマンダ画像6の音量制御表示画像61上またはチャンネル逐次変更表示画像62上から外に出す操作を決定操作とするものである。これは、表面センサ部11からのセンサ出力信号を監視する制御部17のCPU201では、音量制御表示画像61上またはチャンネル逐次変更表示画像62上の、あるレイヤに存在していた手が、他のレイヤに移動することなく消えたこととして検出される。
図15(B)の例は、他のレイヤに移動することなく、当該レイヤ内における手の所定の振る舞い操作、つまり、手による所定のジェスチャーを決定操作とするものである。図15(B)の例では、手で丸を描くジェスチャーを決定操作としている。
前述したように、この例では、制御部17のCPU201は、表面センサ部11からのセンサ出力信号から、表面センサ部11のセンサパネル11Pのx,y軸方向の検出対象物の移動も検出可能である。したがって、制御部17のCPU201は、レイヤ内における水平方向の手の所定の振る舞いを検出して、その振る舞いが決定操作であるかどうかを判別することが可能である。
ステップS119で、決定操作がなかったと判別したときには、CPU201は、ステップS118に戻る。また、ステップS119で、決定操作がなされたと判別したときには、CPU201は、リモコン信号の送出を停止し(ステップS120)、その後、ステップS111に戻り、このステップS111からの処理を繰り返す。
ステップS115で、手が、音量制御表示画像61の領域の上空にはないと判別したときには、CPU201は、手はチャンネル逐次変更表示画像62の領域の上空にあるか否か判別する(図14のステップS121)。
ステップS115で、手はチャンネル逐次変更表示画像62の領域の上空にないと判別したときには、CPU201は、ステップS111に戻り、このステップS111以降の処理を繰り返す。
また、ステップS115で、手はチャンネル逐次変更表示画像62の領域の上空にあると判別したときには、CPU201は、手が位置するレイヤを判定し、チャンネル逐次変更表示画像62を、判定したレイヤに応じた画像に変更するように制御する(ステップS122)。
次に、CPU201は、手が位置しているレイヤに応じたチャンネル逐次変更のリモコン信号を生成して、リモコン送信部208を通じて送出する(ステップS123)。
次に、CPU201は、表面センサ部11のセンサ出力から手が位置するレイヤが変化したか否か判別する(ステップS124)。ステップS124で、手が位置するレイヤが変化したと判別したときには、CPU201は、ステップS122に戻り、このステップS122以降の処理を繰り返す。
また、ステップS124で、手が位置するレイヤが変化していないと判別したときには、CPU201は、決定操作がなされたか否か判別する(ステップS125)。
ステップS125で、決定操作がなかったと判別したときには、CPU201は、ステップS124に戻る。また、ステップS125で、決定操作がなされたと判別したときには、CPU201は、リモコン信号の送出を停止し(ステップS126)、その後、ステップS111に戻り、このステップS111からの処理を繰り返す。
以上説明したように、第1の実施形態の情報処理装置においては、テーブル3に着席したユーザの着席位置の近傍にリモートコマンダ画像が表示される。そして、そのリモートコマンダ画像の上方空間におけるユーザの空間操作入力により、所定のリモコン制御が可能となり、非常に便利である。
なお、上述の第1の実施形態の説明においては、表面センサ部11のみでなく、側面センサ部12,13および裏面センサ14も、X−Zセンサパネルと、Y−Zセンサパネルの2枚を積層した構成とした。しかし、側面センサ部12,13は、テーブル3の側面の水平方向(x軸方向)の人の位置を検出することができればよいので、X−Zセンサパネルのみを用いるようにしても良い。
同様に、裏面センサ部14は、側面センサ部12,13との組み合わせで、人の着席を検出する場合には、X−Zセンサパネルのみを用いるようにしても良い。
また、上述の実施形態の説明では、表示パネル4は、テーブル3の表面の前面に対して設けるようにしたが、リモートコマンダ画像を表示するだけでよいので、テーブル3の中央部には、表示パネルを設けなくても良い。
[第2の実施形態]
この第2の実施形態の情報処理装置においても、第1の実施形態のテーブル3とほぼ同一の構成のテーブルを使用する。したがって、この第2の実施形態の情報処理装置においても、テーブル3に着席する人の位置を、センサ部11〜14を用いて、的確に判定することができるのは、第1の実施形態と同様である。
しかし、この第2の実施形態の情報処理装置は、第1の情報処理装置1とは用途が異なり、リモコン信号の発生装置ではない。
この第2の実施形態の情報処理装置においては、図16に示すように、テーブル3の表示パネル4に、会議用書類のドキュメント画像7A,7Bを、着席した会議出席者5A,5Bの目前に表示するようにする。なお、会議出席者毎のドキュメント画像を区別する必要がないときには、A,Bなどのサフィックスを削除してドキュメント画像7と記載する。
そして、この第2の実施形態の情報処理装置においては、会議出席者は、表示パネル4に表示された会議用書類のドキュメント画像7を、討論相手に説明するために討論相手の方に移動させたり、回転させたりすることができるようにしている。
この第2の実施形態の情報処理装置においては、このドキュメント画像7の移動や回転のためのユーザ操作は、表面センサ部11の上空空間におけるユーザの振る舞いによりなされるように構成されている。
このため、第2の実施形態の情報処理装置における制御部17は、第1の実施形態と同様に、センサ部11〜14からのセンサ出力を受けると共に、表示パネル4に所定の表示画像を表示するようにするが、次の点が異なる。
すなわち、第2の実施形態の情報処理装置の制御部17は、図7に示したブロック図において、リモコン信号送信部208およびリモコン信号生成部215は有しない。そして、画像メモリ210には、表示パネル4に表示する会議用書類のドキュメント画像7の情報を格納する。
そして、表示画像生成部211は、空間位置検出部212からの会議出席者の着席位置の情報を受けて、表示パネル4の、当該会議出席者の着席位置の前方の位置に、会議用書類のドキュメント画像7の表示領域を決定する。そして、表示画像生成部211は、決定した表示領域に、画像メモリ210から読み出した会議用書類のドキュメント画像7を表示するようにする。
また、レイヤ情報記憶部213には、この第2の実施形態においては、会議用書類のドキュメント画像7の上方空間におけるレイヤ情報が記憶されている。この第2の実施形態では、レイヤ情報は、図17に示すようなものとされる。
図17は、会議用ドキュメント画像7の表示領域の上方空間における複数のレイヤと、その機能の割り付けの例を示す図である。
この第2の実施形態においても、表面センサ部11のセンサパネル11P上の空間においては、センサパネル11P面から距離Thまでは、制御部17で、表面センサ部11からのセンサ出力を、空間操作入力としては無効として無視する無効領域とする。
そして、距離Thよりもさらに表面センサ部11のセンサパネル11Pの面から離れた空間において、ドキュメント画像7の表示領域の上方空間において、センサパネル11P面からの距離の違いにより、複数個のレイヤが設定される。
図17に示すように、この例においては、ドキュメント画像7の表示領域の上方空間においては、2個のレイヤC1,C2が設定される。
この場合、図17に示すように、表面センサ部11のセンサパネル11Pの表面位置をz軸の原点位置0としたとき、2個のレイヤC1、C2の境界となるz方向の距離を、LC1、LC2に設定する。したがって、Th<レイヤC1≦LC1、LC1<レイヤC2≦LC2として、各レイヤC1,C2の距離範囲が設定される。
そして、この実施形態では、レイヤC1には、ドキュメント画像7の移動(ドラッグ移動)の制御機能が、レイヤC2には、ドキュメント画像7の回転の制御機能が、それぞれ割り当てられている。このドキュメント画像7の上方空間におけるレイヤ情報は、レイヤ情報記憶部213に記憶されている。
空間操作入力判定部214は、空間位置検出部212からの表面センサ部11のセンサ出力についての検出対象物としてのユーザの手の3次元座標位置を受け取り、それが表示パネル4に表示中の会議用書類のドキュメント画像7の上空領域内であるかどうか判別する。そして、ユーザの手が会議用書類のドキュメント画像7の上空領域内であると判別すると、当該手の振る舞いを空間操作入力として、レイヤ情報記憶部213のレイヤ情報を参照して、割り付けられた制御機能を判定するようにする。そして、制御部17は、判定した手の振る舞いに応じたドラッグ移動、回転を、表示中のドキュメント画像7について行う。
この場合に、複数のユーザがテーブル3に対して着席すると、表示パネル4の、当該複数のユーザのそれぞれの近傍において、ドキュメント画像7が表示される。そして、そのそれぞれのドキュメント画像7についての領域設定情報が表示画像生成部211から空間操作入力判定部214に送られる。
したがって、空間操作入力判定部214では、当該複数のユーザに対して表示された複数のドキュメント画像7の上方空間におけるユーザの空間入力操作(手の振る舞い)の全てを受け付けることができる。
ドキュメント画像7の移動および回転を行う際のユーザの手の振る舞いの例を次に説明する。
先ず、この実施形態では、表示パネル4に表示されているドキュメント画像7のうち、移動または回転するドキュメント画像7を指定(決定)する振る舞いは、図18(A)に示すように広げていた手を、図18(B)に示すように握るジェスチャーとする。これを、この明細書では、グリップジェスチャーということにする。
空間操作入力判定部214は、このグリップジェスチャーを、表面センサ部11からのセンサ出力に基づき、検出対象物としての手の3次元座標位置の分布状態の変化から判定する。そして、空間操作入力判定部214は、このグリップジェスチャーを、表示パネル4に表示されているいずれかのドキュメント画像7の上方空間において検出すると、当該ドキュメント画像7をドラッグ移動または回動の対象として決定されたと判断する。
そして、当該グリップジェスチャーを検出したレイヤがレイヤC1であるときには、空間操作入力判定部214は、レイヤ情報記憶部213を参照することにより、ドラッグ移動の制御機能が選択されたと判定する。
そして、ユーザが、例えば図19に示すように、グリップした手を水平方向に移動したときには、空間操作入力判定部214は、その移動操作についての座標情報を表示画像生成部211に送る。これを受けた表示画像生成部211は、ユーザの手の移動操作に応じて、グリップされたドキュメント画像7をドラッグ移動するようにする表示画像を生成し、表示コントローラ209を介して表示パネル4に表示するようにする。
また、グリップジェスチャーを検出したレイヤがレイヤC2であるときには、空間操作入力判定部214は、レイヤ情報記憶部213を参照することにより、ドキュメント画像7の回転の制御機能が選択されたと判定する。
そして、ユーザが、例えば図20に示すように、グリップした手を回動させる操作をしたときには、空間操作入力判定部214は、その回動操作についての座標情報を表示画像生成部211に送る。これを受けた表示画像生成部211は、ユーザの手の回動操作に応じて、グリップされたドキュメント画像7を回転するようにする表示画像を生成し、表示コントローラ209を介して表示パネル4に表示するようにする。
[第2の実施形態における制御部17における処理制御動作]
図21、図22は、この第2の実施形態の情報処理装置における制御部17での処理動作例のフローチャートである。
図21は、ユーザのテーブル3への着席/離席に応じて会議用書類のドキュメント画像7の表示/消去を行う処理動作のフローチャートである。この図21のフローチャートの各ステップの処理は、CPU201が、ROM202に記憶されるプログラムにしたがって、RAM203をワークエリアとして用いて実行するものである。すなわち、この図21のフローチャートは、表示画像生成部211、空間位置検出部212、および空間操作入力判定部214の機能をソフトウエア処理により実行する場合に相当する。
先ず、制御部17のCPU201は、主として、側面センサ部12,13および裏面センサ部14のセンサ出力を監視して(ステップS201)、人(ユーザ)の着席を検出したか否か判別する(ステップS202)。ここでは、表面センサ部11のセンサ出力は、着席には使用しなかったが、これも使用して着席を検出するようにしても勿論良い。
ステップS202で、人の着席を検出したときには、CPU201は、空間位置検出部212においてテーブル3における着席位置を検出し、検出した着席位置の位置情報をバッファに記憶すると共に、表示画像生成部211に転送する(ステップS203)。
CPU201の制御に従い、表示画像生成部211は、着席したユーザの目前位置において、表示パネル4に、会議用書類のドキュメント画像7を表示する(ステップS204)。このとき、表示画像生成部211は、ドキュメント画像7の表示領域の情報を、空間操作入力判定部214に供給するようにする。
CPU201は、このステップS204の次には、ステップS201に戻り、このステップS201以降の処理を繰り返す。
ステップS202で、人の着席を検出しないと判別したときには、CPU201は、着席していた人の離席を検出したか否か判別する(ステップS205)。人の離席は、側面センサ部12,13および裏面センサ部14のセンサ出力が、検出していた検出対象物についての消滅を示す状態になったことにより検出される。
ステップS205で、人の離席が検出されなかったと判別したときには、CPU201は、ステップS201に戻り、ステップS201以降の処理を繰り返す。
また、ステップS205で、人の離席を検出したと判別したときには、CPU201は、離席位置を検出して、検出した離席位置に対応する着席位置の情報をバッファメモリから消去すると共に、表示画像生成部211に離席位置の情報を伝える(ステップS206)。
CPU201の制御に従い、表示画像生成部211は、離席したユーザの近傍に表示していたドキュメント画像7を、表示パネル4から消去し、その旨を空間操作入力判定部214に通知するようにする(ステップS207)。
そして、CPU201は、ステップS201に戻り、ステップS201以降の処理を繰り返す。
図22は、ドキュメント画像7上の空間におけるユーザの手の振る舞いに応じた空間操作入力に対する制御部17の処理動作例である。この図22のフローチャートの各ステップの処理は、CPU201が、ROM202に記憶されるプログラムにしたがって、RAM203をワークエリアとして用いて実行するものである。
先ず、CPU201は、表面センサ部11のセンサパネルの上方の検出対象物としての手の検知空間における手の存在を検知したか否かを判別する(ステップS211)。このステップS211で、検知空間における手の存在を検知しないときには、CPU201は、このステップS211を繰り返す。
このステップS211で、検知空間における手の存在を検知したと判別したときには、CPU201は、空間位置検出部212で、検知空間における手の高さ位置(表面センサ部11のセンサパネル11P面からの距離)を検出する(ステップS212)。
そして、検出した手の高さ位置、つまりセンサパネル11P面からの距離(z座標)は、距離Thよりも大きいか否かにより、手の高さ位置が空間操作入力無効領域にあるか否かを判別する(ステップS213)。
手が空間操作入力無効領域にあると判別したときには、CPU201は、センサ部11からのセンサ出力を無視して(ステップS214)、ステップS211に戻る。
ステップS213で、手が空間操作入力無効領域にはなく、その上空であると判別したときには、CPU201は、手が、ドキュメント画像7の領域の上空にあるか否か判別する(ステップS215)。
ステップS115で、手が、音量制御表示画像61の領域の上空にないと判別したときには、CPU201は、ステップS211に戻る。
ステップS115で、手が、音量制御表示画像61の領域の上空にあると判別したときには、CPU201は、表面センサ部11からのセンサ出力のうちのz座標情報から、手が位置するレイヤを判定する。そして、判定したレイヤに割り付けられている制御機能を認識する(ステップS216)。
次に、CPU201は、空間操作入力判定部214として、表面センサ部11からのセンサ出力のうちの、x,y座標情報から、ユーザの手がグリップジェスチャーを行ったか否か判別する(ステップS217)。ステップS217で、ユーザの手がグリップジェスチャーを行っていないと判別したときには、ステップS211に戻り、このステップS211以降の処理を繰り返す。
ステップS217で、ユーザの手がグリップジェスチャーを行ったと判別したときには、CPU201は、表面センサ部11からのセンサ出力のうちの、x,y座標情報から、グリップ操作されたドキュメント画像を検出する(ステップS218)。
次に、CPU201は、空間操作入力判定部214として、手の位置するレイヤに応じた振る舞い、つまりレイヤC1では水平移動(ドラッグ移動)、レイヤC2では回動操作があったか否か判別する(ステップS219)。
ステップS219で、手の位置するレイヤに応じた振る舞いがないと判別したときには、CPU201は、ステップS217に戻り、このステップS217以降の処理を繰り返す。
また、ステップS219で、手の位置するレイヤに応じた振る舞いがあったと判別したときには、CPU201は、グリップされたドキュメント画像7を、ユーザの手の振る舞いに応じて、ドラッグ移動または回転させるように表示制御する(ステップS220)。そして、CPU201は、ステップS220の後には、ステップS216に戻り、このステップS216以降の処理を繰り返す。
以上説明したように、第2の実施形態の情報処理装置においては、テーブル3に着席したユーザ(会議出席者)の着席位置の近傍の表示パネルにドキュメント画像が表示される。そして、そのドキュメント画像の上方空間におけるユーザの空間操作入力により、当該ドキュメント画像のドラッグ移動や回転制御が可能となり、非常に便利である。
また、特許文献1においては、表示されているドキュメントの移動や回転の表示制御は、3次元位置センサが取り付けられたPDAを用いたユーザの仕草により行っている。このため、ユーザは、3次元センサを取り付けたPDAを所持して、所定の仕草をする必要がある。これに対して、この第2の実施形態では、PDAなどをユーザは、所持する必要はなく、表示画像の情報空間におけるユーザによる手の振る舞いによる空間操作入力により、表示画像についての制御を行えるという効果がある。
[第3の実施形態]
第3の実施形態は、第2の実施形態の変形例である。第2の実施形態では、第1の実施形態と同様のテーブル3を用い、表示手段は、テーブル3の天板の部分に設けたフラットディスプレイパネルを用いた。
これに対して、この第3の実施形態においては、テーブル3の天板には、フラットディスプレイパネルは設けず、テーブル3の天板の表面に、画像投影装置(プロジェクタ)から表示画像を投影表示するようにする。
図23は、この第3の実施形態の構成例を示す図である。すなわち、この第3の実施形態は、表示手段は、情報処理装置とは別体のプロジェクタ40からなるものである。したがって、第3の実施形態は、センサ部と制御部とからなる情報処理装置8と、プロジェクタ40とからなる情報処理システムの構成となる。
この実施形態に用いる静電容量を用いて検出対象物の3次元座標位置を検出するためのセンサパネルは、その上側のみではなく、下側の空間も、検出対象物の検出領域となる。しかし、第1および第2の実施形態では、テーブル3の天板上に表示パネル4が設けられていたため、表面センサ部11は、その下側の空間は、検出対象物とすることはできず、また、裏面センサ部14は、その上側の空間は、検出対象物とすることはできない。
これに対して、この第3の実施形態では、テーブル3の天板上には表示パネル4が存在しないので、テーブルの天板の上側空間および下側空間に対するセンサパネルとしては、表面センサ部と、裏面センサ部とのいずれか一方でよくなる。
図23の例においては、裏面センサ部14のみをテーブル3には取り付け、表面センサ部11を除去した。この第3の実施形態では、裏面センサ部14が、テーブル3の天板の表面に投影表示されたリモートコマンダ画像6やドキュメント画像7の上方空間における手の振る舞いに応じたセンサ出力を出力するようにする。
したがって、レイヤの閾値距離位置の割り付けについては、この例では、テーブル3の天板の厚さ部分を考慮するようにされる。
この第3の実施形態では、情報処理装置8とプロジェクタ40とは、接続ケーブルの引き回しの煩雑さを考慮して、無線通信することにより接続される。
上述した第2の実施形態の場合に適用した、この第3の実施形態における構成例をブロック図を図24に示す。
すなわち、この第3の実施形態においては、プロジェクタ40は、無線受信部41と、無線受信部41を通じて取得した表示画像の情報を用いて画像投影を行うプロジェクタ本体42とからなる。
情報処理装置8の制御部17は、この実施形態では、図24のようなブロック構成とされる。すなわち、図7に示した制御部17のブロック図において、I/Oポート204、リモコン信号送信部208、リモコン信号生成部215および表示コントローラ209は有しない。その代わりに、この第3の実施形態の制御部17においては、表示画像生成部217で生成した表示画像の情報を、プロジェクタ40に送信するための表示画像送信部215が設けられる。
表示画像生成部211は、表示パネル4に表示する画像情報に代えて、プロジェクタ40によりテーブル3の表面に投影表示する画像情報を生成する。生成する画像情報の表示画像内容は、第2の実施形態と同様となる。
そして、空間位置検出部212は、この第3の実施形態では、テーブル3の表面上の空間における検出対象物としてのユーザの手の3次元座標位置を、裏面センサ部14からのセンサ出力から検出するようにする。したがって、空間操作入力判定部214は、当該君間位置検出部212からの裏面センサ部14のセンサ出力から検出されたユーザの手の3次元座標位置から、ユーザの手の振る舞いを判定するものである。
その他は、第2の実施形態と同様の構成となる。
なお、この第3の実施形態においても、ユーザの手の振る舞いを、より精細に検出する目的で、表面センサ部11をさらに設けても良いことは言うまでもない。
[他の実施形態および変形例]
なお、上述した第1および第2の実施形態では、テーブルの表面全体にフラットディスプレイパネルからなる表示パネルを設けるようにしたが、人が着席するであろうテーブル位置のそれぞれに対応する領域に、独立に小型の表示パネルを設けるようにしても良い。
その場合には、人が着席したときに、当該着席位置に対応する小型の表示パネルにのみ電源を投入して、上述と同様の処理動作を行うようにすることができる。したがって、着席人数が少ないときには、テーブルの天板の前面に渡って表示パネルを設ける場合に比べて、消費電力を削減できるというメリットがある。
上述の実施形態は、テーブルの表面を画像の表示領域とするようにしたが、これに限られるものではない。
例えば、玄関ドアに表示パネルを設けると共に上述のセンサ部を設けておき、人の接近を検出したときに、表示パネルに所定の表示をし、その表示画像の上方空間における人の手の振る舞いに応じて、表示パネルに表示する画像を変更制御するようにしてもよい。
この発明による情報処理装置の第1の実施形態に用いるテーブルの構成例を示す分解斜視図である。 この発明による情報処理装置の第1の実施形態の制御機能を説明するための図である。 この発明による情報処理装置の第1の実施形態に用いるテーブルの構成例を説明するための図である。 この発明による情報処理装置の第1の実施形態に用いるセンサ部の構成例を説明するための図である。 この発明による情報処理装置の第1の実施形態に用いるセンサ部の構成例を説明するための図である。 この発明による情報処理装置の第1の実施形態のハードウエア構成例を説明するためのブロック図である。 この発明による情報処理装置の第1の実施形態のハードウエア構成例を説明するためのブロック図である。 この発明による情報処理装置の第1の実施形態における処理動作例を説明するための図である。 この発明による情報処理装置の第1の実施形態における処理動作例を説明するための図である。 この発明による情報処理装置の第1の実施形態における処理動作例を説明するための図である。 この発明による情報処理装置の第1の実施形態におけるセンサ部から検出対象物までの距離に応じたレイヤの設定の例を説明するための図である。 この発明による情報処理装置の第1の実施形態における処理動作の例を説明するためのフローチャートを示す図である。 この発明による情報処理装置の第1の実施形態における処理動作の例を説明するためのフローチャートの一部を示す図である。 この発明による情報処理装置の第1の実施形態における処理動作の例を説明するためのフローチャートの一部を示す図である。 この発明による情報処理装置の第1の実施形態における処理動作を説明するために用いる図である。 この発明による情報処理装置の第2の実施形態の説明に用いる図である。 この発明による情報処理装置の第2の実施形態の説明に用いる図である。 この発明による情報処理装置の第2の実施形態の説明に用いる図である。 この発明による情報処理装置の第2の実施形態の説明に用いる図である。 この発明による情報処理装置の第2の実施形態の説明に用いる図である。 この発明による情報処理装置の第2の実施形態における処理動作の例を説明するためのフローチャートを示す図である。 この発明による情報処理装置の第2の実施形態における処理動作の例を説明するためのフローチャートを示す図である。 この発明による情報処理装置の第3の実施形態の構成例を説明するための図である。 この発明による情報処理装置の第3の実施形態のハードウエア構成例を説明するためのブロック図である。
符号の説明
1,8…情報処理装置、3…テーブル、4…表示パネル、11,12,13,14…センサ部、17…制御部

Claims (13)

  1. 検出対象物の3次元座標位置を、前記検出対象物の3次元座標位置に応じて変化する静電容量を検出するセンサ手段を用いることにより検出する検出手段と、
    前記検出手段で検出された前記検出対象物の前記3次元座標位置に基づく表示を行うための表示手段と、
    前記検出手段で検出された前記検出対象物の前記3次元座標位置のうちの、前記検出対象物と前記センサ手段との離間距離方向に直交する方向の座標位置成分に対応する前記表示手段による表示領域内の表示位置に、前記検出対象物の前記3次元座標位置に基づく前記表示を行うように制御する制御手段と、
    を備える情報処理装置。
  2. 請求項1に記載の情報処理装置において、
    前記センサ手段は、複数個の電極を備え、前記複数個の電極を含む面と、前記面に対して空間的に離間する検出対象物との距離に応じた静電容量から生成されるセンサ出力を、前記複数の電極のそれぞれについて出力するものである
    情報処理装置。
  3. 請求項1または請求項2に記載の情報処理装置において、
    前記表示手段による前記表示領域は、平板を備える物の表面領域であり、
    前記センサ手段は、前記平板に取り付けられてなる
    情報処理装置。
  4. 請求項3に記載の情報処理装置において、
    前記表示手段は、前記平板の表面に設けられるフラットディスプレイパネルからなる
    情報処理装置。
  5. 請求項3に記載の情報処理装置において、
    前記センサ手段は、前記平板の表面または裏面に取り付けられ、
    前記検出手段は、前記平板の表面側および裏面側の両側における前記検出対象物の3次元座標位置を検出可能である
    情報処理装置。
  6. 請求項5に記載に情報処理装置において、
    前記平板の表面または裏面の一側における前記検出対象物の前記3次元位置に基づいて、前記3次元座標位置に基づく前記表示の前記表示領域における表示位置を制御し、前記平板の表面または裏面の他側における前記検出対象物の前記3次元位置に基づいて、前記3次元座標位置に基づく前記表示の制御を行う
    情報処理装置。
  7. 請求項3に記載の情報処理装置において、
    前記平板を備える物は、テーブルである
    情報処理装置。
  8. 請求項1に記載の情報処理装置において、
    前記制御手段は、前記検出手段で検出された前記検出対象物の前記3次元座標位置のうちの、前記検出対象物と前記センサ手段との離間距離方向の座標位置成分に基づいて、前記検出対象物の前記3次元座標位置に基づく前記表示についての表示制御を行う
    情報処理装置。
  9. 請求項1に記載の情報処理装置において、
    前記制御手段は、前記検出手段で検出された前記検出対象物の前記3次元座標位置のうちの、前記検出対象物と前記センサ手段との離間距離方向に直交する方向の座標位置成分に基づいて、前記検出対象物の前記3次元座標位置に基づく前記表示についての表示制御を行う
    情報処理装置。
  10. 請求項9に記載の情報処理装置において、
    前記検出手段は、前記検出対象物の前記3次元座標位置のうちの、前記検出対象物と前記センサ手段との離間距離方向に直交する方向の座標位置成分に基づいて、前記検出対象物の前記離間距離方向に直交する方向の動きを検出し、
    前記制御手段は、前記検出手段で検出された前記動きを特定の操作入力と判断して、前記検出対象物の前記3次元座標位置に基づく前記表示の制御に反映する
    情報処理装置。
  11. 請求項1に記載の情報処理装置において、
    前記検出手段は、複数の前記検出対象物についての3次元座標位置を同時に検出可能である
    情報処理装置。
  12. 表示手段と、検出手段と、制御手段とを備える情報処理装置における情報処理方法において、
    前記検出手段が、検出対象物の3次元座標位置を、前記検出対象物の3次元座標位置に応じて変化する静電容量を検出するセンサ手段を用いることにより検出する検出工程と、
    前記制御手段が、前記検出工程で検出された前記検出対象物の前記3次元座標位置のうちの、前記検出対象物と前記センサ手段との離間距離方向に直交する方向の座標位置成分に対応する、前記表示手段による表示領域内の表示位置に、前記検出対象物の3次元座標位置に基づく表示を行うように制御する制御工程と、
    を有する情報処理方法。
  13. 情報処理装置が備えるコンピュータが、
    検出対象物の3次元座標位置を、前記検出対象物の3次元座標位置に応じて変化する静電容量を検出するセンサ手段を用いることにより検出する検出手段、
    前記検出手段で検出された前記検出対象物の前記3次元座標位置のうちの、前記検出対象物と前記センサ手段との離間距離方向に直交する方向の座標位置成分に対応する前記表示手段による表示領域内の表示位置に、前記検出対象物の前記3次元座標位置に基づく前記表示を行うように制御する制御手段、
    として機能させるための情報処理用プログラム。
JP2008299408A 2008-11-25 2008-11-25 情報処理装置、情報処理方法および情報処理用プログラム Expired - Fee Related JP4816713B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008299408A JP4816713B2 (ja) 2008-11-25 2008-11-25 情報処理装置、情報処理方法および情報処理用プログラム
US12/589,873 US20100127970A1 (en) 2008-11-25 2009-10-29 Information processing system and information processing method
CN2009102265684A CN101901091A (zh) 2008-11-25 2009-11-25 信息处理系统和信息处理方法
US15/670,462 US20170336887A1 (en) 2008-11-25 2017-08-07 Information processing system and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008299408A JP4816713B2 (ja) 2008-11-25 2008-11-25 情報処理装置、情報処理方法および情報処理用プログラム

Publications (2)

Publication Number Publication Date
JP2010128545A true JP2010128545A (ja) 2010-06-10
JP4816713B2 JP4816713B2 (ja) 2011-11-16

Family

ID=42195786

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008299408A Expired - Fee Related JP4816713B2 (ja) 2008-11-25 2008-11-25 情報処理装置、情報処理方法および情報処理用プログラム

Country Status (3)

Country Link
US (2) US20100127970A1 (ja)
JP (1) JP4816713B2 (ja)
CN (1) CN101901091A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012256213A (ja) * 2011-06-09 2012-12-27 Casio Comput Co Ltd 情報処理装置、情報処理方法及びプログラム
WO2013088655A1 (ja) * 2011-12-16 2013-06-20 パナソニック株式会社 タッチパネル及び電子機器
WO2013114499A1 (ja) * 2012-02-01 2013-08-08 パナソニック株式会社 入力装置、入力制御方法、および入力制御プログラム
JP2016218803A (ja) * 2015-05-21 2016-12-22 シャープ株式会社 画像表示装置、およびヘッドマウントディスプレイ
JP2021513151A (ja) * 2018-02-02 2021-05-20 マイクロチップ テクノロジー インコーポレイテッドMicrochip Technology Incorporated ディスプレイユーザインターフェイス、並びに関連のシステム、方法、及びデバイス

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090185080A1 (en) * 2008-01-18 2009-07-23 Imu Solutions, Inc. Controlling an electronic device by changing an angular orientation of a remote wireless-controller
US10217264B2 (en) * 2010-06-01 2019-02-26 Vladimir Vaganov 3D digital painting
US10922870B2 (en) * 2010-06-01 2021-02-16 Vladimir Vaganov 3D digital painting
JP5741821B2 (ja) * 2011-03-24 2015-07-01 コニカミノルタ株式会社 データ加工送信装置およびデータ加工送信プログラム、方法
EP2766796A4 (en) * 2011-10-13 2015-07-01 Autodesk Inc Approaching MULTITOUCH TABLETOP
US11334197B2 (en) * 2015-07-27 2022-05-17 Jordan A. Berger Universal keyboard
EP3361978A4 (en) 2015-10-16 2019-05-29 Dalhousie University SYSTEMS AND METHOD FOR MONITORING THE PATIENT MOVEMENT THROUGH CAPACITIVE POSITION DETECTION

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003022158A (ja) * 2001-05-24 2003-01-24 Mitsubishi Electric Research Laboratories Inc マルチユーザタッチシステムおよびその動作方法
JP2008505381A (ja) * 2004-06-29 2008-02-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 表示装置の汚れを防ぐ方法及び装置
JP2008117371A (ja) * 2006-10-13 2008-05-22 Sony Corp 近接検知型情報表示装置およびこれを使用した情報表示方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0322259A (ja) * 1989-03-22 1991-01-30 Seiko Epson Corp 小型データ表示・再生装置
US6931265B2 (en) * 2002-05-24 2005-08-16 Microsite Technologies, Llc Wireless mobile device
US8373660B2 (en) * 2003-07-14 2013-02-12 Matt Pallakoff System and method for a portable multimedia client
US7847789B2 (en) * 2004-11-23 2010-12-07 Microsoft Corporation Reducing accidental touch-sensitive device activation
US20060209049A1 (en) * 2005-03-16 2006-09-21 Kyocera Mita Corporation Operation panel and method of controlling display thereof
US7525538B2 (en) * 2005-06-28 2009-04-28 Microsoft Corporation Using same optics to image, illuminate, and project
CN1900888A (zh) * 2005-07-22 2007-01-24 鸿富锦精密工业(深圳)有限公司 显示装置及其显示控制方法
US20070064004A1 (en) * 2005-09-21 2007-03-22 Hewlett-Packard Development Company, L.P. Moving a graphic element
JP2007163891A (ja) * 2005-12-14 2007-06-28 Sony Corp 表示装置
EP1964103A4 (en) * 2005-12-22 2009-02-25 Research In Motion Ltd METHOD AND APPARATUS FOR REDUCING POWER CONSUMPTION IN A DISPLAY FOR AN ELECTRONIC DEVICE
US8060840B2 (en) * 2005-12-29 2011-11-15 Microsoft Corporation Orientation free user interface
US8972902B2 (en) * 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
US20080211825A1 (en) * 2006-10-12 2008-09-04 Canon Kabushiki Kaisha Display control apparatus, display apparatus, display control method, and display processing method
US8284165B2 (en) * 2006-10-13 2012-10-09 Sony Corporation Information display apparatus with proximity detection performance and information display method using the same
US20080120568A1 (en) * 2006-11-20 2008-05-22 Motorola, Inc. Method and device for entering data using a three dimensional position of a pointer
US7890778B2 (en) * 2007-01-06 2011-02-15 Apple Inc. Power-off methods for portable electronic devices
US7742290B1 (en) * 2007-03-28 2010-06-22 Motion Computing, Inc. Portable computer with flip keyboard
US7911453B2 (en) * 2007-06-29 2011-03-22 Microsoft Corporation Creating virtual replicas of physical objects
US8219936B2 (en) * 2007-08-30 2012-07-10 Lg Electronics Inc. User interface for a mobile device using a user's gesture in the proximity of an electronic device
US8432365B2 (en) * 2007-08-30 2013-04-30 Lg Electronics Inc. Apparatus and method for providing feedback for three-dimensional touchscreen
US8237625B2 (en) * 2007-09-05 2012-08-07 Savant Systems, Llc Multimedia control and distribution architecture
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
KR101506488B1 (ko) * 2008-04-04 2015-03-27 엘지전자 주식회사 근접센서를 이용하는 휴대 단말기 및 그 제어방법
US8516397B2 (en) * 2008-10-27 2013-08-20 Verizon Patent And Licensing Inc. Proximity interface apparatuses, systems, and methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003022158A (ja) * 2001-05-24 2003-01-24 Mitsubishi Electric Research Laboratories Inc マルチユーザタッチシステムおよびその動作方法
JP2008505381A (ja) * 2004-06-29 2008-02-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 表示装置の汚れを防ぐ方法及び装置
JP2008117371A (ja) * 2006-10-13 2008-05-22 Sony Corp 近接検知型情報表示装置およびこれを使用した情報表示方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012256213A (ja) * 2011-06-09 2012-12-27 Casio Comput Co Ltd 情報処理装置、情報処理方法及びプログラム
WO2013088655A1 (ja) * 2011-12-16 2013-06-20 パナソニック株式会社 タッチパネル及び電子機器
JP2014195254A (ja) * 2011-12-16 2014-10-09 Panasonic Intellectual Property Corp Of America 電子機器、文字選択方法及び文字表示方法
US9052791B2 (en) 2011-12-16 2015-06-09 Panasonic Intellectual Property Corporation Of America Touch panel and electronic device
US9182869B2 (en) 2011-12-16 2015-11-10 Panasonic Intellectual Property Corporation Of America Touch panel and electronic device
US9182870B2 (en) 2011-12-16 2015-11-10 Panasonic Intellectual Property Corporation Of America Touch panel and electronic device
WO2013114499A1 (ja) * 2012-02-01 2013-08-08 パナソニック株式会社 入力装置、入力制御方法、および入力制御プログラム
JP2013161124A (ja) * 2012-02-01 2013-08-19 Panasonic Corp 入力装置、入力制御方法、および入力制御プログラム
US9395838B2 (en) 2012-02-01 2016-07-19 Panasonic Intellectual Property Corporation Of America Input device, input control method, and input control program
JP2016218803A (ja) * 2015-05-21 2016-12-22 シャープ株式会社 画像表示装置、およびヘッドマウントディスプレイ
JP2021513151A (ja) * 2018-02-02 2021-05-20 マイクロチップ テクノロジー インコーポレイテッドMicrochip Technology Incorporated ディスプレイユーザインターフェイス、並びに関連のシステム、方法、及びデバイス
JP7258035B2 (ja) 2018-02-02 2023-04-14 マイクロチップ テクノロジー インコーポレイテッド ディスプレイユーザインターフェイス、並びに関連のシステム、方法、及びデバイス

Also Published As

Publication number Publication date
US20100127970A1 (en) 2010-05-27
JP4816713B2 (ja) 2011-11-16
CN101901091A (zh) 2010-12-01
US20170336887A1 (en) 2017-11-23

Similar Documents

Publication Publication Date Title
JP4816713B2 (ja) 情報処理装置、情報処理方法および情報処理用プログラム
US10120447B2 (en) Haptic display with simultaneous sensing and actuation
US10768749B2 (en) Electronic controller haptic display with simultaneous sensing and actuation
EP3182259B1 (en) Touch panel, signal processing device, and coupling method
US20130044080A1 (en) Dual-view display device operating method
US20120062516A1 (en) Touch with feedback system
JP6027328B2 (ja) ディスプレイ装置及びそのオブジェクト表示方法
CN107209557B (zh) 柔性显示屏系统
US20140198077A1 (en) Apparatus, system, method, and program for processing information
US10841438B2 (en) Guide device, control system, and recording medium
CN105589594B (zh) 电子装置和电子装置的操作控制方法
CN108287675A (zh) 多显示器系统及其驱动方法
KR20160025162A (ko) 터치 패널의 구동 장치
JP6429886B2 (ja) 触感制御システムおよび触感制御方法
JP2016095832A (ja) 電子機器、電子機器の操作制御方法および操作制御プログラム
TW200846990A (en) Flexible multi-touch screen
US7782299B2 (en) Apparatus and method for inputting commands
JP5120108B2 (ja) デジタルフォトフレーム
WO2007000743A2 (en) In-zoom gesture control for display mirror
US9645645B2 (en) Electronic device
US20160124460A1 (en) Display device, display unit, and conference system
WO2014175455A1 (ja) 電子機器
JP6115421B2 (ja) 入力装置および入力システム
US7391413B2 (en) Positional information outputting device, positional information outputting method, and signal processing method
JP3978795B2 (ja) ペン入力装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110802

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110815

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees