JP2004070920A - 情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、情報処理方法、及び情報処理装置 - Google Patents

情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、情報処理方法、及び情報処理装置 Download PDF

Info

Publication number
JP2004070920A
JP2004070920A JP2003084103A JP2003084103A JP2004070920A JP 2004070920 A JP2004070920 A JP 2004070920A JP 2003084103 A JP2003084103 A JP 2003084103A JP 2003084103 A JP2003084103 A JP 2003084103A JP 2004070920 A JP2004070920 A JP 2004070920A
Authority
JP
Japan
Prior art keywords
information processing
display screen
user
value
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003084103A
Other languages
English (en)
Inventor
Akira Suzuki
鈴木　章
Shigeru Enomoto
榎本　繁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to JP2003084103A priority Critical patent/JP2004070920A/ja
Priority to PCT/JP2003/007334 priority patent/WO2003104967A1/ja
Priority to EP03733344A priority patent/EP1513050A1/en
Priority to US10/460,745 priority patent/US20040021663A1/en
Publication of JP2004070920A publication Critical patent/JP2004070920A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G06F3/04144—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position using an array of force sensing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04801—Cursor retrieval aid, i.e. visual aspect modification, blinking, colour changes, enlargement or other visual cues, for helping user do find the cursor in graphical user interfaces

Abstract

【課題】３次元空間内の任意の点を自然な操作感で容易、且つ、精度高く指定する。
【解決手段】２次元表示画面上に３次元空間を表示し、ユーザが指定した２次元表示画面内の点の座標値及び押圧値を検出し（ステップＳ１，Ｓ３）、座標値及び押圧値の大きさに従って３次元空間内の位置を特定する（ステップＳ４）ことにある。これにより、ユーザは、２次元表示画面上の点を指定することにより３次元空間内の任意の点の位置を簡単に指定することができるようになり、現実世界における動作に近い自然な操作感で、３次元空間内の任意の点を容易、且つ、精度高く指定することが可能となる。
【選択図】　　　図５

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば２次元表示画面上に表示されている３次元空間内の任意の点を指定する処理に適用して好適な、情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、情報処理方法、及び情報処理装置に関する。
【０００２】
【従来の技術】
従来、液晶ディスプレイ装置やＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）等の２次元表示画面上に表示されている画像の中の任意の点を指定する場合には、ユーザは、マウスポインタ，タブレット，タッチパネル等の入力装置や指で所望の点をシステムに対し指示していた。
【０００３】
【発明が解決しようとする課題】
しかしながら、一般に、従来までのシステムは２次元表示画面の面内方向における点の位置しか指定することができない構成となっているために、例えば２次元表示画面上に表示されている３次元空間内の任意の点を指定することができない。なお、例えば、表示画面の面内方向における点の位置（ｘ，ｙ）を指定する入力装置に加えて、表示画面に対し垂直方向（ｚ）（奥行方向）の点の位置を指定する別の入力装置を利用する方法や、指定する点の３次元座標（ｘ，ｙ，ｚ）を直接入力する方法を用いることにより、３次元空間内の任意の点の位置を指定することも考えられるが、この方法を用いた場合には、ユーザの操作が非常に煩雑となり、点を簡単に指定することができなくなってしまう。また、例えば３次元マウスポインタを利用して３次元空間内の点の位置を指定する方法も考えられるが、一般的に、３次元マウスポインタは、ユーザが空中で操作する構成となっているために、点を指定する際にはユーザは多くの労力が必要となるばかりでなく、システムに対し点を正確に指定することが難しい。
【０００４】
本発明は、上記課題を解決するためになされたものであり、その目的は、２次元表示画面に表示されている３次元空間内の任意の点を自然な操作感で容易、且つ、精度高く指定することを可能にする、情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、情報処理方法、及び情報処理装置を提供することにある。
【０００５】
【課題を解決するための手段】
本発明の第１の特徴は、２次元表示画面上に３次元空間を表示し、ユーザが指定した２次元表示画面内の点の座標値及び奥行値を検出し、座標値及び奥行値の大きさに従って３次元空間内の位置を特定することにある。すなわち、この発明においては、ユーザが指定した２次元表示画面上の点の位置とその点における奥行値に基づいてユーザが指定する３次元空間内の位置を特定する。このような構成によれば、ユーザは、現実世界における動作に近い自然な操作感で、３次元空間内の点を容易、且つ、精度高く指定することができる。
【０００６】
また、本発明の第２の特徴は、２次元表示画面上に少なくとも一つのオブジェクトを表示し、ユーザが指定した２次元表示画面上の点の座標値及び奥行値を検出し、座標値により指定されるオブジェクトに対し奥行値の大きさに応じた処理を実行することにある。すなわち、この発明においては、奥行値の大きさに応じてユーザが指定した点にあるオブジェクトに対して所定の操作を実行する。このような構成によれば、装置の操作に不慣れなユーザであっても自然な操作感で簡単に２次元表示画面内に表示されているオブジェクトを操作することができる。
【０００７】
【発明の実施の形態】
本発明に係る情報処理装置は、２次元表示画面上に表示されている３次元空間内の任意の点を指定、操作することにより、装置に対し所定の処理を実行させる処理に適用することができる。以下、本発明の第１及び第２の実施の形態となる情報処理装置の構成及び動作について詳しく説明する。
【０００８】
［第１の実施形態］
〔情報処理装置の構成〕
本発明の第１の実施形態となる情報処理装置１は、図１に示すように、ＣＰＵ２、ＲＡＭ３、ＲＯＭ４、表示部５、及び操作入力部６を主な構成要素として備え、これらの構成要素はバス配線７を介して互いに電気的に接続されている。
【０００９】
上記ＣＰＵ２は、一般的なプロセッサ装置により構成され、ＲＯＭ４内に記憶されたコンピュータプログラムに従って情報処理装置の動作を制御する。
【００１０】
上記ＲＡＭ３は、揮発性の半導体メモリにより構成され、ＣＰＵ２が実行する処理を実現するコンピュータプログラムや処理用データを一時的に格納するワークエリアを提供する。
【００１１】
上記ＲＯＭ４は、不揮発性の半導体メモリにより構成され、情報処理装置の起動プログラム（図示せず）やインタフェイスプログラム８（詳しくは後述する）等のコンピュータプログラムを格納するプログラム部９と、コンピュータプログラムの実行に必要な処理用データを格納する処理用データ部１０とを備える。なお、コンピュータプログラムや処理用データは、その一部若しくは全部を電子ネットワークを介して受信するようにしてもよい。
【００１２】
上記表示部５は、液晶ディスプレイやＣＲＴ等の表示出力装置により構成され、ＣＰＵ２の指示に従って３次元オブジェクト等の様々な情報を２次元画面内に表示する。なお、その他の実施の形態として、表示部５としてプラスチックフィルム等の柔軟な基盤を用いたフレキシブルディスプレイ装置を利用してもよい。
【００１３】
上記操作入力部６は、ユーザが指や所定の入力装置により押下して指定した、２次元画面上の任意の点における座標値（ｘ，ｙ）及び押圧値Ｐを検出可能な装置により構成される。この第１の実施の形態においては、操作入力部６は、図２に示すように、表示部５に内蔵若しくは接着されたタッチパネル部１１と、タッチパネル部１１の背面に設置された感圧素子１２と、感圧素子１２を背面から支持する裏板１４を備える。
【００１４】
ここで、上記タッチパネル部１１は、赤外線式、圧力式、電磁式等の既存の検出方式によりユーザが押下した２次元画面上の点の座標値（ｘ，ｙ）を検出する。また、感圧素子１２はユーザが押下した２次元画面上の点における押圧値Ｐを検出し、押圧値Ｐの大きさを示す圧力検知信号をＣＰＵ２に出力する。また、上記裏板１４は、図２や図３に示すような形態で装置本体１３に固定されている。
【００１５】
上記のように、この実施の形態となる操作入力部６は、座標検出機構（タッチパネル部１１）と押圧値検知機構（感圧素子１２）がそれぞれ表示部５の前面及び背面に配置されているので、座標値検出機構と押圧値検知機構の両方の機能をまとめて表示部５の前面に配置した場合と比較して、表示部５部分の厚みを薄くすることが可能となり、この結果、ユーザが表示部５を斜め方向から見て点を指定した際に表示点と押下点との間に生じるずれを小さくすることができる。
【００１６】
また、感圧素子１２を表示部５の前面に配置する場合には、通常、表示部５部分の厚みを抑えるために、厚みの小さい感圧素子１２を利用するが、上記操作入力部６では、感圧素子１２は表示部５の背面に配置されているので、例えば、感圧素子１２にある程度の厚みを持たせて検出可能な押圧値Ｐの範囲を広くする、操作入力部６にある程度の弾力性を持たせる等、設計の自由度が増すことができる。また、感圧素子１２が透明である必要性がなくなるので、安価な感圧素子を利用して操作入力部の製造コストを削減することができる。
【００１７】
また、圧力検出機構を表示部５の前面に設置した場合には、通常、表示部５表面が軟らかくなり、ユーザが操作上違和感を感じることがあるが、このような構成によれば、表示部５表面は適度な軟らかさになるので、ユーザが操作上違和感を感じることがない。
【００１８】
さらに、裏板１４を装置本体１３に接続し、タッチパネル部１１自体は装置本体１３に固定しないように構成しているので、ユーザが押下した点の押圧値Ｐを正確に検出することができる。
【００１９】
なお、上記感圧素子１２は、例えば図４（ａ）に示すように電気配線１５を介して直列に接続し、タッチパネル部１１全体について押圧値Ｐを検出するようにしてもよい。また、例えば図４（ｂ）に示すように、感圧素子１２を電気配線１５を介して所望のブロック毎に接続し、ブロック領域毎に押圧値Ｐを検出してもよい。また、例えば図４（ｃ）に示すように、各感圧素子１２に電気配線１５を接続し、各感圧素子１２の押圧値Ｐを検出してもよい。
【００２０】
また、ユーザの押圧値Ｐと感圧素子１２の圧力検知信号の値とが異なる場合や、２次元平面内の位置によって押圧値Ｐの検出精度が異なる場合には、電子回路やソフトウェア的な処理により両者の値が同じになるように補正することが望ましい。また、ソフトウェア的な補正処理によれば、経年変化に伴う補正値の変化や、ユーザの個人差や年齢差に伴う平均押圧値の違いについても簡単に対応することができるので、上記補正処理はソフトウェア的な処理により行うとよい。
【００２１】
このように、この第１の実施の形態においては、情報処理装置１は、タッチパネル部１１と感圧素子１２によりユーザが指定した２次元表示画面上の任意の点における座標値（ｘ，ｙ）及び押圧値Ｐをそれぞれ独立して検出することができるように構成されている。
【００２２】
〔情報処理装置の動作〕
『３次元位置の指定，選択』
上記のような構成を有する情報処理装置１によれば、ユーザは表示部５に表示されている３次元空間内の任意の３次元位置を指定、選択することができる。以下、図５に示すフローチャートを参照して、ユーザが３次元空間内の任意の３次元位置を指定、選択する際の情報処理装置１の動作について詳しく説明する。
【００２３】
図５に示すフローチャートは、ユーザが、タッチパネル部１１を介して２次元表示画面に指や所定の入力装置で触れることでで開始となり、ＣＰＵ２がインタフェイスプログラム８に従って以下の処理を実行する。
【００２４】
ステップＳ１の処理では、ＣＰＵ２が、タッチパネル部１１を介してユーザが指定した２次元表示画面上の点１６（以下、指定点１６と表記する）の座標値（ｘ，ｙ）を検出する。これにより、このステップＳ１の処理は完了し、この指定処理はステップＳ１の処理からステップＳ２の処理に進む。
【００２５】
ステップＳ２の処理では、ＣＰＵ２が、表示部５を制御して、検出した座標位置（ｘ，ｙ）にカーソル１７を表示出力する。これにより、このステップＳ２の処理は完了し、この指定処理はステップＳ２の処理からステップＳ３の処理に進む。
【００２６】
ステップＳ３の処理では、ＣＰＵ２が、感圧素子１２から出力される圧力検知信号を参照して、指定点１６における押圧値Ｐを検出する。これにより、このステップＳ３の処理は完了し、この指定処理はステップＳ３の処理からステップＳ４の処理に進む。
【００２７】
ステップＳ４の処理では、ＣＰＵ２が、図６に示すように、ユーザの視線１８と平行な、指定点１６から３次元空間を構成する描画領域２０の奥行き（ｚ）方向に伸びる直線１９を規定する。そして、ＣＰＵ２は、この直線１９上に沿ってカーソル１７を押圧値Ｐの大きさに対応する距離だけ描画領域２０の奥行き（ｚ）方向に移動表示する。その後、ＣＰＵ２は、例えばカーソル１７が停止した位置にあるオブジェクトを選択状態にする等して、カーソル１７が停止した位置をユーザが指定した描画領域２０内の３次元位置と特定する。これにより、このステップＳ４の処理は完了し、一連の指定処理は終了する。
【００２８】
ここで、上記の処理では、ＣＰＵ２は、ユーザの視線１８と平行な直線１９を規定したが、例えば図７に示すように、ユーザの視線１８と平行でない直線２１を規定し、この直線２１に沿ってカーソル１７を移動表示してもよい。このような構成によれば、視線１８と平行な直線１９を用いた場合と比べ、ユーザはカーソル１７が描画領域２０の奥行き方向に移動する様子を把握することがより容易となる。なお、この時、ＣＰＵ２は、表示部５を制御して、カーソル１７と併せて直線１９も表示するようにして、カーソル１７の移動方向をユーザに認識させるようにしてもよい。
【００２９】
また、ＣＰＵ２は、例えば、カーソル１７の大きさ，色，輝度等をカーソル１７の奥行き（ｚ）方向の位置に応じて変化させる、描画領域２０内の３次元空間内のオブジェクトとカーソル１７が干渉する様子を表示する、グリッド線を表示する、描画領域２０を立体視により形成する等の描画処理を行うことにより、カーソル１７が描画領域２０の奥行き方向に移動する様子をユーザが簡単に把握することができるようにすることが望ましい。
【００３０】
なお、上記のような視覚的な処理以外にも、例えば、カーソル１７が描画領域２０内のオブジェクトと干渉するに応じて表示画面を振動させたり、音を発生する等の処理を実行することにより、カーソル１７が描画領域２０の奥行き方向に移動する様子をユーザが簡単に把握することができるようにしてもよい。
【００３１】
このように、上記情報処理装置１は、ユーザが指定した２次元表示画面上の点における押圧値Ｐを感圧素子１２により検出し、その大きさを描画領域２０の奥行き方向の座標値（ｚ）として認識する。このような情報処理装置１の処理動作によれば、ユーザはタッチパネル部１１を介して２次元表示画面上の点を指定することにより、３次元空間を構成する描画領域２０内の任意の点の３次元位置を簡単に指定することができる。また、この処理動作は現実世界における実際の３次元位置指示動作に近いものであるので、装置の操作に不慣れなユーザであっても教育やトレーニングを受けることなく簡単に描画領域２０内の任意の３次元位置を指定することが可能となる。
【００３２】
なお、上記のような３次元位置の指定動作は、具体的には以下に示すようなオブジェクトの操作に対し適用して好適である。例えば、図８（ａ）に示すような５層のオブジェクト要素が立体的に配置された構成のオブジェクト２２が表示部５に表示され、ユーザは、オブジェクト中に指定点２３を指定した後に（図８（ｂ））、この指定点２３を移動することにより（図８（ｃ））、図９に示すようにページをめくる感覚で指定点２３により選択されたオブジェクト要素を移動することができる場合、ユーザは、押圧値Ｐの大きさを調節することにより、図１０に示すように選択されるオブジェクト要素の数を直感的に変化させ、所望のオブジェクト要素を簡単に移動させることができる。
【００３３】
また、例えば図１１（ａ）〜（ｃ）に示すように、タッチパネル部１１上の２つの点２３ａ，２３ｂを指定し、この２点を移動することにより、テクスチャ２４上に配置されたオブジェクト２５を摘み取る操作を行う際に、押圧値Ｐの大きさに従って図１１（ｄ）や図１２に示すようにテクスチャ２４を変形させることにより、現実世界で実際にオブジェクト２５を摘み取っているような感覚をユーザに与えることができる。
【００３４】
『ダブルクリック無し操作』
上記のような構成を有する情報処理装置１によれば、ユーザは、一般的なコンピュータシステムにおいて採用されているシングルクリック操作やダブルクリック操作を行うことなく、表示部５に表示されているフォルダファイルやアプリケーションプログラムを表すアイコンを現実世界の操作に近い自然な操作感で操作し、各操作に対応する処理を装置に指示することができる。以下、図１３に示すフローチャートに従って、ユーザがアイコンを操作する際の上記情報処理装置１の処理動作について詳しく説明する。
【００３５】
図１３に示すフローチャートは、ＣＰＵ２が、ユーザが押下しているタッチパネル部１１上の指定点の座標値（ｘ，ｙ）及び押圧値Ｐの変化を検出（イベント検知）することで開始となり、ＣＰＵ２はインタフェイスプログラム８に従って以下の処理を実行する。
【００３６】
なお、以下の処理において、ＣＰＵ２は、インタフェイスプログラム８に従って、イベント検知前の指定点の座標値（ｘ，ｙ）及び押圧値Ｐに関する情報をＲＡＭ３内に記憶する。また、ユーザは、ＣＰＵ２がシングルクリック操作及びダブルクリック操作のどちらの操作が指示されたのかを判別する際に使用する第１及び第２設定値Ｐ１，Ｐ２（Ｐ１＜Ｐ２）を予め装置に入力しておく。そして、第１及び第２設定値Ｐ１，Ｐ２の入力に応じて、ＣＰＵ２は、入力された値をＲＯＭ４内に格納する。
【００３７】
ステップＳ１１，Ｓ１２の処理では、ＣＰＵ２が、検出した押圧値ＰとＲＯＭ４内に格納されている第１及び第２設定値Ｐ１，Ｐ２との大小関係を比較し、その大小関係に応じて以下のように場合分けをして処理を実行する。
【００３８】
以下、（ｉ）第２設定値Ｐ２＜押圧値Ｐである場合、（ｉｉ）第１設定値Ｐ１＜押圧値Ｐ＜第２設定値Ｐ２である場合、（ｉｉｉ）押圧値Ｐ＜第１設定値Ｐ１である場合の３つの場合に分けて情報処理装置の動作を説明する。
【００３９】
なお、以下の処理では、ＣＰＵ２は、例えばユーザが指定点を指で押圧している状態なのか、又は、指定点から指を離そうとしている状態なのか等、検出したイベントの内容を認識可能なように、直前のイベントの状態をＲＡＭ３内に記憶し、検出したイベントと直前のイベントの状態とを比較して状態の変化を認識することにより、検出したイベントの内容を判定する。具体的には、ＣＰＵ２は、シングルクリック操作に相当する第１設定値Ｐ１を指定点に与えた状態（ＰＲＥＳＳ１状態）、ダブルクリック操作に相当する第２設定値Ｐ２を指定点に与えた状態（ＰＲＥＳＳ２状態）、指定点から指が離れた状態（以下、ＲＥＬＥＡＳＥ状態と表記する）の３つの状態をステータスとしてＲＡＭ３内に格納する。
【００４０】
（ｉ）第２設定値Ｐ２＜押圧値Ｐの場合
第２設定値Ｐ２＜押圧値Ｐである場合、ＣＰＵ２は、操作処理をステップＳ１１，Ｓ１２の処理からステップＳ１３の処理に進め、ステップＳ１３の処理として、ＲＡＭ３内のデータを参照して、ステータスがＰＲＥＳＳ２状態であるか否かを判別する。
【００４１】
そして、ステップＳ１３の判別処理の結果、ステータスがＰＲＥＳＳ２状態である場合には、ＣＰＵ２は次のイベントが検知されるまで待機する。一方、判別の結果、ステータスがＰＲＥＳＳ２状態でない場合には、ＣＰＵ２はこの操作処理をステップＳ１４の処理に進める。
【００４２】
ステップＳ１４の処理では、ＣＰＵ２が、ステータスをＰＲＥＳＳ２状態に設定し、ＲＡＭ３内に記憶する。これにより、このステップＳ１４の処理は完了し、この操作処理はステップＳ１４の処理からステップＳ１５の処理に進む。
【００４３】
ステップＳ１５の処理では、ＣＰＵ２が、例えばアイコンが表すアプリケーションプログラムを起動する等のダブルクリック操作に対応する処理を行う。これにより、検知したイベントに対する操作処理は完了し、ＣＰＵ２は次のイベントが検知されるまで待機する。
【００４４】
（ｉｉ）第１設定値Ｐ１＜押圧値Ｐ＜第２設定値Ｐ２の場合
第１設定値Ｐ１＜押圧値Ｐ＜第２設定値Ｐ２である場合、ＣＰＵ２は、操作処理をステップＳ１１，Ｓ１２の処理からステップＳ１６の処理に進め、ステップＳ１６の処理として、ＲＡＭ３内のデータを参照して、ステータスがＰＲＥＳＳ２状態であるか否かを判別する。そして、判別の結果、ステータスがＰＲＥＳＳ２状態である場合、ＣＰＵ２は次のイベントが検知されるまで待機する。一方、判別の結果、ステータスがＰＲＥＳＳ２状態でない場合には、ＣＰＵ２はこの操作処理をステップＳ１７の処理に進める。
【００４５】
ステップＳ１７の処理では、ＣＰＵ２が、ＲＡＭ３内のデータを参照して、ステータスがＰＲＥＳＳ１状態であるか否かを判別する。そして、判別の結果、ステータスがＰＲＥＳＳ１状態でない場合には、ＣＰＵ２は、ステップＳ１８の処理においてステータスをＰＲＥＳＳ１状態に設定した後、ステップＳ１９の処理として、例えばアイコンが表すアプリケーションプログラムを選択状態にする等のシングルクリック操作に対応する処理を実行する。そして、ステップＳ１９の処理が完了すると、ＣＰＵ２はこの操作処理をステップＳ２２の処理に進める。
【００４６】
一方、ステップＳ１７の判別処理の結果、ステータスがＰＲＥＳＳ１状態である場合には、ＣＰＵ２は、ステップＳ２０の処理として、指定点（ｘ，ｙ）がＲＡＭ３内に記憶されている基準点（ｘ０，ｙ０）から所定の距離以上ＤＸ１，ＤＸ２離れているか否かを判別する。そして、判別の結果、指定点が基準点から所定の距離以上離れていない場合、ＣＰＵ２は次のイベントが検知されるまで待機する。一方、指定点が基準点から所定の距離以上離れている場合には、ＣＰＵ２は、検知したイベントはユーザがシングルクリック操作により指定したアイコンを移動するドラッグ操作であると判断し、ステップＳ２１の処理として、ドラッグ処理に対応する処理動作を実行する。これにより、このステップＳ２１の処理は完了し、この操作処理はステップＳ２１の処理からステップＳ２２の処理に進む。
【００４７】
ステップＳ２２の処理では、ＣＰＵ２が、現在の指定点の座標値（ｘ，ｙ）を、以後の処理に利用する座標値の基準点（ｘ０，ｙ０）としてＲＡＭ３内に格納する。これにより、検知したイベントに対する操作処理は完了し、ＣＰＵ２は次のイベントが検知されるまで待機する。
【００４８】
（ｉｉｉ）押圧値Ｐ＜第１設定値Ｐ１の場合
押圧値Ｐ＜第１設定値Ｐ１である場合、ＣＰＵ２は、操作処理をステップＳ１１の処理からステップＳ２３の処理に進め、ステップＳ２３の処理として、ＲＡＭ３内のデータを参照して、ステータスがＰＲＥＳＳ１状態である否かを判別する。そして、判別の結果、ステータスがＰＲＥＳＳ１状態である場合には、ＣＰＵ２は、検知したイベントはユーザがアイコンをシングルクリックした後に指の圧力を抜いていく段階の動作（以下、「シングルクリック操作後のリリース動作」と表記する）であると判断し、ステップＳ２４の処理においてステータスをＲＥＬＥＡＳＥ状態に設定した後、ステップＳ２５の処理として、例えばアイコンがフォルダであればフォルダを開く等の「シングルクリック操作後のリリース動作」に対応する処理を実行する。そして、ステップＳ２５の処理が完了すると、ＣＰＵ２はこの操作処理をステップＳ１１の処理に戻す。
【００４９】
一方、ステップＳ２３の判別処理の結果、ステータスがＰＲＥＳＳ１状態でない場合には、ＣＰＵ２は、ステップＳ２６の処理として、ＲＡＭ３内のデータを参照して、ステータスがＰＲＥＳＳ２状態であるか否かを判別する。そして、判別の結果、ステータスがＰＲＥＳＳ２状態である場合、ＣＰＵ２は、検知したイベントはユーザがアイコンをダブルクリックした後に指の圧力を抜いていく段階の動作（以下、「ダブルクリック操作後のリリース動作」と表記する）であると判断し、ステップＳ２７の処理においてステータスをＲＥＬＥＡＳＥ状態に設定した後、ステップＳ２８の処理において、「ダブルクリック操作後のリリース動作」に対応する処理を実行する。そして、ステップＳ２８の処理が完了すると、ＣＰＵ２は、この操作処理を上述のステップＳ１１の処理に戻す。一方、ステップＳ２６の処理において、ステータスがＰＲＥＳＳ２状態でないと判別された場合には、ＣＰＵ２はこの操作処理をステップＳ２６の処理からステップＳ１１の処理に戻す。
【００５０】
このように、この第１の実施の形態となる情報処理装置は、ユーザが指定した２次元表示画面上の点における押圧値の大きさを参照してシングルクリック操作及びダブルクリック操作のどちらを指示しているのかを判別し、その判別結果に応じて各操作に対応する処理を実行する。このような処理によれば、ユーザは、タッチパネル部１１から一旦指を離して再度同じ点を押すような面倒な操作を行うことなく、２次元表示画面上に表示されているアイコンを操作することができるようになるので、装置の操作に不慣れなユーザであっても自然な操作感で簡単にアイコンを操作することができる。また、ユーザはタッチパネル部１１から一旦指を離す必要がないために、ダブルクリック操作よりも速くアイコンを操作することが可能となる。
【００５１】
なお、上記の説明においては、操作処理対象をアイコンとしたが、例えば表示部５に表示されているスライド式のボリュームコントロール機能の操作についても上記処理を適用することができる。
【００５２】
［第２の実施形態］
本発明の第２の実施形態となる情報処理装置は、操作入力部６の構成及び動作が第１の実施形態のそれとは異なる。そこで、以下では、本発明の第２の実施形態となる情報処理装置における操作入力部６の構成及び動作についてのみ詳しく説明し、他の構成要素についての説明は上記と同様であるので省略する。
【００５３】
〔操作入力部の構成〕
本発明の第２の実施形態となる操作入力部６は、第１の実施の形態のそれとは異なり、図１４に示すように、感圧素子１２が接続されていないタッチパネル部１１表面に複数の振動素子２６を備える。この振動素子２６は、圧電素子やソレノイドにより構成され、ユーザがタッチパネル部１１を押下して操作した際にＣＰＵ２の制御に従って操作内容に対応する振動を発生する。
【００５４】
なお、図１４に示す振動素子２６はタッチパネル部１１表面に接続されているが、例えば図１５〜図１７に示すように、裏板１４の背面に振動素子２６を接続するようにしてもよい。また、ＣＰＵ２が複数の振動素子２６を個別に制御することにより、複数の異なる振動パターンを発生するようにしてもよい。
【００５５】
また、機械的なボタンを押した際に発生するクリック振動の振動パターンをＲＯＭ４内に格納し、ユーザが所定の処理を実行した際にこの振動パターンを再生することにより、あたかも機械式のボタンを押したかのようなクリック感をユーザに与えるようにしてもよい。
【００５６】
また、押圧値Ｐの変化に応じて生成する振動の大きさを変化させるようにしてもよい。さらに、この実施の形態においては、振動素子２６を複数設けることとしたが、ユーザはタッチパネル部１１表面の１点しか触れない場合には、１つの振動素子で振動を発生するようにしてもよい。
【００５７】
このように、この第２の実施の形態においては、操作入力部６は、第１の実施の形態の操作入力部６に振動素子２６を加えることにより、ユーザがタッチパネル部１１を押下して操作した際にＣＰＵ２の制御に従って操作内容に対応する振動を発生することが可能なように構成されている。
【００５８】
〔情報処理装置の動作〕
上記のような構成の情報処理装置によれば、例えば図１８に示すフローチャートの処理を実行することにより、ユーザが２次元表示画面に表示されているオブジェクトを自然な操作感で操作することが可能となる。
【００５９】
なお、以下に示す例においては、表示部５は、情報処理装置に対し所定の処理の実行を指示するボタンをオブジェクトとして２次元表示画面上に表示し、ユーザは、タッチパネル部１１を介して２次元表示画面上に表示されているボタンを押下し、ボタンをオン状態（選択状態）に設定することにより、例えば別のウィンドウ画面を開く等の各ボタンに割り当てられた処理を情報処理装置に対し指示する。
【００６０】
図１８に示すフローチャートは、ＣＰＵ２が、ユーザが押下しているタッチパネル部１１上の点の座標値（ｘ，ｙ）及び押圧値Ｐの変化を検出（イベント検知）することで開始となり、ＣＰＵ２がインタフェイスプログラム８に従って以下の処理を実行する。
【００６１】
ステップＳ３１の処理では、ＣＰＵ２が、押圧値Ｐが第１設定値Ｐ１以上であるか否かを判別する。この判別処理は、ユーザがタッチパネル部１１に触れているか否かを判別するための処理であり、この判別の結果、押圧値Ｐが第１設定値Ｐ１以上でない場合、ＣＰＵ２は、ステップＳ３２の処理として２次元表示画面上に表示しているボタンがオン状態にあるか否かを判別する。なお、上記第１設定値Ｐ１は、ユーザがタッチパネル部１１を指で軽く触れた時の押圧値に予め設定しておくものとする。
【００６２】
そして、ステップＳ３２の判別処理の結果、ボタンがオン状態にある場合、ＣＰＵ２は、検知したイベントは、ユーザがボタンに対応するタッチパネル部１１を押下した後、指の圧力を抜いていく段階の動作であると判断し、ステップＳ３３の処理として、振動素子２６を制御してボタンリリース時のクリック振動を発生する。その後、ＣＰＵ２は、ステップＳ３４の処理としてユーザが押下したボタンをオフ状態に設定した後、次のイベントが検知されるまで待機する。一方、ステップＳ３２の判別処理の結果、ボタンがオン状態にない場合には、検知したイベントに対する処理は完了し、ＣＰＵ２は次のイベントが検知されるまで待機する。
【００６３】
一方、ステップＳ３１の判別処理の結果、押圧値Ｐが第１の設定値Ｐ以上である場合、ＣＰＵ２はこの操作処理をステップＳ３１の処理からステップＳ３５の処理に進める。そして、ステップＳ３５の処理において、ＣＰＵ２は、押圧値Ｐが第２設定値Ｐ２（ここではＰ１＜Ｐ２とする）以上であるか否かを判別する。そして、ステップＳ３５の判別処理の結果、押圧値Ｐが第２設定値Ｐ１以上でない場合、ＣＰＵ２は、ステップＳ３６の処理として、移動した点が２次元表示画面に表示しているボタンの境界線に対応する位置を通ったか否かを判別する。なお、上記第２設定値Ｐ２は、ユーザがタッチパネル部１１を指で押し込んだ時の押圧値に予め設定しておくものとする。
【００６４】
そして、ステップＳ３６の判別処理の結果、移動した点が境界線に対応する位置を通った場合には、ＣＰＵ２は、移動した点が境界線に対応する位置を通った際に、ステップＳ３７の処理として振動素子２６を制御してボタンが表示されていない部分と表示されていない部分の段差に対応する振動を発生し、２次元表示画面に表示されているボタンの形状をユーザに認識させる。これにより、検知したイベントに対する処理は完了し、ＣＰＵ２は次のイベントが検知されるまで待機する。一方、ステップＳ３６の判別処理の結果、移動した点が境界線に対応する位置を通っていない場合には、検知したイベントに対する処理は完了し、ＣＰＵ２は次のイベントが検知されるまで待機する。
【００６５】
一方、ステップＳ３５の判別処理の結果、押圧値Ｐが第２設定値Ｐ２以上である場合、ＣＰＵ２はこの操作処理をステップＳ３５の処理からステップＳ３８の処理に進める。そして、ステップＳ３８の処理において、ＣＰＵ２は、移動した点が２次元表示画面上に表示しているボタンの表示領域内に対応する位置にあるか否かを判別する。そして、ステップＳ３８の判別処理の結果、移動した点がボタンの表示領域内に対応する位置にある場合、ＣＰＵ２は、検知したイベントはユーザがボタンに対応するタッチパネル部１１を押下した動作であると判断し、ステップＳ３９の処理として、振動素子２６を制御してボタンを押下した時に対応するクリック振動を発生し、ボタンが押されたことをユーザに認識させる。その後、ＣＰＵ２は、ステップＳ４０の処理としてユーザが押下したボタンをオン状態に設定した後、次のイベントが検知されるまで待機する。一方、ステップＳ３８の判別処理の結果、移動したボタンが表示領域内に対応する位置にない場合には、この検知したイベントに対する処理は完了し、ＣＰＵ２は次のイベントが検知されるまで待機する。
【００６６】
このように、この第２の実施の形態においては、情報処理装置は、ユーザがタッチパネル部１１を介して２次元表示画面上に表示されているオブジェクトを操作した際に、オブジェクトの位置や形状の触感や押し込み強さに応じたクリック感等、押下したタッチパネル部１１の点の位置や圧力に応じた触感をユーザにフィードバックするので、ユーザは自然な操作感でオブジェクトを操作することができると同時に、操作ミスの発生頻度を低減することが可能となる。
【００６７】
［その他の実施の形態］
以上、本発明者らによってなされた発明を適用した実施の形態について説明したが、この実施の形態による本発明の開示の一部をなす論述及び図面により本発明は限定されることはない。
【００６８】
例えば、上記の実施の形態の情報処理装置においては、タッチパネル部１１が表示部５に内蔵若しくは接着されていたが、図１９に示すように、タッチパネル部１１を利用せずに、表示部５としてプラスチックフィルム等の柔軟な基盤を利用して形成されたフレキシブルディスプレイ２７を利用し、このフレキシブルディスプレイ２７の裏面に複数の感圧素子１２を設けるようにしてもよい。
【００６９】
このような構成によれば、ユーザが押下するに応じて表示部５の形状が柔軟に変化するので、表示部５として液晶ディスプレイ装置やＣＲＴ装置等の固い基盤を利用して形成された表示装置を利用した場合と比較して、ユーザが押下した任意の点における圧力値をより正確に検出することが可能となる。
【００７０】
また、上記のような構成によれば、ユーザが画面上の複数点を同時に押下した場合も各点の圧力値を正確に検出することが可能となる。なお、このとき、例えば図２０に示すようにフレキシブルディスプレイ２７の表面にタッチパネル部１１を接着する等して、ユーザが指定した点の座標値はタッチパネル部１１を利用して検出することにより、フレキシブルディスプレイ２７の背面に配置する感圧素子１２の数を減らすようにしてもよい。また、上述の実施の形態と同様、振動素子を設け、ユーザがフレキシブルディスプレイ２７に触れた際に操作内容に対応する触感をユーザにフィードバックしてもよい。
【００７１】
さらに、上記のような構成によれば、２次元表示画面上の複数点の押圧値をアナログ的に検出することができるので、例えばピアノ等の電子楽器の操作画面に適用することにより、複数の音程を入力し、高度な演奏処理が可能な電子楽器を実現することができる。また、例えば、ゲームの操作画面に適用すれば、両手を用いた操作や、複数の指による各種機能の同時動作等が可能なゲーム装置を実現することができる。
【００７２】
さらに、上記のような構成によれば、２次元表示画面に接触しているユーザの指や手の形、２次元表示画面への接触の仕方や動作を検出することができるので、例えば、これらの情報を所定の機能の呼出処理と関連付けさせることにより、手や指の形状や動作に基づいた、今までにない新しい操作方法を実現することができる。
【００７３】
さらに、上記のような構成によれば、ユーザが操作した際の圧力分布データを認識することができるので、例えば、２次元表示画面に接触している手や指の形状、圧力分布、動作特性等、ユーザ固有の特徴を抽出し、抽出した特徴に基づいて認証処理を行うことにより、今までにない認証処理を実現することができる。
【００７４】
一方、操作入力部６は例えば図２１（ａ）に示すようにマウスポインタ３０により構成してもよい。図２１（ａ）に示すマウスポインタ３０は、一般的なマウスポインタにより構成され、ユーザの操作に従ってオン／オフ状態を切り換えるボタン部３１と、ユーザが指定した画面上の位置を検出する検出部３２と、ボタン部３１下部に配置された感圧素子３３を備える。上記感圧素子３３は、ユーザがボタン部３１を操作した際の押圧値を検出し、押圧値の大きさを示す圧力検知信号をＣＰＵ２に出力する。一般に、マウスポインタ３０はボタン部３１のオン／オフ状態しか感知することができないが、上記図２１（ａ）に示す構成のマウスポインタ３０によれば、ユーザがボタン部３１を操作した際の押圧値の大きさに応じて上記実施の形態で説明した処理を実行することができるようになる。また、このマウスポインタ３０によれば、ユーザがボタン部３１を操作した際の押圧値をアナログ的に検出することにより、スクロール、移動、拡大縮小、カーソル位置の移動、音量調整等の様々な場面においてアナログ値を簡単に入力することができる。なお、図２１（ｂ）に示すように、マウスポインタ３０に振動素子２６を設けてもよく、このような構成によれば、操作内容に対応する触感をユーザにフィードバックすることができる。
【００７５】
また、３次元空間の奥行値の最大値及び最小値に対応する押圧値Ｐｍａｘ，Ｐｍｉｎを予め定義し、この押圧値Ｐｍａｘ，Ｐｍｉｎと指定点における押圧値Ｐとを比較することにより、ユーザが指定した３次元空間の奥行値を算出してもよい。
【００７６】
また、押圧値Ｐと３次元空間の奥行値との関係を予めテーブル化し、このテーブル内を用いて指定点における押圧値Ｐを検索することにより、ユーザが指定した３次元空間の奥行値を算出してもよい。なお、この場合、３次元空間内に配置されるオブジェクトの位置に応じて、一つの奥行値（例えばｚ＝１）に対応する押圧値Ｐに適当な幅（例えば、押圧値Ｐ＝１〜３）を定義してテーブルを作成してもよい。このような構成によれば、指定点における押圧値Ｐが定義された幅内にあれば、その押圧値Ｐに対応する奥行値が認識されるので、奥行値やオブジェクトの指定作業が容易になる。
【００７７】
なお、上記実施の形態では、情報処理装置１は、指定点の奥行値として指定点における押圧値Ｐの大きさを検出，利用したが、静電作用を利用して物体と入力装置との間の距離（＝奥行方向の距離）を検出する非接触型の入力装置や、表示装置の表示画面に対し垂直（奥行）方向のユーザの動きをパターンマッチング処理等の手法を利用して検出するカメラ装置（いわゆるステレオカメラ）等を利用して検出した値を指定点の奥行値として利用してもよい。また、この場合、情報処理装置１は、検出された値が変化するのに合わせて、指定点の奥行値も変化させるとよい。
【００７８】
このように、この実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれることは勿論であることを付け加えておく。
【００７９】
【発明の効果】
本発明によれば、２次元表示画面上に表示されている３次元空間内の任意の点を自然な操作感で容易、且つ、精度高く指定することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態となる情報処理装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態となる操作入力部の構成を示す模式図である。
【図３】図２に示す操作入力部の応用例を示す模式図である。
【図４】図２に示す感圧素子と電気配線の接続関係を示す模式図である。
【図５】本発明の実施の形態となる３次元座標値の指定方法を示すフローチャート図である。
【図６】図５に示す３次元座標値の指定方法を説明するための模式図である。
【図７】図６に示す３次元座標値の指定方法の応用例を説明するための模式図である。
【図８】図５に示す３次元座標値の指定方法の利用例を説明するための模式図である。
【図９】図５に示す３次元座標値の指定方法の利用例を説明するための模式図である。
【図１０】図５に示す３次元座標値の指定方法の利用例を説明するための模式図である。
【図１１】図５に示す３次元座標値の指定方法の利用例を説明するための模式図である。
【図１２】図５に示す３次元座標値の指定方法の利用例を説明するための模式図である。
【図１３】本発明の実施の形態となるアイコンの操作方法を示すフローチャート図である。
【図１４】本発明の第２の実施の形態となる操作入力部の構成を示す模式図である。
【図１５】図１４に示す操作入力部の応用例を示す模式図である。
【図１６】図１４に示す操作入力部の応用例を示す模式図である。
【図１７】図１４に示す操作入力部の応用例を示す模式図である。
【図１８】本発明の第２の実施の形態となる情報処理装置の動作を説明するためのフローチャート図である。
【図１９】本発明の実施の形態となる操作入力部の応用例を示す模式図である。
【図２０】本発明の実施の形態となる操作入力部の応用例を示す模式図である。
【図２１】本発明の実施の形態となる操作入力部の応用例を示す模式図である。
【符号の説明】
１…情報処理装置、２…ＣＰＵ、３…ＲＡＭ、４…ＲＯＭ、５…表示部、６…操作入力部、７…バス配線、８…インタフェイスプログラム、９…プログラム部、１０…処理用データ部、１１…タッチパネル部、１２…感圧素子、１３…装置本体、１４…裏板、１５…電気配線、１６，２３，２３ａ，２３ｂ…指定点、１７…カーソル、１８…ユーザの視線、１９，２１…直線、２０…描画領域、２２，２５…オブジェクト、２４…テクスチャ、２６…振動素子

Claims (24)

  1. ２次元表示画面上に３次元空間を表示するステップと、
    ユーザが指定した上記２次元表示画面内の点の座標値及び奥行値を検出するステップと、
    上記座標値及び上記奥行値の大きさに従ってユーザが指定する上記３次元空間内の位置を認識するステップと
    をコンピュータに実行させる情報処理プログラム。
  2. 請求項１に記載の情報処理プログラムであって、
    上記ユーザが指定した２次元表示画面の点にカーソルを表示するステップと、
    上記奥行値の大きさの変化に従って上記２次元表示画面の奥行方向に移動する上記カーソルを表示するステップと
    を有することを特徴とする情報処理プログラム。
  3. 請求項２に記載の情報処理プログラムであって、
    上記カーソルが停止した位置をユーザが指定する上記３次元空間内の位置とするステップを有すること
    を特徴とする情報処理プログラム。
  4. 請求項２又は請求項３に記載の情報処理プログラムであって、
    上記カーソルが移動するのに応じてカーソルの大きさ、色、及び輝度の少なくとも一つを変化させるステップを有すること
    を特徴とする情報処理プログラム。
  5. 請求項２から請求項４のうち、いずれか一項に記載の情報処理プログラムであって、
    上記カーソルが上記３次元空間内にあるオブジェクトと接触するのに応じて所定の処理を実行するステップを有すること
    を特徴とする情報処理プログラム。
  6. 請求項５に記載の情報処理プログラムであって、
    上記所定の処理は振動及び音声の少なくとも一方を生成する処理であること
    を特徴とする情報処理プログラム。
  7. ２次元表示画面上に少なくとも一つのオブジェクトを表示するステップと、
    ユーザが指定した上記２次元表示画面上の点の座標値及び奥行値を検出するステップと、
    上記座標値により指定される上記オブジェクトに対し上記奥行値の大きさに応じた処理を実行するステップと
    をコンピュータに実行させる情報処理プログラム。
  8. 請求項７に記載の情報処理プログラムであって、
    上記奥行値が所定の閾値以上であるか否かを判別することにより上記実行する処理を選択するステップを有すること
    を特徴とする情報処理プログラム。
  9. 請求項７又は請求項８に記載の情報処理プログラムであって、
    上記座標値及び上記奥行値の大きさの変化に応じて振動及び音声の少なくとも一方を生成するステップを有すること
    を特徴とする情報処理プログラム。
  10. ２次元表示画面上に３次元空間を表示するステップと、
    ユーザが指定した上記２次元表示画面内の点の座標値及び奥行値を検出するステップと、
    上記座標値及び上記奥行値の大きさに従って上記３次元空間内の位置を認識するステップと
    をコンピュータに実行させる情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
  11. ２次元表示画面上に少なくとも一つのオブジェクトを表示するステップと、
    ユーザが指定した上記２次元表示画面上の点の座標値及び奥行値を検出するステップと、
    上記座標値により指定される上記オブジェクトに対し上記奥行値の大きさに応じた処理を実行するステップと
    をコンピュータに実行させる情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
  12. ２次元表示画面上に３次元空間を表示し、
    ユーザが指定した上記２次元表示画面内の点の座標値及び奥行値を検出し、
    上記座標値及び上記奥行値の大きさに従って上記３次元空間内の位置を認識する
    情報処理方法。
  13. ２次元表示画面上に少なくとも一つのオブジェクトを表示し、
    ユーザが指定した上記２次元表示画面上の点の座標値及び奥行値を検出し、
    上記座標値により指定される上記オブジェクトに対し上記奥行値の大きさに応じた処理を実行する
    情報処理方法。
  14. ２次元表示画面上に３次元空間を表示する表示部と、
    ユーザが指定した上記２次元表示画面上の点の座標値を検出する座標値検出部と
    上記２次元表面上の点における奥行値を検出する奥行値検出部と、
    検出した上記座標値及び上記奥行値に従ってユーザが指定する上記３次元空間内の位置を認識する制御部と
    を有する情報処理装置。
  15. 請求項１４に記載の情報処理装置であって、
    上記制御部は、上記２次元画面上の点にカーソルを表示し、上記奥行値の大きさの変化に従って２次元表示画面の奥行方向にカーソルを移動表示すること
    を特徴とする情報処理装置。
  16. 請求項１５に記載の情報処理装置であって、
    上記制御部は、上記カーソルが停止した位置をユーザが指定する上記３次元空間内の位置とすること
    を特徴とする情報処理装置。
  17. 請求項１５又は請求項１６に記載の情報処理装置であって、
    上記制御部は、上記カーソルが移動するに応じて、カーソルの大きさ、色、及び輝度の少なくとも一つを変化させること
    を特徴とする情報処理装置。
  18. 請求項１５から請求項１７のうち、いずれか一項に記載の情報処理装置であって、
    上記制御部は、上記カーソルが上記３次元空間内にあるオブジェクトと接触するのに応じて所定の処理を実行すること
    を特徴とする情報処理装置。
  19. 請求項１８に記載の情報処理装置であって、
    上記所定の処理は振動及び音声の少なくとも一方を生成する処理であること
    を特徴とする情報処理装置。
  20. 請求項１４から請求項１９のうち、いずれか一項に記載の情報処理装置であって、
    上記座標値検出部及び上記奥行値検出部はそれぞれタッチパネル及び感圧素子であること
    を特徴とする情報処理装置。
  21. ２次元表示画面上に少なくとも一つのオブジェクトを表示する表示部と、
    ユーザが指定した２次元表示画面上の点の座標値を検出する座標値検出部と、
    上記２次元表示画面上の点における奥行値を検出する奥行値検出部と、
    上記座標値により指定される上記オブジェクトに対し上記奥行値の大きさに応じた処理を実行する制御部と
    を備える情報処理装置。
  22. 請求項２１に記載の情報処理装置であって、
    上記制御部は、上記奥行値が所定の閾値以上であるか否かを判別することにより実行する処理を選択すること
    を特徴とする情報処理装置。
  23. 請求項２１又は請求項２２に記載の情報処理装置であって、
    上記制御部は、上記座標値及び上記奥行値の大きさの変化に従って、振動及び音声の少なくとも一方を生成すること
    を特徴とする情報処理装置。
  24. 請求項２１から請求項２３のうち、いずれか一項に記載の情報処理装置であって、
    上記座標値検出部及び上記奥行値検出部はそれぞれタッチパネル及び感圧素子であること
    を特徴とする情報処理装置。
JP2003084103A 2002-06-11 2003-03-26 情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、情報処理方法、及び情報処理装置 Pending JP2004070920A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2003084103A JP2004070920A (ja) 2002-06-11 2003-03-26 情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、情報処理方法、及び情報処理装置
PCT/JP2003/007334 WO2003104967A1 (ja) 2002-06-11 2003-06-10 ３次元空間内の任意の点を指定する処理のための情報処理方法
EP03733344A EP1513050A1 (en) 2002-06-11 2003-06-10 Information processing method for specifying an arbitrary point in 3-dimensional space
US10/460,745 US20040021663A1 (en) 2002-06-11 2003-06-11 Information processing method for designating an arbitrary point within a three-dimensional space

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002170184 2002-06-11
JP2003084103A JP2004070920A (ja) 2002-06-11 2003-03-26 情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、情報処理方法、及び情報処理装置

Publications (1)

Publication Number Publication Date
JP2004070920A true JP2004070920A (ja) 2004-03-04

Family

ID=29738359

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003084103A Pending JP2004070920A (ja) 2002-06-11 2003-03-26 情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、情報処理方法、及び情報処理装置

Country Status (4)

Country Link
US (1) US20040021663A1 (ja)
EP (1) EP1513050A1 (ja)
JP (1) JP2004070920A (ja)
WO (1) WO2003104967A1 (ja)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006041097A1 (ja) * 2004-10-12 2006-04-20 Nippon Telegraph And Telephone Corporation ３次元ポインティング方法、３次元表示制御方法、３次元ポインティング装置、３次元表示制御装置、３次元ポインティングプログラム、及び３次元表示制御プログラム
WO2007116743A1 (ja) * 2006-03-31 2007-10-18 Brother Kogyo Kabushiki Kaisha 画像表示装置
JP2009157908A (ja) * 2007-12-07 2009-07-16 Sony Corp 情報表示端末、情報表示方法、およびプログラム
US7828660B2 (en) 2005-05-09 2010-11-09 Nintendo Co., Ltd. Storage medium having game program stored thereon and game apparatus
JP2011501307A (ja) * 2007-10-26 2011-01-06 シュタインハウザー，アンドレアス 圧力センサーアレイを有するシングルタッチ型またはマルチタッチ型のタッチスクリーンまたはタッチパッド、および圧力センサーの製造方法
JP2011060334A (ja) * 2010-12-24 2011-03-24 Kyocera Corp 入力装置および入力装置の制御方法
JP2011060333A (ja) * 2010-12-24 2011-03-24 Kyocera Corp 入力装置および入力装置の制御方法
EP2426586A1 (en) 2010-09-07 2012-03-07 Sony Corporation Information processing device, program, and information processing method
JP2012142033A (ja) * 2005-03-04 2012-07-26 Apple Inc 多機能ハンドヘルド装置
US8284159B2 (en) 2004-10-19 2012-10-09 Nintendo Co., Ltd. Storage medium having input processing program stored thereon and input processing device
JP2013058136A (ja) * 2011-09-09 2013-03-28 Kddi Corp 画面内の対象が押圧によって操作可能なユーザインタフェース装置、対象操作方法及びプログラム
US8654524B2 (en) 2009-08-17 2014-02-18 Apple Inc. Housing as an I/O device
US9047009B2 (en) 2005-03-04 2015-06-02 Apple Inc. Electronic device having display and surrounding touch sensitive bezel for user interface and control
WO2016117417A1 (ja) * 2015-01-23 2016-07-28 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9513765B2 (en) 2007-12-07 2016-12-06 Sony Corporation Three-dimensional sliding object arrangement method and system
JP2016540327A (ja) * 2013-10-24 2016-12-22 春生 朱 ハンドコントロール装置
US9619026B2 (en) 2009-07-29 2017-04-11 Kyocera Corporation Input apparatus for providing a tactile sensation and a control method thereof
US9785258B2 (en) 2003-09-02 2017-10-10 Apple Inc. Ambidextrous mouse
US9904363B2 (en) 2008-12-22 2018-02-27 Kyocera Corporation Input apparatus for generating tactile sensations and control method of input apparatus
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
JP4832826B2 (ja) * 2005-07-26 2011-12-07 任天堂株式会社 オブジェクト制御プログラムおよび情報処理装置
US7538760B2 (en) 2006-03-30 2009-05-26 Apple Inc. Force imaging input device and system
CN104484066B (zh) 2006-06-09 2017-08-08 苹果公司 触摸屏液晶显示器
US9710095B2 (en) 2007-01-05 2017-07-18 Apple Inc. Touch screen stack-ups
KR101424259B1 (ko) 2007-08-22 2014-07-31 삼성전자주식회사 휴대단말에서 입력 피드백 제공 방법 및 장치
US8395587B2 (en) * 2007-12-21 2013-03-12 Motorola Mobility Llc Haptic response apparatus for an electronic device
JP4650543B2 (ja) * 2008-09-12 2011-03-16 コニカミノルタビジネステクノロジーズ株式会社 課金システム、課金方法、課金プログラム、記録媒体
US20100103115A1 (en) * 2008-10-24 2010-04-29 Sony Ericsson Mobile Communications Ab Display arrangement and electronic device
US10019081B2 (en) * 2009-01-15 2018-07-10 International Business Machines Corporation Functionality switching in pointer input devices
CN102025814A (zh) * 2009-09-11 2011-04-20 深圳富泰宏精密工业有限公司 便携式电子装置
US8487759B2 (en) 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
JP2011177203A (ja) * 2010-02-26 2011-09-15 Nintendo Co Ltd オブジェクト制御プログラムおよびオブジェクト制御装置
EP2390772A1 (en) * 2010-05-31 2011-11-30 Sony Ericsson Mobile Communications AB User interface with three dimensional user input
EP2395414B1 (en) * 2010-06-11 2014-08-13 BlackBerry Limited Portable electronic device including touch-sensitive display and method of changing tactile feedback
US10013058B2 (en) * 2010-09-21 2018-07-03 Apple Inc. Touch-based user interface with haptic feedback
US9569003B2 (en) * 2010-09-30 2017-02-14 Broadcom Corporation Portable computing device including a three-dimensional touch screen
US10120446B2 (en) 2010-11-19 2018-11-06 Apple Inc. Haptic input device
US8804056B2 (en) 2010-12-22 2014-08-12 Apple Inc. Integrated touch screens
KR101763263B1 (ko) * 2010-12-24 2017-07-31 삼성전자주식회사 3ｄ 디스플레이 단말 장치 및 그 조작 방법
US20120306849A1 (en) * 2011-05-31 2012-12-06 General Electric Company Method and system for indicating the depth of a 3d cursor in a volume-rendered image
JP5634462B2 (ja) * 2012-08-31 2014-12-03 京セラドキュメントソリューションズ株式会社 表示入力装置および画像形成装置
US9178509B2 (en) 2012-09-28 2015-11-03 Apple Inc. Ultra low travel keyboard
US9652040B2 (en) 2013-08-08 2017-05-16 Apple Inc. Sculpted waveforms with no or reduced unforced response
US9779592B1 (en) 2013-09-26 2017-10-03 Apple Inc. Geared haptic feedback element
CN105579928A (zh) 2013-09-27 2016-05-11 苹果公司 具有触觉致动器的带体
WO2015047343A1 (en) 2013-09-27 2015-04-02 Honessa Development Laboratories Llc Polarized magnetic actuators for haptic response
US10126817B2 (en) 2013-09-29 2018-11-13 Apple Inc. Devices and methods for creating haptic effects
WO2015047372A1 (en) 2013-09-30 2015-04-02 Pearl Capital Developments Llc Magnetic actuators for haptic response
US9317118B2 (en) 2013-10-22 2016-04-19 Apple Inc. Touch surface for simulating materials
CN105814510B (zh) 2013-12-10 2019-06-07 苹果公司 具有触觉响应的带体附接机构
US9501912B1 (en) 2014-01-27 2016-11-22 Apple Inc. Haptic feedback device with a rotating mass of variable eccentricity
US20150253918A1 (en) * 2014-03-08 2015-09-10 Cherif Algreatly 3D Multi-Touch
US10545604B2 (en) 2014-04-21 2020-01-28 Apple Inc. Apportionment of forces for multi-touch input devices of electronic devices
DE102015209639A1 (de) 2014-06-03 2015-12-03 Apple Inc. Linearer Aktuator
KR102019505B1 (ko) 2014-09-02 2019-09-06 애플 인크. 햅틱 통지
US10353467B2 (en) 2015-03-06 2019-07-16 Apple Inc. Calibration of haptic devices
AU2016100399B4 (en) 2015-04-17 2017-02-02 Apple Inc. Contracting and elongating materials for providing input and output for an electronic device
WO2016199309A1 (ja) * 2015-06-12 2016-12-15 パイオニア株式会社 電子機器
CN107925333B (zh) 2015-09-08 2020-10-23 苹果公司 用于在电子设备中使用的线性致动器
US20170068374A1 (en) * 2015-09-09 2017-03-09 Microsoft Technology Licensing, Llc Changing an interaction layer on a graphical user interface
CN105630350B (zh) * 2015-12-17 2019-07-16 网易（杭州）网络有限公司 虚拟角色控制方法及装置
US10039080B2 (en) 2016-03-04 2018-07-31 Apple Inc. Situationally-aware alerts
US10268272B2 (en) 2016-03-31 2019-04-23 Apple Inc. Dampening mechanical modes of a haptic actuator using a delay
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
US10691211B2 (en) 2018-09-28 2020-06-23 Apple Inc. Button providing force sensing and/or haptic output
US10599223B1 (en) 2018-09-28 2020-03-24 Apple Inc. Button providing force sensing and/or haptic output
US11380470B2 (en) 2019-09-24 2022-07-05 Apple Inc. Methods to control force in reluctance actuators based on flux related parameters
US11809631B2 (en) 2021-09-21 2023-11-07 Apple Inc. Reluctance haptic engine for an electronic device

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0595746A1 (en) * 1992-10-29 1994-05-04 International Business Machines Corporation Method and system for input device pressure indication in a data processing system
JPH096526A (ja) * 1995-06-21 1997-01-10 Toshiba Corp ３次元ポインティング装置
JPH0922330A (ja) * 1995-07-06 1997-01-21 Meidensha Corp タッチパネルの入力方法
JP4110580B2 (ja) * 1996-05-01 2008-07-02 Ｓｍｋ株式会社 感圧式３次元タブレットとタブレットの操作データ検出方法
JPH10275052A (ja) * 1997-03-31 1998-10-13 Mitsumi Electric Co Ltd 座標情報入力装置
US6147684A (en) * 1998-02-06 2000-11-14 Sun Microysytems, Inc. Techniques for navigating layers of a user interface
US6229542B1 (en) * 1998-07-10 2001-05-08 Intel Corporation Method and apparatus for managing windows in three dimensions in a two dimensional windowing system
US6452617B1 (en) * 2000-01-10 2002-09-17 International Business Machines Corporation Adjusting a click time threshold for a graphical user interface
JP2001195187A (ja) * 2000-01-11 2001-07-19 Sharp Corp 情報処理装置
US7034803B1 (en) * 2000-08-18 2006-04-25 Leonard Reiffel Cursor display privacy product
WO2002093352A1 (en) * 2001-05-11 2002-11-21 3Dna Corp. Method and system for generating a three-dimensional graphical user interface (3d gui) for computer systems and websites

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9983742B2 (en) 2002-07-01 2018-05-29 Apple Inc. Electronic device having display and surrounding touch sensitive bezel for user interface and control
US9785258B2 (en) 2003-09-02 2017-10-10 Apple Inc. Ambidextrous mouse
US10474251B2 (en) 2003-09-02 2019-11-12 Apple Inc. Ambidextrous mouse
US10156914B2 (en) 2003-09-02 2018-12-18 Apple Inc. Ambidextrous mouse
KR100832355B1 (ko) * 2004-10-12 2008-05-26 니폰 덴신 덴와 가부시끼가이샤 3차원 포인팅 방법, 3차원 표시제어방법, 3차원 포인팅장치, 3차원 표시 제어장치, 3차원 포인팅 프로그램, 및3차원 표시제어 프로그램
JP4515458B2 (ja) * 2004-10-12 2010-07-28 日本電信電話株式会社 ３次元ポインティング方法、３次元ポインティング装置、及び３次元ポインティングプログラム
WO2006041097A1 (ja) * 2004-10-12 2006-04-20 Nippon Telegraph And Telephone Corporation ３次元ポインティング方法、３次元表示制御方法、３次元ポインティング装置、３次元表示制御装置、３次元ポインティングプログラム、及び３次元表示制御プログラム
US7880726B2 (en) 2004-10-12 2011-02-01 Nippon Telegraph And Telephone Corporation 3D pointing method, 3D display control method, 3D pointing device, 3D display control device, 3D pointing program, and 3D display control program
JPWO2006041097A1 (ja) * 2004-10-12 2008-05-15 日本電信電話株式会社 ３次元ポインティング方法、３次元表示制御方法、３次元ポインティング装置、３次元表示制御装置、３次元ポインティングプログラム、及び３次元表示制御プログラム
US8907896B2 (en) 2004-10-19 2014-12-09 Nintendo Co. Ltd. Storage medium having input processing program stored thereon and input processing device
US8284159B2 (en) 2004-10-19 2012-10-09 Nintendo Co., Ltd. Storage medium having input processing program stored thereon and input processing device
US8619025B2 (en) 2004-10-19 2013-12-31 Nintendo Co., Ltd. Storage medium having input processing program stored thereon and input processing device
USRE44658E1 (en) 2004-10-19 2013-12-24 Nintendo Co., Ltd. Storage medium having input processing program stored thereon and input processing device
EP2518612A1 (en) 2004-10-19 2012-10-31 Nintendo Co., Ltd. Storage medium having input processing program stored thereon and input processing device
US10386980B2 (en) 2005-03-04 2019-08-20 Apple Inc. Electronic device having display and surrounding touch sensitive surfaces for user interface and control
JP2017162482A (ja) * 2005-03-04 2017-09-14 アップル インコーポレイテッド 多機能ハンドヘルド装置
US10921941B2 (en) 2005-03-04 2021-02-16 Apple Inc. Electronic device having display and surrounding touch sensitive surfaces for user interface and control
US9047009B2 (en) 2005-03-04 2015-06-02 Apple Inc. Electronic device having display and surrounding touch sensitive bezel for user interface and control
JP2012142033A (ja) * 2005-03-04 2012-07-26 Apple Inc 多機能ハンドヘルド装置
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
US11360509B2 (en) 2005-03-04 2022-06-14 Apple Inc. Electronic device having display and surrounding touch sensitive surfaces for user interface and control
US8419540B2 (en) 2005-05-09 2013-04-16 Nintendo Co., Ltd. Storage medium having game program stored thereon and game apparatus
US8690674B2 (en) 2005-05-09 2014-04-08 Nintendo Co., Ltd. Storage medium having game program stored thereon and game apparatus
US7828660B2 (en) 2005-05-09 2010-11-09 Nintendo Co., Ltd. Storage medium having game program stored thereon and game apparatus
WO2007116743A1 (ja) * 2006-03-31 2007-10-18 Brother Kogyo Kabushiki Kaisha 画像表示装置
JP2011501307A (ja) * 2007-10-26 2011-01-06 シュタインハウザー，アンドレアス 圧力センサーアレイを有するシングルタッチ型またはマルチタッチ型のタッチスクリーンまたはタッチパッド、および圧力センサーの製造方法
US11003304B2 (en) 2007-12-07 2021-05-11 Sony Corporation Information display terminal, information display method and program
JP4557058B2 (ja) * 2007-12-07 2010-10-06 ソニー株式会社 情報表示端末、情報表示方法、およびプログラム
US9513765B2 (en) 2007-12-07 2016-12-06 Sony Corporation Three-dimensional sliding object arrangement method and system
JP2009157908A (ja) * 2007-12-07 2009-07-16 Sony Corp 情報表示端末、情報表示方法、およびプログラム
US9904363B2 (en) 2008-12-22 2018-02-27 Kyocera Corporation Input apparatus for generating tactile sensations and control method of input apparatus
US9619026B2 (en) 2009-07-29 2017-04-11 Kyocera Corporation Input apparatus for providing a tactile sensation and a control method thereof
US8654524B2 (en) 2009-08-17 2014-02-18 Apple Inc. Housing as an I/O device
US9600037B2 (en) 2009-08-17 2017-03-21 Apple Inc. Housing as an I/O device
US11644865B2 (en) 2009-08-17 2023-05-09 Apple Inc. Housing as an I/O device
US10739868B2 (en) 2009-08-17 2020-08-11 Apple Inc. Housing as an I/O device
US10248221B2 (en) 2009-08-17 2019-04-02 Apple Inc. Housing as an I/O device
CN102402281A (zh) * 2010-09-07 2012-04-04 索尼公司 信息处理装置、程序及信息处理方法
US8836642B2 (en) 2010-09-07 2014-09-16 Sony Corporation Information processing device, program, and information processing method
EP2426586A1 (en) 2010-09-07 2012-03-07 Sony Corporation Information processing device, program, and information processing method
JP2011060333A (ja) * 2010-12-24 2011-03-24 Kyocera Corp 入力装置および入力装置の制御方法
JP2011060334A (ja) * 2010-12-24 2011-03-24 Kyocera Corp 入力装置および入力装置の制御方法
JP2013058136A (ja) * 2011-09-09 2013-03-28 Kddi Corp 画面内の対象が押圧によって操作可能なユーザインタフェース装置、対象操作方法及びプログラム
JP2016540327A (ja) * 2013-10-24 2016-12-22 春生 朱 ハンドコントロール装置
WO2016117417A1 (ja) * 2015-01-23 2016-07-28 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US11068063B2 (en) 2015-01-23 2021-07-20 Sony Corporation Information processing apparatus and method for adjusting detection information based on movement imparted by a vibrator

Also Published As

Publication number Publication date
US20040021663A1 (en) 2004-02-05
EP1513050A1 (en) 2005-03-09
WO2003104967A1 (ja) 2003-12-18

Similar Documents

Publication Publication Date Title
JP2004070920A (ja) 情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、情報処理方法、及び情報処理装置
JP5295328B2 (ja) スクリーンパッドによる入力が可能なユーザインタフェース装置、入力処理方法及びプログラム
JP4734435B2 (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置
JP3996852B2 (ja) 表示されたスライドの予め選択された部分を強調表示するためのタッチパッドを備えたリモートコントロール
JP3847641B2 (ja) 情報処理装置、情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、及び情報処理方法
US20100289768A1 (en) Input device of electronic device, input operation processing method, and input control program
US11435870B2 (en) Input/output controller and input/output control program
JP5713180B2 (ja) 検知領域がディスプレイの表示領域よりも小さくても同等時のように動作するタッチパネル装置
US20110025718A1 (en) Information input device and information input method
EP1408397A2 (en) Electronic equipment
KR20150094967A (ko) 적어도 하나의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
CN109643164A (zh) 信号处理装置、信号处理方法、程序以及电子器件
JP5875262B2 (ja) 表示制御装置
CN105843539A (zh) 一种信息处理方法及电子设备
JP5414134B1 (ja) タッチ式入力システムおよび入力制御方法
JP2000284912A (ja) タッチパネル入力コンピュータ
JP2018023792A (ja) ゲーム装置及びプログラム
TW201246019A (en) Electronic apparatus, display method, and program
JP2022096252A (ja) 表示装置、表示方法、及び表示プログラム
JPH07203600A (ja) 音像移動装置
JP3970906B2 (ja) 情報処理装置、情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、及び情報処理方法
WO2021075143A1 (ja) 制御装置、プログラム、及びシステム
JP2014155856A (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置
JP6126639B2 (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置及びゲームプログラム。
TWI566162B (zh) 圖形化使用者界面之智慧圖示選擇方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050527

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060331