JP2013137613A - 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 - Google Patents

情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 Download PDF

Info

Publication number
JP2013137613A
JP2013137613A JP2011287725A JP2011287725A JP2013137613A JP 2013137613 A JP2013137613 A JP 2013137613A JP 2011287725 A JP2011287725 A JP 2011287725A JP 2011287725 A JP2011287725 A JP 2011287725A JP 2013137613 A JP2013137613 A JP 2013137613A
Authority
JP
Japan
Prior art keywords
information processing
unit
force
input area
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011287725A
Other languages
English (en)
Other versions
JP6021335B2 (ja
Inventor
Kiyobumi Funahashi
清文 舟橋
Yasumasa Miyoshi
保匡 三次
Hiroki Takuma
弘規 詫間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nintendo Co Ltd
Original Assignee
Nintendo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nintendo Co Ltd filed Critical Nintendo Co Ltd
Priority to JP2011287725A priority Critical patent/JP6021335B2/ja
Priority to EP12192737.0A priority patent/EP2610728A3/en
Priority to US13/680,948 priority patent/US20130169565A1/en
Publication of JP2013137613A publication Critical patent/JP2013137613A/ja
Application granted granted Critical
Publication of JP6021335B2 publication Critical patent/JP6021335B2/ja
Priority to US15/825,873 priority patent/US10732742B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】
直感的なユーザインターフェースを提供することが可能な情報処理技術を提供する。
【解決手段】
本実施形態では、情報処理部10と、当該情報処理部10で処理される情報が格納された記憶部20と、タッチ入力が可能なタッチ入力部としてのタッチパネル40と、タッチ入力時に装置本体またはタッチパネル40に加えられる力を検出する力検出部に相当する加速度センサ80とを備え、前記情報処理部10が、前記タッチ入力の入力面積40a(40b)を判別し、当該入力面積40a(40b)と前記力の検出値としての加速度値に応じて所定の情報処理を行うように構成している。
【選択図】図4

Description

本発明は、ユーザの操作に応じて情報処理を行う情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法に関する。
従来、タッチパネルを備え、ユーザによるタッチパネルへの入力に応じて、表示部の画面に表示されている文字や記号などのボタンを選択して操作を行う情報処理装置がある(例えば、特許文献1参照)。
特開2010−93707号公報
しかしながら、特許文献1に記載の情報処理装置では、多様な操作を実現するために種々のボタンやジェスチャー入力のみが用いられており、タッチパネルへのタッチ入力自体による操作に多様性を持たせることが難しいという問題があった。すなわち、多様な操作が可能なユーザインターフェースを提供することができなかった。
それ故、本発明の第1の目的は、多様な操作が可能な新規なユーザインターフェースを提供することである。
また、本発明の第2の目的は、より直感的な操作が可能なユーザインターフェースを提供することである。
本発明は、上記の課題を解決するために、以下の構成を採用した。
本発明の一例は、情報処理装置に加えられる力を検出する力検出部を備える情報処理装置のコンピュータを、判別手段、情報処理手段として機能させる情報処理プログラムである。判別手段は、タッチ入力部からタッチ位置を取得し、タッチ入力の入力面積を判別する。情報処理手段は、入力面積と力検出部により検出された力とに応じて所定の情報処理を行う。
このようにすれば、タッチ入力部における入力面積たる接触面積と、装置本体等に加えられる力とに応じて種々の異なる操作を行うことができるため、従来に比べてタッチ入力による多様な操作を可能とし、情報処理装置の利便性を高めることができる。
情報処理手段は、力検出部により力が検出された時の入力面積と、検出された力とに応じて所定の情報処理を行ってもよい。
このようにすれば、同じ時点での接触面積と装置本体等に加えられる力の両方に基づいて種々の異なる操作を行うことができるため、より直感的な操作が可能となる。
情報処理手段は、入力面積と検出された力の両方に基づいて所定の情報処理を行ってもよい。
このようにすれば、接触面積と装置本体等に加えられる力の両方に基づいて所定の情報処理が行われるため、より多様な操作が可能となる。
情報処理手段は、入力面積、検出された力およびタッチ位置に基づいて所定の情報処理を行ってもよい。
このようにすれば、入力面積、検出された力およびタッチ位置の3つのパラメータに基づいて操作を行うことができるため、より多様な操作が可能となる。
力検出部は、情報処理装置の動きを検出する動きセンサでもよく、情報処理手段は、入力面積と検出された動きとに応じて所定の情報処理を行ってもよい
このようにすれば、タッチ入力時に生じた情報処理装置の振動等の動きを検出することができるため、タッチ入力の押圧力自体を検出しなくても、タッチ入力の力を間接的に検出することができる。
情報処理手段は、入力面積と、動きセンサにより検出された動きの大きさおよびその方向とに応じて所定の情報処理を行ってもよい。
このようにすれば、検出された動きの大きさおよびその方向とに応じて種々の異なる操作を行うことができる。
力検出部は、タッチ入力部に加えられた圧力を検出する圧力センサでもよく、力検出値は圧力センサにより検出された圧力の大きさでもよい。
このようにすれば、タッチ入力時の押圧力を検出できるため、タッチ入力の力を直接検出することができる。
情報処理手段は、入力面積および検出された力がそれぞれ所定の大きさを超えた場合に所定の情報処理を行ってもよい。
このようにすれば、入力値に応じた情報処理の選択を簡単にすることができる。
情報処理手段は、タッチ位置が特定領域内にある場合に所定の情報処理を行ってもよい。
このようにすれば、タッチ位置に基づいたより多様な操作が可能となる。
判別手段は、タッチ入力部に対するタッチ数に基づいて入力面積を判別してもよい。
このようにすれば、タッチ数に基づいたより多様な操作が可能となる。
情報処理装置は記憶部を備えてもよく、記憶部は、設定値に対応する情報処理が規定された設定値テーブルを記憶してもよく、情報処理手段は、入力面積および検出された力を示す力検出値のうち少なくとも1つの値を設定値テーブルの設定値から検索し、該当する設定値に対応する情報処理を行ってもよい。
このようにすれば、使用者の使用感を損なうことなく、情報処理の選択の幅を容易に増加させることができる。
情報処理装置のコンピュータを、記憶部から情報を読み出し表示部に表示する表示手段として更に機能させてもよく、情報処理手段が行う情報処理は、表示部に表示されるオブジェクトの変形に関する処理であり、入力面積および検出された力のうち少なくとも1つに基づいて、オブジェクトの変形範囲および変形度のうち少なくとも1つが変化してもよい。
このようにすれば、オブジェクトに関してタッチ入力による多様な変形操作を可能とすることができる。
情報処理手段は、入力面積および検出された力検のうち少なくとも1つに基づいて、さらにオブジェクトの変形に所定の形状変更を付与するよう構成してもよい。
このようにすれば、オブジェクトに関してタッチ入力による多様な形状変更を伴う変形操作を可能とすることができる。
情報処理手段が行う情報処理は、ゲーム効果に関する処理であり、入力面積および検出された力のうち少なくとも1つに基づいて、ゲーム効果の対象範囲および大きさのうち少なくとも1つを変化させてもよい。
このようにすれば、ゲーム効果に関してタッチ入力による多様な操作を可能とすることができる。
情報処理装置のコンピュータを、記憶部から情報を読み出し表示部に表示する表示手段として更に機能させてもよく、情報処理手段が行う情報処理は、表示部の画像表示に関する処理であってもよく、入力面積および検出された力のうち少なくとも1つに基づいて、画像表示の送り数および送り速度のうち少なくとも1つが変化してもよい。
このようにすれば、画像表示に対してタッチ入力による多様な操作を可能とすることができる。
情報処理手段が行う情報処理は、データ再生に関する処理であり、入力面積および検出された力のうち少なくとも1つに基づいて、データ再生の送り時間および送り速度のうち少なくとも1つを変化させてもよい。
このようにすれば、データ再生に対してタッチ入力による多様な操作を可能とすることができる。
本発明によれば、多様な操作が可能なユーザインターフェースを提供することができる。
情報処理装置の外観図 情報処理装置の内部構成を示すブロック図 一本の指による情報処理装置の操作について説明するための説明図 二本の指による情報処理装置の操作について説明するための説明図 立方体オブジェクトの変形パターンを説明するための説明図 表示処理の詳細を示すフローチャート 大きさの異なるオブジェクトの表示内容を説明するための説明図 大きさの異なるオブジェクトの選択処理の詳細を示すフローチャート 奥行き値の異なるオブジェクトの表示内容を説明するための説明図 奥行き値の異なるオブジェクトの選択処理の詳細を示すフローチャート
(第1の実施形態)
(情報処理装置の構成)
図1は、本発明の一実施形態に係る情報処理装置の外観図である。
図1に示すように、情報処理装置1は、携帯型の情報処理装置であり、筐体1a、表示部30、タッチパネル40および操作部50を有する。
筐体1aは、ユーザが片手で把持可能な大きさである。筐体1aには、表示部30が設けられており、表示部30の前面はタッチパネル40で覆われている。さらに、筐体1aには、操作部50が設けられている。表示部30、タッチパネル40および操作部50の詳細は後述する。なお、タッチパネル40を、表示部30の前面でなく別の場所に設けてもよい。
(情報処理装置の内部構成)
図2は、本発明の一実施形態に係る情報処理装置の内部構成を示すブロック図である。
図2に示すように、情報処理装置1は、情報処理部10、記憶部20、表示部30、タッチパネル40、操作部50、無線通信部60、音声入出力部70、および加速度センサ80を有する。
情報処理部10は、記憶部20に記憶されている情報処理プログラムを読み出して、当該情報処理プログラムを実行することにより、後述する情報処理を実行する。情報処理部10は、例えば、CPU(Central Processing Unit)により構成される。
記憶部20は、情報処理部10によって実行される情報処理プログラム、表示部30に表示するための画像データ、音声入出力部70から出力するための音声データ、タッチパネル40、操作部50、無線通信部60、音声入出力部70、および加速度センサ80からの情報等を記憶する。記憶部20は、例えば、RAM(Random Access Memory)やROM(Read Only Memory)等により構成される。
表示部30は、情報処理部10が情報処理プログラムを実行することにより生成される画像を表示したり、無線通信部60を介してインターネット上のウェブサイトからダウンロードした画像を表示したりする。表示部30は、例えば、LCD(Liquid Crystal Display)により構成される。
タッチパネル40は、情報処理装置1のユーザが指やペン等を接触させることにより、一定時間間隔で接触位置や接触面積に関する情報を取得して、情報処理部10へ出力する。タッチパネル40は、例えば、静電容量方式のタッチパネルで構成される。また、タッチパネル40は、タッチパネル40上に一定間隔で配置されている複数の点の位置を同時に検出することができ、指をタッチパネル40に接触させた場合、通常はその一定間隔より指の接触領域の方が十分に広いため、複数の位置を同時に検出して、情報処理部10へ出力することになる。なお、タッチパネル40は表示部30を覆うように構成されているため、タッチパネル40が検出するタッチパネル40上の位置を、便宜上、表示部30の画面上の位置とする。検出された位置は、情報処理部10が記憶部20に一時的に記憶させるようになっている。
図1に示すように、タッチパネル40は、長方形の形状で構成されており、長方形の一辺に平行な方向をX軸とし、当該一辺に隣り合う辺に平行な方向をY軸とする。接触位置は、例えば、接触領域を構成する各位置の中で、X値が最も大きい位置とX値が最も小さい位置を特定して、それらの位置の中心位置を求めることによって得られるX座標と、接触領域を構成する各位置の中で、Y値が最も大きい位置と最も小さい位置を特定して、それらの位置の中心位置を求めることによって得られるY座標とで構成される。
また、接触面積は、例えば、接触領域を構成する各位置の中で、X値が最も大きい位置とX値が最も小さい位置を特定して、それらのX値の差を短軸(または長軸)の長さとし、接触領域を構成する各位置の中で、Y値が最も大きい位置とY値が最も小さい位置を特定して、それらのY値の差を長軸(または短軸)の長さとして、これらの長さを用いた楕円の面積を求めることによって得られる。他の例としては、ユーザのタッチパネル40に対するタッチ数(例えば、接触する指やタッチペンの本数など)によって面積を判別してもよい。例えば、後述する図3ではタッチパネル40に対して1本の指で接触しているので接触面積が小さく、図4では2本の指で接触しているので接触面積が大きい、と判定することができる。
操作部50は、ユーザによる操作に応じて操作情報を取得して、情報処理部10へ出力する。操作部50は、例えば、ユーザにより押下可能な操作ボタンで構成される。
無線通信部60は、情報処理部10からの情報をインターネット上のサーバや他の情報処理装置へ送信したり、インターネット上のサーバや他の情報処理装置からの情報を情報処理部10へ送信する。無線通信部60は、例えば、IEEE802.11.b/gの規格に準拠した方式により、無線LANに接続する機能を有するモジュールで構成される。
音声入出力部70は、情報処理部10が記憶部20から読み出した音声データにより示される音声を出力したり、情報処理装置10の外部から入力される音声を示す音声データを情報処理部10へ出力したりする。音声入出力部70は、例えば、マイクおよびスピーカで構成される。加速度センサ80は、図1に示す3軸方向(X軸、Y軸およびZ軸方向)の加速度を検出し、検出した加速度を示す加速度値を情報処理部10へ出力する。
(第1の実施形態)
次に、第1の実施形態について説明する。第1の実施形態の情報処理装置の構成および情報処理装置の内部構成は、上述した第1の実施形態と同様であるため、その説明は省略する。
(第1の実施形態の表示処理の概要)
以下、情報処理装置1の表示部30に表示される立方体オブジェクトの表示処理の概要について説明する。表示部30には、立方体オブジェクトが表示されており、ユーザの指のタッチパネル40に対する接触により得られる接触面積と、当該接触により情報処理装置1に加えられる力とが用いられて、立方体オブジェクトが変形される。以下では、立方体オブジェクトについて説明するが、平面オブジェクトなど立方体オブジェクト以外のオブジェクトについても本実施形態の表示処理を適用することができる。
図3は、一本の指による情報処理装置の操作について説明するための説明図である。図4は、二本の指による情報処理装置の操作について説明するための説明図である。
図3および図4に示すように、一本の指5をタッチパネル40に接触させてタッチ入力する場合と、二本の指5、6をタッチパネル40に接触させてタッチ入力する場合とがあり、一本指によるタッチ入力と二本指によるタッチ入力では、タッチパネル40上の接触領域40a、40bの間でその接触面積が異なる。すなわち、図3における接触領域40aは、一本分の指先に相当する接触面積であるのに対し、図4における接触領域40bは、二本分の指先に相当する約2倍の接触面積となる。このように、接触面積により、タッチ入力に使用する指の本数が検出できることになる。なお、指の本数の他にも、接触面積により、指先、指の腹、掌、タッチペン(スタイラス)等、タッチパネル40へのタッチ入力をどのように行ったかを区別することもできる。
また、情報処理装置1は、加速度センサ80を筐体1aに内蔵しており、加速度センサ80で検出される加速度の大きさに基づいて、タッチ入力時に情報処理装置1に加えられた力を検出する。情報処理装置1をタッチ入力により操作する場合、ユーザは自分の指をタッチパネル40に押し当ててタッチ入力を行うが、情報処理装置1の筐体1aを手に持って操作するため、タッチパネル40に指を押し当てた際に筐体1aがわずかに揺動することとなる。ユーザがより強い力でタッチパネル40に指を押し当てた場合には、筐体1aの揺動がより大きくなる。すなわち、加速度センサ80は、情報処理装置1(筐体1a)の動きを検出する動き検出センサであり、検出された動きをタッチ入力時に情報処理装置1に加えられた力とすることができる。また、検出された動きをタッチ入力時に情報処理装置1に与えられた振動とすることもできる。加速度センサとしては、種々の方式が採用可能であり、例えば、検出した加速度に比例した電気的信号を出力するものや、検出した加速度を数値として出力するものなどがある。また、加えられた力(加速度)が所定の大きさを超えるとスイッチが導通して検出信号が出力される、接点式の機械的な加速度センサを用いることもできる。
なお、動き検出センサとしては、ジャイロセンサ等の角速度を検出するセンサや方角を検知可能な磁気センサを用いることができる。その他、カメラで逐次撮像した画像を解析し、当該画像間の差異を検出することにより、動き検出センサと同等の機能を実現することもできる。また、タッチパネル40に圧力センサを設け、タッチ入力によりタッチパネル40へ加えられる押圧力を直接検出し、検出した押圧力をタッチ入力時に情報処理装置1に加えられた力としてもよい。このように、ユーザはタッチパネル40へのタッチ入力という1つの操作により、接触面積と情報処理装置1に加えられる力の2種類のパラメータを取得することができる。
次に、タッチ入力時に得られる接触面積と、情報処理装置1に加えられた力(または、情報処理装置1に与えられた振動)とに基づいて、表示部30に表示される立方体オブジェクトを変形する処理の一例を説明する。
図5は、表示部に表示される立方体オブジェクトの変形パターンを説明するための説明図である。
本実施形態では、接触面積が予め設定された第1の閾値以上であるか否かによって、立方体オブジェクトに対する変形効果がなされる範囲(以下、変形範囲という。)を2種類設定する。さらに、加速度の大きさが予め設定された第2の閾値以上であるか否かによって、立方体オブジェクトに対する変形効果の深さ・高さ(以下、変形度という。)を2種類設定する。すなわち、立方体オブジェクトに対する変形範囲と変形度をそれぞれ2段階としているので、立方体オブジェクトの典型的な変形態様は4種類となる。
なお、本実施例では、現実空間の座標系と仮想空間の座標系とを対応させて、より直観的な操作を実現している。具体的には、接触面積の座標面となる図3および図4におけるX−Y平面上の広がりを示すパラメータを変形範囲として使用している。すなわち、タッチパネル40上でユーザの指が実際に接触した面積に応じた範囲で立方体オブジェクトの変形が行われる。一方、タッチ操作の押圧方向となる図3および図4におけるZ軸方向に関する深さ・高さを示すパラメータを変形度として使用している。すなわち、ユーザの指で実際に立方体オブジェクトを押圧したかのような操作感で、立方体オブジェクトの変形が行われるようにしている。もちろん、別の平面上の広がりや別の軸方向への深さを示すパラメータとして設定してもよい。
図5に示すように、変形態様aは、図3のように一本の指5による弱いタッチ入力、すなわち接触面積が第1の閾値未満であり、加速度の大きさが第2の閾値未満となるようなタッチ入力をした場合の変形を示しており、立方体オブジェクトは小さい範囲で浅い深さの凹部が形成されている。これは立方体オブジェクトに対して、先端面が小さい物体を弱い力で打ちつけた場合をイメージした変形形状変更を伴う変形となっている。
また、変形態様bは、変形態様aと同様に一本の指5によるタッチ入力であるが、こちらは強いタッチ入力、すなわち接触面積が第1の閾値未満であり、加速度の大きさが第2の閾値以上となるようなタッチ入力をした場合の変形を示しており、立方体オブジェクトは小さい範囲で深く鋭い凹部が形成されている。これは立方体オブジェクトに対して、先端面が小さい物体を強い力で打ち付けた場合をイメージした変形形状変更を伴う変形となっている。
また、変形態様cは、図4のように二本の指5、6による弱いタッチ入力、すなわち接触面積が第1の閾値以上であり、加速度の大きさが第2の閾値未満となるようなタッチ入力をした場合の変形を示しており、立方体オブジェクトは大きい範囲で浅い深さの凹部が形成されている。これは立方体オブジェクトに対して、先端面が大きい物体を弱い力で打ちつけた場合をイメージした変形形状変更を伴う変形となっている。
さらに、変形態様dは、変形態様cと同様に二本の指5、6によるタッチ入力であるが、こちらは強いタッチ入力、すなわち接触面積が第1の閾値以上であり、加速度の大きさが第2の閾値以上となるようなタッチ入力をした場合の変形を示しており、立方体オブジェクトは大きい範囲で深く鋭い凹部が形成されている。これは立方体オブジェクトに対して、先端面が大きい物体を強い力で打ち付けた場合をイメージした変形形状変更を伴う変形となっている。もちろん、これらの演出効果は必ずしも必要ではなく、接触面積と加速度の大きさに応じて、変形範囲部分の変形形状は変えずに変形範囲と変形度のみを変化させてもよい。
このように、ユーザはタッチパネル40へのタッチ入力という1つの操作により、接触面積と情報処理装置1に加えられる力の2種類のパラメータを取得することができ、それらのパラメータに基づいて、対象となるオブジェクトを種々変形させることができる。さらに、タッチパネル40上のタッチ位置(入力座標)を考慮すれば、パラメータを3つにすることもできる。
(第1の実施形態の表示処理の詳細)
次に、第1の実施形態の表示処理の詳細について図6を参照して説明する。図6は、第1の実施形態に係る表示処理の詳細を示すフローチャートである。図6のフローチャートに示す処理は、情報処理部10が記憶部20に記憶されている情報処理プログラムを実行することにより行われる。
ユーザは、一方の手で情報処理装置1の筐体1aを把持しており、他方の手の指5または指5、6により、表示部30上の立方体オブジェクトを変形させるためにタッチ入力を行う。ここで、情報処理部10は、タッチパネル40から表示部30の画面上の複数の位置を取得し(ステップS1)、取得した複数の位置のうちのいずれかが立方体オブジェクトに設定されている特定領域内にあるか否かを判断する(ステップS2)。取得した複数の位置が全て特定領域内にないと判断された場合、処理を終了する。
一方、取得した複数の位置のいずれかが特定領域内にあると判断された場合には、情報処理部10は、取得したタッチパネル40から表示部30の画面上の複数の位置に基づいて、指がタッチパネル40に接触した領域の中心位置を表す接触中心位置を算出し(ステップS3)、指がタッチパネル40に接触した領域の面積を表す接触面積を算出する(ステップS4)。このとき、指がタッチパネル40に接触した領域と、立方体オブジェクトのタッチパネル40上への投影面の領域との重なり範囲の面積を接触面積として算出してもよい。
情報処理部10は、算出した接触面積に基づいて、立方体オブジェクトに対する変形範囲を設定する(ステップS5)。具体的には、記憶部20に、変形範囲を設定するための第1の閾値が予め格納されており、情報処理部10は、記憶部20から第1の閾値を読み出す。そして、情報処理部10は、算出した接触面積と第1の閾値とを比較して、比較結果に基づいて、変形範囲を大小2種類のいずれかに設定する。例えば、情報処理部10は、算出した接触面積が第1の閾値以上である場合、変形範囲を図5に示すa又はbのグループに設定し、算出した接触面積が第1の閾値未満である場合には、変形範囲を図5に示すc又はdのグループに設定する。
情報処理部10は、加速度センサ80から加速度値を取得し(ステップS6)、取得した加速度値に基づいて、立方体オブジェクトに対する変形度を設定する(ステップS7)。具体的には、記憶部20には、変形度を設定するための第2の閾値が予め格納されており、情報処理部10は、記憶部20から第2の閾値を読み出す。そして、情報処理部10は、取得した加速度値から加速度の大きさを算出し、算出した加速度の大きさと第2の閾値とを比較して、比較結果に基づいて、変形度を大小2種類のいずれかに設定する。例えば、情報処理部10は、算出した加速度の大きさが第2の閾値未満である場合、変形度を図5に示すa又はcのグループに設定し、算出した加速度の大きさが第2の閾値以上である場合には、変形度を図5に示すb又はdのグループに設定する。
情報処理部10は、設定された変形範囲および変形度に基づいて、算出された接触中心位置を中心として、立方体オブジェクトに対する変形効果を付与する周知のポリゴン変形処理を行い(ステップS8)、変形処理が行われた立方体オブジェクトを表示部30に表示させる(ステップS9)。
以上のように、本実施形態では、タッチ入力により得られる接触面積とタッチ入力時に情報処理装置1に加えられる力とに基づいて、立方体オブジェクトを種々変形させることができる。タッチ入力によるオブジェクトの変形に対するバリエーションを増やすことができる。
本実施形態では、タッチパネル40における接触面積や加速度の大きさの判別を、接触面積や加速度の大きさと所定の閾値とを比較することにより大小2値的に判別しているが、接触面積や加速度の大きさをそのまま用いて連続的に変形させるようにしてもよい。この場合には、接触面積や加速度の大きさの範囲に対応する設定値を規定したテーブルを記憶部20に格納しておき、算出された接触面積や加速度の大きさが該当する範囲に対応する設定値を変形範囲または変形度として設定すればよい。1つの設定値に対してそれに該当する接触面積や加速度の大きさに所定の数値幅をもたせることにより、毎回のタッチ入力間に生じる接触面積や加速度の大きさの揺らぎ成分としてのズレを吸収し、ユーザに対して常に一定の使用感を提供することができる。これは接触面積や加速度の検出値自体にも同様のことが当てはまるため、これらの検出値に移動平均化処理を施すことにより、タッチ入力時の微小な指の動きや筐体1aを持つ手の微小な動きから生じる検出値の揺らぎ成分を吸収することができる。
また、本実施形態では、ステップS56において、タッチ入力時に発生した加速度の大きさのみに基づいてその設定を行っており、加速度の軸方向については考慮していない。タッチ入力時には、図3および図4におけるZ軸方向に大きな加速度が発生すると考えられるため、加速度センサ80により検出された加速度のうちタッチパネル40のタッチ面に垂直な方向となるZ軸方向成分のみを用いればよい。もちろん他のX軸およびY軸成分全てを考慮して筐体1aに加えられる力の大きさを判別してもよい。また、加速度センサ80からは、常に重力加速度分を含む検出値が出力されることとなるため、当該検出値を一次微分することにより重力加速度成分を除去した加速度の変化の度合いに基づいて、変形度の設定を行うようにしてもよい。
また、本実施形態では、立方体オブジェクトを変形させるようにしたが、ゲーム上のオブジェクトに対するゲーム効果としてもよい。例えば、接触面積が小さく情報処理装置1に加えられる力が大きい場合は、拳で殴ったようなゲーム効果とし、接触面積が小さく情報処理装置1に加えられる力が小さい場合は、指先で突いたようなゲーム効果とし、接触面積が大きく情報処理装置1に加えられる力が大きい場合は、掌で叩いたようなゲーム効果とし、接触面積が大きく情報処理装置1に加えられる力が小さい場合は、掌で撫でたようなゲーム効果としてもよい。その他、例えば、ロールプレイングゲームやアクションゲームなどの攻撃効果に応用することもでき、この場合は、接触面積に応じて効果対象の選択範囲すなわち攻撃対象を設定し、情報処理装置1に加えられる力に応じて攻撃効果の大きさを設定する。具体的には、接触面積が小さく情報処理装置1に加えられる力が大きい場合は、単体の敵に対して強攻撃をし、接触面積が小さく情報処理装置1に加えられる力が小さい場合は、単体の敵に対して弱攻撃をし、接触面積が大きく情報処理装置1に加えられる力が大きい場合は、全体または複数の敵に対して強攻撃をし、接触面積が大きく情報処理装置1に加えられる力が小さい場合は、全体または複数の敵に対して弱攻撃をするなどである。さらにタッチ位置に応じてゲーム効果やその対象を選択するようにしてもよく、例えば、敵が表示されている部分をタッチした場合には、敵に対して攻撃魔法をかけ、味方が表示されている部分をタッチした場合には、味方に対して回復魔法や防御魔法をかけるようにしてもよい。
また、本実施形態では、接触面積と加速度値に応じて、それぞれ効果の範囲と効果の大きさを別々に設定するようにした。他の実施形態では、タッチ入力の入力面積と力検出部によって検出された力の両方に基づいて、1つの出力に係る情報処理を行ってもよい。例えば、仮想空間内のボールを叩いてより遠くへ飛ばすことを目的とするゲームにおいて、タッチパネル40への入力面積を第1のパラメータ値に変換し、力検出部が検出する加速度を第2のパラメータ値に変換して、第1のパラメータ値と第2のパラメータ値を加算して、加算した結果の値が大きければ大きいほど、ボールが遠くに飛ぶように構成してもよい。
また、本実施形態では、ゲーム等のアプリケーションにおけるオブジェクトに対して変形効果付与を行うようになっているが、画像閲覧や動画再生等のアプリケーションにおける操作入力にも適用することができる。以下、画像閲覧や動画再生等のアプリケーションにおける操作入力について詳細に説明する。画像閲覧や動画再生等のアプリケーションにおいては、記憶部20に記憶されている画像や動画等が読み出され、表示部30に表示されており、その画像等が、タッチ入力により得られる接触面積や情報処理装置1に加えられる力に基づいて操作されることになる。本変形例における表示処理の詳細は、図6に示すフローチャートの表示処理と概ね同様であるため、同様に図3、4および図6を参照しながら説明する。
ユーザは、一方の手で情報処理装置1の筐体1aを把持しており、他方の手の指5または指5、6により、表示部30上の画像等に対する操作を行うためにタッチ入力を行う。ここで、情報処理部10は、タッチパネル40から表示部30の画面上の複数の位置を取得し(ステップS1)、取得した複数の位置のうちのいずれかがアプリケーションの操作ボタンに設定されている特定領域内にあるか否かを判断する(ステップS2)。取得した複数の位置が全て特定領域内にないと判断された場合、処理を終了する。
一方、取得した複数の位置のいずれかが特定領域内にあると判断された場合には、情報処理部10は、取得したタッチパネル40から表示部30の画面上の複数の位置に基づいて、指がタッチパネル40に接触した領域の中心位置を表す接触中心位置を算出し(ステップS3)、指がタッチパネル40に接触した領域の面積を表す接触面積を算出する(ステップS4)。
情報処理部10は、算出した接触面積に基づいて、対象となる画像等に対する操作量の範囲を設定する(ステップS5)。当該操作量は該当する操作ボタンに割り付けられた操作内容に対応するものとなる。
情報処理部10は、加速度センサ80から加速度値を取得し(ステップS6)、取得した加速度値に基づいて、対象となる画像等に対する操作による、効果の大きさを設定する(ステップS7)。
情報処理部10は、このようにして設定された操作量の範囲および操作効果の大きさに基づいて、画像等に対する操作処理が行われ(ステップS8)、表示部30へ画像等に対する一連の操作およびその結果を表示部30に表示させる(ステップS9)。
なお、上述した表示処理では、接触中心位置を求めるステップS3は特段必要ないが、他の操作ボタン領域等が近くにある場合には、情報処理部10が、接触中心位置を用いて、どの操作ボタンが押されているかを判別するようにしてもよい。
上述したアプリケーション上での具体的な操作例としては、例えば、画像閲覧のアプリケーションでは、接触面積に応じて表示画像の順次表示であるスライドショーにおける送り数を設定し、タッチ入力時に情報処理装置1に加えられる力の大きさに応じて表示画像の送り速度を設定する。具体的には、接触面積が小さく情報処理装置1に加えられる力が大きい場合は、画像送り数を少なくその送り速度を速くし、接触面積が小さく情報処理装置1に加えられる力が小さい場合は、画像送り数を少なくその送り速度を遅くし、接触面積が大きく情報処理装置1に加えられる力が大きい場合は、画像送り数を多くその送り速度を速くし、接触面積が大きく情報処理装置1に加えられる力が小さい場合は、画像送り数を多くその送り速度を遅くするなどである。
また、電子ブックでは、接触面積に応じて電子ブックのページ(テキスト画像)めくり数を設定し、タッチ入力時に情報処理装置1に加えられる力の大きさに応じてページめくり速度を設定する。具体的には、接触面積が小さく情報処理装置1に加えられる力が大きい場合は、ページめくり数を少なくそのめくり速度を速くし、接触面積が小さく情報処理装置1に加えられる力が小さい場合は、ページめくり数を少なくそのめくり速度を遅くし、接触面積が大きく情報処理装置1に加えられる力が大きい場合は、ページめくり数を多くそのめくり速度を速くし、接触面積が大きく情報処理装置1に加えられる力が小さい場合は、ページめくり数を多くそのめくり速度を遅くするなどである。
また、動画再生ソフトや音楽再生ソフトでは、接触面積に応じて再生動画・音楽データの送り時間(コマ数)を設定し、タッチ入力時に情報処理装置1に加えられる力の大きさに応じて再生動画・音楽データの送り速度を設定する。具体的には、接触面積が小さく情報処理装置1に加えられる力が大きい場合は、送り時間を少なくその時間分スキップし、接触面積が小さく情報処理装置1に加えられる力が小さい場合は、送り時間を少なく早送り再生し、接触面積が大きく情報処理装置1に加えられる力が大きい場合は、送り時間を多くその時間分スキップし、接触面積が大きく情報処理装置1に加えられる力が小さい場合は、送り時間を多く早送り再生するなどである。
その他、接触面積と情報処理装置1に加えられる力の両方が所定の条件を満たした場合に特定の操作を行うよう構成することもできる。例えば、電子ブックの場合において、いわゆるタップ操作によりズームイン(拡大表示)を行い、接触面積の検出値と力の検出値とが共に所定の閾値以上となるタップ操作をしたときには、通常のタップ操作によるものとは逆の操作となるズームアウト(縮小表示)を行うなどがある。タップ操作以外にもスライド操作やフリック操作に適用することも可能である。このように、接触面積と情報処理装置1に加えられる力の両方を各種タッチ操作の入力条件として用いることにより、タッチ操作のバリエーションを増やすことができる。また、タッチ位置が特定領域にあるか否かに応じて操作内容を変更するよう構成することもでき、例えばタッチパネル40の右側をタッチした場合には早送り、左側をタッチした場合には巻き戻しなどが考えられる。
また、さらに加速度センサ80により検出された加速度の方向に基づいて操作内容を変更するように構成してもよい。例えば、通常のタッチ入力で発生する奥方向の加速度方向(−Z方向)と、筐体1aを動かしてタッチパネル40を指へ当てる際に発生する手前方向の加速度方向(+Z方向)とに基づいて、逆順表示や巻き戻し再生など各アプリケーションに応じて操作内容を適宜変更する。なお、+Z方向の加速度方向を検出するためには、タッチ検出前に検出された加速度値を逐次記憶しておき、タッチ検出直前の加速度値および加速度方向を移動平均処理して利用すればよい。
上述したような専用機能を有するアプリケーションにおける操作については、当該操作内容を変化させるための操作パラメータに、接触面積と加速度の大きさとを予め関連付けて、アプリケーション固有の値として設定しておけばよいが、情報処理装置1のOS(オペレーションソフトウェア)など情報処理装置1の基本機能を提供するソフトウェア上で上述したような操作を実行する場合には、接触面積および加速度の大きさと、操作パラメータとを対応づけた操作テーブルやデータベースを、実行されるソフトウェア毎にまたは共通のものとして記憶部20に格納しておき、タッチ入力時に検出された接触面積および加速度の大きさに対応する操作命令の変数を用いて所定の操作命令を実行するようにしてもよい。
(第2の実施形態)
従来は操作画面上でユーザの指やペン等が接触した範囲の中心位置を検出し、当該中心位置がどのボタンや選択領域上にあるかによって、ボタンの選択操作等を識別していた。しかし近年、情報端末の小型化が進み、小さな表示画面に多くのボタンや選択領域が存在することが多い。この場合、接触範囲の中心位置のみによって操作内容を識別すると、わずかな位置のずれによって押し間違いが発生し、確実な操作の妨げとなっていた。本実施例では、接触範囲の中心位置だけでなく、接触面積の大きさ等をユーザ操作の認識に用いることで、このような問題を解消している。
以下、本実施例における情報処理装置1上でゲーム等のアプリケーションソフトウェアを実行する場合を例に、図7ないし図8を参照しながら、当該情報処理装置1の具体的な使用方法および処理フローについて説明する。図7は、表示画面30上に表示された複数のオブジェクトの何れかをユーザがタッチ操作により選択する場合において、表示された複数のオブジェクト中の2つのオブジェクトを拡大して表したものである(図7中の外枠線は表示画面30の一部の範囲を示している)。ここでは、オブジェクト101はオブジェクト102と比べて大きく表示されている。情報処理部10は、ユーザがオブジェクト101の表示されている領域(領域101)にタッチした場合は、オブジェクト101が選択されたと判定し、オブジェクト102の表示されている領域(領域102)にタッチした場合は、オブジェクト102が選択されたと判定する。
図7のように、選択対象となる複数のオブジェクト101、102が表示画面上で互いに近接しているような場合、ユーザがオブジェクト101またはオブジェクト102を選択したいと思っていても、ユーザの接触範囲の中心位置が領域101、102から少しずれた各オブジェクトの間の領域(領域103)上にあることが想定される。このような場合、ユーザが接触した面積の大きさに応じていずれのオブジェクトが選択されたかを判別する。具体的には、情報処理部10は、接触面積が大きい場合は大きく表示されたオブジェクト101が選択されたと判定し、接触面積が小さい場合は小さく表示されたオブジェクト102が選択されたと判定する。なお、接触面積の大きさは、例えば、接触開始(タッチオン)から接触終了(タッチオフ)までの間に検出された接触面積のうち最大のものを読みとることで判断される。
一般的に、オブジェクトが大きいほど当該オブジェクトの判定領域は大きくなる。本実施形態では、各オブジェクトの判定領域は当該オブジェクトの表示領域と同じ位置に同じ大きさで定義される。したがって、オブジェクト101はオブジェクト102よりも大きい判定領域をもつ。そのため、ユーザ心理として、オブジェクト101を選択する場合は接触面積が大きくなり、オブジェクト102を選択する場合は接触面積が小さくなる。こういったユーザ心理を選択判定に応用することで、ユーザ所望の操作を容易に実現することが可能となる。
次に、図8の処理フローに従って、接触面積に基づいてオブジェクトの選択を判定する処理の詳細について説明する。ユーザは、情報処理装置1を把持しており、指やタッチペンを用いてタッチパネル40にタッチ入力を行う。情報処理部10は、選択対象となる複数のオブジェクトを所定の領域に配置し(ステップS11)、当該複数オブジェクトの位置関係から特定領域を決定する(ステップS12)。特定領域の決定は、あるオブジェクトと、別のあるオブジェクトがそれぞれ表示されたX座標上の範囲またはY座標上の範囲のいずれかにおいて重複する領域であって、かつ両オブジェクトの間にある領域をいう(図7においては領域103を指す)。なお、特定領域の大きさや形状は厳密でなくてもよく、この方法以外の任意の方法によって決定してもよい。
次に、情報処理部10は、タッチパネル40に対してタッチがあった位置座標群を検出し(ステップS13)、当該座標群の中での中心となる位置座標を算出・取得し(ステップS14)、当該タッチ中心位置が特定領域上にあるかを判定する(ステップS15)。特定領域上にないと判定された場合は(ステップS15でNO)、タッチ中心位置がオブジェクト上の領域か否かを判定し(ステップS20)、オブジェクト上であると判定されれば(ステップS20でYES)、当該オブジェクトが選択されたと判定され(ステップS21)、当該選択に基づく表示が表示部30になされる(ステップS22)。一方、オブジェクト上でないと判定されれば(ステップS20でNO)、選択操作が無かったものとして表示部30に表示がされる(ステップS22)。
一方、当該タッチ中心位置が特定領域上にあると判定された場合は(ステップS15でYES)、接触位置座標群に基づいて、ユーザのタッチパネル40に対する接触面積を算出する(ステップS16)。当該接触面積が所定の閾値よりも大か否かを判定し(ステップS17)、大と判定された場合は(ステップS17でYES)、表示上の面積の大きいオブジェクトが選択されたと判定し(ステップS18)、選択結果に基づく表示が行われる(ステップS22)。一方、接触面積が所定の閾値よりも大でないと判定された場合は(ステップS17でNO)、表示上の面積の小さいオブジェクトが選択されたと判定し(ステップS19)、選択結果に基づく表示が行われる(ステップS22)。なお、前記閾値は一律に定まったものでもよいし、オブジェクト毎に変化するものでもよい。
本実施形態によれば、ユーザが複数のオブジェクトの間の領域をタッチした場合であっても、当該複数のオブジェクトのうちいずれが選択されたのか容易に判定することができる。
以下、本実施例における情報処理装置1上でゲーム等のアプリケーションソフトウェアを実行する他の例として、図9ないし図10を参照しながら、当該情報処理装置1の具体的な使用方法および処理フローについて説明する。図9は、表示部30上に表示された複数のオブジェクトの何れかをユーザがタッチ操作により選択する場合において、表示画面中の2つのオブジェクトを拡大して表したものである。オブジェクト104とオブジェクト105は、領域106において重複するように表示されている。ユーザがオブジェクト104の表示されている領域(領域104)にタッチした場合は、オブジェクト104が選択されたと判定し、オブジェクト105の表示されている領域(領域105)にタッチした場合は、オブジェクト105が選択されたと判定する。
図9のように、選択対象となる複数のオブジェクト104、105が表示画面上で互いに重複しているような場合、ユーザはオブジェクト104またはオブジェクト105を選択したいと思っていても、ユーザの接触範囲の中心位置が領域104、105の表示領域が重複する領域(領域106)上にあることが想定される。この場合、接触範囲の中心位置のみに基づいて、ユーザがいずれのオブジェクトの選択を意図したのかを判断することはできない。本実施形態では、このような場合に、ユーザが接触した面積の大きさに応じていずれのオブジェクトが選択されたかを判別する。具体的には、接触面積が大きい場合は奥にあるように表示されたオブジェクト105が選択されたと判定し、接触面積が小さい場合は手前にあるように表示されたオブジェクト104が選択されたと判定する。なお、接触面積の大きさは、例えば、接触開始(タッチオン)から接触終了(タッチオフ)までの間に検出された接触面積のうち最大のものを読みとることで判断される。
奥にあるように表示されたオブジェクトを選択したい場合、ユーザ心理として、タッチパネル40をより強く押そうとすることが想定される。その結果、接触面積が大きくなる。一方、手前にあるように表示されたオブジェクトを選択したい場合、より弱くタッチパネル40に接触しようとすることが想定される。その結果、接触面積が小さくなる。こういったユーザ心理を選択判定に応用することで、ユーザ所望の操作を容易に実現することが可能となる。
次に、図10の処理フローに従って、接触面積に基づいてオブジェクトの選択を判定する処理の詳細について説明する。ユーザは、情報処理装置1を把持しており、指やタッチペンを用いてタッチパネル40にタッチ入力を行う。情報処理部10は、選択対象となる2つのオブジェクトと、当該2つのオブジェクトを撮影する仮想カメラを仮想空間内に配置する(ステップS31)。
次に、情報処理部10は、タッチパネル40に対してタッチがあった位置座標群を検出し(ステップS32)、当該座標群の中での中心となる位置座標を算出・取得する(ステップS33)。情報処理部10はさらに、当該タッチ中心位置に基づいて仮想空間内でレイを飛ばし、当該レイが複数のオブジェクトに接触したか否かを判定する(ステップS34)。2つのオブジェクトに接触していれば(ステップS34でYES)、ステップS35へ移行する。このとき、2つのオブジェクトに接触した順番を記憶しておいて、前後関係を把握しておく。一方、1つのオブジェクトだけに接触したか、オブジェクトに接触していない場合(ステップS34でNO)、ステップS39に移行する。
レイが1つのオブジェクトだけに接触したか、オブジェクトに接触していない場合(ステップS34でNO)、情報処理部10は、レイが1つのオブジェクトだけに接触したか否かを判定し(ステップS39)、1つのオブジェクトだけに接触した場合には(ステップS39でYES)、レイが接触したオブジェクトが選択されたと判定され(ステップS40)、仮想カメラで仮想空間を撮影することにより得られる画像を表示部30に表示させる(ステップS41)。一方、1つのオブジェクトにも接触していない場合には(ステップS39でNO)、ステップS41に移行する。
一方、レイが2つのオブジェクトに接触した場合(ステップS34でYES)、接触位置座標群に基づいて、ユーザのタッチパネル40に対する接触面積を算出する(ステップS35)。次に、当該接触面積が所定の閾値よりも大か否かを判定し(ステップS36)、大と判定された場合は(ステップS36でYES)、奥にあるように表示されたオブジェクトが選択されたと判定し(ステップS37)、ステップS41に移行する。一方、接触面積が所定の閾値よりも大でないと判定された場合は(ステップS36でNO)、手前にあるように表示されたオブジェクトが選択されたと判定し(ステップS38)、ステップS41に移行する。なお、前記閾値は一律に定まったものでもよいし、オブジェクト毎に変化するものでもよい。また、2つのオブジェクトの前後関係(手前か奥か)は、レイが2つのオブジェクトに接触した順番を記憶しておくことで判断する。さらに、3以上のオブジェクトについても同様に、接触面積に基づく選択判定を行うことができる。
本実施形態によれば、ユーザが複数のオブジェクトの重複する領域をタッチした場合であっても、当該複数のオブジェクトのうちいずれが選択されたのか容易に判定することができる。
また、本実施形態では、仮想空間内で仮想カメラから見たときに複数のオブジェクトが重なっている場合に、当該オブジェクトの選択判定に接触面積を用いた。他の実施形態では、平面空間上に複数オブジェクトが重なっているように表示されている場合(例えば、複数のオブジェクトが同一平面上に配置されており、かつオブジェクト同士が重複する領域については表示上の優先順位の高いオブジェクトのみが表示されているような場合)においても同様に、接触面積とオブジェクトの表示上の優先順位(見た目上の前後関係)とを対応付けてもよい。
また、本実施形態における表示部30に視差バリア方式やレンチキュラ方式などによる立体視画面を適用してもよい。これにより、立体視画面上の表示された奥行き感のあるオブジェクトに対して、より直感的な操作等を行うことができる。
また、本実施形態では、接触面積とオブジェクトの大きさや奥行き値との関係を対応付けた。他の実施形態では、オブジェクトに関する任意のもの(例えば、色彩、形状、上下、左右など)と接触面積とを関連付けてもよい。これにより、より多様な操作を提供することが可能となる。
また、本実施形態では、接触面積とオブジェクトの大きさや奥行き値との関係を対応付けた。他の実施形態では、接触面積を仮想空間の奥行指定情報として利用してもよい。例えば、あるオブジェクトに対して、奥行き方向に移動や変形等をさせたり、奥行きの程度を指定するための情報として、接触面積を利用することができる。これにより、より多様な操作を提供することが可能となる。
また、本実施形態では、接触面積とオブジェクトの大きさや奥行き値との関係を対応付けた。他の実施形態では、接触面積に代えて、もしくは接触面積と組み合わせて、親指や人差し指等どの指で接触されたかを判別し、選択判定に反映させてもよい。この場合、どの指で選択するかはその都度ユーザに(またはユーザから)指示してもよいし、接触面積や接触範囲の形状から判別してもよい。これにより、より多様な操作を提供することが可能となる。
また、本実施形態では、接触面積とオブジェクトの大きさや奥行き値との関係を対応付け、オブジェクトの選択判定に用いた。他の実施形態では、オブジェクトの選択判定でなく、その他の所定の操作・表示の変更に用いてもよい。これにより、より多様な操作を提供することが可能となる。
また、本実施形態では、接触面積とオブジェクトの大きさや奥行き値との関係を対応付けた。他の実施形態では、接触面積に代えて、もしくは接触面積と組み合わせて、タッチ時の力の検出にも基づいてもよい。この場合、タッチ時の力の検出には加速度センサ、ジャイロセンサ、圧力センサ等種々のセンサを採用しうる。これにより、より直感的かつ多様な操作を提供することが可能となる。
また、本実施形態では、接触面積とオブジェクトの大きさや奥行き値との関係を対応付けた。他の実施形態では、接触面積に代えて、もしくは接触面積と組み合わせて、接触時間に基づいて判定処理を行ってもよい。これにより、より多様な操作を提供することが可能となる。
また、本実施形態では、複数のオブジェクトが前後に重複して表示されている場合、接触面積が大きいほど奥行き値の大きいオブジェクトが選択されたと判定される。他の実施形態では、複数のオブジェクトが前後に重複して表示されている場合、接触面積が大きいほど奥行き値の小さいオブジェクトが選択されたと判定されてもよい。
また、本実施形態では、接触開始(タッチオン)から接触終了(タッチオフ)までの間に検出された接触面積のうち最大のものを読みとった。他の実施形態では、当該期間における接触面積の平均値や積分値を読み取ってもよい。また、当該期間の接触面積を読み取るのではなく、タッチオフから所定時間遡ったときの最大値または平均値を読み取っても良い。これにより、より正確な操作を提供することが可能となる。
また、所定時間間隔ごとに接触面積を検出し、当該面積に応じて選択対象となりうべきものを逐次的にハイライト表示させてもよい。この場合、ユーザがタッチオフした場合、直前にハイライト表示されていたオブジェクトが選択されたと判定する。これにより、より直感的な操作を提供することが可能となる。
また、タッチの態様はユーザの癖や個性が反映されることから、ユーザ毎の押し方の癖を学習するよう構成してもよい。選択対象とタッチ領域との関係を集計することにより自然と学習してもよいし、事前にユーザに所定領域のタッチを要求することで学習してもよい。これにより、より多様な操作を提供することが可能となる。
また、接触面積の大きさに加えて、接触時間も加味して選択対象を判別してもよい。具体的には、接触時間が大きい場合は表示面積の大きいオブジェクトが選択されるよう判定してもよい。これにより、より直感的かつ多様な操作を提供することが可能となる。
また、選択対象となるオブジェクトが複数でない場合(1つの場合)においても、接触位置と接触面積の大きさに応じて、当該オブジェクトが選択されたか否かを判定してもよい。接触位置と接触面積の両方を選択判定に用いることによって、誤って接触したような場合の誤操作を防止することが可能になる。
以上のように、本実施形態では、表示部30と、位置入力部としてのタッチパネル40とを備える情報処理装置1のコンピュータとしての情報処理部10に実行させる情報処理プログラムであって、
複数の選択対象を所定の表示態様で前記表示部30に表示する表示手段、
前記位置入力部により検出された複数の入力位置からなる接触面積を判別する判別手段、および
少なくとも、前記接触面積と、一の選択対象と他の選択対象との間の表示態様における相対的関係とに基づき、いずれの選択対象が選択されたかの判定を行う判定手段として機能させるための情報処理プログラムを構成している。
このようにすれば、選択対象が複数ある場合の選択操作をより直感的に行うことが可能となる。
さらに、本実施形態では、前記判定手段は、前記接触面積の大きさに応じた大きさの選択対象を前記複数の選択対象から選択する。
このようにすれば、選択対象に対する選択操作をより直感的に行うことが可能となる。
さらに、本実施形態では、前記判定手段は、前記接触面積の大きさに応じた位置の選択対象を前記複数の選択対象から選択する。この場合、仮想空間内に前記複数の選択対象と仮想カメラを配置し、前記接触面積の大きさに応じた奥行きの位置にある選択対象を複数の選択対象から選択してもよい。
このようにすれば、選択対象に対する選択操作をより直感的に行うことが可能となる。
さらに、本実施形態では、
前記情報処理プログラムは、ユーザの接触検出部に対する接触位置を検出する接触位置検出手段として前記情報処理装置のコンピュータを更に機能させ、
前記判定手段は前記接触位置検出手段により検出された前記接触位置が前記複数のオブジェクトに挟まれる領域または前記複数のオブジェクトが重なる領域(特定領域)内である場合に前記判定を行う情報処理プログラムを構成している。
このようにすれば、選択対象が複数ある場合の選択操作をよりより確実に行うことが可能となる。
10 情報処理装置
20 記憶部
30 表示部
40 タッチパネル
80 加速度センサ

Claims (19)

  1. 情報処理装置に加えられる力を検出する力検出部を備える当該情報処理装置のコンピュータを、タッチ入力部からタッチ位置を取得し、タッチ入力の入力面積を判別する判別手段、および前記入力面積と前記力検出部により検出された力とに基づいて所定の情報処理を行う情報処理手段として機能させるための情報処理プログラム。
  2. 前記情報処理手段は、前記力検出部により力が検出された時の前記入力面積と、前記検出された力とに基づいて前記所定の情報処理を行う、請求項1に記載の情報処理プログラム。
  3. 前記情報処理手段は、前記入力面積と前記検出された力の両方に基づいて前記所定の情報処理を行う、請求項1又は請求項2に記載の情報処理プログラム。
  4. 前記情報処理手段は、前記入力面積、前記検出された力および前記タッチ位置に基づいて前記所定の情報処理を行う、請求項1ないし請求項3のいずれかに記載の情報処理プログラム。
  5. 前記力検出部は、前記情報処理装置の動きを検出する動きセンサであり、前記情報処理手段は、前記入力面積と前記検出された動きとに基づいて前記所定の情報処理を行う、請求項1ないし請求項4のいずれかに記載の情報処理プログラム。
  6. 前記情報処理手段は、前記入力面積と、前記動きセンサにより検出された動きの大きさおよびその方向とに基づいて前記所定の情報処理を行う、請求項5に記載の情報処理プログラム。
  7. 前記力検出部は、前記タッチ入力部に加えられた圧力を検出する圧力センサであり、前記力検出値は当該圧力センサにより検出された圧力の大きさである、請求項1ないし請求項4のいずれかに記載の情報処理プログラム。
  8. 前記情報処理手段は、前記入力面積および前記検出された力がそれぞれ所定の大きさを超えた場合に前記所定の情報処理を行う、請求項1ないし請求項7のいずれかに記載の情報処理プログラム。
  9. 前記情報処理手段は、前記タッチ位置が特定領域内にある場合に前記所定の情報処理を行う、請求項1ないし請求項8のいずれかに記載の情報処理プログラム。
  10. 前記判別手段は、前記タッチ入力部に対するタッチ数に基づいて前記入力面積を判別する、請求項1ないし請求項9のいずれかに記載の情報処理プログラム。
  11. 前記情報処理装置は記憶部を備え、前記記憶部は、設定値に対応する情報処理が規定された設定値テーブルを記憶しており、
    前記情報処理手段は、前記入力面積および前記検出された力を示す力検出値のうち少なくとも1つの値を前記設定値テーブルの設定値から検索し、該当する設定値に対応する情報処理を行う、請求項1ないし請求項10のいずれかに記載の情報処理プログラム。
  12. 前記情報処理装置のコンピュータを、記憶部から情報を読み出し表示部に表示する表示手段として更に機能させ、
    前記情報処理手段が行う情報処理は、前記表示部に表示されるオブジェクトの変形に関する処理であり、前記入力面積および前記検出された力のうち少なくとも1つに基づいて、前記オブジェクトの変形範囲および変形度のうち少なくとも1つが変化する、請求項1ないし請求項11のいずれかに記載の情報処理プログラム。
  13. 前記情報処理手段は、前記入力面積および前記検出された力のうち少なくとも1つに基づいて、さらに前記オブジェクトの変形に所定の形状変更を付与する、請求項12に記載の情報処理プログラム。
  14. 前記情報処理手段が行う情報処理は、ゲーム効果に関する処理であり、前記入力面積および前記検出された力のうち少なくとも1つに基づいて、前記ゲーム効果の対象範囲および大きさのうち少なくとも1つが変化する、請求項1ないし請求項13のいずれかに記載の情報処理プログラム。
  15. 前記情報処理装置のコンピュータを、記憶部から情報を読み出し表示部に表示する表示手段として更に機能させ、
    前記情報処理手段が行う情報処理は、前記表示部の画像表示に関する処理であり、前記入力面積および前記検出された力のうち少なくとも1つに基づいて、前記画像表示の送り数および送り速度のうち少なくとも1つが変化する、請求項1ないし請求項11のいずれかに記載の情報処理プログラム。
  16. 前記情報処理手段が行う情報処理は、データ再生に関する処理であり、前記入力面積および前記検出された力のうち少なくとも1つに基づいて、前記データ再生の送り時間および送り速度のうち少なくとも1つが変化する、請求項1ないし請求項9のいずれかに記載の情報処理プログラム。
  17. タッチ入力部からタッチ位置を取得し、タッチ入力の入力面積を判別するステップ、情報処理装置に加えられる力を検出する力検出部から力検出値を取得するステップ、および前記入力面積と前記力検出値とに基づいて所定の情報処理を行うステップを含む、情報処理方法。
  18. 表示部と、情報処理部と、当該情報処理部で処理される情報が格納された記憶部と、タッチ入力が可能なタッチ入力部と、情報処理装置に加えられる力を検出する力検出部とを備え、前記情報処理部が、前記タッチ入力の入力面積を判別し、当該入力面積と前記力検出部により検出された力とに基づいて所定の情報処理を行うように構成した情報処理システム。
  19. 表示部と、情報処理部と、当該情報処理部で処理される情報が格納された記憶部と、タッチ入力が可能なタッチ入力部と、情報処理装置に加えられる力を検出する力検出部とを備え、前記情報処理部が、前記タッチ入力の入力面積を判別し、当該入力面積と前記力検出部により検出された力とに基づいて所定の情報処理を行うように構成した情報処理装置。
JP2011287725A 2011-12-28 2011-12-28 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 Active JP6021335B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011287725A JP6021335B2 (ja) 2011-12-28 2011-12-28 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
EP12192737.0A EP2610728A3 (en) 2011-12-28 2012-11-15 Information processing program, information processing system, and information processing method
US13/680,948 US20130169565A1 (en) 2011-12-28 2012-11-19 Computer-readable non-transitory storage medium, information processing apparatus, information processing system, and information processing method
US15/825,873 US10732742B2 (en) 2011-12-28 2017-11-29 Information processing program and method for causing a computer to transform a displayed object based on input area and force of a touch input

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011287725A JP6021335B2 (ja) 2011-12-28 2011-12-28 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法

Publications (2)

Publication Number Publication Date
JP2013137613A true JP2013137613A (ja) 2013-07-11
JP6021335B2 JP6021335B2 (ja) 2016-11-09

Family

ID=47504600

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011287725A Active JP6021335B2 (ja) 2011-12-28 2011-12-28 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法

Country Status (3)

Country Link
US (2) US20130169565A1 (ja)
EP (1) EP2610728A3 (ja)
JP (1) JP6021335B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015049850A (ja) * 2013-09-04 2015-03-16 レノボ・シンガポール・プライベート・リミテッド 携帯型情報処理装置、そのデータ処理方法、およびコンピュータが実行可能なプログラム
JP2015075894A (ja) * 2013-10-08 2015-04-20 キヤノン株式会社 表示制御装置及び表示制御装置の制御方法
KR20150094967A (ko) * 2014-02-12 2015-08-20 삼성전자주식회사 적어도 하나의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
JP2015165341A (ja) * 2014-02-28 2015-09-17 富士通株式会社 電子機器、制御プログラム、制御方法、及び、集積回路
JP2016031672A (ja) * 2014-07-29 2016-03-07 アルプス電気株式会社 入力装置及び指判定方法並びにプログラム
JP2017502384A (ja) * 2013-11-21 2017-01-19 ▲華▼▲為▼▲終▼端有限公司 タッチ選択のための視覚的フィードバック方法および装置
JP2018511892A (ja) * 2015-04-14 2018-04-26 華為技術有限公司Huawei Technologies Co.,Ltd. ジェスチャコントロール方法、装置、端末デバイス、およびストレージ媒体
JP2018073415A (ja) * 2016-10-25 2018-05-10 株式会社半導体エネルギー研究所 表示装置、表示モジュール、電子機器、及びタッチパネル入力システム
KR20180081133A (ko) * 2015-11-25 2018-07-13 후아웨이 테크놀러지 컴퍼니 리미티드 신속한 스크린 분할 방법 및 장치, 전자 디바이스, 디스플레이 인터페이스, 및 저장 매체
JP2019012573A (ja) * 2018-10-24 2019-01-24 シャープ株式会社 情報処理装置、情報処理方法及びプログラム
JP2019051297A (ja) * 2017-09-15 2019-04-04 株式会社セガゲームス 情報処理装置及びプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9268424B2 (en) * 2012-07-18 2016-02-23 Sony Corporation Mobile client device, operation method, recording medium, and operation system
JPWO2015174110A1 (ja) * 2014-05-14 2017-04-20 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2016035716A (ja) * 2014-08-04 2016-03-17 富士通株式会社 情報処理装置、入力制御方法および入力制御プログラム
JP6643776B2 (ja) * 2015-06-11 2020-02-12 株式会社バンダイナムコエンターテインメント 端末装置及びプログラム
US20180336768A1 (en) * 2017-05-16 2018-11-22 Honeywell International Inc. Systems and methods for outdoor evacuation guidance using an uav
US10656763B1 (en) * 2019-01-04 2020-05-19 Sensel, Inc. Dynamic adjustment of a click threshold corresponding to a force-based tactile sensor

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163193A (ja) * 1998-11-25 2000-06-16 Seiko Epson Corp 携帯情報機器及び情報記憶媒体
JP2005143714A (ja) * 2003-11-13 2005-06-09 Omron Corp ゲーム装置制御方法とゲーム装置
JP2006181286A (ja) * 2004-12-28 2006-07-13 Sega Corp 画像処理装置およびその方法
JP2006268073A (ja) * 2005-03-22 2006-10-05 Matsushita Electric Ind Co Ltd データ処理装置
JP2006345209A (ja) * 2005-06-08 2006-12-21 Sony Corp 入力装置、情報処理装置、情報処理方法、及びプログラム
JP2008508629A (ja) * 2004-08-02 2008-03-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 圧力依存型視覚フィードバックを備えるタッチスクリーン
JP2010020608A (ja) * 2008-07-11 2010-01-28 Olympus Imaging Corp 電子装置、カメラ、オブジェクト選択方法、および、オブジェクト選択プログラム
JP2011036588A (ja) * 2009-08-18 2011-02-24 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム制御プログラム、及びゲーム制御方法
JP2011053971A (ja) * 2009-09-02 2011-03-17 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2011138402A (ja) * 2009-12-28 2011-07-14 Canon Inc 操作入力装置、表示装置、撮影装置及び動画再生装置
JP2012048623A (ja) * 2010-08-30 2012-03-08 Sony Corp 情報処理装置、パラメータ設定方法、及びプログラム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020149571A1 (en) * 2001-04-13 2002-10-17 Roberts Jerry B. Method and apparatus for force-based touch input
WO2006013520A2 (en) * 2004-08-02 2006-02-09 Koninklijke Philips Electronics N.V. System and method for enabling the modeling virtual objects
US20070070046A1 (en) * 2005-09-21 2007-03-29 Leonid Sheynblat Sensor-based touchscreen assembly, handheld portable electronic device having assembly, and method of determining touch location on a display panel
US20080084400A1 (en) * 2006-10-10 2008-04-10 Outland Research, Llc Touch-gesture control of video media play on handheld media players
US8665225B2 (en) * 2007-01-07 2014-03-04 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture
TWI352306B (en) * 2007-12-18 2011-11-11 Wistron Corp Touch-sensitive screen electronic apparatus and co
JP5360058B2 (ja) * 2008-06-30 2013-12-04 日本電気株式会社 情報処理装置、表示制御方法、及びプログラム
JP5100556B2 (ja) * 2008-07-30 2012-12-19 キヤノン株式会社 情報処理方法及び装置
US8604364B2 (en) * 2008-08-15 2013-12-10 Lester F. Ludwig Sensors, algorithms and applications for a high dimensional touchpad
JP2010093707A (ja) 2008-10-10 2010-04-22 Nec Saitama Ltd 携帯型電子装置、文字入力画面表示方法およびプログラム
JP4743268B2 (ja) * 2008-12-15 2011-08-10 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US8407606B1 (en) * 2009-01-02 2013-03-26 Perceptive Pixel Inc. Allocating control among inputs concurrently engaging an object displayed on a multi-touch device
US8363020B2 (en) * 2009-08-27 2013-01-29 Symbol Technologies, Inc. Methods and apparatus for pressure-based manipulation of content on a touch screen
US8179376B2 (en) * 2009-08-27 2012-05-15 Research In Motion Limited Touch-sensitive display with capacitive and resistive touch sensors and method of control
US9262063B2 (en) * 2009-09-02 2016-02-16 Amazon Technologies, Inc. Touch-screen user interface
US20110057886A1 (en) * 2009-09-10 2011-03-10 Oliver Ng Dynamic sizing of identifier on a touch-sensitive display
KR101657963B1 (ko) * 2009-12-08 2016-10-04 삼성전자 주식회사 단말기의 터치 면적 변화율에 따른 운용 방법 및 장치
US20110221684A1 (en) * 2010-03-11 2011-09-15 Sony Ericsson Mobile Communications Ab Touch-sensitive input device, mobile device and method for operating a touch-sensitive input device
JP2011221640A (ja) * 2010-04-06 2011-11-04 Sony Corp 情報処理装置、情報処理方法およびプログラム
US8643612B2 (en) * 2010-05-25 2014-02-04 MCube Inc. Touchscreen operation threshold methods and apparatus
EP2390772A1 (en) * 2010-05-31 2011-11-30 Sony Ericsson Mobile Communications AB User interface with three dimensional user input
US8576171B2 (en) * 2010-08-13 2013-11-05 Immersion Corporation Systems and methods for providing haptic feedback to touch-sensitive input devices
US9030419B1 (en) * 2010-09-28 2015-05-12 Amazon Technologies, Inc. Touch and force user interface navigation
US9262002B2 (en) * 2010-11-03 2016-02-16 Qualcomm Incorporated Force sensing touch screen
US9223445B2 (en) * 2010-12-02 2015-12-29 Atmel Corporation Position-sensing and force detection panel
US9069460B2 (en) * 2011-09-12 2015-06-30 Google Technology Holdings LLC Using pressure differences with a touch-sensitive display screen
US20130088434A1 (en) * 2011-10-06 2013-04-11 Sony Ericsson Mobile Communications Ab Accessory to improve user experience with an electronic display

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163193A (ja) * 1998-11-25 2000-06-16 Seiko Epson Corp 携帯情報機器及び情報記憶媒体
JP2005143714A (ja) * 2003-11-13 2005-06-09 Omron Corp ゲーム装置制御方法とゲーム装置
JP2008508629A (ja) * 2004-08-02 2008-03-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 圧力依存型視覚フィードバックを備えるタッチスクリーン
JP2006181286A (ja) * 2004-12-28 2006-07-13 Sega Corp 画像処理装置およびその方法
JP2006268073A (ja) * 2005-03-22 2006-10-05 Matsushita Electric Ind Co Ltd データ処理装置
JP2006345209A (ja) * 2005-06-08 2006-12-21 Sony Corp 入力装置、情報処理装置、情報処理方法、及びプログラム
JP2010020608A (ja) * 2008-07-11 2010-01-28 Olympus Imaging Corp 電子装置、カメラ、オブジェクト選択方法、および、オブジェクト選択プログラム
JP2011036588A (ja) * 2009-08-18 2011-02-24 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム制御プログラム、及びゲーム制御方法
JP2011053971A (ja) * 2009-09-02 2011-03-17 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2011138402A (ja) * 2009-12-28 2011-07-14 Canon Inc 操作入力装置、表示装置、撮影装置及び動画再生装置
JP2012048623A (ja) * 2010-08-30 2012-03-08 Sony Corp 情報処理装置、パラメータ設定方法、及びプログラム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015049850A (ja) * 2013-09-04 2015-03-16 レノボ・シンガポール・プライベート・リミテッド 携帯型情報処理装置、そのデータ処理方法、およびコンピュータが実行可能なプログラム
JP2015075894A (ja) * 2013-10-08 2015-04-20 キヤノン株式会社 表示制御装置及び表示制御装置の制御方法
JP2017502384A (ja) * 2013-11-21 2017-01-19 ▲華▼▲為▼▲終▼端有限公司 タッチ選択のための視覚的フィードバック方法および装置
KR20150094967A (ko) * 2014-02-12 2015-08-20 삼성전자주식회사 적어도 하나의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
KR102205283B1 (ko) * 2014-02-12 2021-01-20 삼성전자주식회사 적어도 하나의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
JP2015165341A (ja) * 2014-02-28 2015-09-17 富士通株式会社 電子機器、制御プログラム、制御方法、及び、集積回路
JP2016031672A (ja) * 2014-07-29 2016-03-07 アルプス電気株式会社 入力装置及び指判定方法並びにプログラム
US10802704B2 (en) 2015-04-14 2020-10-13 Huawei Technologies Co., Ltd. Gesture control method, apparatus, terminal device, and storage medium
JP2018511892A (ja) * 2015-04-14 2018-04-26 華為技術有限公司Huawei Technologies Co.,Ltd. ジェスチャコントロール方法、装置、端末デバイス、およびストレージ媒体
KR20180081133A (ko) * 2015-11-25 2018-07-13 후아웨이 테크놀러지 컴퍼니 리미티드 신속한 스크린 분할 방법 및 장치, 전자 디바이스, 디스플레이 인터페이스, 및 저장 매체
US10642483B2 (en) 2015-11-25 2020-05-05 Huawei Technologies Co., Ltd. Quick screen splitting method, apparatus, and electronic device, display UI, and storage medium
KR102141099B1 (ko) * 2015-11-25 2020-08-04 후아웨이 테크놀러지 컴퍼니 리미티드 신속한 스크린 분할 방법 및 장치, 전자 디바이스, 디스플레이 인터페이스, 및 저장 매체
JP2019500688A (ja) * 2015-11-25 2019-01-10 華為技術有限公司Huawei Technologies Co.,Ltd. 迅速な画面分割方法、装置、および電子デバイス、表示ui、および記憶媒体
CN109863470A (zh) * 2016-10-25 2019-06-07 株式会社半导体能源研究所 显示装置、显示模块、电子设备及触摸屏输入系统
JP2018073415A (ja) * 2016-10-25 2018-05-10 株式会社半導体エネルギー研究所 表示装置、表示モジュール、電子機器、及びタッチパネル入力システム
JP2019051297A (ja) * 2017-09-15 2019-04-04 株式会社セガゲームス 情報処理装置及びプログラム
JP2019012573A (ja) * 2018-10-24 2019-01-24 シャープ株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
EP2610728A2 (en) 2013-07-03
JP6021335B2 (ja) 2016-11-09
US10732742B2 (en) 2020-08-04
US20130169565A1 (en) 2013-07-04
US20180081461A1 (en) 2018-03-22
EP2610728A3 (en) 2017-10-11

Similar Documents

Publication Publication Date Title
JP6021335B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP5802667B2 (ja) ジェスチャ入力装置およびジェスチャ入力方法
JP5205157B2 (ja) 携帯型画像表示装置、その制御方法、プログラム及び情報記憶媒体
WO2018113740A1 (en) Combining virtual reality and augmented reality
US9423876B2 (en) Omni-spatial gesture input
US20190278376A1 (en) System and method for close-range movement tracking
WO2011142317A1 (ja) ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体
TWI543018B (zh) An input device, an input method, and storage medium
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
US20150199030A1 (en) Hover-Sensitive Control Of Secondary Display
CN110442231A (zh) 用于与数字设备交互的直接指向检测的系统和方法
JP6062416B2 (ja) 情報入力装置及び情報表示方法
US20140317576A1 (en) Method and system for responding to user's selection gesture of object displayed in three dimensions
JP6078719B2 (ja) 移動制御装置及びプログラム
JP6534011B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
JPWO2018003862A1 (ja) 制御装置、表示装置、プログラムおよび検出方法
JP6519075B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
EP2600234A1 (en) Information processing device, method for controlling information processing device, program, and information storage medium
US9423948B2 (en) Information processing device, control method for information processing device, program, and information storage medium for determining collision between objects on a display screen
US9235338B1 (en) Pan and zoom gesture detection in a multiple touch display
US9898183B1 (en) Motions for object rendering and selection
JP5827695B2 (ja) 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
JP2017091336A (ja) 情報端末装置
US12032754B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
US20150323999A1 (en) Information input device and information input method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161004

R150 Certificate of patent or registration of utility model

Ref document number: 6021335

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250