JP2016133978A

JP2016133978A - Information processor, information processing method and program

Info

Publication number: JP2016133978A
Application number: JP2015008087A
Authority: JP
Inventors: 可奈子山河; Kanako Sanga; 里見　宏; Hiroshi Satomi; 宏里見
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-01-19
Filing date: 2015-01-19
Publication date: 2016-07-25

Abstract

PROBLEM TO BE SOLVED: To achieve a detailed input operation by a user.SOLUTION: An information processor includes reception means for receiving a user operation in which a position that is determined on the basis of two points and is different from the two points is determined as an input position when a touch input to the two points on an input surface is detected, and processing means for performing processing corresponding to the user operation. The processing means displays a cursor at a position corresponding to an input position of a display screen if set in a first mode, and selects an object displayed at the position corresponding to the input position on the display screen if set in a second mode.SELECTED DRAWING: Figure 1

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。 The present invention relates to an information processing apparatus, an information processing method, and a program.

近年、タッチパネルを備えた携帯電話端末や携帯音楽プレーヤ、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）等のモバイル機器が多数製品化されている。それに伴い、タッチパネルに対応したアプリケーションが多数開発されており、その中には、細かな編集操作が必要とされるものも含まれている。例えば、大きなオブジェクトを選択する際は１本指でタッチすることでオブジェクト選択できるようにすることが、操作も簡易で分かり易いＵＩである。しかし、小さいオブジェクトを指で選択する場合には、指がオブジェクトに被ってしまうため、オブジェクト自体が見えなくなる。特許文献１には、この問題を回避するため、オペレータがタッチパネルをタッチしてカーソルを移動させる場合、移動させたカーソルを実際の位置より上方にずらすことにより、カーソルがオペレータの指に隠れないようにすることが開示されている。 In recent years, a large number of mobile devices such as mobile phone terminals, portable music players, and PDAs (Personal Digital Assistants) equipped with a touch panel have been commercialized. Along with this, many applications that support touch panels have been developed, and some of them require detailed editing operations. For example, when selecting a large object, the user can select the object by touching with one finger, and the UI is simple and easy to understand. However, when a small object is selected with a finger, the object is not visible because the finger covers the object. In Patent Document 1, in order to avoid this problem, when the operator moves the cursor by touching the touch panel, the cursor is not hidden by the operator's finger by shifting the moved cursor above the actual position. Is disclosed.

また、表示画面の端や隅に表示されているオブジェクトは、タッチし難く、このようなオブジェクトを選択する操作は、ユーザにとって煩わしい操作となる。特許文献２には、常にカーソルをタッチ位置の上側に表示することにより、画面最下部に指示点を設けることができなくなるという問題を回避する技術として、画面の下側の領域ではカーソルをタッチ位置の左側に表示することが開示されている。さらに、特許文献２には、画面の下側の領域でカーソルをタッチ位置の左側に表示すると画面の左下側には指示点を設けることができなくなってしまうので、画面の左下側の領域ではカーソルをタッチ位置の右側に表示することが開示されている。 In addition, objects displayed at the edges and corners of the display screen are difficult to touch, and an operation for selecting such an object is a troublesome operation for the user. In Patent Document 2, as a technique for avoiding the problem that the indication point cannot be provided at the bottom of the screen by always displaying the cursor above the touch position, the cursor is moved to the touch position in the lower area of the screen. Is displayed on the left side. Further, in Patent Document 2, if the cursor is displayed on the left side of the touch position in the lower area of the screen, the pointing point cannot be provided on the lower left side of the screen. Therefore, the cursor is not displayed on the lower left area of the screen. Is displayed on the right side of the touch position.

特開平９−２３７１５７号公報Japanese Patent Laid-Open No. 9-237157 特開平１０−４００１０号公報Japanese Patent Laid-Open No. 10-40010

しかしながら、複数のオブジェクトが近接して配置されている場合、ユーザは所望のオブジェクトをタッチしたつもりでも、別のアイコンや複数のオブジェクトが選択されてしまうことがある。また、オブジェクトを移動させる等の微調整が必要な場合には、１本指によるオブジェクトのタッチ、ドラッグ操作では細かな位置の指定が困難である。また、特許文献１、２の技術においては、カーソルの表示位置が自動的に変更されるため、ユーザのタッチ操作中にカーソル（選択位置）が突然、予想しない別の場所に移動してしまうという問題があった。 However, when a plurality of objects are arranged close to each other, another icon or a plurality of objects may be selected even if the user intends to touch the desired object. When fine adjustment such as moving an object is necessary, it is difficult to specify a fine position by touching or dragging the object with one finger. In the techniques of Patent Documents 1 and 2, the cursor display position is automatically changed, so that the cursor (selection position) suddenly moves to another unexpected place during the user's touch operation. There was a problem.

本発明はこのような問題点に鑑みなされたもので、ユーザによる細かな入力操作を実現することを目的とする。 The present invention has been made in view of such problems, and an object thereof is to realize a fine input operation by a user.

そこで、本発明は、情報処理装置であって、入力面上の２点へのタッチ入力が検知された場合に、前記２点に基づいて定まる位置であり、かつ前記２点と異なる位置を入力位置とするユーザ操作を受け付ける受付手段と、前記ユーザ操作に応じた処理を行う処理手段とを有することを特徴とする。 Therefore, the present invention is an information processing apparatus, and when a touch input to two points on an input surface is detected, a position determined based on the two points and a position different from the two points are input. It has a receiving means for receiving a user operation as a position, and a processing means for performing processing according to the user operation.

本発明によれば、ユーザによる細かな入力操作を実現することができる。 According to the present invention, a fine input operation by a user can be realized.

情報処理装置を示す図である。It is a figure which shows information processing apparatus. マルチ選択モードの説明図である。It is explanatory drawing of multi selection mode. カーソル表示モードの説明図である。It is explanatory drawing of cursor display mode. タッチパネルの表示例を示す図である。It is a figure which shows the example of a display of a touchscreen. 情報処理装置による処理を示すフローチャートである。It is a flowchart which shows the process by information processing apparatus. 通常選択モード処理を示すフローチャートである。It is a flowchart which shows a normal selection mode process. マルチ選択モード処理を示すフローチャートである。It is a flowchart which shows a multi selection mode process. カーソル表示モード処理を示すフローチャートである。It is a flowchart which shows a cursor display mode process.

以下、本発明の実施形態について図面に基づいて説明する。
図１は、本実施形態の情報処理装置１００を示す図である。情報処理装置１００は、タッチパネル１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０４、ＣＰＵ１０５、ネットワークＩ／Ｆ１０６及びバス１０７を有している。タッチパネル１０１は、タッチセンサが配置された入力面と、表示画面としてのディスプレイを備え、タッチセンサをディスプレイに重ね合わせて平面的に構成されている。タッチパネル１０１は、物体が接触した入力面上の位置を示す座標情報を出力する入力デバイスである。タッチパネル１０１は、情報処理装置１００が出力する画像情報をディスプレイに表示する表示機能と、タッチセンサにより物体の接触を検知し検知情報を電気信号としてＣＰＵ１０５に入力する入力機能を有している。タッチパネル１０１は、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものであってもよい。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram illustrating an information processing apparatus 100 according to the present embodiment. The information processing apparatus 100 includes a touch panel 101, ROM 102, RAM 103, HDD 104, CPU 105, network I / F 106, and bus 107. The touch panel 101 includes an input surface on which a touch sensor is disposed and a display as a display screen, and is configured in a planar manner by superimposing the touch sensor on the display. The touch panel 101 is an input device that outputs coordinate information indicating a position on an input surface that is touched by an object. The touch panel 101 has a display function for displaying image information output from the information processing apparatus 100 on a display, and an input function for detecting contact of an object with a touch sensor and inputting detection information to the CPU 105 as an electrical signal. The touch panel 101 may be any of various types of touch panels such as a resistive film method, a capacitance method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, an image recognition method, and an optical sensor method. Good.

ＲＯＭ１０２は、タッチ入力プログラム等の各種制御プログラムやデータを保存する。ＲＡＭ１０３は、ＣＰＵ１０５のワーク領域、エラー処理時のデータの退避領域、制御プログラムのロード領域等を有する。ＨＤＤ１０４は、情報処理装置１００内で実行される制御プログラムや一時保管したデータ等を格納する。ＣＰＵ１０５は、ＲＯＭ１０２、ＨＤＤ１０４に格納されたＯＳや制御プログラムに基づいて、各デバイスを制御する。なお、後述する情報処理装置１００の機能や処理は、ＣＰＵ１０５がＲＯＭ１０２又はＨＤＤ１０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。 The ROM 102 stores various control programs such as a touch input program and data. The RAM 103 has a work area for the CPU 105, a data save area for error processing, a control program load area, and the like. The HDD 104 stores a control program executed in the information processing apparatus 100, temporarily stored data, and the like. The CPU 105 controls each device based on the OS and control program stored in the ROM 102 and the HDD 104. Note that the functions and processing of the information processing apparatus 100 to be described later are realized by the CPU 105 reading a program stored in the ROM 102 or the HDD 104 and executing the program.

ネットワークＩ／Ｆ１０６は、他の情報処理装置やプリンタ等とネットワークを介して通信を行う。バス１０７は、アドレスバス、データバス及びコントロールバスを含む。ＣＰＵ１０５に対する制御プログラムの提供は、ＲＯＭ１０２、ＨＤＤ１０４から行うこともできるし、ネットワークＩ／Ｆ１０６を介してネットワーク経由で他の情報処理装置等から行うこともできる。 The network I / F 106 communicates with other information processing apparatuses, printers, and the like via the network. The bus 107 includes an address bus, a data bus, and a control bus. The provision of the control program to the CPU 105 can be performed from the ROM 102 and the HDD 104, or can be performed from another information processing apparatus or the like via the network via the network I / F 106.

ＣＰＵ１０５は、タッチパネル１０１へのユーザ操作を受け付け、ユーザ操作に応じた、操作状態を検知する。操作状態としては、タッチダウン、タッチオン、ドラッグ、タッチアップ及びタッチオフが挙げられる。タッチダウンとは、指やペン等の物体がタッチパネル１０１に触れる操作が行われた状態である。タッチオンとは、物体がタッチパネル１０１に触れている状態である。ドラッグとは、物体がタッチパネルに触れたまま移動している状態である。タッチアップとは、タッチパネル１０１に触れていた物体をタッチパネル１０１から離す操作が行われた状態である。タッチオフとは、何もタッチパネル１０１に触れていない状態である。 CPU105 receives the user operation to the touch panel 101, and detects the operation state according to user operation. Examples of the operation state include touch-down, touch-on, dragging, touch-up, and touch-off. Touchdown is a state where an operation such as touching the touch panel 101 with an object such as a finger or a pen is performed. Touch-on is a state where an object is touching the touch panel 101. Dragging is a state in which an object is moving while touching the touch panel. Touch-up is a state in which an operation of moving an object that has been touching the touch panel 101 away from the touch panel 101 is performed. Touch-off is a state in which nothing touches the touch panel 101.

操作状態としてはまた、シングルタップ、マルチタップ、ダブルシングルタップ（ダブルマルチタップ）、ロングシングルタップ、ロングマルチタップが挙げられる。シングルタップとは、タッチダウンが検知された後、所定時間内にタッチアップが連続して行われた状態である。マルチタップとは、複数カ所で同時にタッチダウンが検知された後、所定時間内に複数箇所で同時にタッチアップが行われた状態である。ダブルシングルタップとは、所定の時間内のタッチダウンとタッチアップの操作が、さらに所定時間内に２度行われた状態である。ロングシングルタップとは、１箇所でタッチダウンが検知された後、所定時間経過後に１箇所でタッチアップが連続して行われた状態である。ロングマルチタップとは、複数箇所でタッチダウンが検知された後、所定時間経過後に複数箇所でタッチアップが連続して行われた状態である。 Examples of the operation state include single tap, multi tap, double single tap (double multi tap), long single tap, and long multi tap. Single tap is a state in which touch-up is continuously performed within a predetermined time after touch-down is detected. Multi-tap is a state in which touch-up is simultaneously performed at a plurality of locations within a predetermined time after touch-down is detected at a plurality of locations simultaneously. The double single tap is a state in which touchdown and touchup operations within a predetermined time are further performed twice within a predetermined time. The long single tap is a state in which touch-up is continuously performed at one place after a predetermined time has elapsed after touch-down is detected at one place. The long multi-tap is a state in which touch-up is continuously performed at a plurality of locations after a predetermined time has elapsed after touch-down is detected at the plurality of locations.

なお、タップとは、比較的短い所定時間以下の間、タッチパネル１０１に接触する操作である。また、タップとは異なる操作としてドラッグという操作がある。ドラッグとは、タップに比べて、長い時間タッチパネル１０１に接触し続け、接触部を移動させる入力操作である。 The tap is an operation of touching the touch panel 101 for a relatively short predetermined time or less. Further, there is an operation called dragging as an operation different from tap. Dragging is an input operation that keeps touching the touch panel 101 for a longer time than a tap and moves the contact portion.

ＣＰＵ１０５は、これらの操作や、物体がタッチパネル１０１に触れている位置を示す座標に基づいて、タッチパネル１０１を介して入力された操作を識別する。本実施形態のＣＰＵ１０５は、タッチパネル１０１上の１箇所だけで物体が接触していること（以下、シングルタッチと称する）、タッチパネル１０１上の複数箇所で物体が同時に接触していること（以下、マルチタッチと称する）を検知することが可能である。 The CPU 105 identifies an operation input via the touch panel 101 based on these operations and coordinates indicating a position where an object is touching the touch panel 101. The CPU 105 of the present embodiment is such that an object is in contact at only one place on the touch panel 101 (hereinafter referred to as single touch), and an object is in contact at multiple places on the touch panel 101 (hereinafter referred to as multi-touch). (Referred to as touch).

次に、本実施形態に係る情報処理装置１００の、操作モードについて説明する。情報処理装置１００は、操作モードとして、通常選択モード、マルチ選択モード、カーソル表示モードの３つのモードを有している。これにより、簡便な操作でオブジェクト選択と詳細な編集操作を両立させるタッチパネルインタフェースを実現することができる。以下、各操作モードについて説明する。 Next, an operation mode of the information processing apparatus 100 according to the present embodiment will be described. The information processing apparatus 100 has three modes as operation modes: a normal selection mode, a multi selection mode, and a cursor display mode. Thereby, it is possible to realize a touch panel interface that achieves both object selection and detailed editing operation with a simple operation. Hereinafter, each operation mode will be described.

まず、通常選択モードについて説明する。通常選択モードとは、ユーザ操作によりタッチパネル１０１へのシングルタップすることにより、表示されているオブジェクトを選択することができる操作モードである。通常選択モードにおいては、さらに、そのままドラッグすることにより、オブジェクトを、タッチパネル１０１上を移動させることができる。通常選択モードにおいてはさらに、マルチタッチによるピンチイン・アウト操作も行うことができる。ここで、ピンチイン・アウト操作とは、２点間の距離を変化させることで表示内容の拡大縮小を行う操作である。 First, the normal selection mode will be described. The normal selection mode is an operation mode in which a displayed object can be selected by a single tap on the touch panel 101 by a user operation. In the normal selection mode, the object can be moved on the touch panel 101 by further dragging. In the normal selection mode, a pinch-in / out operation by multi-touch can also be performed. Here, the pinch-in / out operation is an operation for enlarging or reducing the display content by changing the distance between two points.

次に、マルチ選択モードについて説明する。マルチ選択モードとは、２本指でマルチタッチすることにより、２本指のタッチ入力の入力位置の中点を選択できる操作モードである。図２は、マルチ選択モードを説明するための図である。図２（ａ）〜（ｄ）の２００，２０１は、ユーザの指を示す。２１０は、選択位置、２２０は、オブジェクトを示している。図２（ａ）は、ユーザが、２本指２００，２０１によりタッチパネル１０１をマルチタッチした状態を示している。マルチ選択モードでは、情報処理装置１００は、タッチパネル１０１上でユーザの指２００，２０１がタッチした２点を結ぶ線分の中点（＝選択位置２１０）を指定されたと判断する。図２（ａ）に示すように選択位置２１０上にオブジェクト２２０が表示されている場合、情報処理装置１００は、オブジェクト２２０の選択指示を受け付ける。情報処理装置１００は、マルチタッチを検知すると、選択位置２１０の座標を取得し、ＲＡＭ１０３に記録してもよい。このように情報処理装置１００は、マルチタッチされたときにその中点をタッチされたと判断するので、オブジェクトの選択中も、ユーザの指に隠れることなくオブジェクトを表示することができる。したがって、ユーザは、オブジェクトを見易い状態で、ユーザ操作を行うことができる。 Next, the multi selection mode will be described. The multi selection mode is an operation mode in which the middle point of the input position of the touch input of two fingers can be selected by multi-touching with two fingers. FIG. 2 is a diagram for explaining the multi-select mode. Reference numerals 200 and 201 in FIGS. 2A to 2D denote user fingers. Reference numeral 210 denotes a selection position, and 220 denotes an object. FIG. 2A shows a state in which the user multi-touches the touch panel 101 with two fingers 200 and 201. In the multi-selection mode, the information processing apparatus 100 determines that the midpoint (= selected position 210) of the line segment connecting the two points touched by the user's fingers 200 and 201 on the touch panel 101 is designated. As illustrated in FIG. 2A, when the object 220 is displayed on the selection position 210, the information processing apparatus 100 receives an instruction to select the object 220. When the multi-touch is detected, the information processing apparatus 100 may acquire the coordinates of the selection position 210 and record them in the RAM 103. Thus, since the information processing apparatus 100 determines that the midpoint is touched when multi-touched, the object can be displayed without being hidden by the user's finger even during the selection of the object. Therefore, the user can perform a user operation in a state where the object is easy to see.

図２（ｂ）は、図２（ａ）に示すように、タッチパネル１０１上でオブジェクト２２０が選択された状態から、２本指２００，２０１が画面右下方向にドラッグされた状態を示している。タッチパネル１０１上を、２本指２００，２０１でドラッグされると、２本指２００，２０１の中点が選択位置２１０として移動する。図２（ｂ）のようにオブジェクト２２０を選択した状態でマルチドラッグが行われると、オブジェクト２２０も選択位置２１０と共に移動する。 FIG. 2B shows a state where the two fingers 200 and 201 are dragged in the lower right direction of the screen from the state where the object 220 is selected on the touch panel 101 as shown in FIG. . When the two fingers 200 and 201 are dragged on the touch panel 101, the midpoint of the two fingers 200 and 201 moves as the selection position 210. When multi-drag is performed with the object 220 selected as shown in FIG. 2B, the object 220 also moves with the selection position 210.

図２（ｃ）は、図２（ａ）に示すように、タッチパネル１０１上でオブジェクト２２０が選択された状態から、１本の指２０１だけがタッチパネル１０１から離れた状態を示している。このとき、情報処理装置１００は、選択位置２１０とタッチしたままの指２００の位置関係を保持し、オブジェクト２２０の選択中の状態を維持する。図２（ｄ）は、図２（ｃ）の状態からタッチパネル１０１上で指２００がタッチされたまま画面右下方向にドラッグされた状態を示している。このように、ドラッグ時には、タッチしている指２００と選択位置２１０の位置関係を保持したまま選択位置２１０が移動する。図２（ｄ）に示すように、オブジェクト２２０が選択された状態においては、オブジェクト２２０も選択位置２１０と共に移動する。 FIG. 2C shows a state where only one finger 201 is separated from the touch panel 101 from a state where the object 220 is selected on the touch panel 101 as shown in FIG. At this time, the information processing apparatus 100 maintains the positional relationship between the selected position 210 and the finger 200 that has been touched, and maintains the state where the object 220 is being selected. FIG. 2D shows a state where the finger 200 is dragged in the lower right direction of the screen while being touched on the touch panel 101 from the state of FIG. Thus, at the time of dragging, the selection position 210 moves while maintaining the positional relationship between the finger 200 being touched and the selection position 210. As shown in FIG. 2D, when the object 220 is selected, the object 220 also moves together with the selection position 210.

このように、マルチ選択モードにおいては、ユーザはオブジェクトを指で隠すことなくオブジェクトを選択できる。さらに、マルチタッチ後に片方の指だけを離した状態でドッグ操作が継続した場合には、タッチされている指とオブジェクトの位置関係を保ったままオブジェクトを移動させることができる。したがって、ユーザが指で選択しにくい画面端や隅に、オブジェクトを容易に移動させることができる。例えば、画面右端にオブジェクトを移動させたい場合は、マルチタッチした２本指のうち左に位置する指を離して右に位置する指でドラッグすることで、画面端に指が当たることなく、オブジェクトを移動することができる。すなわち、ユーザが指定したい場所に合わせて、タッチパネルに接触する指と、タッチパネルに表示されたカーソルやオブジェクトとの位置関係を任意に設定することができるので、ユーザの操作性が向上する。 As described above, in the multi-selection mode, the user can select an object without hiding the object with a finger. Furthermore, when the dog operation is continued with only one finger released after multi-touch, the object can be moved while maintaining the positional relationship between the touched finger and the object. Therefore, the object can be easily moved to the screen edge or corner that is difficult for the user to select with the finger. For example, if you want to move an object to the right edge of the screen, you can release the left finger of two multi-touched fingers and drag it with the right finger so that the finger does not hit the edge of the screen. Can be moved. That is, the user's operability is improved because the positional relationship between the finger touching the touch panel and the cursor or object displayed on the touch panel can be arbitrarily set in accordance with the location desired by the user.

次に、カーソル表示モードについて説明する。カーソル表示モードとは、２本指でマルチタッチすることにより、２本指のタッチ入力の入力位置の中点にカーソル等のポインティングを表示する操作モードである。ユーザは、こうして表示されたカーソルを操作することにより、オブジェクトを選択することができる。図３は、カーソル表示モードを説明するための図である。図３（ａ）〜（ｅ）の３００，３０１は、ユーザの指を示す。３１０は、カーソル、３２０は、オブジェクトを示している。 Next, the cursor display mode will be described. The cursor display mode is an operation mode in which pointing such as a cursor is displayed at the midpoint of the input position of the touch input of two fingers by multi-touching with two fingers. The user can select an object by operating the cursor thus displayed. FIG. 3 is a diagram for explaining the cursor display mode. Reference numerals 300 and 301 in FIGS. 3A to 3E denote user fingers. Reference numeral 310 denotes a cursor, and 320 denotes an object.

図３（ａ）は、ユーザが２本指３００，３０１によりタッチパネル１０１をマルチタッチした状態を示している。カーソル表示モードでは、情報処理装置１００は、カーソルが非表示の状態において、マルチタッチを検知すると、２点の中点にカーソル３１０を表示する。なお、情報処理装置１００は、カーソル３１０が表示された状態において、ダブルタップを検知した場合には、カーソル３１０で指定された位置に配置されたオブジェクト又はカーソル３１０で指定された位置が選択されたと判断する。そして、情報処理装置１００は、タッチパネル１０１上の接触の検知がなくなると、カーソル３１０を非表示とする。ここで、タッチパネル１０１上の接触の検知がなくなる場合としては、ユーザが２本の指両方をタッチパネル１０１から離した場合、すなわち２本指のタッチアップが検知された場合である。図３（ｂ）は、図３（ａ）に示すように、タッチパネル１０１上にカーソル３１０が表示された状態から、ユーザが２本指３００，３０１をタッチしたまま画面右下方向にドラッグした状態を示している。このとき、カーソル３１０は、２本指３００，３０１のドラッグ操作による２本指３００，３０１のタッチ位置の変化に応じて、中点位置を移動する。 FIG. 3A shows a state in which the user multi-touches the touch panel 101 with two fingers 300 and 301. In the cursor display mode, the information processing apparatus 100 displays the cursor 310 at the midpoint between two points when detecting multi-touch while the cursor is not displayed. When the information processing apparatus 100 detects a double tap in a state where the cursor 310 is displayed, it is assumed that the object arranged at the position designated by the cursor 310 or the position designated by the cursor 310 is selected. to decide. Then, the information processing apparatus 100 hides the cursor 310 when the touch on the touch panel 101 is not detected. Here, the case where the detection of the contact on the touch panel 101 is lost is a case where the user releases both two fingers from the touch panel 101, that is, a case where a touch-up of two fingers is detected. FIG. 3B shows a state where the user has dragged in the lower right direction of the screen while touching the two fingers 300 and 301 from the state in which the cursor 310 is displayed on the touch panel 101 as shown in FIG. Is shown. At this time, the cursor 310 moves the midpoint position according to the change of the touch position of the two fingers 300 and 301 by the drag operation of the two fingers 300 and 301.

図３（ｃ）は、図３（ａ）に示すように、タッチパネル１０１上にカーソル３１０が表示された状態から、１本の指３０１だけがタッチパネル１０１から離れた状態である。このとき、情報処理装置１００は、タッチしている指３００とカーソル３１０の位置関係を保持しつつ、カーソル３１０の表示を継続する。図３（ｄ）は、図３（ｃ）に示す状態からタッチパネル１０１上で指３００がタッチされたまま画面右下方向にドラッグされた状態を示している。このとき、情報処理装置１００は、タッチしている指３００とカーソル３１０の位置関係を保持しつつ、カーソル３１０の表示位置を移動させる。さらにユーザは、指３００をタッチしたまま指３０１をタッチパネル上でダブルタップすることにより、カーソル３１０の位置にあるオブジェクト又はカーソル３１０の位置を選択することができる。図３（ｄ）に示すように、カーソル３１０の位置にオブジェクト３２０が表示されていれば、オブジェクト３２０を選択した状態となる。 FIG. 3C shows a state in which only one finger 301 is separated from the touch panel 101 from a state where the cursor 310 is displayed on the touch panel 101 as shown in FIG. At this time, the information processing apparatus 100 continues to display the cursor 310 while maintaining the positional relationship between the finger 300 being touched and the cursor 310. FIG. 3D shows a state where the finger 300 is dragged in the lower right direction of the screen while being touched on the touch panel 101 from the state shown in FIG. At this time, the information processing apparatus 100 moves the display position of the cursor 310 while maintaining the positional relationship between the finger 300 being touched and the cursor 310. Further, the user can select the object at the position of the cursor 310 or the position of the cursor 310 by double-tapping the finger 301 on the touch panel while touching the finger 300. As shown in FIG. 3D, when the object 320 is displayed at the position of the cursor 310, the object 320 is selected.

図３（ｅ）は、図３（ｄ）に示す状態からタッチパネル１０１上で指３００がタッチされたまま指３０１で画面左上方向にドラッグされた状態を示している。この場合、情報処理装置１００は、タッチしている指３００とカーソル３１０の位置関係を保持したまま、カーソル３１０と選択されたオブジェクト３２０の表示位置を移動させる。 FIG. 3E shows a state where the finger 300 is dragged in the upper left direction with the finger 301 while being touched on the touch panel 101 from the state shown in FIG. In this case, the information processing apparatus 100 moves the display position of the cursor 310 and the selected object 320 while maintaining the positional relationship between the finger 300 being touched and the cursor 310.

このように、カーソル表示モードにおいては、情報処理装置１００は、マルチタッチが検知された場合に、タッチされた２点の中点にカーソルを表示する。したがって、カーソルが指で隠れることがないので、ユーザは、快適な環境でユーザ操作を行うことができる。 Thus, in the cursor display mode, the information processing apparatus 100 displays the cursor at the midpoint between the two touched points when multi-touch is detected. Accordingly, since the cursor is not hidden by the finger, the user can perform the user operation in a comfortable environment.

さらに、情報処理装置１００は、片方の指を離してドラッグ操作が行われた場合に、タッチ中のタッチ位置とカーソルの位置関係を保ったままカーソル表示を移動させることができる。このため、ユーザが指で選択し難い画面端や隅にもカーソルを容易に移動させることができ、画面端や隅に位置するオブジェクトの操作も容易に行うことができる。例えば、画面右端にカーソルを移動させたい場合は、マルチタッチした２本指のうち右に位置する指を離して左に位置する指でドラッグすることで、画面端に指が当たることなく、カーソルを移動させることができる。 Furthermore, when a drag operation is performed by releasing one finger, the information processing apparatus 100 can move the cursor display while maintaining the positional relationship between the touch position being touched and the cursor. Therefore, the cursor can be easily moved to the screen edge or corner that is difficult for the user to select with the finger, and the object located at the screen edge or corner can be easily operated. For example, if you want to move the cursor to the right edge of the screen, you can release the right finger of the two touched fingers and drag with the left finger so that the finger does not hit the edge of the screen. Can be moved.

また、情報処理装置１００は、カーソルを片方の指で操作しながらもう片方の指で画面をタッチすることで、マウス操作を模擬することができる。これにより、画面端や隅に表示されているオブジェクトを容易に選択、移動させることができる。また、情報処理装置１００は、ユーザが片方の指を離したときにカーソルとタッチされている指の位置関係を決定することができる。したがって、突然、カーソルの位置が変更されることがないため、ユーザは違和感を抱くことなく、ユーザ操作を行うことができる。また、ユーザは、２点のタッチのうちいずれに対応する指を離すかを選択することにより、カーソル３１０と指の位置関係を希望に合わせて決定することができる。 The information processing apparatus 100 can simulate a mouse operation by touching the screen with the other finger while operating the cursor with one finger. This makes it possible to easily select and move the object displayed at the screen edge or corner. Further, the information processing apparatus 100 can determine the positional relationship between the cursor and the touched finger when the user releases one finger. Therefore, since the position of the cursor is not changed suddenly, the user can perform a user operation without feeling uncomfortable. In addition, the user can determine the positional relationship between the cursor 310 and the finger as desired by selecting which of the two touch points is to be released.

以上のように、本実施形態に係る情報処理装置１００は、２点へのタッチ入力が検知された場合に、２点の中点を入力位置とするユーザ操作を受け付けたと判断し、ユーザ操作に応じた処理（オブジェクトの選択やカーソル表示）を行う。ただし、情報処理装置１００は、２点へのタッチ入力が検知された場合に、２点のタッチ位置に基づいて定まる位置を入力位置と判断すればよく、その位置は、２点の中点に限定されるものではない。例えば、情報処理装置１００は、２点の間の任意の位置を入力位置と判断してもよい。 As described above, when the touch input to two points is detected, the information processing apparatus 100 according to the present embodiment determines that the user operation with the midpoint of the two points is received and performs the user operation. The corresponding processing (object selection and cursor display) is performed. However, when a touch input to two points is detected, the information processing apparatus 100 may determine that the position determined based on the two touch positions is the input position, and the position is a midpoint between the two points. It is not limited. For example, the information processing apparatus 100 may determine an arbitrary position between two points as the input position.

図４は、タッチパネル１０１の表示例を示す図である。タッチパネル１０１には、オブジェクト４００、通常選択モードアイコン４０１、マルチ選択モードアイコン４０２、カーソル表示モードアイコン４０３、終了アイコン４０４が表示されている。オブジェクト４００は、画面上で移動操作可能なフォルダやアプリケーション等のアイコンである。 FIG. 4 is a diagram illustrating a display example of the touch panel 101. On the touch panel 101, an object 400, a normal selection mode icon 401, a multi selection mode icon 402, a cursor display mode icon 403, and an end icon 404 are displayed. The object 400 is an icon such as a folder or application that can be moved on the screen.

各モードアイコン４０１，４０２，４０３が選択されると、情報処理装置１００は、選択されたモードとタッチパネル１０１からのタッチ入力情報を基に各種処理を行う。具体的には、情報処理装置１００は、通常選択モードアイコン４０１が選択された場合には、通常選択モードに操作モードを切り替える。同様に、情報処理装置１００は、マルチ選択モードアイコン４０２が選択された場合には、マルチ選択モード、カーソル表示モードアイコン４０３が選択された場合には、カーソル表示モードに操作モードを切り替える。なお、他の例としては、情報処理装置１００は、各モードアイコンを選択するのに替えて、マルチタッチの長押し等の特定のタッチ操作によって操作モードを切り替えてもよい。終了アイコン４０４が選択されると、情報処理装置１００は、タッチ入力プログラムを終了させる。 When each mode icon 401, 402, 403 is selected, the information processing apparatus 100 performs various processes based on the selected mode and touch input information from the touch panel 101. Specifically, when the normal selection mode icon 401 is selected, the information processing apparatus 100 switches the operation mode to the normal selection mode. Similarly, when the multi selection mode icon 402 is selected, the information processing apparatus 100 switches the operation mode to the cursor display mode when the multi selection mode or the cursor display mode icon 403 is selected. As another example, the information processing apparatus 100 may switch the operation mode by a specific touch operation such as multi-touch long press instead of selecting each mode icon. When the end icon 404 is selected, the information processing apparatus 100 ends the touch input program.

図５は、情報処理装置１００による処理を示すフローチャートである。情報処理装置１００のＣＰＵ１０５は、ＯＳやタッチ入力プログラムを起動し、これらにしたがって各部を制御することで以下の処理を実現する。ステップＳ５０１において、情報処理装置１００のＣＰＵ１０５は、操作モードの初期設定を行う。操作モードの初期値は通常選択モードとする。次に、ステップＳ５０２において、ＣＰＵ１０５は、操作モードが通常選択モードであるか否かを判定する。通常選択モードの場合には（ステップＳ５０２でＹｅｓ）、ＣＰＵ１０５は、処理をステップＳ５０３へ進める。通常選択モードでない場合には（ステップＳ５０２でＮｏ）、ＣＰＵ１０５は、処理をステップＳ５０４へ進める。 FIG. 5 is a flowchart showing processing by the information processing apparatus 100. The CPU 105 of the information processing apparatus 100 implements the following processing by starting up an OS and a touch input program and controlling each unit in accordance with them. In step S501, the CPU 105 of the information processing apparatus 100 performs initial setting of the operation mode. The initial value of the operation mode is the normal selection mode. Next, in step S502, the CPU 105 determines whether or not the operation mode is the normal selection mode. In the normal selection mode (Yes in step S502), the CPU 105 advances the process to step S503. If it is not the normal selection mode (No in step S502), the CPU 105 advances the process to step S504.

ステップＳ５０４において、ＣＰＵ１０５は、マルチ選択モードであるか否かを判定する。マルチ選択モードの場合には（ステップＳ５０４でＹｅｓ）、ＣＰＵ１０５は、処理をステップＳ５０５へ進める。マルチ選択モードでない場合には（ステップＳ５０４でＮｏ）、ＣＰＵ１０５は、処理をＳ５０６へ進める。ステップＳ５０６において、ＣＰＵ１０５は、カーソル表示モードであるか否かを判定する。カーソル表示モードの場合には（ステップＳ５０６でＹｅｓ）、ＣＰＵ１０５は、処理をステップＳ５０７へ進める。カーソル表示モードでない場合には（ステップＳ５０６でＮｏ）、ＣＰＵ１０５は、処理をＳ５０８へ進める。 In step S504, the CPU 105 determines whether or not the multi selection mode is set. In the case of the multi selection mode (Yes in step S504), the CPU 105 advances the process to step S505. If it is not the multi-select mode (No in step S504), the CPU 105 advances the process to S506. In step S506, the CPU 105 determines whether or not the cursor display mode is set. In the case of the cursor display mode (Yes in step S506), the CPU 105 advances the process to step S507. If it is not in the cursor display mode (No in step S506), the CPU 105 advances the process to S508.

ステップＳ５０３において、ＣＰＵ１０５は、通常選択モード処理を行い、その後ステップＳ５０８へ処理を進める。通常選択モード処理の詳細については後述する。ステップＳ５０５において、ＣＰＵ１０５は、マルチ選択モード処理を行い、その後ステップＳ５０８へ処理を進める。マルチ選択モード処理の詳細については後述する。ステップＳ５０７において、ＣＰＵ１０５は、カーソル表示モード処理を行い、その後ステップＳ５０８へ処理を進める。カーソル表示モード処理の詳細については後述する。 In step S503, the CPU 105 performs normal selection mode processing, and then proceeds to step S508. Details of the normal selection mode processing will be described later. In step S505, the CPU 105 performs multi-selection mode processing, and then proceeds to step S508. Details of the multi-selection mode process will be described later. In step S507, the CPU 105 performs cursor display mode processing, and then proceeds to step S508. Details of the cursor display mode processing will be described later.

ステップＳ５０８において、ＣＰＵ１０５は、モード変更指示を受け付けたか否かを判定する。ＣＰＵ１０５は、タッチパネル１０１において操作モードアイコン４０１，４０２，４０３が選択された場合に、モード変更指示を受け付ける。モード変更指示を受け付けた場合には（ステップＳ５０８でＹｅｓ）、ＣＰＵ１０５は、処理をステップＳ５０９へ進める。モード変更指示を受け付けなかった場合には（ステップＳ５０８でＮｏ）、ＣＰＵ１０５は、処理をステップＳ５１０へ進める。 In step S508, the CPU 105 determines whether a mode change instruction has been accepted. CPU 105 accepts a mode change instruction when operation mode icons 401, 402, and 403 are selected on touch panel 101. If a mode change instruction is accepted (Yes in step S508), the CPU 105 advances the process to step S509. If the mode change instruction has not been received (No in step S508), the CPU 105 advances the process to step S510.

ステップＳ５０９において、ＣＰＵ１０５は、選択された操作モードアイコンに対応する操作モードに設定を変更し、ステップＳ５０２の処理に戻る。ステップＳ５１０において、ＣＰＵ１０５は、終了指示を受け付けたか否かを判定する。ＣＰＵ１０５は、タッチパネル１０１において終了アイコン４０４が選択された場合に、終了指示を受け付ける。終了指示を受け付けた場合には（ステップＳ５１０でＹｅｓ）、ＣＰＵ１０５は、本処理を終了する。終了指示を場合には（ステップＳ５１０でＮｏ）、ＣＰＵ１０５は、処理をＳ５０２へ進める。 In step S509, the CPU 105 changes the setting to the operation mode corresponding to the selected operation mode icon, and returns to the process of step S502. In step S510, the CPU 105 determines whether an end instruction has been received. The CPU 105 receives an end instruction when the end icon 404 is selected on the touch panel 101. If an end instruction is accepted (Yes in step S510), the CPU 105 ends this process. If an end instruction is given (No in step S510), the CPU 105 advances the process to step S502.

図６は、図５において説明した通常選択モード処理（ステップＳ５０３）における詳細な処理を示すフローチャートである。ステップＳ６０１において、ＣＰＵ１０５は、タッチパネル１０１において物体の接触を検知したか否かを判定する。タッチパネル１０１において物体の接触を検知した場合には（ステップＳ６０１でＹｅｓ）、ＣＰＵ１０５は、処理をステップＳ６０２へ進める。物体の接触を検知しなかった場合には（ステップＳ６０１でＮｏ）、ＣＰＵ１０５は、処理をステップＳ６０１へ進める。 FIG. 6 is a flowchart showing detailed processing in the normal selection mode processing (step S503) described in FIG. In step S 601, the CPU 105 determines whether the touch of the object is detected on the touch panel 101. When the touch of the object is detected on the touch panel 101 (Yes in step S601), the CPU 105 advances the process to step S602. When the contact of the object is not detected (No in step S601), the CPU 105 advances the process to step S601.

ステップＳ６０２において、ＣＰＵ１０５は、ステップＳ６０１で検知した接触がシングルタッチであるか否かを判定する。シングルタッチの場合には（ステップＳ６０２でＹｅｓ）、ＣＰＵ１０５は、処理をステップＳ６０５へ進める。シングルタッチでない場合には（ステップＳ６０２でＮｏ）、情報処理装置１００は処理をステップＳ６０３へ進める。ステップＳ６０３において、ＣＰＵ１０５は、ステップＳ６０１で検知した接触がマルチドラッグであれば、表示内容の拡大縮小を行うピンチイン・ピンチアウトの処理等を行う。 In step S602, the CPU 105 determines whether or not the contact detected in step S601 is a single touch. In the case of single touch (Yes in step S602), the CPU 105 advances the process to step S605. If it is not single touch (No in step S602), the information processing apparatus 100 proceeds with the process to step S603. In step S603, if the contact detected in step S601 is a multi-drag, the CPU 105 performs a pinch-in / pinch-out process for enlarging or reducing the display content.

一方、ステップＳ６０５において、ＣＰＵ１０５は、ステップＳ６０１で検知した接触位置（入力位置）に対応する位置にオブジェクトが表示されているか否かを判定する。オブジェクトが表示されている場合には（ステップＳ６０５でＹｅｓ）、ＣＰＵ１０５は、処理をステップＳ６０６へ進める。オブジェクトが表示されていない場合には（ステップＳ６０６でＮｏ）、ＣＰＵ１０５は、処理をステップＳ６０１へ進める。 On the other hand, in step S605, the CPU 105 determines whether an object is displayed at a position corresponding to the contact position (input position) detected in step S601. If the object is displayed (Yes in step S605), the CPU 105 advances the process to step S606. When the object is not displayed (No in step S606), the CPU 105 advances the process to step S601.

ステップＳ６０６において、ＣＰＵ１０５は、ステップＳ６０１で検知した接触がシングルタップであるか否かを判定する。シングルタップの場合には（ステップＳ６０６でＹｅｓ）、ＣＰＵ１０５は、処理をステップＳ６０７へ進める。シングルタップでない場合には（ステップＳ６０６でＮｏ）、ＣＰＵ１０５は、処理をステップＳ６１１へ進める。ステップＳ６０７において、ＣＰＵ１０５は、ステップＳ６０１で検知した入力位置に対応する位置に表示されているオブジェクトを選択し、通常モード処理を終了する。 In step S606, the CPU 105 determines whether or not the contact detected in step S601 is a single tap. In the case of a single tap (Yes in step S606), the CPU 105 advances the process to step S607. If it is not a single tap (No in step S606), the CPU 105 advances the process to step S611. In step S607, the CPU 105 selects an object displayed at a position corresponding to the input position detected in step S601, and ends the normal mode process.

ステップＳ６１１において、ＣＰＵ１０５は、ステップＳ６０１で検知した接触がシングルドラッグであるか否かを判定する。シングルドラッグの場合には（ステップＳ６１１でＹｅｓ）、ＣＰＵ１０５は、処理をステップＳ６１２へ進める。シングルドラッグでない場合には（ステップＳ６１１でＮｏ）、ＣＰＵ１０５は、処理をステップＳ６０１へ進める。ステップＳ６１２において、ＣＰＵ１０５は、ステップＳ６０１で検知した入力位置の移動に沿って、入力位置と同移動方向に同移動量だけオブジェクトを移動し、通常モード処理を終了する。 In step S611, the CPU 105 determines whether or not the contact detected in step S601 is a single drag. In the case of single drag (Yes in step S611), the CPU 105 advances the process to step S612. If it is not a single drag (No in step S611), the CPU 105 advances the process to step S601. In step S612, the CPU 105 moves the object by the same movement amount in the same movement direction as the input position along the movement of the input position detected in step S601, and ends the normal mode process.

図７は、図５において説明したマルチ選択モード処理（ステップＳ５０５）における詳細な処理を示すフローチャートである。ステップＳ７０１において、ＣＰＵ１０５は、タッチパネル１０１において物体の接触を検知したか否かを判定する。タッチパネル１０１において物体の接触を検知した場合には（ステップＳ７０１でＹｅｓ）、ＣＰＵ１０５は、処理をステップＳ７０２へ進める。物体の接触を検知しなかった場合には（ステップＳ７０１でＮｏ）、ＣＰＵ１０５は、処理をステップＳ７０１へ進める。ステップＳ７０２において、ＣＰＵ１０５は、Ｓ７０１で検知した接触がマルチタッチか否かを判定する。マルチタッチの場合には（ステップＳ７０２でＹｅｓ）、ＣＰＵ１０５は、処理をステップＳ７０３へ進める。マルチタッチでない場合には（ステップＳ７０２でＮｏ）、ＣＰＵ１０５は、処理をステップＳ７２０へ進める。ステップＳ７２０において、ＣＰＵ１０５は、シングルタッチの処理を行う。シングルタッチの処理は、図６を参照しつつ説明した、Ｓ６０５〜Ｓ６１２の処理と同様である。 FIG. 7 is a flowchart showing detailed processing in the multi-selection mode processing (step S505) described in FIG. In step S 701, the CPU 105 determines whether the touch of the object is detected on the touch panel 101. When the touch of the object is detected on the touch panel 101 (Yes in step S701), the CPU 105 advances the process to step S702. When the contact of the object is not detected (No in step S701), the CPU 105 advances the process to step S701. In step S702, the CPU 105 determines whether the contact detected in step S701 is multi-touch. In the case of multi-touch (Yes in step S702), the CPU 105 advances the process to step S703. If it is not multi-touch (No in step S702), the CPU 105 advances the process to step S720. In step S720, the CPU 105 performs a single touch process. The single touch processing is the same as the processing of S605 to S612 described with reference to FIG.

ステップＳ７０３において、ＣＰＵ１０５は、ステップＳ７０１で検知した２つの入力位置の中点を入力位置とするユーザ操作を受け付け（受付処理）、入力位置にオブジェクトが表示されているか否かを判定する。オブジェクトが表示されている場合には（ステップＳ７０３でＹｅｓ）、ＣＰＵ１０５は、処理をステップＳ７０４へ進める。オブジェクトが表示されていない場合には（ステップＳ７０３でＮｏ）、ＣＰＵ１０５は、処理をステップＳ７０１へ進める。ステップＳ７０４において、ＣＰＵ１０５は、ステップＳ７０１で検知した接触がマルチタップであるか否かを判定する。マルチタップの場合には（ステップＳ７０４でＹｅｓ）、ＣＰＵ１０５は、処理をステップＳ７０５へ進める。マルチタップでない場合には（ステップＳ７０４でＮｏ）、ＣＰＵ１０５は、処理をステップＳ７０９へ進める。 In step S703, the CPU 105 accepts a user operation with the midpoint between the two input positions detected in step S701 as an input position (acceptance process), and determines whether an object is displayed at the input position. If the object is displayed (Yes in step S703), the CPU 105 advances the process to step S704. If the object is not displayed (No in step S703), the CPU 105 advances the process to step S701. In step S704, the CPU 105 determines whether or not the contact detected in step S701 is a multi-tap. In the case of multi-tap (Yes in step S704), the CPU 105 advances the process to step S705. If it is not multi-tap (No in step S704), the CPU 105 advances the process to step S709.

ステップＳ７０５において、ＣＰＵ１０５は、ステップＳ７０１で検出した２つの接触箇所の中点に表示されているオブジェクトを選択する。次に、ステップＳ７０６において、ＣＰＵ１０５は、ステップＳ７０５において選択されたオブジェクトが操作モードアイコンであるか否かを判定する。操作モードアイコンが選択された場合（ステップＳ７０６でＹｅｓ）、ＣＰＵ１０５は、処理をステップＳ７０７へ進める。操作モードアイコンでない場合には（ステップＳ７０６でＮｏ）、ＣＰＵ１０５は、処理をステップＳ７０８へ進める。ステップＳ７０７において、ＣＰＵ１０５は、選択された操作モードアイコンに応じて操作モードを変更する。次に、Ｓ７０８において、ＣＰＵ１０５は、ステップＳ７０５において選択されたオブジェクトが終了アイコンであるか否かを判定する。終了アイコンの場合には（ステップＳ７０８でＹｅｓ）、ＣＰＵ１０５は、マルチ選択モード処理を終了する。終了アイコンでない場合には（ステップＳ７０８でＮｏ）、ＣＰＵ１０５は、処理をステップＳ７０１へ進める。 In step S705, the CPU 105 selects the object displayed at the midpoint between the two contact locations detected in step S701. Next, in step S706, the CPU 105 determines whether or not the object selected in step S705 is an operation mode icon. When the operation mode icon is selected (Yes in step S706), the CPU 105 advances the process to step S707. If it is not an operation mode icon (No in step S706), the CPU 105 advances the process to step S708. In step S707, the CPU 105 changes the operation mode according to the selected operation mode icon. In step S708, the CPU 105 determines whether the object selected in step S705 is an end icon. In the case of the end icon (Yes in step S708), the CPU 105 ends the multi-selection mode process. If it is not an end icon (No in step S708), the CPU 105 advances the process to step S701.

一方、ステップＳ７０９において、ＣＰＵ１０５は、ステップＳ７０１で検知した接触がマルチドラッグであるか否かを判定する。マルチドラッグの場合には（ステップＳ７０９でＹｅｓ）、ＣＰＵ１０５は、処理をステップＳ７１０へ進める。マルチドラッグでない場合には（ステップＳ７０９でＮｏ）、ＣＰＵ１０５は、マルチ選択モード処理を終了する。ステップＳ７１０において、ＣＰＵ１０５は、２つの入力位置の中点である選択位置の移動に沿って、選択位置と同移動方向に同移動量で、オブジェクトを移動させる。これは、図２（ａ）、図２（ｂ）を参照しつつ説明した動作に対応する処理である。なお、ステップＳ７０５及びステップＳ７１０の処理は、ユーザ操作に応じた処理の一例である。 On the other hand, in step S709, the CPU 105 determines whether or not the contact detected in step S701 is multi-drag. In the case of multi-drag (Yes in step S709), the CPU 105 advances the process to step S710. If it is not multi-drag (No in step S709), the CPU 105 ends the multi-selection mode process. In step S 710, the CPU 105 moves the object by the same movement amount in the same movement direction as the selection position along the movement of the selection position that is the middle point between the two input positions. This is processing corresponding to the operation described with reference to FIGS. 2 (a) and 2 (b). Note that the processing in step S705 and step S710 is an example of processing according to a user operation.

ステップＳ７１１において、ＣＰＵ１０５は、ステップＳ７０１でマルチタッチを検知した後、シングルタッチに変更になったか否かを判定する。シングルタッチに変更された場合には（ステップＳ７１１でＹｅｓ）、ＣＰＵ１０５は、処理をＳ７１２へ進める。シングルタッチに変更されていない場合には（ステップＳ７１１でＮｏ）、処理をＳ７１５へ進める。ステップＳ７１２において、シングルタッチのタッチ位置（入力位置）とオブジェクトの位置関係を算出し、ＲＡＭ１０３に保持する。 In step S711, the CPU 105 determines whether or not the touch has been changed to single touch after detecting multi-touch in step S701. If it is changed to single touch (Yes in step S711), the CPU 105 advances the process to step S712. If it has not been changed to single touch (No in step S711), the process proceeds to S715. In step S 712, the positional relationship between the single touch touch position (input position) and the object is calculated and stored in the RAM 103.

次に、ステップＳ７１３において、ＣＰＵ１０５は、シングルドラッグであるか否かを判定する。シングルドラッグの場合には（ステップＳ７１３でＹｅｓ）、ＣＰＵ１０５は、処理をステップＳ７１４へ進める。シングルドラッグでない場合には（ステップＳ７１１でＮｏ）、ＣＰＵ１０５は、マルチ選択モード処理を終了する。ステップＳ７１４において、ＣＰＵ１０５は、入力位置とオブジェクトの位置関係を保ち、入力位置の移動に沿って、入力位置と同移動方向に同移動量でオブジェクトを移動させる。ステップＳ７１１〜ステップＳ７１５の処理は、図２（ａ）、図２（ｃ）、図２（ｄ）を参照しつつ説明した動作に対応する処理である。次に、ステップＳ７１５において、ＣＰＵ１０５は、接触している指がタッチアップされたか否かを判定する。タッチアップを検知した場合には（ステップＳ７１５でＹｅｓ）、ＣＰＵ１０５は、マルチ選択モード処理を終了する。 Next, in step S713, the CPU 105 determines whether it is a single drag. In the case of single drag (Yes in step S713), the CPU 105 advances the process to step S714. If it is not a single drag (No in step S711), the CPU 105 ends the multi-selection mode process. In step S714, the CPU 105 maintains the positional relationship between the input position and the object, and moves the object by the same movement amount in the same movement direction as the input position along with the movement of the input position. The processing in steps S711 to S715 is processing corresponding to the operation described with reference to FIGS. 2 (a), 2 (c), and 2 (d). Next, in step S715, the CPU 105 determines whether or not the touching finger has been touched up. When the touch-up is detected (Yes in step S715), the CPU 105 ends the multi selection mode process.

図８は、図５において説明したカーソル表示モード処理（ステップＳ５０７）における詳細な処理を示すフローチャートである。ステップＳ８０１において、ＣＰＵ１０５は、初期状態として、タッチパネル１０１上のカーソルを非表示とする。次に、ステップＳ８０２において、ＣＰＵ１０５は、タッチパネル１０１において物体の接触を検知したか否かを判定する。物体の接触を検知した場合には（ステップＳ８０２でＹｅｓ）、ＣＰＵ１０５は、処理をステップＳ８０３へ進める。物体の接触を検知しなかった場合には（ステップＳ８０２でＮｏ）、ＣＰＵ１０５は、処理をステップＳ８０１へ進める。 FIG. 8 is a flowchart showing detailed processing in the cursor display mode processing (step S507) described in FIG. In step S801, the CPU 105 hides the cursor on the touch panel 101 as an initial state. Next, in step S 802, the CPU 105 determines whether the touch of the object is detected on the touch panel 101. When the contact of the object is detected (Yes in step S802), the CPU 105 advances the process to step S803. If the contact of the object is not detected (No in step S802), the CPU 105 advances the process to step S801.

ステップＳ８０３において、ＣＰＵ１０５は、ステップＳ８０１で検知した接触がマルチタッチであるか否かを判定する。マルチタッチの場合には（ステップＳ８０３でＹｅｓ）、ＣＰＵ１０５は、処理をステップＳ８０４へ進める。マルチタッチでない場合には（ステップＳ８０３でＮｏ）、ＣＰＵ１０５は、処理をステップＳ８２１へ進める。ステップＳ８２１において、ＣＰＵ１０５は、シングルタッチの処理を行う。シングルタッチの処理は、図６を参照しつつ説明した、Ｓ６０５〜Ｓ６１２の処理と同様である。 In step S803, the CPU 105 determines whether or not the contact detected in step S801 is multi-touch. In the case of multi-touch (Yes in step S803), the CPU 105 advances the process to step S804. If it is not multi-touch (No in step S803), the CPU 105 advances the process to step S821. In step S821, the CPU 105 performs a single touch process. The single touch processing is the same as the processing of S605 to S612 described with reference to FIG.

ステップＳ８０４において、ＣＰＵ１０５は、ステップＳ８０１で検知した２つの入力位置の中点を入力位置とするユーザ操作を受け付け（受付処理）、入力位置にカーソルを表示する。次に、ステップＳ８０５において、ＣＰＵ１０５は、ステップＳ８０１で検知した接触がマルチタップであるか否かを判定する。マルチタップの場合には（ステップＳ８０５でＹｅｓ）、ＣＰＵ１０５は、処理をステップＳ８０６へ進める。マルチタップでない場合は（ステップＳ８０５でＮｏ）、ＣＰＵ１０５は、処理をステップＳ８１１へ進める。 In step S804, the CPU 105 accepts a user operation with the midpoint between the two input positions detected in step S801 as an input position (acceptance process), and displays a cursor at the input position. Next, in step S805, the CPU 105 determines whether or not the contact detected in step S801 is a multi-tap. In the case of multi-tap (Yes in step S805), the CPU 105 advances the process to step S806. If it is not multi-tap (No in step S805), the CPU 105 advances the process to step S811.

ステップＳ８０６において、ＣＰＵ１０５は、ステップＳ８０４で表示したカーソル位置にオブジェクトが表示されているか否かを判定する。カーソル位置にオブジェクトが表示されている場合には（ステップＳ８０６でＹｅｓ）、ＣＰＵ１０５は、処理をステップＳ８０７へ進める。カーソル位置にオブジェクトが表示されていない場合には（ステップＳ８０６でＮｏ）、ＣＰＵ１０５は、カーソル表示モード処理を終了する。また、他の例としては、ＣＰＵ１０５は、カーソル位置にオブジェクトが表示されていない場合には、カーソル位置の座標をＲＡＭ１０３に保存した後でカーソル表示モード処理を終了してもよい。ステップＳ８０７において、ＣＰＵ１０５は、カーソル位置に表示されているオブジェクトを選択し、その後、カーソル表示モード処理を終了する。 In step S806, the CPU 105 determines whether an object is displayed at the cursor position displayed in step S804. If an object is displayed at the cursor position (Yes in step S806), the CPU 105 advances the process to step S807. If no object is displayed at the cursor position (No in step S806), the CPU 105 ends the cursor display mode process. As another example, when an object is not displayed at the cursor position, the CPU 105 may end the cursor display mode process after saving the coordinates of the cursor position in the RAM 103. In step S807, the CPU 105 selects the object displayed at the cursor position, and then ends the cursor display mode process.

一方、ステップＳ８１１において、ＣＰＵ１０５は、ステップＳ８０１で検知した接触がマルチドラッグであるか否かを判定する。マルチドラッグの場合には（ステップＳ８１１でＹｅｓ）、ＣＰＵ１０５は、処理をステップＳ８１２へ進める。マルチドラッグでない場合には（ステップＳ８１１でＮｏ）、ＣＰＵ１０５は、処理をステップＳ８１９へ進める。ステップＳ８１２において、ＣＰＵ１０５は、２箇所の接触位置（入力位置）の中点の移動に沿って、中点位置と同移動方向に同移動量で、カーソルを移動させる。これは、図２（ａ）、図２（ｂ）を参照しつつ説明した動作に対応する処理である。また、カーソルの位置にオブジェクトがある場合は、カーソルとともにオブジェクトも移動させる。なお、ステップＳ８０４、ステップ８０７、ステップＳ８１２の処理は、ユーザ操作に応じた処理の一例である。 On the other hand, in step S811, the CPU 105 determines whether or not the contact detected in step S801 is a multi-drag. In the case of multi-drag (Yes in step S811), the CPU 105 advances the process to step S812. If it is not a multi-drag (No in step S811), the CPU 105 advances the process to step S819. In step S812, the CPU 105 moves the cursor by the same movement amount in the same movement direction as the middle point position along the movement of the middle point of the two contact positions (input positions). This is processing corresponding to the operation described with reference to FIGS. 2 (a) and 2 (b). If there is an object at the cursor position, the object is moved together with the cursor. Note that the processing in steps S804, 807, and S812 is an example of processing according to a user operation.

ステップＳ８１４おいて、ＣＰＵ１０５は、ステップＳ８０１でマルチタッチを検知した後、シングルタッチに変更されたか否かを判定する。シングルタッチに変更された場合には（ステップＳ８１４でＹｅｓ）、ＣＰＵ１０５は、処理をステップＳ８１５へ進める。シングルタッチに変更されていない場合には（ステップＳ８１４でＮｏ）、ＣＰＵ１０５は、処理をステップＳ８１８へ進める。ステップＳ８１５において、ＣＰＵ１０５は、シングルタッチの入力位置とカーソルの位置関係を算出し、ＲＡＭ１０３に保持する。次に、ステップＳ８１６において、ＣＰＵ１０５は、シングルドラッグであるか否かを判定する。シングルドラッグの場合には（ステップＳ８１６でＹｅｓ）、ＣＰＵ１０５は、処理をステップＳ８１７へ進める。シングルドラッグでない場合には（ステップＳ８１６でＮｏ）、ＣＰＵ１０５は、処理をステップＳ８１８へ進める。 In step S814, the CPU 105 determines whether or not the touch has been changed to single touch after detecting multi-touch in step S801. If it is changed to single touch (Yes in step S814), the CPU 105 advances the process to step S815. If it is not changed to single touch (No in step S814), the CPU 105 advances the process to step S818. In step S 815, the CPU 105 calculates the positional relationship between the input position of single touch and the cursor, and stores it in the RAM 103. Next, in step S816, the CPU 105 determines whether it is a single drag. In the case of single drag (Yes in step S816), the CPU 105 advances the process to step S817. If it is not a single drag (No in step S816), the CPU 105 advances the process to step S818.

ステップＳ８１７において、ＣＰＵ１０５は、入力位置とカーソルの位置関係を保ち、接触箇所の移動に沿って、入力位置と同移動方向に同移動量で、カーソルを移動させる。カーソルの位置にオブジェクトが存在する場合は、カーソルと共にオブジェクトも移動させる。ステップＳ８１５〜ステップＳ８１８の処理は、図３（ａ）、図３（ｃ）、図３（ｄ）、図３（ｅ）を参照しつつ説明した動作に対応する処理である。次に、ステップＳ８１８において、ＣＰＵ１０５は、接触している指がタッチアップされたか否かを判定する。タッチアップを検知した場合には（Ｓ８１８でＹｅｓ）、ＣＰＵ１０５は、処理をＳ８１９へ進める。タッチアップを検知しなかった場合には（ステップＳ８１８でＮｏ）、ＣＰＵ１０５は、処理をＳ８１７で進める。ステップＳ８１９において、ＣＰＵ１０５は、カーソルを非表示にする。以上で、カーソル表示モード処理が終了する。 In step S817, the CPU 105 maintains the positional relationship between the input position and the cursor, and moves the cursor by the same movement amount in the same movement direction as the input position along the movement of the contact location. If an object exists at the cursor position, the object is moved together with the cursor. The processing in steps S815 to S818 is processing corresponding to the operation described with reference to FIGS. 3 (a), 3 (c), 3 (d), and 3 (e). Next, in step S818, the CPU 105 determines whether or not the touching finger has been touched up. When the touch-up is detected (Yes in S818), the CPU 105 advances the process to S819. When the touch-up is not detected (No in step S818), the CPU 105 advances the process in S817. In step S819, the CPU 105 hides the cursor. This completes the cursor display mode process.

以上のように、本実施形態に係るＣＰＵ１０５は、ユーザが指等の指示部材を使ってタッチパネル上で所望の位置を指定する場合に、タッチパネル上のいずれの領域であっても細やかに位置を指定することができる。 As described above, when the user designates a desired position on the touch panel using a pointing member such as a finger, the CPU 105 according to the present embodiment designates the position finely in any region on the touch panel. can do.

なお、本実施形態の情報処理装置１００の変更例としては、ＣＰＵ１０５は、ＰＣ、ＰＤＡ等の装置であってもよい。また、情報処理装置１００は、デジタルカメラなどの撮像装置に搭載されてもよい。この場合、情報処理装置１００は、メモリカード等のデジタルカメラが読み取り可能な記録媒体に記録された撮影画像を、デジタルカメラの有する背面液晶装置等のタッチパネルに再生表示する。また、情報処理装置１００は、画像やテキスト、イラスト図形等のオブジェクトを表示可能な装置であってもよい。情報処理装置１００は、例えば、ＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤ、ゲーム機、電子ブックリーダー等であってもよい。 Note that as a modification of the information processing apparatus 100 of the present embodiment, the CPU 105 may be a device such as a PC or a PDA. Further, the information processing apparatus 100 may be mounted on an imaging apparatus such as a digital camera. In this case, the information processing apparatus 100 reproduces and displays a captured image recorded on a recording medium readable by a digital camera such as a memory card on a touch panel such as a rear liquid crystal device included in the digital camera. Further, the information processing apparatus 100 may be an apparatus that can display objects such as images, texts, and illustration figures. The information processing apparatus 100 may be, for example, a PDA, a mobile phone terminal, a portable image viewer, a printer device including a display, a digital photo frame, a music player, a game machine, an electronic book reader, or the like.

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。 Although the present invention has been described in detail based on preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various forms within the scope of the present invention are also included in the present invention. included. A part of the above-described embodiments may be appropriately combined. Also, when a software program that realizes the functions of the above-described embodiments is supplied from a recording medium directly to a system or apparatus having a computer that can execute the program using wired / wireless communication, and the program is executed Are also included in the present invention.

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。 Accordingly, the program code itself supplied and installed in the computer in order to implement the functional processing of the present invention by the computer also realizes the present invention. That is, the computer program itself for realizing the functional processing of the present invention is also included in the present invention. In this case, the program may be in any form as long as it has a program function, such as an object code, a program executed by an interpreter, or script data supplied to the OS.

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。 The recording medium for supplying the program may be, for example, a magnetic recording medium such as a hard disk or magnetic tape, an optical / magneto-optical storage medium, or a nonvolatile semiconductor memory.
As a program supply method, a computer program that forms the present invention is stored in a server on a computer network, and a connected client computer downloads and programs the computer program.

以上、上述した各実施形態によれば、ユーザによる細かな入力操作を実現することができる。 As mentioned above, according to each embodiment mentioned above, a fine input operation by a user is realizable.

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 The preferred embodiments of the present invention have been described in detail above, but the present invention is not limited to such specific embodiments, and various modifications can be made within the scope of the gist of the present invention described in the claims.・ Change is possible.

１００情報処理装置
１０１タッチパネル
１０２ＲＯＭ
１０３ＲＡＭ
１０４ＨＤＤ
１０５ＣＰＵ 100 Information processing apparatus 101 Touch panel 102 ROM
103 RAM
104 HDD
105 CPU

Claims

Accepting means for accepting a user operation having a position determined based on the two points and a position different from the two points as an input position when touch input to the two points on the input surface is detected;
An information processing apparatus comprising processing means for performing processing according to the user operation.

The information processing apparatus according to claim 1, wherein the reception unit receives a user operation using the position between the two points as the input position.

The information processing apparatus according to claim 2, wherein the accepting unit accepts a user operation having a midpoint of a line segment connecting the two points as the input position.

The information processing apparatus according to claim 1, wherein the processing unit displays a cursor at a position corresponding to the input position on a display screen.

The information processing apparatus according to claim 1, wherein the processing unit selects an object displayed at a position corresponding to the input position on a display screen.

The processing means displays a cursor at a position corresponding to the input position on the display screen when the first mode is set, and displays the cursor on the display screen when the second mode is set. The information processing apparatus according to claim 1, wherein an object displayed at a position corresponding to the input position is selected.

An information processing method executed by an information processing apparatus,
An accepting step of accepting a user operation that is a position determined based on the two points and a position different from the two points as an input position when a touch input to the two points on the input surface is detected;
And a processing step of performing processing according to the user operation.

Computer
Accepting means for accepting a user operation having a position determined based on the two points and a position different from the two points as an input position when touch input to the two points on the input surface is detected;
A program for functioning as processing means for performing processing according to the user operation.