JP5205157B2 - Portable image display device, control method thereof, program, and information storage medium - Google Patents

Portable image display device, control method thereof, program, and information storage medium Download PDF

Info

Publication number
JP5205157B2
JP5205157B2 JP2008184858A JP2008184858A JP5205157B2 JP 5205157 B2 JP5205157 B2 JP 5205157B2 JP 2008184858 A JP2008184858 A JP 2008184858A JP 2008184858 A JP2008184858 A JP 2008184858A JP 5205157 B2 JP5205157 B2 JP 5205157B2
Authority
JP
Japan
Prior art keywords
user
display screen
display device
finger
coordinate value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008184858A
Other languages
Japanese (ja)
Other versions
JP2010026638A5 (en
JP2010026638A (en
Inventor
真一 平田
洋 大澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc, Sony Computer Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to JP2008184858A priority Critical patent/JP5205157B2/en
Priority to US13/003,751 priority patent/US8854320B2/en
Priority to PCT/JP2009/056004 priority patent/WO2010007813A1/en
Publication of JP2010026638A publication Critical patent/JP2010026638A/en
Publication of JP2010026638A5 publication Critical patent/JP2010026638A5/ja
Application granted granted Critical
Publication of JP5205157B2 publication Critical patent/JP5205157B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Digital Computer Display Output (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、ユーザが携帯して使用する携帯型画像表示装置、その制御方法、プログラム及び情報記憶媒体に関する。   The present invention relates to a portable image display device carried by a user, a control method thereof, a program, and an information storage medium.

近年、携帯型ゲーム機、携帯電話、携帯情報端末(PDA)など、ユーザが携帯して使用でき、ユーザに各種の情報を提示する表示画面を備えた各種の画像表示装置が登場している(例えば特許文献1参照)。このような携帯型画像表示装置は、ユーザの操作入力に応じて各種の情報処理を実行して、その結果を表示画面に表示する。
米国特許出願公開第2007/0202956号明細書
In recent years, various image display devices such as a portable game machine, a mobile phone, and a personal digital assistant (PDA) that can be used by a user and have a display screen that presents various information to the user have appeared ( For example, see Patent Document 1). Such a portable image display device executes various types of information processing in response to user operation inputs, and displays the results on a display screen.
US Patent Application Publication No. 2007/0202956

上述したような携帯型画像表示装置は、ユーザが多様な操作入力を容易に行うことのできるユーザインタフェースを備えることが望ましい。   The portable image display device as described above preferably includes a user interface that allows a user to easily perform various operation inputs.

本発明は上記実情に鑑みてなされたものであって、その目的の一つは、ユーザが容易に多様な操作入力を行うことのできる携帯型画像表示装置、その制御方法、プログラム及び情報記憶媒体を提供することにある。   The present invention has been made in view of the above circumstances, and one of its purposes is a portable image display device that allows a user to easily perform various operation inputs, a control method thereof, a program, and an information storage medium. Is to provide.

上記課題を解決するための本発明に係る携帯型画像表示装置は、略矩形の表示画面と、前記表示画面の外周を構成する少なくとも2つの辺のそれぞれに沿って設けられ、それぞれユーザの指が触れた位置を検知する複数のタッチセンサと、前記複数のタッチセンサのそれぞれにより検知される複数の指の位置の組み合わせに応じて、前記表示画面に表示する画像を変化させる表示画像制御手段と、を含むことを特徴とする。   A portable image display device according to the present invention for solving the above problems is provided along each of a substantially rectangular display screen and at least two sides constituting the outer periphery of the display screen. A plurality of touch sensors that detect touched positions, and a display image control unit that changes an image displayed on the display screen in accordance with a combination of positions of a plurality of fingers detected by each of the plurality of touch sensors; It is characterized by including.

また、上記携帯型画像表示装置において、前記表示画像制御手段は、前記複数のタッチセンサにより検知される複数の指の位置それぞれの動きの組み合わせに応じて、前記表示画面に表示する画像を変化させることとしてもよい。   Further, in the portable image display device, the display image control means changes an image displayed on the display screen according to a combination of movements of a plurality of finger positions detected by the plurality of touch sensors. It is good as well.

また、上記携帯型画像表示装置において、前記表示画像制御手段は、前記複数のタッチセンサにより検知される複数の指の位置それぞれの動く向きの組み合わせに応じて、前記表示画面に表示する画像を変化させることとしてもよい。   Further, in the portable image display device, the display image control means changes an image displayed on the display screen in accordance with a combination of movement directions of a plurality of finger positions detected by the plurality of touch sensors. It is also possible to make it.

また、前記携帯型画像表示装置は、略矩形の平板状の筐体を備え、前記表示画面は、前記筐体の表面に設けられ、前記複数のタッチセンサのそれぞれは、前記筐体の側面に設けられることとしてもよい。   The portable image display device includes a substantially rectangular flat plate-shaped housing, the display screen is provided on a surface of the housing, and each of the plurality of touch sensors is provided on a side surface of the housing. It may be provided.

また、本発明に係る携帯型画像表示装置の制御方法は、略矩形の表示画面と、前記表示画面の外周を構成する少なくとも2つの辺のそれぞれに沿って設けられ、それぞれユーザの指が触れた位置を検知する複数のタッチセンサと、を備える携帯型画像表示装置の制御方法であって、前記複数のタッチセンサのそれぞれにより検知される複数の指の位置の組み合わせに応じて、前記表示画面に表示する画像を変化させるステップ、を含むことを特徴とする。   The control method of the portable image display device according to the present invention is provided along each of a substantially rectangular display screen and at least two sides constituting the outer periphery of the display screen, each touched by a user's finger. A plurality of touch sensors for detecting positions, and a method for controlling a portable image display device, wherein the display screen is displayed in accordance with a combination of positions of a plurality of fingers detected by each of the plurality of touch sensors. And a step of changing an image to be displayed.

また、本発明に係るプログラムは、略矩形の表示画面と、前記表示画面の外周を構成する少なくとも2つの辺のそれぞれに沿って設けられ、それぞれユーザの指が触れた位置を検知する複数のタッチセンサと、を備える携帯型画像表示装置としてコンピュータを機能させるためのプログラムであって、前記複数のタッチセンサのそれぞれにより検知される複数の指の位置の組み合わせに応じて、前記表示画面に表示する画像を変化させる表示画像制御手段、として前記コンピュータを機能させるためのプログラムである。このプログラムは、コンピュータ読み取り可能な情報記憶媒体に格納されてよい。   The program according to the present invention is provided along each of a substantially rectangular display screen and at least two sides constituting the outer periphery of the display screen, and each of the touches detects a position touched by a user's finger. A program for causing a computer to function as a portable image display device comprising a sensor, and displaying on the display screen in accordance with a combination of a plurality of finger positions detected by each of the plurality of touch sensors It is a program for causing the computer to function as display image control means for changing an image. This program may be stored in a computer-readable information storage medium.

以下、本発明の実施の形態について、図面に基づき詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図1(a)及び図1(b)は、本発明の一実施形態に係る携帯型画像表示装置1の外観を示す斜視図であって、図1(a)は携帯型画像表示装置1を表面(正面)側から見た様子を、図1(b)は同じ携帯型画像表示装置1を裏面側から見た様子を、それぞれ示している。   FIG. 1A and FIG. 1B are perspective views showing the appearance of a portable image display device 1 according to an embodiment of the present invention. FIG. 1A shows the portable image display device 1. FIG. 1B shows a state seen from the front (front) side, and FIG. 1B shows a state where the same portable image display device 1 is seen from the back side.

これらの図に示されるように、携帯型画像表示装置1の筐体10は、全体として略矩形の平板状の形状をしており、その表面に第1表示画面12aが、裏面に第2表示画面12bが、それぞれ設けられている。これらの表示画面は、いずれも略矩形の形状をしており、筐体10の表面又は裏面の大部分を占めるように配置されている。第1表示画面12a及び第2表示画面12bは、例えば液晶表示パネルや有機EL表示パネル等、画像の表示が可能な各種のデバイスであってよい。また、これらの表示画面に対して、ユーザの指などが触れた位置を検知可能なタッチパネルが重ねて配置されることとしてもよい。   As shown in these drawings, the casing 10 of the portable image display device 1 has a substantially rectangular flat plate shape as a whole, and the first display screen 12a is on the front surface and the second display is on the back surface. Each screen 12b is provided. Each of these display screens has a substantially rectangular shape, and is arranged so as to occupy most of the front surface or the back surface of the housing 10. The first display screen 12a and the second display screen 12b may be various devices capable of displaying images, such as a liquid crystal display panel and an organic EL display panel. In addition, a touch panel capable of detecting a position touched by a user's finger or the like may be placed on these display screens.

さらに、本実施形態に係る携帯型画像表示装置1では、表示画面の外周を構成する4辺のそれぞれに沿って、4つのタッチセンサが設けられている。これらのタッチセンサは筐体10の四方の側面それぞれに配置されており、それぞれ直線状の検知領域を備えている。このように筐体10の側面に配置されることで、各タッチセンサは、筐体10の表面に配置された第1表示画面12aの外周の一辺、及び裏面に配置された第2表示画面12bの外周の一辺、の双方に沿って配置されることとなる。   Furthermore, in the portable image display device 1 according to the present embodiment, four touch sensors are provided along each of the four sides constituting the outer periphery of the display screen. These touch sensors are arranged on each of the four side surfaces of the housing 10 and each have a linear detection region. By being arranged on the side surface of the housing 10 in this way, each touch sensor is arranged on one side of the outer periphery of the first display screen 12a arranged on the front surface of the housing 10 and the second display screen 12b arranged on the back surface. It will be arranged along both sides of the outer periphery of the.

具体的に、本実施形態では、第1表示画面12a及び第2表示画面12bの長辺方向(左右方向)に沿った側面に、第1タッチセンサ14a及び第3タッチセンサ14cが、第1表示画面12a及び第2表示画面12bの短辺方向(上下方向)に沿った側面に、第2タッチセンサ14b及び第4タッチセンサ14dが、それぞれ配置されている。   Specifically, in the present embodiment, the first touch sensor 14a and the third touch sensor 14c are displayed on the side surfaces along the long side direction (left-right direction) of the first display screen 12a and the second display screen 12b. A second touch sensor 14b and a fourth touch sensor 14d are arranged on the side surfaces along the short side direction (vertical direction) of the screen 12a and the second display screen 12b, respectively.

これらのタッチセンサは、携帯型画像表示装置1を使用するユーザの指が触れた位置を検知するために用いられる。各タッチセンサは、例えば静電容量式や感圧式、光学式など各種の方式のものであってよい。また、各タッチセンサは、ユーザの指が触れた位置だけでなく、例えば指の接触面積や圧力などを検知することによって、ユーザの指がタッチセンサを押さえる強さを検知することとしてもよい。これらのタッチセンサがユーザの指の位置を検知することによって、携帯型画像表示装置1は、第1表示画面12aや第2表示画面12bの外周に沿った方向のユーザの指の位置を、操作入力として受け付けることができる。   These touch sensors are used to detect a position touched by a finger of a user who uses the portable image display device 1. Each touch sensor may be of various types such as a capacitance type, a pressure sensitive type, and an optical type. Each touch sensor may detect not only the position touched by the user's finger but also the strength with which the user's finger presses the touch sensor, for example, by detecting the contact area or pressure of the finger. When these touch sensors detect the position of the user's finger, the portable image display device 1 operates the position of the user's finger in the direction along the outer periphery of the first display screen 12a or the second display screen 12b. It can be accepted as input.

また、筐体10表面には、第1表示画面12aに隣接して第1遠赤外線センサ16aが設けられている。さらに、筐体10裏面には、第2表示画面12bに隣接して第2遠赤外線センサ16bが設けられている。これらの遠赤外線センサは、熱源から放射される遠赤外線を検知する。これによって、携帯型画像表示装置1は、各遠赤外線センサの前方にユーザがいるか否かを検知することができる。なお、携帯型画像表示装置1は、遠赤外線センサに代えて、またはこれに加えて、例えばCCDカメラなど、ユーザの位置を検知可能な各種のデバイスを備えることとしてもよい。   A first far-infrared sensor 16a is provided on the surface of the housing 10 adjacent to the first display screen 12a. Furthermore, a second far-infrared sensor 16b is provided on the rear surface of the housing 10 adjacent to the second display screen 12b. These far infrared sensors detect far infrared rays emitted from a heat source. Thereby, the portable image display device 1 can detect whether or not there is a user in front of each far-infrared sensor. The portable image display device 1 may include various devices that can detect the position of the user, such as a CCD camera, for example, instead of or in addition to the far-infrared sensor.

また、携帯型画像表示装置1の筐体10の内部には、加速度センサ18及びジャイロセンサ20が配置されている。加速度センサ18は3軸加速度センサであって、筐体10に対して設定された3つの基準軸(X軸、Y軸及びZ軸)それぞれの方向に生じる加速度を検知する。ここで、3つの基準軸は互いに略直交しており、X軸は筐体10表面の矩形の長辺方向、Y軸は矩形の短辺方向、Z軸は筐体10の厚さ方向にそれぞれ設定されているものとする。重力によって各基準軸に生じる加速度を加速度センサ18が検知することによって、携帯型画像表示装置1は、自分自身の姿勢(すなわち、重力が働く鉛直方向に対する筐体10の傾き)を検知することができる。   Further, an acceleration sensor 18 and a gyro sensor 20 are disposed inside the housing 10 of the portable image display device 1. The acceleration sensor 18 is a three-axis acceleration sensor, and detects acceleration generated in the directions of three reference axes (X axis, Y axis, and Z axis) set with respect to the housing 10. Here, the three reference axes are substantially orthogonal to each other, the X axis is the long side direction of the rectangle on the surface of the housing 10, the Y axis is the short side direction of the rectangle, and the Z axis is the thickness direction of the housing 10. It is assumed that it is set. When the acceleration sensor 18 detects the acceleration generated in each reference axis due to gravity, the portable image display device 1 can detect its own posture (that is, the inclination of the housing 10 with respect to the vertical direction in which gravity acts). it can.

ジャイロセンサ20は、ジャイロ基準軸(ここではZ軸)を中心とした回転の角速度を検知し、当該検知した角速度に応じた電気信号を出力する。例えばジャイロセンサ20は圧電振動型ジャイロなどであってよい。ジャイロセンサ20によって検知される角速度を積分することで、携帯型画像表示装置1はZ軸を基準とした筐体10の回転角を算出することができる。   The gyro sensor 20 detects the angular velocity of rotation about the gyro reference axis (here, the Z axis), and outputs an electrical signal corresponding to the detected angular velocity. For example, the gyro sensor 20 may be a piezoelectric vibration gyro. By integrating the angular velocity detected by the gyro sensor 20, the portable image display device 1 can calculate the rotation angle of the housing 10 with respect to the Z axis.

なお、図1には示されていないが、携帯型画像表示装置1は、タッチセンサ以外にも、例えばボタンやスイッチなど、ユーザの操作入力を受け付けるための各種の操作部材を筐体10の表面や裏面、側面などに備えることとしてもよい。   Although not shown in FIG. 1, the portable image display device 1 includes various operation members for receiving user operation inputs such as buttons and switches in addition to the touch sensor. It is good also as preparing for a back surface, a side surface, etc.

図2は、携帯型画像表示装置1の内部構成を示す構成ブロック図である。同図に示されるように、携帯型画像表示装置1は、制御部30と、記憶部32と、画像処理部34と、を含んで構成されている。制御部30は、例えばCPU等であって、記憶部32に格納されているプログラムに従って、各種の情報処理を実行する。記憶部32は、例えばRAMやROM等のメモリ素子や、ディスクデバイスなどであって、制御部30によって実行されるプログラムや各種のデータを格納する。また、記憶部32は、制御部30のワークメモリとしても機能する。   FIG. 2 is a configuration block diagram showing the internal configuration of the portable image display device 1. As shown in the figure, the portable image display device 1 includes a control unit 30, a storage unit 32, and an image processing unit 34. The control unit 30 is a CPU or the like, for example, and executes various types of information processing according to programs stored in the storage unit 32. The storage unit 32 is, for example, a memory element such as a RAM or a ROM, a disk device, and the like, and stores a program executed by the control unit 30 and various data. The storage unit 32 also functions as a work memory for the control unit 30.

画像処理部34は、例えばGPUとフレームバッファメモリとを含んで構成され、制御部30が出力する指示に従って、第1表示画面12a及び第2表示画面12bのそれぞれに表示する画像を描画する。具体例として、画像処理部34は第1表示画面12a及び第2表示画面12bのそれぞれに対応した2つのフレームバッファメモリを備え、GPUは、制御部30からの指示に従って、所定時間おきにこれら2つのフレームバッファメモリのそれぞれに対して画像を書き込む。そして、これらのフレームバッファメモリに書き込まれた画像が、所定のタイミングでビデオ信号に変換されて、それぞれ対応する表示画面に表示される。   The image processing unit 34 includes, for example, a GPU and a frame buffer memory, and draws an image to be displayed on each of the first display screen 12a and the second display screen 12b in accordance with an instruction output from the control unit 30. As a specific example, the image processing unit 34 includes two frame buffer memories corresponding to the first display screen 12a and the second display screen 12b, respectively, and the GPU performs the two processing at predetermined intervals according to an instruction from the control unit 30. Write an image to each of the two frame buffer memories. The images written in these frame buffer memories are converted into video signals at a predetermined timing and displayed on the corresponding display screens.

本実施形態では、制御部30は、タッチセンサ14a〜14d、遠赤外線センサ16a及び16b、加速度センサ18、並びにジャイロセンサ20のそれぞれによる検知結果などに基づいて、各種の処理を実行する。特に、制御部30は、タッチセンサ14a〜14dによるユーザの指の位置の検知結果に基づいて、ユーザによる指示操作の内容を判断して、当該指示操作に応じた処理を実行し、処理結果を表示画面に表示してユーザに提示する。   In the present embodiment, the control unit 30 executes various processes based on detection results obtained by the touch sensors 14a to 14d, the far-infrared sensors 16a and 16b, the acceleration sensor 18, and the gyro sensor 20, respectively. In particular, the control unit 30 determines the content of the instruction operation by the user based on the detection result of the position of the user's finger by the touch sensors 14a to 14d, executes processing according to the instruction operation, and displays the processing result. It is displayed on the display screen and presented to the user.

ここで、ユーザが閲覧する表示画面は、場合によって、第1表示画面12aになったり第2表示画面12bになったりする。そこで、携帯型画像表示装置1は、ユーザが主に閲覧していると想定される表示画面(以下、主表示画面という)を特定し、この主表示画面に主として表示すべき画像を表示する。また、主表示画面と反対側の表示画面(以下、副表示画面という)には、主表示画面に表示する画像と関連する補助的な情報を表示してもよいし、あるいは主表示画面に表示する画像を生成するプログラムとは別のプログラムよって生成される、他の画像を表示してもよい。また、副表示画面は、ユーザの操作などによって主表示画面に切り替わるまで画像を表示しないこととしてもよい。   Here, the display screen browsed by the user may be the first display screen 12a or the second display screen 12b depending on circumstances. Therefore, the portable image display device 1 specifies a display screen (hereinafter referred to as a main display screen) that is assumed to be browsed mainly by the user, and displays an image to be mainly displayed on the main display screen. Further, on the display screen opposite to the main display screen (hereinafter referred to as the sub display screen), auxiliary information related to the image displayed on the main display screen may be displayed or displayed on the main display screen. Another image generated by a program different from the program that generates the image to be displayed may be displayed. Further, the sub display screen may not display an image until the screen is switched to the main display screen by a user operation or the like.

なお、第1表示画面12a及び第2表示画面12bのどちらを主表示画面とするかは、例えば第1遠赤外線センサ16a及び第2遠赤外線センサ16bにより検知されるユーザが筐体10のどちら側に存在するかを示す情報や、加速度センサ18により検知される筐体10の姿勢などに応じて切り替えられることとしてもよい。あるいは、ユーザの明示の指示操作に応じて切り替えられることとしてもよい。   Note that which of the first display screen 12a and the second display screen 12b is used as the main display screen depends on which side of the housing 10 the user detected by the first far-infrared sensor 16a and the second far-infrared sensor 16b, for example. It is good also as switching according to the information which shows whether it exists, the attitude | position of the housing | casing 10 detected by the acceleration sensor 18, etc. Or it is good also as switching according to a user's explicit instruction | indication operation.

以下、本実施形態において、各タッチセンサの検知結果に応じて制御部30が実行する処理の具体例について、説明する。本実施形態では、制御部30は、タッチセンサ14a〜14dにより検知されるユーザの指の複数の位置の組み合わせに応じて、主表示画面に表示する画像を変化させる処理を実行する。このような処理を実行するため、携帯型画像表示装置1は、機能的に、図3に示すように、検知位置・情報取得部40と、操作種別判定部42と、表示画像制御処理部44と、を含んでいる。これらの機能は、制御部30が記憶部32に格納されたプログラムを実行することにより実現される。このプログラムは、例えば光ディスクやメモリカード等のコンピュータ読み取り可能な各種の情報記憶媒体に格納されて提供されてもよいし、インターネット等の通信ネットワークを介して提供されてもよい。   Hereinafter, a specific example of processing executed by the control unit 30 according to the detection result of each touch sensor in the present embodiment will be described. In this embodiment, the control part 30 performs the process which changes the image displayed on a main display screen according to the combination of the several position of a user's finger | toe detected by touch sensor 14a-14d. In order to execute such processing, the portable image display device 1 functionally includes a detection position / information acquisition unit 40, an operation type determination unit 42, and a display image control processing unit 44 as shown in FIG. And. These functions are realized when the control unit 30 executes a program stored in the storage unit 32. This program may be provided by being stored in various computer-readable information storage media such as an optical disk and a memory card, or may be provided via a communication network such as the Internet.

検知位置・情報取得部40は、タッチセンサ14a〜14dがユーザの指の位置を検知して出力する座標値を取得する。本実施形態において、タッチセンサ14a〜14dのそれぞれは、ユーザの指が触れた位置を検知した場合に、その位置を示す座標値を所定時間おきに出力する。なお、ここでは各タッチセンサが出力する座標値は、直線状の検知領域内の位置を示す一次元の値であることとする。検知位置・情報取得部40は、4つのタッチセンサのそれぞれが出力する座標値を所定時間おきに取得する。これによって、4つのタッチセンサに対応して、ユーザの指の位置の動き(時間変化)を示す最大で4個の座標値列が得られる。また、検知位置・情報取得部40は、検知位置を示す座標値だけでなく、その位置をユーザが押さえる強さを示す圧力値を取得してもよい。この場合、検知位置・情報取得部40は、この圧力値が所定の閾値以上となっている座標値だけを、ユーザの指が接触している位置を示す座標値として採用することとしてもよい。   The detection position / information acquisition unit 40 detects coordinate values output by the touch sensors 14a to 14d by detecting the position of the user's finger. In this embodiment, when each of the touch sensors 14a to 14d detects a position touched by a user's finger, the touch sensors 14a to 14d output coordinate values indicating the position at predetermined time intervals. Here, the coordinate value output by each touch sensor is assumed to be a one-dimensional value indicating the position in the linear detection region. The detection position / information acquisition unit 40 acquires coordinate values output by each of the four touch sensors at predetermined time intervals. Accordingly, a maximum of four coordinate value sequences indicating the movement (time change) of the position of the user's finger can be obtained corresponding to the four touch sensors. The detection position / information acquisition unit 40 may acquire not only the coordinate value indicating the detection position but also the pressure value indicating the strength with which the user presses the position. In this case, the detection position / information acquisition unit 40 may adopt only the coordinate value whose pressure value is equal to or greater than a predetermined threshold as the coordinate value indicating the position where the user's finger is in contact.

操作種別判定部42は、検知位置・情報取得部40が取得したユーザの指の位置の動きを示す複数の座標値列に基づいて、ユーザが実行する操作の種別を判定する。例えば操作種別判定部42は、まず4つのタッチセンサのそれぞれについて、予め定められた期間にわたってユーザの指が触れ続け、かつその期間内にユーザの指が所定量以上動いたか否かを判定する。そして、ユーザの指が所定量以上動いたと判定されるタッチセンサが複数ある場合に、これらタッチセンサの組み合わせと、ユーザの指の動きの方向(すなわち、座標値列内において座標値が増大したか、あるいは減少したか)とに基づいて、ユーザによる操作の種別を判定する。これにより、複数のタッチセンサが検知するユーザの指の位置それぞれの動き(ここでは動く向き)の組み合わせに応じて、操作種別の判定を行うことができる。   The operation type determination unit 42 determines the type of operation performed by the user based on a plurality of coordinate value sequences indicating the movement of the user's finger position acquired by the detected position / information acquisition unit 40. For example, for each of the four touch sensors, the operation type determination unit 42 first determines whether or not the user's finger keeps touching over a predetermined period and whether or not the user's finger has moved a predetermined amount or more within that period. When there are a plurality of touch sensors that are determined to move the user's finger by a predetermined amount or more, the combination of these touch sensors and the direction of movement of the user's finger (that is, whether the coordinate value has increased in the coordinate value sequence) Or the type of operation has been reduced). Thus, the operation type can be determined according to the combination of the movements (moving directions in this case) of the positions of the user's fingers detected by the plurality of touch sensors.

表示画像制御処理部44は、操作種別判定部42によって判定される操作種別に応じて、主表示画面に表示する画像を変化させる。具体的には、例えば画面に表示されている画像を拡大又は縮小したり、左右上下の方向にスクロール(平行移動)させたりする画像処理を実行する。   The display image control processing unit 44 changes the image displayed on the main display screen according to the operation type determined by the operation type determination unit 42. Specifically, for example, image processing for enlarging or reducing an image displayed on the screen or scrolling (translating) in the horizontal and vertical directions is executed.

以下、ユーザ操作の種別に応じた画像の変化の具体例について、図4から図9までの各図に基づいて説明する。なお、これらの図においては、第1表示画面12aを主表示画面とし、その外周を構成する4辺に沿って実際には筐体10の側面に配置されている各タッチセンサを、第1表示画面12aの各辺に並べて模式的に表している。また、ユーザの指の動きを各タッチセンサ上の矢印で示している。   Hereinafter, a specific example of the change of the image according to the type of user operation will be described with reference to FIGS. In these figures, the first display screen 12a is a main display screen, and each touch sensor actually arranged on the side surface of the casing 10 along the four sides constituting the outer periphery thereof is displayed as a first display. These are schematically shown side by side on each side of the screen 12a. In addition, the movement of the user's finger is indicated by an arrow on each touch sensor.

図4は、ユーザの操作に応じて制御部30が第1表示画面12aに表示されている画像を左右方向にスクロールさせる場合の例について、示している。この図の例では、表示画面の左右方向に沿って配置された第1タッチセンサ14a及び第3タッチセンサ14cの双方が、表示画面に向かって左方向(すなわち、X軸負方向)にユーザの指が動く動きを検知している。この場合、制御部30は、第1表示画面12aに表示されている画像を、ユーザの指の動く方向と同じ左方向に向けてスクロールさせる処理を実行する。逆に第1タッチセンサ14a及び第3タッチセンサ14cが、表示画面に向かって右方向(X軸正方向)へのユーザの指の動きを検知した場合、制御部30は、第1表示画面12aに表示されている画像を右方向に向けてスクロールさせる。   FIG. 4 shows an example in which the control unit 30 scrolls the image displayed on the first display screen 12a in the left-right direction in accordance with a user operation. In the example of this figure, both the first touch sensor 14a and the third touch sensor 14c arranged along the left-right direction of the display screen are in the left direction (that is, the X-axis negative direction) toward the display screen. The movement of the finger is detected. In this case, the control unit 30 executes a process of scrolling the image displayed on the first display screen 12a in the same left direction as the direction in which the user's finger moves. On the other hand, when the first touch sensor 14a and the third touch sensor 14c detect the movement of the user's finger in the right direction (X-axis positive direction) toward the display screen, the control unit 30 displays the first display screen 12a. Scroll the image displayed at to the right.

図5は、第1表示画面12aに表示されている画像を上下方向にスクロールさせる場合の例について、示している。この図に示されるように、表示画面の上下方向に沿って配置された第2タッチセンサ14b及び第4タッチセンサ14dにより、表示画面に向かって上方向(Y軸正方向)へのユーザの指の動きが検知された場合、制御部30は、第1表示画面12aに表示されている画像を上方向に向けてスクロールさせる。また、下方向(Y軸負方向)へのユーザの指の動きが検知された場合、制御部30は、表示画像を下方向に向けてスクロールさせる。   FIG. 5 shows an example in which the image displayed on the first display screen 12a is scrolled up and down. As shown in this figure, the second touch sensor 14b and the fourth touch sensor 14d arranged along the vertical direction of the display screen cause the user's finger to move upward (Y-axis positive direction) toward the display screen. When the movement is detected, the control unit 30 scrolls the image displayed on the first display screen 12a upward. Further, when the movement of the user's finger in the downward direction (Y-axis negative direction) is detected, the control unit 30 scrolls the display image downward.

図6は、ユーザが画像の縮小を指示する場合の例について、示している。この図の例では、第1タッチセンサ14aがX軸正方向へのユーザの指の動きを、第2タッチセンサ14bがY軸負方向へのユーザの指の動きを、それぞれ検知している。すなわち、互いに隣接する2つのタッチセンサ同士が、いずれも他方のタッチセンサに近づく向きのユーザの指の動きを検知していることになる。この場合、制御部30は、第1表示画面12aに表示された画像を縮小する処理を実行する。同様に、第2タッチセンサ14bがY軸正方向、第3タッチセンサ14cがX軸正方向へのユーザの指の動きをそれぞれ検知した場合や、第3タッチセンサ14cがX軸負方向、第4タッチセンサ14dがY軸正方向へのユーザの指の動きをそれぞれ検知した場合、また第4タッチセンサ14dがY軸負方向、第1タッチセンサ14aがX軸負方向へのユーザの指の動きをそれぞれ検知した場合にも、同様に、画像の縮小処理を実行することとしてもよい。   FIG. 6 shows an example in which the user instructs to reduce the image. In the example of this figure, the first touch sensor 14a detects the movement of the user's finger in the positive X-axis direction, and the second touch sensor 14b detects the movement of the user's finger in the negative Y-axis direction. That is, the two touch sensors adjacent to each other detect the movement of the user's finger in a direction approaching the other touch sensor. In this case, the control unit 30 executes a process for reducing the image displayed on the first display screen 12a. Similarly, when the second touch sensor 14b detects the movement of the user's finger in the Y-axis positive direction and the third touch sensor 14c, respectively, or when the third touch sensor 14c detects the X-axis negative direction, When the 4-touch sensor 14d detects the movement of the user's finger in the positive Y-axis direction, the fourth touch sensor 14d is in the negative Y-axis direction, and the first touch sensor 14a is in the negative X-axis direction. Similarly, when motion is detected, image reduction processing may be executed.

逆に、隣接する2つのタッチセンサのそれぞれが、いずれも他方のタッチセンサから離れる向きのユーザの指の動きを検知した場合、制御部30は、第1表示画面12aに表示されている画像を拡大する処理を実行する。図7は、ユーザによるこのような画像拡大の指示の一例として、第4タッチセンサ14dがY軸正方向へのユーザの指の動きを検知するとともに、第1タッチセンサ14aがX軸正方向へのユーザの指の動きを検知している場合の例について示している。このように、前述した画像の縮小の指示と逆方向へのユーザの指の動きの組み合わせが検知された場合に、制御部30は第1表示画面12aに表示されている画像を拡大する処理を実行する。   Conversely, when each of the two adjacent touch sensors detects the movement of the user's finger in a direction away from the other touch sensor, the control unit 30 displays the image displayed on the first display screen 12a. Execute the enlargement process. FIG. 7 shows an example of such an image enlargement instruction by the user. The fourth touch sensor 14d detects the movement of the user's finger in the Y-axis positive direction, and the first touch sensor 14a moves in the X-axis positive direction. It shows an example in which the movement of the user's finger is detected. As described above, when a combination of the movement of the user's finger in the opposite direction to the above-described image reduction instruction is detected, the control unit 30 performs a process of enlarging the image displayed on the first display screen 12a. Run.

図8及び図9は、回転の指示を行う際のユーザの指の動きの一例を示している。図8の例では、互いに対向する第1タッチセンサ14a及び第3タッチセンサ14cが、互いに逆向きのユーザの指の動きを検知している。すなわち、第1タッチセンサ14aはX軸正方向、第3タッチセンサ14cはX軸負方向へのユーザの指の動きを検知している。これに応じて、制御部30は、第1表示画面12aに表示されている画像を反時計回りに回転させる処理を行う。また、これとは逆に、第1タッチセンサ14aがX軸負方向、第3タッチセンサ14cがX軸正方向へのユーザの指の動きを検知した場合には、表示画像を時計回りに回転させる処理を行う。   8 and 9 show an example of the movement of the user's finger when a rotation instruction is given. In the example of FIG. 8, the first touch sensor 14a and the third touch sensor 14c facing each other detect movements of the user's fingers in opposite directions. That is, the first touch sensor 14a detects the movement of the user's finger in the X-axis positive direction and the third touch sensor 14c detects the X-axis negative direction. In response to this, the control unit 30 performs a process of rotating the image displayed on the first display screen 12a counterclockwise. Conversely, when the first touch sensor 14a detects the movement of the user's finger in the negative X-axis direction and the third touch sensor 14c in the positive X-axis direction, the display image is rotated clockwise. To perform the process.

また、図9は、やはり互いに対向する第2タッチセンサ14b及び第4タッチセンサ14dが、互いに逆向きのユーザの指の動きを検知している例を示している。この図の例では、第2タッチセンサ14bはY軸正方向、第4タッチセンサ14dはY軸負方向へのユーザの指の動きを検知しており、これに応じて制御部30は表示画像を反時計回りに回転させる。また、第2タッチセンサ14bがY軸負方向、第4タッチセンサ14dがY軸正方向へのユーザの指の動きを検知した場合、制御部30は、逆に表示画像を時計回りに回転させる。   FIG. 9 shows an example in which the second touch sensor 14b and the fourth touch sensor 14d, which are also opposed to each other, detect the movements of the user's fingers in opposite directions. In the example of this figure, the second touch sensor 14b detects the movement of the user's finger in the positive Y-axis direction and the fourth touch sensor 14d in the negative Y-axis direction, and the control unit 30 displays the display image accordingly. Rotate counterclockwise. If the second touch sensor 14b detects the movement of the user's finger in the negative Y-axis direction and the fourth touch sensor 14d detects the positive direction of the Y-axis, the control unit 30 conversely rotates the display image clockwise. .

なお、以上の例においては、第1表示画面12aが主表示画面であると仮定したが、第2表示画面12bが主表示画面として選択されているときにも、制御部30が同様の処理を実行することにより、ユーザは表示画面に表示されている画像を変化させる操作入力を行うことができる。ただし、この場合、制御部30は、どちらの表示画面が主表示画面として選択されているか、また主表示画面に対してどのような向きで画像が表示されているかに応じて、各タッチセンサが検出する指の位置の動く向きと、画像のスクロール方向や回転方向との対応関係を変化させることとする。これにより、ユーザが指を動かした方向に合わせて、画像を変化させることができる。   In the above example, it is assumed that the first display screen 12a is the main display screen. However, the control unit 30 performs the same processing when the second display screen 12b is selected as the main display screen. By executing, the user can perform an operation input that changes the image displayed on the display screen. However, in this case, the control unit 30 determines whether each touch sensor is selected depending on which display screen is selected as the main display screen and in what orientation the image is displayed with respect to the main display screen. Assume that the correspondence relationship between the moving direction of the finger position to be detected and the scroll direction and rotation direction of the image is changed. Accordingly, the image can be changed in accordance with the direction in which the user moves the finger.

また、以上の例において、制御部30は、各タッチセンサにより検知されるユーザの指の動く向きだけでなく、その移動量に応じて、第1表示画面12aに表示する画像を変化させてもよい。例えば、ユーザの指が動いた量に応じて、画像を変化させる際におけるスクロール量やスクロール速度、拡大率・縮小率や拡大縮小の速度、回転量や回転速度などを変化させてもよい。さらに、以上の例においては、制御部30は主表示画面に表示されている画像の全体をスクロールしたり、拡大・縮小したり、回転したりすることとしたが、これに限らず、表示されている画像の一部や、画像内に配置された操作対象のオブジェクトなどを、ユーザの指の動きに応じて移動させたり、拡大・縮小したり、回転したりする処理を実行することにより、主表示画面に表示する画像を変化させてもよい。   In the above example, the control unit 30 may change the image displayed on the first display screen 12a according to not only the moving direction of the user's finger detected by each touch sensor but also the moving amount. Good. For example, the scroll amount and scroll speed, the enlargement / reduction ratio, the enlargement / reduction speed, the rotation amount and the rotation speed when changing the image may be changed according to the amount of movement of the user's finger. Further, in the above example, the control unit 30 scrolls, enlarges / reduces, or rotates the entire image displayed on the main display screen. By executing a process that moves, enlarges, reduces, or rotates a part of an image or an operation target object arranged in the image according to the movement of the user's finger, The image displayed on the main display screen may be changed.

また、これまでの説明では、複数の指の位置それぞれの動きの組み合わせに応じて表示画像を変化させる例について説明したが、これに限らず、制御部30は、例えば予め定められた複数の位置に対してユーザが単に指を触れる操作に応じて、表示画像を変化させる各種の処理を実行してもよい。   In the description so far, the example in which the display image is changed in accordance with the combination of the movements of the positions of the plurality of fingers has been described. However, the present invention is not limited thereto, and the control unit 30 may, for example, have a plurality of predetermined positions. In response to an operation in which the user simply touches the finger, various processes for changing the display image may be executed.

さらに、これまでの説明では、タッチセンサ14a〜14dは、いずれもユーザの指が触れる位置を1箇所だけ検知することとしている。しかしながら、これに限らず、タッチセンサ14a〜14dのそれぞれは、同時期に複数の指が触れる場合に、これら複数の指それぞれの位置を検知する多点検知が可能なものであってもよい。この場合、制御部30は、一つのタッチセンサが検知する複数の指の位置の組み合わせに応じて、主表示画面に表示する画像を変化させることとしてもよい。   Further, in the description so far, the touch sensors 14a to 14d detect only one position touched by the user's finger. However, the present invention is not limited to this, and each of the touch sensors 14a to 14d may be capable of multipoint detection for detecting the positions of the plurality of fingers when the plurality of fingers touch at the same time. In this case, the control unit 30 may change the image displayed on the main display screen according to the combination of the positions of a plurality of fingers detected by one touch sensor.

具体的に、一つのタッチセンサによって複数の指の位置が検知される場合、検知位置・情報取得部40は、当該タッチセンサが出力する複数の座標値を取得する。そして、取得した複数の座標値の間の大小(すなわち、それぞれの座標値が示す検知領域内の位置の順序)や、前回検知された指の位置との間の距離などの情報を用いて、取得した複数の座標値のそれぞれを、前回タッチセンサが出力した座標値のうち、ユーザの同じ指が触れた位置を示すと推定される座標値と関連づける。これによって、検知位置・情報取得部40は、一つのタッチセンサの出力に基づいて、ユーザの複数の指のそれぞれについて、その動きを示す複数の座標値列を取得できる。この複数の座標値列を、前述した例において複数のタッチセンサそれぞれが出力する座標値に基づいて取得された複数の座標値列と同じように用いることによって、操作種別判定部42は、ユーザが実行する操作の種別を判定する。   Specifically, when the positions of a plurality of fingers are detected by one touch sensor, the detection position / information acquisition unit 40 acquires a plurality of coordinate values output by the touch sensor. And using information such as the distance between the acquired coordinate values (that is, the order of the positions in the detection area indicated by each coordinate value) and the position of the finger detected last time, Each of the acquired plurality of coordinate values is associated with a coordinate value estimated to indicate a position touched by the same finger of the user among the coordinate values output by the touch sensor last time. Accordingly, the detection position / information acquisition unit 40 can acquire a plurality of coordinate value sequences indicating the movement of each of a plurality of fingers of the user based on the output of one touch sensor. By using the plurality of coordinate value sequences in the same manner as the plurality of coordinate value sequences acquired based on the coordinate values output from the plurality of touch sensors in the above-described example, the operation type determination unit 42 allows the user to Determine the type of operation to be performed.

図10は、このような多点検知型のタッチセンサにより検知されるユーザの指の動きの一例を示している。この図の例では、第1タッチセンサ14aが、ユーザの2本の指が互いに近づく動きを検知している。この場合、図6の例と同様に、表示画像制御処理部44は、表示画像を縮小する処理を実行する。また、逆に2本の指が互いに離れる動きを検知した場合には、表示画像制御処理部44は、表示画像を拡大する処理を実行する。なお、第1タッチセンサ14aに限らず、他の3つのタッチセンサが同様のユーザの指の動きを検知することにより、表示画像が縮小又は拡大されることとしてもよい。   FIG. 10 shows an example of the movement of the user's finger detected by such a multipoint detection type touch sensor. In the example of this figure, the first touch sensor 14a detects the movement of the user's two fingers approaching each other. In this case, as in the example of FIG. 6, the display image control processing unit 44 executes a process of reducing the display image. On the contrary, when the movement of the two fingers separating from each other is detected, the display image control processing unit 44 executes a process of enlarging the display image. In addition, not only the 1st touch sensor 14a but another three touch sensors are good also as a display image being reduced or expanded by detecting the motion of the same user's finger | toe.

なお、このようにタッチセンサが多点検知型の場合、各タッチセンサからの出力に対して、位置の変化しない座標値列と、位置が時間とともに変化する座標値列と、が混在する複数の座標値列が取得される場合がある。このような場合、操作種別判定部42は、位置の変化しない座標値列を、ユーザが筐体10を把持することによってユーザの手が触れている位置であると判定して、このような座標値列を操作種別判定の対象から除外することとしてもよい。こうすれば、タッチセンサがユーザの意図しない指や手のひらの接触を検知してしまっている場合にも、ユーザがタッチセンサ上で指を動かす操作だけを対象として、図4から図9までの図で例示したような複数のタッチセンサに対するユーザの操作を特定することができる。   When the touch sensor is a multi-point detection type as described above, a plurality of coordinate value sequences in which the position does not change and a coordinate value sequence in which the position changes with time are mixed for the output from each touch sensor. A coordinate value sequence may be acquired. In such a case, the operation type determination unit 42 determines that the coordinate value sequence whose position does not change is a position where the user's hand is touching by gripping the housing 10, and such coordinates The value sequence may be excluded from the operation type determination target. In this way, even when the touch sensor detects a finger or palm contact not intended by the user, only the operation of moving the finger on the touch sensor by the user is illustrated in FIGS. 4 to 9. It is possible to specify user operations on a plurality of touch sensors as exemplified in FIG.

また、制御部30は、1つのタッチセンサがユーザの1本の指の動きを検知しただけの場合にも、当該検知されたユーザの指の位置に応じて各種の処理を実行することとしてもよい。例えば制御部30は、前述した表示画像を上下左右のいずれかにスクロールさせる図4や図5の例と同様の処理を、いずれか一つのタッチセンサによりユーザの指の動きが検知される場合に実行してもよい。また、制御部30は、1つのタッチセンサによりユーザの指が単に予め定められた位置に接触したことが検知された場合にも、各種の処理を実行してよい。一例として、携帯型画像表示装置1がカメラデバイスを備えている場合、一般的なカメラにおいてシャッターが設けられる位置をユーザが所定の強さを超える圧力で押さえたことが検知されたときに、制御部30は、このカメラデバイスによる画像の撮像処理を実行してもよい。   Further, even when one touch sensor only detects the movement of one finger of the user, the control unit 30 may execute various processes according to the detected position of the user's finger. Good. For example, the control unit 30 performs the same processing as in the examples of FIGS. 4 and 5 in which the display image is scrolled up, down, left, and right when the movement of the user's finger is detected by any one touch sensor. May be executed. Also, the control unit 30 may execute various processes even when it is detected by a single touch sensor that the user's finger has simply touched a predetermined position. As an example, when the portable image display device 1 includes a camera device, control is performed when it is detected that the user has pressed a position where a shutter is provided in a general camera with a pressure exceeding a predetermined strength. The unit 30 may execute image capturing processing by the camera device.

ここで、ユーザによる実際の指の動きを判別するために、検知位置・情報取得部40が出力する複数の座標値列に対して操作種別判定部42が実行する処理の例について、説明する。なお、以下の例では、タッチセンサ14a〜14dは多点検知型のセンサであって、検知位置・情報取得部40は、各タッチセンサについて複数の座標値列を出力可能であることとする。   Here, an example of processing executed by the operation type determination unit 42 for a plurality of coordinate value sequences output by the detection position / information acquisition unit 40 in order to determine the actual finger movement by the user will be described. In the following example, the touch sensors 14a to 14d are multi-point detection sensors, and the detection position / information acquisition unit 40 can output a plurality of coordinate value sequences for each touch sensor.

まず、操作種別判定部42は、各座標値列に対して、所定のカットオフ周波数(例えば5Hz程度)以下の周波数成分だけを通過させるローパスフィルタ処理を実行する。これにより、ユーザの指の検知位置を示す座標値列から、手ぶれなどによって生じる比較的高い周波数の信号成分が除去される。   First, the operation type determination unit 42 performs a low-pass filter process that passes only frequency components having a predetermined cutoff frequency (for example, about 5 Hz) or less for each coordinate value sequence. As a result, a relatively high frequency signal component caused by camera shake or the like is removed from the coordinate value sequence indicating the detection position of the user's finger.

続いて操作種別判定部42は、それぞれローパスフィルタ処理がなされた複数の座標値列を、所定の基準に従って並べ替える。この並べ替えの順序は、ユーザが何らかの操作入力を行う意図でタッチセンサに指を触れたことによって得られた可能性が高い座標値ほど、順位が高くなるような順序である。具体的に、例えば操作種別判定部42は、以下に列挙するような条件に従って各座標値列の指標値を算出し、この算出された指標値の順に座標値列を並べ替える。一例として、この指標値は、座標値列を構成する各座標値を検知したときに併せて検知された圧力値が高い座標値列ほど、高く算出される。これにより、ユーザの指が意図せずタッチセンサに触れてしまうことによって得られる座標値列の順位は低くなる。また、座標値列によって示される検知位置が比較的同じ位置に安定して存在している、または一方向に向けて安定的に変化している座標値列については、指標値が高く算出される。すなわち、短時間に極端に大きく位置が変化している座標値列や、位置の変化する方向が短時間に繰り返し変化している座標値列は、誤検出などによって生じた可能性があるので、指標値が低く算出される。また、当該座標値列によって示される検知位置の近傍に、他の座標値列による検知位置が存在しない座標値列(すなわち、他から独立した座標値列)の指標値を、高く算出する。こうすれば、複数の座標値列によって示される検知位置が比較的狭い範囲に密接している場合、このような座標値列はユーザが携帯型画像表示装置1を把持することによって得られるものと想定されるので、このような座標値列の指標値を低くすることができる。また、各座標値列を構成する座標値の数(すなわち、ユーザの指の接触が継続している期間)を、指標値の算出に用いてもよい。   Subsequently, the operation type determination unit 42 rearranges the plurality of coordinate value sequences, each of which has been subjected to the low-pass filter processing, according to a predetermined criterion. The order of this rearrangement is such that the higher the order of the coordinate values, the higher the possibility is that the user obtained a finger touching the touch sensor with the intention of performing some operation input. Specifically, for example, the operation type determination unit 42 calculates the index value of each coordinate value sequence according to the conditions listed below, and rearranges the coordinate value sequence in the order of the calculated index value. As an example, the index value is calculated to be higher for a coordinate value sequence having a higher pressure value detected when each coordinate value constituting the coordinate value sequence is detected. As a result, the rank of the coordinate value sequence obtained when the user's finger unintentionally touches the touch sensor is lowered. In addition, an index value is calculated to be high for a coordinate value sequence in which the detection positions indicated by the coordinate value sequence are stably present at relatively the same position or are stably changing in one direction. . That is, a coordinate value sequence whose position has changed extremely greatly in a short time, and a coordinate value sequence whose position change direction repeatedly changes in a short time may have occurred due to erroneous detection, etc. The index value is calculated low. In addition, an index value of a coordinate value sequence (that is, a coordinate value sequence that is independent from the others) in which no detection position by another coordinate value sequence exists in the vicinity of the detection position indicated by the coordinate value sequence is calculated to be high. In this way, when the detection positions indicated by the plurality of coordinate value sequences are close to a relatively narrow range, such coordinate value sequences are obtained by the user holding the portable image display device 1. Since it is assumed, the index value of such a coordinate value sequence can be lowered. Further, the number of coordinate values constituting each coordinate value sequence (that is, the period during which the user's finger is kept in contact) may be used for calculating the index value.

さらに、操作種別判定部42は、この並べ替えられた順序に従って各座標値列を評価して、各座標値列が所定の操作パターンに該当するか否かを判別することによって、ユーザによる操作種別の判定を行う。こうすれば、ユーザが意図的にタッチセンサに指を触れたことによって得られたと想定される座標値列を優先的に判定対象として、操作種別の判定を行うことができる。このとき、判定の対象となる操作種別にも、予め優先順位が定められていることとしてもよい。すなわち、携帯型画像表示装置1は、判別対象となる複数の操作パターンのそれぞれに対して、優先順位を関連付けたテーブルを予め記憶しておく。そして、複数の操作パターンのそれぞれについて、優先順位の高い操作パターンから順に、当該操作パターンに該当する座標値列があるか否かを判定する。さらに、この各座標値列が当該操作パターンに該当するか否かの判定を、各座標値列について前述した並べ替えを行った順序で行うこととする。この操作パターンの順序の具体例としては、優先順位の高いものから順に、ユーザの2本以上の指の動きによる操作、1本の指の動きによる操作、1本の指が所定位置に触れる操作、1本の指が所定位置から離れる操作、といった順序が挙げられる。そして、この順序で操作種別の判定を行った結果、最初に該当する座標値列が存在すると判定された操作パターンを、ユーザが実際に行った操作入力であると判定する。こうすれば、より誤検出のおそれが低い操作を優先してユーザの操作として判定することができる。また、2本以上の指の動きによる操作や1本の指の動きによる操作などがそれぞれ複数種類ある場合、これら複数種類の操作パターンの間の優先順位も定められていることとしてもよい。また、この優先順位は、アプリケーションプログラムによって実行中の処理の内容に応じて変化することとしてもよい。こうすれば、実行中の処理の内容(状態)によって、ユーザが実行する可能性が低いと思われる操作や、誤判定してしまうことを避けたい操作(処理内容を最終的に決定するための操作など)の優先順位を低くすることができる。   Further, the operation type determination unit 42 evaluates each coordinate value sequence in accordance with the rearranged order, and determines whether each coordinate value sequence corresponds to a predetermined operation pattern, whereby the operation type by the user is determined. Judgment is made. By doing so, it is possible to determine the operation type by preferentially using a coordinate value sequence assumed to be obtained by the user intentionally touching the touch sensor with a finger as a determination target. At this time, a priority order may be determined in advance for the operation type to be determined. That is, the portable image display device 1 stores in advance a table in which the priority order is associated with each of a plurality of operation patterns to be determined. Then, for each of the plurality of operation patterns, it is determined whether or not there is a coordinate value sequence corresponding to the operation pattern in order from the operation pattern with the highest priority. Further, whether or not each coordinate value sequence corresponds to the operation pattern is determined in the order in which the above-described rearrangement is performed for each coordinate value sequence. As a specific example of the order of this operation pattern, the operation by the movement of two or more fingers of the user, the operation by the movement of one finger, the operation by which one finger touches a predetermined position in descending order of priority. An order in which one finger moves away from a predetermined position is exemplified. Then, as a result of determining the operation type in this order, it is determined that the operation pattern that is initially determined to have a corresponding coordinate value sequence is the operation input actually performed by the user. In this way, it is possible to determine an operation with a low possibility of erroneous detection as a user operation with priority. In addition, when there are a plurality of types of operations by movements of two or more fingers, operations by movement of one finger, and the like, priority orders between these types of operation patterns may be determined. Further, the priority order may be changed according to the contents of the process being executed by the application program. In this way, depending on the content (state) of the process being executed, an operation that is unlikely to be performed by the user, or an operation that should be avoided from being erroneously determined (for determining the final process content) The priority of the operation etc. can be lowered.

なお、各座標値列が所定の操作パターンに該当するか否かの判定を操作種別判定部42が行う際には、検知位置が所与の遊び量を超える量だけ変化することを、当該操作パターンに該当するか否かの判定条件に加えてもよい。こうすれば、ユーザの意図に反してわずかにユーザの指がタッチセンサに触れてしまった場合などに、ユーザがタッチセンサ上で所定の向きに指を動かす操作を行ったと判定してしまうことを避けることができる。なお、この遊び量は、複数の操作パターンの種別ごとに、互いに異なる値であってもよい。例えば図5に例示するような互いに離れたタッチセンサに対する操作パターンと、図6に例示するような互いに隣接するタッチセンサに対する操作パターンとでは、遊び量を変化させてもよい。   When the operation type determination unit 42 determines whether or not each coordinate value sequence corresponds to a predetermined operation pattern, it is determined that the detected position changes by an amount exceeding a given play amount. You may add to the determination conditions of whether it corresponds to a pattern. In this way, when the user's finger slightly touches the touch sensor against the user's intention, it is determined that the user has performed an operation of moving the finger in a predetermined direction on the touch sensor. Can be avoided. The play amount may be a different value for each type of the plurality of operation patterns. For example, the play amount may be changed between an operation pattern for touch sensors separated from each other as illustrated in FIG. 5 and an operation pattern for touch sensors adjacent to each other as illustrated in FIG.

以上説明した本実施の形態によれば、表示画面の外周に沿って設けられた複数のタッチセンサのそれぞれにより検知される指の位置の組み合わせに応じて、当該表示画面に表示される画像が変化する。これにより、ユーザは、表示画面に対応する複数のタッチセンサ上の位置を指で触ることで、表示画面に表示された画像に対して、容易に、かつ直感的に理解しやすい態様で操作入力を行うことができる。また、複数のタッチセンサにより複数の指の位置を検知し、その組み合わせに応じて画像を変化させることによって、本実施形態に係る携帯型画像表示装置1は、ユーザによる多様な種別の操作入力を受け付けることができる。さらに、複数のタッチセンサは表示画面の外周に沿って設けられているので、ユーザがこれらのタッチセンサを指で触って操作する際に、表示画面が指で隠れてしまうことがなく、画面の閲覧性を損ねにくくすることができる。   According to the present embodiment described above, the image displayed on the display screen changes according to the combination of finger positions detected by each of the plurality of touch sensors provided along the outer periphery of the display screen. To do. As a result, the user can easily and intuitively input an operation on the image displayed on the display screen by touching the position on the plurality of touch sensors corresponding to the display screen with a finger. It can be performed. In addition, by detecting the positions of a plurality of fingers with a plurality of touch sensors and changing an image in accordance with the combination, the portable image display device 1 according to the present embodiment receives various types of operation inputs by the user. Can be accepted. Furthermore, since the plurality of touch sensors are provided along the outer periphery of the display screen, when the user touches and operates these touch sensors with a finger, the display screen is not hidden with the finger. It is possible to make it difficult to impair the viewability.

なお、本発明の実施の形態は以上説明したものに限られない。   The embodiments of the present invention are not limited to those described above.

例えば、携帯型画像表示装置1の筐体10の各側面にタッチセンサを設ける場合、筐体の側面を、表示画面が設けられた表面及び当該側面の双方に平行な方向から見て凹状になるように形成して、タッチセンサをこの凹部の底面に沿って直線状に配置することとしてもよい。図11は、このように側面が凹状に形成された携帯型画像表示装置の断面形状を示している。なお、この図に示される携帯型画像表示装置は、側面が凹状に形成されているほかは、図1に示す携帯型画像表示装置と同様の構造をしており、同様に各表示画面やタッチセンサが配置されていることとしている。また、この図においては、各表示画面に垂直で、第1タッチセンサ14a及び第3タッチセンサ14cを通る平面で携帯型画像表示装置1を切った様子が示されている。このようにタッチセンサを凹部の底面に沿って配置すれば、同図に示されるように、ユーザが意図的にタッチセンサに触れようとしたときにはタッチセンサに指を接触させることができ、一方でユーザが単に筐体を把持している箇所では、意図せずにユーザの指や手のひらがタッチセンサに触れてしまわないようにすることができる。   For example, when a touch sensor is provided on each side surface of the housing 10 of the portable image display device 1, the side surface of the housing is concave when viewed from a direction parallel to both the surface on which the display screen is provided and the side surface. It is good also as arrange | positioning and arranging a touch sensor linearly along the bottom face of this recessed part. FIG. 11 shows a cross-sectional shape of the portable image display device having the concave side surface as described above. The portable image display device shown in this figure has the same structure as that of the portable image display device shown in FIG. 1 except that the side surface is formed in a concave shape. It is assumed that a sensor is arranged. Further, this figure shows a state in which the portable image display device 1 is cut by a plane perpendicular to each display screen and passing through the first touch sensor 14a and the third touch sensor 14c. If the touch sensor is arranged along the bottom surface of the recess in this way, as shown in the figure, when the user intentionally touches the touch sensor, the finger can be brought into contact with the touch sensor, It is possible to prevent the user's finger or palm from touching the touch sensor unintentionally at a place where the user simply holds the casing.

また、以上説明した例においては、各タッチセンサを筐体10の側面に設けることとしている。しかしながら、タッチセンサは、筐体の各表示画面と同じ面上において、当該表示画面の外周を構成する各辺に隣接して設けられてもよい。また、タッチセンサは必ずしも矩形の外周を構成する4辺全てに沿って設けられていなくともよい。例えば一方の長辺と一方の短辺など、少なくとも2辺のそれぞれに沿って2つのタッチセンサが設けられていれば、これらタッチセンサのそれぞれが検知するユーザの指の位置の組み合わせに応じて制御部30が表示画面に表示する画像を変化させることにより、ユーザは表示画面に対する拡大や縮小などの各種の操作を直感的に行うことができる。   Further, in the example described above, each touch sensor is provided on the side surface of the housing 10. However, the touch sensor may be provided adjacent to each side constituting the outer periphery of the display screen on the same surface as each display screen of the housing. Moreover, the touch sensor does not necessarily need to be provided along all four sides constituting the outer periphery of the rectangle. For example, if two touch sensors are provided along each of at least two sides such as one long side and one short side, control is performed according to the combination of the positions of the user's fingers detected by each of these touch sensors. By changing the image displayed on the display screen by the unit 30, the user can intuitively perform various operations such as enlargement and reduction on the display screen.

本発明の実施の形態に係る携帯型画像表示装置の外観を示す斜視図である。1 is a perspective view illustrating an appearance of a portable image display device according to an embodiment of the present invention. 本実施形態に係る携帯型画像表示装置の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the portable image display apparatus which concerns on this embodiment. 本実施形態に係る携帯型画像表示装置の機能例を示す機能ブロック図である。It is a functional block diagram which shows the function example of the portable image display apparatus which concerns on this embodiment. ユーザによるタッチセンサに対する操作の一例を示す説明図である。It is explanatory drawing which shows an example of operation with respect to the touch sensor by a user. ユーザによるタッチセンサに対する操作の別の例を示す説明図である。It is explanatory drawing which shows another example of operation with respect to the touch sensor by a user. ユーザによるタッチセンサに対する操作の別の例を示す説明図である。It is explanatory drawing which shows another example of operation with respect to the touch sensor by a user. ユーザによるタッチセンサに対する操作の別の例を示す説明図である。It is explanatory drawing which shows another example of operation with respect to the touch sensor by a user. ユーザによるタッチセンサに対する操作の別の例を示す説明図である。It is explanatory drawing which shows another example of operation with respect to the touch sensor by a user. ユーザによるタッチセンサに対する操作の別の例を示す説明図である。It is explanatory drawing which shows another example of operation with respect to the touch sensor by a user. ユーザによるタッチセンサに対する操作の別の例を示す説明図である。It is explanatory drawing which shows another example of operation with respect to the touch sensor by a user. 本発明の実施の形態に係る他の携帯型画像表示装置の断面形状を示す図である。It is a figure which shows the cross-sectional shape of the other portable image display apparatus which concerns on embodiment of this invention.

符号の説明Explanation of symbols

1 携帯型画像表示装置、10 筐体、12a 第1表示画面、12b 第2表示画面、14a〜14d タッチセンサ、16a及び16b 遠赤外線センサ、18 加速度センサ、20 ジャイロセンサ、30 制御部、32 記憶部、34 画像処理部、40 検知位置・情報取得部、42 操作種別判定部、44 表示画像制御処理部。   DESCRIPTION OF SYMBOLS 1 Portable image display apparatus, 10 housing | casing, 12a 1st display screen, 12b 2nd display screen, 14a-14d Touch sensor, 16a and 16b Far-infrared sensor, 18 Acceleration sensor, 20 Gyro sensor, 30 Control part, 32 Memory | storage Unit, 34 image processing unit, 40 detection position / information acquisition unit, 42 operation type determination unit, 44 display image control processing unit.

Claims (7)

略矩形の平板状の筐体と、
前記筐体の表面に設けられた略矩形の表示画面と、
前記筐体の互いに対向する2つの側面のそれぞれに設けられ、それぞれユーザの指が触れた位置を検知する2つのタッチセンサと、
前記2つのタッチセンサが互いに逆向きの指の動きを検知した場合に、前記表示画面に表示する画像を回転させる表示画像制御手段と、
を含むことを特徴とする携帯型画像表示装置。
A substantially rectangular flat-plate housing;
A substantially rectangular display screen provided on the surface of the housing;
It said set to each of the two sides facing each other of the housing vignetting, and two touch sensors for detecting the position where the user's finger touches respectively,
Display image control means for rotating an image to be displayed on the display screen when the two touch sensors detect movements of fingers in opposite directions ;
A portable image display device comprising:
請求項1に記載の携帯型画像表示装置において、
前記2つのタッチセンサのそれぞれについて、当該タッチセンサが所定時間おきに検知した位置を示す座標値からなる1又は複数の座標値列を取得する取得手段をさらに含み、
前記表示画像制御手段は、前記取得された座標値列のうち、位置の変化しない座標値列を除外し、位置の変化する座標値列が示すユーザの指の動きに応じて、前記表示画面に表示する画像を変化させる
ことを特徴とする携帯型画像表示装置。
The portable image display device according to claim 1 ,
For each of the two touch sensors, it further comprises an acquisition means for acquiring one or a plurality of coordinate value sequences consisting of coordinate values indicating positions detected by the touch sensor at predetermined time intervals,
The display image control means excludes the coordinate value sequence whose position does not change from the acquired coordinate value sequence, and displays the display screen according to the movement of the user's finger indicated by the coordinate value sequence whose position changes. A portable image display device characterized by changing an image to be displayed.
請求項1に記載の携帯型画像表示装置において、
前記2つのタッチセンサのそれぞれについて、当該タッチセンサが所定時間おきに検知した位置を示す座標値からなる1又は複数の座標値列を取得する取得手段をさらに含み、
前記表示画像制御手段は、前記取得された座標値列のそれぞれについて、当該座標値列がユーザの操作入力によって得られた可能性を示す指標値を算出し、当該算出された指標値の順序にしたがって、各座標値列が示すユーザの指の動きが複数の操作パターンのうちのどの操作パターンに該当するかを判別し、当該判別した操作パターンに応じて前記表示画面に表示する画像を変化させる
ことを特徴とする携帯型画像表示装置。
The portable image display device according to claim 1 ,
For each of the two touch sensors, it further comprises an acquisition means for acquiring one or a plurality of coordinate value sequences consisting of coordinate values indicating positions detected by the touch sensor at predetermined time intervals,
The display image control unit calculates, for each of the acquired coordinate value sequences, an index value indicating the possibility that the coordinate value sequence is obtained by a user's operation input, and sets the calculated index value in the order of the calculated index values. Therefore, it is determined which of the plurality of operation patterns the user's finger movement indicated by each coordinate value sequence corresponds to, and the image displayed on the display screen is changed according to the determined operation pattern. A portable image display device characterized by that.
請求項からのいずれか一項記載の携帯型画像表示装置において、
前記2つのタッチセンサのそれぞれは、前記筐体の側面に形成された凹部内に配置される
ことを特徴とする携帯型画像表示装置。
The portable image display device according to any one of claims 1 to 3 ,
Each of said two touch sensors is arrange | positioned in the recessed part formed in the side surface of the said housing | casing. The portable image display apparatus characterized by the above-mentioned.
略矩形の平板状の筐体と、
前記筐体の表面に設けられた略矩形の表示画面と、
前記筐体の互いに対向する2つの側面のそれぞれに設けられ、それぞれユーザの指が触れた位置を検知する2つのタッチセンサと、
を備える携帯型画像表示装置の制御方法であって、
前記2つのタッチセンサが互いに逆向きの指の動きを検知した場合に、前記表示画面に表示する画像を回転させるステップ、
を含むことを特徴とする携帯型画像表示装置の制御方法。
A substantially rectangular flat-plate housing;
A substantially rectangular display screen provided on the surface of the housing;
It said set to each of the two sides facing each other of the housing vignetting, and two touch sensors for detecting the position where the user's finger touches respectively,
A method for controlling a portable image display device comprising:
A step of rotating an image displayed on the display screen when the two touch sensors detect movements of fingers in opposite directions ;
A control method for a portable image display device, comprising:
略矩形の平板状の筐体と、
前記筐体の表面に設けられた略矩形の表示画面と、
前記筐体の互いに対向する2つの側面のそれぞれに設けられ、それぞれユーザの指が触れた位置を検知する2つのタッチセンサと、
を備える携帯型画像表示装置としてコンピュータを機能させるためのプログラムであって、
前記2つのタッチセンサが互いに逆向きの指の動きを検知した場合に、前記表示画面に表示する画像を回転させる表示画像制御手段、
として前記コンピュータを機能させるためのプログラム。
A substantially rectangular flat-plate housing;
A substantially rectangular display screen provided on the surface of the housing;
It said set to each of the two sides facing each other of the housing vignetting, and two touch sensors for detecting the position where the user's finger touches respectively,
A program for causing a computer to function as a portable image display device comprising:
Display image control means for rotating an image to be displayed on the display screen when the two touch sensors detect movements of fingers in opposite directions ;
A program for causing the computer to function as
請求項記載のプログラムを格納したコンピュータ読み取り可能な情報記憶媒体。 A computer-readable information storage medium storing the program according to claim 6 .
JP2008184858A 2008-07-16 2008-07-16 Portable image display device, control method thereof, program, and information storage medium Active JP5205157B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008184858A JP5205157B2 (en) 2008-07-16 2008-07-16 Portable image display device, control method thereof, program, and information storage medium
US13/003,751 US8854320B2 (en) 2008-07-16 2009-03-25 Mobile type image display device, method for controlling the same and information memory medium
PCT/JP2009/056004 WO2010007813A1 (en) 2008-07-16 2009-03-25 Mobile type image display device, method for controlling the same and information memory medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008184858A JP5205157B2 (en) 2008-07-16 2008-07-16 Portable image display device, control method thereof, program, and information storage medium

Publications (3)

Publication Number Publication Date
JP2010026638A JP2010026638A (en) 2010-02-04
JP2010026638A5 JP2010026638A5 (en) 2011-09-01
JP5205157B2 true JP5205157B2 (en) 2013-06-05

Family

ID=41732440

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008184858A Active JP5205157B2 (en) 2008-07-16 2008-07-16 Portable image display device, control method thereof, program, and information storage medium

Country Status (1)

Country Link
JP (1) JP5205157B2 (en)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5265433B2 (en) * 2009-03-27 2013-08-14 ソフトバンクモバイル株式会社 Display device and program
JP2010245843A (en) * 2009-04-06 2010-10-28 Canon Inc Image display device
JP2011048717A (en) * 2009-08-28 2011-03-10 Shin Etsu Polymer Co Ltd Electronic equipment with variable resistance device, and computer program
JP2011086035A (en) * 2009-10-14 2011-04-28 Nec Corp Portable device, and image display control method, and device therefor
JP2011145829A (en) * 2010-01-13 2011-07-28 Buffalo Inc Operation input device
KR101119835B1 (en) * 2010-03-25 2012-02-28 이노디지털 주식회사 Remote controller having user interface of touch pad
JP5271950B2 (en) * 2010-03-29 2013-08-21 株式会社エヌ・ティ・ティ・ドコモ Mobile device
DE102010019841A1 (en) * 2010-05-07 2011-11-10 Ident Technology Ag Printed circuit board for display and display module with display and printed circuit board
JP2012128668A (en) * 2010-12-15 2012-07-05 Nikon Corp Electronic device
JP2012145867A (en) * 2011-01-14 2012-08-02 Nikon Corp Electronic equipment
JP2012174247A (en) * 2011-02-24 2012-09-10 Kyocera Corp Mobile electronic device, contact operation control method, and contact operation control program
JP5665601B2 (en) * 2011-02-24 2015-02-04 京セラ株式会社 Electronic device, contact operation control program, and contact operation control method
JP5714935B2 (en) * 2011-02-24 2015-05-07 京セラ株式会社 Portable electronic device, contact operation control method, and contact operation control program
JP5806822B2 (en) * 2011-02-24 2015-11-10 京セラ株式会社 Portable electronic device, contact operation control method, and contact operation control program
JP2012194810A (en) * 2011-03-16 2012-10-11 Kyocera Corp Portable electronic apparatus, method for controlling contact operation, and contact operation control program
JP2012243204A (en) * 2011-05-23 2012-12-10 Nikon Corp Electronic device and image display method
KR101356743B1 (en) 2011-06-28 2014-02-03 (주)메이벨솔루션 Tochtoc terminal
JP5718182B2 (en) * 2011-07-15 2015-05-13 レノボ・シンガポール・プライベート・リミテッド Input device
JP5766083B2 (en) * 2011-09-28 2015-08-19 京セラ株式会社 Portable electronic devices
CN103947286B (en) * 2011-09-30 2019-01-01 英特尔公司 For refusing the mobile device and method of touch sensor contact unintentionally
JP5776525B2 (en) * 2011-12-05 2015-09-09 株式会社デンソー Input device
WO2013101220A1 (en) 2011-12-30 2013-07-04 Intel Corporation Mobile device operation using grip intensity
CN102629185A (en) * 2012-02-29 2012-08-08 中兴通讯股份有限公司 Processing method of touch operation and mobile terminal
JP2013235359A (en) * 2012-05-08 2013-11-21 Tokai Rika Co Ltd Information processor and input device
EP2730983A1 (en) * 2012-11-13 2014-05-14 ETA SA Manufacture Horlogère Suisse Activation mode of an electronic watch
JP5874625B2 (en) * 2012-12-20 2016-03-02 カシオ計算機株式会社 INPUT DEVICE, INPUT OPERATION METHOD, CONTROL PROGRAM, AND ELECTRONIC DEVICE
US20150363039A1 (en) * 2013-02-27 2015-12-17 Nec Corporation Terminal device, information display method, and recording medium
JP2014191460A (en) * 2013-03-26 2014-10-06 Fujifilm Corp Portable type image display terminal and actuation method of the same
JP2015005182A (en) * 2013-06-21 2015-01-08 カシオ計算機株式会社 Input device, input method, program and electronic apparatus
JP6321590B2 (en) * 2015-07-29 2018-05-09 東芝テック株式会社 Order reception system
JP6783003B1 (en) * 2019-11-01 2020-11-11 将也 実広 Electronics, programs and control methods

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11143604A (en) * 1997-11-05 1999-05-28 Nec Corp Portable terminal equipment
US7800592B2 (en) * 2005-03-04 2010-09-21 Apple Inc. Hand held electronic device with multiple touch sensing devices
JP4127982B2 (en) * 2001-05-28 2008-07-30 富士フイルム株式会社 Portable electronic devices
JP2004206206A (en) * 2002-12-24 2004-07-22 Casio Comput Co Ltd Input device and electronic device
JP2004213451A (en) * 2003-01-07 2004-07-29 Matsushita Electric Ind Co Ltd Information processor and frame
JP2005322087A (en) * 2004-05-10 2005-11-17 Sharp Corp Display
JP4429124B2 (en) * 2004-09-13 2010-03-10 富士通コンポーネント株式会社 Display device with touch input function
JP5319867B2 (en) * 2005-09-28 2013-10-16 Kddi株式会社 Information terminal equipment
JP4412348B2 (en) * 2007-04-27 2010-02-10 ソニー株式会社 Information processing apparatus and information processing method
JP2009099067A (en) * 2007-10-18 2009-05-07 Sharp Corp Portable electronic equipment, and operation control method of portable electronic equipment

Also Published As

Publication number Publication date
JP2010026638A (en) 2010-02-04

Similar Documents

Publication Publication Date Title
JP5205157B2 (en) Portable image display device, control method thereof, program, and information storage medium
WO2010007813A1 (en) Mobile type image display device, method for controlling the same and information memory medium
TWI571790B (en) Method and electronic device for changing coordinate values of icons according to a sensing signal
US10031586B2 (en) Motion-based gestures for a computing device
JP5529700B2 (en) Information processing apparatus, control method thereof, and program
JP6046729B2 (en) Omni-directional gesture input
JP5920869B2 (en) INPUT CONTROL DEVICE, INPUT CONTROL METHOD, AND INPUT CONTROL PROGRAM
JP6021335B2 (en) Information processing program, information processing apparatus, information processing system, and information processing method
JP5846857B2 (en) Portable information terminal and electronic content display method
JP2009140368A (en) Input device, display device, input method, display method, and program
JP2010026064A (en) Portable image display, control method thereof, program, and information storage medium
TWI503700B (en) Method and apparatus for providing a multi-dimensional data interface
JP5429627B2 (en) Mobile terminal, mobile terminal operation method, and mobile terminal operation program
US9367169B2 (en) Method, circuit, and system for hover and gesture detection with a touch screen
US9665232B2 (en) Information-processing device, storage medium, information-processing method, and information-processing system for enlarging or reducing an image displayed on a display device
JP6188377B2 (en) Display control apparatus, control method thereof, and control program
US20160328077A1 (en) Touch sensor
JP5827695B2 (en) Information processing apparatus, information processing method, program, and information storage medium
JP2019096182A (en) Electronic device, display method, and program
JP5841023B2 (en) Information processing apparatus, information processing method, program, and information storage medium
JP2013003748A (en) Information processor
KR101231105B1 (en) The ui for mobile devices based on motion sensors control system and a method
JP2016015078A (en) Display control device, display control method, and program
JP6067838B2 (en) Method and apparatus for providing 3D input
KR101165388B1 (en) Method for controlling screen using different kind of input devices and terminal unit thereof

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20101124

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101203

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110714

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120918

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130218

R150 Certificate of patent or registration of utility model

Ref document number: 5205157

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160222

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250