JP2013020333A - Display input device - Google Patents

Display input device Download PDF

Info

Publication number
JP2013020333A
JP2013020333A JP2011151567A JP2011151567A JP2013020333A JP 2013020333 A JP2013020333 A JP 2013020333A JP 2011151567 A JP2011151567 A JP 2011151567A JP 2011151567 A JP2011151567 A JP 2011151567A JP 2013020333 A JP2013020333 A JP 2013020333A
Authority
JP
Japan
Prior art keywords
finger
user
area
display
coordinate position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011151567A
Other languages
Japanese (ja)
Inventor
Hiroyuki Morimoto
洋行 森本
Miyoshi Torii
美佳 鳥居
Shinichi Sato
慎一 佐藤
Norimitsu Sakai
紀光 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2011151567A priority Critical patent/JP2013020333A/en
Publication of JP2013020333A publication Critical patent/JP2013020333A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Position Input By Displaying (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a display input device capable of easily reflecting the coordinate position of a finger in an operation area up to an edge area of a display area even when the movable range of the user's finger is easily limited.SOLUTION: The display input device includes: a display panel 120 that has a display area 122; an operation panel 130 that has an operation area 132 and is disposed on the rear face of the display panel 120; and a conversion section 155 that converts a coordinate position in the operation area 132 into a coordinate position in the display area 122. The conversion section 155 is configured to set a movable range 150 of a user's finger in the operation area 132 on the basis of the contact state of the user's finger when touching the operation area 132 and to convert the movable range 150 so that the coordinate position operated by the user's finger in the movable range 150 corresponds to the display coordinate position in the display area 122.

Description

ここに開示された技術は、表示領域を有する表示パネルと、表示パネルの裏面側に配置され操作領域を有する操作パネルとを備えた表示入力装置に関する。   The technology disclosed herein relates to a display input device including a display panel having a display area and an operation panel disposed on the back side of the display panel and having an operation area.

近年、携帯型のコンピュータや電子手帳等の携帯端末が普及している。このような携帯端末には、ユーザの利便性を考慮した様々な表示入力装置が配置されている。   In recent years, portable terminals such as portable computers and electronic notebooks have become widespread. In such a portable terminal, various display input devices in consideration of user convenience are arranged.

以下、従来の表示入力装置について説明する。   A conventional display input device will be described below.

従来の表示入力装置は、例えば、表示領域を有する表示パネルと、表示パネルの裏面側に配置され操作領域を有する操作パネルと、操作領域における座標位置を表示領域における座標位置に変換する変換部を備えている。   A conventional display input device includes, for example, a display panel having a display area, an operation panel arranged on the back side of the display panel and having an operation area, and a conversion unit that converts a coordinate position in the operation area to a coordinate position in the display area. I have.

表示パネルの表示領域は、液晶等を用いた表示デバイスで形成されている。操作パネルの操作領域は、静電容量方式等を用いたタッチパッドデバイスで形成されている。このタッチパッドデバイスを用いることによって、ユーザが操作領域に指を接触させると静電容量の変化が検出されて、操作領域におけるユーザの指の座標位置を特定することができる。   The display area of the display panel is formed by a display device using liquid crystal or the like. The operation area of the operation panel is formed by a touch pad device using a capacitance method or the like. By using this touchpad device, when the user touches the operation area with a finger, a change in capacitance is detected, and the coordinate position of the user's finger in the operation area can be specified.

変換部は、操作領域におけるユーザの指の座標位置を表示領域における座標位置に変換する。この結果、操作パネルの操作領域に接触させたユーザの指の位置が、表示パネルの表示領域に反映される。   The conversion unit converts the coordinate position of the user's finger in the operation area to the coordinate position in the display area. As a result, the position of the user's finger brought into contact with the operation area of the operation panel is reflected in the display area of the display panel.

このような表示入力装置を備えた携帯端末をユーザは片手または両手で保持して使用する。携帯端末を両手で保持する場合、ユーザは、表示パネル側にユーザの親指を配置し、操作パネル側にユーザの人差し指から小指までを配置して、携帯端末を保持する。   A user holds and uses a portable terminal equipped with such a display input device with one hand or both hands. When holding the portable terminal with both hands, the user places the user's thumb on the display panel side and places the index finger to the little finger of the user on the operation panel side to hold the portable terminal.

ユーザが、操作パネル側に配置した人差し指を操作領域に接触させると、操作領域における人差し指の座標位置が特定される。特定された操作領域における人差し指の座標位置は変換部によって表示領域における座標位置に変換される。そして、操作領域における人差し指の座標位置は、ポインタによって表示領域に反映され、ユーザが目視できる状態となる。   When the user brings the index finger arranged on the operation panel side into contact with the operation area, the coordinate position of the index finger in the operation area is specified. The coordinate position of the index finger in the specified operation area is converted into the coordinate position in the display area by the conversion unit. Then, the coordinate position of the index finger in the operation area is reflected in the display area by the pointer, so that the user can visually check.

ユーザは、携帯端末を使用して実行したいアプリケーションソフトウェアを起動させる。このアプリケーションソフトウェアとしては、ゲームや音楽や映像や写真等の各種のコンテンツを起動させるソフトェアが該当する。   The user activates application software to be executed using the mobile terminal. This application software corresponds to software that activates various contents such as games, music, videos, and photos.

これらのアプリケーションソフトウェアを起動させたり、起動させたアプリケーションソフトウェアを制御したりするために、ユーザは操作領域に接触させた人差し指を移動させて、表示領域に反映されたポインタをアプリケーションソフトウェアに対する入力ツールとして用いる。   In order to start up these application software and to control the started application software, the user moves the index finger touching the operation area and uses the pointer reflected in the display area as an input tool for the application software. Use.

このような表示入力装置を用いた携帯端末としては、例えば、特許文献1〜4に開示されたものがある。   Examples of portable terminals using such display input devices include those disclosed in Patent Documents 1 to 4.

特許文献1にはデジタルフォトフレームが開示されている。タッチパネルに人差し指を接触させて、人差し指を上下左右に動かしたり、タップさせたりする操作によって、画像のスクロールや回転等を行わせるものである。   Patent Document 1 discloses a digital photo frame. An image is scrolled or rotated by an operation of bringing the index finger into contact with the touch panel and moving the index finger up and down, left and right, or tapping.

特許文献2にはポインタが表示される情報処理装置が開示されている。表示画面の裏面側に配置されたタブレットに指やペンを接触させて、ポインタを入力ツールとして用いるものである。   Patent Document 2 discloses an information processing apparatus in which a pointer is displayed. A pointer is used as an input tool by bringing a finger or a pen into contact with a tablet arranged on the back side of the display screen.

特許文献3には携帯端末を保持するユーザの持ち手をセンサによって判断する構成が開示されている。   Patent Document 3 discloses a configuration in which a user's handle holding a mobile terminal is determined by a sensor.

特許文献4には携帯端末を保持するユーザの持ち手をタッチスクリーンに入力された斜線によって判断する構成が開示されている。   Patent Document 4 discloses a configuration in which a user's handle holding a mobile terminal is determined based on diagonal lines input to a touch screen.

特開2010−108071号公報JP 2010-108071 A 特開平11−39093号公報JP 11-39093 A 特開2009−163278号公報JP 2009-163278 A 特開2002−318640号公報JP 2002-318640 A

上記従来の携帯端末に配置された表示入力装置は、タッチパネル等の操作領域に接触させた指の座標位置を表示領域に表示されたポインタの座標位置に対応づける。そして、ユーザは、ポインタを入力ツールとして携帯端末のアプリケーションソフトェアを起動させたり制御したりする。ユーザが携帯端末を使用する際は、ユーザは携帯端末を保持しながら指を操作領域で移動させるので、指の可動範囲が制約されやすい。特に、ユーザが携帯端末を片手で保持し、その保持した側の手の指を操作領域で移動させる際は、指の可動範囲が大きく制約される。その結果、携帯端末を一方の手で保持し、他方の手で操作する必要があったり、携帯端末を持つ手の位置を変えながら操作する必要があったりする。   The display input device arranged in the conventional portable terminal associates the coordinate position of the finger brought into contact with the operation area such as a touch panel with the coordinate position of the pointer displayed in the display area. Then, the user activates or controls the application software of the portable terminal using the pointer as an input tool. When the user uses the mobile terminal, the user moves the finger in the operation area while holding the mobile terminal, and thus the movable range of the finger is likely to be restricted. In particular, when the user holds the portable terminal with one hand and moves the finger of the hand on the holding side in the operation area, the movable range of the finger is greatly restricted. As a result, it is necessary to hold the mobile terminal with one hand and operate it with the other hand, or to operate while changing the position of the hand holding the mobile terminal.

このように従来の携帯端末に配置された表示入力装置は、ユーザの指の可動範囲が制約されやすく、操作領域における指の座標位置を表示領域の端部領域まで反映することが難しいという問題を有する。   As described above, the display input device arranged in the conventional mobile terminal has a problem that the movable range of the user's finger is easily restricted, and it is difficult to reflect the coordinate position of the finger in the operation region to the end region of the display region. Have.

ここに開示された技術は、ユーザの指の可動範囲が制約されやすくても、操作領域における指の座標位置を表示領域の端部領域まで反映することが容易な表示入力装置を提供することを目的としている。   The technology disclosed herein provides a display input device that can easily reflect the coordinate position of the finger in the operation region up to the end region of the display region even if the movable range of the user's finger is likely to be restricted. It is aimed.

上記目的を達成するためにここに開示された技術は、以下の構成を有する。   In order to achieve the above object, the technology disclosed herein has the following configuration.

ここに開示された技術における表示入力装置は、表示領域を有する表示パネルと、前記表示パネルの裏面側に配置され操作領域を有する操作パネルと、前記操作領域における座標位置を前記表示領域における座標位置に変換する変換部を備え、前記変換部は、前記操作領域に接触させたユーザの指の接触状態に基づいて、前記操作領域における前記ユーザの指の可動範囲を設定し、前記ユーザの指の可動範囲における操作座標位置と前記表示領域の表示座標位置とを対応させて変換する構成である。   The display input device in the technology disclosed herein includes a display panel having a display area, an operation panel disposed on the back side of the display panel and having an operation area, and a coordinate position in the operation area as a coordinate position in the display area. A conversion unit that converts the user's finger in the operation region based on a contact state of the user's finger that is in contact with the operation region. The operation coordinate position in the movable range and the display coordinate position of the display area are converted in correspondence with each other.

ここに開示された技術によれば、操作領域に接触させたユーザの指の接触状態に基づいて、操作領域におけるユーザの指の可動範囲を設定し、ユーザの指の可動範囲における操作座標位置と表示領域の表示座標位置とを対応させている。   According to the technology disclosed herein, the movable range of the user's finger in the operation region is set based on the contact state of the user's finger that is in contact with the operation region, and the operation coordinate position in the movable range of the user's finger The display coordinate position of the display area is associated.

すなわち、ユーザの指の可動範囲が制約されやすくても、ユーザの指の可動範囲における操作座標位置と表示領域の表示座標位置とを対応させているので、操作領域における指の座標位置を表示領域の端部領域まで容易に反映することができる。   That is, even if the movable range of the user's finger is likely to be restricted, the operation coordinate position in the movable range of the user's finger is associated with the display coordinate position of the display area. It can be easily reflected to the end region of.

一実施の形態における携帯端末の表示パネル側の斜視図The perspective view by the side of the display panel of the portable terminal in one embodiment 同携帯端末の操作パネル側の斜視図A perspective view of the operation panel side of the portable terminal 同携帯端末の構成を示すブロック図Block diagram showing the configuration of the mobile terminal 同携帯端末をユーザが片手で保持した表示パネル側を示す説明図Explanatory drawing which shows the display panel side in which the user held the portable terminal with one hand 同携帯端末をユーザが片手で保持した操作パネル側を示す説明図Explanatory drawing which shows the operation panel side in which the user held the portable terminal with one hand 同携帯端末をユーザが両手で保持した表示パネル側を示す説明図Explanatory drawing which shows the display panel side with which the user hold | maintained the portable terminal with both hands 同携帯端末をユーザが両手で保持した操作パネル側を示す説明図Explanatory drawing which shows the operation panel side which the user hold | maintained the portable terminal with both hands 伸ばした指の可動範囲を示す図4Bの拡大背面図Enlarged rear view of FIG. 4B showing the movable range of the extended finger 伸ばした指の接触面積を示す図4Bの拡大背面図Enlarged rear view of FIG. 4B showing the contact area of the extended finger 折り曲げた指の可動範囲を示す図5Bの拡大背面図Enlarged rear view of FIG. 5B showing the movable range of the bent finger 折り曲げた指の接触面積を示す図5Bの拡大背面図Enlarged rear view of FIG. 5B showing the contact area of the folded finger 伸ばした指の可動範囲を示す同携帯端末の操作パネル側の背面図Rear view on the operation panel side of the mobile terminal showing the movable range of the extended finger ユーザの指の可動範囲が扇形状とした同携帯端末の操作パネル側の背面図Rear view on the operation panel side of the mobile terminal in which the movable range of the user's finger is a fan shape ユーザの指の接触状態を説明する説明図Explanatory drawing explaining the contact state of a user's finger | toe ユーザの指の接触状態を説明する説明図Explanatory drawing explaining the contact state of a user's finger | toe 同携帯端末の変換部による変換例を説明する説明図Explanatory drawing explaining the conversion example by the conversion part of the portable terminal 同携帯端末の変換部による他の変換例を説明する説明図Explanatory drawing explaining the other conversion example by the conversion part of the portable terminal

以下、一実施の形態における携帯端末について図面を参照しながら説明する。   Hereinafter, a mobile terminal according to an embodiment will be described with reference to the drawings.

<1.携帯端末100の概略構成>
本実施の形態における携帯端末の概略構成について説明する。
<1. Schematic configuration of portable terminal 100>
A schematic configuration of the mobile terminal in the present embodiment will be described.

携帯端末は、グラフィカルユーザインターフェース(以下、GUIという)を用いたものである。このGUIは、コンピュータグラフィックスとポインティングデバイスを用いた操作を提供する。   The portable terminal uses a graphical user interface (hereinafter referred to as GUI). This GUI provides operations using computer graphics and pointing devices.

図1および図2において、携帯端末100は、筐体110と、この筐体110の正面側に配置された表示パネル120と、この表示パネル120の裏面側に配置された操作パネル130と、表示パネル120の下部に配置された複数の入力ボタン140を備えている。   1 and 2, a mobile terminal 100 includes a housing 110, a display panel 120 disposed on the front side of the housing 110, an operation panel 130 disposed on the back side of the display panel 120, and a display. A plurality of input buttons 140 are provided at the bottom of the panel 120.

表示パネル120は表示領域122を有し、この表示領域122は液晶等を用いた表示デバイスで形成されている。この表示領域122には、携帯端末100を使用して実行したいアプリケーションソフトウェアがコンピュータグラフィックスとして表示される。このアプリケーションソフトウェアとしては、ゲームや音楽や映像や写真等、携帯端末100で起動される様々なものが該当する。図1では、このアプリケーションソフトウェアに対応したアイコン124が表示領域122に表示されている。このアイコン124を介してアプリケーションソフトウェアを起動させる。   The display panel 120 has a display area 122, and the display area 122 is formed of a display device using liquid crystal or the like. In this display area 122, application software to be executed using the mobile terminal 100 is displayed as computer graphics. Examples of the application software include various types of software activated by the mobile terminal 100 such as a game, music, video, and photo. In FIG. 1, an icon 124 corresponding to the application software is displayed in the display area 122. Application software is activated via the icon 124.

図2に示すように、操作パネル130は操作領域132を有し、この操作領域132は静電容量方式等を用いたタッチパッドデバイスで形成されている。このタッチパッドデバイスを用いることによって、ユーザが操作領域132に指を接触させると静電容量の変化が検出されて、操作領域132におけるユーザの指の座標位置を特定することができる。また、操作領域132に接触させたユーザの指の接触状態に基づいて、操作領域132におけるユーザの指の可動範囲150が設定される。図2では、ユーザの指の可動範囲150において、ユーザの指の座標位置の例として、座標Aが表示されている。このタッチパッドデバイスは、ユーザの指の座標位置を特定するためのポインティングデバイスの一つであるが、ユーザの指の座標位置を特定できるものであれば、その他のポインティングデバイスを用いても良い。   As shown in FIG. 2, the operation panel 130 has an operation area 132, and the operation area 132 is formed by a touch pad device using a capacitance method or the like. By using this touchpad device, when the user touches the operation area 132 with a finger, a change in capacitance is detected, and the coordinate position of the user's finger in the operation area 132 can be specified. Further, the movable range 150 of the user's finger in the operation region 132 is set based on the contact state of the user's finger brought into contact with the operation region 132. In FIG. 2, the coordinate A is displayed as an example of the coordinate position of the user's finger in the movable range 150 of the user's finger. The touch pad device is one of pointing devices for specifying the coordinate position of the user's finger, but other pointing devices may be used as long as the coordinate position of the user's finger can be specified.

図3に示すように、携帯端末100は、操作領域132における座標位置を表示領域122における座標位置に変換する変換部155を備えている。この変換部155は、操作領域132に接触させたユーザの指の接触状態に基づいて、操作領域132におけるユーザの指の可動範囲150を設定する。そして、ユーザの指の可動範囲150における操作座標位置と表示領域122の表示座標位置とを対応させて変換するものである。この結果、操作パネル130の操作領域132に接触させたユーザの指の位置が、表示パネル120の表示領域122に反映される。   As illustrated in FIG. 3, the mobile terminal 100 includes a conversion unit 155 that converts a coordinate position in the operation area 132 into a coordinate position in the display area 122. The conversion unit 155 sets the movable range 150 of the user's finger in the operation region 132 based on the contact state of the user's finger that is in contact with the operation region 132. And the operation coordinate position in the movable range 150 of a user's finger | toe and the display coordinate position of the display area 122 are matched and converted. As a result, the position of the user's finger brought into contact with the operation area 132 of the operation panel 130 is reflected in the display area 122 of the display panel 120.

このように、本実施の形態における携帯端末100では、表示パネル120と操作パネル130と変換部155によって表示入力装置160が構成されている。   As described above, in the portable terminal 100 according to the present embodiment, the display input device 160 is configured by the display panel 120, the operation panel 130, and the conversion unit 155.

<2.携帯端末100の使用>
ユーザが携帯端末100を使用する状態について説明する。
<2. Use of mobile terminal 100>
A state where the user uses the mobile terminal 100 will be described.

図4A、図4B、図5A、図5Bに示すように、このような表示入力装置160を備えた携帯端末100をユーザは片手または両手で保持して使用する。図4A、図4Bに示すように、ユーザが携帯端末100を片手で保持した場合は、表示パネル120側にユーザの親指と中指と薬指と小指を配置し、操作パネル130側にユーザの人差し指を配置して、携帯端末を保持する。図5A、図5Bに示すように、ユーザが携帯端末100を両手で保持した場合は、表示パネル120側にユーザの親指を配置し、操作パネル130側にユーザの人差し指から小指までを配置して、携帯端末100を保持する。   As shown in FIG. 4A, FIG. 4B, FIG. 5A, and FIG. 5B, the user uses the portable terminal 100 provided with such a display input device 160 while holding it with one hand or both hands. As shown in FIGS. 4A and 4B, when the user holds the mobile terminal 100 with one hand, the user's thumb, middle finger, ring finger, and little finger are placed on the display panel 120 side, and the user's index finger is placed on the operation panel 130 side. Arrange and hold the mobile terminal. As shown in FIGS. 5A and 5B, when the user holds the portable terminal 100 with both hands, the user's thumb is arranged on the display panel 120 side, and the user's index finger to little finger is arranged on the operation panel 130 side. The portable terminal 100 is held.

図4B、図5Bに示すように、ユーザが、操作パネル130側に配置した人差し指を操作領域132に接触させると、操作領域132における人差し指の座標位置が特定される。このとき、同時に人差し指の可動範囲150も設定される。操作領域132における人差し指の座標位置は変換部155によって、表示パネル120の表示領域122における座標位置に変換される。そして、操作領域132における人差し指の座標位置は、図4A、図5Aに示すように、ポインタ126によって表示領域122に反映され、ユーザが目視できる状態となる。   As shown in FIGS. 4B and 5B, when the user touches the operation area 132 with the index finger placed on the operation panel 130 side, the coordinate position of the index finger in the operation area 132 is specified. At this time, the movable range 150 of the index finger is also set. The coordinate position of the index finger in the operation area 132 is converted into a coordinate position in the display area 122 of the display panel 120 by the conversion unit 155. Then, as shown in FIGS. 4A and 5A, the coordinate position of the index finger in the operation area 132 is reflected in the display area 122 by the pointer 126 and is in a state where the user can visually check.

ユーザは、携帯端末100を使用して実行したいアプリケーションソフトウェアを起動させる。これらのアプリケーションソフトウェアを起動させたり、起動させたアプリケーションソフトウェアを制御したりするために、ユーザは操作領域132に接触させた人差し指を移動させて、表示領域122に反映されたポインタ126をアプリケーションソフトウェアに対する入力ツールとして用いる。ポインタ126をアイコン124に対応させ、表示パネル120の下部に配置された複数の入力ボタン140を用いて、入力を決定すればよい。または、アイコン124上で、操作領域132における人差し指をタップしたり、操作領域132を指で押圧して接触圧を大きくしたりすればよい。入力の決定前後の区別ができる方法であれば、これらの方法以外の他の方法でもよい。   The user activates application software to be executed using the mobile terminal 100. In order to activate these application software and control the activated application software, the user moves the index finger touching the operation area 132 and sets the pointer 126 reflected in the display area 122 to the application software. Used as an input tool. The pointer 126 is made to correspond to the icon 124, and the input may be determined using the plurality of input buttons 140 arranged at the lower part of the display panel 120. Alternatively, the index finger on the operation region 132 may be tapped on the icon 124 or the contact pressure may be increased by pressing the operation region 132 with a finger. Other methods other than these methods may be used as long as they can be distinguished before and after the input is determined.

<3.携帯端末100を片手で保持したユーザの指の可動範囲150の設定>
操作パネル130の操作領域132におけるユーザの指の可動範囲150について説明する。
<3. Setting of movable range 150 of user's finger holding portable terminal 100 with one hand>
The movable range 150 of the user's finger in the operation area 132 of the operation panel 130 will be described.

図4A、図4Bに示すように、携帯端末100を使用する際、ユーザは片手で携帯端末100を保持し、ユーザの人差し指を操作パネル130の操作領域132に接触させる。このとき、携帯端末100を保持した手の人差し指の可動範囲150は制約される。この人差し指の可動範囲150は、人差し指を、折り曲げたり、伸ばしたり、ずらしたりすることが可能なある程度の範囲に制約されてしまう。   As shown in FIGS. 4A and 4B, when using the mobile terminal 100, the user holds the mobile terminal 100 with one hand and brings the user's index finger into contact with the operation area 132 of the operation panel 130. At this time, the movable range 150 of the index finger of the hand holding the mobile terminal 100 is restricted. The movable range 150 of the index finger is limited to a certain range in which the index finger can be bent, stretched, or shifted.

<3−1.携帯端末100を片手で保持したユーザの指の配置>
ユーザが携帯端末100を保持した際に想定される代表的な指の配置は、図6A、図7Aに示すようなものである。図6A、図7Aでは、人差し指を除いた4本の指で携帯端末100を握り締めるように保持し、人差し指を操作領域132で移動させる。この持ち方は、携帯端末100が縦方向に長い形状をしている場合に多い。指の可動範囲150は、図6Aの斜線で指し示す範囲となる。この可動範囲150を推定して、操作可能エリアとして設定する方法について説明する。
<3-1. Arrangement of finger of user holding portable terminal 100 with one hand>
Typical finger placements assumed when the user holds the mobile terminal 100 are as shown in FIGS. 6A and 7A. 6A and 7A, the portable terminal 100 is held with four fingers excluding the index finger so that the index finger is moved in the operation area 132. This way of holding is often the case when the mobile terminal 100 has a shape that is long in the vertical direction. The movable range 150 of the finger is a range indicated by the oblique lines in FIG. 6A. A method of estimating the movable range 150 and setting it as an operable area will be described.

<3−2.ユーザの指が伸ばされた状態>
まず、ユーザの指が伸ばされた状態で操作領域132に接触させた場合について説明する。図6Aに示すように、ユーザの指が伸ばされた状態で操作領域132に接触させた場合には、図6Bに示すように、操作領域132に対する指の接触面積は広く、その輪郭線170aは縦方向に長い楕円形に近くなる。接触面積が広いことから指が伸ばされていると判断できる。
<3-2. State where user's finger is extended>
First, a case where the operation area 132 is brought into contact with the user's finger extended will be described. As shown in FIG. 6A, when the user's finger is stretched and brought into contact with the operation region 132, as shown in FIG. 6B, the contact area of the finger with the operation region 132 is large, and the contour 170a is It becomes close to an ellipse that is long in the vertical direction. Since the contact area is wide, it can be determined that the finger is extended.

次に、縦方向における指の可動範囲150を設定する方法について説明する。指が伸ばされていることから、指の可動範囲150は、現在の接触点よりも上方には存在せず、指の可動範囲150として、図6A、図6Bの線分Cを設定することができる。   Next, a method for setting the movable range 150 of the finger in the vertical direction will be described. Since the finger is extended, the movable range 150 of the finger does not exist above the current contact point, and the line segment C in FIGS. 6A and 6B can be set as the movable range 150 of the finger. it can.

また、指が伸ばされた状態から折り曲げた状態にすると、指の可動範囲150は、折り曲げた指の接触点よりも下方には存在せず、指の可動範囲150として、図6A、図6Bの線分Dを設定することができる。線分Cと線分Dの距離は、携帯端末100の大きさ、重さによって適宜調整する必要があるが、一般的には4cm程度が好適である。   When the finger is extended from the extended state, the movable range 150 of the finger does not exist below the contact point of the folded finger, and the movable range 150 of the finger is shown in FIGS. 6A and 6B. A line segment D can be set. The distance between the line segment C and the line segment D needs to be adjusted as appropriate depending on the size and weight of the mobile terminal 100, but is generally about 4 cm.

次に、横方向における指の可動範囲150を設定する方法について説明する。横方向の可動範囲150は、初期値として所定の距離を設定しておき、ユーザの操作状況から動的に調整する必要がある。これは、ユーザの持ち方によって、指の可動範囲150が大きく変化するためである。初期値は、携帯端末100の大きさや重さによって適宜調整する必要がある。しかし、一般的には、液晶画面の縦横比に合わせるのが好適である。たとえば横:縦=3:4の液晶画面を備えた携帯端末100では、縦横の操作感が一致するように、(縦方向の指の可動範囲150)×3÷4cm程度が好適となる。すなわち、指の可動範囲150は、図6A、図6Bの線分Aと線分Bとの間となる。   Next, a method for setting the finger movable range 150 in the lateral direction will be described. The movable range 150 in the horizontal direction has to be set as an initial value with a predetermined distance, and must be dynamically adjusted based on the user's operation status. This is because the finger movable range 150 varies greatly depending on how the user holds the finger. The initial value needs to be adjusted as appropriate depending on the size and weight of the mobile terminal 100. However, it is generally preferable to match the aspect ratio of the liquid crystal screen. For example, in the portable terminal 100 having a horizontal: vertical = 3: 4 liquid crystal screen, (vertical finger movable range 150) × 3 ÷ 4 cm is preferable so that the vertical and horizontal operation feelings coincide. That is, the finger movable range 150 is between line segment A and line segment B in FIGS. 6A and 6B.

このようにユーザの指が伸ばされた状態で操作領域132に接触させた場合、線分A〜線分Dに基づいて指の可動範囲150を設定することができる。すなわち、携帯端末100の変換部155が、ユーザの指の接触面積が所定値よりも大きい場合は、ユーザの指が伸ばされた状態で操作領域132に接触したと判断し、伸ばされたユーザの指の先端部の操作座標位置を表示領域122の上辺の表示座標位置に対応させて変換することになる。なお、線分A〜線分Dは指の移動のさせ方や指の位置によって多少のずれ幅を有する。   When the user's finger is stretched in this manner and brought into contact with the operation region 132, the finger movable range 150 can be set based on the line segment A to the line segment D. That is, when the contact area of the user's finger is larger than the predetermined value, the conversion unit 155 of the mobile terminal 100 determines that the user's finger is in contact with the operation area 132 and extends the user's finger. The operation coordinate position of the tip of the finger is converted in correspondence with the display coordinate position of the upper side of the display area 122. The line segment A to line segment D have a slight deviation depending on how the finger is moved and the position of the finger.

ここで、横方向における指の可動範囲150を動的に調整する方法について説明する。ユーザは表示領域122に表示されたアプリケーションソフトウェアを見ながら操作領域132を操作する。図4Aにおいて、表示領域122の左端にポインタ126を移動させたいのに、ポインタ126が表示領域122の左端に届かない場合には、図4Bや図6A、Bにおいて、ユーザは操作領域132を右側に何度もなぞる操作をすることになる。この場合には、左方向の可動範囲150が狭くなるように再設定する必要がある。同様に、図4Aにおいて、表示領域122の右端にポインタ126を移動させたいのに、ポインタ126が表示領域122の右端に届かない場合には、図4Bや図6A、Bにおいて、ユーザは操作領域132を左側になぞる操作を繰り返すことになる。この場合には、右方向の可動範囲150が狭くなるように再設定する必要がある。   Here, a method for dynamically adjusting the movable range 150 of the finger in the lateral direction will be described. The user operates the operation area 132 while viewing the application software displayed in the display area 122. In FIG. 4A, when the pointer 126 does not reach the left end of the display area 122 when the pointer 126 is desired to move to the left end of the display area 122, the user moves the operation area 132 to the right in FIGS. 4B, 6A, and B. The operation will be repeated many times. In this case, it is necessary to reset the movable range 150 in the left direction to be narrowed. Similarly, in FIG. 4A, when it is desired to move the pointer 126 to the right end of the display area 122 but the pointer 126 does not reach the right end of the display area 122, in FIG. 4B and FIGS. The operation of tracing 132 to the left side is repeated. In this case, it is necessary to reset so that the movable range 150 in the right direction becomes narrow.

すなわち、操作領域132における操作座標位置の単位変位量に対して、表示領域122における表示座標位置の変位量を大きくするように調整すればよい。この結果、操作領域132における指の左右方向の移動に対して、表示領域122におけるポインタ126の移動量が大きくなり、ユーザは操作領域132を何度もなぞる必要がなくなる。   That is, the displacement amount of the display coordinate position in the display area 122 may be adjusted to be larger than the unit displacement amount of the operation coordinate position in the operation area 132. As a result, the amount of movement of the pointer 126 in the display area 122 becomes larger than the movement of the finger in the left-right direction in the operation area 132, and the user does not need to trace the operation area 132 many times.

これとは反対に、ユーザが操作領域132上の狭い範囲で左右方向に細かく位置を調整する操作を繰り返してポインタ126の座標位置を調整する必要がある場合には、可動範囲150を大きく再設定することにより、ユーザは細かい位置を指示し易くなる。   On the other hand, when the user needs to adjust the coordinate position of the pointer 126 by repeatedly adjusting the position in the left-right direction within a narrow range on the operation area 132, the movable range 150 is reset to a large value. This makes it easier for the user to specify a fine position.

すなわち、操作領域132における操作座標位置の単位変位量に対して、表示領域122における表示座標位置の変位量を小さくするように調整すればよい。この結果、操作領域132における指の左右方向の移動に対して、表示領域122におけるポインタ126の移動量が小さくなり、ユーザは操作領域132上の狭い範囲で細かく位置を調整する必要がなくなる。   That is, the displacement amount of the display coordinate position in the display area 122 may be adjusted to be smaller than the unit displacement amount of the operation coordinate position in the operation area 132. As a result, the amount of movement of the pointer 126 in the display area 122 becomes smaller than the movement of the finger in the left-right direction in the operation area 132, and the user does not need to finely adjust the position in a narrow range on the operation area 132.

このようにユーザの操作特徴を基に、左右方向の可動範囲150を調整してユーザの操作感を向上させることができる。   As described above, the user's operational feeling can be improved by adjusting the movable range 150 in the left-right direction based on the operation characteristics of the user.

<3−3.ユーザの指が折り曲げられた状態>
ユーザの指が折り曲げられた状態で操作領域132に接触させた場合について説明する。図7Aに示すように、ユーザの指が折り曲げられた状態で操作領域132に接触させた場合には、図7Bに示すように、操作領域132に対する指の接触面積は狭く、その輪郭線170aは横方向に長い楕円形に近くなる。接触面積が狭いことから指が折り曲げられていると判断できる。
<3-3. State where user's finger is bent>
A case will be described in which the user's finger is brought into contact with the operation region 132 in a folded state. As shown in FIG. 7A, when the user's finger is bent and brought into contact with the operation area 132, as shown in FIG. 7B, the contact area of the finger with respect to the operation area 132 is narrow, and the contour 170a is It becomes close to a long ellipse in the horizontal direction. Since the contact area is small, it can be determined that the finger is bent.

次に、縦方向における指の可動範囲150を設定する方法について説明する。指が折り曲げられていることから、指の可動範囲150は、現在の接触点よりも下方には存在せず、指の可動範囲150として、図7A、図7Bの線分Dを設定することができる。   Next, a method for setting the movable range 150 of the finger in the vertical direction will be described. Since the finger is bent, the movable range 150 of the finger does not exist below the current contact point, and the line segment D in FIGS. 7A and 7B can be set as the movable range 150 of the finger. it can.

また、指が折り曲げられた状態から伸ばされた状態にすると、指の可動範囲150は、伸ばされた指の接触点よりも上方には存在せず、指の可動範囲150として、図7A、図7Bの線分Cを設定することができる。   Also, when the finger is extended from the bent state, the finger movable range 150 does not exist above the contact point of the extended finger, and the finger movable range 150 is shown in FIG. A line segment C of 7B can be set.

なお、横方向における指の可動範囲150については、上述した指が伸ばされた状態と同じである。すなわち、指の可動範囲150は、図7A、図7Bの線分Aと線分Bとの間となる。   The finger movable range 150 in the lateral direction is the same as the above-described state where the finger is extended. That is, the finger movable range 150 is between line segment A and line segment B in FIGS. 7A and 7B.

このようにユーザの指が折り曲げられた状態で操作領域132に接触させた場合、縦方向における指の可動範囲150と横方向における指の可動範囲150を設定することができる。すなわち、変換部155が、ユーザの指の接触面積が所定値よりも小さい場合は、ユーザの指が折り曲げられた状態で操作領域132に接触したと判断し、折り曲げられたユーザの指の先端部の操作座標位置を表示領域122の下辺の表示座標位置に対応させて変換することになる。   In this way, when the user's finger is bent and brought into contact with the operation area 132, the finger movable range 150 in the vertical direction and the finger movable range 150 in the horizontal direction can be set. That is, when the contact area of the user's finger is smaller than a predetermined value, the conversion unit 155 determines that the user's finger is in contact with the operation region 132 in a folded state, and the tip of the folded user's finger Is converted in correspondence with the display coordinate position of the lower side of the display area 122.

ここで、横方向における指の可動範囲150を動的に調整する方法については、上述した指が伸ばされた状態と同じである。   Here, the method of dynamically adjusting the movable range 150 of the finger in the lateral direction is the same as the above-described state where the finger is extended.

<3−4.指の可動範囲150の再設定>
このように、ユーザの指が伸ばされた状態でもユーザの指が折り曲げられた状態でも、ユーザが操作を続けると、その操作中にユーザの指が伸ばされた状態とユーザの指が折り曲げられた状態の両方のデータを取得できる。この二つの状態のデータを取得できれば、それぞれの状態におけるデータに基づいて、図6A、図6Bおよび図7A、図7Bの線分Cと線分Dを再設定しても良い。
<3-4. Resetting of finger movable range 150>
Thus, when the user continues the operation in the state where the user's finger is extended or the user's finger is bent, the user's finger is extended and the user's finger is bent during the operation. You can get both state data. If the data in these two states can be acquired, the line segment C and the line segment D in FIGS. 6A, 6B, 7A, and 7B may be reset based on the data in the respective states.

<4.携帯端末100を両手で保持したユーザの指の可動範囲150の設定>
操作パネル130の操作領域132におけるユーザの指の可動範囲150について説明する。
<4. Setting of movable range 150 of user's finger holding portable terminal 100 with both hands>
The movable range 150 of the user's finger in the operation area 132 of the operation panel 130 will be described.

携帯端末100を使用する際、ユーザは両手で携帯端末100を保持し、ユーザの人差し指を操作パネル130の操作領域132に接触させる。このとき、携帯端末100を保持した手の人差し指の可動範囲150は制約される。この人差し指の可動範囲150は、人差し指を、折り曲げたり、伸ばしたり、ずらしたりすることが可能なある程度の範囲に制約されてしまう。   When using the mobile terminal 100, the user holds the mobile terminal 100 with both hands and brings the user's index finger into contact with the operation area 132 of the operation panel 130. At this time, the movable range 150 of the index finger of the hand holding the mobile terminal 100 is restricted. The movable range 150 of the index finger is limited to a certain range in which the index finger can be bent, stretched, or shifted.

<4−1.携帯端末100を両手で保持したユーザの指の配置>
ユーザが携帯端末100を両手で保持した際に想定されるユーザの指の配置は、図8に示すようなものである。図8では、一方の手の親指と中指で挟み込むように携帯端末100を保持し、人差し指を操作領域132で移動させる。さらに、安定感を増すために、他方の手で端末の反対側を支える。この持ち方は、携帯端末100が横方向に長い形状をしている場合に多い。
<4-1. Arrangement of finger of user holding portable terminal 100 with both hands>
The arrangement of the user's fingers assumed when the user holds the mobile terminal 100 with both hands is as shown in FIG. In FIG. 8, the portable terminal 100 is held so as to be sandwiched between the thumb and middle finger of one hand, and the index finger is moved in the operation area 132. Furthermore, in order to increase a sense of stability, the other side of the terminal is supported by the other hand. This way of holding is often the case when the mobile terminal 100 has a shape that is long in the horizontal direction.

この保持方法の場合には、人差し指以外に中指と薬指の側面が操作領域132に触れる可能性がある。これらの指が触れてしまうと、操作領域132における操作座標位置が複数発生した状態となる。このような状態であれば、人差し指の操作座標位置を特定することができず、指の可動範囲150を設定することが困難となる。   In the case of this holding method, there is a possibility that side surfaces of the middle finger and the ring finger may touch the operation area 132 in addition to the index finger. When these fingers touch, a plurality of operation coordinate positions in the operation area 132 are generated. In such a state, the operation coordinate position of the index finger cannot be specified, and it becomes difficult to set the movable range 150 of the finger.

したがって、人差し指の操作座標位置を特定することが必要となる。   Therefore, it is necessary to specify the operation coordinate position of the index finger.

<4−2.人差し指の操作座標位置の特定>
人差し指の操作座標位置を特定する方法は2つある。
<4-2. Specifying the operation coordinate position of the index finger>
There are two methods for specifying the operation coordinate position of the index finger.

一つ目は、操作領域132を移動させる指であるかどうかを基準にして人差し指の操作座標位置を特定する方法である。人差し指以外の指は、操作領域132を移動させない。よって、操作領域132で動かした指の操作座標位置を人差し指の操作座標位置として特定すればよい。   The first is a method of specifying the operation coordinate position of the index finger based on whether or not the finger moves the operation area 132. Fingers other than the index finger do not move the operation area 132. Therefore, the operation coordinate position of the finger moved in the operation area 132 may be specified as the operation coordinate position of the index finger.

二つ目は、携帯端末100を保持する指の配置関係を基準にして人差し指の操作座標位置を特定する方法である。携帯端末100を片手または両手で保持した際、人差し指は他の指より携帯端末100の上端に近い位置に置かれる。よって、操作領域132で検出された操作座標位置の内、最も上端に近いものを人指し指の操作座標位置として特定すればよい。   The second is a method of specifying the operation coordinate position of the index finger on the basis of the positional relationship of the finger holding the mobile terminal 100. When the portable terminal 100 is held with one hand or both hands, the index finger is placed closer to the upper end of the portable terminal 100 than the other fingers. Therefore, the operation coordinate position detected in the operation area 132 may be specified as the operation coordinate position of the index finger that is closest to the upper end.

なお、人差し指の操作座標位置の特定にあたっては、この二つの方法のいずれか一方を用いても良いし、二つの方法を組み合わせて用いても良い。   In specifying the operation coordinate position of the index finger, either one of these two methods may be used, or a combination of the two methods may be used.

<4−3. ユーザの指が伸ばされた状態と折り曲げられた状態>
ユーザの指が伸ばされた状態で操作領域132に接触させた場合およびユーザの指が折り曲げられた状態で操作領域132に接触させた場合において、縦方向における指の可動範囲150と横方向における指の可動範囲150は、上述したように、携帯端末100を片手で保持した場合と同じである。
<4-3. The user's finger is stretched and folded>
When the user's finger is brought into contact with the operation area 132 in a stretched state and when the user's finger is brought into contact with the operation area 132 while being folded, the finger movable range 150 in the vertical direction and the finger in the horizontal direction The movable range 150 is the same as that when the portable terminal 100 is held with one hand, as described above.

<4−4.指の可動範囲150の再設定>
ユーザの指の可動範囲150の再設定は、上述したように、携帯端末100を両手で保持した場合と同じである。
<4-4. Resetting of finger movable range 150>
The resetting of the movable range 150 of the user's finger is the same as the case where the portable terminal 100 is held with both hands as described above.

なお、本実施の形態では、縦方向における指の可動範囲150の設定と横方向における指の可動範囲150の設定は、ユーザの指の接触面積が所定値よりも大きい場合と小さい場合に基づいて判断しているが、その他の方法でも良い。例えば、変換部155には、操作領域132に接触させたユーザの指の接触形状に基づいて、ユーザの指が伸ばされた状態で操作領域132に接触したのか、ユーザの指が折り曲げられた状態で操作領域132に接触したのかを判断させる。そして、ユーザの指が伸ばされた状態で操作領域132に接触したと判断した場合は、伸ばされたユーザの指の先端部の操作座標位置を表示領域122の上辺の表示座標位置に対応させて変換させる。また、ユーザの指が折り曲げられた状態で操作領域132に接触したと判断した場合は、折り曲げられたユーザの指の先端部の操作座標位置を表示領域122の下辺の表示座標位置に対応させて変換させる。このような方法でも良い。   In the present embodiment, the setting of the finger movable range 150 in the vertical direction and the setting of the finger movable range 150 in the horizontal direction are based on when the contact area of the user's finger is larger or smaller than a predetermined value. Although it is determined, other methods may be used. For example, in the conversion unit 155, based on the contact shape of the user's finger that has been brought into contact with the operation region 132, the user's finger is in an extended state, or the user's finger is bent. To determine whether the operation area 132 has been touched. If it is determined that the user touches the operation area 132 with the user's finger extended, the operation coordinate position of the extended end of the user's finger is made to correspond to the display coordinate position on the upper side of the display area 122. Convert it. If it is determined that the user's finger is in contact with the operation area 132 while being folded, the operation coordinate position of the tip of the folded user's finger is made to correspond to the display coordinate position on the lower side of the display area 122. Convert it. Such a method may be used.

さらに、ユーザの指の可動範囲150は扇形状の外縁で囲まれた領域としてもよい。この扇形状の外縁で囲まれた領域は、方形状の外縁で囲まれた領域よりも、ユーザの指が可動しやすい形状の外縁で囲まれた領域となる。すなわち、操作領域132における操作座標位置と表示領域122における表示座標位置との対応の精度を向上でき、ユーザの使い勝手を向上できる。例えば、図9に示すような扇形状の外縁で囲まれた扇形領域180であれば良い。この場合、扇形状の外縁で囲まれた扇形領域180と表示領域122とは同じ方形状ではないので、操作領域132の操作座標位置を表示領域122の表示座標位置に対応させて変換する際に、操作座標位置に応じて変換率を変化させる必要がある。   Further, the movable range 150 of the user's finger may be a region surrounded by a fan-shaped outer edge. The region surrounded by the fan-shaped outer edge is a region surrounded by the outer edge having a shape that allows the user's finger to move more easily than the region surrounded by the rectangular outer edge. That is, the accuracy of the correspondence between the operation coordinate position in the operation area 132 and the display coordinate position in the display area 122 can be improved, and user convenience can be improved. For example, it may be a sector region 180 surrounded by a sector-shaped outer edge as shown in FIG. In this case, since the fan-shaped area 180 surrounded by the fan-shaped outer edge and the display area 122 are not the same rectangular shape, when the operation coordinate position of the operation area 132 is converted to correspond to the display coordinate position of the display area 122, It is necessary to change the conversion rate according to the operation coordinate position.

<5.操作領域132に接触させたユーザの指の接触状態>
上述したように、ユーザの指の接触面の輪郭線170aと接触面積に基づいて、指の可動範囲150を設定することが可能である。具体的には、操作領域132にユーザの指を接触させると、静電容量の変化が検出される。このとき、指を伸ばした状態と指を折り曲げた状態では、ユーザの指の接触面の輪郭線170aと接触面積が異なるので静電容量も異なる。すなわち、静電容量の違いによって、指を伸ばした状態であるのか指を折り曲げた状態であるのかを区別することができる。
<5. Contact state of user's finger in contact with operation area 132>
As described above, it is possible to set the finger movable range 150 based on the contour line 170a of the contact surface of the user's finger and the contact area. Specifically, when the user's finger is brought into contact with the operation area 132, a change in capacitance is detected. At this time, in the state where the finger is extended and the state where the finger is bent, the contact area is different from the contour line 170a of the contact surface of the user's finger, and thus the electrostatic capacity is also different. That is, it is possible to distinguish whether the finger is stretched or the finger is bent based on the difference in capacitance.

しかし、操作領域132に接触させる指の接触圧が大きくなると接触面積は大きくなり、操作領域132に接触させる指の接触圧が小さくなると接触面積が小さくなるので、指の接触圧によって、指の状態を認識する精度が低下する場合がある。   However, the contact area increases as the contact pressure of the finger in contact with the operation area 132 increases, and the contact area decreases as the contact pressure of the finger in contact with the operation area 132 decreases. The accuracy of recognizing may decrease.

<5−1.指の可動範囲の他の方法による検出>
図10A、図10Bは、ユーザの指の接触状態を説明する説明図である。操作領域132を介してユーザの指が透視された状態を示している。
<5-1. Detection by other methods of finger movement range>
10A and 10B are explanatory diagrams illustrating the contact state of the user's finger. A state in which the user's finger is seen through the operation area 132 is shown.

操作領域132としてマトリックス方式や画像認識方式等を用いれば、指の位置だけでなく、指の接触面積や接触圧を検出することが可能となる。特に、撮像装置を操作パネル130の内側に配置して、画像認識方式を用いれば、操作領域132に触れていないが近接している物の位置を検出することも可能となる。すなわち、撮像装置を配置しているので、操作領域132におけるユーザの指の接触面の輪郭線170aとユーザの指の輪郭線170bが認識される。図10Aでは、ユーザの指の接触面の輪郭線170aとユーザの指の輪郭線170bとの輪郭差は大きく、図10Bでは、ユーザの指の接触面の輪郭線170aとユーザの指の輪郭線170bとの輪郭差は小さい。   If a matrix method, an image recognition method, or the like is used as the operation region 132, it is possible to detect not only the finger position but also the finger contact area and the contact pressure. In particular, if an imaging device is arranged inside the operation panel 130 and an image recognition method is used, it is possible to detect the position of an object that is not touching the operation area 132 but is close to it. That is, since the imaging device is arranged, the contour line 170a of the contact surface of the user's finger in the operation area 132 and the contour line 170b of the user's finger are recognized. 10A, the contour difference between the contour 170a of the user's finger contact surface and the contour 170b of the user's finger is large, and in FIG. 10B, the contour 170a of the user's finger contact surface and the contour of the user's finger. The contour difference from 170b is small.

この構成によれば、操作領域132に触れていないが近接している物の位置を検出できるので、ユーザの指の接触面の輪郭線170aだけでなく、操作領域132に触れていないユーザの指の輪郭線170bを検出することが可能となる。   According to this configuration, since it is possible to detect the position of an object that is not touching the operation area 132 but is close to the operation area 132, not only the outline 170a of the contact surface of the user's finger but also the user's finger not touching the operation area 132 It becomes possible to detect the outline 170b.

本実施の形態では、操作領域132における操作座標位置を表示領域122における表示座標位置に変換する変換部155が、操作領域132におけるユーザの指の接触面の輪郭線170aとユーザの指の輪郭線170bに基づいて操作領域132に接触させたユーザの指の接触状態を算出して検出している。   In the present embodiment, the conversion unit 155 that converts the operation coordinate position in the operation region 132 into the display coordinate position in the display region 122 includes the contour line 170a of the contact surface of the user's finger in the operation region 132 and the contour line of the user's finger. Based on 170b, the contact state of the user's finger touching the operation area 132 is calculated and detected.

そして、接触面積に基づいて、例えば、人差し指の長さを推定して、正確に指の可動範囲150を設定する。具体的には、接触面の面積が小さい場合には、可動範囲150を小さく、接触面の面積が大きい場合には、可動範囲150を大きく設定する。   Then, based on the contact area, for example, the length of the index finger is estimated, and the finger movable range 150 is accurately set. Specifically, the movable range 150 is set to be small when the area of the contact surface is small, and the movable range 150 is set to be large when the area of the contact surface is large.

しかし、人差し指の長さは個人により千差万別である。特に子供と大人では大きく違う。接触面積の大きさもまた、個人により千差万別である。強めに指を押し付ける癖があれば接触面積が大きくなりやすく、弱めに指を押し付ける癖があれば接触面積が小さくなりやすい。例えば、同じ長さの人差し指を持つ二人の大人がいた場合でも、必ずしも指の接触面積が同じになるとは限らない。   However, the length of the index finger varies from person to person. This is especially true for children and adults. The size of the contact area also varies from person to person. If there is a heel that presses the finger strongly, the contact area tends to increase, and if there is a heel that presses the finger weakly, the contact area tends to decrease. For example, even if there are two adults with the same index finger, the finger contact area is not necessarily the same.

ここで、強めに指を押し付ける癖のある人は、接触面積も大きいが接触面の圧力も大きくなる。一方、弱めに指を押し付ける癖のある人は、接触面積が小さいが、接触面の圧力も小さい。これら2つの関係には相関があるので、接触面積(x)と接触圧(y)のf(x、y)関数として定義すれば、どちらの場合でも同じ人差し指の長さを算出することが可能となる。   Here, a person with a heel who strongly presses a finger has a large contact area, but the pressure on the contact surface also increases. On the other hand, a person with a habit of pressing a finger weakly has a small contact area but also a small pressure on the contact surface. Since there is a correlation between these two relationships, the same index finger length can be calculated in either case if defined as an f (x, y) function of the contact area (x) and the contact pressure (y). It becomes.

また、操作領域132におけるユーザの指の接触面の輪郭線170aと、操作領域132に接触していないユーザの指の輪郭線170bとの比率から、圧力と同等の値を算出することにより、関数f(x、y)を用いて、人差し指の長さを算出することも可能である。   Further, by calculating a value equivalent to the pressure from the ratio between the contour line 170a of the contact surface of the user's finger in the operation region 132 and the contour line 170b of the user's finger not in contact with the operation region 132, It is also possible to calculate the length of the index finger using f (x, y).

しかし、上記の関数f(x、y)は多くの人をサンプルとしてデータ化する必要があり、これを設計段階で実施するためには多くの時間と費用を要する。そこで、携帯端末100に備えられることが多い通信部を利用してデータ化を図ってもよい。実際にユーザが利用している状況での測定値を、サーバまたは他の携帯端末100に送信することによって情報を収集し、関数f(x、y)の精度を向上させることが可能である。   However, the above function f (x, y) needs to be converted into data by using many people as samples, and it takes a lot of time and money to implement this at the design stage. Therefore, data may be converted using a communication unit often provided in the mobile terminal 100. It is possible to improve the accuracy of the function f (x, y) by collecting information by transmitting measured values in a situation where the user is actually using to the server or another portable terminal 100.

具体的には、指の可動範囲150、指の接触圧、指の接触面積、接触面の指の輪郭線170a、接触面に接触していない指の輪郭線170bの5つのデータを収集し、その相関関係を算出する。   Specifically, five data of finger movable range 150, finger contact pressure, finger contact area, finger contour 170a on the contact surface, and finger contour 170b not in contact with the contact surface are collected, The correlation is calculated.

これによって、設計段階で綿密な調査と設計を行って、関数f(x、y)を求めなくても、多数のユーザが本方式の入力装置を使うことにより、接触面に関する情報と、それに対して適切な指の可動範囲の組み合わせが可能となる。   As a result, even if a detailed investigation and design are not performed at the design stage and a function f (x, y) is not obtained, a large number of users can use the input device of the present system to obtain information on the contact surface, Thus, it is possible to combine a suitable range of finger movement.

<変換部155による変換>
操作領域132における指の可動範囲150は非常に限られている。したがって、操作領域132における指の可動範囲150の操作座標位置と表示領域122における表示座標位置とを対応させる必要がある。このために、変換部155は以下の変換をすればよい。
<Conversion by conversion unit 155>
The movable range 150 of the finger in the operation area 132 is very limited. Therefore, it is necessary to make the operation coordinate position of the finger movable range 150 in the operation area 132 correspond to the display coordinate position in the display area 122. For this purpose, the conversion unit 155 may perform the following conversion.

例えば、図11に示すように、ユーザの指の可動範囲150を表示領域122と対応する仮想領域190と所定の比率で対応づける。図11では、可動範囲150が仮想領域190の1/5倍の大きさとして対応づける。かつ、ユーザの指の可動範囲150の操作座標位置を所定比率の逆数倍に拡大する。図11では、可動範囲150の操作座標位置を座標A(x,y)とした場合、この座標A(x,y)を5倍した座標B(5x、5y)として仮想領域190の座標位置に対応づける。この座標B(5x、5y)の座標位置を座標C(5x、5y)の表示座標位置と一対一に対応させて変換する。この結果、操作座標位置が表示座標位置と一対一に対応する。   For example, as shown in FIG. 11, the movable range 150 of the user's finger is associated with the virtual area 190 corresponding to the display area 122 at a predetermined ratio. In FIG. 11, the movable range 150 is associated with a size that is 1/5 times the virtual region 190. And the operation coordinate position of the movable range 150 of a user's finger | toe is expanded by the reciprocal number of a predetermined ratio. In FIG. 11, when the operation coordinate position of the movable range 150 is a coordinate A (x, y), the coordinate B (5 x, 5 y) obtained by multiplying the coordinate A (x, y) by 5 is set to the coordinate position of the virtual area 190. Associate. The coordinate position of the coordinate B (5x, 5y) is converted in one-to-one correspondence with the display coordinate position of the coordinate C (5x, 5y). As a result, the operation coordinate position has a one-to-one correspondence with the display coordinate position.

または、例えば、図12に示すように、表示領域122をユーザの指の可動範囲150と対応する仮想領域190と所定の比率で対応づける。図12では、表示領域122が仮想領域190の5倍の大きさとして対応づける。かつ、仮想領域190の座標位置を所定比率の逆数倍に拡大する。図12では、表示領域122の表示座標位置を座標C(5x,5y)とした場合、この座標C(5x,5y)を1/5倍した座標B(x、y)として仮想領域190の座標位置に対応づける。この座標B(x、y)の座標位置を座標A(x、y)の操作座標位置と一対一に対応させて変換する。この結果、操作座標位置が表示座標位置と一対一に対応する。   Alternatively, for example, as shown in FIG. 12, the display area 122 is associated with a virtual area 190 corresponding to the movable range 150 of the user's finger at a predetermined ratio. In FIG. 12, the display area 122 is associated with a size five times that of the virtual area 190. In addition, the coordinate position of the virtual area 190 is enlarged to a reciprocal number of a predetermined ratio. In FIG. 12, when the display coordinate position of the display area 122 is a coordinate C (5x, 5y), the coordinate C (5x, 5y) is a coordinate B (x, y) that is 1/5 times the coordinate of the virtual area 190. Associate with a position. The coordinate position of the coordinate B (x, y) is converted in one-to-one correspondence with the operation coordinate position of the coordinate A (x, y). As a result, the operation coordinate position has a one-to-one correspondence with the display coordinate position.

<まとめ>
以上のように本実施の形態によれば、操作領域132に接触させたユーザの指の接触状態に基づいて、操作領域132におけるユーザの指の可動範囲150を設定している。そして、ユーザの指の可動範囲150における操作座標位置と表示領域122の表示座標位置とを対応させている。
<Summary>
As described above, according to the present embodiment, the movable range 150 of the user's finger in the operation region 132 is set based on the contact state of the user's finger that is in contact with the operation region 132. And the operation coordinate position in the movable range 150 of a user's finger | toe and the display coordinate position of the display area 122 are matched.

すなわち、ユーザの指の可動範囲150が制約されやすくても、ユーザの指の可動範囲150における操作座標位置と表示領域122の表示座標位置とを対応させているので、操作領域132における指の座標位置を表示領域122の端部領域まで容易に反映することができる。   That is, even if the movable range 150 of the user's finger is easily constrained, the operation coordinate position in the movable range 150 of the user's finger and the display coordinate position of the display area 122 are associated with each other. The position can be easily reflected to the end area of the display area 122.

また、ユーザの指の可動範囲150は扇形状の外縁で囲まれた扇形領域180としている。これは、指が付け根を中心に円弧状に回転しやすいからである。これによって、ユーザの指の可動範囲150の全領域において、円滑に指を動かせるので、操作性を向上できる。   The movable range 150 of the user's finger is a sector area 180 surrounded by a sector-shaped outer edge. This is because the finger easily rotates in an arc shape around the base. Thereby, since the finger can be smoothly moved in the entire range of the movable range 150 of the user's finger, the operability can be improved.

また、操作領域132に接触させたユーザの指の接触状態を、操作領域132におけるユーザの指の接触面の輪郭線170aとユーザの指の輪郭線170bに基づいて算出している。これによって、接触圧が異なることに起因する操作精度の低下を抑制できる。   Further, the contact state of the user's finger that is in contact with the operation region 132 is calculated based on the contour line 170a of the contact surface of the user's finger in the operation region 132 and the contour line 170b of the user's finger. As a result, it is possible to suppress a decrease in operation accuracy due to different contact pressures.

ここに開示された技術によれば、操作領域における指の座標位置を表示領域の端部領域まで反映することが容易なので、表示入力装置として有用である。   According to the technique disclosed herein, it is easy to reflect the coordinate position of the finger in the operation region up to the end region of the display region, and thus it is useful as a display input device.

100 携帯端末
110 筐体
120 表示パネル
122 表示領域
124 アイコン
126 ポインタ
130 操作パネル
132 操作領域
140 入力ボタン
150 可動範囲
155 変換部
160 表示入力装置
170a 輪郭線
170b 輪郭線
180 扇形領域
190 仮想領域
DESCRIPTION OF SYMBOLS 100 Mobile terminal 110 Case 120 Display panel 122 Display area 124 Icon 126 Pointer 130 Operation panel 132 Operation area 140 Input button 150 Movable range 155 Conversion part 160 Display input device 170a Contour line 170b Contour line 180 Fan-shaped area 190 Virtual area

Claims (9)

表示領域を有する表示パネルと、前記表示パネルの裏面側に配置され操作領域を有する操作パネルと、前記操作領域における操作座標位置を前記表示領域における表示座標位置に変換する変換部を備え、
前記変換部は、
前記操作領域に接触させたユーザの指の接触状態に基づいて、前記操作領域における前記ユーザの指の可動範囲を設定し、
前記ユーザの指の可動範囲における操作座標位置と前記表示領域の表示座標位置とを対応させて変換する
表示入力装置。
A display panel having a display area; an operation panel disposed on the back side of the display panel; and an operation panel having an operation area; and a conversion unit that converts an operation coordinate position in the operation area into a display coordinate position in the display area,
The converter is
Based on the contact state of the user's finger that is in contact with the operation area, the movable range of the user's finger in the operation area is set,
A display input device that converts an operation coordinate position in a movable range of the user's finger in correspondence with a display coordinate position of the display area.
前記ユーザの指の可動範囲は扇形状の外縁で囲まれた領域とした
請求項1に記載の表示入力装置。
The display input device according to claim 1, wherein the movable range of the user's finger is an area surrounded by a fan-shaped outer edge.
前記変換部は、
前記操作領域に接触させた前記ユーザの指の接触面積が所定値よりも大きい場合は、前記ユーザの指が伸ばされた状態で前記操作領域に接触したと判断し、
伸ばされた前記ユーザの指の先端部の操作座標位置を前記表示領域の上辺の表示座標位置に対応させて変換する
請求項1に記載の表示入力装置。
The converter is
If the contact area of the user's finger that is in contact with the operation area is larger than a predetermined value, it is determined that the user's finger is in contact with the operation area in an extended state;
The display input device according to claim 1, wherein the operation coordinate position of the extended tip of the user's finger is converted in correspondence with the display coordinate position of the upper side of the display area.
前記変換部は、
前記操作領域に接触させた前記ユーザの指の接触面積が所定値よりも小さい場合は、前記ユーザの指が折り曲げられた状態で前記操作領域に接触したと判断し、
折り曲げられた前記ユーザの指の先端部の操作座標位置を前記表示領域の下辺の表示座標位置に対応させて変換する
請求項1に記載の表示入力装置。
The converter is
When the contact area of the user's finger that is in contact with the operation area is smaller than a predetermined value, it is determined that the user's finger is in contact with the operation area while being folded;
The display input device according to claim 1, wherein the operation coordinate position of the bent tip of the user's finger is converted in correspondence with the display coordinate position of the lower side of the display area.
前記変換部は、
前記操作領域に接触させた前記ユーザの指の接触形状に基づいて、
前記ユーザの指が伸ばされた状態で前記操作領域に接触したのか、前記ユーザの指が折り曲げられた状態で前記操作領域に接触したのかを判断し、
前記ユーザの指が伸ばされた状態で前記操作領域に接触したと判断した場合は、伸ばされた前記ユーザの指の先端部の操作座標位置を前記表示領域の上辺の表示座標位置に対応させて変換し、
前記ユーザの指が折り曲げられた状態で前記操作領域に接触したと判断した場合は、折り曲げられた前記ユーザの指の先端部の操作座標位置を前記表示領域の下辺の表示座標位置に対応させて変換する
請求項1に記載の表示入力装置。
The converter is
Based on the contact shape of the user's finger brought into contact with the operation area,
Determining whether the user's finger is in contact with the operation area while the user's finger is stretched or whether the user's finger is in a state of being bent;
If it is determined that the user touches the operation area with the user's finger extended, the operation coordinate position of the extended end of the user's finger is made to correspond to the display coordinate position on the upper side of the display area. Converted,
If it is determined that the user's finger is in contact with the operation area in a folded state, the operation coordinate position of the folded end of the user's finger is made to correspond to the display coordinate position on the lower side of the display area. The display input device according to claim 1 to convert.
前記変換部は、
前記操作領域に接触させた前記ユーザの指の接触状態を、前記操作領域における前記ユーザの指の接触面の輪郭線と前記ユーザの指の輪郭線に基づいて算出する
請求項1に記載の表示入力装置。
The converter is
The display according to claim 1, wherein the contact state of the user's finger that is in contact with the operation region is calculated based on a contour line of the contact surface of the user's finger in the operation region and a contour line of the user's finger. Input device.
撮像装置を配置し、
前記操作領域における前記ユーザの指の接触面の輪郭線と前記ユーザの指の輪郭線は前記撮像装置で認識する
請求項6に記載の表示入力装置。
Arrange the imaging device,
The display input device according to claim 6, wherein an outline of a contact surface of the user's finger and an outline of the user's finger in the operation area are recognized by the imaging device.
前記変換部は、
前記ユーザの指の可動範囲を前記表示領域と対応する仮想領域と所定比率で対応づけ、かつ、前記ユーザの指の可動範囲の操作座標位置を前記所定比率の逆数倍に拡大して、前記ユーザの指の可動範囲の操作座標位置を前記仮想領域の座標位置に対応づけることによって、前記操作座標位置を前記表示座標位置と一対一に対応させて変換する
請求項1に記載の表示入力装置。
The converter is
The movable range of the user's finger is associated with a virtual area corresponding to the display area at a predetermined ratio, and the operation coordinate position of the movable range of the user's finger is expanded to a reciprocal number of the predetermined ratio, The display input device according to claim 1, wherein the operation coordinate position is converted in one-to-one correspondence with the display coordinate position by associating the operation coordinate position of the movable range of the user's finger with the coordinate position of the virtual area. .
前記変換部は、
前記表示領域を前記ユーザの指の可動範囲と対応する仮想領域と所定比率で対応づけ、かつ、前記仮想領域の座標位置を前記所定比率の逆数倍に拡大して、前記仮想領域の座標位置を前記表示領域の表示座標位置に対応づけることによって、前記操作座標位置を前記表示座標位置と一対一に対応させて変換する
請求項1に記載の表示入力装置。
The converter is
The display area is associated with a virtual area corresponding to the movable range of the user's finger at a predetermined ratio, and the coordinate position of the virtual area is enlarged by a reciprocal of the predetermined ratio, so that the coordinate position of the virtual area The display input device according to claim 1, wherein the operation coordinate position is converted in one-to-one correspondence with the display coordinate position by associating the display coordinate position with the display coordinate position of the display area.
JP2011151567A 2011-07-08 2011-07-08 Display input device Withdrawn JP2013020333A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011151567A JP2013020333A (en) 2011-07-08 2011-07-08 Display input device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011151567A JP2013020333A (en) 2011-07-08 2011-07-08 Display input device

Publications (1)

Publication Number Publication Date
JP2013020333A true JP2013020333A (en) 2013-01-31

Family

ID=47691733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011151567A Withdrawn JP2013020333A (en) 2011-07-08 2011-07-08 Display input device

Country Status (1)

Country Link
JP (1) JP2013020333A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015132906A (en) * 2014-01-10 2015-07-23 アルパイン株式会社 Input device, input detection method of multi-touch operation and input detection program thereof
JP2017058810A (en) * 2015-09-15 2017-03-23 株式会社リコー Terminal device, program, and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015132906A (en) * 2014-01-10 2015-07-23 アルパイン株式会社 Input device, input detection method of multi-touch operation and input detection program thereof
JP2017058810A (en) * 2015-09-15 2017-03-23 株式会社リコー Terminal device, program, and method

Similar Documents

Publication Publication Date Title
US11449224B2 (en) Selective rejection of touch contacts in an edge region of a touch surface
US8941600B2 (en) Apparatus for providing touch feedback for user input to a touch sensitive surface
US9632608B2 (en) Selective input signal rejection and modification
JP5759660B2 (en) Portable information terminal having touch screen and input method
US20110216015A1 (en) Apparatus and method for directing operation of a software application via a touch-sensitive surface divided into regions associated with respective functions
US20120133587A1 (en) Sensor-augmented, gesture-enabled keyboard and associted apparatus and computer-readable storage medium
TW200822682A (en) Multi-function key with scrolling
JP6183820B2 (en) Terminal and terminal control method
JP2013020332A (en) Display input device
JP2013020333A (en) Display input device
US20160004384A1 (en) Method of universal multi-touch input
TWI439922B (en) Handheld electronic apparatus and control method thereof
JP6119291B2 (en) Display device, electronic device, display method, and program
AU2013100574A4 (en) Interpreting touch contacts on a touch surface
Yeh et al. Expanding Side Touch Input on Mobile Phones: Finger Reachability and Two-Dimensional Taps and Flicks Using the Index and Thumb
TW200941307A (en) Extended cursor generating method and device
TW200915168A (en) Portable electrical apparatus and a method for switching graphic user interfaces thereof
JP7353989B2 (en) Information processing device, information processing method, and information processing program
TW201349046A (en) Touch sensing input system
JP6421973B2 (en) Information processing device
AU2015271962B2 (en) Interpreting touch contacts on a touch surface
Soleimani et al. Converting every surface to touchscreen
JP2018124903A (en) Information input apparatus with using finger and information input method
Xu et al. Usability issues in introducing capacitive interaction into mobile navigation

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20141007