WO2011027611A1 - 操作制御装置、操作制御方法およびコンピュータプログラム - Google Patents

操作制御装置、操作制御方法およびコンピュータプログラム Download PDF

Info

Publication number
WO2011027611A1
WO2011027611A1 PCT/JP2010/060960 JP2010060960W WO2011027611A1 WO 2011027611 A1 WO2011027611 A1 WO 2011027611A1 JP 2010060960 W JP2010060960 W JP 2010060960W WO 2011027611 A1 WO2011027611 A1 WO 2011027611A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
pressure
operation control
display surface
display unit
Prior art date
Application number
PCT/JP2010/060960
Other languages
English (en)
French (fr)
Inventor
文規 本間
俊一 笠原
悠介 宮沢
辰志 梨子田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201080037787.9A priority Critical patent/CN102576282B/zh
Priority to EP10813562.5A priority patent/EP2458487B1/en
Priority to BR112012003962A priority patent/BR112012003962A2/pt
Priority to RU2012106500/08A priority patent/RU2012106500A/ru
Priority to US13/392,167 priority patent/US8970634B2/en
Publication of WO2011027611A1 publication Critical patent/WO2011027611A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Definitions

  • the present invention relates to an operation control device, an operation control method, and a computer program, and more particularly, to an operation control device, an operation control method, and a computer program using a software keyboard used for character input of a portable information terminal.
  • Patent Document 1 a method of performing key input using a pressure sensor capable of detecting an applied pressure has been proposed (for example, Patent Document 1).
  • the first kana characters in the 50-symbol kana table that is, the same among the 50 kana characters in which five Japanese kana characters are arranged vertically based on vowels and 10 horizontally based on consonants).
  • the focus can only be moved in one direction by an operation of applying a force to the contact surface. That is, as shown in FIG. 20, the focus is moved to the next character each time the key pressing force exceeds the pressure level, and the focus is not moved when the force is weakened. That is, the focus can be moved only in one direction, such as “A”, “I”, “U”, “E”, “O”, “A”, “I”,. For this reason, for example, if you select “A” and you accidentally apply too much force and the focus moves to “I”, you can apply “Pressure” again to move the focus once to select “A”. I have to let it. In particular, when the number of subordinate kana characters increases due to the inclusion of muddy sounds or semi-voiced sounds, there is a problem that the operability is significantly lowered.
  • a contact detection unit that detects contact of an operating body with respect to a display surface of a display unit that displays information, and a display surface of the display unit that is provided in the display unit Based on the pressure detected by the pressure detection unit between the pressure detection unit that detects the pressure pressed by the operation body and the separation of the operation body after contacting the display surface of the display unit,
  • An operation control device comprising: an operation control unit that changes a display state of information displayed on the display unit in a forward direction or a reverse direction.
  • the operating body in a series of operations from when the operating body comes into contact with the display surface of the display unit until it is separated, the operating body is displayed on the display unit by changing the pressure with which the operating body presses the display surface.
  • the display state of information can be changed in the forward direction or the reverse direction.
  • the operation control unit changes the display state of the information displayed on the display unit in the forward direction every time the pressure detected by the pressure detection unit exceeds one or two or more pressure thresholds set in stages.
  • the display state of the information displayed on the display unit may be changed in the reverse direction every time the pressure detected by the pressure detection unit falls below the pressure threshold value set stepwise.
  • the operation control unit continuously changes the display state of the information displayed on the display unit in the forward direction when the pressure detected by the pressure detection unit is greater than a predetermined pressure threshold, and is detected by the pressure detection unit. If the pressure is smaller than a predetermined pressure threshold, the display state of the information displayed on the display unit may be continuously changed in the reverse direction.
  • the operation control unit starts to change the display state of the information displayed on the display unit in the forward direction or the reverse direction when the pressure detected by the pressure detection unit exceeds a predetermined pressure threshold. You can also.
  • the operation control unit finishes changing the display state of the information displayed on the display unit in the forward direction or the reverse direction when the pressure detected by the pressure detection unit decreases by a predetermined rate or more within a predetermined time. It may be.
  • the operation control unit may select one or more pressures in which the pressure detected by the pressure detection unit is set in stages. Each time the threshold is exceeded, the object list is scrolled stepwise in the forward direction, and every time the pressure detected by the pressure detector falls below the pressure threshold set in steps, the object list is moved in the opposite direction to the forward direction. It is also possible to scroll in steps in a certain reverse direction.
  • the operation control unit sequentially advances the object list when the pressure detected by the pressure detection unit is larger than a predetermined pressure threshold. If the pressure detected by the pressure detector is smaller than a predetermined pressure threshold, the object list may be continuously scrolled in the reverse direction, which is the opposite direction to the forward direction.
  • the contact detection unit detects a contact region in contact with the operating body from two regions obtained by dividing the display surface of the display unit in the object arrangement direction, and the operation control unit includes the scroll direction of the object list.
  • the direction toward the contact area may be the forward direction.
  • the operation control unit may determine selection of an object in the focused object list when the pressure detected by the pressure detection unit is decreased by a predetermined rate or more within a predetermined time.
  • the operation control unit determines the determined object when the contact detection unit detects that the operating body is separated from the display surface of the display unit. Are reproduced in chronological order, and when it is detected by the contact detection unit that the operating body is continuously in contact with the display surface of the display unit, according to the magnitude of the pressure detected by the pressure detection unit, The display of the determined object may be moved in the forward or backward direction in time series.
  • the operation control unit sets one or two or more pressure thresholds in which the pressure detected by the pressure detection unit is set stepwise. Every time it exceeds, the zoom rate of the display content displayed on the display unit is reduced step by step, and every time the pressure detected by the pressure detection unit falls below the stepped pressure threshold, it is displayed on the display unit You may make it enlarge the zoom rate of a display content in steps.
  • the operation control unit is displayed on the display unit when the pressure detected by the pressure detection unit is greater than a predetermined pressure threshold value.
  • the zoom rate of the display content is decreased stepwise and the pressure detected by the pressure detection unit is smaller than the predetermined pressure threshold, the zoom rate of the display content displayed on the display unit can be increased stepwise.
  • the operation control unit may fix the currently set zoom rate when the pressure detected by the pressure detection unit decreases by a predetermined rate or more within a predetermined time.
  • the operation control unit moves the display range of the information displayed on the display unit according to the movement of the operation unit moved while being in contact with the display surface of the display unit.
  • the zoom rate can be changed to the zoom rate before the change.
  • a step of detecting contact of an operating body with respect to a display surface of a display unit that displays information and a display unit provided on the display unit It is displayed on the display unit based on the step of detecting the pressure at which the surface is pressed by the operating body and the magnitude of the pressure detected between the time when the operating body contacts the display surface of the display unit and the time when the operating body is separated. And changing the display state of the information to the forward direction or the reverse direction.
  • a computer program for causing a computer to function as the above-described operation control device is provided.
  • the computer program is stored in a storage device included in the computer, and is read and executed by a CPU included in the computer, thereby causing the computer to function as the operation control device.
  • a computer-readable recording medium on which a computer program is recorded is also provided.
  • the recording medium is, for example, a magnetic disk or an optical disk.
  • a new and improved operation control device, operation control method, and method capable of improving the operability by changing the moving direction of display content in accordance with a change in pressure can be provided.
  • First embodiment application example to software keyboard
  • Second Embodiment Application Example to Zoom Ratio Change Display
  • Third Embodiment Application Example to Content List Scrolling Operation
  • FIG. 1 is explanatory drawing which shows the structure of the display apparatus of the input display apparatus 100 provided with the operation control part concerning this embodiment.
  • FIG. 2 is a block diagram illustrating a hardware configuration of the input display device including the operation control unit according to the present embodiment.
  • FIG. 3 is an explanatory diagram illustrating a screen configuration example of the software keyboard in the input display device 100 according to the present embodiment.
  • the input display device 100 including the operation control unit according to the present embodiment is a device that can input information by touching or further pressing the display surface of the display device that displays information with an operating body.
  • the user can select or determine an object touched by the operating body by bringing the operating body into contact with an object such as an icon or a character key displayed on the display device.
  • the user can also perform operations such as screen scrolling by moving the operating tool in contact with the display surface.
  • the input display unit of the input display device 100 (corresponding to reference numeral 110 in FIG. 4) has a sheet-like pressure sensor 106 and an electrostatic sensor on the display surface side of the display device 104.
  • the touch panel 105 is laminated.
  • the electrostatic touch panel 105 is a detection unit that detects contact of the operating body with the display surface.
  • the electrostatic touch panel 105 includes electrostatic sensors arranged in a lattice pattern, and constantly changes its value according to a change in capacitance. When a finger as an operating body approaches or touches the electrostatic sensor, the capacitance detected by the electrostatic sensor increases. Capacitance of each electrostatic sensor can be acquired simultaneously. By detecting and interpolating the capacitance changes of all the electrostatic sensors at the same time, it is possible to detect the shape of a finger that is in proximity or in contact.
  • the electrostatic touch panel 105 outputs the detected capacitance value to a CPU (Central Processing Unit; reference numeral 101 in FIG. 2).
  • CPU Central Processing Unit
  • the pressure-sensitive sensor 106 is a detection unit that detects pressure for pressing the display surface.
  • the pressure-sensitive sensor 106 for example, a resistive film pressure-sensitive sensor that forms an electrode surface with two sheet panels and detects the position by detecting energization of the pressed portion can be used.
  • the pressure-sensitive sensor 106 is also provided with a plurality of detection points in the sheet for detecting the pressed position. The energization at each detection point can be detected simultaneously.
  • the pressure-sensitive sensor 106 outputs the pressure for pressing the display surface detected at each detection point to the CPU.
  • the CPU associates various information input from the electrostatic touch panel 105 and the pressure sensor 106 with the display position of the display content displayed on the display device 104, and analyzes the movement of the operating body. Then, the CPU recognizes the input information input to the input display device 100 from the analyzed movement of the operating body, and executes a process corresponding to the input information. Thus, the user can input the input information by operating the content displayed on the display surface. Note that when the operating body is brought into contact with or pressed against the display surface of the display device 104, the operating body actually touches the surface of the electrostatic touch panel 105, not the display surface of the display device 104. is doing. As described above, even when the operating body is actually in contact with the surface of the electrostatic touch panel 105, hereinafter, there may be a case where “the operating body is brought into contact with the display surface of the display device 104”.
  • the input display device 100 includes a CPU 101, a RAM (Random Access Memory) 102, a nonvolatile memory 103, a display device 104, an electrostatic touch panel 105, a pressure sensitive sensor. Sensor 106.
  • the CPU 101 functions as an arithmetic processing device and a control device, and controls the overall operation in the input display device 100 according to various programs. Further, the CPU 101 may be a microprocessor.
  • the RAM 102 temporarily stores programs used in the execution of the CPU 101, parameters that change as appropriate during the execution, and the like. These are connected to each other by a host bus including a CPU bus.
  • the nonvolatile memory 103 stores programs used by the CPU 101, calculation parameters, and the like.
  • a ROM Read Only Memory
  • flash memory or the like can be used as the non-volatile memory 103.
  • the display device 104 is an example of an output device that outputs information.
  • a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, or the like can be used.
  • the electrostatic touch panel 105 is an example of an input device for a user to input information, an input unit for inputting information, an input control circuit for generating an input signal based on an input by the user, and outputting the input signal to the CPU 101, and the like It is composed of Similarly to the electrostatic touch panel 105, the pressure sensor 106 is an example of an input device through which a user inputs information.
  • the electrostatic touch panel 105 and the pressure sensor 106 can be configured as described above.
  • the user can input various data and instruct processing operations to the input display device 100 by operating the electrostatic touch panel 105 and the pressure sensor 106.
  • the electrostatic touch panel 105 is used as a contact detection unit that detects contact of an operating body for starting an operation control process
  • the pressure sensor 106 is used to change the display content movement direction. It is used as a pressure detector for detecting a change in pressure for determination.
  • the operation control unit provided in the input display device 100 performs character input operation control using a software keyboard as shown in FIG.
  • the display surface of the input display device 100 inputs an input character display area 202 for displaying already input characters, a temporarily input temporary input display area 204, and information.
  • the operation area 206 is divided into areas.
  • the user determines characters to be input step by step by touching the operation area 206 or changing the force pressed by the operating body. Go.
  • the state (a) in FIG. 3 is a state at the start of character input.
  • the first kana character arrangement keyboard 210 on which the first kana characters are arranged is displayed in the operation area 206.
  • the first kana character layout keyboard 210 is composed of “a”, “ka”, “sa”, “ta”, “na”, “ha”, “ma”, “ya”, “ra”, “wa”, two Twelve keys of “symbol” (“!” And “Delete”) are arranged in a lattice pattern.
  • the user presses an operator such as a finger into contact with the first kana character of the line to which the character to be input belongs, and selects one key from the first kana character layout keyboard 210.
  • a subordinate kana character subordinate to the first kana character of the selected key is displayed.
  • the key of the first kana character “NA” is selected in the state (a) of FIG.
  • subordinate kana characters “na”, “ni”, “nu”, “ne”, “no” and the like subordinate to the leading kana character “na” are displayed.
  • the subordinate kana characters can be displayed as a scroll list 220 in which the characters are arranged in a line, for example, as shown in the state (b) of FIG. That is, the scroll list 220 can be regarded as an object list composed of subordinate kana characters that are objects.
  • the focused character in the scroll list 220 is a selectable character.
  • the focused character can be notified to the user in an easy-to-understand manner by displaying the enlarged character as shown in, for example, the state (b).
  • the user can easily select the character.
  • the scroll list 220 is moved in the forward direction (for example, the direction from the bottom to the top).
  • the scroll list 220 moves in the forward direction.
  • the character “no” is focused.
  • the scroll list 220 is moved in the reverse direction (for example, the direction from the top to the bottom).
  • the scroll list 220 moves in the reverse direction as shown in the state (d), For example, the subordinate kana character “NA” is focused.
  • the moving direction of the display content can be switched by changing the force that presses the operation surface to be increased or decreased.
  • the operation load at the time of moving display content can be reduced, and operativity can be improved.
  • FIG. 4 is a block diagram illustrating a functional configuration of the input display device 100 according to the present embodiment.
  • FIG. 5 is a flowchart showing an operation control method by the operation control unit according to the present embodiment.
  • FIG. 6 is an explanatory diagram showing an operation of selecting a dependent kana character.
  • FIG. 7A is an explanatory diagram illustrating an operation for determining a dependent kana character.
  • FIG. 7B is an explanatory diagram showing an operation of returning the focus position of the subordinate kana character.
  • the input display device 100 includes an input display unit 110, an operation control unit 120, a contact determination unit 130, a pressure determination unit 140, a storage unit 150, and a display control unit 160.
  • the input display unit 110 is a functional unit for displaying information and inputting information, and includes a contact detection unit 112, a pressure detection unit 114, and a display unit 116.
  • the contact detection unit 112 corresponds to the electrostatic touch panel 105 in FIG. 2, and detects a capacitance value that changes depending on whether or not the operating body touches the display surface of the display unit 116. As described above, when the operating tool comes into contact with the display surface, the capacitance detected by the contact detection unit 112 increases. Thus, when the capacitance value detected by the contact detection unit 112 exceeds a predetermined value, it can be determined that the operation device has touched the display surface.
  • the contact detection unit 112 outputs the detected capacitance value to the operation control unit 120 as a detection result.
  • the pressure detection unit 114 corresponds to the pressure-sensitive sensor 106 in FIG. 2 and detects the pressure at which the operating body presses the display surface of the display unit 116. As described above, the pressure detection unit 114 outputs an electrical signal corresponding to the magnitude of the pressure to the operation control unit 120 as a detection result.
  • the display unit 116 is an output device corresponding to the display device 104 in FIG. 2, and displays information that has been subjected to display processing by the display control unit 160.
  • the operation control unit 120 is a control unit that controls the operation of the display content of the display unit 116 based on the detection results input from the contact detection unit 112 and the pressure detection unit 114.
  • the operation control unit 120 outputs the capacitance value input from the contact detection unit 112 to the contact determination unit 130, and determines whether or not the operating body has touched the display surface of the display unit 116. Let And operation control part 120 will judge whether operation control processing is started based on a judgment result, if a judgment result of contact judgment part 130 is received.
  • the operation control unit 120 outputs an electric signal indicating the magnitude of the pressure input from the pressure detection unit 114 to the pressure determination unit 140, and the pressure generated by the operation of the operation body is output to the pressure determination unit 140. Determine the amount of change in size and pressure. And the operation control part 120 will determine the moving direction of the display content of the input display apparatus 100 based on a determination result, if the determination result of the pressure determination part 140 is received. The operation control unit 120 outputs the determined moving direction of the display content to the display control unit 160.
  • the contact determination unit 130 determines the presence / absence and contact position of the operating body on the display surface of the display unit 116 based on the detection result of the contact detection unit 112.
  • the contact determination unit 130 determines whether or not the operating body is in contact with the display surface of the display unit 116. Determine.
  • the contact determination unit 130 determines that the operating tool has touched the display surface when the amount of increase in capacitance exceeds a predetermined value. Further, the contact determination unit 130 can also recognize the contact position of the operating body on the display surface from the position of the electrostatic sensor in which the electrostatic capacitance of a predetermined value or more is detected. Then, the contact determination unit 130 outputs, to the operation control unit 120, the determination result as to whether or not the operating tool has touched the display surface and the contact position of the operating tool when it is determined that the operating tool has touched.
  • the pressure determination unit 140 determines the magnitude of the pressure with which the operating body presses the display surface based on the detection result of the pressure detection unit 114.
  • the display content can be moved or the focus can be moved by changing the magnitude of the pressure with which the user presses the display surface. Therefore, in order to determine what operation the user is going to perform using the operation control unit 120, the pressure determination unit 140 determines the magnitude of the pressure on the display surface and the amount of change. At this time, the pressure determination unit 140 refers to the storage unit 150, compares the magnitude of the pressure on the display surface with various pressure thresholds, and outputs the comparison result to the operation control unit 120.
  • the storage unit 150 corresponds to the non-volatile memory 103 in FIG. 2 and stores various setting information used to determine the degree of pressure on the display surface.
  • the setting information includes, for example, the pressure threshold set for each character used when scrolling the character list, the pressure decrease rate that determines the input content, or the focus movement in the list of predicted conversion character strings. There is a rate of increase in pressure that is a standard to be performed.
  • the display control unit 160 changes the display content displayed on the display unit 116 based on the moving direction of the display content determined by the operation control unit 120.
  • the display control unit 160 generates display information for displaying the display content according to the movement of the operation tool, and outputs the display information to the display unit 116.
  • step S100 it is determined whether or not the operating body has touched (touched) the display surface of the display unit 116 (step S100).
  • the contact of the operating body with the display surface is determined by the contact determination unit 130 based on whether or not the capacitance value detected by the contact detection unit 112 exceeds a predetermined capacitance value.
  • the contact determination unit 130 determines that the operating tool has touched the display surface, and the detected capacitance value is less than the predetermined value. At this time, it is determined that the operating body is not in contact with the display surface. Based on this determination, the determination in step S100 is repeated until contact with the display surface of the operating tool is detected.
  • step S100 when contact with the display surface of the operating tool is detected, the first kana character displayed at the touch position of the operating tool is selected (step S102).
  • the first kana character displayed at the touch position of the operating tool is selected (step S102). For example, as shown in the state (a) of FIG. 6, it is assumed that the contact of the finger F that is the operating body is detected in the “NA” key area of the first kana character layout keyboard 210. Then, the selection of the “NA” key is determined, and the scroll list 220 is displayed in the operation area 206 as shown in the state (b) of FIG. When the scroll list 220 is displayed, the user changes the pressure with which the finger F in contact with the display surface presses the display surface to focus on the input dependent kana character.
  • the pressure determination unit 140 determines the magnitude of the pressure on the display surface of the finger F. First, the pressure determination unit 140 determines whether or not the pressure detected by the pressure detection unit 114 has changed from the pressure in the previous time (step S104). If it is determined in step S104 that there is no pressure change, the process of step S104 is repeated. On the other hand, if it is determined in step S104 that the pressure has increased, it is determined whether or not the detected pressure has exceeded the next set pressure threshold (step S106).
  • the scroll list 220 can be scrolled by changing the pressure applied to the display surface.
  • pressure thresholds whose sizes are determined in the order in which the characters are arranged are set.
  • an operation is performed on the display surface so as to exceed the pressure threshold set for each subordinate kana character. Press the body.
  • the operating body is set so as to fall below the pressure threshold set for each subordinate kana character. Weakens the force that presses the display surface.
  • the change over time in the magnitude of the pressure on the display surface is as shown in the graph of FIG.
  • the “NA” key is selected from the first kana character layout keyboard 210 shown in the state (a) of FIG. 6 and the scroll list 220 is displayed, the character “NA” is focused.
  • subordinate characters (“Ni”, “Nu”, “Ne”, “No”) belonging to the “N” line are displayed on the lower side in order from the character “NA”.
  • the pressure threshold value for each subordinate kana character is set according to the sequence of characters, and is set to gradually increase in the order of arrangement, for example.
  • the pressure threshold value of each character may be set at equal intervals as shown in the graph of FIG. 6 (that is, an integer multiple of the pressure threshold value of “NA” which is the minimum pressure threshold value).
  • the scroll list 220 can be scrolled in the forward direction by pushing the display surface with the finger F in contact with the display surface.
  • step S106 If it is determined in step S106 that the pressure threshold of the next lined character after the currently focused character is exceeded, the operation control unit 120 moves the focus to the next lined character (step S108).
  • the operation control unit 120 may determine the maximum pressure threshold that the pressure on the display surface exceeds in step S106 and move the focus to a character for which the pressure threshold is set. For example, in the state (b) of FIG. 6, when the character “ni” is focused, the maximum pressure threshold that exceeds the pressure pressing the display surface is set as the pressure threshold for the character “Ne”. Is moved from the character “ni” to the character “ne”. In this way, the amount by which the focus is moved backward can be adjusted according to the magnitude of the force with which the finger F pushes the display surface.
  • step S106 if the pressure on the display surface does not exceed the upper pressure threshold, the process from step S104 is repeated without moving the focus.
  • step S110 it is determined whether or not the pressure has decreased by a predetermined percentage or more within a predetermined time (step S110).
  • step S110 it is determined whether or not to input the focused subordinate kana character in the scroll list 220. This determination is made based on how to remove the force that presses the display surface. For example, when the operating body is released from the display surface or is lightly touched from the state where the operating body is pressed against the display surface, the pressure on the display surface is instantaneously greatly reduced. Therefore, the pressure determination unit 140 determines that the pressure has decreased by a predetermined rate or more within a predetermined time. In the present embodiment, when such an operation is performed, the user determines selection of the currently focused character (step S112).
  • the finger F is released from the operation area 206 in a state where the character “NO” in the scroll list 220 is focused as shown in FIG. 7A.
  • the pressure on the operation surface rapidly decreases during the predetermined time T after exceeding the pressure threshold value of the character “NO”.
  • the pressure determination unit 140 detects the maximum pressure in the section that is back by a predetermined time T from a certain point in time, and determines whether or not the pressure has decreased by a predetermined ratio or more with respect to the maximum pressure.
  • the operation control unit 120 determines the selection of the focused character “NO” based on the determination result. As shown in FIG.
  • the determined character may be surrounded by a determination frame 208 indicating that the character has been determined, and the user may be notified that the character has been determined.
  • the predetermined time T can be set to 100 msec, for example, and the predetermined ratio can be set to 80%, for example.
  • Step S114 it is determined whether or not the pressure threshold value set for the currently focused character is below. If it is determined in step S114 that the pressure threshold value of the currently focused character has fallen below, the operation control unit 120 moves the focus to the character lined up before the currently focused character (step S116).
  • the characters arranged in front of the focused character are characters adjacent to the reverse side of the scroll list 220. For example, from the state in which the character “NO” in the scroll list 220 is focused, the pressing force of the finger F brought into contact with the display surface is gently removed. Then, as shown in the graph of FIG. 7B, when the pressure on the display surface is lower than the pressure threshold value of the character “Ne” arranged in front of the character “NO”, the operation control unit 120 moves the scroll list 220 in the reverse direction. The character “Ne” is focused.
  • the scroll list 220 can be scrolled in the reverse direction by performing steps S10 and S108 and an operation reverse to the state (b) of FIG.
  • the operation control unit 120 may determine the maximum pressure threshold value at which the pressure on the display surface is lower, and move the focus to a character for which the pressure threshold value is set. For example, when the character “NO” is focused, and the minimum pressure threshold that the pressure pressing the display surface is lower is set as the pressure threshold of the character “NI”, the focus is changed from the character “NO” to the character “NO”. To "".
  • the focus can be largely moved in the reverse direction by reducing the force to the pressure threshold value of the character to be focused.
  • step S104 if the pressure applied to the display surface by the operating body in step S114 does not fall below the pressure threshold of the currently focused character, the process from step S104 is repeated without moving the focus.
  • the configuration of the input display device 100 including the operation control unit according to the first embodiment of the present invention and the operation control method have been described above.
  • the operating body presses the display surface when determining the dependent kana character.
  • By strengthening or weakening the force to perform it is possible to move the scroll direction of the scroll list 220 displaying the subordinate kana characters forward or backward.
  • Such operation control allows the user to determine a character to be input with one finger, reducing the operation load on the user and improving operability.
  • the zoom rate of the display content is changed by changing the force with which the operating body presses the display surface using the operation control method.
  • the operation control method of the present embodiment can be executed by the same device as the input display device 100 including the operation control unit 120 according to the first embodiment.
  • the operation control method according to the present embodiment will be described in detail, and detailed description of the configuration and function of the input display device 100 including the same operation control unit 120 as in the first embodiment will be omitted.
  • FIG. 8 is an explanatory diagram showing a conventional zoom ratio changing operation for display contents.
  • FIG. 9 is a flowchart showing the operation control method according to the present embodiment.
  • FIG. 10 is an explanatory diagram illustrating a zoom rate changing operation for display contents according to the present embodiment.
  • the zoom rate suitable for displaying the content is different from the zoom rate suitable for moving the display range.
  • the zoom rate suitable for moving the display range For example, when moving the display range of the map displayed on the display unit 116, if the zoom rate is high, the amount of movement of the display range is small compared to the case where the zoom rate is low, and it is difficult to move the map greatly. For this reason, when the user moves the display range, for example, as shown in the state (a) of FIG. 8, first, the zoom ratio of the display content displayed in the display area 310 of the display unit 116 is lowered to display the display range. Reduce content. As an operation for reducing the display content, for example, a pinch-in gesture for bringing two fingers close to each other can be used.
  • the user touches the display surface with the finger, and moves the finger in the direction in which the display range displayed in the display area 310 is to be moved (state (b) in FIG. 8). Thereby, the display range displayed in the display area 310 moves following the movement of the finger, and the display range is changed. Then, when the display range is moved to a desired display position, the user increases the zoom rate of the display content and enlarges the display content (state (c) in FIG. 8).
  • a pinch-out gesture for separating two fingers can be used as an operation for enlarging the display content.
  • step S200 it is detected whether or not an operating body such as a finger F has touched (touched) the display surface (step S200).
  • the contact of the operating body with the display surface causes the contact determination unit 130 to cause the capacitance value detected by the contact detection unit 112 to exceed a predetermined capacitance value. It is determined by whether or not.
  • the contact determination unit 130 determines that the operating tool has touched the display surface, and the detected capacitance value is less than the predetermined value. At this time, it is determined that the operating body is not in contact with the display surface. If no contact of the operating tool with the display surface is detected based on the determination, the operation control process ends.
  • step S200 when contact with the display surface of the operating tool is detected, it is determined whether or not the operating tool has been moved from the contact position (step S202).
  • the movement of the operating body can be recognized from the detection result of either the contact detection unit 112 or the pressure detection unit 114 every predetermined time. For example, when the position where the pressure increase is detected by the pressure detection unit 114 changes with the passage of time, it is estimated that the operating body is moved so as to trace the display surface.
  • the operation control unit 120 translates the display range in the moving direction of the operating tool (step S204). In this case, the zoom rate of the display content displayed in the display area 310 is the same as the latest zoom rate and is not changed. The translation of the display range is performed until the operating body is released from the display surface or until the movement of the operating body that has been moved stops.
  • step S206 when it is determined in step S202 that the operating body touched on the display surface has not moved, it is determined whether or not there is a pressure change on the display surface (step S206).
  • the pressure determination unit 140 determines the magnitude of the pressure on the display surface of the operating body. First, the pressure determination unit 140 determines whether or not the pressure detected by the pressure detection unit 114 has changed from the pressure in the previous time. When it is determined that there is no pressure change, or when it is determined that the pressure has increased, it is determined whether or not the detected pressure has exceeded the next set pressure threshold (step S208). If it is determined in step S206 that there is no pressure change, the process in step S206 may be repeated without performing the process in step S208.
  • the zoom rate of the display contents displayed in the display area 310 can be changed by changing the pressure applied to the display surface. For example, when the pressure on the display surface is increased, the zoom ratio of the display content is reduced and reduced. On the other hand, when the pressure on the display surface is decreased, the zoom ratio of the display content is increased and enlarged. Thus, by changing the pressure on the display surface, the zoom rate can be changed in the reduction direction and the enlargement direction.
  • the change of the zoom rate may be performed, for example, every time the force pressing the display surface exceeds or falls below the pressure threshold set corresponding to the zoom rate. That is, a pressure threshold value that decreases at a predetermined rate each time the zoom rate increases by a predetermined rate (for example, 10%) is set. At this time, the force with which the operating body presses the display surface is increased, and whenever the pressure threshold value is exceeded, the zoom ratio decreases by a predetermined ratio, and the display content is reduced. On the other hand, as the force with which the operating body presses the display surface becomes weaker and falls below the pressure threshold, the zoom rate increases by a predetermined ratio and the display content is enlarged. Thereby, the zoom rate can be changed stepwise (discretely).
  • the zoom rate may be changed continuously according to a change in the force pressing the display surface.
  • the zoom rate is reduced accordingly, and the display content is reduced.
  • the zoom rate is increased accordingly, and the display content is enlarged.
  • step S208 If it is determined in step S208 that the force with which the operating tool presses the display surface exceeds the pressure threshold, the zoom ratio is changed by the method described above so that the display content displayed in the display area 310 is reduced. The When the zoom ratio is changed in step S210, the process returns to step S206.
  • step S212 it is determined whether or not the pressure has decreased by a predetermined percentage or more within a predetermined time.
  • the zoom ratio is determined and it is determined whether or not to fix it. This determination is performed based on how to remove the force that presses the display surface, as in the first embodiment. For example, when the operating body is released from the display surface or is lightly touched from the state where the operating body is pressed against the display surface, the pressure on the display surface is instantaneously greatly reduced. In this case, the pressure determination unit 140 determines that the pressure has decreased by a predetermined rate or more within a predetermined time. In this embodiment, when such an operation is performed, the current zoom ratio is determined and fixed (step S214).
  • the predetermined time can be set to, for example, 100 msec, and the predetermined ratio can be set to, for example, 80%.
  • the operation control unit 120 determines whether or not the operating body that has been in contact with the display surface has been moved on the display surface (step S216).
  • the movement of the operating body can be recognized as in step S202.
  • the operation control unit 120 moves the display range displayed in the display area 310 of the display unit 116 with the movement of the operating tool (step S218). ).
  • the display content displayed in the display area 310 is displayed at the zoom rate fixed in step S216. Therefore, if the zoom rate is reduced and reduced in step S216, the display range can be moved greatly in step S218.
  • the zoom ratio is increased and enlarged in step S216, the display range can be finely moved in step S218.
  • the pressure determination unit 140 determines whether or not the operating tool has been released from the display surface (step S218). S220). Whether or not the operating body has been released from the display surface is determined by the contact determination unit 130 based on whether or not the capacitance value detected by the contact detection unit 112 is equal to or less than a predetermined capacitance value. The contact determination unit 130 determines that the operating tool has been released from the display surface when the detected capacitance value is equal to or less than a predetermined value, and the detected capacitance value is greater than the predetermined value. Sometimes it is determined that the operating tool is not released from the display surface. Or you may determine with the pressure determination part 140 having released the operating body from the display surface, when the value of the pressure which the pressure detection part 114 detected becomes below a predetermined value.
  • step S216 the processing from step S216 is repeated until it is determined in step S220 that the operating tool has been released from the display surface.
  • step S220 the operation control unit 120 determines whether or not the operating tool has moved from the initial position where it first contacted the display surface (step S222). ). The operation control unit 120 compares the current position on the display surface of the operating tool recognized by the pressure determination unit 140 with the initial position, and determines that the operating tool has been moved from the initial position when the operating distance is more than a predetermined distance. .
  • step S222 if the operating tool has been moved from the initial position before being released from the display surface, the zoom ratio in step S210 is changed with the intention of moving the display range displayed in the display area 310. Estimated. In this case, after the movement of the display range is completed, the zoom ratio before the change is returned in step S210, and information is displayed in a state that is easy for the user to see (step S224). On the other hand, if it is determined in step S222 that there has been no movement from the initial position until the operating tool is released from the display surface, the zoom ratio change in step S210 is performed by the user in the desired state. It is estimated that the operation is enlarged / reduced for viewing. Therefore, in this case, the current zoom ratio is maintained even when the operating tool is released from the display surface (step S226). Thereafter, the operation control process ends.
  • the operation control method has been described above.
  • By performing such operation control for example, as shown in the state (a) of FIG. 10, when a map is displayed in the display area 310 and a finger as an operating body is brought into contact with the display surface and pressed, The zoom rate decreases according to the force to be applied, and the map displayed in the display area 310 is reduced. Then, when the desired zoom rate is reached, if the force pressing the display surface with the finger in contact with the display surface is suddenly weakened, the zoom rate at that time is fixed as shown in state (b).
  • the display range displayed in the display area 310 is moved as shown in the state (c).
  • the display range is displayed at the zoom rate before the zoom rate is changed as shown in the state (d). That is, the display content is enlarged and displayed at the zoom rate before being reduced in the state (a).
  • the zoom ratio of the display content can be increased or decreased by increasing or decreasing the force of pressing the display surface by the operating body. . Then, using this operation, the zoom ratio suitable for movement is changed, the display range is moved, and then the operation for changing to the zoom ratio suitable for display is performed again with a single finger. Can be performed as Thereby, a user's operation load can be reduced.
  • FIG. 11 is an explanatory diagram showing an outline of content list operation by the operation control method according to the present embodiment.
  • an operation of scrolling the content list 420 displayed in the display area 400 on the display surface of the display unit 116 and determining the desired content 410 is shown.
  • the content list 420 is configured by stacking a plurality of contents 410 from the front to the back of the page, and scrolls from the front to the back or from the back to the front. Can be made.
  • the content 410 in the present embodiment is content provided in a multimedia environment such as a computer, and refers to information such as video, still images, and audio.
  • the content list 420 can be regarded as an object list including the content 410 that is an object.
  • a plurality of contents 410 are stacked as shown in the state (b).
  • a content list 420 is displayed in the display area 400.
  • the user can determine the content 410 by scrolling the content list 420 and displaying the content 410 to be selected on the forefront of the content list 420.
  • the content list 420 shown in the state (b) of FIG. 11 can be scrolled in the back direction and the front side of the paper surface of FIG. 11 by changing the force with which the user presses the display surface.
  • the content list 420 can be scrolled backward as shown in the state (c).
  • the content list 420 can be scrolled forward as shown in the state (d).
  • the scroll direction of the content list 420 can be changed by increasing or decreasing the force of pressing the display surface.
  • the user can apply a force to press the display surface with the operation tool within a predetermined time.
  • the scroll mode can be terminated by reducing the ratio to a predetermined ratio or more (state (e)).
  • the content list 420 may be hidden, and only the content 410 displayed on the foreground may be displayed.
  • the user can be notified of the selected content 410 in an easy-to-understand manner.
  • the displayed content 410 can be determined by releasing the operating tool from the display surface.
  • FIG. 12 is a flowchart showing the operation control method according to the present embodiment.
  • FIG. 13 is an explanatory diagram showing a start operation and an end operation of the scroll mode of the content list 420 according to the present embodiment.
  • FIG. 14 is an explanatory diagram showing a scroll operation of the content list 420 according to the present embodiment.
  • FIG. 15 is an explanatory diagram showing a content determination operation from the content list 420 according to the present embodiment.
  • FIG. 16 is an explanatory diagram showing an operation of changing the scroll speed for scrolling the content list 420 according to the present embodiment.
  • FIG. 17 is an explanatory diagram showing an operation when the operating tool is released while scrolling the content list 420 according to the present embodiment.
  • the user displays a content list 420 including a plurality of contents 410 in order to select the contents 410 to be viewed using the input display device 100.
  • the content list 420 is a predetermined operation such as, for example, touching the content 410 displayed in the display area 400 as shown in the state (a) of FIG. 11 and pressing it until it exceeds a predetermined threshold pressure (scroll mode threshold). Can be displayed.
  • a predetermined threshold pressure swipe mode threshold
  • step S300 it is detected whether or not the operating body has touched (touched) the display surface (step S300).
  • the contact of the operating body with the display surface causes the contact determination unit 130 to cause the capacitance value detected by the contact detection unit 112 to exceed a predetermined capacitance value. It is determined by whether or not.
  • the contact determination unit 130 determines that the operating tool has touched the display surface, and the detected capacitance value is less than the predetermined value. At this time, it is determined that the operating body is not in contact with the display surface. If no contact of the operating tool with the display surface is detected based on the determination, the operation control process ends.
  • step S300 when contact of the operating body with the display surface is detected, it is determined whether or not the force (touch pressure) by which the operating body presses the display surface exceeds the scroll mode threshold (step S302).
  • the pressure determination unit 140 determines the magnitude of the pressure on the display surface of the operating body.
  • the scroll mode threshold is used to determine whether or not the content list 420 can be scrolled.
  • the scroll mode is started (Ste S308). As described above, by intentionally changing the force of pressing the display surface with the finger F, the scroll mode can be switched, and the content list 420 can be prevented from being erroneously scrolled.
  • step S304 it is determined whether or not the operating tool has been released from the display surface. Whether or not the operating body has been released from the display surface is determined by the contact determination unit 130 when the capacitance value detected by the contact detection unit 112 is a predetermined capacitance, as in step S220 of the second embodiment. The determination can be made based on whether or not the value is below the value.
  • the contact determination unit 130 determines that the operating tool has been released from the display surface when the detected capacitance value is equal to or less than a predetermined value, and the detected capacitance value is greater than the predetermined value. Sometimes it is determined that the operating tool is not released from the display surface. Or you may determine with the pressure determination part 140 having released the operating body from the display surface, when the value of the pressure which the pressure detection part 114 detected becomes below a predetermined value.
  • step S304 determines whether the operating tool has been released from the display surface. If it is determined in step S304 that the operating tool has been released from the display surface, as shown in the state (a) of FIG.
  • the selection of the displayed content 410 is determined (step S306). Thereafter, the process ends. On the other hand, if it is determined in step S304 that the operating tool has not been released from the display surface, the process returns to step S302 and the process is repeated.
  • step S310 when the content list 420 can be scrolled, it is determined whether or not the force with which the operating body presses the display surface has changed (step S310).
  • the magnitude of the pressure with respect to the display surface of the operating body is determined by the pressure determination unit 140 as in step S206 of the second embodiment.
  • the pressure determination unit 140 determines whether or not the pressure detected by the pressure detection unit 114 has changed from the pressure in the previous time. If it is determined that there is no pressure change, or if it is determined that the pressure has increased, it is determined whether or not the detected touch pressure has exceeded a predetermined pressure threshold, for example, a scroll mode threshold (step S312). ).
  • step S312 when it is determined in step S312 that the touch pressure exceeds the scroll mode threshold, the content list 420 is scrolled in the back direction as shown in the state (a) of FIG. (Step S314).
  • the content list 420 is scrolled forward as shown in the state (b) of FIG. 14 (step S316). And it returns to the process of step S310 and repeats a process.
  • the scroll direction of the content list 420 is determined.
  • step S310 If it is determined in step S310 that the pressure has decreased, it is determined whether or not the pressure has decreased by a predetermined rate or more within a predetermined time (step S318). In step S318, it is determined whether or not to end the scroll mode. This determination is performed based on how to remove the force that presses the display surface, as in the first embodiment. For example, when the operating body is released from the display surface or is lightly touched from the state where the operating body is pressed on the display surface, the pressure on the display surface is shown in the graph of FIG. However, it is greatly reduced instantaneously. In this case, the pressure determination unit 140 determines that the pressure has decreased by a predetermined rate or more within a predetermined time. In this embodiment, when the operation as shown in the state (b) of FIG. 13 is performed as described above, the scroll mode is ended (step S320).
  • the predetermined time can be set to 100 msec, for example, and the predetermined ratio can be set to 80%.
  • step S302 determines whether or not the touch pressure exceeds the scroll mode threshold.
  • the content list 420 at that time is displayed as shown in the state (b) of FIG.
  • Selection of the content located in the foreground is determined (step S306). In this way, the content 410 is selected.
  • step S318 if it is determined in step S318 that the pressure has not decreased by a predetermined rate or more within a predetermined time, the process proceeds to step S312. Then, the scroll direction of the content list 420 is determined according to whether or not the touch pressure exceeds the scroll mode threshold (step S312), and the content list 420 is scrolled in the depth direction or the front direction (steps S314 and S316).
  • the scrolling of the content list 420 using the operation control method according to the present embodiment has been described above.
  • the scroll direction of the content list 420 can be changed by changing the force with which the finger F presses the display surface, so that the scroll operation of the content list 420 or the determination of the content 410 can be performed with one finger F.
  • the operation can be performed.
  • the scroll speed of the content list 420 may be changed in accordance with the magnitude of the force with which the operation body presses the display surface.
  • the operating body presses the display surface with a pressure exceeding the scroll mode threshold.
  • the force pressing the display surface exceeds a predetermined pressure threshold value that is larger than the scroll mode threshold value, the scroll speed at which the scroll list 420 scrolls is increased. That is, as the operating tool is pushed into the display surface, the scroll speed is increased.
  • the scroll list 420 when the scroll list 420 is scrolled forward, as shown in the graph of FIG. 16, the operating body presses the display surface with a pressure lower than the scroll mode threshold. At this time, when the force for pressing the display surface falls below a predetermined pressure threshold value that is smaller than the scroll mode threshold value, the scroll speed at which the scroll list 420 scrolls is increased. That is, the scrolling speed increases as the force for pushing the operating body into the display surface becomes weaker.
  • a predetermined pressure threshold value for changing the scroll speed may be provided to change the scroll speed step by step.
  • the force of the operating body pressing the display surface may be changed.
  • the scroll speed may be continuously changed according to the change.
  • the case where the operating tool is released from the display surface during the scroll mode has not been described.
  • the content 410 is determined simultaneously with the end of the scroll mode. You may make it perform. That is, as shown in the graph of FIG. 17, it is assumed that the display surface is pressed with a force exceeding the scroll mode threshold by the operating body, and the content list 420 is scrolled in the back direction.
  • the operation control unit 120 ends the scroll mode, and the content displayed on the forefront of the content list 420 when the scrolling is finished.
  • the selection of 410 is determined.
  • the operability can be further improved by executing two processes by one operation.
  • the display area 400 of the input display device 100 has a shape that extends long in the horizontal direction.
  • the horizontal content list 440 is configured by arranging a plurality of contents 410 in the horizontal direction according to the shape of the display area 400. Such a horizontal content list 440 can be scrolled in the horizontal direction, that is, right and left in FIG. 18A.
  • the content list 420 displayed in the display area 400 of the input display device 100 can also be scrolled left and right according to the force of pressing the display surface, similarly to the scrolling of the content list 420 described above. .
  • the operability can be improved by determining the scroll direction according to the position at which the operating body contacts the display surface.
  • the horizontal content list 440 is scrolled in the direction of the display area 400 in which the operating body is operating when the operating body strengthens the force of pressing the display surface. In this way, the scroll direction of the horizontal content list 440 toward the side where the operating tool is located is the forward direction.
  • the horizontal content list 440 is scrolled in the direction opposite to the display area 400 on which the operating body is operating. In this way, the scroll direction of the horizontal content list 440 to the side opposite to the side where the operating tool is located is set to the reverse direction.
  • the scroll direction of the horizontal content list 440 can be switched by changing the force with which the operating body presses the display surface.
  • the user can operate intuitively, so that the operability can be improved.
  • the operation control unit 120 responds to the force with which the operation body presses the display surface when the content 410 configuring the horizontal content list 440 includes the moving image content 410m having a time series such as a moving image.
  • the playback direction of the moving image content 410m can also be controlled.
  • FIG. 19 is an explanatory diagram showing a reproduction operation of the moving image content 410m having a time series.
  • the horizontal content list 440 includes moving image content 410 m arranged in a plurality in the horizontal direction of the display area 400. For example, when one moving image content 410m is tapped from the horizontal content list 440, the moving image content 410m is selected, and the reproduction of the content is started.
  • the operating body touches the moving image content 410m and a pressure exceeding a predetermined pressure threshold (reproduction mode threshold) is applied to the display surface, the operation mode is switched to a reproduction mode in which the reproduction state of the moving image content 410m can be operated.
  • a predetermined pressure threshold production mode threshold
  • the user can change the playback direction of the moving image content 410m by changing the force for pressing the display surface to be larger or smaller than a predetermined playback mode threshold. For example, when the display surface is pressed with a pressure exceeding the playback mode threshold, the moving image content 410m is played back in the direction of time so as to move to the previous chapter. On the other hand, when the force for pressing the display surface is equal to or less than the playback mode threshold, the moving image content 410m is rewound and played so as to move to the previous chapter. Note that the reproduction movement of the moving image content 410m may be performed every predetermined time unit or may be moved in units of chapters. Then, in the playback mode, the playback mode can be terminated when the force that presses the display surface more than a predetermined ratio (for example, 80% at 100 msec) within a predetermined time decreases.
  • a predetermined ratio for example, 80% at 100 msec
  • the operation control method according to the present embodiment can be applied not only to the scrolling of the horizontal content list 440 but also to the reproduction operation of the moving image content 410. Thereby, the user can perform various input operations with a simple operation.
  • the scroll direction of the content lists 420 and 440 can be switched by increasing or decreasing the force of pressing the display surface with the operating tool.
  • the operation of reproducing the moving image content 410m can also be performed by changing the force with which the operating body presses the display surface. In this way, the operation can be performed as a series of operations with one finger, and the operation load on the user can be reduced.
  • the electrostatic touch panel 105 and the pressure sensor 106 are provided as input devices, but the present invention is not limited to such an example.
  • only the pressure sensor 106 may be provided.
  • the pressure detected by the pressure sensor 106 becomes equal to or higher than a predetermined value, it may be detected that the operating body has touched the display surface.
  • the zoom rate is reduced to reduce the display content
  • the zoom rate is increased.
  • the display contents are enlarged, the present invention is not limited to this example. For example, increasing the force that presses the display surface with the operating tool increases the zoom rate and enlarges the display content, and reducing the force that presses the display surface with the operating tool reduces the zoom rate and reduces the display content. Also good.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】圧力の変化に応じて表示内容の移動方向を変化させて、操作性を向上させることが可能な操作制御装置を提供する。 【解決手段】本発明の操作制御装置は、情報を表示する表示部の表示面に対する操作体の接触を検出する接触検出部と、表示部に設けられ、表示部の表示面が操作体によって押圧される圧力を検出する圧力検出部と、操作体が表示部の表示面に接触してから離隔するまでの間に圧力検出部により検出された圧力の大きさに基づいて、表示部に表示された情報の表示状態を順方向または逆方向に変更する操作制御部と、を備える。

Description

操作制御装置、操作制御方法およびコンピュータプログラム
 本発明は、操作制御装置、操作制御方法およびコンピュータプログラムに関し、より詳細には、携帯情報端末の文字入力に使用されるソフトウェアキーボードを用いた操作制御装置、操作制御方法およびコンピュータプログラムに関する。
 近年、電子技術の発達により、タッチスクリーンを利用した携帯情報端末が広く普及している。このような携帯情報端末を利用して所定の文字を入力するためには、ディスプレイ上に表示される、実際のキーボードと同一の配置のソフトウェアキーボードを利用し、該当するキーを指先またはタッチペン等の操作体で押下すればよい。しかしながら、従来のタッチスクリーンを利用した携帯情報端末に表示されるソフトウェアキーボードは、制限されたスクリーン領域内に実際のキーボードと同一に表示されるため、キーボードのキーが小さくなってしまう。このため、ユーザの眼の疲労は激しく、誤打が生じやすくなる。タッチスクリーンの領域が小さい装置においては、この問題はさらに顕著となる。
 このような問題を解決するために、加えた圧力を検知可能な感圧センサを用いてキー入力を行う手法が提案されている(例えば、特許文献1)。特許文献1に記載の手法では、50音仮名テーブルの先頭仮名文字(すなわち、日本語の仮名文字を母音に基づき縦に5つ、子音に基づき横に10つ配列した五十音のうち、同一子音を有する仮名文字からなる行の先頭文字である「あ」「か」「さ」「た」「な」「は」「ま」「や」「ら」「わ」)のみを各ブロックに割り当てて、先頭仮名文字から所定の一文字(例えば、「あ」)がタッチされると、タッチされた先頭仮名文字に属する従属仮名文字(例えば、「あ」「い」「う」「え」「お」)を表示する。このとき、操作体がタッチしたときの圧力の大きさに応じて、ユーザの選択希望文字へフォーカスを移動した後、操作体が接触面からリリースされることで文字の選択が可能となる。これにより、先頭仮名文字から従属仮名文字を選択する操作において、手や視線の移動量を最小化し、限られた画面面積を効率的に利用したソフトウェアキーボードを実現することができる。
特開平11-119882号公報 特開2006-39745号公報
 しかし、特許文献1に記載の手法では、図20に示すように、接触面に対して力を加える操作によって、フォーカスを一方向にのみに移動させることしかできなかった。すなわち、図20に示すように、キーを押圧する力が圧力レベルを超える毎に次の文字にフォーカスが移動され、力が弱められたときにはフォーカスは移動されない。すなわち、フォーカスを「あ」、「い」、「う」、「え」、「お」、「あ」、「い」、・・・と一方向にしか移動させることができない。このため、例えば「あ」を選択する際に誤って力を加えて過ぎてしまい「い」にフォーカスが移動してしまうと、「あ」を選択するには再度圧力を加えてフォーカスを一巡移動させなければならない。特に、濁音や半濁音を含める等により従属仮名文字が多くなる場合に、著しく操作性が低下してしまうという問題があった。
 そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、圧力の変化に応じて表示内容の移動方向を変化させて、操作性を向上させることが可能な、新規かつ改良された操作制御装置、操作制御方法およびコンピュータプログラムを提供することにある。
 上記課題を解決するために、本発明のある観点によれば、情報を表示する表示部の表示面に対する操作体の接触を検出する接触検出部と、表示部に設けられ、表示部の表示面が操作体によって押圧される圧力を検出する圧力検出部と、操作体が表示部の表示面に接触してから離隔するまでの間に圧力検出部により検出された圧力の大きさに基づいて、表示部に表示された情報の表示状態を順方向または逆方向に変更する操作制御部と、を備える、操作制御装置が提供される。
 本発明によれば、操作体が表示部の表示面に接触してから離隔されるまでの一連の動作において、操作体が表示面を押圧する圧力を変化させることにより、表示部に表示された情報の表示状態を順方向または逆方向に変更することができる。これにより、表示状態を所望の方向に容易に変更することができるので、ユーザの操作負荷を軽減でき、操作性を向上させることができる。
 ここで、操作制御部は、圧力検出部により検出された圧力が段階的に設定された1または2以上の圧力閾値を超える毎に表示部に表示された情報の表示状態を順方向に変更させ、圧力検出部により検出された圧力が段階的に設定された圧力閾値を超下回る毎に表示部に表示された情報の表示状態を逆方向に変更させるようにしてもよい。
 あるいは、操作制御部は、圧力検出部により検出された圧力が所定の圧力閾値より大きい場合、表示部に表示された情報の表示状態を順方向に連続的に変更させ、圧力検出部により検出された圧力が所定の圧力閾値より小さい場合、表示部に表示された情報の表示状態を逆方向に連続的に変更させるようにしてもよい。
 また、操作制御部は、圧力検出部により検出された圧力が所定の圧力閾値を超えたとき、表示部に表示された情報の表示状態の順方向または逆方向の変更を開始するようにすることもできる。
 さらに、操作制御部は、圧力検出部により検出された圧力が所定時間内に所定の割合以上減少したとき、表示部に表示された情報の表示状態の順方向または逆方向の変更を終了するようにしてもよい。
 また、複数のオブジェクトが一方向に配列されたオブジェクトリストが表示部に表示されているとき、操作制御部は、圧力検出部により検出された圧力が段階的に設定された1または2以上の圧力閾値を超える毎に、オブジェクトリストを順方向に段階的にスクロールさせ、圧力検出部により検出された圧力が段階的に設定された圧力閾値を下回る毎に、オブジェクトリストを順方向とは反対方向である逆方向に段階的にスクロールさせるようにすることもできる。
 あるいは、複数のオブジェクトが一方向に配列されたオブジェクトリストが表示部に表示されているとき、操作制御部は、圧力検出部により検出された圧力が所定の圧力閾値より大きい場合、オブジェクトリストを順方向に連続的にスクロールさせ、圧力検出部により検出された圧力が所定の圧力閾値より小さい場合、オブジェクトリストを順方向とは反対方向である逆方向に連続的にスクロールさせるようにしてもよい。
 さらに、接触検出部は、表示部の表示面をオブジェクトの配列方向に二分した2つの領域のうち操作体が接触している接触領域を検出し、操作制御部は、オブジェクトリストのスクロール方向のうち接触領域へ向かう向きを順方向としてもよい。
 また、操作制御部は、圧力検出部により検出された圧力が所定時間内に所定の割合以上減少したとき、フォーカスされているオブジェクトリスト中のオブジェクトの選択を決定するようにしてもよい。
 ここで、オブジェクトリストから決定されたオブジェクトが時系列データを有するとき、操作制御部は、接触検出部により操作体が表示部の表示面から離隔されたことが検出された場合、決定されたオブジェクトを時系列順に再生し、接触検出部により操作体が継続して表示部の表示面に接触していることが検出されている場合、圧力検出部により検出される圧力の大きさに応じて、決定されたオブジェクトの表示を時系列の順方向または逆方向に移動してもよい。
 また、表示内容のズーム率を変更可能な情報が表示部に表示されているとき、操作制御部は、圧力検出部により検出された圧力が段階的に設定された1または2以上の圧力閾値を超える毎に、表示部に表示された表示内容のズーム率を段階的に小さくし、圧力検出部により検出された圧力が段階的に設定された圧力閾値を下回る毎に、表示部に表示された表示内容のズーム率を段階的に大きくするようにしてもよい。
 あるいは、表示内容のズーム率を変更可能な情報が表示部に表示されているとき、操作制御部は、圧力検出部により検出された圧力が所定の圧力閾値より大きい場合、表示部に表示された表示内容のズーム率を段階的に小さくし、圧力検出部により検出された圧力が所定の圧力閾値より小さい場合、表示部に表示された表示内容のズーム率を段階的に大きくすることもえきる。
 このとき、操作制御部は、圧力検出部により検出された圧力が所定時間内に所定の割合以上減少したとき、現在設定されているズーム率を固定してもよい。
 また、操作制御部は、表示部の表示面に接触された状態で移動される操作体の動きに応じて、表示部に表示される情報の表示範囲を移動し、接触検出部により操作体が表示部の表示面から離隔されたことが検出されたとき、ズーム率を変更前のズーム率に変更することもできる。
 また、上記課題を解決するために、本発明の別の観点によれば、情報を表示する表示部の表示面に対する操作体の接触を検出するステップと、表示部に設けられ、表示部の表示面が操作体によって押圧される圧力を検出するステップと、操作体が表示部の表示面に接触してから離隔するまでの間に検出された圧力の大きさに基づいて、表示部に表示された情報の表示状態を順方向または逆方向に変更するステップと、を含む、操作制御方法が提供される。
 さらに、上記課題を解決するために、本発明の別の観点によれば、コンピュータに上記の操作制御装置として機能させるためのコンピュータプログラムが提供される。コンピュータプログラムは、コンピュータが備える記憶装置に格納され、コンピュータが備えるCPUに読み込まれて実行されることにより、そのコンピュータを上記の操作制御装置として機能させる。また、コンピュータプログラムが記録された、コンピュータで読み取り可能な記録媒体も提供される。記録媒体は、例えば磁気ディスクや光ディスクなどである。
 以上説明したように本発明によれば、圧力の変化に応じて表示内容の移動方向を変化させて、操作性を向上させることが可能な、新規かつ改良された操作制御装置、操作制御方法およびコンピュータプログラムを提供することができる。
本発明の第1の実施形態にかかる操作制御部を備える入力表示装置の表示装置の構成を示す説明図である。 同実施形態にかかる操作制御部を備える入力表示装置のハードウェア構成を示すブロック図である。 同実施形態にかかる入力表示部における、ソフトウェアキーボードの画面構成例を示す説明図である。 同実施形態にかかる入力表示部の機能構成を示すブロック図である。 同実施形態にかかる操作制御部による操作制御方法を示すフローチャートである。 従属仮名文字を選択する操作を示す説明図である。 従属仮名文字を決定する操作を示す説明図である。 スクロールリストを逆方向にスクロールさせて、従属仮名文字のフォーカス位置を戻す操作を示す説明図である。 従来の表示内容のズーム率変更操作を示す説明図である。 本発明の第2の実施形態にかかる操作制御方法を示すフローチャートである。 同実施形態にかかる表示内容のズーム率変更操作を示す説明図である。 本発明の第3の実施形態にかかる操作制御方法によるコンテンツリストの操作の概略を示す説明図である。 同実施形態にかかる操作制御方法を示すフローチャートである。 同実施形態にかかるコンテンツリストのスクロールモードの開始操作および終了操作を示す説明図である。 同実施形態にかかるコンテンツリストのスクロール操作を示す説明図である。 同実施形態にかかるコンテンツリストからのコンテンツ決定操作を示す説明図である。 同実施形態にかかるコンテンツリストをスクロールさせるスクロール速度を変化させる操作を示す説明図である。 同実施形態にかかるコンテンツリストのスクロール中に操作体をリリースさせた場合の操作を示す説明図である。 横方向コンテンツリストにおけるスクロール操作を示す説明図である。 横方向コンテンツリストにおけるスクロール操作を示す説明図である。 時系列を持つ動画コンテンツの再生操作を示す説明図である。 従来のスクロール操作の一例を示す説明図である。
 以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
 1.第1の実施形態(ソフトウェアキーボードへの適用例)
 2.第2の実施形態(ズーム率変更表示への適用例)
 3.第3の実施形態(コンテンツリストのスクロール操作への適用例)
 <1.第1の実施形態>
 [入力表示装置の表示装置の構成例]
 まず、図1~図3に基づいて、本発明の第1の実施形態にかかる操作制御部を備える入力表示装置の表示装置の構成例や、入力表示装置の概要について説明する。なお、図1は、本実施形態にかかる操作制御部を備える入力表示装置100の表示装置の構成を示す説明図である。図2は、本実施形態にかかる操作制御部を備える入力表示装置のハードウェア構成を示すブロック図である。図3は、本実施形態にかかる入力表示装置100における、ソフトウェアキーボードの画面構成例を示す説明図である。
 本実施形態にかかる操作制御部を備える入力表示装置100は、情報を表示する表示装置の表示面を操作体で接触したりさらに押圧したりすることにより、情報を入力可能な装置である。ユーザは、表示装置に表示されたアイコンや文字キー等のオブジェクトに操作体を接触させることにより、操作体が接触したオブジェクトを選択したり決定したりすることができる。また、ユーザは、操作体を表示面に接触させて移動させることにより、画面スクロール等の操作を行うこともできる。
 このような入力表示装置100の入力表示部(図4の符号110に対応)は、図1に示すように、表示装置104の表示面側に、シート状の感圧センサ106と、静電式タッチパネル105とを積層して構成される。
 静電式タッチパネル105は、表示面に対する操作体の接触を検出する検出部である。静電式タッチパネル105は、格子状に配置された静電センサを備えており、静電容量の変化によってその値を常時変化させる。静電センサに操作体である指が近付いたり触れたりした場合に、静電センサにより検知される静電容量が増加する。各静電センサの静電容量は同時に取得することが可能である。すべての静電センサの静電容量の変化を同時に検出し、補間することによって近接または接触している指の形を検出することが可能である。静電式タッチパネル105は、検出した静電容量の値を、CPU(Central Processing Unit;図2の符号101)へ出力する。
 また、感圧センサ106は、表示面を押圧する圧力を検出する検出部である。感圧センサ106は、例えば2枚のシートパネルで電極面を形成し、押された部分の通電を検出して位置を検出する抵抗膜感圧方式のセンサを用いることができる。感圧センサ106も、静電式タッチパネル105と同様に、押圧された位置を検出する検出点がシート内に複数配置されている。各検出点における通電は同時に検出することが可能である。感圧センサ106は、各検出点におけて検出された、表示面を押圧する圧力をCPUへ出力する。
 CPUは、静電式タッチパネル105および感圧センサ106から入力された各種情報と表示装置104に表示された表示内容の表示位置との対応付けを行い、操作体の動きを解析する。そして、CPUは、解析された操作体の動きから、入力表示装置100へ入力された入力情報を認識して、入力情報に対応する処理を実行する。このように、ユーザは、表示面に表示された内容を操作して、入力情報を入力することができる。なお、操作体を表示装置104の表示面に接触させたり押圧させたりするとき、実際、操作体は、表示装置104の表示面に接触しているのではなく静電式タッチパネル105の表面に接触している。このように、操作体が実際には静電式タッチパネル105の表面に接触している場合にも、以下では、「操作体を表示装置104の表示面に接触させる」として説明する場合がある。
 [ハードウェア構成]
 次に、図2に基づいて、本実施形態にかかる操作制御部を備える入力表示装置100のハードウェア構成について説明する。本実施形態にかかる入力表示装置100は、図2に示すように、CPU101と、RAM(Random Access Memory)102と、不揮発性メモリ103と、表示装置104と、静電式タッチパネル105と、感圧センサ106とを備える。
 CPU101は、上述したように、演算処理装置および制御装置として機能し、各種プログラムに従って入力表示装置100内の動作全般を制御する。また、CPU101は、マイクロプロセッサであってもよい。RAM102は、CPU101の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバスにより相互に接続されている。不揮発性メモリ103は、CPU101が使用するプログラムや演算パラメータ等を記憶する。不揮発性メモリ103は、例えばROM(Read Only Memory)やフラッシュメモリ等を用いることができる。
 表示装置104は、情報を出力する出力装置の一例である。表示装置104として、例えば液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置などを用いることができる。静電式タッチパネル105は、ユーザが情報を入力する入力装置の一例であって、情報を入力ための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU101に出力する入力制御回路などから構成されている。感圧センサ106も、静電式タッチパネル105と同様、ユーザが情報を入力する入力装置の一例である。静電式タッチパネル105および感圧センサ106は、上述したような構成とすることができる。
 ユーザは、静電式タッチパネル105および感圧センサ106を操作することにより、入力表示装置100に対して各種のデータを入力したり処理動作を指示したりすることができる。本実施形態の入力表示装置100では、静電式タッチパネル105を、操作制御処理を開始するための操作体の接触を検出する接触検出部として用い、感圧センサ106を、表示内容の移動方向を決定するための圧力の変化を検出する圧力検出部として用いる。
 [画面構成例]
 本実施形態では、入力表示装置100に設けられた操作制御部によって、図3に示すようなソフトウェアキーボードを利用した文字入力の操作制御を行うことを想定する。入力表示装置100の表示面は、図3の状態(a)に示すように、既に入力された文字を表示する入力文字表示領域202と、仮入力された仮入力表示領域204と、情報を入力する操作領域206とに区分されている。本実施形態の入力表示装置100で利用されるソフトウェアキーボードでは、ユーザは、操作領域206に接触したり操作体で押圧する力を変化させたりすることにより、入力する文字を段階的に決定していく。
 図3の状態(a)は、文字入力開始時の状態である。このとき、操作領域206には、先頭仮名文字が配列された先頭仮名文字配列キーボード210が表示されている。先頭仮名文字配列キーボード210は、「あ」、「か」、「さ」、「た」、「な」、「は」、「ま」、「や」、「ら」、「わ」、2つの「記号」(「!」および「Delate」)の12個のキーが格子状に配列されてなる。まず、ユーザは、先頭仮名文字配列キーボード210から、入力したい文字の属する行の先頭仮名文字に、例えば指等の操作体を接触させて押し込み、1つのキーを選択する。
 先頭仮名文字配列キーボード210から1つのキーが選択されると、選択されたキーの先頭仮名文字に従属する従属仮名文字が表示される。例えば、図3の状態(a)において先頭仮名文字「な」のキーが選択されたとする。そうすると、先頭仮名文字「な」に従属する従属仮名文字「な」、「に」、「ぬ」、「ね」、「の」等が表示される。従属仮名文字は、例えば図3の状態(b)に示すように、文字が一列に配列されたスクロールリスト220として表示することができる。すなわち、スクロールリスト220は、オブジェクトである従属仮名文字からなるオブジェクトリストとみることができる。スクロールリスト220中のフォーカスされた文字は、選択可能な文字である。フォーカスされた文字は、例えば状態(b)に示すように、拡大して表示することにより、ユーザに分かりやすく通知することができる。また、フォーカスされた文字を拡大して表示することにより、ユーザによる文字の選択を容易にすることもできる。
 ここで、状態(b)から、さらに表示面を押圧すると、スクロールリスト220が順方向(例えば、下から上に向かう方向)に移動される。例えば、状態(b)において従属仮名文字「に」がフォーカスされている状態から表示面をさらに押圧すると、状態(c)に示すように、スクロールリスト220が順方向に移動して、例えば従属仮名文字「の」がフォーカスされる。一方、状態(b)から表示面を押圧する力を弱めると、スクロールリスト220が逆方向(例えば、上から下に向かう方向)に移動される。例えば、状態(b)において従属仮名文字「に」がフォーカスされている状態から表示面を押圧する力を弱めると、状態(d)に示すように、スクロールリスト220が逆方向に移動して、例えば従属仮名文字「な」がフォーカスされる。
 このように、本実施形態にかかる操作制御部を備える入力表示装置100では、操作面を押圧する力を強めたり弱めたりして変化させることにより、表示内容の移動方向を切り替えることができる。これにより、表示内容を移動させる際の操作負荷を低減させることができ、操作性を向上させることができる。
 以上、本実施形態にかかる操作制御部を備える入力表示装置100の概略構成および機能について説明した。このような表示制御装置100における操作制御について、以下、図4~図7Bに基づいて、より詳細に説明していく。なお、図4は、本実施形態にかかる入力表示装置100の機能構成を示すブロック図である。図5は、本実施形態にかかる操作制御部による操作制御方法を示すフローチャートである。図6は、従属仮名文字を選択する操作を示す説明図である。図7Aは、従属仮名文字を決定する操作を示す説明図である。図7Bは、従属仮名文字のフォーカス位置を戻す操作を示す説明図である。
 [入力表示装置の機能構成]
 まず、図4に基づいて、本実施形態にかかる入力表示装置100の機能構成について説明する。入力表示装置100は、図4に示すように、入力表示部110と、操作制御部120と、接触判定部130と、圧力判定部140と、記憶部150と、表示制御部160とを備える。
 入力表示部110は、情報を表示するとともに情報を入力するための機能部であって、接触検出部112と、圧力検出部114と、表示部116とを備える。接触検出部112は、図2の静電式タッチパネル105に対応し、操作体が表示部116の表示面に接触したか否かに応じて変化する静電容量の値を検出する。上述したように、操作体が表示面に接触すると、接触検出部112により検出される静電容量が増加する。これより、接触検出部112の検出した静電容量の値が所定の値を超えたとき、操作置が表示面に接触したと判定することができる。接触検出部112は、検出した静電容量の値を検出結果として操作制御部120へ出力する。
 圧力検出部114は、図2の感圧センサ106に対応し、操作体が表示部116の表示面を押圧する圧力を検出する。圧力検出部114は、上述したように、圧力の大きさに応じた電気信号を検出結果として操作制御部120へ出力する。表示部116は、図2の表示装置104に対応する出力装置であって、表示制御部160により表示処理された情報を表示する。
 操作制御部120は、接触検出部112および圧力検出部114から入力された検出結果に基づいて、表示部116の表示内容の操作を制御する制御部である。操作制御部120は、接触検出部112から入力された静電容量の値を接触判定部130へ出力し、接触判定部130に操作体が表示部116の表示面に接触したか否かを判定させる。そして、操作制御部120は、接触判定部130の判定結果を受け取ると、判定結果に基づき、操作制御処理を開始するか否かを判定する。
 また、操作制御部120は、圧力検出部114から入力された圧力の大きさを示す電気信号を圧力判定部140へ出力し、圧力判定部140に対して、操作体の動作により生じた圧力の大きさや圧力の変化量を判定させる。そして、操作制御部120は、圧力判定部140の判定結果を受け取ると、判定結果に基づいて、入力表示装置100の表示内容の移動方向を決定する。操作制御部120は、決定した表示内容の移動方向を表示制御部160へ出力する。
 接触判定部130は、接触検出部112の検出結果に基づいて、表示部116の表示面に対する操作体の接触の有無および接触位置を判定する。接触判定部130は、操作制御部120から接触検出部112の各静電センサの検出した静電容量の値が入力されると、操作体が表示部116の表示面に接触しているか否かを判定する。接触判定部130は、静電容量の増加量が所定の値を超えたとき操作体が表示面に接触したと判定する。また、接触判定部130は、所定の値以上の静電容量が検出された静電センサの位置より、表示面における操作体の接触位置も認識することができる。そして、接触判定部130は、操作体が表示面に接触したか否かについての判定結果と、接触したと判定した場合には操作体の接触位置とを、操作制御部120へ出力する。
 圧力判定部140は、圧力検出部114の検出結果に基づいて、操作体が表示面を押圧する圧力の大きさを判定する。本実施形態にかかる入力表示装置100では、ユーザが表示面を押圧する圧力の大きさを変化させることにより、表示内容を移動させたり、フォーカスを移動させたりすることができる。そこで、操作制御部120によってユーザがどのような操作を行おうとしているのか判定するために、圧力判定部140は、表示面に対する圧力の大きさやその変化量を判定する。このとき、圧力判定部140は、記憶部150を参照して、表示面に対する圧力の大きさと各種圧力閾値とを比較し、比較結果を操作制御部120へ出力する。
 記憶部150は、図2の不揮発性メモリ103に対応し、表示面に対する圧力の大きさの程度を判定するために用いられる各種設定情報が記憶されている。設定情報としては、例えば、文字のリストをスクロールさせる際に用いられる各文字に対して設定された圧力閾値や、入力内容を決定する圧力の減少率、あるいは予測変換文字列のリストにおけるフォーカス移動を行う基準となる圧力の増加率等がある。
 表示制御部160は、操作制御部120によって決定された表示内容の移動方向に基づいて、表示部116に表示する表示内容を変更する。表示制御部160は、操作体の移動に応じた表示内容を表示するための表示情報を生成し、表示部116へ出力する。
 以上、本実施形態にかかる入力表示装置100の機能構成について説明した。次に、図5~図7Bに基づいて、本実施形態にかかる入力表示装置100の操作制御部120による操作制御方法について説明する。ここでは、図3に示した、仮名文字入力を行う場合の操作制御方法について説明する。
 [操作制御方法]
 入力表示装置100を用いて仮名文字入力を行う場合、ユーザは、例えばキーボード表示ボタンを押下する等の所定の操作を行い、図3の状態(a)に示すような先頭仮名文字配列キーボード210を操作領域206に表示させる。そして、ユーザは、操作体を表示面に接触させて、入力したい文字の属する行の先頭仮名文字を選択する。この操作により、図5の操作制御処理が開始される。
 まず、図5に示すように、操作体が表示部116の表示面に接触(タッチ)したか否かを判定する(ステップS100)。操作体の表示面への接触は、接触判定部130により、接触検出部112の検出した静電容量の値が所定の静電容量の値を超えたか否かによって判定される。接触判定部130は、検出された静電容量の値が所定の値を超えたとき、操作体が表示面に接触したと判定し、検出された静電容量の値が所定の値未満であるとき、操作体は表示面に接触していないと判定する。かかる判定に基づき、操作体の表示面への接触が検出されるまで、ステップS100の判定が繰り返される。
 ステップS100にて、操作体の表示面への接触が検出されると、操作体の接触位置に表示されている先頭仮名文字が選択される(ステップS102)。例えば、図6の状態(a)に示すように、先頭仮名文字配列キーボード210の「な」キーの領域において操作体である指Fの接触が検出されたとする。そうすると、「な」キーの選択が決定され、図6の状態(b)に示すように、操作領域206にスクロールリスト220が表示される。スクロールリスト220が表示されると、ユーザは、表示面に接触させた指Fが表示面を押圧する圧力を変化させて、入力する従属仮名文字にフォーカスを合わせる。
 指Fの表示面に対する圧力の大きさは、圧力判定部140により判定される。圧力判定部140は、まず、圧力検出部114により検知された圧力が、前時間における圧力から変化したか否かを判定する(ステップS104)。ステップS104にて圧力変化はないと判定された場合は、ステップS104の処理を繰り返す。一方、ステップS104にて圧力が増加したと判定された場合には、検出された圧力が次に設定された圧力閾値を上回ったか否かを判定する(ステップS106)。
 本実施形態にかかる入力表示装置100では、表示面に加えられる圧力を変化させることでスクロールリスト220をスクロールさせることができる。スクロールリスト220に表示された文字には、文字の配列順に大きさが決定された圧力閾値がそれぞれ設定されている。スクロールリスト220に配列された従属仮名文字を順方向(例えば、下から上に向かう方向)に移動させるには、各従属仮名文字に対して設定された圧力閾値を上回るように、表示面に操作体を押圧させる。また、スクロールリスト220に配列された従属仮名文字を逆方向(例えば、上から下に向かう方向)に移動させるには、各従属仮名文字に対して設定された圧力閾値を下回るように、操作体が表示面を押圧する力を弱める。
 すなわち、表示面に対する圧力の大きさの時間変化は、図6のグラフに示すようになる。図6の状態(a)に示す先頭仮名文字配列キーボード210から「な」キーが選択され、スクロールリスト220が表示された状態では、「な」の文字がフォーカスされている。スクロールリスト220には、文字「な」から順に、な行に属する従属文字(「に」、「ぬ」、「ね」、「の」)が下側に表示されている。
 各従属仮名文字に対する圧力閾値は、文字の並びに応じて設定されており、例えば並び順に次第に大きくなるように設定されている。各文字の圧力閾値は、図6のグラフのように等間隔に(すなわち、最小圧力閾値である「な」の圧力閾値の整数倍となるように)設定してもよい。文字「な」がフォーカスされた状態において、操作体が表示面に押圧されて、表示面を押圧する圧力が文字「に」の圧力閾値を超えると、次に並ぶ文字「に」にフォーカスが移動する。同様に、さらに操作体が押圧されて文字「ぬ」の圧力閾値を超えると、次に並ぶ文字「ぬ」にフォーカスが移動し、操作体が押圧されて文字「ね」の圧力閾値を超えると、次に並ぶ文字「ね」にフォーカスが移動する。このように、表示面に接触させている指Fで表示面を押し込んでいくことにより、スクロールリスト220を順方向にスクロールさせることができる。
 ステップS106にて現在フォーカスされている文字の次に並ぶ文字の圧力閾値を上回ったと判定された場合、操作制御部120は、次に並ぶ文字へフォーカスを移動させる(ステップS108)。あるいは、操作制御部120は、ステップS106にて表示面に対する圧力が上回る最大の圧力閾値を判定して、その圧力閾値が設定された文字までフォーカスを移動させてもよい。例えば、図6の状態(b)において、文字「に」にフォーカスされているとき、表示面を押圧する圧力が上回る最大の圧力閾値が文字「ね」の圧力閾値として設定されている場合、フォーカスを、文字「に」から文字「ね」まで移動させるようにする。このように、指Fが表示面を押し込む力の大きさに応じて、フォーカスを後方向へ移動させる量を調整することができる。
 なお、ステップS106にて表示面に対する圧力が一つ上の圧力閾値を上回っていない場合には、フォーカスを移動させず、ステップS104からの処理を繰り返す。
 ステップS104にて圧力が減少したと判定された場合には、圧力が所定時間内に所定の割合以上減少したか否かを判定する(ステップS110)。ステップS110では、スクロールリスト220中のフォーカスされた従属仮名文字の入力を決定するか否かを判定している。この判定は、表示面を押圧する力の抜き方に基づき行われる。例えば、操作体が表示面に押圧された状態から、操作体が表示面からリリースされたり、軽く触れられている状態になった場合には、表示面に対する圧力が瞬間的に大幅に低減する。したがって、圧力判定部140は、圧力が所定時間内に所定の割合以上減少したと判定する。本実施形態では、このような操作が行われたときには、ユーザは現在フォーカスされている文字の選択を決定する(ステップS112)。
 例えば、図7Aに示すように、スクロールリスト220中の文字「の」がフォーカスされている状態において、指Fを操作領域206からリリースさせたとする。このとき、操作面に対する圧力は、図7Aのグラフに示すように、文字「の」の圧力閾値を超えた後、所定時間Tの間に急激に減少する。このとき、圧力判定部140は、ある時点から所定時間Tだけ遡った区間において、当該区間での最大圧力を検出し、最大圧力に対する所定の割合以上の圧力の減少があったか否かを判定する。操作制御部120は、この判定結果に基づいて、フォーカスされていた文字「の」の選択を決定する。決定された文字には、図7Aに示すように、決定されたことを示す決定枠208によって囲むようにして、ユーザに対して文字が決定されたことを通知してもよい。ここで、所定時間Tは、例えば100msecとすることができ、所定の割合は、例えば80%とすることができる。
 一方、ステップS110にて圧力が所定時間内に所定の割合以上は減少していないと判定された場合、現在フォーカスされている文字に対して設定された圧力閾値を下回ったか否かを判定する(ステップS114)。ステップS114にて、現在フォーカスされている文字の圧力閾値を下回ったと判定された場合には、操作制御部120は、現在フォーカスされている文字の前に並ぶ文字にフォーカスを移動させる(ステップS116)。ここで、フォーカスされている文字の前に並ぶ文字とは、スクロールリスト220の逆方向側に隣接する文字をいう。例えば、スクロールリスト220中の文字「の」がフォーカスされた状態から、表示面に接触させた指Fの押圧する力を緩やかに抜いていく。そして、図7Bのグラフに示すように、表示面に対する圧力が文字「の」の前に並ぶ文字「ね」の圧力閾値を下回ったとき、操作制御部120によりスクロールリスト220が逆方向へ移動されて、文字「ね」がフォーカスされる。
 同様に、さらに指Fが表示面を押圧する力を緩やかに抜いていき、次の前に並ぶ文字「ぬ」の圧力閾値を下回ると文字「ぬ」にフォーカスが移動し、さらにその前に並ぶ文字「に」の圧力閾値を下回ると文字「に」にフォーカスが移動する。すなわち、ステップS10およびS108、図6の状態(b)と逆の操作を行うことにより、スクロールリスト220を逆方向にスクロールさせることができる。
 あるいは、操作制御部120は、ステップS106にて、表示面に対する圧力が下回る最大の圧力閾値を判定して、その圧力閾値が設定された文字までフォーカスを移動させてもよい。例えば、文字「の」にフォーカスされているとき、表示面を押圧する圧力が下回る最小の圧力閾値が文字「に」の圧力閾値として設定されている場合、フォーカスを、文字「の」から文字「に」へ移動させるようにする。このように、指Fが表示面を押し込む力を、急激な減少ではないが、フォーカスする文字の圧力閾値まで減少させることにより、フォーカスを大きく逆方向に移動させることができる。
 なお、ステップS114にて操作体により加えられる表示面に対する圧力が、現在フォーカスされている文字の圧力閾値を下回っていない場合には、フォーカスを移動させず、ステップS104からの処理を繰り返す。
 以上、本発明の第1の実施形態にかかる操作制御部を備える入力表示装置100の構成と、操作制御方法について説明した。本実施形態のような仮名文字入力キーボードを用いる際に、操作体により表示面を押圧して入力する先頭仮名文字を決定した後、従属仮名文字を決定する際に、操作体によって表示面を押圧する力を強めたり弱めたりすることにより、従属仮名文字を表示するスクロールリスト220のスクロール方向を順方向に移動させたり逆方向に移動させたりすることができる。このような操作制御により、ユーザは指1本で入力する文字を決定することができるようになり、ユーザの操作負荷を低減するとともに、操作性を向上させることができる。
 <2.第2の実施形態>
 次に、図8~図10に基づいて、本発明の第2の実施形態にかかる操作制御方法について説明する。本実施形態では、操作制御方法を用いて、操作体が表示面を押圧する力を変更させることにより表示内容のズーム率の変更を行う。本実施形態の操作制御方法は、第1の実施形態にかかる操作制御部120を備える入力表示装置100と同一の装置によって実行することができる。以下では、本実施形態にかかる操作制御方法について詳細に説明し、第1の実施形態と同一の操作制御部120を備える入力表示装置100の構成およびその機能についての詳細な説明は省略する。
 なお、図8は、従来の表示内容のズーム率変更操作を示す説明図である。図9は、本実施形態にかかる操作制御方法を示すフローチャートである。図10は、本実施形態にかかる表示内容のズーム率変更操作を示す説明図である。
 一般に、内容を表示するのに適したズーム率と、表示範囲を移動させるために適したズーム率とは異なる。例えば、表示部116に表示された地図の表示範囲を移動させる際、ズーム率が高いと、ズーム率が低い場合と比較して表示範囲の移動量が小さく、地図を大きく移動させにくい。このため、ユーザは、表示範囲を移動させる場合、例えば図8の状態(a)に示すように、まず、表示部116の表示領域310に表示された表示内容のズーム率を低くして、表示内容を縮小させる。表示内容を縮小させる操作としては、例えば2本の指を近接させるピンチインのジェスチャ等を用いることができる。
 表示内容が縮小されると、ユーザは指を表示面に接触させて、表示領域310に表示された表示範囲を、移動させたい方向に指を移動させる(図8の状態(b))。これにより、表示領域310に表示された表示範囲は、指の移動に追従して移動し、表示範囲が変更される。そして、所望の表示位置まで表示範囲を移動させると、ユーザは、表示内容のズーム率を高くして、表示内容を拡大させる(図8の状態(c))。表示内容を拡大させる操作としては、例えば2本の指を離隔させるピンチアウトのジェスチャ等を用いることができる。
 このように、従来は、表示領域310において、ズーム率の変更、表示範囲の移動、ズーム率の変更という3つの操作をそれぞれ行う必要があった。このような状況に対して、本実施形態にかかる操作制御方法を用いることにより、これらの操作を1本の指で一連の操作として行うことができ、ユーザの操作負荷を低減させることができる。
 [操作制御方法]
 入力表示装置100を用いて地図を表示させるとき、ユーザは、例えば地図表示ボタンを押下する等の所定の操作を行い、図10の状態(a)示すような状態とする。初期に表示される地図は、現在位置の地図であったり、ユーザが指定する場所の地図であったりすることができる。そして、ユーザは、地図の表示領域を変更させる場合、操作体である指を表示面に接触させる。これにより、図9に示す操作制御処理が開始される。
 まず、本実施形態にかかる操作制御方法では、指F等の操作体が表示面に接触(タッチ)したか否かを検出する(ステップS200)。操作体の表示面への接触は、第1の実施形態のステップS100と同様に、接触判定部130により、接触検出部112の検出した静電容量の値が所定の静電容量の値を超えたか否かによって判定される。接触判定部130は、検出された静電容量の値が所定の値を超えたとき、操作体が表示面に接触したと判定し、検出された静電容量の値が所定の値未満であるとき、操作体は表示面に接触していないと判定する。かかる判定に基づき、操作体の表示面への接触が検出されない場合、本操作制御処理は終了する。
 ステップS200にて、操作体の表示面への接触が検出されると、操作体が接触位置から移動されたか否かが判定される(ステップS202)。操作体の移動は、所定時間毎に接触検出部112あるいは圧力検出部114のいずれかの検出結果から認識することができる。例えば、圧力検出部114により圧力の増加が検出された位置が時間の経過に伴って変化している場合、操作体が表示面をなぞるように移動されている状態であることが推定される。このように、操作体が移動されていると判定すると、操作制御部120は、操作体の移動方向に表示範囲を並進移動させる(ステップS204)。この場合、表示領域310に表示された表示内容のズーム率は、直近のズーム率と同一であり、変更されない。表示範囲の並進移動は、操作体が表示面からリリースされるか、あるいは移動されていた操作体の動きが停止するまで行われる。
 一方、ステップS202にて、表示面に接触された操作体が移動していないと判定された場合、表示面への圧力変化があるか否かが判定される(ステップS206)。操作体の表示面に対する圧力の大きさは、圧力判定部140により判定される。圧力判定部140は、まず、圧力検出部114により検知された圧力が、前時間における圧力から変化したか否かを判定する。そして、圧力変化はないと判定された場合、あるいは圧力が増加したと判定された場合は、検出された圧力が次に設定された圧力閾値を上回ったか否かを判定する(ステップS208)。なお、ステップS206で圧力変化がないと判定された場合には、ステップS208の処理を行わず、ステップS206の処理を繰り返してもよい。
 本実施形態にかかる操作制御方法では、表示面に加えられる圧力を変化させることで表示領域310に表示された表示内容のズーム率を変更させることができる。例えば、表示面に対する圧力を増加させると、表示内容のズーム率が小さくなり、縮小される。一方、表示面に対する圧力を減少させると、表示内容のズーム率が大きくなり、拡大される。このように、表示面に対する圧力を変化させることによって、ズーム率を縮小方向および拡大方向に変更させることが可能となる。
 ズーム率の変更は、例えば、表示面を押圧する力がズーム率に対応して設定された圧力閾値を超えたり下回ったりする毎に行ってもよい。すなわち、ズーム率が所定の割合(例えば10%)ずつ大きくなる毎に所定の割合で減少する圧力閾値を設定する。このとき、操作体が表示面を押圧する力が強くなり、圧力閾値を超える毎に、ズーム率が所定の割合ずつ小さくなり表示内容は縮小される。一方、操作体が表示面を押圧する力が弱くなり、圧力閾値を下回る毎に、ズーム率が所定の割合ずつ大きくなり表示内容は拡大される。これにより、段階的に(離散的に)ズーム率を変更させることができる。
 あるいは、ズーム率の変更を、表示面を押圧する力の変化に応じて連続的に行ってもよい。この場合、表示面を押圧する力が強くなると、これに応じてズーム率が小さくなり表示内容が縮小される。一方、表示面を押圧する力が弱くなると、これに応じてズーム率が大きくなり表示内容が拡大される。このように、連続的なズーム率変更を可能とすることにより、ズーム率を細かく設定することが可能となる。
 ステップS208で操作体が表示面を押圧する力が圧力閾値を超えたと判定されると、上述したような方法によって、表示領域310に表示された表示内容が縮小されるようにズーム率が変更される。ステップS210のズーム率の変更が行われると、ステップS206の処理へ戻る。
 一方、ステップS206において、表示面を押圧する力が減少したと判定された場合には、圧力が所定時間内に所定の割合以上減少したか否かが判定される(ステップS212)。ステップS212では、ズーム率を決定し、固定させるか否かを判定する。この判定は、第1の実施形態と同様に、表示面を押圧する力の抜き方に基づき行われる。例えば、操作体が表示面に押圧された状態から、操作体が表示面からリリースされたり、軽く触れられている状態になった場合には、表示面に対する圧力が瞬間的に大幅に低減する。この場合、圧力判定部140は、圧力が所定時間内に所定の割合以上減少したと判定する。本実施形態では、このような操作が行われたとき、現在のズーム率に決定し、固定する(ステップS214)。なお、所定時間は、例えば100msecとすることができ、所定の割合は、例えば80%とすることができる。
 ズーム率が固定されると、操作制御部120は、表示面に接触された操作体が表示面上で移動されたか否かを判定する(ステップS216)。操作体の移動は、ステップS202と同様に認識することができる。操作体が表示面上を移動していると認識された場合、操作制御部120は、操作体の移動にともなって表示部116の表示領域310に表示されている表示範囲を移動させる(ステップS218)。このとき、表示領域310に表示されている表示内容は、ステップS216で固定されたズーム率で表示されている。したがって、ステップS216において、ズーム率を小さくして縮小すると、ステップS218において表示範囲を大きく移動させることができる。一方、ステップS216において、ズーム率を大きくして拡大すると、ステップS218において表示範囲を細かく移動させることができる。
 ステップS218で表示範囲の移動が行われた場合、またはステップS216で操作体の移動が認識されなかった場合、圧力判定部140により操作体が表示面からリリースされたか否かが判定される(ステップS220)。操作体が表示面からリリースされたか否かは、接触判定部130により、接触検出部112の検出した静電容量の値が所定の静電容量の値以下となったか否かによって判定される。接触判定部130は、検出された静電容量の値が所定の値以下となったとき、操作体が表示面からリリースしたと判定し、検出された静電容量の値が所定の値より大きいときには、操作体は表示面からリリースしていないと判定する。あるいは、圧力判定部140により、圧力検出部114の検出した圧力の値が所定の値以下となったとき、操作体が表示面からリリースしたと判定してもよい。
 かかる判定に基づき、ステップS220にて操作体が表示面からリリースされたと判定されるまでは、ステップS216からの処理を繰り返す。一方、ステップS220にて操作体が表示面からリリースしたと判定されると、操作制御部120は、操作体が最初に表示面に接触した初期位置から移動したか否かを判定する(ステップS222)。操作制御部120は、圧力判定部140により認識された操作体の表示面における現在位置と初期位置とを比較して、所定の距離以上離れているとき操作体が初期位置から移動されたと判定する。
 ステップS222では、操作体が表示面からリリースされるまでに初期位置から移動されていれば、ステップS210でのズーム率の変更は表示領域310に表示された表示範囲の移動を意図して行われたものと推定する。この場合、表示範囲の移動を終えた後はステップS210において変更する前のズーム率に戻し、ユーザが見やすい状態で情報を表示させるようにする(ステップS224)。一方、ステップS222で操作体が表示面からリリースされるまでに初期位置からの移動がなかったと判定された場合には、ステップS210でのズーム率の変更は、ユーザが所望の状態で表示内容を見るために拡大/縮小された操作と推定される。したがって、この場合には、操作体が表示面からリリースされたときも、現在のズーム率を保持するようにする(ステップS226)。その後、当該操作制御処理を終了する。
 以上、本実施形態にかかる操作制御方法について説明した。このような操作制御を行うことにより、例えば図10の状態(a)に示すように、表示領域310に地図が表示された状態で操作体である指を表示面に接触させて押し込むと、押圧する力に応じてズーム率が小さくなり、表示領域310に表示された地図が縮小されていく。そして、所望のズーム率となったときに、指を表示面に接触させたまま表示面を押圧する力を急激に弱めると、状態(b)に示すように、その時点のズーム率が固定される。
 その後、ユーザは、表示範囲を移動させたい方向に表示面に接触させた指を移動させると、状態(c)に示すように、表示領域310に表示される表示範囲が移動される。そして、表示範囲の移動を終え、指を表示面からリリースさせると、状態(d)に示すように、ズーム率を変更する前のズーム率で表示範囲が表示される。すなわち、状態(a)で縮小される前のズーム率に表示内容が拡大して表示される。
 このように、本実施形態にかかる操作制御方法によれば、操作体によって表示面を押圧する力を強めたり弱めたりすることにより、表示内容のズーム率を大きくしたり小さくしたりすることができる。そして、かかる操作を利用して、移動に適したズーム率の変更を行い、表示範囲の移動操作を行った後、再度表示に適したズーム率に変更する操作を1本の指で一連の操作として行うことが可能となる。これにより、ユーザの操作負荷を低減させることができる。
 <3.第3の実施形態>
 次に、図11~図19に基づいて、本発明の第3の実施形態にかかる操作制御方法について説明する。本実施形態では、操作制御方法を用いて、コンテンツリストからコンテンツを選択する際に、リストをスクロールさせる方向を操作体が表示面を押圧する力を変更させることにより行う。本実施形態の操作制御方法も、第1の実施形態にかかる操作制御部120を備える入力表示装置100と同一の装置によって実行することができる。以下では、本実施形態にかかる操作制御方法について詳細に説明し、第1の実施形態と同一の操作制御部120を備える入力表示装置100の構成およびその機能についての詳細な説明は省略する。
 [コンテンツリストの操作の概要]
 まず、図11に基づいて、本実施形態にかかる操作制御方法を用いたコンテンツリストの操作の概要について説明する。なお、図11は、本実施形態にかかる操作制御方法によるコンテンツリストの操作の概略を示す説明図である。本実施形態では、表示部116の表示面の表示領域400に表示されたコンテンツリスト420をスクロールさせて、所望のコンテンツ410を決定する操作を示す。コンテンツリスト420は、図11の状態(b)に示すように、複数のコンテンツ410が紙面の手前から奥に向かって積層して構成されており、手前から奥、あるいは奥から手前に向かってスクロールさせることができる。また、本実施形態でのコンテンツ410とは、コンピュータ等のようなマルチメディア環境において提供される内容であって、例えば、映像や静止画、音声等の情報をいう。コンテンツリスト420は、オブジェクトであるコンテンツ410からなるオブジェクトリストとみることができる。
 まず、図11の状態(a)に示すように、表示領域400に表示されたコンテンツ410を指Fで触れると、状態(b)に示すように、複数のコンテンツ410が積層して構成されたコンテンツリスト420が表示領域400に表示される。ユーザは、コンテンツリスト420をスクロールし、選択するコンテンツ410をコンテンツリスト420の最前面に表示させることにより、コンテンツ410を決定することができる。図11の状態(b)に示すコンテンツリスト420は、ユーザが表示面を押圧する力を変化させることによって、図11紙面の奥方向および手前方向にスクロールさせることができる。
 例えば、ユーザが表示面を押圧する力を強めると、状態(c)に示すように、コンテンツリスト420を奥方向へスクロールさせることができる。一方、ユーザが表示面を押圧する力を弱めると、状態(d)に示すように、コンテンツリスト420を手前方向にスクロールさせることができる。このように、本実施形態の操作制御方法を用いることにより、表示面を押圧する力を強めたり弱めたりすることによって、コンテンツリスト420のスクロール方向を変化させることができる。
 状態(c)あるいは(d)のようにコンテンツリスト420をスクロールさせて、所望のコンテンツをコンテンツリスト420の最前面に位置させると、ユーザは、操作体により表示面を押圧する力を所定時間内に所定の割合以上減少させることでスクロールモードを終了させることができる(状態(e))。このとき、コンテンツリスト420を非表示にして、最前面に表示されていたコンテンツ410のみを表示させるようにしてもよい。これにより、選択されたコンテンツ410をわかりやすくユーザに通知することができる。そして、状態(f)に示すように、操作体を表示面からリリースさせることにより、表示されているコンテンツ410を決定することができる。
 このように、本実施形態にかかる操作制御方法では、表示面を押圧する力を変化させることにより、コンテンツリスト420をスクロールさせる方向を変更することができる。以下、図12~図17に基づいて、本実施形態にかかる操作制御方法を用いたコンテンツリスト420のスクロール操作について具体的に説明する。なお、図12は、本実施形態にかかる操作制御方法を示すフローチャートである。図13は、本実施形態にかかるコンテンツリスト420のスクロールモードの開始操作および終了操作を示す説明図である。図14は、本実施形態にかかるコンテンツリスト420のスクロール操作を示す説明図である。図15は、本実施形態にかかるコンテンツリスト420からのコンテンツ決定操作を示す説明図である。図16は、本実施形態にかかるコンテンツリスト420をスクロールさせるスクロール速度を変化させる操作を示す説明図である。図17は、本実施形態にかかるコンテンツリスト420のスクロール中に操作体をリリースさせた場合の操作を示す説明図である。
 [操作制御方法]
 ユーザは、まず、入力表示装置100を用いて視聴したいコンテンツ410を選択するため、複数のコンテンツ410からなるコンテンツリスト420を表示させる。コンテンツリスト420は、例えば図11の状態(a)に示すような表示領域400に表示されているコンテンツ410に接触して所定の閾値圧力(スクロールモード閾値)を超えるまで押圧する等の所定の操作を行うことにより表示させることができる。このようにして、状態(b)のようにコンテンツリスト420が表示されると、コンテンツリスト420はスクロール可能なスクロールモードとなる。
 すなわち、まず、本実施形態にかかる操作制御方法では、操作体が表示面に接触(タッチ)したか否かを検出する(ステップS300)。操作体の表示面への接触は、第1の実施形態のステップS100と同様に、接触判定部130により、接触検出部112の検出した静電容量の値が所定の静電容量の値を超えたか否かによって判定される。接触判定部130は、検出された静電容量の値が所定の値を超えたとき、操作体が表示面に接触したと判定し、検出された静電容量の値が所定の値未満であるとき、操作体は表示面に接触していないと判定する。かかる判定に基づき、操作体の表示面への接触が検出されない場合、本操作制御処理は終了する。
 ステップS300にて、操作体の表示面への接触が検出されると、操作体が表示面を押圧する力(タッチ圧力)がスクロールモード閾値を超えたか否かが判定される(ステップS302)。操作体の表示面に対する圧力の大きさは、圧力判定部140により判定される。スクロールモード閾値は、コンテンツリスト420のスクロールを可能とするか否かを決定するために用いられる。操作体が表示面を押圧する力がスクロールモード閾値を超えたとき、コンテンツリスト420のスクロールを可能とする。したがって、図13の状態(a)のように指Fで表示面を押し込み、図13のグラフに示すように、表示面にかかる圧力がスクロールモード閾値を超えたとき、スクロールモードが開始される(ステップS308)。このように、指Fによって表示面を押圧する力を意図的に変化させることにより、スクロールモードの切り替えを行うことができ、コンテンツリスト420が誤ってスクロールされることも防止することができる。
 一方、ステップS302にてタッチ圧力がスクロールモード閾値以下であると判定された場合には、操作体が表示面からリリースされたか否かが判定される(ステップS304)。操作体が表示面からリリースされたか否かは、第2の実施形態のステップS220と同様に、接触判定部130により、接触検出部112の検出した静電容量の値が所定の静電容量の値以下となったか否かによって判定することができる。接触判定部130は、検出された静電容量の値が所定の値以下となったとき、操作体が表示面からリリースしたと判定し、検出された静電容量の値が所定の値より大きいときには、操作体は表示面からリリースしていないと判定する。あるいは、圧力判定部140により、圧力検出部114の検出した圧力の値が所定の値以下となったとき、操作体が表示面からリリースしたと判定してもよい。
 かかる判定に基づき、ステップS304にて操作体が表示面からリリースされたと判定されたと判定された場合には、図15の状態(a)に示すように、その時点でスクロールリスト420の最前面に表示されているコンテンツ410の選択を決定する(ステップS306)。その後、処理を終了する。一方、ステップS304にて操作体が表示面からリリースされていないと判定された場合には、ステップS302に戻り、処理を繰り返す。
 ステップS308に戻り、コンテンツリスト420のスクロールが可能となると、操作体が表示面を押圧する力が変化したか否かが判定される(ステップS310)。操作体の表示面に対する圧力の大きさは、第2の実施形態のステップS206と同様に、圧力判定部140により判定される。圧力判定部140は、まず、圧力検出部114により検知された圧力が、前時間における圧力から変化したか否かを判定する。そして、圧力変化はないと判定された場合、あるいは圧力が増加したと判定された場合は、検出されたタッチ圧力が所定の圧力閾値、例えばスクロールモード閾値を上回ったか否かを判定する(ステップS312)。
 図14のグラフに示すように、ステップS312にて、タッチ圧力がスクロールモード閾値を超えていると判定された場合、図14の状態(a)に示すようにコンテンツリスト420は奥方向にスクロールされる(ステップS314)。一方、後述するが、タッチ圧力がスクロールモード閾値を超えていないと判定された場合、図14の状態(b)に示すようにコンテンツリスト420は手前方向にスクロールされる(ステップS316)。そして、ステップS310の処理へ戻り、処理を繰り返す。このように、本実施形態における表示制御部120による操作制御方法では、操作体が表示面を押圧する力の変化の有無にかかわらず、当該押圧する力がスクロールモード閾値を超えているか否かに応じてコンテンツリスト420のスクロール方向が決定される。
 また、ステップS310にて圧力が減少したと判定された場合には、圧力が所定時間内に所定の割合以上減少したか否かが判定される(ステップS318)。ステップS318では、スクロールモードを終了するか否かを判定する。この判定は、第1の実施形態と同様に、表示面を押圧する力の抜き方に基づき行われる。例えば、操作体が表示面に押圧された状態から、操作体が表示面からリリースされたり、軽く触れられている状態になった場合には、図13のグラフに示すように、表示面に対する圧力が瞬間的に大幅に低減する。この場合、圧力判定部140は、圧力が所定時間内に所定の割合以上減少したと判定する。本実施形態では、このように、図13の状態(b)に示すような操作が行われたとき、スクロールモードを終了する(ステップS320)。なお、所定時間は、例えば100msecとすることができ、所定の割合は80%とすることができる。
 スクロールモードが終了した後、ステップS302の処理へ戻り、タッチ圧力がスクロールモード閾値を超えたか否かを判定する(ステップS302)。そして、タッチ圧力がスクロールモード閾値以下であり、ステップS304において操作体が表示面からリリースされたことが検出されると、図15の状態(b)に示すように、その時点でコンテンツリスト420の最前面に位置するコンテンツの選択が決定される(ステップS306)。こうしてコンテンツ410の選択が行われる。
 一方、ステップS318で圧力が所定時間内に所定の割合以上減少しなかったと判定された場合には、ステップS312の処理へ進む。そして、タッチ圧力がスクロールモード閾値を超えているか否かに応じてコンテンツリスト420のスクロール方向を決定し(ステップS312)、奥行方向あるいは手前方向にコンテンツリスト420をスクロールさせる(ステップS314、S316)。
 以上、本実施形態にかかる操作制御方法を用いたコンテンツリスト420のスクロールについて説明した。このように、指Fによって表示面を押圧する力を変更することによってコンテンツリスト420のスクロール方向を変更させることができるので、1本の指Fでコンテンツリスト420のスクロール操作や、コンテンツ410の決定操作を行うことができる。
 ここで、ステップS312~S316においてコンテンツリスト420をスクロールさせる際、操作体によって表示面を押圧する力の大きさに応じて、コンテンツリスト420のスクロール速度を変化させるようにしてもよい。
 例えば、スクロールリスト420を奥方向にスクロールさせる場合、図16のグラフに示すように、操作体はスクロールモード閾値を超える圧力で表示面を押圧している。このとき、表示面を押圧する力が、スクロールモード閾値よりも大きい所定の圧力閾値を超えたとき、スクロールリスト420がスクロールするスクロール速度を大きくするようにする。すなわち、操作体を表示面に押し込むほど、スクロール速度が速くなる。
 一方、スクロールリスト420を手前方向にスクロールさせる場合、図16のグラフに示すように、操作体はスクロールモード閾値を下回る圧力で表示面を押圧している。このとき、表示面を押圧する力が、さらにスクロールモード閾値よりも小さい所定の圧力閾値を下回ったとき、スクロールリスト420がスクロールするスクロール速度を大きくするようにする。すなわち、操作体を表示面に押し込む力が弱くなるほど、スクロール速度が速くなる。
 このように、表示面を押圧する力を変化させてスクロール速度を変化させることにより、コンテンツ410の探索時間を短縮することができ、より操作性をより向上させることができる。かかる操作は、例えばコンテンツリスト420に含まれるコンテンツ410の数が多く、スクロールリスト420を移動させるスクロール量が大きくなる場合に、特に効果的である。なお、図16に示したように、スクロール速度を変更させるための所定の圧力閾値を設けて、段階的にスクロール速度を変更させてもよいが、例えば、操作体が表示面を押圧する力の変化に応じて、連続的にスクロール速度を変更するようにしてもよい。
 また、図12に示す操作制御方法では、スクロールモード中に操作体が表示面からリリースされた場合については説明しなかったが、このような場合、例えばスクロールモードの終了と同時にコンテンツ410の決定を行うようにしてもよい。すなわち、図17のグラフに示すように、操作体によってスクロールモード閾値を超える力で表示面を押圧して、コンテンツリスト420を奥方向へスクロールさせていたとする。ここで、コンテンツリスト420のスクロール中に操作体を表示面からリリースさせると、操作制御部120は、スクロールモードを終了させ、スクロールが終了したときにコンテンツリスト420の最前面に表示されているコンテンツ410の選択を決定する。このように、1つの操作によって2つの処理を実行させるようにして、操作性をより向上させることもできる。
 [横方向コンテンツリストのスクロール]
 本実施形態にかかる操作制御方法は、上述した奥行き方向のコンテンツリスト420のスクロール以外にも、例えば、表示領域400の横方向にコンテンツ410が配列された横方向コンテンツリスト440のスクロールにも適用することができる。図18Aおよび図18Bは、横方向コンテンツリスト440におけるスクロール操作を示す説明図である。
 図18Aおよび図18Bに示す入力表示装置100の表示領域400は、横方向に長く延びた形状となっている。横方向コンテンツリスト440は、表示領域400の形状に合わせて、複数のコンテンツ410を横方向に配列して構成されている。このような横方向コンテンツリスト440は、横方向、すなわち図18Aにおいては紙面の左右にスクロール可能である。このような入力表示装置100の表示領域400に表示されたコンテンツリスト420も、上述のコンテンツリスト420のスクロールと同様に、表示面を押圧する力に応じてコンテンツリストを左右にスクロールさせることができる。また、本例では、操作体が表示面に接触する位置に応じてスクロール方向を決定することによって、操作性を高めることができる。
 すなわち、ユーザが直感的に操作し易くするため、操作体が表示面を押圧する力を強めたときに操作体が操作を行っている表示領域400の方向へ横方向コンテンツリスト440をスクロールさせる。このように、操作体が位置する側への横方向コンテンツリスト440のスクロール方向を順方向とする。一方、操作体が表示面を押圧する力を弱めたときには、操作体が操作を行っている表示領域400とは反対側の方向へ横方向コンテンツリスト440をスクロールさせる。このように、操作体が位置する側とは反対側への横方向コンテンツリスト440のスクロール方向を逆方向とする。こうして操作体が表示面に接触する位置に応じて横方向コンテンツリスト440のスクロール方向を決定することにより、ユーザは直感的に横方向コンテンツリスト440をスクロールさせることができ、操作性を向上させることができる。
 例えば、右利きのユーザは、右手による入力操作が行いやすい。このため、図18Aに示すように、右手の指RFを表示領域400の中心位置Cよりも右側の右領域400Rにおいて表示面を押圧して、横方向コンテンツリスト440のスクロール操作を行うのが通常である。この場合、指RFを表示面に押圧させると、指RFが操作を行っている右領域400R側へ横方向コンテンツリスト440がスクロールされる。一方、指RFを表示面に押圧する力を弱めると、横方向コンテンツリスト440は指RFが操作する領域と反対側の左領域400L側へスクロールされる。
 一方、左利きのユーザは、左手による入力操作が行いやすい。このため、図18Bに示すように、左手の指LFを表示領域400の中心位置Cよりも左側の左領域400Lにおいて表示面を押圧して、横方向コンテンツリスト440のスクロール操作を行うのが通常である。この場合、指LFを表示面に押圧させると、指LFが操作を行っている左領域400L側へ横方向コンテンツリスト440がスクロールされる。一方、指LFを表示面に押圧する力を弱めると、横方向コンテンツリスト440は指LFが操作する領域と反対側の右領域400R側へスクロールされる。
 このように、横方向コンテンツリスト440のスクロール方向を、操作体が表示面を押圧する力を変更させることで切り替えることができる。また、操作体が操作を行う表示領域の位置に応じて、横方向コンテンツリスト440のスクロール方向を決定することにより、ユーザは直感的に操作することができるので、操作性を高めることができる。
 [時系列を有するコンテンツの操作]
 また、本実施形態にかかる操作制御部120は、横方向コンテンツリスト440を構成するコンテンツ410に動画等の時系列を有する動画コンテンツ410mが含まれる場合、操作体が表示面を押圧する力に応じて動画コンテンツ410mの再生方向も制御することもできる。
 図19は、時系列を持つ動画コンテンツ410mの再生操作を示す説明図である。図19に示すように、横方向コンテンツリスト440は、表示領域400の横方向に複数配列された動画コンテンツ410mからなる。例えば、横方向コンテンツリスト440から一の動画コンテンツ410mをタップすると、動画コンテンツ410mが選択され、コンテンツの再生が開始される。一方、操作体で動画コンテンツ410mに接触して所定の圧力閾値(再生モード閾値)を超える圧力を表示面に加わると、動画コンテンツ410mの再生状態を操作することのできる再生モードに切り替わる。
 再生モード時、ユーザは、表示面を押圧する力を所定の再生モード閾値より大きくしたり小さくしたり変更することにより、動画コンテンツ410mの再生方向を変更することができる。例えば、再生モード閾値を超える圧力で表示面を押圧すると、先のチャプターへ移動するように、時間の経過方向に動画コンテンツ410mが再生される。一方、表示面を押圧する力が再生モード閾値以下となると、前のチャプターへ移動するように、動画コンテンツ410mが巻き戻し再生される。なお、動画コンテンツ410mの再生移動は、所定の時間単位ごとに移動させてもよく、チャプター単位で移動させてもよい。そして、再生モードにおいて、所定時間内に所定の割合(例えば、100msecで80%)以上表示面を押圧する力が減少すると、再生モードを終了させることができる。
 このように、本実施形態にかかる操作制御方法は、横方向コンテンツリスト440のスクロールだけでなく、動画コンテンツ410の再生操作にも適用することができる。これにより、ユーザは、簡易な操作で多様な入力操作を行うことができる。
 以上、本実施形態にかかる操作制御方法について説明した。このように、本実施形態にかかる操作制御方法によれば、操作体によって表示面を押圧する力を強めたり弱めたりすることにより、コンテンツリスト420、440のスクロール方向を切り替えることができる。そして、かかる操作を利用して、例えば動画コンテンツ410mが選択された場合には、更に操作体が表示面を押圧する力を変更することによって、動画コンテンツ410mの再生操作も行うことができる。このように、操作を1本の指で一連の操作として行うことが可能となり、ユーザの操作負荷を低減させることができる。
 以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
 例えば、上記実施形態では、入力装置として静電式タッチパネル105および感圧センサ106を備えたが、本発明はかかる例に限定されない。例えば、感圧センサ106のみを備えるようにしてもよい。この場合、操作体が表示面に接触したか否かは、感圧センサ106によって検知される。例えば感圧センサ106が検出する圧力が所定の値以上となったとき、操作体が表示面に接触したと検知するようにしてもよい。
 また、上記第2の実施形態では、操作体により表示面を押圧する力を強めるとズーム率を小さくして表示内容を縮小し、操作体により表示面を押圧する力を弱めるとズーム率を大きくして表示内容を拡大したが、本発明はかかる例に限定されない。例えば、操作体により表示面を押圧する力を強めるとズーム率を大きくして表示内容を拡大し、操作体により表示面を押圧する力を弱めるとズーム率を小さくして表示内容を縮小してもよい。
 100      入力表示装置
 110      入力表示部
 112      接触検出部
 114      圧力検出部
 116      表示部
 120      操作制御部
 130      接触判定部
 140      圧力判定部
 150      記憶部
 160      表示制御部
 220      スクロールリスト
 310、400  表示領域
 410      コンテンツ
 410m     動画コンテンツ
 420      コンテンツリスト
 440      横方向コンテンツリスト
 

Claims (16)

  1.  情報を表示する表示部の表示面に対する操作体の接触を検出する接触検出部と、
     前記表示部に設けられ、前記表示部の表示面が操作体によって押圧される圧力を検出する圧力検出部と、
     操作体が前記表示部の表示面に接触してから離隔するまでの間に前記圧力検出部により検出された圧力の大きさに基づいて、前記表示部に表示された情報の表示状態を順方向または逆方向に変更する操作制御部と、
    を備える、操作制御装置。
  2.  前記操作制御部は、
     前記圧力検出部により検出された圧力が段階的に設定された1または2以上の圧力閾値を超える毎に前記表示部に表示された情報の表示状態を順方向に変更させ、
     前記圧力検出部により検出された圧力が段階的に設定された前記圧力閾値を超下回る毎に前記表示部に表示された情報の表示状態を逆方向に変更させる、請求項1に記載の操作制御装置。
  3.  前記操作制御部は、
     前記圧力検出部により検出された圧力が所定の圧力閾値より大きい場合、前記表示部に表示された情報の表示状態を順方向に連続的に変更させ、
     前記圧力検出部により検出された圧力が所定の圧力閾値より小さい場合、前記表示部に表示された情報の表示状態を逆方向に連続的に変更させる、請求項1に記載の操作制御装置。
  4.  前記操作制御部は、前記圧力検出部により検出された圧力が所定の圧力閾値を超えたとき、前記表示部に表示された情報の表示状態の順方向または逆方向の変更を開始する、請求項1に記載の操作制御装置。
  5.  前記操作制御部は、前記圧力検出部により検出された圧力が所定時間内に所定の割合以上減少したとき、前記表示部に表示された情報の表示状態の順方向または逆方向の変更を終了する、請求項1に記載の操作制御装置。
  6.  複数のオブジェクトが一方向に配列されたオブジェクトリストが前記表示部に表示されているとき、
     前記操作制御部は、
     前記圧力検出部により検出された圧力が段階的に設定された1または2以上の圧力閾値を超える毎に、前記オブジェクトリストを順方向に段階的にスクロールさせ、
     前記圧力検出部により検出された圧力が段階的に設定された前記圧力閾値を下回る毎に、前記オブジェクトリストを順方向とは反対方向である逆方向に段階的にスクロールさせる、請求項1に記載の操作制御装置。
  7.  複数のオブジェクトが一方向に配列されたオブジェクトリストが前記表示部に表示されているとき、
     前記操作制御部は、
     前記圧力検出部により検出された圧力が所定の圧力閾値より大きい場合、前記オブジェクトリストを順方向に連続的にスクロールさせ、
     前記圧力検出部により検出された圧力が所定の圧力閾値より小さい場合、前記オブジェクトリストを順方向とは反対方向である逆方向に連続的にスクロールさせる、請求項1に記載の操作制御装置。
  8.  前記接触検出部は、前記表示部の表示面を前記オブジェクトの配列方向に二分した2つの領域のうち操作体が接触している接触領域を検出し、
     前記操作制御部は、前記オブジェクトリストのスクロール方向のうち前記接触領域へ向かう向きを順方向とする、請求項6に記載の操作制御装置。
  9.  前記操作制御部は、前記圧力検出部により検出された圧力が所定時間内に所定の割合以上減少したとき、フォーカスされている前記オブジェクトリスト中のオブジェクトの選択を決定する、請求項6に記載の操作制御装置。
  10.  前記オブジェクトリストから決定されたオブジェクトが時系列データを有するとき、
     前記操作制御部は、
     前記接触検出部により前記操作体が前記表示部の表示面から離隔されたことが検出された場合、決定された前記オブジェクトを時系列順に再生し、
     前記接触検出部により前記操作体が継続して前記表示部の表示面に接触していることが検出されている場合、前記圧力検出部により検出される圧力の大きさに応じて、決定された前記オブジェクトの表示を時系列の順方向または逆方向に移動する、請求項9に記載の操作制御装置。
  11.  表示内容のズーム率を変更可能な情報が前記表示部に表示されているとき、
     前記操作制御部は、
     前記圧力検出部により検出された圧力が段階的に設定された1または2以上の圧力閾値を超える毎に、前記表示部に表示された表示内容のズーム率を段階的に小さくし、
     前記圧力検出部により検出された圧力が段階的に設定された前記圧力閾値を下回る毎に、前記表示部に表示された表示内容のズーム率を段階的に大きくする、請求項1に記載の操作制御装置。
  12.  表示内容のズーム率を変更可能な情報が前記表示部に表示されているとき、
     前記操作制御部は、
     前記圧力検出部により検出された圧力が所定の圧力閾値より大きい場合、前記表示部に表示された表示内容のズーム率を段階的に小さくし、
     前記圧力検出部により検出された圧力が所定の圧力閾値より小さい場合、前記表示部に表示された表示内容のズーム率を段階的に大きくする、請求項1に記載の操作制御装置。
  13.  前記操作制御部は、
     前記圧力検出部により検出された圧力が所定時間内に所定の割合以上減少したとき、現在設定されているズーム率を固定する、請求項11に記載の操作制御装置。
  14.  前記操作制御部は、
     前記表示部の表示面に接触された状態で移動される前記操作体の動きに応じて、前記表示部に表示される情報の表示範囲を移動し、
     前記接触検出部により操作体が前記表示部の表示面から離隔されたことが検出されたとき、前記ズーム率を変更前のズーム率に変更する、請求項13に記載の操作制御装置。
  15.  情報を表示する表示部の表示面に対する操作体の接触を検出するステップと、
     前記表示部に設けられ、前記表示部の表示面が操作体によって押圧される圧力を検出するステップと、
     操作体が前記表示部の表示面に接触してから離隔するまでの間に検出された圧力の大きさに基づいて、前記表示部に表示された情報の表示状態を順方向または逆方向に変更するステップと、
    を含む、操作制御方法。
  16.  情報を表示する表示部の表示面に対する操作体の接触を検出する接触検出手段と、
     前記表示部に設けられ、前記表示部の表示面が操作体によって押圧される圧力を検出する圧力検出手段と、
     操作体が前記表示部の表示面に接触してから離隔するまでの間に前記圧力検出手段により検出された圧力の大きさに基づいて、前記表示部に表示された情報の表示状態を順方向または逆方向に変更する操作制御手段と、
    を備える、操作制御装置として機能させるためのコンピュータプログラム。
     
PCT/JP2010/060960 2009-09-02 2010-06-28 操作制御装置、操作制御方法およびコンピュータプログラム WO2011027611A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201080037787.9A CN102576282B (zh) 2009-09-02 2010-06-28 操作控制设备和操作控制方法
EP10813562.5A EP2458487B1 (en) 2009-09-02 2010-06-28 Operation control device, operation control method and computer program
BR112012003962A BR112012003962A2 (pt) 2009-09-02 2010-06-28 dispositvo e método de controle de operação, e, programa de computador
RU2012106500/08A RU2012106500A (ru) 2009-09-02 2010-06-28 Устройство управления работой, способ управления работой и компьютерная программа
US13/392,167 US8970634B2 (en) 2009-09-02 2010-06-28 Operation control device, operation control method and computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009202959A JP2011053974A (ja) 2009-09-02 2009-09-02 操作制御装置、操作制御方法およびコンピュータプログラム
JP2009-202959 2009-09-02

Publications (1)

Publication Number Publication Date
WO2011027611A1 true WO2011027611A1 (ja) 2011-03-10

Family

ID=43649160

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/060960 WO2011027611A1 (ja) 2009-09-02 2010-06-28 操作制御装置、操作制御方法およびコンピュータプログラム

Country Status (7)

Country Link
US (1) US8970634B2 (ja)
EP (1) EP2458487B1 (ja)
JP (1) JP2011053974A (ja)
CN (1) CN102576282B (ja)
BR (1) BR112012003962A2 (ja)
RU (1) RU2012106500A (ja)
WO (1) WO2011027611A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012194731A (ja) * 2011-03-16 2012-10-11 Ricoh Co Ltd 表示装置、表示装置の表示方法、プログラム、コンピュータ読み取り可能な記録媒体、画像形成装置
WO2013135270A1 (en) * 2012-03-13 2013-09-19 Telefonaktiebolaget L M Ericsson (Publ) An apparatus and method for navigating on a touch sensitive screen thereof
US20140111456A1 (en) * 2011-05-27 2014-04-24 Kyocera Corporation Electronic device
CN104035634A (zh) * 2013-03-06 2014-09-10 联想(北京)有限公司 一种信息处理方法及电子设备
EP2790095A1 (en) * 2011-12-07 2014-10-15 Intellectual Business Machines Corporation Method of displaying electronic document, and apparatus and computer program therefor
EP2756368A4 (en) * 2011-09-12 2015-05-13 Motorola Mobility Llc USING PRESSURE DIFFERENCES WITH A TOUCH DISPLAY SCREEN

Families Citing this family (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011150413A (ja) * 2010-01-19 2011-08-04 Sony Corp 情報処理装置、操作入力方法及び操作入力プログラム
DE102011006448A1 (de) 2010-03-31 2011-10-06 Tk Holdings, Inc. Lenkradsensoren
DE102011006344B4 (de) 2010-03-31 2020-03-12 Joyson Safety Systems Acquisition Llc Insassenmesssystem
US8725230B2 (en) 2010-04-02 2014-05-13 Tk Holdings Inc. Steering wheel with hand sensors
JP2012103797A (ja) * 2010-11-08 2012-05-31 Sony Corp 入力装置、座標検出方法及びプログラム
WO2012114760A1 (ja) * 2011-02-23 2012-08-30 京セラ株式会社 タッチセンサを備えた電子機器
JP5751870B2 (ja) * 2011-03-08 2015-07-22 京セラ株式会社 電子機器、電子機器の制御方法及びプログラム
JP2012215944A (ja) * 2011-03-31 2012-11-08 Ntt Docomo Inc 入力装置及び入力対象文字選択方法
JP2012215942A (ja) * 2011-03-31 2012-11-08 Ntt Docomo Inc 入力装置及び入力対象文字選択方法
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
JP2013080412A (ja) * 2011-10-05 2013-05-02 Sony Corp 情報処理装置、情報処理方法、及びプログラム
US9501189B2 (en) * 2011-10-27 2016-11-22 Kyocera Corporation Electronic device and method for controlling electronic device
JP5520918B2 (ja) * 2011-11-16 2014-06-11 富士ソフト株式会社 タッチパネル操作方法及びプログラム
JP2013206180A (ja) 2012-03-28 2013-10-07 Kyocera Corp 電子機器および表示方法
US9430107B2 (en) * 2012-03-30 2016-08-30 Microchip Technology Incorporated Determining touch locations and forces thereto on a touch and force sensing surface
US9207820B2 (en) 2012-03-30 2015-12-08 Microchip Technology Incorporated Method and system for multi-touch decoding
WO2013154720A1 (en) 2012-04-13 2013-10-17 Tk Holdings Inc. Pressure sensor including a pressure sensitive material for use with control systems and methods of using the same
US8928699B2 (en) * 2012-05-01 2015-01-06 Kabushiki Kaisha Toshiba User interface for page view zooming
CN104471521B (zh) 2012-05-09 2018-10-23 苹果公司 用于针对改变用户界面对象的激活状态来提供反馈的设备、方法和图形用户界面
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
EP3410287B1 (en) 2012-05-09 2022-08-17 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
EP3185116B1 (en) 2012-05-09 2019-09-11 Apple Inc. Device, method and graphical user interface for providing tactile feedback for operations performed in a user interface
WO2013169870A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for transitioning between display states in response to gesture
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169846A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying additional information in response to a user contact
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
EP2847661A2 (en) 2012-05-09 2015-03-18 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
CN111178332A (zh) * 2012-05-18 2020-05-19 苹果公司 用于操纵用户界面的设备、方法和图形用户界面
US9487388B2 (en) 2012-06-21 2016-11-08 Nextinput, Inc. Ruggedized MEMS force die
US9032818B2 (en) 2012-07-05 2015-05-19 Nextinput, Inc. Microelectromechanical load sensor and methods of manufacturing the same
JP2014016707A (ja) * 2012-07-06 2014-01-30 Nec Saitama Ltd 情報処理装置
JP2014032506A (ja) * 2012-08-02 2014-02-20 Sharp Corp 情報処理装置、選択操作検出方法およびプログラム
CN102855063A (zh) * 2012-08-09 2013-01-02 鸿富锦精密工业(深圳)有限公司 电子设备及其图片缩放方法
DE112013004512T5 (de) 2012-09-17 2015-06-03 Tk Holdings Inc. Einzelschicht-Kraftsensor
EP3748482A1 (en) 2012-09-29 2020-12-09 Huawei Device Co., Ltd. Electronic device and method for controlling zooming of displayed object
KR101885655B1 (ko) * 2012-10-29 2018-09-10 엘지전자 주식회사 이동 단말기
KR102045458B1 (ko) * 2012-12-11 2019-11-15 엘지전자 주식회사 이동 단말기 및 이의제어방법
CN109375853A (zh) 2012-12-29 2019-02-22 苹果公司 对用户界面分级结构导航的设备、方法和图形用户界面
KR101958582B1 (ko) 2012-12-29 2019-07-04 애플 인크. 터치 입력에서 디스플레이 출력으로의 관계들 사이에서 전환하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
CN107831991B (zh) 2012-12-29 2020-11-27 苹果公司 用于确定是滚动还是选择内容的设备、方法和图形用户界面
KR101755029B1 (ko) 2012-12-29 2017-07-06 애플 인크. 다중 접촉 제스처에 대한 촉각적 출력의 발생을 보류하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
CN105144057B (zh) 2012-12-29 2019-05-17 苹果公司 用于根据具有模拟三维特征的控制图标的外观变化来移动光标的设备、方法和图形用户界面
BR112015016792A2 (pt) * 2013-01-17 2017-07-11 Toyota Motor Co Ltd dispositivo de operação
US9141259B2 (en) * 2013-01-21 2015-09-22 International Business Machines Corporation Pressure navigation on a touch sensitive user interface
WO2014192710A1 (ja) * 2013-05-28 2014-12-04 株式会社村田製作所 タッチ式入力装置およびタッチ式入力検出方法
EP3144780A1 (en) 2013-06-11 2017-03-22 Immersion Corporation Systems and methods for pressure-based haptic effects
JP2015026257A (ja) * 2013-07-26 2015-02-05 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
KR101452302B1 (ko) 2013-07-29 2014-10-22 주식회사 하이딥 터치 센서 패널
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
CN110262711B (zh) 2013-09-03 2023-03-03 苹果公司 用户界面中的用户界面对象操作
JP5796695B2 (ja) 2013-09-27 2015-10-21 株式会社村田製作所 タッチ式入力装置
JP5975183B2 (ja) * 2013-11-01 2016-08-23 株式会社村田製作所 表示装置
KR101712346B1 (ko) 2014-09-19 2017-03-22 주식회사 하이딥 터치 입력 장치
US9483118B2 (en) * 2013-12-27 2016-11-01 Rovi Guides, Inc. Methods and systems for selecting media guidance functions based on tactile attributes of a user input
EP3094950B1 (en) 2014-01-13 2022-12-21 Nextinput, Inc. Miniaturized and ruggedized wafer level mems force sensors
US10031583B2 (en) * 2014-03-21 2018-07-24 Immersion Corporation Systems and methods for force-based object manipulation and haptic sensations
US20150268827A1 (en) * 2014-03-24 2015-09-24 Hideep Inc. Method for controlling moving direction of display object and a terminal thereof
JP5840722B2 (ja) * 2014-04-10 2016-01-06 ヤフー株式会社 情報表示装置、情報表示方法および情報表示プログラム
JP2015207034A (ja) * 2014-04-17 2015-11-19 アルパイン株式会社 情報入力装置及び情報入力方法
CN116301544A (zh) 2014-06-27 2023-06-23 苹果公司 尺寸减小的用户界面
JP6527343B2 (ja) 2014-08-01 2019-06-05 株式会社 ハイディープHiDeep Inc. タッチ入力装置
US10114521B2 (en) 2014-09-02 2018-10-30 Apple Inc. Multi-dimensional object rearrangement
WO2016036509A1 (en) 2014-09-02 2016-03-10 Apple Inc. Electronic mail user interface
WO2016036416A1 (en) 2014-09-02 2016-03-10 Apple Inc. Button functionality
US10073590B2 (en) * 2014-09-02 2018-09-11 Apple Inc. Reduced size user interface
WO2016036510A1 (en) 2014-09-02 2016-03-10 Apple Inc. Music user interface
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9542037B2 (en) * 2015-03-08 2017-01-10 Apple Inc. Device, method, and user interface for processing intensity of touch contacts
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US10152208B2 (en) 2015-04-01 2018-12-11 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
CN104915169B (zh) * 2015-05-28 2018-04-27 努比亚技术有限公司 终端应用分屏显示方法及装置
CN104917892A (zh) * 2015-05-29 2015-09-16 努比亚技术有限公司 一种终端设备字体的调节方法和终端设备
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10466119B2 (en) 2015-06-10 2019-11-05 Nextinput, Inc. Ruggedized wafer level MEMS force sensor with a tolerance trench
CN104980587A (zh) * 2015-06-29 2015-10-14 努比亚技术有限公司 一种调节屏幕内容大小的方法及终端
CN106708379B (zh) * 2015-07-28 2020-01-10 Oppo广东移动通信有限公司 一种界面操作方法、装置以及智能手表
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
CN106371646B (zh) * 2015-08-18 2019-04-30 北京智谷睿拓技术服务有限公司 显示方法及显示设备
CN105183349B (zh) * 2015-08-27 2018-06-29 广东欧珀移动通信有限公司 一种图像编辑工具的显示方法及移动终端
CN105469003B (zh) * 2015-11-25 2017-06-23 小米科技有限责任公司 屏幕保护方法及装置
CN106802732A (zh) * 2015-11-25 2017-06-06 中兴通讯股份有限公司 对象选择方法和装置
CN105511784B (zh) * 2015-12-02 2019-05-21 北京新美互通科技有限公司 一种基于压力检测的信息输入方法、装置,及移动终端
JP6676959B2 (ja) * 2015-12-24 2020-04-08 ブラザー工業株式会社 シンボル入力装置及びシステム
JP6711632B2 (ja) * 2016-02-08 2020-06-17 キヤノン株式会社 情報処理装置、情報処理方法、及び、プログラム
CN107111435A (zh) * 2016-02-29 2017-08-29 华为技术有限公司 一种页面滑动方法、装置及用户终端
JP2017182260A (ja) * 2016-03-29 2017-10-05 パナソニックIpマネジメント株式会社 表示処理装置、及び表示処理プログラム
JP6668883B2 (ja) * 2016-03-30 2020-03-18 ブラザー工業株式会社 プログラムおよび情報表示装置
JP6855170B2 (ja) * 2016-04-13 2021-04-07 キヤノン株式会社 電子機器およびその制御方法
CN105718129B (zh) * 2016-04-20 2018-07-17 京东方科技集团股份有限公司 触控显示面板及其驱动方法
JP6758921B2 (ja) * 2016-06-01 2020-09-23 キヤノン株式会社 電子機器及びその制御方法
JP6758922B2 (ja) * 2016-06-01 2020-09-23 キヤノン株式会社 電子機器及びその制御方法
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
KR102573333B1 (ko) * 2016-06-28 2023-08-31 삼성디스플레이 주식회사 표시 장치
US10891044B1 (en) * 2016-10-25 2021-01-12 Twitter, Inc. Automatic positioning of content items in a scrolling display for optimal viewing of the items
JP6971573B2 (ja) * 2016-12-27 2021-11-24 キヤノン株式会社 電子機器、その制御方法およびプログラム
CN116907693A (zh) 2017-02-09 2023-10-20 触控解决方案股份有限公司 集成数字力传感器和相关制造方法
US11243125B2 (en) 2017-02-09 2022-02-08 Nextinput, Inc. Integrated piezoresistive and piezoelectric fusion force sensor
KR102406072B1 (ko) * 2017-06-13 2022-06-10 삼성전자주식회사 압력 입력에 따라 전자 장치의 동작을 제어하는 전자 장치 및 방법
JP6921653B2 (ja) * 2017-06-29 2021-08-18 キヤノン株式会社 電子機器及びその制御方法
US11221263B2 (en) 2017-07-19 2022-01-11 Nextinput, Inc. Microelectromechanical force sensor having a strain transfer layer arranged on the sensor die
US11423686B2 (en) 2017-07-25 2022-08-23 Qorvo Us, Inc. Integrated fingerprint and force sensor
US11243126B2 (en) 2017-07-27 2022-02-08 Nextinput, Inc. Wafer bonded piezoresistive and piezoelectric force sensor and related methods of manufacture
US20190087060A1 (en) * 2017-09-19 2019-03-21 Sling Media Inc. Dynamic adjustment of media thumbnail image size based on touchscreen pressure
CN107560313B (zh) * 2017-09-30 2020-02-07 合肥美的电冰箱有限公司 冰箱及其控制方法
JP6961451B2 (ja) * 2017-10-12 2021-11-05 キヤノン株式会社 電子機器、その制御方法およびプログラム
CN109660445B (zh) * 2017-10-12 2022-02-01 腾讯科技(深圳)有限公司 一种消息处理方法、装置及存储介质
US11579028B2 (en) 2017-10-17 2023-02-14 Nextinput, Inc. Temperature coefficient of offset compensation for force sensor and strain gauge
WO2019090057A1 (en) 2017-11-02 2019-05-09 Nextinput, Inc. Sealed force sensor with etch stop layer
WO2019099821A1 (en) 2017-11-16 2019-05-23 Nextinput, Inc. Force attenuator for force sensor
KR20190140657A (ko) * 2018-06-12 2019-12-20 삼성전자주식회사 오브젝트를 생성하는 전자장치 및 시스템
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
US10962427B2 (en) 2019-01-10 2021-03-30 Nextinput, Inc. Slotted MEMS force sensor
US11409410B2 (en) 2020-09-14 2022-08-09 Apple Inc. User input interfaces

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09114593A (ja) * 1995-10-20 1997-05-02 Fujitsu Ltd タッチパネル装置を備えた情報処理システムにおける情報処理装置
JPH11119882A (ja) 1997-10-20 1999-04-30 Sanyo Electric Co Ltd キー入力装置
JP2002213989A (ja) * 2000-11-20 2002-07-31 Mitsubishi Motors Corp 車両用情報表示装置のスクロール制御装置
JP2006039745A (ja) 2004-07-23 2006-02-09 Denso Corp タッチパネル式入力装置
JP2009009422A (ja) * 2007-06-28 2009-01-15 Canon Inc 情報入力装置およびその制御方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09269883A (ja) * 1996-03-29 1997-10-14 Seiko Epson Corp 情報処理装置および情報処理方法
TW521205B (en) * 2001-06-05 2003-02-21 Compal Electronics Inc Touch screen capable of controlling amplification with pressure
US8381135B2 (en) * 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
CN101268436A (zh) * 2004-08-02 2008-09-17 皇家飞利浦电子股份有限公司 用于设置浮点值的触摸屏滑块
US7683889B2 (en) * 2004-12-21 2010-03-23 Microsoft Corporation Pressure based selection
US8049731B2 (en) * 2005-07-29 2011-11-01 Interlink Electronics, Inc. System and method for implementing a control function via a sensor having a touch sensitive control input surface
JP2008129617A (ja) * 2006-11-16 2008-06-05 Masayuki Nakao 入力装置および入力方法
US8462109B2 (en) * 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
KR100891099B1 (ko) * 2007-01-25 2009-03-31 삼성전자주식회사 사용성을 향상시키는 터치 스크린 및 터치 스크린에서 사용성 향상을 위한 방법
JP4557058B2 (ja) * 2007-12-07 2010-10-06 ソニー株式会社 情報表示端末、情報表示方法、およびプログラム
US9513765B2 (en) * 2007-12-07 2016-12-06 Sony Corporation Three-dimensional sliding object arrangement method and system
JP4605214B2 (ja) * 2007-12-19 2011-01-05 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9152258B2 (en) * 2008-06-19 2015-10-06 Neonode Inc. User interface for a touch screen
JP5100556B2 (ja) * 2008-07-30 2012-12-19 キヤノン株式会社 情報処理方法及び装置
US20100039393A1 (en) * 2008-08-15 2010-02-18 At&T Intellectual Property I, L.P. Text entry on touch screen cellphones by different pressure levels

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09114593A (ja) * 1995-10-20 1997-05-02 Fujitsu Ltd タッチパネル装置を備えた情報処理システムにおける情報処理装置
JPH11119882A (ja) 1997-10-20 1999-04-30 Sanyo Electric Co Ltd キー入力装置
JP2002213989A (ja) * 2000-11-20 2002-07-31 Mitsubishi Motors Corp 車両用情報表示装置のスクロール制御装置
JP2006039745A (ja) 2004-07-23 2006-02-09 Denso Corp タッチパネル式入力装置
JP2009009422A (ja) * 2007-06-28 2009-01-15 Canon Inc 情報入力装置およびその制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2458487A4

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012194731A (ja) * 2011-03-16 2012-10-11 Ricoh Co Ltd 表示装置、表示装置の表示方法、プログラム、コンピュータ読み取り可能な記録媒体、画像形成装置
US20140111456A1 (en) * 2011-05-27 2014-04-24 Kyocera Corporation Electronic device
US9798408B2 (en) * 2011-05-27 2017-10-24 Kyocera Corporation Electronic device
EP2756368A4 (en) * 2011-09-12 2015-05-13 Motorola Mobility Llc USING PRESSURE DIFFERENCES WITH A TOUCH DISPLAY SCREEN
EP2790095A1 (en) * 2011-12-07 2014-10-15 Intellectual Business Machines Corporation Method of displaying electronic document, and apparatus and computer program therefor
EP2790095A4 (en) * 2011-12-07 2015-04-22 Intellectual Business Machines Corp METHOD FOR DISPLAYING AN ELECTRONIC DOCUMENT, AND CORRESPONDING COMPUTER APPARATUS AND PROGRAM
US10114526B2 (en) 2011-12-07 2018-10-30 International Business Machines Corporation Displaying an electronic document
US11150785B2 (en) 2011-12-07 2021-10-19 International Business Machines Corporation Displaying an electronic document
WO2013135270A1 (en) * 2012-03-13 2013-09-19 Telefonaktiebolaget L M Ericsson (Publ) An apparatus and method for navigating on a touch sensitive screen thereof
CN104035634A (zh) * 2013-03-06 2014-09-10 联想(北京)有限公司 一种信息处理方法及电子设备

Also Published As

Publication number Publication date
EP2458487A1 (en) 2012-05-30
JP2011053974A (ja) 2011-03-17
US8970634B2 (en) 2015-03-03
EP2458487A4 (en) 2014-07-16
BR112012003962A2 (pt) 2016-03-29
EP2458487B1 (en) 2019-06-05
CN102576282B (zh) 2015-11-25
CN102576282A (zh) 2012-07-11
US20120147052A1 (en) 2012-06-14
RU2012106500A (ru) 2013-08-27

Similar Documents

Publication Publication Date Title
WO2011027611A1 (ja) 操作制御装置、操作制御方法およびコンピュータプログラム
US10642432B2 (en) Information processing apparatus, information processing method, and program
JP5182260B2 (ja) 操作制御装置、操作制御方法およびコンピュータプログラム
US9841838B2 (en) Information processing device, operation input method and operation input program
US10114494B2 (en) Information processing apparatus, information processing method, and program
EP2192477B1 (en) Portable terminal with touch screen and method for displaying tags in the portable terminal
US8686966B2 (en) Information processing apparatus, information processing method and program
CN106909305B (zh) 显示图形用户界面的方法和设备
EP2325739B1 (en) Information processing device and information processing method
EP2494697B1 (en) Mobile device and method for providing user interface (ui) thereof
RU2533646C2 (ru) Устройство обработки информации, способ обработки информации и программа
EP2474896B1 (en) Information processing apparatus, information processing method, and computer program
US8581869B2 (en) Information processing apparatus, information processing method, and computer program
US20110157078A1 (en) Information processing apparatus, information processing method, and program
US20110175831A1 (en) Information processing apparatus, input operation determination method, and input operation determination program
JP2011014044A (ja) 操作制御装置、操作制御方法およびコンピュータプログラム
JP6758921B2 (ja) 電子機器及びその制御方法
US20110157006A1 (en) Information processing apparatus, information processing method, and program
JP2011134273A (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080037787.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10813562

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010813562

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012106500

Country of ref document: RU

WWE Wipo information: entry into national phase

Ref document number: 13392167

Country of ref document: US

Ref document number: 1685/CHENP/2012

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112012003962

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112012003962

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20120223