WO2011025239A2 - 모션을 이용한 ｕｉ 제공방법 및 이를 적용한 디바이스 - Google Patents

모션을 이용한 ｕｉ 제공방법 및 이를 적용한 디바이스 Download PDF

Info

Publication number
WO2011025239A2
WO2011025239A2 PCT/KR2010/005662 KR2010005662W WO2011025239A2 WO 2011025239 A2 WO2011025239 A2 WO 2011025239A2 KR 2010005662 W KR2010005662 W KR 2010005662W WO 2011025239 A2 WO2011025239 A2 WO 2011025239A2
Authority
WO
WIPO (PCT)
Prior art keywords
motion
user
function
magnitude
size
Prior art date
Application number
PCT/KR2010/005662
Other languages
English (en)
French (fr)
Other versions
WO2011025239A3 (ko
Inventor
박용국
정한철
박민규
강태영
김보민
김현진
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020090078367A external-priority patent/KR101624122B1/ko
Priority claimed from KR1020090078369A external-priority patent/KR101690521B1/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP10812252.4A priority Critical patent/EP2472374B1/en
Priority to US13/392,364 priority patent/US20120151415A1/en
Publication of WO2011025239A2 publication Critical patent/WO2011025239A2/ko
Publication of WO2011025239A3 publication Critical patent/WO2011025239A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Definitions

  • the present invention relates to a UI providing method and a device using the same, and more particularly, to a method for providing a UI used for inputting an execution command for a function desired by a user and a device using the same.
  • the UI is a means of connecting a device and a user, and has appeared in order to input a desired command more conveniently.
  • the UI has an additional purpose of making the user feel entertainment.
  • the present invention has been made to solve the above problems, an object of the present invention, if the user motion corresponds to any one of a plurality of motion, the UI for executing a function commonly mapped to the plurality of motions It provides a method and a device applying the same.
  • Another object of the present invention is to provide a method for providing a UI for executing a function mapped to a motion or outputting an effect related to the function and a device using the same, based on the size of a user's motion.
  • a UI providing method comprising the steps of: identifying a user motion; And if the user motion corresponds to any one of a plurality of motions, executing a function commonly mapped to the plurality of motions.
  • the executing may be performed while displaying different visual effects accompanying performing the function according to the type of the user motion of the mall.
  • the details of the visual effect may be determined based on at least one of the parameters describing the user motion.
  • the visual elements constituting the visual effect may be proportional to the size of the corresponding parameter.
  • the details of the visual effect may be determined according to the content of the content or the background of the content to which the visual effect is reflected.
  • the visual effect may be an animation effect.
  • mapping state of the function and the plurality of motions may be different for each application.
  • the executing may be performed by differently displaying at least one of an auditory effect and a tactile effect accompanying the function according to the type of the user motion of the mall.
  • the size of the motion exceeds the first threshold size, at least one of the parameters describing the motion may exceed the threshold.
  • the effect associated with the function mapped to the motion may be a visual effect of the content that the user can intuitively or imply the function.
  • the outputting step may output different visual effects according to the magnitude of the motion.
  • the outputting step may output the visual effect when the magnitude of the motion exceeds a second threshold size that is less than or equal to the first threshold size and smaller than the first threshold size.
  • the outputting step is a function that indicates a plurality of functions if the size of the motion is less than or equal to the first threshold size. You can also output the visual effects associated with them.
  • the executing step may include: when the magnitude of the motion exceeds the first threshold size, the plurality of functions.
  • a user may execute a function specified while performing the motion.
  • the function designated by the user while performing the motion may be a function related to an icon selected by the user.
  • the effect related to the function mapped to the motion may be at least one of an auditory effect and a tactile effect.
  • the sensing unit for detecting a user motion; And a controller configured to control a function mapped to the plurality of motions to be executed when the user motion detected by the detector corresponds to any one of a plurality of motions.
  • the controller may control the function to be executed while displaying different visual effects accompanying the function according to the type of the user motion of the mall.
  • the details of the visual effect may be determined based on at least one of the parameters describing the user motion.
  • the visual elements constituting the visual effect may be proportional to the size of the corresponding parameter.
  • the details of the visual effect may be determined according to the content of the content or the background of the content to which the visual effect is reflected.
  • the visual effect may be an animation effect.
  • mapping state of the function and the plurality of motions may be different for each application.
  • the controller may control the function to be executed while at least one of the auditory effect and the tactile effect associated with performing the function is displayed differently according to the type of the mall user motion.
  • the controller may be configured to execute a function mapped to the motion when the magnitude of the motion detected by the detector exceeds a first threshold, and if the motion is less than or equal to the first threshold, the motion. You can also control the effects associated with the function mapped to the output to be output.
  • the visual effect may be a visual effect of content that the user can intuitively or imply the function.
  • controller may control to output different visual effects according to the magnitude of the motion.
  • the control unit may control to output a visual effect in which a motion proportional to the size of the motion appears.
  • the controller when there are a plurality of functions that can be performed when the size of the motion exceeds the first threshold size, the controller, if the size of the motion is less than or equal to the first threshold size, the functions indicated by the plurality of functions.
  • the visual effects related to the control may be controlled to be output together.
  • the controller is further configured to control the user from the plurality of functions when the size of the motion exceeds the first threshold size. May control to execute a designated function while performing the motion.
  • a function mapped in common to the plurality of motions can be executed. Accordingly, since there are various motions that can command a specific function, the user can input a function command more conveniently and freely by inputting a familiar or desired motion.
  • the terminal may execute a function mapped to the motion or output an effect related to the function based on the size of the user's motion. Accordingly, the user can be informed what function is mapped to his motion, so that the user can input the command more easily and conveniently. In addition, the user can have fun using the device through the provided effects.
  • FIG. 5 is a block diagram of a device to which the present invention is applicable.
  • FIG. 6 is a view provided to explain a UI providing method according to another embodiment of the present invention.
  • FIGS. 7 to 13 is a view provided to further explain the embodiments illustrated in FIGS. 7 to 13;
  • 15 is a block diagram of a device to which the present invention is applicable.
  • 16 is a view provided to explain a UI providing method according to another embodiment of the present invention.
  • FIG. 1A illustrates a mobile phone MP having a GUI displayed on a touch screen TS. As shown in FIG. 1A, it can be seen that one image is displayed in the GUI.
  • Figure 1 (b) refers to the motion (Tip) tapping the right portion of the mobile phone (MP) performed by the user.
  • Tip tapping the right portion of the mobile phone
  • FIGS. 1C through 1F A change in the GUI that appears when the user taps the right part of the mobile phone MP according to FIG. 1B is illustrated in FIGS. 1C through 1F.
  • the GUI shows the following image after the user appears on the right side of the mobile phone MP that the user taps and then draws a zigzag trajectory of the current image that is already present. We can see that the visual effects appearing in the way that they fall on top of them.
  • the GUI shows a "previous” image that appears in the "left” part of the mobile phone MP that the user taps and then draws a zigzag trajectory. You will notice the visual effect appearing in a way that falls on top of the current image.
  • FIG. 2A illustrates a mobile phone MP in which a GUI is displayed on the touch screen TS.
  • (b) means a motion (Snap) to lightly touch the mobile phone (MP) in the air in the left direction performed by the user.
  • (b) of FIG. 2 the change of GUI which appears when a user taps the mobile phone MP in the air of the left direction is shown through (c)-(f) of FIG.
  • the GUI shows the following image: 'The next image appears in the left direction, the direction in which the user taps the mobile phone MP, and then draws a rotating trajectory. You'll see a visual effect appearing in a way that falls on top of the current image.
  • the "previous” image appears in the GUI in the "right” direction in which the user taps the mobile phone MP tapped.
  • FIG. 3A illustrates a mobile phone MP having a GUI displayed on the touch screen TS.
  • 3 (b) refers to a 'bounce up and down mobile phone MP' performed by the user.
  • a change in the GUI that appears when the user lifts and lowers the mobile phone MP according to (b) of FIG. 3 is illustrated in FIGS. 3 (c) to (f).
  • the GUI shows a method in which the next image appears on top of the mobile phone MP and then falls on top of the current image already appearing while drawing the trajectory falling down. It can be seen that the visual effect that appears.
  • the GUI displays the "previous" image below the mobile phone (MP) and then draws up the trajectory of the current image already present. The visual effects that appear in the way up.
  • FIG. 4A illustrates a mobile phone MP in which a GUI is displayed on the touch screen TS.
  • 4 (b) refers to a motion of rotating the mobile phone MP in a left direction performed by a user.
  • a change in the GUI that appears when the user rotates the mobile phone MP to the left side in accordance with FIG. 4B is illustrated in FIGS. 4C through 4F.
  • the GUI shows that the following image appears already while drawing a sliding trajectory after appearing in the left direction in which the user rotates the mobile phone MP.
  • the visual effects that appear on top of the current image are superimposed.
  • the GUI shows the "previous” image in the "right” direction, which is the direction in which the user rotated the mobile phone MP, and then shows the sliding trajectory.
  • the visual effects provided in the process of passing the image that is, the current image that has already appeared and the process of displaying the next image, are represented by different animations for each motion performed by the user.
  • the visual effect is basically to be shown as shown over (c) to (f) of FIG. More specifically,
  • the speed at which the next image appears is determined based on the speed of the motion determined by analyzing the motion trajectory.
  • the next image appears faster. If the motion is slow, the next image appears slower.
  • the degree of shaking (rotation) while the next image appears is determined based on the degree of shaking (rotation) of the motion determined by analyzing the motion trajectory.
  • the degree of shaking (rotation) with the next image appears is proportional to the degree of shaking (rotation) of the motion
  • the width to move while the next image is displayed is determined based on the motion width determined by analyzing the motion trajectory.
  • the width of the motion is increased while the next image appears. If the motion width of the motion is small, the width of the motion is reduced by the motion of the next image. Is proportional to the width.
  • the details of the visual effect may be determined based on the direction, speed, degree of shaking (movement), movement width, and the like, which are parameters describing the motion.
  • the details of the visual effects may be determined based on these and other kinds of parameters.
  • One of the other elements that can be assumed is the content of an image. For example, if the image is bright, small, or light, or if the content is dynamic, the speed at which the next image appears, the amount of shakyness (rotation) with the next image, and the motion with the next image The width, etc. create a large visual effect.
  • the GUI desktop is bright, small, or light, or the content is dynamic
  • the speed at which the next image appears the amount of shakyness (rotation) with the next image, and the next image appear.
  • Moving width, etc. creates a large visual effect.
  • the UI of the image viewer is displayed on the touch screen TS.
  • the above-described motions may be mapped to other functions.
  • some of the four motions presented may be mapped to the same function, while others may be mapped to other functions.
  • the UI provided by the mobile phone MP is assumed, but the technical spirit of the present invention may be applied to a device other than the mobile phone MP.
  • the present invention can be applied to other devices such as an MP3 player, a digital camera, a digital camcorder, a PMP, and the like.
  • the device includes a function block 110, a touch screen 120, a controller 130, a storage 140, and a motion detector 150.
  • the function block 110 performs a device native function. If the device is a mobile phone, the function block 110 performs a phone call, an SMS, etc. If the device is an MP3 player, the function block 110 performs an MP3 file playback.
  • the touch screen 120 functions as a display means for displaying the function execution result and the GUI of the function block 110 and as a user operation means for inputting a user command.
  • the storage 140 is a storage medium that stores programs, contents, and other data necessary for performing functions of the function block 110 and providing a GUI.
  • the motion detector 150 detects a user's motion in a state of holding a device, and transmits a motion detection result to the controller 130.
  • the controller 130 determines the type of motion and analyzes the motion parameter based on the motion detection result of the motion detector 150.
  • the controller 130 controls the function block 110 and controls the GUI display state of the touch screen 120 so that the corresponding function is performed while the visual effect is displayed using the grasping result and the analysis result.
  • this process will be described in detail with reference to FIG. 6.
  • FIG. 6 is a view provided to explain a UI providing method according to another embodiment of the present invention.
  • the controller 130 determines the type of the detected motion (S220).
  • step S220 corresponds to one of the motions commonly mapped to a specific function (S230-Y)
  • the controller 130 determines the basic content of the visual effect based on the identified motion type. (S240).
  • 'motions commonly mapped to a specific function' include 1) a motion of tapping the right part of the mobile phone (MP), and 2) a mobile phone ( (Snap) to lightly push MP) into the air in the right direction, 3) Bounce to raise and lower the mobile phone (MP), and 4) Rotate to rotate the mobile phone (MP) to the left. And the like.
  • the basic content of the visual effect refers to the content of an animation that is displayed through the visual effect.
  • the controller 130 analyzes the motion parameter (S250), and determines the details of the visual effect based on the analyzed motion parameter (S260).
  • the motion parameter refers to, for example, the direction of the motion, the speed, the degree of shaking (rotation), the movement width, and the like.
  • the details of the visual effect refer to the direction of movement, speed, degree of shaking (rotation), width of motion, and the like, which will appear in the visual effect.
  • controller 130 displays the visual effects of the contents determined in steps S240 and S260 and controls the function block 110 and the touch screen 120 to execute the corresponding function (S270).
  • FIG. 7 is a view provided to explain a UI providing method according to a first embodiment of the present invention.
  • FIG. 7A illustrates a mobile phone MP having a GUI displayed on a touch screen TS. As shown in FIG. 7A, it can be seen that one icon I1 appears in the GUI.
  • Figure 7 (b1) refers to the "Shake” shaking the mobile phone (MP) performed by the user.
  • a change in the GUI that appears when the user shakes the mobile phone MP hard in accordance with FIG. 7B is illustrated in FIG. 7C1.
  • sub-icons I11, I12, I13, and I14 appear in addition to the icon I1 in the GUI.
  • the sub-icons I11, I12, I13, I14 may be implemented to appear in a way out from the bottom of the icon I1.
  • Figure 7 (b2) refers to the motion of "weak” shaking the mobile phone (MP) performed by the user. According to (b2) of FIG. 7, the change in the GUI that appears when the user shakes the mobile phone MP weakly is illustrated in FIGS. 7C and 7C.
  • the GUI shown in FIGS. 7C2 and 3C shows that if the mobile phone MP is shaken a little harder, the sub-icons I11, I12, I13, and I14 are separated from the icon I1. It can be said to provide a visual effect of the content that allows the user to intuitively or infer the 'to come out from the bottom and appear on the touch screen TS'.
  • the mobile phone MP when the mobile phone MP is shaken “strongly” by the user, the mobile phone MP "performs" a function that is matched to the user's shaking motion, while 2) when the mobile phone MP is shaken "weakly” by the user. May be referred to as “providing a visual effect" of the content that allows the user to intuitively or infer a function matched to the user's shaking motion.
  • FIG. 8 is a view provided to explain a UI providing method according to a second embodiment of the present invention.
  • the icon I1 and the sub-icons I11, I12, I13, and I14 in the first embodiment shown in FIG. 7 are referred to as the folder F1.
  • And "contents" (C11, C12, C13, C14).
  • FIG. 9 is a view provided to explain a UI providing method according to a third embodiment of the present invention.
  • FIG. 9A illustrates a mobile phone MP having a GUI displayed on a touch screen TS. As shown in FIG. 9A, it can be seen that one picture is displayed in the GUI.
  • (b1) of Figure 9 refers to the motion (Bounce) to "up” and down the mobile phone (MP) performed by the user up.
  • a change in the GUI that appears when the user raises and lowers the mobile phone MP up and down according to (b1) of FIG. 9 is illustrated in (c1) and (c2) of FIG.
  • Figure 9 (b2) refers to the motion (Bounce) to raise the mobile phone (MP) is performed by the user "low” up and down.
  • a change in the GUI that appears when the user raises and lowers the mobile phone MP up and down according to FIG. 9B is illustrated in FIGS. 9C and 9C.
  • the GUI illustrated in FIGS. 9 (c3) and (c4) shows that if the mobile phone MP is raised and lowered a little higher, the image is turned over like a page, and then detailed information about the image and a menu are provided. It will be said that it provides a visual effect of the content that allows the user to intuition or infer that the item will appear.
  • the "detailed information and menu items appearing after the image is flipped over the page" corresponds to a function performed by the motion of raising and lowering the mobile phone MP.
  • the mobile phone (MP) "up” and “down” by the user will perform the "function” matched to this motion, while 2) "up” and down by the user,
  • the mobile phone MP may be said to "provide a visual effect" of content that allows the user to intuit or infer a function that matches this motion.
  • FIG. 10 is a view provided to explain a UI providing method according to a fourth embodiment of the present invention.
  • FIG. 10A illustrates a mobile phone MP having a GUI displayed on a touch screen TS. As shown in FIG. 10A, it can be seen that one picture is displayed in the GUI.
  • Figure 10 (b1) is a motion (Bump) that hits the mobile phone (MP) to the other mobile phones around in the state while touching the image displayed on the touch screen (TS) performed by the user it means.
  • a change in the GUI that appears when a user hits the mobile phone MP “hard” with other surrounding mobile phones according to FIG. 10 (b1) is illustrated in FIGS. 10 (c1) and (c2). .
  • the GUI includes an image moving from the mobile phone MP to another mobile phone around, so that the image disappears from the mobile phone MP while the other mobiles around it. You can see that it appeared in the phone.
  • the image is transmitted from the mobile phone MP to other surrounding mobile phones.
  • (b2) of Figure 10 refers to the motion (Bump) to hit the mobile phone (MP) performed by the user "weak” to other mobile phones around.
  • a change in the GUI that appears when a user "weaks” a mobile phone MP to another nearby mobile phone according to (b2) of FIG. 10 is illustrated in (c3) and (c4) of FIG. .
  • the GUI can confirm that the image did not move to move from the mobile phone (MP) to other mobile phones around.
  • FIGS. 10 (c3) and 10 (c4) show that if the mobile phone MP is hit harder with other mobile phones around, the image is different from the mobile phone MP. Move to a mobile phone 'provides a visual effect of the content that allows the user to intuit or infer.
  • a mobile phone (MP) that is "hard” hit by another mobile phone nearby by the user “performs” a function matched to this motion
  • a " A mobile phone (MP) that is “weak” may be said to "provide a visual effect" of content that allows a user to intuit or infer a function that is matched to motion.
  • FIG. 11 is a view provided to explain a UI providing method according to a fifth embodiment of the present invention.
  • FIG. 11A illustrates a mobile phone MP having a GUI displayed on a touch screen TS. As shown in (a) of FIG. 11, it can be seen that a hold-icon is displayed in the GUI.
  • (b1) of Figure 11 refers to a motion (Rotate) to turn "strong" the mobile phone (MP) performed by the user.
  • Rotate a motion to turn "strong" the mobile phone (MP) performed by the user.
  • FIG. 11 (c1) A change in the GUI that appears when the user turns the mobile phone MP hard according to FIG. 11 (b1) is illustrated in FIG. 11 (c1).
  • the hold icon is rotated in the GUI.
  • the mobile phone MP is switched to the hold mode so that a user's operation input through the touch screen TS is ignored.
  • Figure 11 (b2) refers to the motion to "weak" the mobile phone (MP) performed by the user.
  • a change in the GUI that appears when the user weakly turns the mobile phone MP according to (b2) of FIG. 11 is shown through (c2) and (c3) of FIG.
  • GUI illustrated in FIGS. 11C and 3C is used to allow the user to intuit or infer that 'if the mobile phone MP is rotated a little, the hold-icon will rotate'. It can be said to provide a visual effect.
  • the 'hold-icon keeps rotating, and the mobile phone MP switches to the hold mode' corresponds to a function performed by the 'motion of turning the mobile phone MP'.
  • the mobile phone MP when the mobile phone MP is turned “hard” by the user, the mobile phone MP "performs" a function that is matched to the user's turning motion, while 2) is turned “weak” by the user.
  • MP may be referred to as "providing a visual effect" of the content that allows the user to intuitively or infer a function that is matched to the user's turning motion.
  • FIG. 12 is a view provided to explain a UI providing method according to a sixth embodiment of the present invention.
  • FIG. 12A illustrates a mobile phone MP displaying a GUI in which no controller is displayed on the touch screen TS.
  • (b1) of Figure 12 refers to the motion (Tap) to hit the lower portion of the mobile phone (MP) performed by the user to the user's hand "hard”.
  • a change in the GUI that appears when the user strikes the mobile phone MP hard according to FIG. 12B is illustrated in FIG. 12C1.
  • the music player is shown in the GUI. Although not specifically illustrated, the music player may be implemented to appear in a manner of coming out from the top of the touch screen TS.
  • (b2) of Figure 12 refers to the motion (Tap) to hit "weak" the lower part of the mobile phone (MP) performed by the user in the user's hand.
  • (b2) of FIG. 12 the change of the GUI that appears when the user weakly touches the lower part of the mobile phone (MP) in the user's hand is shown through (c2) and (c3) of FIG.
  • the GUI shows that the music player appears slightly downward from the top of the touch screen TS and then goes back to the top of the touch screen TS.
  • the user who sees the GUI shown in FIGS. 12 (c2) and (c3) has a feeling that the music player has failed to come out from the top of the touch screen TS.
  • the GUI shown in FIGS. 12 (c2) and (c3) shows that if the lower part of the mobile phone MP is pushed harder in the user's hand, the music player is lowered from the upper part of the touch screen TS. It will be said to provide a visual effect of the content that allows the user to intuitively or infer the 'to appear completely on the touch screen TS'.
  • the mobile phone MP when the lower part hits the hand “hard” by the user, the mobile phone MP performs "function” matching this motion, while 2) the lower part is “weak” by the user. "When bumped, the mobile phone (MP) can be said to” provide a visual effect "of content that allows the user to intuitively or infer a function that matches this motion.
  • FIG. 13 is a view provided to explain a UI providing method according to a seventh embodiment of the present invention.
  • FIG. 13A illustrates a mobile phone MP having a GUI displayed on a touch screen TS. As shown in FIG. 13A, it can be seen that four icons I1, I2, I3, and I4 appear in the GUI.
  • Figure 13 (b1) refers to the motion of "weak” shaking the mobile phone (MP) performed by the user.
  • a change in the GUI that appears when the user weakly shakes the mobile phone MP according to (b1) of FIG. 13 is shown through (c1) and (c2) of FIG.
  • the GUI shows that 1) the sub-icons of the icon I1 are slightly outward from the bottom of the icon I1 and then back into the bottom of the icon I1. , 2) the sub-icons of the icon I4 slightly appear outward from the bottom of the icon I4 and then reenter into the bottom of the icon I4.
  • FIGS. 13 (c1) and (c2) show that if the mobile phone MP is shaken a little harder, the sub-icons come out completely from the bottom of the icon and onto the touch screen TS. It will be said to provide a visual effect of the content that allows the user to intuit or infer.
  • FIG. 13 (b2) refers to a motion of shaking the mobile phone MP “hard” while the user “touches the icon I1”.
  • FIG. 13C3 A change in the GUI that appears when the user's motion is performed according to FIG. 13B is illustrated in FIG. 13C3.
  • sub-icons I11, I12, I13, and I14 belonging to the GUI are displayed in addition to the icon I1 touched by the user.
  • the sub-icons I11, I12, I13, I14 may be implemented to appear in a way out from the bottom of the icon I1.
  • first threshold value TH1' does not execute a function mapped to a motion, but outputs a visual effect implying this function
  • the magnitude of the motion may mean at least one of a) direction, b) speed, c) degree of shaking (rotation), and d) movement width of motions, which are parameters describing motion.
  • the comparison of the magnitude of the motion and the threshold may be performed by a method of comparing at least one of the parameters for the motion and corresponding thresholds, respectively. For example, if the speed of the motion exceeds the first threshold speed, implement to execute a function mapped to the motion, or the speed of the motion exceeds the first threshold speed and the rotation of the motion exceeds the first threshold speed of rotation. In one case, it is possible to implement to execute a function mapped to motion.
  • the output visual effect may be implemented differently according to the size of the motion.
  • movement of an icon, an image, etc., which are displayed through visual effects may be implemented to be proportional to the size of a motion parameter.
  • the provided visual effect can be replaced by an auditory or tactile effect.
  • the technical spirit of the present invention can be applied to other devices other than the mobile phone.
  • the present invention can be applied to other devices such as an MP3 player, a digital camera, a digital camcorder, a PMP, and the like.
  • the device includes a function block 110, a touch screen 120, a controller 130, a storage 140, and a motion detector 150.
  • the function block 110 performs a device native function. If the device is a mobile phone, the function block 110 performs a phone call, an SMS, etc. If the device is an MP3 player, the function block 110 performs an MP3 file playback.
  • the touch screen 120 functions as a display means for displaying a GUI as a result of performing the function of the function block 110 and as a means for inputting a user command.
  • the storage 140 is a storage medium that stores programs, contents, and other data necessary for performing the functions of the function block 110 and providing the GUI.
  • the motion detector 150 detects a user's motion in a state where the device is in a hand.
  • the controller 130 determines the type and size of the motion based on the motion detection result of the motion detector 150. In addition, the controller 130 controls the function block 110 and changes the GUI of the touch screen 120 based on the grasping result, and provides a visual effect through the touch screen 120. Hereinafter, this process will be described in detail with reference to FIG. 16.
  • 16 is a view provided to explain a UI providing method according to another embodiment of the present invention.
  • the controller 130 determines the type and size of the user motion detected by the motion detector 150 (S1610). In addition, the controller 130 determines which range the size of the motion corresponds to (S1620 and S1640).
  • the controller 130 may execute the function mapped to the motion detected in step S1610 to execute the function block 110. ) And change the GUI of the touch screen 120 (S1630).
  • the controller 130 of the type detected in step S1610 A visual effect implying mapping to the motion is output through the touch screen 120 (S1650).
  • the controller 130 does not react at all.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

복수의 모션들에 공통 기능이 매핑된 UI 제공방법 및 이를 적용한 디바이스가 제공된다. 본 UI 제공방법은, 사용자 모션이 복수의 모션들 중 어느 하나에 해당하면, 그에 공통으로 매핑된 기능을 실행한다. 이에 의해, 특정 기능을 명령할 수 있는 모션이 여러 가지가 있으므로, 사용자는 익숙하거나 원하는 모션을 입력하여 보다 편리하고 자유롭게 기능 명령을 입력할 수 있게 된다.

Description

모션을 이용한 ＵＩ 제공방법 및 이를 적용한 디바이스
본 발명은 UI 제공방법 및 이를 적용한 디바이스에 관한 것으로, 더욱 상세하게는 사용자가 원하는 기능에 대한 실행 명령을 입력하는데 이용되는 UI를 제공하는 방법 및 이를 적용한 디바이스에 관한 것이다.
UI는 디바이스와 사용자를 연결하여 주는 수단으로, 사용자가 원하는 명령을 보다 편리하게 입력할 수 있도록 하기 위해 등장하였다.
이와 같은, UI는 사용자 명령 입력이라는 주된 목적 이외에, 사용자에게 엔터테인먼트를 느끼게 하는 부수적인 목적도 가지고 있다.
근자에 이르러, UI의 개발은 후자에 더욱 초점을 맞추어 진행되는 경향을 보인다. 후자의 목적을 보다 잘 나타내고 있는 UI를 채택한 제품에 대한 소비자들의 선호도가 증가하는 추세에 있기 때문이다.
이에, 사용자 명령을 보다 편리하게 입력하는 것은 물론이고, 사용자가 엔터테인먼트를 느끼게 하여 디바이스 사용시 보다 더한 재미를 느끼게 할 수 있는 UI 를 통해 소비자들의 소비 심리를 자극하는 방법에 대한 모색이 요청된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 사용자 모션이 복수의 모션들 중 어느 하나에 해당하면, 그 복수의 모션들에 공통으로 매핑된 기능을 실행하는 UI 제공방법 및 이를 적용한 디바이스를 제공함에 있다.
또한, 본 발명의 다른 목적은, 사용자의 모션의 크기를 기초로, 모션에 매핑된 기능을 실행하거나 그 기능과 관련한 효과를 출력하는 UI 제공방법 및 이를 적용한 디바이스를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명에 따른, UI 제공방법은, 사용자 모션을 파악하는 단계; 및 상기 사용자 모션이 복수의 모션들 중 어느 하나에 해당하면, 상기 복수의 모션들에 공통으로 매핑된 기능을 실행하는 단계;를 포함한다.
그리고, 상기 실행단계는, 상가 사용자 모션의 종류에 따라, 상기 기능을 수행하는데 부수되는 시각적 효과를 다르게 표시하면서, 상기 기능을 실행할 수도 있다.
또한, 상기 시각적 효과의 세부 내용은, 상기 사용자 모션을 기술하는 파라미터들 중 적어도 하나를 기초로 결정될 수도 있다.
그리고, 상기 시각적 효과를 구성하는 시각적 요소들은, 대응하는 파라미터의 크기에 비례할 수도 있다.
또한, 상기 시각적 효과의 세부 내용은, 상기 시각적 효과가 반영될 컨텐츠의 내용 또는 바탕의 내용에 따라 결정될 수도 있다.
그리고, 상기 시각적 효과는, 애니메이션 효과일 수도 있다.
또한, 기능과 복수의 모션들의 매핑 상태는, 어플리케이션 마다 상이할 수도 있다.
그리고, 상기 실행단계는, 상가 사용자 모션의 종류에 따라, 상기 기능을 수행하는데 부수되는 청각적 효과 및 촉각적 효과 중 적어도 하나를 다르게 표시하면서, 상기 기능을 실행할 수도 있다.
또한, 상기 모션의 크기가 제1 임계 크기를 초과하면, 상기 모션에 매핑된 기능을 실행하는 단계; 및 상기 모션의 크기가 상기 제1 임계 크기 이하이면, 상기 모션에 매핑된 기능과 관련한 효과를 출력하는 단계;를 더 포함할 수도 있다.
그리고, 상기 모션의 크기가 제1 임계 크기를 초과하는 경우는, 상기 모션을 기술하는 파라미터들 중 적어도 하나가 임계값을 초과하는 경우일 수도 있다.
또한, 상기 모션에 매핑된 기능과 관련한 효과는, 상기 사용자가 상기 기능을 직관 또는 암시할 수 있는 내용의 시각적 효과일 수도 있다.
그리고, 상기 출력단계는, 상기 모션의 크기에 따라, 각기 다른 시각적 효과를 출력할 수도 있다.
또한, 상기 출력단계는, 상기 모션의 크기가, 상기 제1 임계 크기 이하이고 상기 제1 임계 크기 보다 작은 제2 임계 크기를 초과하면, 상기 시각적 효과를 출력할 수도 있다.
그리고, 상기 모션의 크기가 상기 제1 임계 크기를 초과하는 경우에 수행가능한 기능이 복수 개이면, 상기 출력단계는, 상기 모션의 크기가 상기 제1 임계 크기 이하이면, 복수의 기능들이 지시하는 기능들과 관련한 시각적 효과들을 함께 출력할 수도 있다.
또한, 상기 모션의 크기가 상기 제1 임계 크기를 초과하는 경우에 수행가능한 기능이 복수 개이면, 상기 실행단계는, 상기 모션의 크기가 상기 제1 임계 크기를 초과하면, 복수의 기능들 중 상기 사용자가 상기 모션을 수행하면서 지정한 기능을 실행할 수도 있다.
그리고, 상기 사용자가 상기 모션을 수행하면서 지정한 기능은, 상기 사용자가 선택한 아이콘과 관련한 기능일 수도 있다.
또한, 상기 모션에 매핑된 기능과 관련한 효과는, 청각적 효과 및 촉각적 효과 중 적어도 하나일 수도 있다.
한편, 본 발명의 일 실시예에 따른, 디바이스는, 사용자 모션을 감지하는 감지부; 및 상기 감지부에서 감지된 사용자 모션이 복수의 모션들 중 어느 하나에 해당하면, 상기 복수의 모션들에 공통으로 매핑된 기능이 실행되도록 제어하는 제어부;를 포함한다.
그리고, 상기 제어부는, 상가 사용자 모션의 종류에 따라, 상기 기능을 수행하는데 부수되는 시각적 효과가 다르게 표시되면서, 상기 기능이 실행되도록 제어할 수도 있다.
또한, 상기 시각적 효과의 세부 내용은, 상기 사용자 모션을 기술하는 파라미터들 중 적어도 하나를 기초로 결정될 수도 있다.
그리고, 상기 시각적 효과를 구성하는 시각적 요소들은, 대응하는 파라미터의 크기에 비례할 수도 있다.
또한, 상기 시각적 효과의 세부 내용은, 상기 시각적 효과가 반영될 컨텐츠의 내용 또는 바탕의 내용에 따라 결정될 수도 있다.
그리고, 상기 시각적 효과는, 애니메이션 효과일 수도 있다.
또한, 기능과 복수의 모션들의 매핑 상태는, 어플리리케이션 마다 상이할 수도 있다.
그리고, 상기 제어부는, 상가 사용자 모션의 종류에 따라, 상기 기능을 수행하는데 부수되는 청각적 효과 및 촉각적 효과 중 적어도 하나가 다르게 표시되면서, 상기 기능이 실행되도록 제어할 수도 있다.
또한, 상기 제어부는, 상기 감지부에서 감지된 상기 모션의 크기가 제1 임계 크기를 초과하면 상기 모션에 매핑된 기능이 실행되도록 제어하고, 상기 모션의 크기가 상기 제1 임계 크기 이하이면 상기 모션에 매핑된 기능과 관련한 효과가 출력되도록 제어할 수도 있다.
그리고, 상기 시각적 효과는, 상기 사용자가 상기 기능을 직관 또는 암시할 수 있는 내용의 시각적 효과일 수도 있다.
또한, 상기 제어부는, 상기 모션의 크기에 따라, 각기 다른 시각적 효과가 출력되도록 제어할 수도 있다.
그리고, 상기 제어부는, 상기 모션의 크기에 비례하는 움직임이 나타나는 시각적 효과가 출력되도록 제어할 수도 있다.
또한, 상기 모션의 크기가 상기 제1 임계 크기를 초과하는 경우에 수행가능한 기능이 복수 개이면, 상기 제어부는, 상기 모션의 크기가 상기 제1 임계 크기 이하이면, 복수의 기능들이 지시하는 기능들과 관련한 시각적 효과들이 함께 출력되도록 제어할 수도 있다.
그리고, 상기 모션의 크기가 상기 제1 임계 크기를 초과하는 경우에 수행가능한 기능이 복수 개이면, 상기 제어부는, 상기 모션의 크기가 상기 제1 임계 크기를 초과하면, 복수의 기능들 중 상기 사용자가 상기 모션을 수행하면서 지정한 기능이 실행되도록 제어할 수도 있다.
이상 설명한 바와 같이, 본 발명에 따르면, 사용자 모션이 복수의 모션들 중 어느 하나에 해당하면, 그 복수의 모션들에 공통으로 매핑된 기능을 실행할 수 있게 된다. 이에 따라, 특정 기능을 명령할 수 있는 모션이 여러 가지가 있으므로, 사용자는 익숙하거나 원하는 모션을 입력하여 보다 편리하고 자유롭게 기능 명령을 입력할 수 있게 된다.
또한, 사용자의 모션 마다 나타나는 시각적인 효과가 다르므로, 사용자는 기존의 UI 보다 더한 엔터테인먼트를 느낄 수 있게 된다.
그리고, 단말기는 사용자의 모션의 크기를 기초로, 모션에 매핑된 기능을 실행하거나 그 기능과 관련한 효과를 출력할 수 있게 된다. 이에 따라, 사용자는 자신의 모션에 매핑되어 있는 기능이 무엇인지 안내받을 수 있게 되어, 보다 쉽고 편리하게 명령을 입력할 수 있게 된다. 뿐만 아니라, 사용자는 제공되는 효과를 통해 디바이스 사용에 재미를 느낄 수 있게 된다.
도 1 내지 도 4는, 본 발명의 바람직한 실시예의 설명에 제공되는 도면,
도 5는 본 발명이 적용가능한 디바이스의 블럭도, 그리고,
도 6은 본 발명의 또 다른 실시예에 따른 UI 제공방법의 설명에 제공되는 도면이다.
도 7 내지 도 13은 본 발명의 바람직한 실시예들의 설명에 제공되는 도면,
도 14는, 도 7 내지 도 13에 도시된 실시예들의 부연 설명에 제공되는 도면,
도 15는 본 발명이 적용가능한 디바이스의 블럭도, 그리고,
도 16은 본 발명의 또 다른 실시예에 따른 UI 제공방법의 설명에 제공되는 도면이다.
이하에서는 도면을 참조하여 본 발명을 더욱 상세하게 설명한다. 개략적으로, 도 1 내지 도 6을 참고하여, 사용자 모션이 복수의 모션들 중 어느 하나에 해당하면, 모바일폰이 그 복수의 모션들에 공통으로 매핑된 기능을 실행하는 경우를 설명한다. 그리고, 도 7 내지 도 16을 참고하여, 모션의 크기에 따라 다른 기능이 제공되는 UI 제공방법에 관하여 상세히 설명한다.
1. 바람직한 실시예
도 1의 (a)에는 터치 스크린(TS)에 GUI가 나타난 모바일 폰(MP)을 도시하였다. 도 1의 (a)에 도시된 바에 따르면, GUI에는 하나의 이미지가 나타나 있음을 확인할 수 있다.
한편, 도 1의 (b)는 사용자에 의해 수행되는 '모바일 폰(MP)의 우측 부분을 두드리는 모션(Tip)'을 의미한다. 도 1의 (b)에 따라 사용자가 모바일 폰(MP)의 우측 부분을 두드리는 경우에 나타나는 GUI의 변화를, 도 1의 (c) 내지 (f)에 걸쳐 도시하였다.
도 1의 (c) 내지 (f)에 걸쳐 도시된 바에 따르면, GUI에는 '다음 이미지가 사용자가 두드린 모바일 폰(MP)의 우측 부분에서 출현한 후, 지그재그 궤적을 그리면서 이미 나타나 있는 현재 이미지의 위에 떨어지는 방식으로 나타나는 시각적 효과'가 나타났음을 확인할 수 있다.
만약, 사용자가 모바일 폰(MP)의 "좌측" 부분을 두드렸다면, GUI에는 "이전" 이미지가 사용자가 두드린 모바일 폰(MP)의 "좌측" 부분에서 출현한 후, 지그재그 궤적을 그리면서 이미 나타나 있는 현재 이미지의 위에 떨어지는 방식으로 나타나는 시각적 효과가 나타났을 것이다.
한편, 도 2의 (a)에도 터치 스크린(TS)에 GUI가 나타난 모바일 폰(MP)을 도시하였다. 도 2의 (b)는 사용자에 의해 수행되는 '모바일 폰(MP)을 좌측 방향의 허공에 가볍게 치는 모션(Snap)'을 의미한다. 도 2의 (b)에 따라 사용자가 모바일 폰(MP)을 좌측 방향의 허공에 가볍게 치는 경우에 나타나는 GUI의 변화를, 도 2의 (c) 내지 (f)에 걸쳐 도시하였다.
도 2의 (c) 내지 (f)에 걸쳐 도시된 바에 따르면, GUI에는 '다음 이미지가 사용자가 모바일 폰(MP)을 가볍게 친 방향인 좌측 방향으로 출현한 후, 회전하는 궤적을 그리면서 이미 나타나 있는 현재 이미지의 위에 떨어지는 방식으로 나타나는 시각적 효과'가 나타났음을 확인할 수 있다.
만약, 사용자가 모바일 폰(MP)을 "우측" 방향의 허공에 가볍게 쳤다면, GUI에는 "이전" 이미지가 사용자가 두드린 모바일 폰(MP)을 가볍게 친 방향인 "우측" 방향으로 출현한 후, 회전하는 궤적을 그리면서 이미 나타나 있는 현재 이미지의 위에 떨어지는 방식으로 나타나는 시각적 효과가 나타났을 것이다.
한편, 도 3의 (a)에도 터치 스크린(TS)에 GUI가 나타난 모바일 폰(MP)을 도시하였다. 도 3의 (b)는 사용자에 의해 수행되는 '모바일 폰(MP)을 위로 들어올렸다 내리는 모션(Bounce)'을 의미한다. 도 3의 (b)에 따라 사용자가 모바일 폰(MP)을 위로 들어올렸다 내리는 경우에 나타나는 GUI의 변화를, 도 3의 (c) 내지 (f)에 걸쳐 도시하였다.
도 3의 (c) 내지 (f)에 걸쳐 도시된 바에 따르면, GUI에는 '다음 이미지가 모바일 폰(MP)의 위에서 출현한 후, 아래로 떨어지는 궤적을 그리면서 이미 나타나 있는 현재 이미지의 위에 떨어지는 방식으로 나타나는 시각적 효과'가 나타났음을 확인할 수 있다.
만약, 사용자가 모바일 폰(MP)을 아래로 내렸다가 위로 들어올리면, GUI에는 "이전" 이미지가 모바일 폰(MP)의 아래에서 출현한 후, 위로 올라오는 궤적을 그리면서 이미 나타나 있는 현재 이미지의 위로 올라오는 방식으로 나타나는 시각적 효과'가 나타났을 것이다.
한편, 도 4의 (a)에도 터치 스크린(TS)에 GUI가 나타난 모바일 폰(MP)을 도시하였다. 도 4의 (b)는 사용자에 의해 수행되는 '모바일 폰(MP)을 좌측 방향으로 회전시키는 모션(Rotate)'을 의미한다. 도 4의 (b)에 따라 사용자가 모바일 폰(MP)을 좌측 방향으로 회전시키는 경우에 나타나는 GUI의 변화를, 도 4의 (c) 내지 (f)에 걸쳐 도시하였다.
도 4의 (c) 내지 (f)에 걸쳐 도시된 바에 따르면, GUI에는 '다음 이미지가 사용자가 모바일 폰(MP)을 회전시킨 방향인 좌측 방향으로 출현한 후, 미끄러지는 궤적을 그리면서 이미 나타나 있는 현재 이미지의 위에 겹쳐지는 방식으로 나타나는 시각적 효과'가 나타났음을 확인할 수 있다.
만약, 사용자가 모바일 폰(MP)을 "우측" 방향으로 회전시켰다면, GUI에는 "이전" 이미지가 사용자가 모바일 폰(MP)을 회전시킨 방향인 "우측" 방향으로 출현한 후, 미끄러지는 궤적을 그리면서 이미 나타나 있는 현재 이미지의 위에 겹쳐지는 방식으로 나타나는 시각적 효과'가 나타났을 것이다.
이상 설명한 도 1 내지 도 4에 도시된 바에 따르면, 사용자가
1) 모바일 폰(MP)의 우측 부분을 두드리는 모션(Tip),
2) 모바일 폰(MP)을 우측 방향의 허공에 가볍게 치는 모션(Snap),
3) 모바일 폰(MP)을 위로 들어올렸다 내리는 모션(Bounce), 및
4) 모바일 폰(MP)을 좌측 방향으로 회전시키는 모션(Rotate)
중 어느 하나를 수행한 경우에는, 터치 스크린(TS)에 이미 나타난 현재 이미지가 사라지고 다음 이미지가 터치 스크린(TS)에 나타나게 된다. 즉, 사용자가 수행한 모션의 종류는 각기 다르지만, 모바일 폰(MP)에서 실행되는 기능은 모션의 종류에 상관없이 모두 동일하다. 이는, 위 4가지의 모션 모두에 대해, '이미지 넘기기'의 기능이 매핑되어 있기 때문이다.
다만, 이미지가 넘어가는 과정, 즉 이미 나타난 현재 이미지가 사라지고 다음 이미지가 나타나는 과정에서 제공되는 시각적 효과는, 사용자에 의해 수행된 모션 마다 각기 다른 애니메이션으로 나타남은 이미 확인한 바와 같다.
2. 시각적 효과
(1) 모션의 파라미터를 기초로 결정
동일한 종류의 모션이라도, 그 모션의 궤적에 따라 시각적 효과가 각기 다르게 나타나도록 구현가능하다. 구체적으로, 동일한 종류의 모션인 경우, 시각적 효과들이 기본적으로 유사하도록 하되, 모션의 궤적에 따라 시각적 효과를 구성하는 시각적 요소들이 세부적으로 약간 차이가 있도록 구현하는 것이다.
예를 들어, 모션이 '모바일 폰(MP)을 두드리는 모션(Tip)'으로 판명된 경우, 시각적인 효과는 기본적으로 도 1의 (c) 내지 (f)에 걸쳐 도시된 바와 같이 나타나도록 하되, 보다 구체적으로는,
1) 다음 이미지가 나타나는 방향은, 모션의 궤적을 분석하여 판단한 모션의 방향을 기초로 결정하고,
2) 다음 이미지가 나타나는 속도는, 모션의 궤적을 분석하여 판단한 모션의 속도를 기초로 결정하며,
예를 들면, 모션의 속도가 빠르면 다음 이미지가 나타나는 속도도 빠르고, 모션의 속도가 느리면 다음 이미지가 나타나는 속도도 느리게 하는 방법에 의해, 다음 이미지가 나타나는 속도가 모션의 속도에 비례하도록 하고,
3) 다음 이미지가 나타나면서 흔들리는(회전하는) 정도는, 모션의 궤적을 분석하여 판단한 모션의 흔들림(회전) 정도를 기초로 결정하며,
예를 들면, 모션의 흔들림(회전) 정도가 크면 다음 이미지가 나타나면서 흔들리는(회전하는) 정도도 크고, 모션의 흔들림(회전) 정도가 작으면 다음 이미지가 나타나면서 흔들리는(회전하는) 정도도 작게 하는 방법에 의해, 다음 이미지가 나타나면서 흔들리는(회전하는) 정도가, 모션의 흔들림(회전) 정도에 비례하도록 하고,
4) 다음 이미지가 나타나면서 움직이는 폭은, 모션의 궤적을 분석하여 판단한 모션의 움직임 폭을 기초로 결정하는 것이다.
예를 들면, 모션의 움직임 폭이 크면 다음 이미지가 나타나면서 움직이는 폭도 크고, 모션의 움직임 폭이 작으면 다음 이미지가 나타나면서 움직이는 폭도 작게 하는 방법에 의해, 다음 이미지가 나타나면서 움직이는 폭이 모션의 움직임 폭에 비례하도록 하는 것이다.
이에 따르면, 시각적 효과의 세부적인 내용은, 모션을 기술하는 파라미터들인 모션의 방향, 속도, 흔들림(회전) 정도, 움직임 폭 등을 기초로 결정할 수 있다. 물론, 이들과 다른 종류의 파라미터를 기초로, 시각적 효과의 세부적인 내용을 결정하는 것도 가능함은 물론이다.
(2) 이미지의 또는 GUI의 내용을 기초로 결정
동일한 종류의 모션이라도, 각기 다르게 나타나는 시각적 효과의 세부적인 내용은 모션 파라미터 이외의 다른 요소에 기초할 수도 있다.
다른 요소로 상정할 수 있는 것 중의 하나가, 이미지의 내용이다. 예를 들어, 이미지가 밝거나, 작거나, 가벼운 느낌의 재질이거나, 수록 내용이 역동적인 경우에는, 다음 이미지가 나타나는 속도, 다음 이미지가 나타나면서 흔들리는(회전하는) 정도 및 다음 이미지가 나타나면서 움직이는 폭 등이 큰 시각적 효과를 생성하는 것이다.
반면, 이미지가 어둡거나, 크거나, 무거운 느낌의 재질이거나, 수록 내용이 정적인 경우에는, 다음 이미지가 나타나는 속도, 다음 이미지가 나타나면서 흔들리는(회전하는) 정도 및 다음 이미지가 나타나면서 움직이는 폭 등이 작은 시각적 효과를 생성한다.
이미지의 내용 뿐만 아니라, GUI 바탕 화면의 내용을 기초로, 시각적 효과의 세부적인 내용이 각기 다르게 나타나도록 할 수 있다.
예를 들어, GUI 바탕 화면이 밝거나, 작거나, 가벼운 느낌의 재질이거나, 수록 내용이 역동적인 경우에는, 다음 이미지가 나타나는 속도, 다음 이미지가 나타나면서 흔들리는(회전하는) 정도 및 다음 이미지가 나타나면서 움직이는 폭 등이 큰 시각적 효과를 생성하는 것이다.
3. 기타
위 실시예들에서는 모바일 폰(MP)에서 현재 실행되고 있는 어플리케이션을 이미지 뷰어로 상정하였기에, 터치 스크린(TS)에 이미지 뷰어의 UI가 표시되었다.
만약, 이미지 뷰어가 아닌 다른 어플리케이션(예를 들면, 음악 재생기)의 UI에서는, 위에서 제시한 모션들이 다른 기능에 매핑될 수 있다. 그리고, 이 경우, 제시한 4가지 모션들 중 일부는 동일한 기능에 매핑될 수 있지만, 나머지는 다른 기능에 매핑될 수 있음은 물론이다.
또한, 위 실시예에서, 모션의 종류 마다 시각적 효과가 다르게 나타나는 것으로 상정하였으나, 이 역시 설명의 편의를 위한 일 예에 불과하다. 모션의 종류 마다 청각적 효과 또는 촉각적 효과가 다르게 나타나도록 구현하는 경우에도, 본 발명의 기술적 사상이 그대로 적용될 수 있다.
4. 본 발명이 적용가능한 디바이스
위 실시예들에서는 모바일 폰(MP)에서 제공되는 UI를 상정하였는데, 모바일 폰(MP) 이외의 다른 디바이스의 경우도 본 발명의 기술적 사상이 적용될 수 있다. 예를 들어, MP3 플레이어나, 디지털 카메라, 디지털 캠코더, PMP 등의 다른 디바이스에도 본 발명이 적용될 수 있다.
도 5에는 본 발명이 적용가능한 디바이스의 블럭도를 도시하였다. 도 6에 도시된 바와 같이, 디바이스는 기능 블럭(110), 터치 스크린(120), 제어부(130), 저장부(140) 및 모션 감지부(150)를 구비한다.
기능 블럭(110)은 디바이스 본연의 기능을 수행한다. 만약, 디바이스가 모바일 폰인 경우 기능 블럭(110)은 전화 통화, SMS 등을 수행하고, 만약, 디바이스가 MP3 플레이어인 경우 기능 블럭(110)은 MP3 파일 재생을 수행한다.
터치 스크린(120)은 기능 블럭(110)의 기능 수행 결과 및 GUI가 표시되는 디스플레이 수단으로 기능하고, 사용자 명령을 입력하기 위한 사용자 조작 수단으로 기능한다.
저장부(140)는 기능 블럭(110)의 기능 수행과 GUI 제공에 필요한 프로그램, 컨텐츠, 기타 데이터가 저장되는 저장매체이다.
모션 감지부(150)는 디바이스를 손에 든 상태로 이루어지는 사용자의 모션을 감지하고, 모션 감지 결과를 제어부(130)로 전달한다.
제어부(130)는 모션 감지부(150)의 모션 감지 결과를 기초로, 모션의 종류를 파악하고, 모션 파라미터를 분석한다. 그리고, 제어부(130)는 파악 결과 및 분석 결과를 이용하여, 시각적 효과가 나타나면서 해당 기능이 수행되도록 기능 블럭(110)을 제어하고 터치 스크린(120)의 GUI 표시 상태를 제어한다. 이하에서는, 이 과정에 대해 도 6을 참조하여 상세히 설명한다.
도 6은 본 발명의 또 다른 실시예에 따른 UI 제공방법의 설명에 제공되는 도면이다.
도 6에 도시된 바와 같이, 먼저 모션 감지부(150)가 사용자에 의해 수행된 모션을 감지하면(S210-Y), 제어부(130)는 감지된 모션의 종류를 파악한다(S220).
S220단계에서 파악된 모션이 특정 기능에 공통으로 매핑되어 있는 모션들 중 하나에 해당하면(S230-Y), 제어부(130)는 파악된 모션의 종류를 기초로, 시각적 효과의 기본 내용을 결정한다(S240).
현재 실행되고 있는 어플리케이션이 이미지 뷰어인 경우를 예로 들면, '특정 기능에 공통으로 매핑되어 있는 모션들'은, 1) 모바일 폰(MP)의 우측 부분을 두드리는 모션(Tip), 2) 모바일 폰(MP)을 우측 방향의 허공에 가볍게 치는 모션(Snap), 3) 모바일 폰(MP)을 위로 들어올렸다 내리는 모션(Bounce), 및 4) 모바일 폰(MP)을 좌측 방향으로 회전시키는 모션(Rotate) 등일 수 있다.
그리고, 시각적 효과의 기본 내용은, 시각적 효과를 통해 나타나는 애니메이션의 내용 등을 말한다.
이후, 제어부(130)는 모션 파라미터를 분석하고(S250), 분석된 모션 파라미터를 기초로, 시각적 효과의 세부 내용을 결정한다(S260).
여기서, 모션 파라미터는, 예를 들면, 모션의 방향, 속도, 흔들림(회전) 정도, 움직임 폭 등을 말한다. 그리고, 시각적 효과의 세부 내용은, 시각적 효과에서 나타날 움직임의 방향, 속도, 흔들림(회전) 정도, 움직임 폭 등을 말한다.
이후, 제어부(130)는 S240단계와 S260단계에서 결정된 내용의 시각적 효과를 표시하면서, 해당 기능이 실행되도록 기능 블럭(110)과 터치 스크린(120)을 제어한다(S270).
지금까지, 도 1 내지 도 6을 참고하여, 사용자 모션이 복수의 모션들 중 어느 하나에 해당하면, 모바일폰이 그 복수의 모션들에 공통으로 매핑된 기능을 실행하는 경우를 설명하였다.
이하에서는, 도 7 내지 도 16을 참고하여, 모션의 크기에 따라 다른 기능이 제공되는 UI 제공방법에 관하여 상세히 설명한다.
1. 실시예 #1
도 7은 본 발명의 제1 실시예에 따른, UI 제공방법의 설명에 제공되는 도면이다. 도 7의 (a)에는 터치 스크린(TS)에 GUI가 나타난 모바일 폰(MP)을 도시하였다. 도 7의 (a)에 도시된 바에 따르면, GUI에는 하나의 아이콘(I1)이 나타나 있음을 확인할 수 있다.
한편, 도 7의 (b1)은 사용자에 의해 수행되는 모바일 폰(MP)을 "세게" 흔드는 모션(Shake)을 의미한다. 도 7의 (b1)에 따라 사용자가 모바일 폰(MP)을 세게 흔드는 경우에 나타나는 GUI의 변화를, 도 7의 (c1)에 도시하였다.
도 7의 (c1)에 도시된 바에 따르면, GUI에는 아이콘(I1) 외에 하위-아이콘들(I11, I12, I13, I14)이 나타나 있음을 확인할 수 있다. 구체적으로 도시되어 있지는 않았지만, 하위-아이콘들(I11, I12, I13, I14)은 아이콘(I1)의 밑부분에서 밖으로 나오는 방식으로 나타나도록 구현가능하다.
한편, 도 7의 (b2)는 사용자에 의해 수행되는 모바일 폰(MP)을 "약하게" 흔드는 모션을 의미한다. 도 7의 (b2)에 따라 사용자가 모바일 폰(MP)을 약하게 흔드는 경우에 나타나는 GUI의 변화를, 도 7의 (c2)와 (c3)에 걸쳐 도시하였다.
도 7의 (c2)와 (c3)에 걸쳐 도시된 바에 따르면, GUI에는 하위-아이콘들(I11, I12, I13, I14)이 아이콘(I1) 밑부분에서 밖으로 살짝 나타났다가 아이콘(I1) 밑부분 안으로 다시 들어갔음을 확인할 수 있다. 도 7의 (c2)와 (c3)에 걸쳐 도시된 GUI를 본 사용자는 '하위-아이콘들(I11, I12, I13, I14)이 아이콘(I1)의 밑부분에서 밖으로 나오려다 실패'하였다는 느낌을 받게 된다.
따라서, 도 7의 (c2)와 (c3)에 걸쳐 도시된 GUI는 '모바일 폰(MP)을 조금 더 세게 흔든다면, 하위-아이콘들(I11, I12, I13, I14)이 아이콘(I1)의 밑부분에서 밖으로 완전히 나와 터치 스크린(TS) 상에 나타날 것'을 사용자가 직관 또는 유추할 수 있도록 하는 내용의 시각적인 효과를 제공한다고 할 수 있다.
여기서, '하위-아이콘들(I11, I12, I13, I14)이 아이콘(I1)의 밑부분에서 밖으로 완전히 나와 터치 스크린(TS) 상에 나타나는 것'은, '모바일 폰(MP)을 흔드는 모션'에 의해 수행되는 기능에 해당한다.
이에 따라, 1) 사용자에 의해 "세게" 흔들리면, 모바일 폰(MP)은 사용자의 흔드는 모션에 매칭되어 있는 "기능을 수행"하는 반면, 2) 사용자에 의해 "약하게" 흔들리면, 모바일 폰(MP)은 사용자의 흔드는 모션에 매칭되어 있는 기능을 사용자가 직관 또는 유추할 수 있도록 하는 내용의 "시각적인 효과를 제공"한다고 할 수 있다.
2. 실시예 #2
도 8는 본 발명의 제2 실시예에 따른, UI 제공방법의 설명에 제공되는 도면이다. 도 8에 도시된 제2 실시예는, 도 7에 도시된 제1 실시예에서 '아이콘(I1)'과 '하위-아이콘들(I11, I12, I13, I14)'을, '폴더(F1)'와 '컨텐츠들(C11, C12, C13, C14)'로 대체한 것에 해당한다.
이 밖에, 도 8에 도시된 제2 실시예에 대한 개념 설명은, 도 7에 도시된 제1 실시예에 대한 개념 설명으로부터 유추가능하므로 생략한다.
3. 실시예 #3
도 9은 본 발명의 제3 실시예에 따른, UI 제공방법의 설명에 제공되는 도면이다. 도 9의 (a)에는 터치 스크린(TS)에 GUI가 나타난 모바일 폰(MP)을 도시하였다. 도 9의 (a)에 도시된 바에 따르면, GUI에는 하나의 사진이 나타나 있음을 확인할 수 있다.
한편, 도 9의 (b1)은 사용자에 의해 수행되는 모바일 폰(MP)을 위로 "높이" 올렸다가 내려놓는 모션(Bounce)을 의미한다. 도 9의 (b1)에 따라 사용자가 모바일 폰(MP)을 위로 높이 올렸다가 내려놓는 경우에 나타나는 GUI의 변화를, 도 9의 (c1)와 (c2)에 걸쳐 도시하였다.
도 9의 (c1)와 (c2)에 걸쳐 도시된 바에 따르면, GUI에는 이미지가 페이지 넘어가듯 넘겨진 후, 이미지에 대한 상세 정보 및 메뉴 항목이 나타났음을 확인할 수 있다.
한편, 도 9의 (b2)는 사용자에 의해 수행되는 모바일 폰(MP)을 위로 "낮게" 올렸다가 내려놓는 모션(Bounce)을 의미한다. 도 9의 (b2)에 따라 사용자가 모바일 폰(MP)을 위로 낮게 올렸다가 내려놓는 경우에 나타나는 GUI의 변화를, 도 9의 (c3)과 (c4)에 걸쳐 도시하였다.
도 9의 (c3)와 (c4)에 걸쳐 도시된 바에 따르면, GUI에는 이미지가 페이지 넘어가듯 넘겨지려다 넘어가지 못하였음을 확인할 수 있다. 도 9의 (c3)와 (c4)에 걸쳐 도시된 GUI를 본 사용자는 '이미지가 페이지 넘어가듯 넘겨지려다 실패'하였다는 느낌을 받게 된다.
따라서, 도 9의 (c3)와 (c4)에 걸쳐 도시된 GUI는 '모바일 폰(MP)을 조금 더 높게 올렸다가 내려놓는다면, '이미지가 페이지 넘어가듯 넘겨진 후, 이미지에 대한 상세 정보 및 메뉴 항목이 나타날 것'을 사용자가 직관 또는 유추할 수 있도록 하는 내용의 시각적인 효과를 제공한다고 할 수 있다.
여기서, '이미지가 페이지 넘어가듯 넘겨진 후, 이미지에 대한 상세 정보 및 메뉴 항목이 나타나는 것'은, '모바일 폰(MP)을 올렸다가 내려놓는 모션'에 의해 수행되는 기능에 해당한다.
이에 따라, 1) 사용자에 의해 "높게" 올려졌다가 내려 놓이면 모바일 폰(MP)은 이 모션에 매칭되어 있는 "기능을 수행"하는 반면, 2) 사용자에 의해 "낮게" 올려졌다가 내려 놓이면, 모바일 폰(MP)은 이 모션에 매칭되어 있는 기능을 사용자가 직관 또는 유추할 수 있도록 하는 내용의 "시각적인 효과를 제공"한다고 할 수 있다.
4. 실시예 #4
도 10은 본 발명의 제4 실시예에 따른, UI 제공방법의 설명에 제공되는 도면이다. 도 10의 (a)에는 터치 스크린(TS)에 GUI가 나타난 모바일 폰(MP)을 도시하였다. 도 10의 (a)에 도시된 바에 따르면, GUI에는 하나의 사진이 나타나 있음을 확인할 수 있다.
한편, 도 10의 (b1)은 사용자에 의해 수행되는 터치 스크린(TS)에 나타난 이미지를 터치한 상태로 모바일 폰(MP)을 주변의 다른 모바일 폰에 "세게" 부딪히게 하는 모션(Bump)을 의미한다. 도 10의 (b1)에 따라 사용자가 모바일 폰(MP)을 주변의 다른 모바일 폰에 "세게" 부딪히게 하는 경우에 나타나는 GUI의 변화를, 도 10의 (c1)와 (c2)에 걸쳐 도시하였다.
도 10의 (c1)와 (c2)에 걸쳐 도시된 바에 따르면, GUI에는 이미지가 모바일 폰(MP)에서 주변의 다른 모바일 폰으로 이동하여, 이미지가 모바일 폰(MP)에서 사라지면서 주변의 다른 모바일 폰에서 출현하였음을 확인할 수 있다. 또한, 구체적으로 도시되어 있지는 않았지만, 이때, 이미지는 모바일 폰(MP)에서 주변의 다른 모바일 폰으로 전송된다.
한편, 도 10의 (b2)는 사용자에 의해 수행되는 모바일 폰(MP)을 주변의 다른 모바일 폰에 "약하게" 부딪히게 하는 모션(Bump)을 의미한다. 도 10의 (b2)에 따라 사용자가 모바일 폰(MP)을 주변의 다른 모바일 폰에 "약하게" 부딪히게 하는 경우에 나타나는 GUI의 변화를, 도 10의 (c3)과 (c4)에 걸쳐 도시하였다.
도 10의 (c3)와 (c4)에 걸쳐 도시된 바에 따르면, GUI에는 이미지가 모바일 폰(MP)에서 주변의 다른 모바일 폰으로 이동하려다 이동하지 못하였음을 확인할 수 있다. 도 10의 (c3)와 (c4)에 걸쳐 도시된 GUI를 본 사용자는 '이미지가 이동하려다 실패'하였다는 느낌을 받게 된다.
따라서, 도 10의 (c3)와 (c4)에 걸쳐 도시된 GUI는 '모바일 폰(MP)을 주변의 다른 모바일 폰에 조금 더 세게 부딪히게 한다면, '이미지가 모바일 폰(MP)에서 주변의 다른 모바일 폰으로 이동할 것'을 사용자가 직관 또는 유추할 수 있도록 하는 내용의 시각적인 효과를 제공한다고 할 수 있다.
여기서, '이미지가 모바일 폰(MP)에서 주변의 다른 모바일 폰으로 이동하며, 실제로는 이미지가 모바일 폰(MP)에서 주변의 다른 모바일 폰으로 전송되는 것'은, '모바일 폰(MP)을 다른 모바일 폰에 세게 부딪히게 하는 모션'에 의해 수행되는 기능에 해당한다.
이에 따라, 1) 사용자에 의해 주변의 다른 모바일 폰에 "세게" 부딪힌 모바일 폰(MP)은 이 모션에 매칭되어 있는 "기능을 수행"하는 반면, 2) 사용자에 의해 주변의 다른 모바일 폰에 "약하게" 부딪힌 모바일 폰(MP)은 모션에 매칭되어 있는 기능을 사용자가 직관 또는 유추할 수 있도록 하는 내용의 "시각적인 효과를 제공"한다고 할 수 있다.
5. 실시예 #5
도 11은 본 발명의 제5 실시예에 따른, UI 제공방법의 설명에 제공되는 도면이다. 도 11의 (a)에는 터치 스크린(TS)에 GUI가 나타난 모바일 폰(MP)을 도시하였다. 도 11의 (a)에 도시된 바에 따르면, GUI에는 홀드-아이콘이 나타나 있음을 확인할 수 있다.
한편, 도 11의 (b1)은 사용자에 의해 수행되는 모바일 폰(MP)을 "세게" 돌리는 모션(Rotate)을 의미한다. 도 11의 (b1)에 따라 사용자가 모바일 폰(MP)을 세게 돌리는 경우에 나타나는 GUI의 변화를, 도 11의 (c1)에 도시하였다.
도 11의 (c1)에 도시된 바에 따르면, GUI에는 홀드-아이콘이 회전하였음을 확인할 수 있다. 또한, 구체적으로 도시되어 있지는 않았지만, 모바일 폰(MP)은 홀드 모드로 전환하여, 터치 스크린(TS)을 통해 입력되는 사용자의 조작이 무시된다.
한편, 도 11의 (b2)는 사용자에 의해 수행되는 모바일 폰(MP)을 "약하게" 돌리는 모션을 의미한다. 도 11의 (b2)에 따라 사용자가 모바일 폰(MP)을 약하게 돌리는 경우에 나타나는 GUI의 변화를, 도 11의 (c2)와 (c3)에 걸쳐 도시하였다.
도 11의 (c2)와 (c3)에 걸쳐 도시된 바에 따르면, GUI에는 홀드-아이콘이 약간 회전하였다가 다시 역회전하여 원상복귀되었음을 확인할 수 있다. 도 11의 (c2)와 (c3)에 걸쳐 도시된 GUI를 본 사용자는 '홀드-아이콘이 회전하려다 실패'하였다는 느낌을 받게 된다.
따라서, 도 11의 (c2)와 (c3)에 걸쳐 도시된 GUI는 '모바일 폰(MP)을 조금 더 돌린다면, 홀드-아이콘이 회전할 것'을 사용자가 직관 또는 유추할 수 있도록 하는 내용의 시각적인 효과를 제공한다고 할 수 있다.
여기서, '홀드-아이콘이 회전하게 된 상태를 유지하고, 모바일 폰(MP)은 홀드 모드로 전환하는 것'은, '모바일 폰(MP)을 돌리는 모션'에 의해 수행되는 기능에 해당한다.
이에 따라, 1) 사용자에 의해 "세게" 돌려지면, 모바일 폰(MP)은 사용자의 돌리는 모션에 매칭되어 있는 "기능을 수행"하는 반면, 2) 사용자에 의해 "약하게" 돌려지면, 모바일 폰(MP)은 사용자의 돌리는 모션에 매칭되어 있는 기능을 사용자가 직관 또는 유추할 수 있도록 하는 내용의 "시각적인 효과를 제공"한다고 할 수 있다.
6. 실시예 #6
도 12은 본 발명의 제6 실시예에 따른, UI 제공방법의 설명에 제공되는 도면이다. 도 12의 (a)에는 터치 스크린(TS)에 아무런 컨트롤러도 나타나지 않은 GUI가 표시된 모바일 폰(MP)을 도시하였다.
한편, 도 12의 (b1)은 사용자에 의해 수행되는 모바일 폰(MP)의 아래 부분을 사용자의 손에 "세게" 치는 모션(Tap)을 의미한다. 도 12의 (b1)에 따라 사용자가 모바일 폰(MP)을 세게 치는 경우에 나타나는 GUI의 변화를, 도 12의 (c1)에 도시하였다.
도 12의 (c1)에 도시된 바에 따르면, GUI에는 음악 재생기가 나타나 있음을 확인할 수 있다. 구체적으로 도시되어 있지는 않았지만, 음악 재생기는 터치 스크린(TS)의 윗부분에서 아래로 나오는 방식으로 나타나도록 구현가능하다.
한편, 도 12의 (b2)는 사용자에 의해 수행되는 모바일 폰(MP)의 아래 부분을 사용자의 손에 "약하게" 치는 모션(Tap)을 의미한다. 도 12의 (b2)에 따라 사용자가 모바일 폰(MP)의 아래 부분을 사용자의 손에 약하게 치는 경우에 나타나는 GUI의 변화를, 도 12의 (c2)와 (c3)에 걸쳐 도시하였다.
도 12의 (c2)와 (c3)에 걸쳐 도시된 바에 따르면, GUI에는 음악 재생기가 터치 스크린(TS)의 윗부분에서 아래로 살짝 나타났다가 터치 스크린(TS)의 윗부분으로 다시 나갔음을 확인할 수 있다. 도 12의 (c2)와 (c3)에 걸쳐 도시된 GUI를 본 사용자는 '음악 재생기가 터치 스크린(TS)의 윗부분에서 아래로 나오려다 실패'하였다는 느낌을 받게 된다.
따라서, 도 12의 (c2)와 (c3)에 걸쳐 도시된 GUI는 '모바일 폰(MP)의 아래 부분을 사용자의 손에 조금 더 세게 친다면, 음악 재생기가 터치 스크린(TS)의 윗부분에서 아래로 완전히 나와 터치 스크린(TS) 상에 나타날 것'을 사용자가 직관 또는 유추할 수 있도록 하는 내용의 시각적인 효과를 제공한다고 할 수 있다.
여기서, '음악 재생기가 터치 스크린(TS)의 윗부분에서 아래로 완전히 나와 터치 스크린(TS) 상에 나타나는 것'은, '모바일 폰(MP)의 아래 부분을 사용자의 손에 치는 모션'에 의해 수행되는 기능에 해당한다.
이에 따라, 1) 사용자에 의해 아래 부분이 손에 "세게" 부딪히면, 모바일 폰(MP)은 이 모션에 매칭되어 있는 "기능을 수행"하는 반면, 2) 사용자에 의해 아래 부분이 손에 "약하게" 부딪히면, 모바일 폰(MP)은 이 모션에 매칭되어 있는 기능을 사용자가 직관 또는 유추할 수 있도록 하는 내용의 "시각적인 효과를 제공"한다고 할 수 있다.
7. 실시예 #7
도 13은 본 발명의 제7 실시예에 따른, UI 제공방법의 설명에 제공되는 도면이다. 도 13의 (a)에는 터치 스크린(TS)에 GUI가 나타난 모바일 폰(MP)을 도시하였다. 도 13의 (a)에 도시된 바에 따르면, GUI에는 4개의 아이콘들(I1, I2, I3, I4)이 나타나 있음을 확인할 수 있다.
한편, 도 13의 (b1)은 사용자에 의해 수행되는 모바일 폰(MP)을 "약하게" 흔드는 모션을 의미한다. 도 13의 (b1)에 따라 사용자가 모바일 폰(MP)을 약하게 흔드는 경우에 나타나는 GUI의 변화를, 도 13의 (c1)과 (c2)에 걸쳐 도시하였다.
도 13의 (c1)과 (c2)에 걸쳐 도시된 바에 따르면, GUI에는 1) 아이콘(I1)의 하위-아이콘들이 아이콘(I1) 밑부분에서 밖으로 살짝 나타났다가 아이콘(I1) 밑부분 안으로 다시 들어갔고, 2) 아이콘(I4)의 하위-아이콘들이 아이콘(I4) 밑부분에서 밖으로 살짝 나타났다가 아이콘(I4) 밑부분 안으로 다시 들어갔음을 확인할 수 있다.
도 13의 (c1)과 (c2)에 걸쳐 도시된 GUI를 본 사용자는 '하위-아이콘들이 아이콘(I1)과 아이콘(I4)의 밑부분에서 밖으로 나오려다 실패'하였다는 느낌을 받게 된다.
따라서, 도 13의 (c1)과 (c2)에 걸쳐 도시된 GUI는 '모바일 폰(MP)을 조금 더 세게 흔든다면, 하위-아이콘들이 아이콘의 밑부분에서 밖으로 완전히 나와 터치 스크린(TS) 상에 나타날 것'을 사용자가 직관 또는 유추할 수 있도록 하는 내용의 시각적인 효과를 제공한다고 할 수 있다.
또한, 사용자는, '아이콘(I1)과 아이콘(I4)에는 하위-아이콘들이 존재하지만, 아이콘(I2)과 아이콘(I3)에는 하위-아이콘들이 존재하지 않음'을 인지하게 된다.
도 13의 (b2)는 사용자가 "아이콘(I1)을 터치"한 상태로 모바일 폰(MP)을 "세게" 흔드는 모션을 의미한다. 도 13의 (b2)에 따라 사용자의 모션이 수행되는 경우에 나타나는 GUI의 변화를, 도 13의 (c3)에 도시하였다.
도 13의 (c3)에 도시된 바에 따르면, GUI에는 사용자가 터치한 아이콘(I1) 외에 그에 소속된 하위-아이콘들(I11, I12, I13, I14)이 나타나 있음을 확인할 수 있다. 구체적으로 도시되어 있지는 않았지만, 하위-아이콘들(I11, I12, I13, I14)은 아이콘(I1)의 밑부분에서 밖으로 나오는 방식으로 나타나도록 구현가능하다.
8. 기타
(1) 모션의 크기에 따른 반응
도 14에는 전술한 실시예들을 부연 설명하기 위한 도면이다. 도 14에는 사용자에 의한 모션의 크기에 대해, 모바일 폰(MP)의 반응을 그래프로 도식화하였다. 도 14에 도시된 바에 따르면,
1) '제1 임계값(TH1) < 모션 크기' 이면, 모션에 매핑된 기능이 실행되고,
2) '제2 임계값(TH2) < 모션 크기 ≤ 제1 임계값(TH1)' 이면, 모션에 매핑된 기능을 실행하지는 않지만, 이 기능을 암시하는 시각적 효과를 출력하며,
3) '모션 크기 ≤ 제2 임계값(TH2)' 이면, 기능도 실행하지 않고 기능을 암시하는 시각적 효과도 출력하지 않음, 즉, 아무런 반응도 없음
을 확인할 수 있다.
여기서, 모션의 크기는, 모션을 기술하는 파라미터들인 모션의 a) 방향, b) 속도, c) 흔들림(회전) 정도 및 d) 움직임 폭 중 적어도 하나를 의미할 수 있다. 그리고, 모션의 크기와 임계값의 비교는, 그 모션에 대한 파라미터들 중 적어도 하나와 이에 해당하는 임계값들을 각각 비교하는 방법에 의해 수행가능하다. 예를 들어, 모션의 속도가 제1 임계 속도를 초과한 경우에는 모션에 매핑된 기능을 실행하도록 구현하거나, 모션의 속도가 제1 임계 속도를 초과하고 모션의 회전이 제1 임계 회전량을 초과한 경우에는 모션에 매핑된 기능을 실행하도록 구현하는 것이 가능하다.
또한, "2)"에 해당하여 시각적 효과를 출력하는 경우, 출력되는 시각적 효과는 모션의 크기에 따라 각기 다르게 구현할 수 있다. 예를 들어, 시각적 효과를 통해 나타나는 아이콘, 이미지 등의 움직임은 모션 파라미터의 크기에 비례하도록 구현가능하다.
(2) 시각적 효과와 다른 효과
위 실시예들에서는, 모션의 크기가 매우 크지 않은 경우, 그 모션에 매핑된 기능을 암시하는 시각적 효과를 제공하는 것으로 상정하였으나, 이는 설명의 편의를 위한 일 예에 불과하다.
모션의 크기가 크지 않은 경우, 제공되는 시각적 효과는 청각적 효과나 촉각적 효과로 대체될 수 있음은 물론이다.
9. 본 발명이 적용가능한 디바이스
위 실시예들에서는 모바일 폰에서 제공되는 UI를 상정하였는데, 모바일 폰 이외의 다른 디바이스의 경우도 본 발명의 기술적 사상이 적용될 수 있다. 예를 들어, MP3 플레이어나, 디지털 카메라, 디지털 캠코더, PMP 등의 다른 디바이스에도 본 발명이 적용될 수 있다.
도 15에는 본 발명이 적용가능한 디바이스의 블럭도를 도시하였다. 도 15에 도시된 바와 같이, 디바이스는 기능 블럭(110), 터치 스크린(120), 제어부(130), 저장부(140) 및 모션 감지부(150)를 구비한다.
기능 블럭(110)은 디바이스 본연의 기능을 수행한다. 만약, 디바이스가 모바일 폰인 경우 기능 블럭(110)은 전화 통화, SMS 등을 수행하고, 만약, 디바이스가 MP3 플레이어인 경우 기능 블럭(110)은 MP3 파일 재생을 수행한다.
터치 스크린(120)은 기능 블럭(110)의 기능 수행 결과, GUI가 표시되는 디스플레이 수단으로 기능하고, 사용자 명령을 입력하기 위한 수단으로 기능한다.
저장부(140)는 기능 블럭(110)의 기능 수행과, GUI 제공에 필요한 프로그램, 컨텐츠, 기타 데이터가 저장되는 저장매체이다.
모션 감지부(150)는 디바이스를 손에 든 상태로 이루어지는 사용자의 모션을 감지한다.
제어부(130)는 모션 감지부(150)의 모션 감지 결과를 기초로, 모션의 종류 및 크기를 파악한다. 그리고, 제어부(130)는 파악 결과를 기초로, 기능 블럭(110)을 제어하고 터치 스크린(120)의 GUI를 변경하는 한편, 터치 스크린(120)을 통해 시각적 효과를 제공한다. 이하에서는, 이 과정에 대해 도 16을 참조하여 상세히 설명한다.
도 16은 본 발명의 또 다른 실시예에 따른 UI 제공방법의 설명에 제공되는 도면이다.
도 16에 도시된 바와 같이, 먼저 제어부(130)는 모션 감지부(150)에 의해 감지된 사용자 모션의 종류와 크기를 파악한다(S1610). 그리고, 제어부(130)는 모션의 크기가 어느 범위에 해당하는지 판단한다(S1620 및 S1640).
구체적으로, 모션 크기가 제1 임계값(TH1)을 초과하는 것으로 판단되면(S1620-Y), 제어부(130)는 S1610단계에서 감지된 종류의 모션에 매핑된 기능이 실행되도록, 기능 블럭(110)을 제어하고 터치 스크린(120)의 GUI를 변경한다(S1630).
한편, 모션 크기가 제1 임계값(TH1)을 이하이지만 제2 임계값(TH2)을 초과하는 것으로 판단되면(S1620-Y & S1640-Y), 제어부(130)는 S1610단계에서 감지된 종류의 모션에 매핑을 암시하는 시각적 효과를 터치 스크린(120)을 통해 출력한다(S1650).
다른 한편, 모션 크기가 제2 임계값(TH2) 이하로 판단되면(S1620-Y & S1640-N), 제어부(130)는 아무런 반응도 하지 않는다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (31)

  1. 사용자 모션을 파악하는 단계; 및
    상기 사용자 모션이 복수의 모션들 중 어느 하나에 해당하면, 상기 복수의 모션들에 공통으로 매핑된 기능을 실행하는 단계;를 포함하는 것을 특징으로 하는 UI 제공방법.
  2. 제 1항에 있어서,
    상기 실행단계는,
    상가 사용자 모션의 종류에 따라, 상기 기능을 수행하는데 부수되는 시각적 효과를 다르게 표시하면서, 상기 기능을 실행하는 것을 특징으로 하는 UI 제공방법.
  3. 제 2항에 있어서,
    상기 시각적 효과의 세부 내용은,
    상기 사용자 모션을 기술하는 파라미터들 중 적어도 하나를 기초로 결정되는 것을 특징으로 하는 UI 제공방법.
  4. 제 3항에 있어서,
    상기 시각적 효과를 구성하는 시각적 요소들은,
    대응하는 파라미터의 크기에 비례하는 것을 특징으로 하는 UI 제공방법.
  5. 제 2항에 있어서,
    상기 시각적 효과의 세부 내용은,
    상기 시각적 효과가 반영될 컨텐츠의 내용 또는 바탕의 내용에 따라 결정되는 것을 특징으로 하는 UI 제공방법.
  6. 제 2항에 있어서,
    상기 시각적 효과는,
    애니메이션 효과인 것을 특징으로 하는 UI 제공방법.
  7. 제 1항에 있어서,
    상기 기능과 복수의 모션들의 매핑 상태는,
    어플리케이션 마다 상이한 것을 특징으로 하는 UI 제공방법.
  8. 제 1항에 있어서,
    상기 실행단계는,
    상가 사용자 모션의 종류에 따라, 상기 기능을 수행하는데 부수되는 청각적 효과 및 촉각적 효과 중 적어도 하나를 다르게 표시하면서, 상기 기능을 실행하는 것을 특징으로 하는 UI 제공방법.
  9. 제1항에 있어서,
    상기 모션의 크기가 제1 임계 크기를 초과하면, 상기 모션에 매핑된 기능을 실행하는 단계; 및
    상기 모션의 크기가 상기 제1 임계 크기 이하이면, 상기 모션에 매핑된 기능과 관련한 효과를 출력하는 단계;를 더 포함하는 것을 특징으로 하는 UI 제공방법.
  10. 제 9항에 있어서,
    상기 모션의 크기가 제1 임계 크기를 초과하는 경우는,
    상기 모션을 기술하는 파라미터들 중 적어도 하나가 임계값을 초과하는 경우인 것을 특징으로 하는 UI 제공방법.
  11. 제 9항에 있어서,
    상기 모션에 매핑된 기능과 관련한 효과는,
    상기 사용자가 상기 기능을 직관 또는 암시할 수 있는 내용의 시각적 효과인 것을 특징으로 하는 UI 제공방법.
  12. 제 11항에 있어서,
    상기 출력단계는,
    상기 모션의 크기에 따라, 각기 다른 시각적 효과를 출력하는 것을 특징으로 하는 UI 제공방법.
  13. 제 11항에 있어서,
    상기 출력단계는,
    상기 모션의 크기가, 상기 제1 임계 크기 이하이고 상기 제1 임계 크기 보다 작은 제2 임계 크기를 초과하면, 상기 시각적 효과를 출력하는 것을 특징으로 하는 UI 제공방법.
  14. 제 11항에 있어서,
    상기 모션의 크기가 상기 제1 임계 크기를 초과하는 경우에 수행가능한 기능이 복수 개이면,
    상기 출력단계는,
    상기 모션의 크기가 상기 제1 임계 크기 이하이면, 복수의 기능들이 지시하는 기능들과 관련한 시각적 효과들을 함께 출력하는 것을 특징으로 하는 UI 제공방법.
  15. 제 9항에 있어서,
    상기 모션의 크기가 상기 제1 임계 크기를 초과하는 경우에 수행가능한 기능이 복수 개이면,
    상기 실행단계는,
    상기 모션의 크기가 상기 제1 임계 크기를 초과하면, 복수의 기능들 중 상기 사용자가 상기 모션을 수행하면서 지정한 기능을 실행하는 것을 특징으로 하는 UI 제공방법.
  16. 제 15항에 있어서,
    상기 사용자가 상기 모션을 수행하면서 지정한 기능은,
    상기 사용자가 선택한 아이콘과 관련한 기능인 것을 특징으로 하는 UI 제공방법.
  17. 제 9항에 있어서,
    상기 모션에 매핑된 기능과 관련한 효과는,
    청각적 효과 및 촉각적 효과 중 적어도 하나인 것을 특징으로 하는 UI 제공방법.
  18. 사용자 모션을 감지하는 감지부; 및
    상기 감지부에서 감지된 사용자 모션이 복수의 모션들 중 어느 하나에 해당하면, 상기 복수의 모션들에 공통으로 매핑된 기능이 실행되도록 제어하는 제어부;를 포함하는 것을 특징으로 하는 디바이스.
  19. 제 18항에 있어서,
    상기 제어부는,
    상가 사용자 모션의 종류에 따라, 상기 기능을 수행하는데 부수되는 시각적 효과가 다르게 표시되면서, 상기 기능이 실행되도록 제어하는 것을 특징으로 하는 디바이스.
  20. 제 19항에 있어서,
    상기 시각적 효과의 세부 내용은,
    상기 사용자 모션을 기술하는 파라미터들 중 적어도 하나를 기초로 결정되는 것을 특징으로 하는 디바이스.
  21. 제 20항에 있어서,
    상기 시각적 효과를 구성하는 시각적 요소들은,
    대응하는 파라미터의 크기에 비례하는 것을 특징으로 하는 디바이스.
  22. 제 19항에 있어서,
    상기 시각적 효과의 세부 내용은,
    상기 시각적 효과가 반영될 컨텐츠의 내용 또는 바탕의 내용에 따라 결정되는 것을 특징으로 하는 디바이스.
  23. 제 19항에 있어서,
    상기 시각적 효과는,
    애니메이션 효과인 것을 특징으로 하는 디바이스.
  24. 제 18항에 있어서,
    상기 기능과 복수의 모션들의 매핑 상태는,
    어플리리케이션 마다 상이한 것을 특징으로 하는 디바이스.
  25. 제 18항에 있어서,
    상기 제어부는,
    상가 사용자 모션의 종류에 따라, 상기 기능을 수행하는데 부수되는 청각적 효과 및 촉각적 효과 중 적어도 하나가 다르게 표시되면서, 상기 기능이 실행되도록 제어하는 것을 특징으로 하는 디바이스.
  26. 제18항에 있어서,
    상기 제어부는,
    상기 감지부에서 감지된 상기 모션의 크기가 제1 임계 크기를 초과하면 상기 모션에 매핑된 기능이 실행되도록 제어하고, 상기 모션의 크기가 상기 제1 임계 크기 이하이면 상기 모션에 매핑된 기능과 관련한 효과가 출력되도록 제어하는 것을 특징으로 하는 디바이스.
  27. 제 26항에 있어서,
    상기 시각적 효과는,
    상기 사용자가 상기 기능을 직관 또는 암시할 수 있는 내용의 시각적 효과인 것을 특징으로 하는 디바이스.
  28. 제 27항에 있어서,
    상기 제어부는,
    상기 모션의 크기에 따라, 각기 다른 시각적 효과가 출력되도록 제어하는 것을 특징으로 하는 디바이스.
  29. 제 28항에 있어서,
    상기 제어부는,
    상기 모션의 크기에 비례하는 움직임이 나타나는 시각적 효과가 출력되도록 제어하는 것을 특징으로 하는 디바이스.
  30. 제 27항에 있어서,
    상기 모션의 크기가 상기 제1 임계 크기를 초과하는 경우에 수행가능한 기능이 복수 개이면,
    상기 제어부는,
    상기 모션의 크기가 상기 제1 임계 크기 이하이면, 복수의 기능들이 지시하는 기능들과 관련한 시각적 효과들이 함께 출력되도록 제어하는 것을 특징으로 하는 디바이스.
  31. 제 26항에 있어서,
    상기 모션의 크기가 상기 제1 임계 크기를 초과하는 경우에 수행가능한 기능이 복수 개이면,
    상기 제어부는,
    상기 모션의 크기가 상기 제1 임계 크기를 초과하면, 복수의 기능들 중 상기 사용자가 상기 모션을 수행하면서 지정한 기능이 실행되도록 제어하는 것을 특징으로 하는 디바이스.
PCT/KR2010/005662 2009-08-24 2010-08-24 모션을 이용한 ｕｉ 제공방법 및 이를 적용한 디바이스 WO2011025239A2 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP10812252.4A EP2472374B1 (en) 2009-08-24 2010-08-24 Method for providing a ui using motions
US13/392,364 US20120151415A1 (en) 2009-08-24 2010-08-24 Method for providing a user interface using motion and device adopting the method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2009-0078369 2009-08-24
KR1020090078367A KR101624122B1 (ko) 2009-08-24 2009-08-24 복수의 모션들에 공통 기능이 매핑된 ｕｉ 제공방법 및 이를 적용한 디바이스
KR10-2009-0078367 2009-08-24
KR1020090078369A KR101690521B1 (ko) 2009-08-24 2009-08-24 모션의 크기에 기초한 ｕｉ 제공방법 및 이를 적용한 디바이스

Publications (2)

Publication Number Publication Date
WO2011025239A2 true WO2011025239A2 (ko) 2011-03-03
WO2011025239A3 WO2011025239A3 (ko) 2011-08-04

Family

ID=43628580

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/005662 WO2011025239A2 (ko) 2009-08-24 2010-08-24 모션을 이용한 ｕｉ 제공방법 및 이를 적용한 디바이스

Country Status (3)

Country Link
US (1) US20120151415A1 (ko)
EP (1) EP2472374B1 (ko)
WO (1) WO2011025239A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130067422A1 (en) * 2011-09-05 2013-03-14 Samsung Electronics Co., Ltd. Terminal capable of controlling attribute of application based on motion and method thereof

Families Citing this family (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD609715S1 (en) * 2007-06-28 2010-02-09 Apple Inc. Animated graphical user interface for a display screen or portion thereof
USD658195S1 (en) 2010-01-27 2012-04-24 Apple Inc. Display screen or portion thereof with animated graphical user interface
US9600328B2 (en) * 2011-05-23 2017-03-21 Zte Corporation Method and apparatus for processing background visual effect
USD728578S1 (en) * 2011-11-17 2015-05-05 Jtekt Corporation Control board device with graphical user interface
USD681044S1 (en) 2012-01-11 2013-04-30 Sony Corporation Display panel with graphical user interface
USD747353S1 (en) * 2012-11-30 2016-01-12 Lg Electronics Inc. Multimedia terminal having transitional graphical user interface
USD746840S1 (en) * 2012-11-30 2016-01-05 Lg Electronics Inc. Display screen of a multimedia terminal with a transitional graphical user interface
USD752105S1 (en) * 2012-11-30 2016-03-22 Lg Electronics Inc. Multimedia terminal having transitional graphical user interface
USD752104S1 (en) * 2012-11-30 2016-03-22 Lg Electronics Inc. Multimedia terminal having transitional graphic user interface
USD746297S1 (en) * 2012-11-30 2015-12-29 Lg Electronics Inc. Display screen of a multimedia terminal with a transitional graphical user interface
USD750635S1 (en) * 2012-11-30 2016-03-01 Lg Electronics Inc. Display screen of a multimedia terminal with a transitional graphical user interface
USD741895S1 (en) * 2012-12-18 2015-10-27 2236008 Ontario Inc. Display screen or portion thereof with graphical user interface
CN103076976A (zh) * 2013-01-07 2013-05-01 华为终端有限公司 添加应用图标的方法、移除应用图标的方法和装置
USD745024S1 (en) * 2013-02-22 2015-12-08 Samsung Electronics Co., Ltd. Display screen or a portion thereof with graphic user interface
TWD165571S (zh) * 2013-02-22 2015-01-21 三星電子股份有限公司 顯示面板之圖形化使用者介面
USD745543S1 (en) * 2013-02-22 2015-12-15 Samsung Electronics Co., Ltd. Display screen with animated user interface
USD737298S1 (en) * 2013-02-23 2015-08-25 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD736809S1 (en) * 2013-02-23 2015-08-18 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
AU349902S (en) * 2013-02-23 2013-07-26 Samsung Electronics Co Ltd Display screen for an electronic device
AU349900S (en) * 2013-02-23 2013-07-26 Samsung Electronics Co Ltd Display screen for an electronic device
USD737297S1 (en) * 2013-02-23 2015-08-25 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD737296S1 (en) * 2013-02-23 2015-08-25 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
AU349939S (en) * 2013-02-23 2013-07-29 Samsung Electronics Co Ltd Display screen for an electronic device
USD737835S1 (en) * 2013-02-23 2015-09-01 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD737295S1 (en) * 2013-02-23 2015-08-25 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
AU349903S (en) * 2013-02-23 2013-07-26 Samsung Electronics Co Ltd Display screen for an electronic device
USD740306S1 (en) * 2013-03-14 2015-10-06 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
KR102141155B1 (ko) 2013-04-22 2020-08-04 삼성전자주식회사 모바일 장치의 상태에 대응하는 변경된 숏컷 아이콘을 제공하는 모바일 장치 및 그 제어 방법
USD749608S1 (en) * 2013-04-24 2016-02-16 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD755212S1 (en) * 2013-04-24 2016-05-03 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD751097S1 (en) * 2013-05-14 2016-03-08 Google Inc. Display screen with graphical user interface
USD753158S1 (en) * 2013-06-06 2016-04-05 Caresource Portion on a display screen with transitional user interface
USD738394S1 (en) 2013-06-09 2015-09-08 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD741350S1 (en) 2013-06-10 2015-10-20 Apple Inc. Display screen or portion thereof with animated graphical user interface
KR102140811B1 (ko) * 2013-07-23 2020-08-03 삼성전자주식회사 디바이스의 사용자 인터페이스 제공 방법 및 그 디바이스
CN103399688B (zh) 2013-07-26 2017-03-01 三星电子（中国）研发中心 一种动态壁纸和桌面图标的交互方法和装置
USD762685S1 (en) * 2013-08-29 2016-08-02 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
US9105026B1 (en) 2013-09-30 2015-08-11 Square, Inc. Rolling interface transition for mobile display
US9195616B2 (en) 2013-10-29 2015-11-24 Nokia Technologies Oy Apparatus and method for copying rules between devices
USD763881S1 (en) * 2013-11-22 2016-08-16 Goldman, Sachs & Co. Display screen or portion thereof with graphical user interface
USD772278S1 (en) 2013-12-18 2016-11-22 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD763900S1 (en) * 2014-01-07 2016-08-16 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
USD757774S1 (en) * 2014-01-15 2016-05-31 Yahoo Japan Corporation Portable electronic terminal with graphical user interface
USD757074S1 (en) * 2014-01-15 2016-05-24 Yahoo Japan Corporation Portable electronic terminal with graphical user interface
USD759078S1 (en) * 2014-01-15 2016-06-14 Yahoo Japan Corporation Portable electronic terminal with graphical user interface
USD757775S1 (en) * 2014-01-15 2016-05-31 Yahoo Japan Corporation Portable electronic terminal with graphical user interface
CA156714S (en) 2014-01-28 2019-08-02 Jvl Ventures Llc Handheld electronic device
USD771658S1 (en) * 2014-04-14 2016-11-15 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
WO2015164820A1 (en) * 2014-04-24 2015-10-29 Idis Technology Ip Ltd Private messaging application and associated methods
USD769892S1 (en) 2014-05-30 2016-10-25 Apple Inc. Display screen or portion thereof with graphical user interface
JP6379289B2 (ja) * 2014-06-11 2018-08-22 スクエア， インコーポレイテッド ディスプレイの向きに基づくアクセス制御
US9324065B2 (en) 2014-06-11 2016-04-26 Square, Inc. Determining languages for a multilingual interface
USD759666S1 (en) * 2014-06-23 2016-06-21 Google Inc. Display screen or portion thereof with an animated graphical user interface
USD807898S1 (en) 2014-07-15 2018-01-16 Google Llc Display screen or portion thereof with an animated graphical user interface
USD763873S1 (en) * 2014-08-22 2016-08-16 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD763273S1 (en) * 2014-08-22 2016-08-09 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD791143S1 (en) 2014-09-03 2017-07-04 Apple Inc. Display screen or portion thereof with graphical user interface
USD761836S1 (en) * 2015-01-08 2016-07-19 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD771668S1 (en) * 2015-01-20 2016-11-15 Microsoft Corporation Display screen with animated graphical user interface
USD765699S1 (en) 2015-06-06 2016-09-06 Apple Inc. Display screen or portion thereof with graphical user interface
USD795277S1 (en) * 2015-10-20 2017-08-22 Kazutaka Kito Display screen for a communications terminal with graphical user interface
US10496970B2 (en) 2015-12-29 2019-12-03 Square, Inc. Animation management in applications
USD806745S1 (en) * 2016-10-14 2018-01-02 Zynga Inc. Display screen or portion thereof with graphical user interface
USD807393S1 (en) * 2016-10-14 2018-01-09 Zynga Inc. Display screen or portion thereof with graphical user interface
US10380579B1 (en) 2016-12-22 2019-08-13 Square, Inc. Integration of transaction status indications
USD846587S1 (en) 2017-06-04 2019-04-23 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD861704S1 (en) 2017-09-11 2019-10-01 Apple Inc. Electronic device with graphical user interface
USD877175S1 (en) 2018-06-04 2020-03-03 Apple Inc. Electronic device with graphical user interface
USD933079S1 (en) * 2018-08-24 2021-10-12 Microsoft Corporation Display screen with animated graphical user interface
USD883319S1 (en) 2018-10-29 2020-05-05 Apple Inc. Electronic device with graphical user interface
US11150782B1 (en) 2019-03-19 2021-10-19 Facebook, Inc. Channel navigation overviews
USD938482S1 (en) * 2019-03-20 2021-12-14 Facebook, Inc. Display screen with an animated graphical user interface
US11308176B1 (en) 2019-03-20 2022-04-19 Meta Platforms, Inc. Systems and methods for digital channel transitions
US10868788B1 (en) 2019-03-20 2020-12-15 Facebook, Inc. Systems and methods for generating digital channel content
USD943625S1 (en) 2019-03-20 2022-02-15 Facebook, Inc. Display screen with an animated graphical user interface
USD949907S1 (en) 2019-03-22 2022-04-26 Meta Platforms, Inc. Display screen with an animated graphical user interface
USD933696S1 (en) 2019-03-22 2021-10-19 Facebook, Inc. Display screen with an animated graphical user interface
USD937889S1 (en) 2019-03-22 2021-12-07 Facebook, Inc. Display screen with an animated graphical user interface
USD943616S1 (en) 2019-03-22 2022-02-15 Facebook, Inc. Display screen with an animated graphical user interface
USD944848S1 (en) 2019-03-26 2022-03-01 Facebook, Inc. Display device with graphical user interface
USD944828S1 (en) 2019-03-26 2022-03-01 Facebook, Inc. Display device with graphical user interface
USD934287S1 (en) 2019-03-26 2021-10-26 Facebook, Inc. Display device with graphical user interface
USD944827S1 (en) 2019-03-26 2022-03-01 Facebook, Inc. Display device with graphical user interface
USD963688S1 (en) * 2020-04-24 2022-09-13 Gogoro Inc. Display screen or portion thereof with animated graphical user interface
USD938448S1 (en) 2020-08-31 2021-12-14 Facebook, Inc. Display screen with a graphical user interface
US11188215B1 (en) 2020-08-31 2021-11-30 Facebook, Inc. Systems and methods for prioritizing digital user content within a graphical user interface
US11347388B1 (en) 2020-08-31 2022-05-31 Meta Platforms, Inc. Systems and methods for digital content navigation based on directional input
USD938447S1 (en) 2020-08-31 2021-12-14 Facebook, Inc. Display screen with a graphical user interface
USD938451S1 (en) 2020-08-31 2021-12-14 Facebook, Inc. Display screen with a graphical user interface
USD938450S1 (en) 2020-08-31 2021-12-14 Facebook, Inc. Display screen with a graphical user interface
USD938449S1 (en) 2020-08-31 2021-12-14 Facebook, Inc. Display screen with a graphical user interface
USD955421S1 (en) * 2020-12-21 2022-06-21 Meta Platforms, Inc. Display screen with a graphical user interface
USD955420S1 (en) * 2020-12-21 2022-06-21 Meta Platforms, Inc. Display screen with a graphical user interface
USD1023042S1 (en) * 2021-06-14 2024-04-16 Medos International Sarl Display screen or portion thereof with graphical user interface
USD1026028S1 (en) * 2021-08-30 2024-05-07 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD996452S1 (en) * 2021-11-08 2023-08-22 Airbnb, Inc. Display screen with graphical user interface

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3760505A (en) * 1971-11-17 1973-09-25 Ohio Art Co Tracing device
US5987979A (en) * 1996-04-01 1999-11-23 Cairo Systems, Inc. Method and apparatus for detecting railtrack failures by comparing data from a plurality of railcars
US6121981A (en) * 1997-05-19 2000-09-19 Microsoft Corporation Method and system for generating arbitrary-shaped animation in the user interface of a computer
WO1999028811A1 (en) * 1997-12-04 1999-06-10 Northern Telecom Limited Contextual gesture interface
EP1717677B1 (en) * 1998-01-26 2015-06-17 Apple Inc. Method and apparatus for integrating manual input
US7840912B2 (en) * 2006-01-30 2010-11-23 Apple Inc. Multi-touch gesture dictionary
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US9292111B2 (en) * 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US20010012025A1 (en) * 1998-03-20 2001-08-09 Toshiba America Information Systems, Inc. Display scrolling system using pointing device
EP0991011B1 (en) * 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
US7688306B2 (en) * 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US7030861B1 (en) * 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
AU2003303787A1 (en) * 2003-01-22 2004-08-13 Nokia Corporation Image control
US7233316B2 (en) * 2003-05-01 2007-06-19 Thomson Licensing Multimedia user interface
US7532196B2 (en) * 2003-10-30 2009-05-12 Microsoft Corporation Distributed sensing techniques for mobile devices
US7180500B2 (en) * 2004-03-23 2007-02-20 Fujitsu Limited User definable gestures for motion controlled handheld devices
US7365736B2 (en) * 2004-03-23 2008-04-29 Fujitsu Limited Customizable gesture mappings for motion controlled handheld devices
US20050219211A1 (en) * 2004-03-31 2005-10-06 Kotzin Michael D Method and apparatus for content management and control
US20050219223A1 (en) * 2004-03-31 2005-10-06 Kotzin Michael D Method and apparatus for determining the context of a device
US8684839B2 (en) * 2004-06-18 2014-04-01 Igt Control of wager-based game using gesture recognition
US20060028429A1 (en) * 2004-08-09 2006-02-09 International Business Machines Corporation Controlling devices' behaviors via changes in their relative locations and positions
US7498951B2 (en) * 2004-10-18 2009-03-03 Ixi Mobile (R &D), Ltd. Motion sensitive illumination system and method for a mobile computing device
US20090297062A1 (en) * 2005-03-04 2009-12-03 Molne Anders L Mobile device with wide-angle optics and a radiation sensor
US8147248B2 (en) * 2005-03-21 2012-04-03 Microsoft Corporation Gesture training
US7600243B2 (en) * 2005-04-06 2009-10-06 Open Box Technologies, Inc. User interface methods and systems for device-independent media transactions
US7487461B2 (en) * 2005-05-04 2009-02-03 International Business Machines Corporation System and method for issuing commands based on pen motions on a graphical keyboard
US8160400B2 (en) * 2005-11-17 2012-04-17 Microsoft Corporation Navigating images using image based geometric alignment and object based controls
US20070145680A1 (en) * 2005-12-15 2007-06-28 Outland Research, Llc Shake Responsive Portable Computing Device for Simulating a Randomization Object Used In a Game Of Chance
DE102006037156A1 (de) * 2006-03-22 2007-09-27 Volkswagen Ag Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung
KR100772909B1 (ko) * 2006-05-30 2007-11-05 삼성전자주식회사 이미지 검색 방법 및 장치
US8564543B2 (en) * 2006-09-11 2013-10-22 Apple Inc. Media player with imaged based browsing
AU2006252191B2 (en) * 2006-12-21 2009-03-26 Canon Kabushiki Kaisha Scrolling Interface
US20090262074A1 (en) * 2007-01-05 2009-10-22 Invensense Inc. Controlling and accessing content using motion processing on mobile devices
US7924271B2 (en) * 2007-01-05 2011-04-12 Apple Inc. Detecting gestures on multi-event sensitive devices
US8462109B2 (en) * 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
US9001047B2 (en) * 2007-01-07 2015-04-07 Apple Inc. Modal change based on orientation of a portable multifunction device
US7737979B2 (en) * 2007-02-12 2010-06-15 Microsoft Corporation Animated transitions for data visualization
KR20080085983A (ko) * 2007-03-21 2008-09-25 엘지전자 주식회사 이동단말기의 사용자 인터페이스 제공 방법
US20080280642A1 (en) * 2007-05-11 2008-11-13 Sony Ericsson Mobile Communications Ab Intelligent control of user interface according to movement
US9317110B2 (en) * 2007-05-29 2016-04-19 Cfph, Llc Game with hand motion control
US20090021510A1 (en) * 2007-07-22 2009-01-22 Sony Ericsson Mobile Communications Ab Display
US20090153466A1 (en) * 2007-12-14 2009-06-18 Patrick Tilley Method and System for Optimizing Scrolling and Selection Activity
US20090153475A1 (en) * 2007-12-14 2009-06-18 Apple Inc. Use of a remote controller Z-direction input mechanism in a media system
KR101404751B1 (ko) * 2007-12-26 2014-06-12 엘지전자 주식회사 이동 단말기 및 그의 사용자 인터페이스 메뉴 제어 방법
US8423076B2 (en) * 2008-02-01 2013-04-16 Lg Electronics Inc. User interface for a mobile device
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
KR101482115B1 (ko) * 2008-07-07 2015-01-13 엘지전자 주식회사 자이로센서를 구비한 휴대 단말기 및 그 제어방법
US20100007603A1 (en) * 2008-07-14 2010-01-14 Sony Ericsson Mobile Communications Ab Method and apparatus for controlling display orientation
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
US8587515B2 (en) * 2008-08-05 2013-11-19 Apple Inc. Systems and methods for processing motion sensor generated data
WO2010030985A1 (en) * 2008-09-12 2010-03-18 Gesturetek, Inc. Orienting displayed elements relative to a user
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US20100138766A1 (en) * 2008-12-03 2010-06-03 Satoshi Nakajima Gravity driven user interface
US8547342B2 (en) * 2008-12-22 2013-10-01 Verizon Patent And Licensing Inc. Gesture-based delivery from mobile device
US8547326B2 (en) * 2009-02-24 2013-10-01 Blackberry Limited Handheld electronic device having gesture-based control and a method of using same
US20100218100A1 (en) * 2009-02-25 2010-08-26 HNTB Holdings, Ltd. Presentation system
US8457387B2 (en) * 2009-03-13 2013-06-04 Disney Enterprises, Inc. System and method for interactive environments presented by video playback devices
US8145594B2 (en) * 2009-05-29 2012-03-27 Microsoft Corporation Localized gesture aggregation
KR20110014040A (ko) * 2009-08-04 2011-02-10 엘지전자 주식회사 이동 단말기 및 그의 아이콘 충돌 제어방법
US8933960B2 (en) * 2009-08-14 2015-01-13 Apple Inc. Image alteration techniques

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None
See also references of EP2472374A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130067422A1 (en) * 2011-09-05 2013-03-14 Samsung Electronics Co., Ltd. Terminal capable of controlling attribute of application based on motion and method thereof
US9413870B2 (en) * 2011-09-05 2016-08-09 Samsung Electronics Co., Ltd. Terminal capable of controlling attribute of application based on motion and method thereof

Also Published As

Publication number Publication date
EP2472374B1 (en) 2019-03-20
EP2472374A2 (en) 2012-07-04
EP2472374A4 (en) 2016-08-03
US20120151415A1 (en) 2012-06-14
WO2011025239A3 (ko) 2011-08-04

Similar Documents

Publication Publication Date Title
WO2011025239A2 (ko) 모션을 이용한 ｕｉ 제공방법 및 이를 적용한 디바이스
WO2014092451A1 (en) Information search method and device and computer readable recording medium thereof
WO2013122355A1 (en) Tablet having user interface
WO2011090324A2 (ko) 터치 압력에 기반한 사용자 인터페이스 제공방법 및 이를 적용한 전자기기
WO2010044576A2 (en) Object management method and apparatus using touchscreen
WO2014175622A1 (en) Method for displaying and electronic device thereof
WO2016137167A1 (en) Terminal
WO2010143839A2 (ko) 컨텐츠 탐색을 위한 ｇｕｉ 제공방법 및 이를 적용한 디바이스
WO2015122661A1 (en) Mobile terminal, user interface method in the mobile terminal, and cover of the mobile terminal
WO2015037932A1 (en) Display apparatus and method for performing function of the same
WO2014133312A1 (en) Apparatus and method for providing haptic feedback to input unit
WO2013085334A1 (en) User terminal device and method for displaying background screen thereof
WO2015016516A1 (en) Method and device for managing tab window indicating application group including heterogeneous applications
WO2015083975A1 (en) Method of displaying pointing information and device for performing the method
WO2018056642A2 (en) Electronic device and method thereof for managing applications
WO2016035907A1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
WO2014017841A1 (en) User terminal apparatus and control method thereof cross-reference to related applications
WO2014038824A1 (en) Method for changing object position and electronic device thereof
WO2015012629A1 (en) Method of processing input and electronic device thereof
WO2015180013A1 (zh) 一种终端的触摸操作方法及装置
WO2016074235A1 (zh) 一种移动物体的控制方法、装置及移动设备
WO2017105018A1 (en) Electronic apparatus and notification displaying method for electronic apparatus
WO2016064140A1 (en) Providing method for inputting and electronic device
WO2016129923A1 (ko) 디스플레이 장치 및 디스플레이 방법 및 컴퓨터 판독가능 기록매체
WO2016129841A1 (en) Display apparatus and ui displaying method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10812252

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13392364

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010812252

Country of ref document: EP