KR101624122B1 - Method for providing UI mapping a plurality of motions on common function and device using the same - Google Patents

Method for providing UI mapping a plurality of motions on common function and device using the same Download PDF

Info

Publication number
KR101624122B1
KR101624122B1 KR1020090078367A KR20090078367A KR101624122B1 KR 101624122 B1 KR101624122 B1 KR 101624122B1 KR 1020090078367 A KR1020090078367 A KR 1020090078367A KR 20090078367 A KR20090078367 A KR 20090078367A KR 101624122 B1 KR101624122 B1 KR 101624122B1
Authority
KR
South Korea
Prior art keywords
motion
function
visual effect
user
motions
Prior art date
Application number
KR1020090078367A
Other languages
Korean (ko)
Other versions
KR20110020644A (en
Inventor
박용국
정한철
박민규
강태영
김보민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090078367A priority Critical patent/KR101624122B1/en
Priority to US13/392,364 priority patent/US20120151415A1/en
Priority to PCT/KR2010/005662 priority patent/WO2011025239A2/en
Priority to EP10812252.4A priority patent/EP2472374B1/en
Publication of KR20110020644A publication Critical patent/KR20110020644A/en
Application granted granted Critical
Publication of KR101624122B1 publication Critical patent/KR101624122B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Abstract

복수의 모션들에 공통 기능이 매핑된 UI 제공방법 및 이를 적용한 디바이스가 제공된다. 본 UI 제공방법은, 사용자 모션이 복수의 모션들 중 어느 하나에 해당하면, 그에 공통으로 매핑된 기능을 실행한다. 이에 의해, 특정 기능을 명령할 수 있는 모션이 여러 가지가 있으므로, 사용자는 익숙하거나 원하는 모션을 입력하여 보다 편리하고 자유롭게 기능 명령을 입력할 수 있게 된다.There is provided a UI providing method in which a common function is mapped to a plurality of motions, and a device to which the same is applied. In this UI providing method, when the user motion corresponds to any one of a plurality of motions, a function commonly mapped to the user motion is executed. Thus, since there are many motions that can command a specific function, the user can enter the function command more conveniently and freely by inputting a familiar or desired motion.

UI, 모션, 기능, 시각적 효과 UI, motion, functionality, visual effects

Description

복수의 모션들에 공통 기능이 매핑된 UI 제공방법 및 이를 적용한 디바이스{Method for providing UI mapping a plurality of motions on common function and device using the same}[0001] The present invention relates to a UI providing method in which a common function is mapped to a plurality of motions, and a device to which the common function is mapped.

본 발명은 UI 제공방법 및 이를 적용한 디바이스에 관한 것으로, 더욱 상세하게는 사용자가 원하는 기능에 대한 실행 명령을 입력하는데 이용되는 UI를 제공하는 방법 및 이를 적용한 디바이스에 관한 것이다.The present invention relates to a UI providing method and a device to which the present invention is applied. More specifically, the present invention relates to a method of providing a UI used for inputting an execution command for a desired function and a device to which the UI is applied.

UI는 디바이스와 사용자를 연결하여 주는 수단으로, 사용자가 원하는 명령을 보다 편리하게 입력할 수 있도록 하기 위해 등장하였다.The UI is a way to connect the device and the user, so that the user can enter the desired command more conveniently.

이와 같은, UI는 사용자 명령 입력이라는 주된 목적 이외에, 사용자에게 엔터테인먼트를 느끼게 하는 부수적인 목적도 가지고 있다.In addition to the main purpose of inputting a user command, the UI has a secondary purpose of making the user feel entertainment.

근자에 이르러, UI의 개발은 후자에 더욱 초점을 맞추어 진행되는 경향을 보인다. 후자의 목적을 보다 잘 나타내고 있는 UI를 채택한 제품에 대한 소비자들의 선호도가 증가하는 추세에 있기 때문이다.In recent years, UI development tends to be more focused on the latter. This is because consumers' preference for products adopting the UI that better expresses the latter purpose is increasing.

이에, 사용자 명령을 보다 편리하게 입력하는 것은 물론이고, 사용자가 엔터테인먼트를 느끼게 하여 디바이스 사용시 보다 더한 재미를 느끼게 할 수 있는 UI 를 통해 소비자들의 소비 심리를 자극하는 방법에 대한 모색이 요청된다.Accordingly, it is required to search for a method of stimulating consumer's psychology through a UI that not only inputs a user command more conveniently but also allows the user to feel entertainment and feel more fun when using the device.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 사용자 모션이 복수의 모션들 중 어느 하나에 해당하면, 그 복수의 모션들에 공통으로 매핑된 기능을 실행하는 UI 제공방법 및 이를 적용한 디바이스를 제공함에 있다.SUMMARY OF THE INVENTION The present invention has been made in order to solve the above-mentioned problems, and it is an object of the present invention to provide a method and an apparatus for performing a function mapped in common to a plurality of motions And a device to which the present invention is applied.

상기 목적을 달성하기 위한 본 발명에 따른, UI 제공방법은, 사용자 모션을 파악하는 단계; 및 상기 사용자 모션이 복수의 모션들 중 어느 하나에 해당하면, 상기 복수의 모션들에 공통으로 매핑된 기능을 실행하는 단계;를 포함한다.According to another aspect of the present invention, there is provided a UI providing method comprising: grasping a user's motion; And executing a function commonly mapped to the plurality of motions if the user motion corresponds to any one of a plurality of motions.

그리고, 상기 실행단계는, 상가 사용자 모션의 종류에 따라, 상기 기능을 수행하는데 부수되는 시각적 효과를 다르게 표시하면서, 상기 기능을 실행하는 것이 바람직하다.It is preferable that the execution step performs the function while displaying the visual effect associated with performing the function differently depending on the type of the up-per-side user motion.

또한, 상기 시각적 효과의 세부 내용은, 상기 사용자 모션을 기술하는 파라미터들 중 적어도 하나를 기초로 결정되는 것이 바람직하다.In addition, the details of the visual effect are preferably determined based on at least one of the parameters describing the user motion.

그리고, 상기 시각적 효과를 구성하는 시각적 요소들은, 대응하는 파라미터의 크기에 비례할 수 있다.And, the visual elements constituting the visual effect may be proportional to the size of the corresponding parameter.

또한, 상기 시각적 효과의 세부 내용은, 상기 시각적 효과가 반영될 컨텐츠의 내용 또는 바탕의 내용에 따라 결정될 수 있다.In addition, the details of the visual effect may be determined according to the content of the content or the content of the background to be reflected in the visual effect.

그리고, 상기 시각적 효과는, 애니메이션 효과일 수 있다.And, the visual effect may be an animation effect.

또한, 기능과 복수의 모션들의 매핑 상태는, 어플리리케이션 마다 상이한 것 이 바람직하다.It is preferable that the function and the mapping state of the plurality of motions are different for each application.

그리고, 상기 실행단계는, 상가 사용자 모션의 종류에 따라, 상기 기능을 수행하는데 부수되는 청각적 효과 및 촉각적 효과 중 적어도 하나를 다르게 표시하면서, 상기 기능을 실행할 수 있다.In the execution step, the function may be executed while displaying at least one of the auditory effect and the tactile effect accompanying the function according to the type of the up-per-side user motion.

한편, 본 발명에 따른, 디바이스는, 사용자 모션을 감지하는 감지부; 및 상기 감지부에서 감지된 사용자 모션이 복수의 모션들 중 어느 하나에 해당하면, 상기 복수의 모션들에 공통으로 매핑된 기능이 실행되도록 제어하는 제어부;를 포함한다.According to another aspect of the present invention, there is provided a device including: a sensing unit sensing a user motion; And a controller for controlling a function mapped in common to the plurality of motions to be performed when the user motion sensed by the sensing unit corresponds to any one of a plurality of motions.

그리고, 상기 제어부는, 상가 사용자 모션의 종류에 따라, 상기 기능을 수행하는데 부수되는 시각적 효과가 다르게 표시되면서, 상기 기능이 실행되도록 제어하는 것이 바람직하다.Preferably, the control unit controls the function to be performed while the visual effect associated with performing the function is displayed differently according to the type of up-and-down user's motion.

또한, 상기 시각적 효과의 세부 내용은, 상기 사용자 모션을 기술하는 파라미터들 중 적어도 하나를 기초로 결정되는 것이 바람직하다.In addition, the details of the visual effect are preferably determined based on at least one of the parameters describing the user motion.

그리고, 상기 시각적 효과를 구성하는 시각적 요소들은, 대응하는 파라미터의 크기에 비례할 수 있다.And, the visual elements constituting the visual effect may be proportional to the size of the corresponding parameter.

또한, 상기 시각적 효과의 세부 내용은, 상기 시각적 효과가 반영될 컨텐츠의 내용 또는 바탕의 내용에 따라 결정될 수 있다.In addition, the details of the visual effect may be determined according to the content of the content or the content of the background to be reflected in the visual effect.

그리고, 상기 시각적 효과는, 애니메이션 효과일 수 있다.And, the visual effect may be an animation effect.

또한, 기능과 복수의 모션들의 매핑 상태는, 어플리리케이션 마다 상이한 것이 바람직하다.In addition, it is preferable that the function and the mapping state of a plurality of motions are different for each application.

그리고, 상기 제어부는, 상가 사용자 모션의 종류에 따라, 상기 기능을 수행하는데 부수되는 청각적 효과 및 촉각적 효과 중 적어도 하나가 다르게 표시되면서, 상기 기능이 실행되도록 제어할 수 있다.The controller may control the function to be performed while displaying at least one of an auditory effect and a tactile effect incident to performing the function differently depending on the type of the user in the up-and-down user.

이상 설명한 바와 같이, 본 발명에 따르면, 사용자 모션이 복수의 모션들 중 어느 하나에 해당하면, 그 복수의 모션들에 공통으로 매핑된 기능을 실행할 수 있게 된다. 이에 따라, 특정 기능을 명령할 수 있는 모션이 여러 가지가 있으므로, 사용자는 익숙하거나 원하는 모션을 입력하여 보다 편리하고 자유롭게 기능 명령을 입력할 수 있게 된다.As described above, according to the present invention, when user motion corresponds to any one of a plurality of motions, it is possible to execute a function commonly mapped to the motions. Accordingly, since there are a plurality of motions for commanding a specific function, the user can enter the function command more conveniently and freely by inputting a familiar or desired motion.

또한, 사용자의 모션 마다 나타나는 시각적인 효과가 다르므로, 사용자는 기존의 UI 보다 더한 엔터테인먼트를 느낄 수 있게 된다.In addition, since the visual effects appearing for each motion of the user are different, the user can feel more entertainment than the existing UI.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in detail with reference to the drawings.

1. 바람직한 1. Preferred 실시예Example

도 1의 (a)에는 터치 스크린(TS)에 GUI가 나타난 모바일 폰(MP)을 도시하였다. 도 1의 (a)에 도시된 바에 따르면, GUI에는 하나의 이미지가 나타나 있음을 확인할 수 있다.FIG. 1 (a) shows a mobile phone MP in which a GUI is displayed on a touch screen TS. As shown in FIG. 1 (a), it can be seen that one image is displayed in the GUI.

한편, 도 1의 (b)는 사용자에 의해 수행되는 '모바일 폰(MP)의 우측 부분을 두드리는 모션(Tip)'을 의미한다. 도 1의 (b)에 따라 사용자가 모바일 폰(MP)의 우측 부분을 두드리는 경우에 나타나는 GUI의 변화를, 도 1의 (c) 내지 (f)에 걸 쳐 도시하였다.Meanwhile, FIG. 1 (b) shows a 'tip' that hits the right part of the mobile phone MP performed by the user. 1 (c) to Fig. 1 (f), the change of the GUI that occurs when the user hits the right portion of the mobile phone MP according to Fig. 1 (b).

도 1의 (c) 내지 (f)에 걸쳐 도시된 바에 따르면, GUI에는 '다음 이미지가 사용자가 두드린 모바일 폰(MP)의 우측 부분에서 출현한 후, 지그재그 궤적을 그리면서 이미 나타나 있는 현재 이미지의 위에 떨어지는 방식으로 나타나는 시각적 효과'가 나타났음을 확인할 수 있다.1 (c) to FIG. 1 (f), the GUI displays' the next image appears in the right part of the mobile phone MP that the user taps, and then the zigzag trajectory is drawn, A visual effect that appears in a manner of falling on top ".

만약, 사용자가 모바일 폰(MP)의 "좌측" 부분을 두드렸다면, GUI에는 "이전" 이미지가 사용자가 두드린 모바일 폰(MP)의 "좌측" 부분에서 출현한 후, 지그재그 궤적을 그리면서 이미 나타나 있는 현재 이미지의 위에 떨어지는 방식으로 나타나는 시각적 효과가 나타났을 것이다.If the user has knocked on the "left" part of the mobile phone MP, then the GUI will appear in the " previous "part of the mobile phone MP tapped by the user, You will see a visual effect that appears in a way that falls on top of the current image.

한편, 도 2의 (a)에도 터치 스크린(TS)에 GUI가 나타난 모바일 폰(MP)을 도시하였다. 도 2의 (b)는 사용자에 의해 수행되는 '모바일 폰(MP)을 좌측 방향의 허공에 가볍게 치는 모션(Snap)'을 의미한다. 도 2의 (b)에 따라 사용자가 모바일 폰(MP)을 좌측 방향의 허공에 가볍게 치는 경우에 나타나는 GUI의 변화를, 도 2의 (c) 내지 (f)에 걸쳐 도시하였다.Meanwhile, FIG. 2 (a) also shows a mobile phone MP in which a GUI is displayed on the touch screen TS. FIG. 2 (b) shows a 'motion Snap' in which the mobile phone MP is lightly moved in the air in the left direction, which is performed by the user. 2 (b), the change of the GUI that occurs when the user lightly hits the mobile phone MP in the left-hand direction space is shown in FIGS. 2 (c) to 2 (f).

도 2의 (c) 내지 (f)에 걸쳐 도시된 바에 따르면, GUI에는 '다음 이미지가 사용자가 모바일 폰(MP)을 가볍게 친 방향인 좌측 방향으로 출현한 후, 회전하는 궤적을 그리면서 이미 나타나 있는 현재 이미지의 위에 떨어지는 방식으로 나타나는 시각적 효과'가 나타났음을 확인할 수 있다.Referring to FIGS. 2 (c) to 2 (f), in the GUI, the 'next image' appears in the left direction of the mobile phone MP, A visual effect that appears in a way that falls on top of the current image '.

만약, 사용자가 모바일 폰(MP)을 "우측" 방향의 허공에 가볍게 쳤다면, GUI에는 "이전" 이미지가 사용자가 두드린 모바일 폰(MP)을 가볍게 친 방향인 "우측" 방향으로 출현한 후, 회전하는 궤적을 그리면서 이미 나타나 있는 현재 이미지의 위에 떨어지는 방식으로 나타나는 시각적 효과가 나타났을 것이다.If the user hits the mobile phone MP lightly in the " right "direction, the GUI displays the" previous "image in the" right " The visual effect that appears in the way of falling on top of the current image that has already appeared while drawing a rotating trajectory may have appeared.

한편, 도 3의 (a)에도 터치 스크린(TS)에 GUI가 나타난 모바일 폰(MP)을 도시하였다. 도 3의 (b)는 사용자에 의해 수행되는 '모바일 폰(MP)을 위로 들어올렸다 내리는 모션(Bounce)'을 의미한다. 도 3의 (b)에 따라 사용자가 모바일 폰(MP)을 위로 들어올렸다 내리는 경우에 나타나는 GUI의 변화를, 도 3의 (c) 내지 (f)에 걸쳐 도시하였다.Meanwhile, FIG. 3A also shows a mobile phone MP in which a GUI is displayed on the touch screen TS. FIG. 3 (b) shows a 'Bounce' in which the mobile phone MP is lifted up and down by the user. 3 (c) to Fig. 3 (f) show the change of the GUI when the user lifts up and down the mobile phone MP according to Fig. 3 (b).

도 3의 (c) 내지 (f)에 걸쳐 도시된 바에 따르면, GUI에는 '다음 이미지가 모바일 폰(MP)의 위에서 출현한 후, 아래로 떨어지는 궤적을 그리면서 이미 나타나 있는 현재 이미지의 위에 떨어지는 방식으로 나타나는 시각적 효과'가 나타났음을 확인할 수 있다.3 (c) through 3 (f), the GUI displays the following message: 'the next image appears above the mobile phone MP, then follows the downward trajectory, Visual effect "as shown in FIG.

만약, 사용자가 모바일 폰(MP)을 아래로 내렸다가 위로 들어올리면, GUI에는 "이전" 이미지가 모바일 폰(MP)의 아래에서 출현한 후, 위로 올라오는 궤적을 그리면서 이미 나타나 있는 현재 이미지의 위로 올라오는 방식으로 나타나는 시각적 효과'가 나타났을 것이다.If the user pulls down the mobile phone (MP) and lifts it up, the GUI displays a "previous" image below the mobile phone (MP), then draws the upward trajectory, A visual effect that appears in the way of climbing up ".

한편, 도 4의 (a)에도 터치 스크린(TS)에 GUI가 나타난 모바일 폰(MP)을 도시하였다. 도 4의 (b)는 사용자에 의해 수행되는 '모바일 폰(MP)을 좌측 방향으로 회전시키는 모션(Rotate)'을 의미한다. 도 4의 (b)에 따라 사용자가 모바일 폰(MP)을 좌측 방향으로 회전시키는 경우에 나타나는 GUI의 변화를, 도 4의 (c) 내지 (f)에 걸쳐 도시하였다.Meanwhile, FIG. 4 (a) also shows a mobile phone MP having a GUI on the touch screen TS. FIG. 4B shows a 'Rotate' in which the mobile phone MP is rotated in the left direction, which is performed by the user. The change of the GUI displayed when the user rotates the mobile phone MP in the left direction according to (b) of FIG. 4 is shown throughout (c) to (f) of FIG.

도 4의 (c) 내지 (f)에 걸쳐 도시된 바에 따르면, GUI에는 '다음 이미지가 사용자가 모바일 폰(MP)을 회전시킨 방향인 좌측 방향으로 출현한 후, 미끄러지는 궤적을 그리면서 이미 나타나 있는 현재 이미지의 위에 겹쳐지는 방식으로 나타나는 시각적 효과'가 나타났음을 확인할 수 있다.4 (c) to FIG. 4 (f), in the GUI, 'the next image appears in the left direction, which is the direction in which the user rotates the mobile phone MP, A visual effect that appears in a way that overlaps the current image.

만약, 사용자가 모바일 폰(MP)을 "우측" 방향으로 회전시켰다면, GUI에는 "이전" 이미지가 사용자가 모바일 폰(MP)을 회전시킨 방향인 "우측" 방향으로 출현한 후, 미끄러지는 궤적을 그리면서 이미 나타나 있는 현재 이미지의 위에 겹쳐지는 방식으로 나타나는 시각적 효과'가 나타났을 것이다.If the user rotates the mobile phone MP in the " right "direction, the GUI displays the " previous" image in the "right" The visual effect appears in a way that overlaps the current image that has already been shown.

이상 설명한 도 1 내지 도 4에 도시된 바에 따르면, 사용자가As shown in the above-described Figs. 1 to 4,

1) 모바일 폰(MP)의 우측 부분을 두드리는 모션(Tip),1) a tip for tapping the right side of the mobile phone (MP)

2) 모바일 폰(MP)을 우측 방향의 허공에 가볍게 치는 모션(Snap),2) a motion (Snap) to lightly move the mobile phone (MP) to the air in the right direction,

3) 모바일 폰(MP)을 위로 들어올렸다 내리는 모션(Bounce), 및3) Bounce up and down the mobile phone (MP), and

4) 모바일 폰(MP)을 좌측 방향으로 회전시키는 모션(Rotate)4) Rotate the mobile phone MP to the left direction,

중 어느 하나를 수행한 경우에는, 터치 스크린(TS)에 이미 나타난 현재 이미지가 사라지고 다음 이미지가 터치 스크린(TS)에 나타나게 된다. 즉, 사용자가 수행한 모션의 종류는 각기 다르지만, 모바일 폰(MP)에서 실행되는 기능은 모션의 종류에 상관없이 모두 동일하다. 이는, 위 4가지의 모션 모두에 대해, '이미지 넘기기'의 기능이 매핑되어 있기 때문이다.The current image already displayed on the touch screen TS disappears and the next image is displayed on the touch screen TS. That is, although the kinds of motions performed by the user are different, the functions executed in the mobile phone MP are the same regardless of the types of motions. This is because the function of 'image flipping' is mapped for all four motions.

다만, 이미지가 넘어가는 과정, 즉 이미 나타난 현재 이미지가 사라지고 다음 이미지가 나타나는 과정에서 제공되는 시각적 효과는, 사용자에 의해 수행된 모션 마다 각기 다른 애니메이션으로 나타남은 이미 확인한 바와 같다.However, it is already confirmed that the visual effect provided in the process of passing the image, that is, the present image disappearing and the next image appears, is displayed as a different animation for each motion performed by the user.

2. 시각적 효과2. Visual effects

(1) 모션(1) Motion of 파라미터를 기초로 결정 Determined based on parameters

동일한 종류의 모션이라도, 그 모션의 궤적에 따라 시각적 효과가 각기 다르게 나타나도록 구현가능하다. 구체적으로, 동일한 종류의 모션인 경우, 시각적 효과들이 기본적으로 유사하도록 하되, 모션의 궤적에 따라 시각적 효과를 구성하는 시각적 요소들이 세부적으로 약간 차이가 있도록 구현하는 것이다.The same kind of motion can be implemented so that the visual effects appear differently depending on the trajectory of the motion. Specifically, in the case of the same type of motion, the visual effects are basically similar, but the visual elements constituting the visual effect are slightly different in detail according to the trajectory of the motion.

예를 들어, 모션이 '모바일 폰(MP)을 두드리는 모션(Tip)'으로 판명된 경우, 시각적인 효과는 기본적으로 도 1의 (c) 내지 (f)에 걸쳐 도시된 바와 같이 나타나도록 하되, 보다 구체적으로는,For example, if the motion is determined to be 'a tip knocking on the mobile phone MP', the visual effect should basically appear as shown in FIG. 1 (c) through (f) More specifically,

1) 다음 이미지가 나타나는 방향은, 모션의 궤적을 분석하여 판단한 모션의 방향을 기초로 결정하고,1) The direction in which the next image appears is determined based on the direction of the motion determined by analyzing the trajectory of the motion,

2) 다음 이미지가 나타나는 속도는, 모션의 궤적을 분석하여 판단한 모션의 속도를 기초로 결정하며,2) The speed at which the next image appears is determined based on the speed of the motion determined by analyzing the trajectory of the motion,

예를 들면, 모션의 속도가 빠르면 다음 이미지가 나타나는 속도도 빠르고, 모션의 속도가 느리면 다음 이미지가 나타나는 속도도 느리게 하는 방법에 의해, 다음 이미지가 나타나는 속도가 모션의 속도에 비례하도록 하고,For example, if the speed of the motion is fast, the speed at which the next image appears is fast. If the speed of the motion is slow, the speed at which the next image appears is proportional to the speed of the motion,

3) 다음 이미지가 나타나면서 흔들리는(회전하는) 정도는, 모션의 궤적을 분석하여 판단한 모션의 흔들림(회전) 정도를 기초로 결정하며,3) The extent to which the next image appears and is shaken (rotated) is determined based on the degree of motion (rotation) of the motion determined by analyzing the trajectory of the motion,

예를 들면, 모션의 흔들림(회전) 정도가 크면 다음 이미지가 나타나면서 흔들리는(회전하는) 정도도 크고, 모션의 흔들림(회전) 정도가 작으면 다음 이미지가 나타나면서 흔들리는(회전하는) 정도도 작게 하는 방법에 의해, 다음 이미지가 나타나면서 흔들리는(회전하는) 정도가, 모션의 흔들림(회전) 정도에 비례하도록 하고,For example, if the degree of motion shake (rotation) is large, the next image is displayed, and the degree of shaking (rotation) is large. When the degree of motion shake (rotation) is small, , The degree of shaking (rotating) by the next image appears to be proportional to the degree of motion (rotation) of the motion,

4) 다음 이미지가 나타나면서 움직이는 폭은, 모션의 궤적을 분석하여 판단한 모션의 움직임 폭을 기초로 결정하는 것이다.4) As the next image appears, the moving width is determined based on the motion width of the determined motion by analyzing the trajectory of the motion.

예를 들면, 모션의 움직임 폭이 크면 다음 이미지가 나타나면서 움직이는 폭도 크고, 모션의 움직임 폭이 작으면 다음 이미지가 나타나면서 움직이는 폭도 작게 하는 방법에 의해, 다음 이미지가 나타나면서 움직이는 폭이 모션의 움직임 폭에 비례하도록 하는 것이다.For example, if the motion width of the motion is large, the next image is displayed and the moving width is large. If the motion width is small, the next image is displayed and the moving width is decreased. To be proportional to the width.

이에 따르면, 시각적 효과의 세부적인 내용은, 모션을 기술하는 파라미터들인 모션의 방향, 속도, 흔들림(회전) 정도, 움직임 폭 등을 기초로 결정할 수 있다. 물론, 이들과 다른 종류의 파라미터를 기초로, 시각적 효과의 세부적인 내용을 결정하는 것도 가능함은 물론이다.According to this, the details of the visual effect can be determined on the basis of the parameters describing the motion, such as direction, speed, shake (degree of rotation), motion width, and the like. Of course, it is of course possible to determine the details of visual effects based on these and other kinds of parameters.

(2) 이미지의 또는 (2) of the image or GUIGUI 의 내용을 기초로 결정Based on the contents of

동일한 종류의 모션이라도, 각기 다르게 나타나는 시각적 효과의 세부적인 내용은 모션 파라미터 이외의 다른 요소에 기초할 수도 있다.Even with the same kind of motion, the details of each different visual effect may be based on other factors than the motion parameters.

다른 요소로 상정할 수 있는 것 중의 하나가, 이미지의 내용이다. 예를 들어, 이미지가 밝거나, 작거나, 가벼운 느낌의 재질이거나, 수록 내용이 역동적인 경우에는, 다음 이미지가 나타나는 속도, 다음 이미지가 나타나면서 흔들리는(회전하는) 정도 및 다음 이미지가 나타나면서 움직이는 폭 등이 큰 시각적 효과를 생성하는 것이다.One of the other things that can be assumed is the content of the image. For example, if the image is light, small, light, or dynamic, the speed at which the next image appears, the next image appears to swing (rotate), and the next image appears Width and so on.

반면, 이미지가 어둡거나, 크거나, 무거운 느낌의 재질이거나, 수록 내용이 정적인 경우에는, 다음 이미지가 나타나는 속도, 다음 이미지가 나타나면서 흔들리는(회전하는) 정도 및 다음 이미지가 나타나면서 움직이는 폭 등이 작은 시각적 효과를 생성한다.On the other hand, if the image is dark, large, or heavy, or if the contents are static, the speed at which the next image appears, the next image appears to swing (rotate) This creates a small visual effect.

이미지의 내용 뿐만 아니라, GUI 바탕 화면의 내용을 기초로, 시각적 효과의 세부적인 내용이 각기 다르게 나타나도록 할 수 있다.The detailed contents of the visual effect can be displayed differently based on the content of the image as well as the contents of the GUI desktop.

예를 들어, GUI 바탕 화면이 밝거나, 작거나, 가벼운 느낌의 재질이거나, 수록 내용이 역동적인 경우에는, 다음 이미지가 나타나는 속도, 다음 이미지가 나타나면서 흔들리는(회전하는) 정도 및 다음 이미지가 나타나면서 움직이는 폭 등이 큰 시각적 효과를 생성하는 것이다.For example, if the GUI desktop is bright, small, or lightweight, or if the content is dynamic, the speed at which the next image appears, the next image appears to shake (rotate), and the next image appears And the width of the movement creates a large visual effect.

3. 기타3. Other

위 실시예들에서는 모바일 폰(MP)에서 현재 실행되고 있는 어플리케이션을 이미지 뷰어로 상정하였기에, 터치 스크린(TS)에 이미지 뷰어의 UI가 표시되었다.In the above embodiments, the application currently being executed in the mobile phone (MP) is assumed as the image viewer, and the UI of the image viewer is displayed on the touch screen (TS).

만약, 이미지 뷰어가 아닌 다른 어플리케이션(예를 들면, 음악 재생기)의 UI에서는, 위에서 제시한 모션들이 다른 기능에 매핑될 수 있다. 그리고, 이 경우, 제시한 4가지 모션들 중 일부는 동일한 기능에 매핑될 수 있지만, 나머지는 다른 기능에 매핑될 수 있음은 물론이다.If, in the UI of an application other than the image viewer (e.g., a music player), the motions presented above can be mapped to other functions. And, in this case, it is needless to say that some of the proposed four motions can be mapped to the same function, but the rest can be mapped to other functions.

또한, 위 실시예에서, 모션의 종류 마다 시각적 효과가 다르게 나타나는 것으로 상정하였으나, 이 역시 설명의 편의를 위한 일 예에 불과하다. 모션의 종류 마다 청각적 효과 또는 촉각적 효과가 다르게 나타나도록 구현하는 경우에도, 본 발명의 기술적 사상이 그대로 적용될 수 있다.Also, in the above embodiment, it is assumed that visual effects appear differently for each kind of motion, but this is also only an example for convenience of explanation. The technical idea of the present invention can be applied as it is in the case where the auditory effect or the tactile effect is different for each kind of motion.

4. 본 발명이 적용가능한 4. Where the present invention is applicable 디바이스device

위 실시예들에서는 모바일 폰(MP)에서 제공되는 UI를 상정하였는데, 모바일 폰(MP) 이외의 다른 디바이스의 경우도 본 발명의 기술적 사상이 적용될 수 있다. 예를 들어, MP3 플레이어나, 디지털 카메라, 디지털 캠코더, PMP 등의 다른 디바이스에도 본 발명이 적용될 수 있다.In the above embodiments, the UI provided in the mobile phone (MP) is assumed. However, the technical idea of the present invention can also be applied to a device other than the mobile phone (MP). For example, the present invention can be applied to other devices such as an MP3 player, a digital camera, a digital camcorder, and a PMP.

도 5에는 본 발명이 적용가능한 디바이스의 블럭도를 도시하였다. 도 6에 도시된 바와 같이, 디바이스는 기능 블럭(110), 터치 스크린(120), 제어부(130), 저장부(140) 및 모션 감지부(150)를 구비한다.FIG. 5 shows a block diagram of a device to which the present invention is applicable. 6, the device includes a functional block 110, a touch screen 120, a control unit 130, a storage unit 140, and a motion sensing unit 150.

기능 블럭(110)은 디바이스 본연의 기능을 수행한다. 만약, 디바이스가 모바일 폰인 경우 기능 블럭(110)은 전화 통화, SMS 등을 수행하고, 만약, 디바이스가 MP3 플레이어인 경우 기능 블럭(110)은 MP3 파일 재생을 수행한다.The function block 110 performs the function inherent in the device. If the device is a mobile phone, the function block 110 performs phone call, SMS, and the like, and if the device is an MP3 player, the function block 110 performs MP3 file playback.

터치 스크린(120)은 기능 블럭(110)의 기능 수행 결과 및 GUI가 표시되는 디스플레이 수단으로 기능하고, 사용자 명령을 입력하기 위한 사용자 조작 수단으로 기능한다.The touch screen 120 functions as a display means for displaying a function execution result of the function block 110 and a GUI, and as a user operation means for inputting a user command.

저장부(140)는 기능 블럭(110)의 기능 수행과 GUI 제공에 필요한 프로그램, 컨텐츠, 기타 데이터가 저장되는 저장매체이다.The storage unit 140 is a storage medium for storing programs, contents, and other data necessary for performing functions of the functional block 110 and providing a GUI.

모션 감지부(150)는 디바이스를 손에 든 상태로 이루어지는 사용자의 모션을 감지하고, 모션 감지 결과를 제어부(130)로 전달한다.The motion sensing unit 150 senses the motion of the user who is in the state of holding the device, and transmits the motion sensing result to the control unit 130.

제어부(130)는 모션 감지부(150)의 모션 감지 결과를 기초로, 모션의 종류를 파악하고, 모션 파라미터를 분석한다. 그리고, 제어부(130)는 파악 결과 및 분석 결과를 이용하여, 시각적 효과가 나타나면서 해당 기능이 수행되도록 기능 블럭(110)을 제어하고 터치 스크린(120)의 GUI 표시 상태를 제어한다. 이하에서는, 이 과정에 대해 도 6을 참조하여 상세히 설명한다.Based on the motion detection result of the motion sensing unit 150, the control unit 130 determines the type of motion and analyzes motion parameters. The control unit 130 controls the function block 110 and controls the GUI display state of the touch screen 120 so that the corresponding function is performed while the visual effect is displayed, using the result of the analysis and the analysis result. Hereinafter, this process will be described in detail with reference to FIG.

도 6은 본 발명의 또 다른 실시예에 따른 UI 제공방법의 설명에 제공되는 도면이다.6 is a view for explaining a UI providing method according to another embodiment of the present invention.

도 6에 도시된 바와 같이, 먼저 모션 감지부(150)가 사용자에 의해 수행된 모션을 감지하면(S210-Y), 제어부(130)는 감지된 모션의 종류를 파악한다(S220).As shown in FIG. 6, when the motion sensing unit 150 senses a motion performed by the user (S210-Y), the controller 130 determines the type of the sensed motion (S220).

S220단계에서 파악된 모션이 특정 기능에 공통으로 매핑되어 있는 모션들 중 하나에 해당하면(S230-Y), 제어부(130)는 파악된 모션의 종류를 기초로, 시각적 효과의 기본 내용을 결정한다(S240).If the motion identified in step S220 corresponds to one of the motions commonly mapped to the specific function (S230-Y), the control unit 130 determines the basic contents of the visual effect based on the type of the detected motion (S240).

현재 실행되고 있는 어플리케이션이 이미지 뷰어인 경우를 예로 들면, '특정 기능에 공통으로 매핑되어 있는 모션들'은, 1) 모바일 폰(MP)의 우측 부분을 두드리는 모션(Tip), 2) 모바일 폰(MP)을 우측 방향의 허공에 가볍게 치는 모션(Snap), 3) 모바일 폰(MP)을 위로 들어올렸다 내리는 모션(Bounce), 및 4) 모바일 폰(MP)을 좌측 방향으로 회전시키는 모션(Rotate) 등일 수 있다.For example, in the case where the currently executed application is an image viewer, 'motions mapped in common to a specific function' include: 1) a motion of tapping the right portion of a mobile phone (MP); 2) 3) a bounce up and down mobile phone MP; and 4) a motion to rotate the mobile phone MP in the left direction. And so on.

그리고, 시각적 효과의 기본 내용은, 시각적 효과를 통해 나타나는 애니메이션의 내용 등을 말한다.The basic contents of the visual effect refers to the contents of the animation that are displayed through visual effects.

이후, 제어부(130)는 모션 파라미터를 분석하고(S250), 분석된 모션 파라미터를 기초로, 시각적 효과의 세부 내용을 결정한다(S260).Thereafter, the controller 130 analyzes the motion parameters (S250), and determines details of the visual effects based on the analyzed motion parameters (S260).

여기서, 모션 파라미터는, 예를 들면, 모션의 방향, 속도, 흔들림(회전) 정도, 움직임 폭 등을 말한다. 그리고, 시각적 효과의 세부 내용은, 시각적 효과에서 나타날 움직임의 방향, 속도, 흔들림(회전) 정도, 움직임 폭 등을 말한다.Here, the motion parameter refers to, for example, the direction, speed, shake (degree of rotation), motion width, and the like of the motion. The details of the visual effect refer to the direction, speed, shake (degree of rotation), motion width, etc. of the motion to be displayed in the visual effect.

이후, 제어부(130)는 S240단계와 S260단계에서 결정된 내용의 시각적 효과를 표시하면서, 해당 기능이 실행되도록 기능 블럭(110)과 터치 스크린(120)을 제어한다(S270).The controller 130 controls the function block 110 and the touch screen 120 to perform the corresponding functions while displaying the visual effects of the contents determined in the steps S240 and S260 in operation S270.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the spirit and scope of the present invention.

도 1 내지 도 4는, 본 발명의 바람직한 실시예의 설명에 제공되는 도면,BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a perspective view of a first embodiment of the present invention, Fig.

도 5는 본 발명이 적용가능한 디바이스의 블럭도, 그리고,5 is a block diagram of a device to which the present invention is applicable,

도 6은 본 발명의 또 다른 실시예에 따른 UI 제공방법의 설명에 제공되는 도면이다.6 is a view for explaining a UI providing method according to another embodiment of the present invention.

Claims (16)

사용자 모션을 파악하는 단계; 및Determining a user motion; And 상기 사용자 모션이 복수의 서로 다른 종류의 모션들 중 어느 하나에 해당하면, 상기 복수의 서로 다른 종류의 모션들에 공통으로 매핑된 기능을 실행하는 단계;를 포함하고,And executing a function that is commonly mapped to the plurality of different kinds of motions if the user motion corresponds to any one of a plurality of different kinds of motions, 상기 실행하는 단계는,Wherein the performing comprises: 상기 사용자 모션의 종류에 따라, 상기 기능을 수행하는데 부수되는 시각적 효과를 다르게 표시하면서, 상기 기능을 실행하는 것을 특징으로 하는 UI 제공방법.Wherein the function is executed while displaying a visual effect associated with performing the function differently according to the type of the user's motion. 삭제delete 제 1항에 있어서,The method according to claim 1, 상기 시각적 효과의 세부 내용은,The details of the visual effect are, 상기 사용자 모션을 기술하는 파라미터들 중 적어도 하나를 기초로 결정되는 것을 특징으로 하는 UI 제공방법.Wherein the determination is based on at least one of the parameters describing the user motion. 제 3항에 있어서,The method of claim 3, 상기 시각적 효과를 구성하는 시각적 요소들은,The visual elements that make up the visual effect, 대응하는 파라미터의 크기에 비례하는 것을 특징으로 하는 UI 제공방법.Is proportional to the size of the corresponding parameter. 제 1항에 있어서,The method according to claim 1, 상기 시각적 효과의 세부 내용은,The details of the visual effect are, 상기 시각적 효과가 반영될 컨텐츠의 내용 또는 바탕의 내용에 따라 결정되는 것을 특징으로 하는 UI 제공방법.Wherein the visual effect is determined according to the content of the content or the content of the background to be reflected. 제 1항에 있어서,The method according to claim 1, 상기 시각적 효과는,The visual effect, 애니메이션 효과인 것을 특징으로 하는 UI 제공방법.Wherein the animation is an animation effect. 제 1항에 있어서,The method according to claim 1, 기능과 복수의 모션들의 매핑 상태는,The function and the mapping state of the plurality of motions, 어플리리케이션 마다 상이한 것을 특징으로 하는 UI 제공방법.A method of providing a UI characterized by being different for each application. 제 1항에 있어서,The method according to claim 1, 상기 실행단계는,Wherein, 상가 사용자 모션의 종류에 따라, 상기 기능을 수행하는데 부수되는 청각적 효과 및 촉각적 효과 중 적어도 하나를 다르게 표시하면서, 상기 기능을 실행하는 것을 특징으로 하는 UI 제공방법.Wherein the function is executed while displaying at least one of an auditory effect and a tactile effect associated with performing the function differently depending on the type of the downtown user's motion. 사용자 모션을 감지하는 감지부; 및A sensing unit sensing a user motion; And 상기 감지부에서 감지된 사용자 모션이 복수의 서로 다른 종류의 모션들 중 어느 하나에 해당하면, 상기 복수의 서로 다른 종류의 모션들에 공통으로 매핑된 기능이 실행되도록 제어하는 제어부;를 포함하고,And a controller for controlling a function mapped to the plurality of different kinds of motions to be performed when the user motion sensed by the sensing unit corresponds to any one of a plurality of different types of motions, 상기 제어부는,Wherein, 상가 사용자 모션의 종류에 따라, 상기 기능을 수행하는데 부수되는 시각적 효과가 다르게 표시되면서, 상기 기능이 실행되도록 제어하는 것을 특징으로 하는 디바이스.Wherein the control unit controls the function to be performed while the visual effect accompanying the function is displayed differently according to the type of the moving image user motion. 삭제delete 제 9항에 있어서,10. The method of claim 9, 상기 시각적 효과의 세부 내용은,The details of the visual effect are, 상기 사용자 모션을 기술하는 파라미터들 중 적어도 하나를 기초로 결정되는 것을 특징으로 하는 디바이스.Wherein the user motion is determined based on at least one of the parameters describing the user motion. 제 11항에 있어서,12. The method of claim 11, 상기 시각적 효과를 구성하는 시각적 요소들은,The visual elements that make up the visual effect, 대응하는 파라미터의 크기에 비례하는 것을 특징으로 하는 디바이스.Is proportional to the size of the corresponding parameter. 제 9항에 있어서,10. The method of claim 9, 상기 시각적 효과의 세부 내용은,The details of the visual effect are, 상기 시각적 효과가 반영될 컨텐츠의 내용 또는 바탕의 내용에 따라 결정되는 것을 특징으로 하는 디바이스.Wherein the visual effect is determined according to the content of the content to be reflected or the content of the background. 제 9항에 있어서,10. The method of claim 9, 상기 시각적 효과는,The visual effect, 애니메이션 효과인 것을 특징으로 하는 디바이스.Lt; RTI ID = 0.0 > animation < / RTI > effect. 제 9항에 있어서,10. The method of claim 9, 기능과 복수의 모션들의 매핑 상태는,The function and the mapping state of the plurality of motions, 어플리리케이션 마다 상이한 것을 특징으로 하는 디바이스.A device according to any of the preceding claims, characterized in that it is different for each application. 제 9항에 있어서,10. The method of claim 9, 상기 제어부는,Wherein, 상가 사용자 모션의 종류에 따라, 상기 기능을 수행하는데 부수되는 청각적 효과 및 촉각적 효과 중 적어도 하나가 다르게 표시되면서, 상기 기능이 실행되도록 제어하는 것을 특징으로 하는 디바이스.Wherein at least one of an auditory effect and a tactile effect associated with performing the function is displayed differently according to a type of the downtown user's motion so that the function is executed.
KR1020090078367A 2009-08-24 2009-08-24 Method for providing UI mapping a plurality of motions on common function and device using the same KR101624122B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020090078367A KR101624122B1 (en) 2009-08-24 2009-08-24 Method for providing UI mapping a plurality of motions on common function and device using the same
US13/392,364 US20120151415A1 (en) 2009-08-24 2010-08-24 Method for providing a user interface using motion and device adopting the method
PCT/KR2010/005662 WO2011025239A2 (en) 2009-08-24 2010-08-24 Method for providing a ui using motions, and device adopting the method
EP10812252.4A EP2472374B1 (en) 2009-08-24 2010-08-24 Method for providing a ui using motions

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090078367A KR101624122B1 (en) 2009-08-24 2009-08-24 Method for providing UI mapping a plurality of motions on common function and device using the same

Publications (2)

Publication Number Publication Date
KR20110020644A KR20110020644A (en) 2011-03-03
KR101624122B1 true KR101624122B1 (en) 2016-05-26

Family

ID=43929843

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090078367A KR101624122B1 (en) 2009-08-24 2009-08-24 Method for providing UI mapping a plurality of motions on common function and device using the same

Country Status (1)

Country Link
KR (1) KR101624122B1 (en)

Also Published As

Publication number Publication date
KR20110020644A (en) 2011-03-03

Similar Documents

Publication Publication Date Title
JP6145099B2 (en) Game controller for touch-enabled mobile devices
US11048333B2 (en) System and method for close-range movement tracking
EP2472374B1 (en) Method for providing a ui using motions
TWI533191B (en) Computer-implemented method and computing device for user interface
KR101319264B1 (en) Method for providing UI according to multi touch pressure and electronic device using the same
US8413075B2 (en) Gesture movies
US20150160849A1 (en) Bezel Gesture Techniques
EP2538305A2 (en) System and method for close-range movement tracking
KR20120000663A (en) Apparatus for processing 3d object
CN107066171A (en) The multiwindow switching method and system of touch screen terminal
KR102302233B1 (en) Method and apparatus for providing user interface
JP6141301B2 (en) Dialogue model of indirect dialogue device
CN108268194A (en) Using the display methods of app channel menus, device and mobile terminal
US20180267624A1 (en) Systems and methods for spotlight effect manipulation
CN109529330A (en) Method, apparatus and computer readable storage medium are shared in a kind of game
JP5876600B1 (en) Information processing program and information processing method
KR101624122B1 (en) Method for providing UI mapping a plurality of motions on common function and device using the same
CN111880715A (en) Method and device for editing virtual control in interface, mobile terminal and storage medium
JP6561400B2 (en) Information processing apparatus, information processing program, information processing system, and information processing method
CN114661097A (en) Control method, control device, electronic equipment and storage medium
JP6603024B2 (en) Information processing program, information processing apparatus, information processing system, and information processing method
CN104254011B (en) set-top box cursor movement control method, device and mobile phone
EP4160595A1 (en) Information processing program, information processing system and informatin processing method
KR20200081915A (en) Virtual Reality Karaoke Interaction Method and Apparatus
KR101449844B1 (en) Apparatus for execution application, control method and recording medium thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant