KR101231105B1 - The ui for mobile devices based on motion sensors control system and a method - Google Patents

The ui for mobile devices based on motion sensors control system and a method Download PDF

Info

Publication number
KR101231105B1
KR101231105B1 KR1020100098116A KR20100098116A KR101231105B1 KR 101231105 B1 KR101231105 B1 KR 101231105B1 KR 1020100098116 A KR1020100098116 A KR 1020100098116A KR 20100098116 A KR20100098116 A KR 20100098116A KR 101231105 B1 KR101231105 B1 KR 101231105B1
Authority
KR
South Korea
Prior art keywords
motion
axis
information
event information
value
Prior art date
Application number
KR1020100098116A
Other languages
Korean (ko)
Other versions
KR20120036445A (en
Inventor
김동오
조남혁
전윤기
Original Assignee
엔그램테크놀로지(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔그램테크놀로지(주) filed Critical 엔그램테크놀로지(주)
Priority to KR1020100098116A priority Critical patent/KR101231105B1/en
Publication of KR20120036445A publication Critical patent/KR20120036445A/en
Application granted granted Critical
Publication of KR101231105B1 publication Critical patent/KR101231105B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 휴대기기의 UI를 위한 모션 센서 제어 시스템 및 그 방법에 관한 것으로서, 지자계 센서, 가속 센서, 자이로 센서를 통해 위치와 동작을 감지하여 운동 상태 변화를 측정하고, 측정된 X, Y, Z 축의 로우(RAW) 데이터, 방위각, 롤(Roll) 및 피치(Pitch)에 대한 정보가 포함된 모션 감지 결과를 산출하여 모션 센싱정보를 생성하는 센싱모듈; 모션 센싱정보를 인가받아 모션의 센싱에 따른 변화량을 추출하여 휴대기기에서 발생한 해당 모션을 인식하되, 추출된 변화량이 축방향 움직임 데이터인 경우, 축(Axis)모션 인식정보를 생성하고, 추출된 변화량이 회전 기울기 데이터인 경우, 기울기(Tilt)모션 인식정보를 생성하는 모션데이터 필터링모듈; 축(Axis)모션 인식정보 또는 기울기(Tilt)모션 인식정보를 인가받아 각각 단방향 모션인지 회귀 모션인지 여부를 판단하여, 축(Axis)모션 인식정보가 단방향인 경우, 해당 가속도를 산출하여 단방향 축(Axis)모션 이벤트정보를 생성하고, 축(Axis)모션 인식정보가 양방향인 경우, 해당 가속도를 산출하여 양방향 축(Axis)모션 이벤트정보를 생성하며, 판단결과, 기울기(Tilt)모션 인식정보가 단방향 모션인 경우, 해당 변위각을 산출하여 단방향 기울기(Tilt)모션 이벤트정보를 생성하고, 기울기(Tilt)모션 인식정보가 양방향 모션인 경우, 해당 변위각을 산출하여 양방향 기울기(Tilt)모션 이벤트정보를 생성하는 모션이벤트 생성모듈; 및 단방향 축(Axis)모션 이벤트정보, 양방향 축(Axis)모션 이벤트정보, 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보 중에 어느 하나의 정보를 인가받고, 인가받은 이벤트정보가 화면전환 상태, 제1 커서운용 상태 및 제2 커서운용 상태 중에 어느 상태인지 여부를 판단하여 각각 화면 디스플레이정보, 제1 커서 디스플레이정보 또는 제2 커서 디스플레이정보를 생성하는 디스플레이 제어모듈;을 포함한다.The present invention relates to a motion sensor control system and a method thereof for a UI of a mobile device, and measures a change in movement state by detecting a position and a motion through a geomagnetic sensor, an acceleration sensor, and a gyro sensor, and measures measured X, Y, A sensing module configured to generate motion sensing information by calculating a motion detection result including information on raw data of a Z axis, azimuth, roll, and pitch; Recognizes the motion generated from the mobile device by extracting the change amount according to the motion sensing by receiving the motion sensing information. When the extracted change amount is the axial motion data, the axis motion recognition information is generated and the extracted change amount is detected. A motion data filtering module for generating tilt motion recognition information in the case of the rotation tilt data; The axis motion recognition information or the tilt motion recognition information is applied to determine whether the motion is the unidirectional motion or the regression motion, and when the axis motion recognition information is unidirectional, the corresponding acceleration is calculated to determine the unidirectional axis ( Axis) generates motion event information, and when the axis motion recognition information is bidirectional, calculates the corresponding acceleration to generate bidirectional axis motion event information, and as a result of the determination, the tilt motion recognition information is unidirectional. In the case of motion, the displacement angle is calculated to generate the unidirectional tilt motion event information. When the tilt motion recognition information is the bidirectional motion, the displacement angle is calculated to generate the bidirectional tilt motion event information. A motion event generation module for generating; And one-way axis motion event information, two-way axis motion event information, one-way tilt motion event information, or two-way tilt motion event information, and the authorized event information is received. And a display control module configured to determine which of the screen switching state, the first cursor operating state, and the second cursor operating state to generate screen display information, first cursor display information, or second cursor display information, respectively.

Description

휴대기기의 ＵＩ를 위한 모션 센서 제어 시스템 및 그 방법{THE UI FOR MOBILE DEVICES BASED ON MOTION SENSORS CONTROL SYSTEM AND A METHOD}Motion Sensor Control System and Method for Mobile Device Wifi {THE UI FOR MOBILE DEVICES BASED ON MOTION SENSORS CONTROL SYSTEM AND A METHOD}

본 발명은 휴대기기의 UI를 위한 모션 센서 제어 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 사용자에 의한 휴대용 단말기의 위치 및 동작에 따라 사용자 인터페이스 메뉴를 제어하거나 콘텐츠를 제어하는 기술에 관한 것이다.The present invention relates to a motion sensor control system for a UI of a mobile device and a method thereof, and more particularly, to a technology for controlling a user interface menu or controlling contents according to a location and an operation of a portable terminal by a user.

종래 휴대용 단말기의 사용자 인터페이스는 사용자가 특정한 기능키를 이용하여 사용자가 이용하려는 메뉴를 선택하는 메뉴 방식의 사용자 인터페이스가 널리 사용되고 있다. 이러한 메뉴 방식의 사용자 인터페이스는 특정한 기능키를 이용한 조작으로만 이용이 가능하기 때문에 사용자 인터페이스를 단순한 나열식으로 구성할 수밖에 없게 되며, 이와 같은 단순한 나열식 구조로 인하여 사용자 인터페이스의 확장성이나 직관성이 떨어지는 문제점이 발생한다.BACKGROUND ART In the conventional user interface of a portable terminal, a menu type user interface in which a user selects a menu to be used by a user using a specific function key is widely used. Since the menu-type user interface can be used only by operation using a specific function key, the user interface can only be configured as a simple enumeration type. The simple enumeration structure makes the user interface less scalable or intuitive. A problem occurs.

도 1은 종래의 사용자 인터페이스 메뉴를 제어하는 동작을 나타낸 도면이다. 이러한 특정한 기능키에 의존한 메뉴 방식을 보완하기 위하여 사용자가 손 또는 터치펜을 통해 화면을 직접 터치하여 사용자 인터페이스를 조작하는 도 1과 같은 터치스크린 방식이 이용되고 있으며, 이와 같은 터치스크린 방식은 기존의 버튼 방식에 비해 메뉴 선택이나 조작에 대한 확장성이 향상되어 사용자 인터페이스의 확장성을 향상시키는데 도움이 된다.1 is a diagram illustrating an operation of controlling a conventional user interface menu. In order to supplement the menu method depending on the specific function key, the touch screen method as shown in FIG. 1 in which the user directly touches the screen using a hand or a touch pen to manipulate the user interface is used. Compared to the button method, the expandability of menu selection and operation is improved, which helps to improve the expandability of the user interface.

하지만, 이러한 터치스크린 방식은 사용자가 터치할 수 있는 화면 공간이 한정되어 있기 때문에 사용자가 메뉴를 선택하거나 조작하기 불편하고 인식 오류율이 높다는 문제가 있다.However, such a touch screen method has a problem in that a user may not touch a menu or operate a menu because the screen space that the user can touch is limited, and a recognition error rate is high.

또한, 이러한 터치스크린 방식은 한정된 화면 공간에 메뉴 선택하거나 조작을 위한 메뉴를 구현하기 때문에 휴대용 단말기의 특성상 협소한 화면 공간을 더욱더 협소하게 하여 사용자가 볼 수 있는 문자나 정보량이 줄어드는 문제점이 있고, 특히 사용자가 화면에 손이나 터치펜을 이용하여 화면의 줌인, 줌아웃, 화면 이동, 화면 회전을 조작할 때 도 1의 'A'부분처럼 손으로 화면 대부분을 가리게 되는 문제점이 있다.In addition, since the touch screen method implements a menu for selecting or manipulating a menu in a limited screen space, a narrow screen space becomes narrower due to the characteristics of a portable terminal, thereby reducing the amount of text and information that a user can see. When a user manipulates a zoom in, zoom out, screen movement, and screen rotation of a screen using a hand or a touch pen on the screen, there is a problem in that most of the screen is covered by a hand as in the 'A' part of FIG. 1.

또한, 종래의 인터페이스 메뉴 또는 콘텐츠를 제어하는 방식은 센서에서 측정된 데이터를 이용하여 이미지를 처리하는 이미지 처리부와 처리된 인터페이스 메뉴 또는 콘텐츠에 반영하여 출력하는 플레이어가 일체화된 구성이므로, 추가로 설치한 다른 플레이어가 처리부를 공유할 수 없기 때문에 각각의 플레이어마다 이미지 처리부를 구성해야 하는 비효율성이 발생한다.In addition, the conventional method of controlling the interface menu or content is an integrated configuration of an image processing unit for processing an image using the data measured by the sensor and a player for reflecting and outputting the processed interface menu or content. Since other players cannot share the processing unit, there is an inefficiency in configuring the image processing unit for each player.

본 발명의 목적은, 버튼과 화면상의 아이콘을 터치하여 top-down 형태로 화면 또는 메뉴를 전환하는 기존의 UI구동 방식을 탈피하여, 기기 내의 지자계 센서와 가속도 센서를 이용하여 기기의 움직임에 따라 휴대폰의 메뉴와 컨텐츠를 핸들링하는 새로운 방식의 사용자 인터페이스 구동 방식을 제공함에 있다.An object of the present invention is to move away from the conventional UI driving method of switching the screen or menu in the top-down form by touching the button and the icon on the screen, according to the movement of the device using the geomagnetic sensor and the acceleration sensor in the device The present invention provides a new method of driving a user interface for handling menus and contents of a mobile phone.

이러한 기술적 과제를 달성하기 위한 본 발명의 휴대기기의 UI를 위한 모션 센서 제어 시스템은, 지자계 센서, 가속 센서, 자이로 센서를 통해 위치와 동작을 감지하여 운동 상태 변화를 측정하고, 측정된 X, Y, Z 축의 로우(RAW) 데이터, 방위각, 롤(Roll) 및 피치(Pitch)에 대한 정보가 포함된 모션 감지 결과를 산출하여 모션 센싱정보를 생성하는 센싱모듈; 모션 센싱정보를 인가받아 모션의 센싱에 따른 변화량을 추출하여 휴대기기에서 발생한 해당 모션을 인식하되, 추출된 변화량이 축방향 움직임 데이터인 경우, 축(Axis)모션 인식정보를 생성하고, 추출된 변화량이 회전 기울기 데이터인 경우, 기울기(Tilt)모션 인식정보를 생성하는 모션데이터 필터링모듈; 축(Axis)모션 인식정보 또는 기울기(Tilt)모션 인식정보를 인가받아 각각 단방향 모션인지 회귀 모션인지 여부를 판단하여, 축(Axis)모션 인식정보가 단방향인 경우, 해당 가속도를 산출하여 단방향 축(Axis)모션 이벤트정보를 생성하고, 축(Axis)모션 인식정보가 양방향인 경우, 해당 가속도를 산출하여 양방향 축(Axis)모션 이벤트정보를 생성하며, 판단결과, 기울기(Tilt)모션 인식정보가 단방향 모션인 경우, 해당 변위각을 산출하여 단방향 기울기(Tilt)모션 이벤트정보를 생성하고, 기울기(Tilt)모션 인식정보가 양방향 모션인 경우, 해당 변위각을 산출하여 양방향 기울기(Tilt)모션 이벤트정보를 생성하는 모션이벤트 생성모듈; 및 단방향 축(Axis)모션 이벤트정보, 양방향 축(Axis)모션 이벤트정보, 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보 중에 어느 하나의 정보를 인가받고, 인가받은 이벤트정보가 화면전환 상태, 제1 커서운용 상태 및 제2 커서운용 상태 중에 어느 상태인지 여부를 판단하여 각각 화면 디스플레이정보, 제1 커서 디스플레이정보 또는 제2 커서 디스플레이정보를 생성하는 디스플레이 제어모듈;을 포함한다.
Motion sensor control system for the UI of the mobile device of the present invention for achieving the technical problem, by measuring the position and motion through the geomagnetic sensor, acceleration sensor, gyro sensor to measure the movement state change, X, A sensing module configured to generate motion sensing information by calculating a motion detection result including information on raw data of the Y and Z axes, azimuth, roll, and pitch; Recognizes the motion generated from the mobile device by extracting the change amount according to the motion sensing by receiving the motion sensing information. When the extracted change amount is the axial motion data, the axis motion recognition information is generated and the extracted change amount is detected. A motion data filtering module for generating tilt motion recognition information in the case of the rotation tilt data; The axis motion recognition information or the tilt motion recognition information is applied to determine whether the motion is the unidirectional motion or the regression motion, and when the axis motion recognition information is unidirectional, the corresponding acceleration is calculated to determine the unidirectional axis ( Axis) generates motion event information, and when the axis motion recognition information is bidirectional, calculates the corresponding acceleration to generate bidirectional axis motion event information, and as a result of the determination, the tilt motion recognition information is unidirectional. In the case of motion, the displacement angle is calculated to generate the unidirectional tilt motion event information. When the tilt motion recognition information is the bidirectional motion, the displacement angle is calculated to generate the bidirectional tilt motion event information. A motion event generation module for generating; And one-way axis motion event information, two-way axis motion event information, one-way tilt motion event information, or two-way tilt motion event information, and the authorized event information is received. And a display control module configured to determine which of the screen switching state, the first cursor operating state, and the second cursor operating state to generate screen display information, first cursor display information, or second cursor display information, respectively.

또한, 상술한 시스템을 기반으로 하는 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 제어 방법은, 센싱모듈이 X, Y, Z 축의 로우(RAW) 데이터, 방위각, 롤(Roll), 피치(Pitch)에 대한 정보가 포함된 모션 감지 결과를 산출하여 모션 센싱정보를 생성하는 (a) 단계; 모션데이터 필터링모듈이 모션 센싱정보를 인가받아 모션의 센싱에 따른 변화량을 추출하여 추출된 변화량이 축방향 움직임 데이터인지 회전 기울기 데이터인지 여부를 판단하는 (b) 단계; (b) 단계의 판단결과, 추출된 변화량이 축방향 움직임 데이터인 경우, 모션데이터 필터링모듈이 축(Axis)모션 인식정보를 생성하는 (c) 단계; 모션이벤트 생성모듈이 축(Axis)모션 인식정보가 단방향 모션인지 회귀 모션인지 여부를 확인하는 (d) 단계; (d) 단계의 확인결과, 축(Axis)모션 인식정보가 단방향 모션인 경우, 모션이벤트 생성모듈이 해당 정보에 대한 가속도를 산출하여 단방향 축(Axis)모션 이벤트정보를 생성하고, 축(Axis)모션 인식정보가 양방향 모션인 경우, 양방향 축(Axis)모션 이벤트정보를 생성하는 (e) 단계; 디스플레이 제어모듈이 단방향 축(Axis)모션 이벤트정보 또는 양방향 축(Axis)모션 이벤트정보를 인가받아 화면전환 상태, 제1 커서운용 상태 및 제2 커서운용 상태 중에 어느 상태인지 여부를 판단하는 (f) 단계; (f) 단계의 판단결과 화면전환 상태인 경우, 디스플레이 제어모듈이 단방향 축(Axis)모션 이벤트정보 또는 양방향 축(Axis)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 화면 디스플레이정보를 생성하고, 제1 커서운용 상태인 경우, 단방향 축(Axis)모션 이벤트정보 또는 양방향 축(Axis)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제1 커서 디스플레이정보를 생성하며, 제2 커서운용 상태인 경우, 단방향 축(Axis)모션 이벤트정보 또는 양방향 축(Axis)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제2 커서 디스플레이정보를 생성하는 (g) 단계; 및 디스플레이 출력모듈 화면 디스플레이정보, 제1 커서 디스플레이정보 또는 제2 커서 디스플레이정보 중에 (f) 단계의 판단결과와 대응하는 어느 하나의 정보를 출력하는 (h) 단계;를 포함한다.
In addition, the motion sensor control method for the UI of the mobile device according to the present invention based on the above-described system, the sensing module in the raw (RAW) data of the X, Y, Z axis, azimuth, roll, pitch (A) generating motion sensing information by calculating a motion detection result including information about the motion detection result; (B) determining whether the extracted change amount is axial motion data or rotation tilt data by extracting a change amount according to the sensing of the motion by receiving motion sensing information by the motion data filtering module; (c) generating, by the motion data filtering module, axis motion recognition information when the extracted change amount is axial motion data as a result of the determination of step (b); (D) checking, by the motion event generation module, whether the axis motion recognition information is a unidirectional motion or a regression motion; As a result of checking in step (d), if the axis motion recognition information is unidirectional motion, the motion event generation module calculates the acceleration for the corresponding information to generate unidirectional axis motion event information and generates the axis. (E) generating bidirectional Axis motion event information when the motion recognition information is bidirectional motion; (F) Determining whether the display control module is in one of the screen switching state, the first cursor operation state, and the second cursor operation state by receiving the unidirectional axis motion event information or the bidirectional axis motion event information. step; In the case of the screen switching state as a result of the determination in the step (f), the display control module outputs a screen image which is set in advance so as to correspond to a value included in the unidirectional Axis motion event information or the bidirectional Axis motion event information. The first cursor display information for generating the information and outputting a screen image which is preset to correspond to a value included in the unidirectional Axis motion event information or the bidirectional Axis motion event information when the first cursor is in the first cursor operation state. And generating second cursor display information for outputting a preset screen image to correspond to a value included in the unidirectional axis motion event information or the bidirectional axis motion event information in the second cursor operation state. (g) step; And (h) outputting any one of the display output module screen display information, the first cursor display information, or the second cursor display information corresponding to the determination result of step (f).

그리고, 상술한 시스템을 기반으로 하는 본 발명의 또 다른 실시예에 따른 휴대기기의 UI를 위한 모션 센서 제어 방법은, 센싱모듈이 X, Y, Z 축의 로우(RAW) 데이터, 방위각, 롤(Roll), 피치(Pitch)에 대한 정보가 포함된 모션 감지 결과를 산출하여 모션 센싱정보를 생성하는 (a) 단계; 모션데이터 필터링모듈이 모션 센싱정보를 인가받아 모션의 센싱에 따른 변화량을 추출하여 추출된 변화량이 축방향 움직임 데이터인지 회전 기울기 데이터인지 여부를 판단하는 (b) 단계; (b) 단계의 판단결과, 추출된 변화량이 회전 기울기 데이터인 경우, 모션데이터 필터링모듈이 기울기(Tilt)모션 인식정보를 생성하는 (c) 단계; 모션이벤트 생성모듈이 인가받은 기울기(Tilt)모션 인식정보가 단방향 모션인지 회귀 모션인지 여부를 확인하는 (d) 단계; (c) 단계의 확인결과 기울기(Tilt)모션 인식정보가 단방향 모션인 경우, 모션이벤트 생성모듈이 해당 정보에 대한 변위각을 산출하여 단방향 기울기(Tilt)모션 이벤트정보를 생성하고, 기울기(Tilt)모션 인식정보가 양방향 모션인 경우, 양방향 기울기(Tilt)모션 이벤트정보를 생성하는 (e) 단계; 디스플레이 제어모듈이 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보를 인가받아 화면전환 상태, 제1 커서운용 상태 및 제2 커서운용 상태 중에 어느 상태인지 여부를 판단하는 (f) 단계; (e) 단계의 판단결과 화면전환 상태인 경우, 디스플레이 제어모듈이 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 화면 디스플레이정보를 생성하고, 제1 커서운용 상태인 경우, 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제1 커서 디스플레이정보를 생성하며, 제2 커서운용 상태인 경우, 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제2 커서 디스플레이정보를 생성하는 (g) 단계; 및 디스플레이 출력모듈이 화면 디스플레이정보, 제1 커서 디스플레이정보 또는 제2 커서 디스플레이정보 중에 (g) 단계의 판단결과와 대응하는 어느 하나의 정보를 출력하는 (h) 단계;를 포함한다.In addition, the motion sensor control method for the UI of the mobile device according to another embodiment of the present invention based on the above-described system, the sensing module is a raw (RAW) data of the X, Y, Z axis, azimuth, roll (A) generating motion sensing information by calculating a motion detection result including information on a pitch; (B) determining whether the extracted change amount is axial motion data or rotation tilt data by extracting a change amount according to the sensing of the motion by receiving motion sensing information by the motion data filtering module; (c) generating, by the motion data filtering module, tilt motion recognition information when the extracted change amount is rotation tilt data as a result of the determination of step (b); (D) checking whether the tilt motion recognition information received by the motion event generation module is a unidirectional motion or a regression motion; If the tilt motion recognition information is the unidirectional motion, the motion event generation module calculates the displacement angle of the corresponding information to generate the unidirectional tilt motion event information and tilts the tilt motion recognition information. (E) generating bidirectional tilt motion event information when the motion recognition information is bidirectional motion; (F) Determining whether the display control module is in the screen switching state, the first cursor operating state, or the second cursor operating state by receiving the unidirectional tilt motion event information or the bidirectional tilt motion event information. step; In the case of the screen switching state as a result of the determination in step (e), the display control module displays a screen image outputting a preset screen image to correspond to a value included in the unidirectional tilt motion event information or the bidirectional tilt motion event information. The first cursor display information which generates information and outputs a screen image which is preset to correspond to a value included in the unidirectional tilt motion event information or the bidirectional tilt motion event information when the first cursor operation state is performed. And generating second cursor display information for outputting a preset screen image to correspond to a value included in the unidirectional tilt motion event information or the bidirectional tilt motion event information in the second cursor operation state. (g) step; And (h) outputting, by the display output module, any one of the screen display information, the first cursor display information, and the second cursor display information corresponding to the determination result of step (g).

상기와 같은 본 발명에 따르면, 사용자가 휴대용 단말기의 버튼을 누르거나 화면을 터치하는 별도의 과정없이 휴대용 단말기를 움직여 사용자가 원하는 사용자 인터페이스 메뉴를 선택할 수 있는 효과가 있고, 사용자가 콘텐츠를 이용하는 경우 사용자가 콘텐츠를 원하는 각도나 비율로 볼 수 있도록 하는 효과가 있다.According to the present invention as described above, there is an effect that the user can select the desired user interface menu by moving the portable terminal without a separate process of pressing a button or touching the screen of the portable terminal, the user when using the content Has the effect of viewing the content at the desired angle or ratio.

또한, 본 발명에 따르면 사용자가 단순히 휴대용 단말기에 움직임을 가하여 사용자 인터페이스 메뉴나 콘텐츠를 조작할 수 있기 때문에 조작키를 누르는 방식과 비교하여 별도의 조작키를 누르는 과정에 따른 조작의 번거로움을 줄이는 효과가 있고, 스크린터치 방식에 비해 사용자가 사용자 인터페이스 메뉴 또는 콘텐츠를 제어하는 과정에서 화면을 가리는 불편함을 줄이는 효과가 있다.In addition, according to the present invention, since the user can simply operate the user interface menu or content by simply applying a movement to the portable terminal, compared to the method of pressing the operation key, the effect of the operation of pressing a separate operation key is reduced. And, compared to the screen touch method has the effect of reducing the inconvenience of covering the screen in the process of the user controls the user interface menu or content.

또한, 본 발명에 따르면 휴대용 단말기의 구조상 한정된 버튼 입력 방법과 한정된 화면 내에서 조작해야하는 기존의 방식을 휴대용 단말기의 움직임에 따른 모션을 통해 제어하도록 함으로써, 보다 간결하고 다양한 방식의 사용자 인터페이스 제어가 가능한 효과가 있다.In addition, according to the present invention, by controlling a button input method and a conventional method that must be operated within a limited screen through the motion according to the movement of the portable terminal, the user can control the user interface in a more concise and diverse manner. There is.

또한, 본 발명에 따르면 휴대용 단말기의 움직임에 따라 실시간으로 센싱된 모션 데이터(위치값 및 동작값)을 API(Application Programming Interface) 형태의 모션 벡터로 제공함으로써, 사용자 인터페이스와 어플리케이션이 쉽게 사용할 수 있도록 구현성과 직관성을 향상시키는 효과가 있다.In addition, according to the present invention by providing a motion vector (position value and motion value) sensed in real time according to the movement of the portable terminal as a motion vector in the form of an API (Application Programming Interface), the user interface and the application can be easily used It has the effect of improving performance and intuition.

또한, 본 발명에 따르면 API 형태로 제공되는 모션 벡터에 따라 실행된 콘텐츠를 조작하기 위한 명령을 생성하고, 콘텐츠를 조작하기 위한 명령을 실행될 콘텐츠와의 적용에 필요한 이미지를 생성하며, 생성된 이미지를 콘텐츠에 적용하는 각각의 구성이 상호 독립적으로 동작하도록 함으로써, 시스템이 느려지거나 이상 작동하는 것을 최소화할 수 있는 효과가 있다.In addition, according to the present invention generates a command for manipulating the content executed in accordance with the motion vector provided in the form of an API, generates an image required for the application of the command to manipulate the content with the content to be executed, and generates the generated image By allowing each configuration to be applied to the content to operate independently of each other, there is an effect that the system can be minimized to slow down or abnormal operation.

또한, 본 발명에 따르면 각각의 모듈이 독립적이기 때문에 써드파티에서도 각각의 독립된 모듈을 이용할 수 있어 프로그램 설계의 효율성이 증대되는 효과가 있다.In addition, according to the present invention, since each module is independent, each independent module can be used in a third party, thereby increasing the efficiency of program design.

도 1은 종래의 사용자 인터페이스 메뉴를 제어하는 동작을 나타낸 도면.
도 2는 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 제어 시스템을 도시한 구성도.
도 3은 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 제어 시스템이 휴대기기의 모션 상태에 따라 생성하는 단방향 축(Axis)모션 이벤트정보 및 양방향 축(Axis)모션 이벤트정보를 도시한 예시도.
도 4는 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 제어 시스템이 휴대기기의 모션 상태에 따라 생성하는 단방향 기울기(Tilt)모션 이벤트정보 및 양방향 기울기(Tilt)모션 이벤트정보를 도시한 예시도.
도 5는 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 제어 시스템이 휴대기기의 모션 상태에 따라 생성하는 노킹(Knocking)모션 인식정보 및 흔들기(Shaking)모션 인식정보를 도시한 예시도.
도 6은 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 제어 시스템의 단방향 축(Axis)모션 이벤트정보, 양방향 축(Axis)모션 이벤트정보, 단방향 기울기(Tilt)모션 이벤트정보, 양방향 기울기(Tilt)모션 이벤트정보, 노킹(Knocking)모션 인식정보 및 흔들기(Shaking)모션 인식정보들과 대응하는 벡터 데이터 값을 도시한 예시도.
도 7은 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 제어 시스템의 구성요소들 간의 관계를 도시한 도면.
도 8은 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 제어 방법을 도시한 순서도.
도 9는 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 제어 방법의 제S5-1단계의 세부과정을 도시한 순서도.
도 10은 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 제어 방법의 제S9-1단계의 세부과정을 도시한 순서도.
도 11은 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 제어 방법의 제S5-1단계 또는 제S9-1단계에 따라 생성된 화면 디스플레이정보가 출력되는 것을 도시한 예시도.
도 12는 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 제어 방법의 제S5-2단계의 세부과정을 도시한 순서도.
도 13은 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 제어 방법의 제S9-2단계의 세부과정을 도시한 순서도.
도 14는 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 제어 방법의 제S5-2단계 또는 제S9-2단계에 따라 생성된 제1 커서 디스플레이정보가 출력되는 것을 도시한 예시도.
도 15는 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 제어 방법의 제S5-3단계의 세부과정을 도시한 순서도.
도 16은 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 제어 방법의 제S9-3단계의 세부과정을 도시한 순서도.
도 17은 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 제어 방법의 제S5-3단계 또는 제S9-3단계에 따라 생성된 제2 커서 디스플레이정보가 출력되는 것을 도시한 예시도.
도 18은 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 제어 방법의 제S1단계 이후에 수행되는 또 다른 과정을 도시한 순서도.1 is a diagram illustrating an operation of controlling a conventional user interface menu.
2 is a block diagram showing a motion sensor control system for a UI of a mobile device according to the present invention.
FIG. 3 is an exemplary diagram illustrating unidirectional Axis motion event information and bidirectional Axis motion event information generated by a motion sensor control system for a UI of a mobile device according to a motion state of the mobile device according to the present invention.
4 is a diagram illustrating unidirectional tilt motion event information and bidirectional tilt motion event information generated by a motion sensor control system for a UI of a mobile device according to a motion state of the mobile device according to the present invention.
5 is an exemplary diagram illustrating knocking motion recognition information and shaking motion recognition information generated by a motion sensor control system for a UI of a mobile device according to a motion state of the mobile device according to the present invention.
Figure 6 is a one-way axis motion event information, two-way axis motion event information, one-way tilt motion event information, two-way tilt (Tilt) of the motion sensor control system for a UI of a mobile device according to the present invention An exemplary diagram illustrating vector data values corresponding to motion event information, knocking motion recognition information, and shaking motion recognition information.
7 illustrates a relationship between components of a motion sensor control system for a UI of a mobile device according to the present invention.
8 is a flow chart illustrating a motion sensor control method for a UI of a mobile device according to the present invention.
9 is a flowchart illustrating a detailed process of step S5-1 of the method for controlling a motion sensor for a UI of a mobile device according to the present invention.
10 is a flowchart illustrating a detailed process of step S9-1 of the method for controlling a motion sensor for a UI of a mobile device according to the present invention.
FIG. 11 is a diagram illustrating screen output information generated according to step S5-1 or step S9-1 of a motion sensor control method for a UI of a mobile device according to the present invention.
12 is a flowchart illustrating a detailed process of step S5-2 of the method for controlling a motion sensor for a UI of a mobile device according to the present invention.
13 is a flowchart illustrating a detailed process of step S9-2 of the method for controlling a motion sensor for a UI of a mobile device according to the present invention.
FIG. 14 is an exemplary view illustrating output of first cursor display information generated according to step S5-2 or step S9-2 of a motion sensor control method for a UI of a mobile device according to the present invention; FIG.
15 is a flowchart illustrating a detailed process of step S5-3 of the method for controlling a motion sensor for a UI of a mobile device according to the present invention.
FIG. 16 is a flowchart illustrating a detailed process of step S9-3 of a method for controlling a motion sensor for a UI of a mobile device according to the present invention; FIG.
FIG. 17 illustrates an example of outputting second cursor display information generated according to steps S5-3 or S9-3 of a motion sensor control method for a UI of a mobile device according to the present invention.
FIG. 18 is a flowchart illustrating another process performed after step S1 of a method for controlling a motion sensor for a UI of a mobile device according to the present invention. FIG.

본 발명의 구체적인 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한, 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.Specific features and advantages of the present invention will become more apparent from the following detailed description based on the accompanying drawings. Prior to this, terms and words used in the present specification and claims are to be interpreted in accordance with the technical idea of the present invention based on the principle that the inventor can properly define the concept of the term in order to explain his invention in the best way. It should be interpreted in terms of meaning and concept. It is to be noted that the detailed description of known functions and constructions related to the present invention is omitted when it is determined that the gist of the present invention may be unnecessarily blurred.

도 2 내지 도 7에 도시된 바와 같이 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 제어 시스템(100)은 센서모듈(110), 모션데이터 필터링모듈(120), 모션이벤트 생성모듈(130), 디스플레이 제어모듈(140) 및 디스플레이 출력모듈(150)을 포함하여 구성된다.As shown in FIG. 2 to FIG. 7, the motion sensor control system 100 for the UI of a mobile device according to the present invention includes a sensor module 110, a motion data filtering module 120, a motion event generation module 130, It is configured to include a display control module 140 and a display output module 150.

구체적으로, 센싱모듈(110)은 지자계 센서(111), 가속 센서(112), 자이로 센서(113)를 통해 위치와 동작을 감지하여 운동 상태 변화를 측정하고, 측정된 X, Y, Z 축의 로우(RAW) 데이터, 방위각, 롤(Roll) 및 피치(Pitch)에 대한 정보가 포함된 모션 감지 결과를 산출하여 모션 센싱정보를 생성한다.In detail, the sensing module 110 detects a position and a motion through the geomagnetic sensor 111, the acceleration sensor 112, and the gyro sensor 113, and measures a change in the movement state, and measures the measured X, Y, and Z axes. Motion sensing information is generated by calculating a motion detection result including information on raw data, azimuth, roll, and pitch.

또한, 모션데이터 필터링모듈(120)은 센싱모듈(110)로부터 모션 센싱정보를 인가받아 모션의 센싱에 따른 변화량을 추출하여 휴대기기에서 발생한 해당 모션을 인식하되, 추출된 변화량이 축방향 움직임 데이터인 경우, 축(Axis)모션 인식정보를 생성하고, 추출된 변화량이 회전 기울기 데이터인 경우, 기울기(Tilt)모션 인식정보를 생성하며, 추출된 변화량이 휴대기기를 2회 내지 3회 두드리는 움직임인 경우, 노킹(Knocking)모션 인식정보를 생성하고, 추출된 변화량이 좌우로 2회 내지 3회 흔드는 움직임 데이터인 경우, 흔들기(Shaking)모션 인식정보를 생성한다.In addition, the motion data filtering module 120 receives the motion sensing information from the sensing module 110 and extracts the change amount according to the sensing of the motion to recognize the corresponding motion generated in the mobile device, but the extracted change amount is the axial motion data. In this case, the axis motion recognition information is generated, and the extracted change amount is the rotational tilt data. The tilt motion recognition information is generated, and the extracted change amount is the movement of tapping the mobile device two to three times. In this case, the knocking motion recognition information is generated, and when the extracted change amount is the motion data shaking two to three times from side to side, the shaking motion recognition information is generated.

또한, 모션이벤트 생성모듈(130)은 모션데이터 필터링모듈(120)로부터 축(Axis)모션 인식정보 또는 기울기(Tilt)모션 인식정보를 인가받아 각각 단방향 모션인지 회귀 모션인지 여부를 판단하여, 축(Axis)모션 인식정보가 단방향인 경우, 해당 가속도를 산출하여 단방향 축(Axis)모션 이벤트정보를 생성하고, 축(Axis)모션 인식정보가 양방향인 경우, 해당 가속도를 산출하여 양방향 축(Axis)모션 이벤트정보를 생성한다.In addition, the motion event generation module 130 receives Axis motion recognition information or Tilt motion recognition information from the motion data filtering module 120 to determine whether the motion event is a unidirectional motion or a regression motion. If the motion recognition information is unidirectional, calculate the corresponding acceleration to generate one-way Axis motion event information, and if the axis motion recognition information is bi-directional, calculate the corresponding acceleration to bi-directional Axis motion Create event information.

또한, 모션이벤트 생성모듈(130)은 상기 판단결과, 기울기(Tilt)모션 인식정보가 단방향 모션인 경우, 해당 변위각을 산출하여 단방향 기울기(Tilt)모션 이벤트정보를 생성하고, 기울기(Tilt)모션 인식정보가 양방향 모션인 경우, 해당 변위각을 산출하여 양방향 기울기(Tilt)모션 이벤트정보를 생성한다.In addition, when the tilt motion recognition information is unidirectional motion, the motion event generation module 130 generates unidirectional tilt motion event information by calculating a corresponding displacement angle, and tilt motion. When the recognition information is a bidirectional motion, a corresponding displacement angle is calculated to generate bidirectional tilt motion event information.

또한, 모션이벤트 생성모듈(130)은 모션데이터 필터링모듈(120)로부터 노킹(Knocking)모션 인식정보를 인가받은 경우 아이콘을 클릭 또는 선택하도록 하는 노킹(Knocking)모션 이벤트정보를 생성하고, 모션데이터 필터링모듈(120)로부터 흔들기(Shaking)모션 이식정보를 인가받은 경우 휴대기기의 모드를 변환(삭제, 리턴 또는 종료)하는 흔들기(Shaking)모션 이벤트정보를 생성한다.In addition, the motion event generation module 130 generates knocking motion event information for clicking or selecting an icon when the knocking motion recognition information is received from the motion data filtering module 120, and filtering the motion data. When the shaking motion transplantation information is received from the module 120, the shaking motion event information for converting (deleting, returning or terminating) the mode of the mobile device is generated.

여기서, 단방향 축(Axis)모션 이벤트정보, 양방향 축(Axis)모션 이벤트정보, 단방향 기울기(Tilt)모션 이벤트정보, 양방향 기울기(Tilt)모션 이벤트정보, 노킹(Knocking)모션 이벤트정보 및 흔들기(Shaking)모션 이벤트정보는 산출되는 변위각 또는 가속도에 따라 기 설정된 화면을 디스플레이 하기 위한 정보로 이해하는 것이 바람직하다.
Here, one-way axis motion event information, two-way axis motion event information, one-way tilt motion event information, two-way tilt motion event information, knocking motion event information, and shaking. The motion event information may be understood as information for displaying a preset screen according to the calculated displacement angle or acceleration.

구체적으로 도 3을 참조하여 본 발명에 따른 단방향 축(Axis)모션 이벤트정보 및 양방향 축(Axis)모션 이벤트정보의 데이터 값에 대해 살피면 아래와 같다.Specifically, referring to FIG. 3, the data values of the unidirectional Axis motion event information and the bidirectional Axis motion event information according to the present invention will be described below.

먼저, 단방향 축(Axis)모션 이벤트정보는 중심좌표로부터 단일방향으로의 모션이후 정지되는 (1) -X축 싱글값(Move(s):Left), (2) +X축 싱글값(Move(s):Right), (3) -Y축 싱글값(Move(s):Down), (4) +Y축 싱글값(Move(s):Up), (5) -X-Y축 싱글값(Move(s)LeftDown), (6) -X+Y축 싱글값(Move(s):LeftUp), (7) +X-Y축 싱글값(Move(s)RightDown), (8) +X축+Y축 싱글값(Move(s):RightUp), (9) -Z축 싱글값(Move(s):FaceDown) 및 (10) +Z축 싱글값(Move(s):FaceUp) 중에 어느 하나의 값을 포함한다.First, uniaxial Axis event information is stopped after (1) -X-axis single value (Move (s): Left), (2) + X-axis single value (Move () (s): Right), (3) -Y-axis single value (Move (s): Down), (4) + Y-axis single value (Move (s): Up), (5) -XY-axis single value (Move (s) LeftDown), (6) -X + Y axis single value (Move (s): LeftUp), (7) + XY axis single value (Move (s) RightDown), (8) + X axis + Y axis Single value (Move (s): RightUp), (9) -Z axis single value (Move (s): FaceDown), and (10) + Z axis single value (Move (s): FaceUp) Include.

그리고, 양방향 축(Axis)모션 이벤트정보는 중심좌표로부터 단일방향으로의 모션이후 중심좌표로 회기하는, (11) -X축 리턴값(Move(r):Left), (12) +X축 리턴값(Move(r):Right), (13) -Y축 리턴값(Move(r):Down), (14) +Y축 리턴값(Move(r):Up), (15) -X-Y축 리턴값(Move(r)LeftDown), (16) -X+Y축 리턴값(Move(r)LeftUp), (17) +X-Y축 리턴값(Move(r)RightDown), (18) +X축+Y축 리턴값(Move(r)RightUp), (19) -Z축 리턴값(Move(r):FaceDown) 및 (20) +Z축 리턴값(Move(r):FaceUp) 중에 어느 하나의 값을 포함한다.
Then, the bidirectional axis motion event information is returned from the center coordinates to the center coordinates after the motion in a single direction from (11) -X axis return value (Move (r): Left), (12) + X axis return. Value (Move (r): Right), (13) -Y axis return value (Move (r): Down), (14) + Y axis return value (Move (r): Up), (15) -XY axis Return value (Move (r) LeftDown), (16) -X + Y axis Return value (Move (r) LeftUp), (17) + XY axis Return value (Move (r) RightDown), (18) + X axis + Y axis return value (Move (r) RightUp), (19) -Z axis return value (Move (r): FaceDown), and (20) + Z axis return value (Move (r): FaceUp) Contains a value.

또한, 도 4를 참조하여 본 발명에 따라 생성되는 단방향 기울기(Tilt)모션 이벤트정보 및 양방향 기울기(Tilt)모션 이벤트정보의 데이터 값에 대해 살피면 아래와 같다.In addition, referring to FIG. 4, the data values of unidirectional tilt motion event information and bidirectional tilt motion event information generated according to the present invention will be described below.

먼저, 단방향 기울기(Tilt)모션 이벤트정보는 중심좌표로부터 사용자 얼굴을 향해 단일방향으로 회전하는 모션이후 정지하는 (1) -X축 Roll 싱글값(Roll(s):Left), (2) +X축 Roll 싱글값(Roll(s):Right), (3) -Y축 Pitch 싱글값(Pitch(s):Down) 및 (4) +Y축 Pitch 싱글값(Pitch(s):Up) 중에 어느 하나의 값을 포함한다.First, the unidirectional tilt motion event information is stopped after (1) -X axis roll single value (Roll (s): Left), (2) + X Axis Roll Single Value (Roll (s): Right), (3) -Y Axis Pitch Single Value (Pitch (s): Down), and (4) + Y Axis Pitch Single Value (Pitch (s): Up) Contains a single value.

또한, 단방향 기울기(Tilt)모션 이벤트정보는 중심좌표로부터 좌측 상단의 모서리와 우측 하단의 모서리를 기준으로 사용자 얼굴을 향해 단일방향으로 회전하는 모션이후 정지하는 (5) -X축 Edge 싱글값(Edge(s):Left) 및 (6) +X축 Edge 싱글값(Edge(s):Right) 중에 어느 하나의 값을 포함한다.In addition, unidirectional tilt motion event information is stopped after the motion of rotating in one direction from the center coordinates toward the user's face based on the upper left corner and the lower right corner (5) -X-axis edge single value (Edge) (s): Left) and (6) one of the X-axis edge single values (Edge (s): Right).

그리고, 단방향 기울기(Tilt)모션 이벤트정보는 중심좌표로부터 좌우 한방향으로 회전하는 모션이후 정지하는 (7) -X축 Yaw 싱글값(Yaw(s):Left) 및 (8) +X축 Yaw 싱글값(Yaw(s):Right) 중에 어느 하나의 값을 포함한다.Then, the unidirectional tilt motion event information stops after (7) -X-axis Yaw single value (Yaw (s): Left) and (8) + X-axis Yaw single value, which stops after the motion rotating in the left and right directions from the center coordinates. Contains the value of any one of (Yaw (s): Right).

한편, 양방향 기울기(Tilt)모션 이벤트정보는 중심좌표로부터 단일방향으로 회전하는 모션이후 중심좌표로 회기하는 (9) -X축 Roll 리턴값(Roll(r):Left), (10) +X축 Roll 리턴값(Roll(r):Right), (11) -Y축 Pitch 리턴값(Pitch(r):Down) 및 (12) +Y축 Pitch 리턴값(Pitch(r):Up) 중에 어느 하나의 값을 포함한다.On the other hand, the bidirectional tilt motion event information is (9) -X axis Roll return value (Roll (r): Left), (10) + X axis Roll return value (Roll (r): Right), (11) -Y-axis pitch return value (Pitch (r): Down), or (12) + Y-axis pitch return value (Pitch (r): Up) Contains the value of.

또한, 양방향 기울기(Tilt)모션 이벤트정보는 중심좌표로부터 좌측 상단의 모서리와 우측 하단의 모서리를 기준으로 사용자 얼굴을 향해 단일방향으로 회전하는 모션이후 중심좌표로 회기하는 (13) -X축 Edge 리턴값(Edge(r):Left) 및 (14) +X축 Edge 리턴값(Edge(r):Right) 중에 어느 하나의 값을 포함한다.In addition, the bidirectional tilt motion event information returns from the center coordinates to the center coordinates after rotating in a single direction toward the user's face based on the upper left corner and the lower right corner. Value (Edge (r): Left) and (14) + X-axis edge return value (Edge (r): Right) is included.

그리고, 양방향 기울기(Tilt)모션 이벤트정보는 중심좌표로부터 좌우 한방향으로 회전하는 모션이후 중심좌표로 회기하는 (15) -X축 Yaw 리턴값(Yaw(r):Left) 및 (16) +X축 Yaw 리턴값(Yaw(r):Right) 중에 어느 하나의 값을 포함한다.
Then, the bidirectional tilt motion event information is rotated from the center coordinates to the center coordinates after the motion rotating in the left and right directions (15) -X axis Yaw return values (Yaw (r): Left) and (16) + X axis Contains one of the Yaw return values (Yaw (r): Right).

또한, 도 5에 도시된 바와 같이 본 발명에 따른 노킹(Knocking)모션 인식정보는 아이콘을 클릭 또는 선택하도록 하는 Knocking(r):Touch 값을 포함하고, 흔들기(Shaking)모션 인식정보는 휴대기기의 모드를 변환(삭제, 리턴 또는 종료)하는 Shaking(r):Double 값을 포함한다.In addition, as shown in FIG. 5, the knocking motion recognition information according to the present invention includes a Knocking (r): Touch value for clicking or selecting an icon, and the shaking motion recognition information is determined by the mobile device. Contains a Shaking (r): Double value that converts (deletes, returns, or terminates) the mode.

아울러, 본 발명에 따른 단방향 축(Axis)모션 이벤트정보, 양방향 축(Axis)모션 이벤트정보, 단방향 기울기(Tilt)모션 이벤트정보, 양방향 기울기(Tilt)모션 이벤트정보, 노킹(Knocking)모션 이벤트정보 및 흔들기(Shaking)모션 이벤트정보에 포함되는 값에 표시된 '-' 및 '+'는 기 설정된 중심좌표를 기준으로 3축의 좌표를 구분하기 위한 방향값으로 이해함이 바람직하나, 본 발명이 이에 국한되는 것은 아니다.In addition, unidirectional axis motion event information, bidirectional axis motion event information, unidirectional tilt motion event information, bidirectional tilt motion event information, knocking motion event information, and the like. '-' And '+' displayed in the values included in the shaking motion event information are preferably understood as direction values for distinguishing coordinates of three axes based on a preset center coordinate, but the present invention is limited thereto. no.

또한, 본 발명에 따른 단방향 축(Axis)모션 이벤트정보, 양방향 축(Axis)모션 이벤트정보, 단방향 기울기(Tilt)모션 이벤트정보 및 양방향 기울기(Tilt)모션 이벤트정보는 도 6의 (a)에 도시된 바와 같이 센싱된 모션 데이터를 도 6의 (b)에 도시된 바와 같이 API 형태의 모션 벡터로 생성하여 실시간 제공함으로써, 사용자 인터페이스와 어플리케이션이 쉽게 사용 할 수 있도록 구현성과 직관성을 향상시킨다.
In addition, the unidirectional Axis motion event information, the bidirectional Axis motion event information, the unidirectional Tilt motion event information, and the bidirectional Tilt motion event information according to the present invention are shown in FIG. As shown in FIG. 6 (b), the sensed motion data is generated as a motion vector in the form of an API as shown in FIG. 6 (b) to provide real time, thereby improving implementation and intuitiveness so that a user interface and an application can be easily used.

한편, 디스플레이 제어모듈(140)은 도 7에 도시된 바와 같이, 모션이벤트 생성모듈(130)로부터 단방향 축(Axis)모션 이벤트정보, 양방향 축(Axis)모션 이벤트정보, 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보 중에 어느 하나의 정보를 인가받고, 인가받은 이벤트정보가 화면전환 상태, 제1 커서운용 상태 및 제2 커서운용 상태 중에 어느 상태인지 여부를 판단한다.On the other hand, the display control module 140, as shown in Figure 7, from the motion event generation module 130, the unidirectional Axis motion event information, bidirectional Axis motion event information, unidirectional tilt motion event Information is received from either the information or the two-way tilt motion event information, and it is determined whether the authorized event information is in the screen switching state, the first cursor operation state and the second cursor operation state.

상기 판단결과 화면전환 상태인 경우, 디스플레이 제어모듈(140)이 모션이벤트 생성모듈(130)로부터 인가받은 모션 인식정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 화면 디스플레이정보를 생성하여 디스플레이 출력모듈(150)로 인가하고, 디스플레이 출력모듈(150)이 인가받은 화면 디스플레이정보를 출력한다.In the determination result of the screen switching state, the display control module 140 generates and displays screen display information for outputting a preset screen image to correspond to a value included in the motion recognition information received from the motion event generation module 130. Applied to the output module 150, and outputs the screen display information received by the display output module 150.

또한, 상기 판단결과 제1 커서운용 상태인 경우, 디스플레이 제어모듈(140)이 모션이벤트 생성모듈(130)로부터 인가받은 모션 인식정보에 포함된 값과 대응하도록 기 설정된 제1 커서이동 이미지를 출력하는 제1 커서 디스플레이정보를 생성하여 디스플레이 출력모듈(150)로 인가하고, 디스플레이 출력모듈(150)이 인가받은 제1 커서 디스플레이정보를 출력한다.In addition, in the determination result of the first cursor operating state, the display control module 140 outputs a first cursor movement image which is preset to correspond to a value included in the motion recognition information received from the motion event generation module 130. The first cursor display information is generated and applied to the display output module 150, and the display output module 150 outputs the first cursor display information.

그리고, 상기 판단결과 제2 커서운용 상태인 경우, 디스플레이 제어모듈(140)이 모션이벤트 생성모듈(130)로부터 인가받은 모션 인식정보에 포함된 값과 대응하도록 기 설정된 제2 커서이동 이미지를 출력하는 제2 커서 디스플레이정보를 생성하여 디스플레이 출력모듈(150)로 인가하고, 디스플레이 출력모듈(150)이 인가받은 제2 커서 디스플레이정보를 출력한다.In addition, when the determination result is the second cursor operating state, the display control module 140 outputs a preset second cursor movement image to correspond to a value included in the motion recognition information received from the motion event generation module 130. The second cursor display information is generated and applied to the display output module 150, and the display output module 150 outputs the received second cursor display information.

아울러, 디스플레이 제어모듈(140)은 모션이벤트 생성모듈(130)로부터 노킹(Knocking)모션 이벤트정보를 인가받아 휴대기기상의 커서에 위치한 아이콘을 클릭 또는 선택한 이후화면을 출력하는 실행 디스플레이정보를 생성하여 디스플레이 출력모듈(150)로 인가하고, 디스플레이 출력모듈(150)이 인가받은 실행 디스플레이정보를 출력한다.In addition, the display control module 140 receives the knocking motion event information from the motion event generation module 130 and generates and displays execution display information for outputting a screen after clicking or selecting an icon located at a cursor on the mobile device. Applied to the output module 150, and outputs the execution display information received by the display output module 150.

또한, 디스플레이 제어모듈(140)은 모션이벤트 생성모듈(130)로부터 흔들기(Shaking)모션 이벤트정보를 인가받아 휴대기기상에 디스플레이되던 화면의 모드(삭제, 리턴 또는 종료)를 변경하여 출력하는 모드변경 디스플레이정보를 생성하고, 디스플레이 출력모듈(150)이 인가받은 실행 디스플레이정보를 출력한다.
In addition, the display control module 140 receives the shaking motion event information from the motion event generation module 130 and changes the mode (deleting, returning or ending) of the screen displayed on the mobile device and outputting the changed mode. The display information is generated, and the display output module 150 outputs the executed display information.

이하, 도 8을 참조하여 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 제어 방법에 대해 살피면 아래와 같다.Hereinafter, a motion sensor control method for a UI of a mobile device according to the present invention will be described with reference to FIG. 8.

먼저, 센싱모듈(110)이 X, Y, Z 축의 로우(RAW) 데이터, 방위각, 롤(Roll), 피치(Pitch)에 대한 정보가 포함된 모션 감지 결과를 산출하여 모션 센싱정보를 생성한다(S1).First, the sensing module 110 generates motion sensing information by calculating a motion sensing result including information on RAW data, azimuth, roll, and pitch of the X, Y, and Z axes ( S1).

이어서, 모션데이터 필터링모듈(120)이 센싱모듈(110)로부터 모션 센싱정보를 인가받아 모션의 센싱에 따른 변화량을 추출하여 추출된 변화량이 축방향 움직임 데이터인지 회전 기울기 데이터인지 여부를 판단한다(S2).Subsequently, the motion data filtering module 120 receives motion sensing information from the sensing module 110 and extracts a change amount according to the sensing of the motion to determine whether the extracted change amount is axial motion data or rotational tilt data (S2). ).

상기 제S2단계의 판단결과 추출된 변화량이 축방향 움직임 데이터인 경우, 모션데이터 필터링모듈(120)이 축(Axis)모션 인식정보를 생성한다(S2-1).When the amount of change extracted as the determination result of step S2 is axial motion data, the motion data filtering module 120 generates axis motion recognition information (S2-1).

뒤이어, 모션이벤트 생성모듈(130)이 인가받은 축(Axis)모션 인식정보가 단방향 모션인지 회귀 모션인지 여부를 확인한다(S3).Subsequently, the motion event generation module 130 checks whether the axis motion recognition information received is one-way motion or regression motion (S3).

상기 제S3단계의 확인결과 확인결과 축(Axis)모션 인식정보가 단방향 모션인 경우, 모션이벤트 생성모듈(130)이 해당 정보에 대한 가속도를 산출하여 단방향 축(Axis)모션 이벤트정보를 생성하고, 축(Axis)모션 인식정보가 양방향 모션인 경우, 양방향 축(Axis)모션 이벤트정보를 생성한다(S4).If the axis motion recognition information of the confirmation result of step S3 is unidirectional motion, the motion event generation module 130 calculates acceleration for the corresponding information to generate unidirectional axis motion event information. If the axis motion recognition information is the bidirectional motion, the bidirectional axis motion event information is generated (S4).

이어서, 디스플레이 제어모듈(140)이 단방향 축(Axis)모션 이벤트정보 또는 양방향 축(Axis)모션 이벤트정보를 인가받아 화면전환 상태, 제1 커서운용 상태 및 제2 커서운용 상태 중에 어느 상태인지 여부를 판단한다(S5).Subsequently, the display control module 140 receives either the unidirectional Axis motion event information or the bidirectional Axis motion event information to determine whether the display control module 140 is in a screen switching state, a first cursor operating state, or a second cursor operating state. Determine (S5).

제S5단계의 판단결과 화면전환 상태인 경우, 디스플레이 제어모듈(140)이 단방향 축(Axis)모션 이벤트정보 또는 양방향 축(Axis)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 화면 디스플레이정보를 생성한다(S5-1).In the case where the determination result of step S5 is in the screen switching state, the display control module 140 outputs a preset screen image to correspond to a value included in the unidirectional Axis motion event information or the bidirectional Axis motion event information. Generate screen display information (S5-1).

제S5단계의 판단결과 제1 커서운용 상태인 경우, 디스플레이 제어모듈(140)이 단방향 축(Axis)모션 이벤트정보 또는 양방향 축(Axis)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제1 커서 디스플레이정보를 생성한다(S5-2).When the determination result of step S5 is the first cursor operating state, the display control module 140 displays the preset screen image to correspond to a value included in the unidirectional Axis motion event information or the bidirectional Axis motion event information. The first cursor display information to be output is generated (S5-2).

제S5단계의 판단결과 제2 커서운용 상태인 경우, 디스플레이 제어모듈(140)이 단방향 축(Axis)모션 이벤트정보 또는 양방향 축(Axis)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제2 커서 디스플레이정보를 생성한다(S5-3).In operation S5, the display control module 140 displays the preset screen image to correspond to a value included in the unidirectional Axis motion event information or the bidirectional Axis motion event information. The second cursor display information to be output is generated (S5-3).

그리고, 디스플레이 출력모듈(150)이 인가받은 화면 디스플레이정보, 제1 커서 디스플레이정보 또는 제2 커서 디스플레이정보를 상기 제S5단계의 판단결과에 따라 생성된 어느 하나의 정보를 출력한다(S6).
The display output module 150 outputs any one of the screen display information, the first cursor display information, or the second cursor display information generated according to the determination result of step S5 (S6).

한편, 상기 제S2단계의 판단결과 추출된 변화량이 회전 기울기 데이터인 경우, 모션데이터 필터링모듈(120)이 기울기(Tilt)모션 인식정보를 생성한다(S2-2).On the other hand, if the amount of change extracted as a result of the determination of step S2 is the rotational tilt data, the motion data filtering module 120 generates tilt motion recognition information (S2-2).

이어서, 모션이벤트 생성모듈(130)이 인가받은 기울기(Tilt)모션 인식정보가 단방향 모션인지 회귀 모션인지 여부를 확인한다(S7).Subsequently, the motion event generation module 130 checks whether the tilt motion recognition information received by the motion event generation module 130 is a unidirectional motion or a regression motion (S7).

상기 제S7단계의 확인결과 기울기(Tilt)모션 인식정보가 단방향 모션인 경우, 모션이벤트 생성모듈(130)이 해당 정보에 대한 변위각을 산출하여 단방향 기울기(Tilt)모션 이벤트정보를 생성하고, 기울기(Tilt)모션 인식정보가 양방향 모션인 경우, 양방향 기울기(Tilt)모션 이벤트정보를 생성한다(S8).When the tilt motion recognition information is the unidirectional motion, the motion event generation module 130 generates the unidirectional tilt motion event information by calculating a displacement angle with respect to the corresponding information. When the motion recognition information is the bidirectional motion, the bidirectional tilt motion event information is generated (S8).

뒤이어, 디스플레이 제어모듈(140)이 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보를 인가받아 화면전환 상태, 제1 커서운용 상태 및 제2 커서운용 상태 중에 어느 상태인지 여부를 판단한다(S9).Subsequently, the display control module 140 receives the unidirectional tilt motion event information or the bidirectional tilt motion event information to determine whether the display control module 140 is in the screen switching state, the first cursor operating state, or the second cursor operating state. It is determined (S9).

제S9단계의 판단결과 화면전환 상태인 경우, 디스플레이 제어모듈(140)이 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 화면 디스플레이정보를 생성한다(S9-1).In the case where the determination result of step S9 is in the screen switching state, the display control module 140 outputs a preset screen image to correspond to a value included in the unidirectional tilt motion event information or the bidirectional tilt motion event information. Generate screen display information (S9-1).

제S9단계의 판단결과 제1 커서운용 상태인 경우, 디스플레이 제어모듈(140)이 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제1 커서 디스플레이정보를 생성한다(S9-2).In operation S9, the display control module 140 displays the preset screen image to correspond to a value included in the unidirectional tilt motion event information or the bidirectional tilt motion event information. The first cursor display information to be output is generated (S9-2).

제S5단계의 판단결과 제2 커서운용 상태인 경우, 디스플레이 제어모듈(140)이 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제2 커서 디스플레이정보를 생성한다(S9-3).In operation S5, the display control module 140 displays the preset screen image to correspond to a value included in the unidirectional tilt motion event information or the bidirectional tilt motion event information. The second cursor display information to be output is generated (S9-3).

그리고, 디스플레이 출력모듈(150)이 인가받은 화면 디스플레이정보, 제1 커서 디스플레이정보 또는 제2 커서 디스플레이정보를 상기 제S9단계의 판단결과에 따라 생성된 어느 하나의 정보를 출력한다(S10).
The display output module 150 outputs any one of the screen display information, the first cursor display information, or the second cursor display information generated according to the determination result of step S9 (S10).

구체적으로 도 9 및 도 11을 참조하여 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 벡터용 소프트웨어 엔진 제어 방법의 제S5-1단계의 세부과정에 대해 살피면 아래와 같다.Specifically, referring to FIGS. 9 and 11, a detailed process of step S5-1 of a motion sensor-based software engine control method for a UI of a mobile device according to the present invention will be described below.

먼저, 디스플레이 제어모듈(140)이 인가받은 이벤트정보가 단방향 축(Axis)모션 이벤트정보인지 양방향 축(Axis)모션 이벤트정보인지 여부를 확인한다(S5-1-1).First, it is checked whether the event information received by the display control module 140 is unidirectional Axis motion event information or bidirectional Axis motion event information (S5-1-1).

제S5-1-1 단계의 확인 결과, 이벤트정보가 단방향 축(Axis)모션 이벤트정보인 경우, 단방향 축(Axis)모션 이벤트정보에 포함된 값인 -X축 싱글값(Move(s):Left), +X축 싱글값(Move(s):Right), -Y축 싱글값(Move(s):Down), +Y축 싱글값(Move(s):Up), -X-Y축 싱글값(Move(s)LeftDown), -X+Y축 싱글값(Move(s):LeftUp), +X-Y축 싱글값(Move(s)RightDown), +X축+Y축 싱글값(Move(s):RightUp), -Z축 싱글값(Move(s):FaceDown) 및 +Z축 싱글값(Move(s):FaceUp)들 중에 축(Axis)모션 인식정보와 대응하는 값을 추출한다(S5-1-1a).As a result of checking in step S5-1-1, when the event information is one-way axis motion event information, -X-axis single value (Move (s): Left), which is a value included in the one-way axis motion event information. , + X-axis single value (Move (s): Right), -Y-axis single value (Move (s): Down), + Y-axis single value (Move (s): Up), -XY-axis single value (Move (s) LeftDown), -X + Y axis single value (Move (s): LeftUp), + XY axis single value (Move (s) RightDown), + X axis + Y axis single value (Move (s): RightUp ), A value corresponding to Axis motion recognition information is extracted among the -Z-axis single value (Move (s): FaceDown) and + Z-axis single value (Move (s): FaceUp) (S5-1-). 1a).

반면에, 제S5-1-1 단계의 확인 결과, 이벤트정보가 양방향 축(Axis)모션 이벤트정보인 경우, 양방향 축(Axis)모션 이벤트정보에 포함된 값인 -X축 리턴값(Move(r):Left), +X축 리턴값(Move(r):Right), -Y축 리턴값(Move(r):Down), +Y축 리턴값(Move(r):Up), -X-Y축 리턴값(Move(r)LeftDown), -X+Y축 리턴값(Move(r):LeftUp), +X-Y축 리턴값(Move(r)RightDown), +X축+Y축 리턴값(Move(r):RightUp), -Z축 리턴값(Move(r):FaceDown) 및 +Z축 리턴값(Move(r):FaceUp)들 중에 축(Axis)모션 인식정보와 대응하는 값을 추출한다(S5-1-1b).On the other hand, when the event information is the bidirectional axis motion event information as a result of checking in step S5-1-1, -X axis return value (Move (r)), which is a value included in the bidirectional axis motion event information, : Left), + X axis return value (Move (r): Right), -Y axis return value (Move (r): Down), + Y axis return value (Move (r): Up), -XY axis return Value (Move (r) LeftDown), -X + Y axis return value (Move (r): LeftUp), + XY axis return value (Move (r) RightDown), + X axis + Y axis return value (Move (r Extracts the value corresponding to the axis motion recognition information from among (RightUp), -Z axis return value (Move (r): FaceDown), and + Z axis return value (Move (r): FaceUp) (S5). -1-1b).

그리고, 디스플레이 제어모듈(140)이 추출된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 화면 디스플레이정보를 생성한다(S5-1-2).
In addition, the display control module 140 generates screen display information for outputting a preset screen image to correspond to the extracted value (S5-1-2).

또한, 도 10 및 도 11을 참조하여 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 벡터용 소프트웨어 엔진 제어 방법의 제S9-1단계의 세부과정에 대해 살피면 아래와 같다.10 and 11, the detailed process of step S9-1 of the motion sensor-based software engine control method for the UI of the mobile device according to the present invention will be described below.

먼저, 디스플레이 제어모듈(140)이 인가받은 이벤트정보가 단방향 기울기(Tilt)모션 이벤트정보인지 양방향 기울기(Tilt)모션 이벤트정보인지 여부를 확인한다(S9-1-1).First, it is checked whether the event information received by the display control module 140 is unidirectional tilt motion event information or bidirectional tilt motion event information (S9-1-1).

제S9-1-1 단계의 확인 결과, 이벤트정보가 단방향 기울기(Tilt)모션 이벤트정보인 경우, 단방향 기울기(Tilt)모션 이벤트정보에 포함된 값인 -X축 Roll 싱글값(Roll(s):Left), +X축 Roll 싱글값(Roll(s):Right), -Y축 Pitch 싱글값(Pitch(s):Down) 및 +Y축 Pitch 싱글값(Pitch(s):Up) 들 중에 기울기(Tilt)모션 인식정보와 대응하는 값을 추출한다(S9-1-1a).As a result of checking in step S9-1-1, when the event information is unidirectional tilt motion event information, -X-axis roll single value (Roll (s): Left) which is a value included in the unidirectional tilt motion event information. ), + X-axis roll single value (Roll (s): Right), -Y-axis pitch single value (Pitch (s): Down) and + Y-axis pitch single value (Pitch (s): Up) Tilt) A value corresponding to the motion recognition information is extracted (S9-1-1a).

반면에, 제S9-1-1 단계의 확인 결과, 이벤트정보가 양방향 기울기(Tilt)모션 이벤트정보인 경우, 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값인 -X축 Roll 리턴값(Roll(r):Left), +X축 Roll 리턴값(Roll(r):Right), -Y축 Pitch 리턴값(Pitch(r):Down) 및 +Y축 Pitch 리턴값(Pitch(r):Up) 들 중에 기울기(Tilt)모션 인식정보와 대응하는 값을 추출한다(S9-1-1b).On the other hand, when the event information is the bidirectional tilt motion event information as a result of checking in step S9-1-1, the -X axis roll return value (Roll (r), which is a value included in the bidirectional tilt motion event information, ): Left), + X-axis roll return value (Roll (r): Right), -Y-axis pitch return value (Pitch (r): Down), and + Y-axis pitch return value (Pitch (r): Up) The value corresponding to the tilt motion recognition information is extracted (S9-1-1b).

그리고, 디스플레이 제어모듈(140)이 추출된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 화면 디스플레이정보를 생성한다(S9-1-2).Then, the display control module 140 generates screen display information for outputting a preset screen image to correspond to the extracted value (S9-1-2).

즉, 상기 도 9 및 도 10에 도시된 제S5-1단계 또는 제S9-1단계에 따라 생성된 화면 디스플레이정보들은, 도 11에 도시된 바와 같이 각각의 모션 이벤트정보와 대응하도록 좌측메뉴 화면출력, 우측메뉴 화면출력, 상측메뉴 화면출력, 하측메뉴 화면출력, 이전메뉴 화면출력, 상위메뉴 화면출력, 이후메뉴 화면출력 및 출력메뉴 화면선택 중에 어느 하나의 화면이 출력된다.
That is, the screen display information generated according to the step S5-1 or the step S9-1 shown in FIGS. 9 and 10 outputs the left menu screen to correspond to each motion event information as shown in FIG. 11. One of the screen output, the right menu screen output, the top menu screen output, the bottom menu screen output, the previous menu screen output, the upper menu screen output, the subsequent menu screen output and the output menu screen selection.

한편, 도 12 및 도 14를 참조하여 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 벡터용 소프트웨어 엔진 제어 방법의 제S5-2단계의 세부과정에 대해 살피면 아래와 같다.Meanwhile, referring to FIGS. 12 and 14, a detailed process of step S5-2 of a motion sensor-based software engine control method for a UI of a mobile device according to the present invention will be described below.

먼저, 디스플레이 제어모듈(140)이 인가받은 이벤트정보가 단방향 축(Axis)모션 이벤트정보인지 양방향 축(Axis)모션 이벤트정보인지 여부를 확인한다(S5-2-1).First, it is checked whether the event information received by the display control module 140 is unidirectional Axis motion event information or bidirectional Axis motion event information (S5-2-1).

제S5-2-1 단계의 확인 결과, 이벤트정보가 단방향 축(Axis)모션 이벤트정보인 경우, 단방향 축(Axis)모션 이벤트정보에 포함된 값인 -X축 싱글값(Move(s):Left), +X축 싱글값(Move(s):Right), -Y축 싱글값(Move(s):Down), +Y축 싱글값(Move(s):Up), -X-Y축 싱글값(Move(s)LeftDown), -X+Y축 싱글값(Move(s):LeftUp), +X-Y축 싱글값(Move(s)RightDown), +X축+Y축 싱글값(Move(s):RightUp), -Z축 싱글값(Move(s):FaceDown) 및 +Z축 싱글값(Move(s):FaceUp)들 중에 축(Axis)모션 인식정보와 대응하는 값을 추출한다(S5-2-1a).As a result of checking in step S5-2-1, when the event information is unidirectional axis motion event information, the -X axis single value (Move (s): Left), which is a value included in the unidirectional axis motion event information, is determined. , + X-axis single value (Move (s): Right), -Y-axis single value (Move (s): Down), + Y-axis single value (Move (s): Up), -XY-axis single value (Move (s) LeftDown), -X + Y axis single value (Move (s): LeftUp), + XY axis single value (Move (s) RightDown), + X axis + Y axis single value (Move (s): RightUp ), A value corresponding to Axis motion recognition information is extracted among the -Z axis single value (Move (s): FaceDown) and + Z axis single value (Move (s): FaceUp) (S5-2-). 1a).

반면에, 제S5-2-1 단계의 확인 결과, 이벤트정보가 양방향 축(Axis)모션 이벤트정보인 경우, 양방향 축(Axis)모션 이벤트정보에 포함된 값인 -X축 리턴값(Move(r):Left), +X축 리턴값(Move(r):Right), -Y축 리턴값(Move(r):Down), +Y축 리턴값(Move(r):Up), -X-Y축 리턴값(Move(r)LeftDown), -X+Y축 리턴값(Move(r):LeftUp), +X-Y축 리턴값(Move(r)RightDown), +X축+Y축 리턴값(Move(r):RightUp), -Z축 리턴값(Move(r):FaceDown) 및 +Z축 리턴값(Move(r):FaceUp)들 중에 축(Axis)모션 인식정보와 대응하는 값을 추출한다(S5-2-1b).On the other hand, if the event information is the bidirectional axis motion event information as a result of checking in step S5-2-1, -X axis return value (Move (r)), which is a value included in the bidirectional axis motion event information, : Left), + X axis return value (Move (r): Right), -Y axis return value (Move (r): Down), + Y axis return value (Move (r): Up), -XY axis return Value (Move (r) LeftDown), -X + Y axis return value (Move (r): LeftUp), + XY axis return value (Move (r) RightDown), + X axis + Y axis return value (Move (r Extracts the value corresponding to the axis motion recognition information from among (RightUp), -Z axis return value (Move (r): FaceDown), and + Z axis return value (Move (r): FaceUp) (S5). -2-1b).

그리고, 디스플레이 제어모듈(140)이 추출된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제1 커서 디스플레이정보를 생성한다(S5-2-2).
In addition, the display control module 140 generates first cursor display information for outputting a preset screen image to correspond to the extracted value (S5-2-2).

또한, 도 13 및 도 14를 참조하여 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 벡터용 소프트웨어 엔진 제어 방법의 제S9-2단계의 세부과정에 대해 살피면 아래와 같다.13 and 14, a detailed process of step S9-2 of a motion sensor-based software engine control method for a UI of a mobile device according to the present invention will be described below.

먼저, 디스플레이 제어모듈(140)이 인가받은 이벤트정보가 단방향 기울기(Tilt)모션 이벤트정보인지 양방향 기울기(Tilt)모션 이벤트정보인지 여부를 확인한다(S9-2-1).First, it is checked whether the event information received by the display control module 140 is unidirectional tilt motion event information or bidirectional tilt motion event information (S9-2-1).

제S9-2-1 단계의 확인 결과, 이벤트정보가 단방향 기울기(Tilt)모션 이벤트정보인 경우, 단방향 기울기(Tilt)모션 이벤트정보에 포함된 값인 -X축 Roll 싱글값(Roll(s):Left), +X축 Roll 싱글값(Roll(s):Right), -Y축 Pitch 싱글값(Pitch(s):Down) 및 +Y축 Pitch 싱글값(Pitch(s):Up) 들 중에 기울기(Tilt)모션 인식정보와 대응하는 값을 추출한다(S9-2-1a).As a result of checking in step S9-2-1, when the event information is unidirectional tilt motion event information, -X-axis roll single value (Roll (s): Left), which is a value included in the unidirectional tilt motion event information. ), + X-axis roll single value (Roll (s): Right), -Y-axis pitch single value (Pitch (s): Down) and + Y-axis pitch single value (Pitch (s): Up) Tilt) A value corresponding to the motion recognition information is extracted (S9-2-1a).

반면에, 제S9-2-1 단계의 확인 결과, 이벤트정보가 양방향 기울기(Tilt)모션 이벤트정보인 경우, 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값인 -X축 Roll 리턴값(Roll(r):Left), +X축 Roll 리턴값(Roll(r):Right), -Y축 Pitch 리턴값(Pitch(r):Down) 및 +Y축 Pitch 리턴값(Pitch(r):Up) 들 중에 기울기(Tilt)모션 인식정보와 대응하는 값을 추출한다(S9-2-1b).On the other hand, when the event information is the bidirectional tilt motion event information as a result of checking in step S9-2-1, the -X axis roll return value (Roll (r), which is a value included in the bidirectional tilt motion event information, is determined. ): Left), + X-axis roll return value (Roll (r): Right), -Y-axis pitch return value (Pitch (r): Down), and + Y-axis pitch return value (Pitch (r): Up) The value corresponding to the tilt motion recognition information is extracted (S9-2-1b).

그리고, 디스플레이 제어모듈(140)이 추출된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제1 커서 디스플레이정보를 생성한다(S9-2-2).In addition, the display control module 140 generates first cursor display information for outputting a preset screen image to correspond to the extracted value (S9-2-2).

즉, 상기 도 12 및 도 13에 도시된 제S5-2단계 또는 제S9-2단계에 따라 생성된 제1 커서 디스플레이정보들은, 도 14에 도시된 바와 같이 각각의 모션 이벤트정보와 대응하도록 커서그룹 좌측이동, 커서그룹 우측이동, 커서그룹 상측이동, 커서그룹 하측이동, 커서그룹 내의 커서 선택, 선택된 커서에서 이전 커서그룹으로 이동, 커서그룹 내의 커서 선택, 커서 우측으로 이동, 커서 하측으로 이동, 커서 좌측으로 이동 및 선택된 커서 실행 중에 어느 하나의 화면이 출력된다.
That is, the first cursor display information generated according to the step S5-2 or the step S9-2 shown in FIGS. 12 and 13 corresponds to each motion event information as shown in FIG. 14. Move left, move cursor group right, move cursor group up, move cursor group down, select cursor in cursor group, move from selected cursor to previous cursor group, select cursor in cursor group, move cursor right, move cursor below, cursor One screen is displayed during movement to the left and execution of the selected cursor.

한편, 한편, 도 15 및 도 17을 참조하여 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 벡터용 소프트웨어 엔진 제어 방법의 제S5-3단계의 세부과정에 대해 살피면 아래와 같다.Meanwhile, referring to FIGS. 15 and 17, a detailed process of step S5-3 of a motion sensor based vector software engine control method for a UI of a mobile device according to the present invention will be described below.

먼저, 디스플레이 제어모듈(140)이 인가받은 이벤트정보가 단방향 축(Axis)모션 이벤트정보인지 양방향 축(Axis)모션 이벤트정보인지 여부를 확인한다(S5-3-1).First, it is checked whether the event information received by the display control module 140 is unidirectional Axis motion event information or bidirectional Axis motion event information (S5-3-1).

제S5-3-1 단계의 확인 결과, 이벤트정보가 단방향 축(Axis)모션 이벤트정보인 경우, 단방향 축(Axis)모션 이벤트정보에 포함된 값인 -X축 싱글값(Move(s):Left), +X축 싱글값(Move(s):Right), -Y축 싱글값(Move(s):Down), +Y축 싱글값(Move(s):Up), -X-Y축 싱글값(Move(s)LeftDown), -X+Y축 싱글값(Move(s):LeftUp), +X-Y축 싱글값(Move(s)RightDown), +X축+Y축 싱글값(Move(s):RightUp), -Z축 싱글값(Move(s):FaceDown) 및 +Z축 싱글값(Move(s):FaceUp)들 중에 축(Axis)모션 인식정보와 대응하는 값을 추출한다(S5-3-1a).As a result of checking in step S5-3-1, when the event information is unidirectional axis motion event information, the -X axis single value (Move (s): Left), which is a value included in the unidirectional axis motion event information, is determined. , + X-axis single value (Move (s): Right), -Y-axis single value (Move (s): Down), + Y-axis single value (Move (s): Up), -XY-axis single value (Move (s) LeftDown), -X + Y axis single value (Move (s): LeftUp), + XY axis single value (Move (s) RightDown), + X axis + Y axis single value (Move (s): RightUp ), A value corresponding to Axis motion recognition information is extracted among the -Z axis single value (Move (s): FaceDown) and + Z axis single value (Move (s): FaceUp) (S5-3- 1a).

반면에, 제S5-3-1 단계의 확인 결과, 이벤트정보가 양방향 축(Axis)모션 이벤트정보인 경우, 양방향 축(Axis)모션 이벤트정보에 포함된 값인 -X축 리턴값(Move(r):Left), +X축 리턴값(Move(r):Right), -Y축 리턴값(Move(r):Down), +Y축 리턴값(Move(r):Up), -X-Y축 리턴값(Move(r)LeftDown), -X+Y축 리턴값(Move(r):LeftUp), +X-Y축 리턴값(Move(r)RightDown), +X축+Y축 리턴값(Move(r):RightUp), -Z축 리턴값(Move(r):FaceDown) 및 +Z축 리턴값(Move(r):FaceUp)들 중에 축(Axis)모션 인식정보와 대응하는 값을 추출한다(S5-3-1b).On the other hand, if the event information is the bidirectional axis motion event information as a result of checking in step S5-3-1, -X axis return value (Move (r)), which is a value included in the bidirectional axis motion event information, : Left), + X axis return value (Move (r): Right), -Y axis return value (Move (r): Down), + Y axis return value (Move (r): Up), -XY axis return Value (Move (r) LeftDown), -X + Y axis return value (Move (r): LeftUp), + XY axis return value (Move (r) RightDown), + X axis + Y axis return value (Move (r Extracts the value corresponding to the axis motion recognition information from among (RightUp), -Z axis return value (Move (r): FaceDown), and + Z axis return value (Move (r): FaceUp) (S5). -3-1b).

그리고, 디스플레이 제어모듈(140)이 추출된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제2 커서 디스플레이정보를 생성한다(S5-3-2).The display control module 140 generates second cursor display information for outputting a preset screen image to correspond to the extracted value (S5-3-2).

즉, 제2 커서 디스플레이정보는, 도 16에 도시된 바와 같이 아이콘을 가리키는 커서가 기 설정된 위치좌표 6개의 어느 하나의 위치로부터 추출된 값에 따라 6개의 어느 하나의 위치좌표에 해당하는 아이콘으로 커서를 이동시킨다.
That is, as shown in FIG. 16, the second cursor display information may be a cursor that corresponds to an icon corresponding to one of six positional coordinates according to a value extracted from one of six preset positional coordinates. Move it.

또한, 도 16 및 도 17을 참조하여 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 벡터용 소프트웨어 엔진 제어 방법의 제S9-3단계의 세부과정에 대해 살피면 아래와 같다.16 and 17, the detailed process of step S9-3 of the motion sensor-based software engine control method for the UI of the mobile device according to the present invention will be described below.

먼저, 디스플레이 제어모듈(140)이 인가받은 이벤트정보가 단방향 기울기(Tilt)모션 이벤트정보인지 양방향 기울기(Tilt)모션 이벤트정보인지 여부를 확인한다(S9-3-1).First, it is checked whether the event information received by the display control module 140 is unidirectional tilt motion event information or bidirectional tilt motion event information (S9-3-1).

제S9-3-1 단계의 확인 결과, 이벤트정보가 단방향 기울기(Tilt)모션 이벤트정보인 경우, 단방향 기울기(Tilt)모션 이벤트정보에 포함된 값인 -X축 Roll 싱글값(Roll(s):Left), +X축 Roll 싱글값(Roll(s):Right), -Y축 Pitch 싱글값(Pitch(s):Down) 및 +Y축 Pitch 싱글값(Pitch(s):Up) 들 중에 기울기(Tilt)모션 인식정보와 대응하는 값을 추출한다(S9-3-1a).As a result of checking in step S9-3-1, when the event information is unidirectional tilt motion event information, -X-axis roll single value (Roll (s): Left) which is a value included in the unidirectional tilt motion event information. ), + X-axis roll single value (Roll (s): Right), -Y-axis pitch single value (Pitch (s): Down) and + Y-axis pitch single value (Pitch (s): Up) Tilt) A value corresponding to the motion recognition information is extracted (S9-3-1a).

반면에, 제S9-3-1 단계의 확인 결과, 이벤트정보가 양방향 기울기(Tilt)모션 이벤트정보인 경우, 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값인 -X축 Roll 리턴값(Roll(r):Left), +X축 Roll 리턴값(Roll(r):Right), -Y축 Pitch 리턴값(Pitch(r):Down) 및 +Y축 Pitch 리턴값(Pitch(r):Up) 들 중에 기울기(Tilt)모션 인식정보와 대응하는 값을 추출한다(S9-3-1b).On the other hand, if the event information is the bidirectional tilt motion event information as a result of checking in step S9-3-1, the -X axis roll return value (Roll (r), which is a value included in the bidirectional tilt motion event information, is determined. ): Left), + X-axis roll return value (Roll (r): Right), -Y-axis pitch return value (Pitch (r): Down), and + Y-axis pitch return value (Pitch (r): Up) The value corresponding to the tilt motion recognition information is extracted (S9-3-1b).

그리고, 디스플레이 제어모듈(140)이 추출된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제2 커서 디스플레이정보를 생성한다(S9-3-2).The display control module 140 generates second cursor display information for outputting a preset screen image to correspond to the extracted value (S9-3-2).

즉, 상기 도 15 및 도 16에 도시된 제S5-3단계 또는 제S9-3단계에 따라 생성된 제2 커서 디스플레이정보들은 도 17에 도시된 바와 같이 각각의 모션 이벤트정보와 대응하도록, 아이콘을 가리키는 커서가 기 설정된 위치좌표 6개의 어느 하나의 위치로부터 추출된 값에 따라 6개의 어느 하나의 위치좌표에 해당하는 아이콘으로 커서를 이동시키며, 상위커서 좌측이동, 상위커서 우측이동, 상위커서 상측이동, 상위커서 하측이동, 하위커서 좌측이동, 하위커서 우측이동, 하위커서 상측이동, 하위커서 하측이동 및 선택된 커서 실행 중에 어느 하나의 화면이 출력된다.
That is, the second cursor display information generated according to the step S5-3 or the step S9-3 shown in FIGS. 15 and 16 corresponds to each motion event information as shown in FIG. 17. The cursor moves to the icon corresponding to one of the six positional coordinates according to the value extracted from one of the six positional coordinates.The upper cursor moves left, the upper cursor moves right, and the upper cursor moves upward. One of the following screens is displayed: moving the upper cursor down, moving the lower cursor left, moving the lower cursor right, moving the lower cursor up, moving the lower cursor down and executing the selected cursor.

또한, 도 18을 참조하여 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 벡터용 소프트웨어 엔진 제어 방법의 제S1단계 이후에 수행되는 또 다른 과정에 대해 살피면 아래와 같다.Also, referring to FIG. 18, another process performed after step S1 of the motion sensor-based software engine control method for a UI of a mobile device according to the present invention will be described below.

제S1 단계 이후, 모션데이터 필터링모듈(120)이 센싱정보를 인가받아 모션의 센싱에 따른 변화량을 추출하여 추출된 변화량이 휴대기기를 2회 내지 3회 두드리는 움직임인 경우 노킹(Knocking)모션 인식정보를 생성하고, 추출된 변화량이 좌우로 2회 내지 3회 흔드는 움직임 데이터인 경우 흔들기(Shaking)모션 인식정보를 생성한다(S11).After the step S1, the motion data filtering module 120 receives the sensing information and extracts the change amount according to the sensing of the motion, and knocking motion recognition information when the extracted change amount is a movement of tapping the mobile device two or three times. When the extracted change amount is the motion data shaking two to three times to the left and right, shaking motion recognition information is generated (S11).

이어서, 모션이벤트 생성모듈(130)이 모션데이터 필터링모듈(120)로부터 노킹(Knocking)모션 인식정보를 인가받은 경우 아이콘을 클릭 또는 선택하도록 하는 노킹(Knocking)모션 이벤트정보를 생성하고, 흔들기(Shaking)모션 이식정보를 인가받은 경우 휴대기기의 모드를 변환(삭제, 리턴 또는 종료)하는 흔들기(Shaking)모션 이벤트정보를 생성한다(S12).Subsequently, when the motion event generation module 130 receives the knocking motion recognition information from the motion data filtering module 120, the motion event generation module 130 generates knocking motion event information for clicking or selecting an icon, and shaking. When the motion transplantation information is received, shaking motion event information for converting (deleting, returning or ending) the mode of the mobile device is generated (S12).

뒤이어, 디스플레이 제어모듈(140)이 모션이벤트 생성모듈(130)로부터 노킹(Knocking)모션 이벤트정보를 인가받은 경우, 휴대기기상의 커서에 위치한 아이콘을 클릭 또는 선택한 이후화면을 출력하는 실행 디스플레이정보를 생성하고, 흔들기(Shaking)모션 이벤트정보를 인가받은 경우, 휴대기기상에 디스플레이되던 화면의 모드(삭제, 리턴 또는 종료)를 변경하여 출력하는 모드변경 디스플레이정보를 생성한다(S13).Subsequently, when the display control module 140 receives the knocking motion event information from the motion event generation module 130, the display control module 140 generates execution display information for outputting a screen after clicking or selecting an icon located at a cursor on the mobile device. When the shaking motion event information is received, mode change display information for changing and outputting a mode (delete, return or end) of the screen displayed on the mobile device is generated (S13).

그리고, 디스플레이 출력모듈(150)이 상기 디스플레이 제어모듈(140)로부터 인가받은 실행 디스플레이정보 또는 모드변경 디스플레이정보를 출력한다(S14).In addition, the display output module 150 outputs execution display information or mode change display information received from the display control module 140 (S14).

이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등 물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.While the present invention has been particularly shown and described with reference to preferred embodiments thereof, it will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. It will be appreciated by those skilled in the art that numerous changes and modifications may be made without departing from the invention. And all such modifications and changes as fall within the scope of the present invention are therefore to be regarded as being within the scope of the present invention.

100: 휴대기기의 UI를 위한 모션 센서 기반의 벡터용 소프트웨어 엔진
110: 센싱모듈 111: 지자계 센서
112: 가속 센서 113: 자이로 센서
120: 모션데이터 필터링모듈 130: 모션이벤트 생성모듈
140: 디스플레이 제어모듈 150: 디스플레이 출력모듈100: Software engine for motion based vector for UI of mobile devices
110: sensing module 111: geomagnetic sensor
112: acceleration sensor 113: gyro sensor
120: motion data filtering module 130: motion event generation module
140: display control module 150: display output module

Claims (20)

휴대기기의 UI를 위한 모션 센서 제어 시스템에 있어서,
지자계 센서, 가속 센서, 자이로 센서를 통해 위치와 동작을 감지하여 운동 상태 변화를 측정하고, 측정된 X, Y, Z 축의 로우(RAW) 데이터, 방위각, 롤(Roll) 및 피치(Pitch)에 대한 정보가 포함된 모션 감지 결과를 산출하여 모션 센싱정보를 생성하는 센싱모듈;
상기 모션 센싱정보를 인가받아 모션의 센싱에 따른 변화량을 추출하여 휴대기기에서 발생한 해당 모션을 인식하되, 추출된 변화량이 축방향 움직임 데이터인 경우 축(Axis)모션 인식정보를 생성하고, 추출된 변화량이 회전 기울기 데이터인 경우 기울기(Tilt)모션 인식정보를 생성하는 모션데이터 필터링모듈;
상기 축(Axis)모션 인식정보 또는 기울기(Tilt)모션 인식정보를 인가받아 각각 단방향 모션인지 회귀 모션인지 여부를 판단하여, 축(Axis)모션 인식정보가 단방향인 경우, 해당 가속도를 산출하여 단방향 축(Axis)모션 이벤트정보를 생성하고, 축(Axis)모션 인식정보가 양방향인 경우, 해당 가속도를 산출하여 양방향 축(Axis)모션 이벤트정보를 생성하며, 상기 판단결과, 기울기(Tilt)모션 인식정보가 단방향 모션인 경우, 해당 변위각을 산출하여 단방향 기울기(Tilt)모션 이벤트정보를 생성하고, 기울기(Tilt)모션 인식정보가 양방향 모션인 경우, 해당 변위각을 산출하여 양방향 기울기(Tilt)모션 이벤트정보를 생성하는 모션이벤트 생성모듈; 및
상기 단방향 축(Axis)모션 이벤트정보, 양방향 축(Axis)모션 이벤트정보, 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보 중에 어느 하나의 정보를 인가받고, 인가받은 이벤트정보가 화면전환 상태, 제1 커서운용 상태 및 제2 커서운용 상태 중에 어느 상태인지 여부를 판단하여 각각 화면 디스플레이정보, 제1 커서 디스플레이정보 또는 제2 커서 디스플레이정보를 생성하는 디스플레이 제어모듈;을 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 제어 시스템.In the motion sensor control system for a UI of a mobile device,
It detects position and motion through geomagnetic sensor, acceleration sensor, and gyro sensor to measure the change of motion state, and measures the raw data of the measured X, Y, Z axis, azimuth, roll and pitch. A sensing module configured to generate motion sensing information by calculating a motion detection result including information about the motion detection result;
Recognize the motion generated in the mobile device by extracting the change amount according to the motion sensing by receiving the motion sensing information. When the extracted change amount is the axial motion data, the axis motion recognition information is generated, and the extracted change amount A motion data filtering module for generating tilt motion recognition information in the case of the rotation tilt data;
The axis motion recognition information or the tilt motion recognition information is applied to determine whether the motion motion is unidirectional or regressive, and when the motion motion recognition information is unidirectional, the corresponding acceleration is calculated to determine the unidirectional axis. (Axis) generates motion event information, and if the axis motion recognition information is bidirectional, calculates the corresponding acceleration to generate bidirectional axis motion event information, and as a result of the determination, tilt motion recognition information. Is a unidirectional motion, calculates a corresponding displacement angle to generate unidirectional tilt motion event information, and when the tilt motion recognition information is bidirectional motion, calculates a corresponding displacement angle to generate a bidirectional tilt motion event. A motion event generation module for generating information; And
The unidirectional axis motion event information, the bidirectional axis motion event information, the unidirectional tilt motion event information, or the bidirectional tilt motion event information is received, and the authorized event information is received. And a display control module configured to determine which of the screen switching state, the first cursor operating state, and the second cursor operating state to generate screen display information, first cursor display information, or second cursor display information, respectively. Motion sensor control system for the UI of a mobile device characterized in that. 제 1 항에 있어서,
상기 모션 센싱정보를 인가받아 모션의 센싱에 따른 변화량을 추출하여 휴대기기에서 발생한 해당 모션을 인식하되, 추출된 변화량이 휴대기기를 2회 내지 3회 두드리는 움직임인 경우 노킹(Knocking)모션 인식정보를 생성하고, 추출된 변화량이 좌우로 2회 내지 3회 흔드는 움직임 데이터인 경우 흔들기(Shaking)모션 인식정보를 생성하는 모션데이터 필터링모듈;
상기 모션데이터 필터링모듈로부터 노킹(Knocking)모션 인식정보를 인가받은 경우 아이콘을 클릭 또는 선택하도록 하는 노킹(Knocking)모션 이벤트정보를 생성하고, 상기 흔들기(Shaking)모션 이식정보를 인가받은 경우 휴대기기의 모드를 변환(삭제, 리턴 또는 종료)하는 흔들기(Shaking)모션 이벤트정보를 생성하는 모션이벤트 생성모듈;
상기 모션이벤트 생성모듈로부터 노킹(Knocking)모션 인식정보를 인가받아 휴대기기상의 커서에 위치한 아이콘을 클릭 또는 선택한 이후화면을 출력하는 실행 디스플레이정보를 생성하고, 상기 흔들기(Shaking)모션 인식정보를 인가받아 휴대기기상에 디스플레이되던 화면의 모드(삭제, 리턴 또는 종료)를 변경하여 출력하는 모드변경 디스플레이정보를 생성하는 디스플레이 제어모듈; 및
상기 디스플레이 제어모듈로부터 인가받은 실행 디스플레이정보 또는 실행 디스플레이정보를 출력하는 디스플레이 출력모듈;을 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 제어 시스템.The method of claim 1,
The motion sensing information is applied to extract the amount of change in accordance with the sensing of the motion to recognize the corresponding motion generated in the mobile device, and if the extracted amount is a movement of knocking the mobile device two or three times, knocking motion recognition information A motion data filtering module for generating shaking motion recognition information when the generated change amount is motion data shaking two to three times from side to side;
When knocking motion recognition information is received from the motion data filtering module, a knocking motion event information is generated to click or select an icon, and when the shaking motion transplantation information is received, A motion event generation module for generating shaking motion event information for changing (deleting, returning or ending) a mode;
Receives knocking motion recognition information from the motion event generation module, generates execution display information for outputting a screen after clicking or selecting an icon located on a cursor on a mobile device, and receives the shaking motion recognition information. A display control module configured to generate mode change display information for changing and outputting a mode (delete, return or end) of a screen displayed on a mobile device; And
And a display output module for outputting the execution display information or the execution display information received from the display control module. 제 1 항에 있어서,
상기 단방향 축(Axis)모션 이벤트정보는,
중심좌표로부터 단일방향으로의 모션이후 정지되는 -X축 싱글값(Move(s):Left), +X축 싱글값(Move(s):Right), -Y축 싱글값(Move(s):Down), +Y축 싱글값(Move(s):Up), -X-Y축 싱글값(Move(s)LeftDown), -X+Y축 싱글값(Move(s):LeftUp), +X-Y축 싱글값(Move(s)RightDown), +X축+Y축 싱글값(Move(s):RightUp), -Z축 싱글값(Move(s):FaceDown) 및 +Z축 싱글값(Move(s):FaceUp) 중에 어느 하나의 값을 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 제어 시스템.The method of claim 1,
The one-way Axis motion event information,
-X-axis single value (Move (s): Left), + X-axis single value (Move (s): Right) and -Y-axis single value (Move (s): Down), + Y axis single value (Move (s): Up), -XY axis single value (Move (s) LeftDown), -X + Y axis single value (Move (s): LeftUp), + XY axis single Value (Move (s) RightDown), + X-axis + Y-axis single value (Move (s): RightUp), -Z-axis single value (Move (s): FaceDown), and + Z-axis single value (Move (s) : Motion sensor control system for a UI of a mobile device, characterized in that it comprises any one of: FaceUp. 제 1 항에 있어서,
상기 양방향 축(Axis)모션 이벤트정보는,
중심좌표로부터 단일방향으로의 모션이후 중심좌표로 회기하는, -X축 리턴값(Move(r):Left), +X축 리턴값(Move(r):Right), -Y축 리턴값(Move(r):Down), +Y축 리턴값(Move(r):Up), -X-Y축 리턴값(Move(s)LeftDown), -X+Y축 리턴값(Move(s)LeftUp), +X-Y축 리턴값(Move(s)RightDown), +X축+Y축 리턴값(Move(s)RightUp), -Z축 리턴값(Move(r):FaceDown) 및 +Z축 리턴값(Move(r):FaceUp) 중에 어느 하나의 값을 포함을 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 제어 시스템.The method of claim 1,
The bidirectional axis motion event information,
-X axis return value (Move (r): Left), + X axis return value (Move (r): Right), -Y axis return value (Move), which return to the center coordinate after the motion from the center coordinate in one direction. (r): Down), + Y axis return value (Move (r): Up), -XY axis return value (Move (s) LeftDown), -X + Y axis return value (Move (s) LeftUp), + XY axis return value (Move (s) RightDown), + X axis + Y axis return value (Move (s) RightUp), -Z axis return value (Move (r): FaceDown), and + Z axis return value (Move ( r): FaceUp) motion sensor control system for a UI of a mobile device, characterized in that it comprises a value. 제 1 항에 있어서,
상기 단방향 기울기(Tilt)모션 이벤트정보는,
중심좌표로부터 사용자 얼굴을 향해 단일방향으로 회전하는 모션이후 정지하는 -X축 Roll 싱글값(Roll(s):Left), +X축 Roll 싱글값(Roll(s):Right), -Y축 Pitch 싱글값(Pitch(s):Down) 및 +Y축 Pitch 싱글값(Pitch(s):Up) 중에 어느 하나의 값을 포함하고,
중심좌표로부터 좌측 상단의 모서리와 우측 하단의 모서리를 기준으로 사용자 얼굴을 향해 단일방향으로 회전하는 모션이후 정지하는 -X축 Edge 싱글값(Edge(s):Left) 및 +X축 Edge 싱글값(Edge(s):Right) 중에 어느 하나의 값을 포함하며,
중심좌표로부터 좌우 한방향으로 회전하는 모션이후 정지하는 -X축 Yaw 싱글값(Yaw(s):Left) 및 +X축 Yaw 싱글값(Yaw(s):Right) 중에 어느 하나의 값을 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 제어 시스템.The method of claim 1,
The one-way tilt motion event information,
-X axis roll single value (Roll (s): Left), + X axis roll single value (Roll (s): Right), -Y axis Pitch One of the single value (Pitch (s): Down) and the + Y-axis pitch single value (Pitch (s): Up),
-X-axis edge single value (Edge (s): Left) and + X-axis edge single value, which stop after a single rotation from the center coordinates toward the user's face relative to the upper left corner and the lower right corner. Contains any one of Edge (s): Right),
Including any one of -X-axis Yaw single value (Yaw (s): Left) and + X-axis Yaw single value (Yaw (s): Right) to stop after the motion to rotate left and right from the center coordinate Motion sensor control system for the UI of a mobile device characterized in that. 제 1 항에 있어서,
상기 양방향 기울기(Tilt)모션 이벤트정보는,
중심좌표로부터 단일방향으로 회전하는 모션이후 중심좌표로 회기하는 -X축 Roll 리턴값(Roll(r):Left), +X축 Roll 리턴값(Roll(r):Right), -Y축 Pitch 리턴값(Pitch(r):Down) 및 +Y축 Pitch 리턴값(Pitch(r):Up) 중에 어느 하나의 값을 포함하고,
중심좌표로부터 좌측 상단의 모서리와 우측 하단의 모서리를 기준으로 사용자 얼굴을 향해 단일방향으로 회전하는 모션이후 중심좌표로 회기하는 -X축 Edge 리턴값(Edge(r):Left) 및 +X축 Edge 리턴값(Edge(r):Right) 중에 어느 하나의 값을 포함하며,
중심좌표로부터 좌우 한방향으로 회전하는 모션이후 중심좌표로 회기하는 -X축 Yaw 리턴값(Yaw(r):Left) 및 +X축 Yaw 리턴값(Yaw(r):Right) 중에 어느 하나의 값을 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 제어 시스템.The method of claim 1,
The two-way tilt motion event information,
-X axis roll return value (Roll (r): Left), + X axis roll return value (Roll (r): Right), -Y axis Pitch return One of the value (Pitch (r): Down) and the + Y-axis pitch return value (Pitch (r): Up),
-X-axis edge return value (Edge (r): Left) and + X-axis edge which rotates from the center coordinate to the center coordinate after the motion of rotating in one direction toward the user's face with respect to the upper left corner and the lower right corner. Contains one of the return values (Edge (r): Right),
Select one of -X-axis Yaw return value (Yaw (r): Left) and + X-axis Yaw return value (Yaw (r): Right) that return to the center coordinate after the motion to rotate left and right in one direction from the center coordinate. Motion sensor control system for a UI of a mobile device comprising a. 제 1 항에 있어서,
상기 디스플레이 제어모듈은,
상기 이벤트정보가 화면전환 상태, 제1 커서운용 상태 및 제2 커서운용 상태 중에 어느 상태인지 여부를 판단하되,
상기 판단결과 화면전환 상태인 경우, 상기 모션이벤트 생성모듈로부터 인가받은 모션 인식정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 화면 디스플레이정보를 생성하고, 이를 디스플레이 출력모듈로 인가하여 출력하도록 제어하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 제어 시스템.The method of claim 1,
The display control module,
It is determined whether the event information is in the screen switching state, the first cursor operation state and the second cursor operation state,
In the determination result of the screen switching state, to generate the screen display information for outputting a screen image set to correspond to the value included in the motion recognition information received from the motion event generation module, and to output it to the display output module Motion sensor control system for the UI of a mobile device, characterized in that for controlling. 제 1 항에 있어서,
상기 디스플레이 제어모듈은,
상기 이벤트정보가 화면전환 상태, 제1 커서운용 상태 및 제2 커서운용 상태 중에 어느 상태인지 여부를 판단하되,
상기 판단결과 제1 커서운용 상태인 경우, 상기 모션이벤트 생성모듈로부터 인가받은 모션 인식정보에 포함된 값과 대응하도록 기 설정된 제1 커서이동 이미지를 출력하는 제1 커서 디스플레이정보를 생성하고, 이를 디스플레이 출력모듈로 인가하여 출력하도록 제어하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 제어 시스템.The method of claim 1,
The display control module,
It is determined whether the event information is in the screen switching state, the first cursor operation state and the second cursor operation state,
When the determination result indicates that the cursor is in the first cursor operating state, the first cursor display information for outputting the first cursor movement image preset to correspond to the value included in the motion recognition information received from the motion event generation module is generated and displayed. Motion sensor control system for the UI of a mobile device, characterized in that the control to apply to the output module. 제 1 항에 있어서,
상기 디스플레이 제어모듈은,
상기 이벤트정보가 화면전환 상태, 제1 커서운용 상태 및 제2 커서운용 상태 중에 어느 상태인지 여부를 판단하되,
상기 판단결과 제2 커서운용 상태인 경우, 상기 모션이벤트 생성모듈로부터 인가받은 모션 인식정보에 포함된 값과 대응하도록 기 설정된 제2 커서이동 이미지를 출력하는 제2 커서 디스플레이정보를 생성하고, 이를 디스플레이 출력모듈로 인가하여 출력하도록 제어하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 제어 시스템.The method of claim 1,
The display control module,
It is determined whether the event information is in the screen switching state, the first cursor operation state and the second cursor operation state,
In the determination result of the second cursor operating state, the second cursor display information for outputting a second cursor movement image which is preset to correspond to a value included in the motion recognition information received from the motion event generation module is generated and displayed. Motion sensor control system for the UI of a mobile device, characterized in that the control to apply to the output module. 제 2 항에 있어서,
상기 노킹(Knocking)모션 인식정보는 아이콘을 클릭 또는 선택하도록 하는 Knocking(r):Touch 값을 포함하고, 흔들기(Shaking)모션 인식정보는 휴대기기의 모드를 변환(삭제, 리턴 또는 종료)하는 Shaking(r):Double 값을 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 제어 시스템.The method of claim 2,
The knocking motion recognition information includes a Knocking (r): Touch value for clicking or selecting an icon, and the shaking motion recognition information for shaking (removing, returning, or ending) a mode of the mobile device. (r): Motion sensor control system for a UI of a mobile device, characterized in that it comprises a Double value. 휴대기기의 UI를 위한 모션 센서 제어 방법에 있어서,
(a) 센싱모듈이 X, Y, Z 축의 로우(RAW) 데이터, 방위각, 롤(Roll), 피치(Pitch)에 대한 정보가 포함된 모션 감지 결과를 산출하여 모션 센싱정보를 생성하는 단계;
(b) 모션데이터 필터링모듈이 상기 모션 센싱정보를 인가받아 모션의 센싱에 따른 변화량을 추출하여 추출된 변화량이 축방향 움직임 데이터인지 회전 기울기 데이터인지 여부를 판단하는 단계;
(c) 상기 (b) 단계의 판단결과, 추출된 변화량이 축방향 움직임 데이터인 경우, 상기 모션데이터 필터링모듈이 축(Axis)모션 인식정보를 생성하는 단계;
(d) 모션이벤트 생성모듈이 상기 축(Axis)모션 인식정보가 단방향 모션인지 회귀 모션인지 여부를 확인하는 단계;
(e) 상기 (d) 단계의 확인결과, 상기 축(Axis)모션 인식정보가 단방향 모션인 경우, 상기 모션이벤트 생성모듈이 해당 정보에 대한 가속도를 산출하여 단방향 축(Axis)모션 이벤트정보를 생성하고, 상기 축(Axis)모션 인식정보가 양방향 모션인 경우, 양방향 축(Axis)모션 이벤트정보를 생성하는 단계;
(f) 디스플레이 제어모듈이 상기 단방향 축(Axis)모션 이벤트정보 또는 양방향 축(Axis)모션 이벤트정보를 인가받아 화면전환 상태, 제1 커서운용 상태 및 제2 커서운용 상태 중에 어느 상태인지 여부를 판단하는 단계;
(g) 상기 (f) 단계의 판단결과 화면전환 상태인 경우, 상기 디스플레이 제어모듈이 단방향 축(Axis)모션 이벤트정보 또는 양방향 축(Axis)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 화면 디스플레이정보를 생성하고, 제1 커서운용 상태인 경우, 상기 단방향 축(Axis)모션 이벤트정보 또는 양방향 축(Axis)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제1 커서 디스플레이정보를 생성하며, 제2 커서운용 상태인 경우, 상기 단방향 축(Axis)모션 이벤트정보 또는 양방향 축(Axis)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제2 커서 디스플레이정보를 생성하는 단계; 및
(h) 디스플레이 출력모듈이 상기 화면 디스플레이정보, 제1 커서 디스플레이정보 또는 제2 커서 디스플레이정보 중에 상기 (f) 단계의 판단결과와 대응하는 어느 하나의 정보를 출력하는 단계;를 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 제어 방법.In the motion sensor control method for a UI of a mobile device,
(a) the sensing module generating motion sensing information by calculating a motion detection result including information on RAW data, azimuth, roll, and pitch of the X, Y, and Z axes;
(b) the motion data filtering module receiving the motion sensing information to extract a change amount according to the sensing of the motion to determine whether the extracted change amount is axial motion data or rotational tilt data;
(c) generating, by the motion data filtering module, axis motion recognition information when the extracted change amount is axial motion data as a result of the determination of step (b);
(d) checking, by the motion event generation module, whether the axis motion recognition information is a unidirectional motion or a regression motion;
(e) If the axis motion recognition information is one-way motion as a result of the checking in the step (d), the motion event generation module calculates acceleration for the corresponding information to generate one-way axis motion event information. And generating bidirectional axis motion event information when the axis motion recognition information is bidirectional motion.
(f) The display control module receives the unidirectional Axis motion event information or the bidirectional Axis motion event information to determine whether the display control module is in a screen change state, a first cursor operation state, or a second cursor operation state. Making;
(g) When the screen switching state is determined as the result of step (f), the screen image is set to correspond to a value included in the unidirectional Axis motion event information or the bidirectional Axis motion event information. Generating screen display information for outputting a screen; and outputting a screen image preset to correspond to a value included in the unidirectional Axis motion event information or the bidirectional Axis motion event information in the first cursor operation state. Generating first cursor display information and outputting a screen image which is preset to correspond to a value included in the unidirectional Axis motion event information or the bidirectional Axis motion event information in the second cursor operation state; Generating cursor display information; And
and (h) outputting, by the display output module, any one of the screen display information, the first cursor display information, and the second cursor display information corresponding to the determination result of the step (f). Motion sensor control method for the UI of a mobile device. 제 11 항에 있어서,
상기 (g) 단계는,
(g-1-1) 상기 디스플레이 제어모듈이 인가받은 이벤트정보가 단방향 축(Axis)모션 이벤트정보인지 양방향 축(Axis)모션 이벤트정보인지 여부를 확인하는 단계;
(g-1-1a) 상기 (g-1-1) 단계의 확인결과, 이벤트정보가 단방향 축(Axis)모션 이벤트정보인 경우, 단방향 축(Axis)모션 이벤트정보에 포함된 값인 -X축 싱글값(Move(s):Left), +X축 싱글값(Move(s):Right), -Y축 싱글값(Move(s):Down), +Y축 싱글값(Move(s):Up), -X-Y축 싱글값(Move(s)LeftDown), -X+Y축 싱글값(Move(s):LeftUp), +X-Y축 싱글값(Move(s)RightDown), +X축+Y축 싱글값(Move(s):RightUp), -Z축 싱글값(Move(s):FaceDown) 및 +Z축 싱글값(Move(s):FaceUp)들 중에 축(Axis)모션 인식정보와 대응하는 값을 추출하는 단계;
(g-1-1b) 상기 (g-1-1) 단계의 확인결과, 이벤트정보가 양방향 축(Axis)모션 이벤트정보인 경우, 양방향 축(Axis)모션 이벤트정보에 포함된 값인 -X축 리턴값(Move(r):Left), +X축 리턴값(Move(r):Right), -Y축 리턴값(Move(r):Down), +Y축 리턴값(Move(r):Up), -X-Y축 리턴값(Move(r)LeftDown), -X+Y축 리턴값(Move(r):LeftUp), +X-Y축 리턴값(Move(r)RightDown), +X축+Y축 리턴값(Move(r):RightUp), -Z축 리턴값(Move(r):FaceDown) 및 +Z축 리턴값(Move(r):FaceUp)들 중에 축(Axis)모션 인식정보와 대응하는 값을 추출하는 단계; 및
(g-1-2) 상기 디스플레이 제어모듈이 상기 (g-1-1a) 단계 또는 (g-1-2b) 단계에서 추출된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 화면 디스플레이정보를 생성하는 단계;를 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 제어 방법.The method of claim 11,
The step (g)
(g-1-1) checking whether the event information received by the display control module is unidirectional Axis motion event information or bidirectional Axis motion event information;
(g-1-1a) When the event information is unidirectional axis motion event information as a result of checking in the step (g-1-1), -X axis single, which is a value included in the unidirectional axis motion event information, Value (Move (s): Left), + X-axis single value (Move (s): Right), -Y-axis single value (Move (s): Down), + Y-axis single value (Move (s): Up ), -XY axis single value (Move (s) LeftDown), -X + Y axis single value (Move (s): LeftUp), + XY axis single value (Move (s) RightDown), + X axis + Y axis Among the single values (Move (s): RightUp), -Z axis single value (Move (s): FaceDown), and + Z axis single value (Move (s): FaceUp), it corresponds to Axis motion recognition information. Extracting a value;
(g-1-1b) When the event information is the bidirectional axis motion event information as a result of checking in the step (g-1-1), -X axis return, which is a value included in the bidirectional axis motion event information, is returned. Value (Move (r): Left), + X axis return value (Move (r): Right), -Y axis return value (Move (r): Down), + Y axis return value (Move (r): Up ), -XY axis return value (Move (r) LeftDown), -X + Y axis return value (Move (r): LeftUp), + XY axis return value (Move (r) RightDown), + X axis + Y axis Among the return values (Move (r): RightUp), -Z axis return values (Move (r): FaceDown) and + Z axis return values (Move (r): FaceUp), the axis motion recognition information corresponds to the axis motion recognition information. Extracting a value; And
(g-1-2) the display control module generates screen display information for outputting a screen image preset to correspond to the value extracted in the step (g-1-1a) or (g-1-2b). Motion sensor control method for a UI of a mobile device comprising a. 제 11 항에 있어서,
상기 (g) 단계는,
(g-2-1) 상기 디스플레이 제어모듈이 인가받은 이벤트정보가 단방향 축(Axis)모션 이벤트정보인지 양방향 축(Axis)모션 이벤트정보인지 여부를 확인하는 단계;
(g-2-1a) 상기 (g-2-1) 단계의 확인결과, 이벤트정보가 단방향 축(Axis)모션 이벤트정보인 경우, 단방향 축(Axis)모션 이벤트정보에 포함된 값인 -Z축 싱글값(Move(s):FaceDown) 및 +Z축 싱글값(Move(s):FaceUp)들 중에 축(Axis)모션 인식정보와 대응하는 값을 추출하는 단계;
(g-2-1b) 상기 (g-2-1) 단계의 확인결과, 이벤트정보가 양방향 축(Axis)모션 이벤트정보인 경우, 양방향 축(Axis)모션 이벤트정보에 포함된 값인 -Z축 리턴값(Move(r):FaceDown) 및 +Z축 리턴값(Move(r):FaceUp)들 중에 축(Axis)모션 인식정보와 대응하는 값을 추출하는 단계; 및
(g-2-2) 상기 디스플레이 제어모듈이 상기 (g-2-1a) 단계 또는 (g-2-2b) 단계에서 추출된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제1 커서 디스플레이정보를 생성하는 단계;를 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 제어 방법.The method of claim 11,
The step (g)
(g-2-1) checking whether the event information received by the display control module is unidirectional Axis motion event information or bidirectional Axis motion event information;
(g-2-1a) When the event information is the unidirectional axis motion event information as a result of checking in the step (g-2-1), -Z axis single, which is a value included in the unidirectional axis motion event information, Extracting a value corresponding to the axis motion recognition information among the values Move (s): FaceDown and + Z axis single values (Move (s): FaceUp);
(g-2-1b) If the event information is the bidirectional axis motion event information as a result of checking in the step (g-2-1), -Z axis return, which is a value included in the bidirectional axis motion event information, is returned. Extracting a value corresponding to the axis motion recognition information among the values Move (r): FaceDown and + Z axis return values Move (r): FaceUp; And
(g-2-2) The display control module may display first cursor display information for outputting a screen image preset to correspond to the value extracted in the step (g-2-1a) or (g-2-2b). Motion sensor control method for a UI of a mobile device, comprising the step of generating. 제 11 항에 있어서,
상기 (g) 단계는,
(g-3-1) 상기 디스플레이 제어모듈이 인가받은 이벤트정보가 단방향 축(Axis)모션 이벤트정보인지 양방향 축(Axis)모션 이벤트정보인지 여부를 확인하는 단계;
(g-3-1a) 상기 (g-3-1) 단계의 확인결과, 이벤트정보가 단방향 축(Axis)모션 이벤트정보인 경우, 단방향 축(Axis)모션 이벤트정보에 포함된 값인 -X축 싱글값(Move(s):Left), +X축 싱글값(Move(s):Right), -Y축 싱글값(Move(s):Down), +Y축 싱글값(Move(s):Up), -X-Y축 싱글값(Move(s)LeftDown), -X+Y축 싱글값(Move(s):LeftUp), +X-Y축 싱글값(Move(s)RightDown), +X축+Y축 싱글값(Move(s):RightUp), -Z축 싱글값(Move(s):FaceDown) 및 +Z축 싱글값(Move(s):FaceUp)들 중에 축(Axis)모션 인식정보와 대응하는 값을 추출하는 단계;
(g-3-1b) 상기 (g-3-1) 단계의 확인결과, 이벤트정보가 양방향 축(Axis)모션 이벤트정보인 경우, 양방향 축(Axis)모션 이벤트정보에 포함된 값인 -X축 리턴값(Move(r):Left), +X축 리턴값(Move(r):Right), -Y축 리턴값(Move(r):Down), +Y축 리턴값(Move(r):Up), -X-Y축 리턴값(Move(r)LeftDown), -X+Y축 리턴값(Move(r):LeftUp), +X-Y축 리턴값(Move(r)RightDown), +X축+Y축 리턴값(Move(r):RightUp), -Z축 리턴값(Move(r):FaceDown) 및 +Z축 리턴값(Move(r):FaceUp)들 중에 축(Axis)모션 인식정보와 대응하는 값을 추출하는 단계; 및
(g-3-2) 상기 디스플레이 제어모듈이 상기 (g-3-1a) 단계 또는 (g-3-2b) 단계에서 추출된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제2 커서 디스플레이정보를 생성하는 단계;를 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 제어 방법.The method of claim 11,
The step (g)
(g-3-1) checking whether the event information received by the display control module is unidirectional Axis motion event information or bidirectional Axis motion event information;
(g-3-1a) When the event information is the unidirectional axis motion event information as a result of confirming the step (g-3-1), -X axis single which is a value included in the unidirectional axis motion event information Value (Move (s): Left), + X-axis single value (Move (s): Right), -Y-axis single value (Move (s): Down), + Y-axis single value (Move (s): Up ), -XY axis single value (Move (s) LeftDown), -X + Y axis single value (Move (s): LeftUp), + XY axis single value (Move (s) RightDown), + X axis + Y axis Among the single values (Move (s): RightUp), -Z axis single value (Move (s): FaceDown), and + Z axis single value (Move (s): FaceUp), it corresponds to Axis motion recognition information. Extracting a value;
(g-3-1b) If the event information is the bidirectional axis motion event information as a result of checking in the step (g-3-1), -X axis return, which is a value included in the bidirectional axis motion event information, is returned. Value (Move (r): Left), + X axis return value (Move (r): Right), -Y axis return value (Move (r): Down), + Y axis return value (Move (r): Up ), -XY axis return value (Move (r) LeftDown), -X + Y axis return value (Move (r): LeftUp), + XY axis return value (Move (r) RightDown), + X axis + Y axis Among the return values (Move (r): RightUp), -Z axis return values (Move (r): FaceDown) and + Z axis return values (Move (r): FaceUp), the axis motion recognition information corresponds to the axis motion recognition information. Extracting a value; And
(g-3-2) second cursor display information for outputting a screen image preset by the display control module to correspond to a value extracted in step (g-3-1a) or (g-3-2b). Motion sensor control method for a UI of a mobile device, comprising the step of generating. 제 11 항에 있어서,
상기 (a) 단계 이후,
(i) 상기 모션데이터 필터링모듈이 상기 센싱정보를 인가받아 모션의 센싱에 따른 변화량을 추출하여 추출된 변화량이 휴대기기를 2회 내지 3회 두드리는 움직임인 경우 노킹(Knocking)모션 인식정보를 생성하고, 추출된 변화량이 좌우로 2회 내지 3회 흔드는 움직임 데이터인 경우 흔들기(Shaking)모션 인식정보를 생성하는 단계;
(j) 상기 모션이벤트 생성모듈은 모션데이터 필터링모듈로부터 노킹(Knocking)모션 인식정보를 인가받은 경우 아이콘을 클릭 또는 선택하도록 하는 노킹(Knocking)모션 이벤트정보를 생성하고, 흔들기(Shaking)모션 이식정보를 인가받은 경우 휴대기기의 모드를 변환(삭제, 리턴 또는 종료)하는 흔들기(Shaking)모션 이벤트정보를 생성하는 단계;
(k) 상기 디스플레이 제어모듈이 상기 모션이벤트 생성모듈로부터 노킹(Knocking)모션 인식정보를 인가받은 경우, 휴대기기상의 커서에 위치한 아이콘을 클릭 또는 선택한 이후화면을 출력하는 실행 디스플레이정보를 생성하고, 흔들기(Shaking)모션 인식정보를 인가받은 경우, 휴대기기상에 디스플레이되던 화면의 모드(삭제, 리턴 또는 종료)를 변경하여 출력하는 모드변경 디스플레이정보를 생성하는 단계; 및
(l) 상기 디스플레이 출력모듈이 상기 디스플레이 제어모듈로부터 인가받은 실행 디스플레이정보 또는 모드변경 디스플레이정보를 출력하는 단계;를 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 제어 방법.The method of claim 11,
After the step (a)
(i) when the motion data filtering module receives the sensing information and extracts the change amount according to the sensing of the motion, and generates the knocking motion recognition information when the extracted change amount is a movement of tapping the mobile device two or three times. Generating shaking motion recognition information when the extracted amount of change is motion data shaking two to three times from side to side;
(j) The motion event generation module generates knocking motion event information for clicking or selecting an icon when knocking motion recognition information is received from the motion data filtering module, and shaking motion transplantation information. Generating shaking motion event information for converting (deleting, returning, or terminating) a mode of the mobile device when the mobile station is authorized;
(k) when the display control module receives the knocking motion recognition information from the motion event generation module, generates and displays execution display information for outputting a screen after clicking or selecting an icon located at a cursor on a mobile device. (Shaking) generating mode change display information for changing and outputting a mode (delete, return or end) of the screen displayed on the mobile device when the motion recognition information is received; And
and (1) outputting, by the display output module, the execution display information or the mode change display information received from the display control module. 휴대기기의 UI를 위한 모션 센서 제어 방법에 있어서,
(a) 센싱모듈이 X, Y, Z 축의 로우(RAW) 데이터, 방위각, 롤(Roll), 피치(Pitch)에 대한 정보가 포함된 모션 감지 결과를 산출하여 모션 센싱정보를 생성하는 단계;
(b) 모션데이터 필터링모듈이 상기 모션 센싱정보를 인가받아 모션의 센싱에 따른 변화량을 추출하여 추출된 변화량이 축방향 움직임 데이터인지 회전 기울기 데이터인지 여부를 판단하는 단계;
(c) 상기 (b) 단계의 판단결과, 추출된 변화량이 회전 기울기 데이터인 경우, 상기 모션데이터 필터링모듈이 기울기(Tilt)모션 인식정보를 생성하는 단계;
(d) 모션이벤트 생성모듈이 인가받은 기울기(Tilt)모션 인식정보가 단방향 모션인지 회귀 모션인지 여부를 확인하는 단계;
(e) 상기 (d) 단계의 확인결과 상기 기울기(Tilt)모션 인식정보가 단방향 모션인 경우, 상기 모션이벤트 생성모듈이 해당 정보에 대한 변위각을 산출하여 단방향 기울기(Tilt)모션 이벤트정보를 생성하고, 상기 기울기(Tilt)모션 인식정보가 양방향 모션인 경우, 양방향 기울기(Tilt)모션 이벤트정보를 생성하는 단계;
(f) 디스플레이 제어모듈이 상기 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보를 인가받아 화면전환 상태, 제1 커서운용 상태 및 제2 커서운용 상태 중에 어느 상태인지 여부를 판단하는 단계;
(g) 상기 (f) 단계의 판단결과 화면전환 상태인 경우, 상기 디스플레이 제어모듈이 상기 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 화면 디스플레이정보를 생성하고, 제1 커서운용 상태인 경우, 상기 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제1 커서 디스플레이정보를 생성하며, 제2 커서운용 상태인 경우, 상기 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제2 커서 디스플레이정보를 생성하는 단계; 및
(h) 상기 디스플레이 출력모듈이 상기 화면 디스플레이정보, 제1 커서 디스플레이정보 또는 제2 커서 디스플레이정보 중에 상기 (f) 단계의 판단결과와 대응하는 어느 하나의 정보를 출력하는 단계;를 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 제어 방법.In the motion sensor control method for a UI of a mobile device,
(a) the sensing module generating motion sensing information by calculating a motion detection result including information on RAW data, azimuth, roll, and pitch of the X, Y, and Z axes;
(b) the motion data filtering module receiving the motion sensing information to extract a change amount according to the sensing of the motion to determine whether the extracted change amount is axial motion data or rotational tilt data;
(c) generating, by the motion data filtering module, tilt motion recognition information when the extracted change amount is rotation tilt data as a result of the determination of step (b);
(d) checking whether the tilt motion recognition information received by the motion event generation module is a unidirectional motion or a regression motion;
(e) When the tilt motion recognition information is the unidirectional motion as a result of checking in the step (d), the motion event generation module calculates the displacement angle of the corresponding information to generate the unidirectional tilt motion event information. Generating bidirectional tilt motion event information when the tilt motion recognition information is bidirectional motion;
(f) The display control module receives the unidirectional tilt motion event information or the bidirectional tilt motion event information to determine whether the display control module is in a screen switching state, a first cursor operating state, or a second cursor operating state. Making;
(g) When the screen switching state is determined as the result of step (f), the display control module is preset to correspond to a value included in the unidirectional tilt motion event information or the bidirectional tilt motion event information. Generates screen display information for outputting an image, and outputs a screen image preset to correspond to a value included in the one-way tilt motion event information or the two-way tilt motion event information in the first cursor operation state. Generating first cursor display information, and outputting a screen image preset to correspond to a value included in the one-way tilt motion event information or the two-way tilt motion event information in the second cursor operation state. Generating second cursor display information; And
and (h) outputting, by the display output module, any one of the screen display information, the first cursor display information, and the second cursor display information corresponding to the determination result of the step (f). Motion sensor control method for the UI of a mobile device. 제 16항에 있어서,
상기 (g) 단계는,
(g-1-1) 상기 디스플레이 제어모듈이 인가받은 이벤트정보가 단방향 기울기(Tilt)모션 이벤트정보인지 양방향 기울기(Tilt)모션 이벤트정보인지 여부를 확인하는 단계;
(g-1-1a) 상기 (g-1-1) 단계의 확인결과, 이벤트정보가 단방향 기울기(Tilt)모션 이벤트정보인 경우, 단방향 기울기(Tilt)모션 이벤트정보에 포함된 값인 -X축 Roll 싱글값(Roll(s):Left), +X축 Roll 싱글값(Roll(s):Right), -Y축 Pitch 싱글값(Pitch(s):Down) 및 +Y축 Pitch 싱글값(Pitch(s):Up) 들 중에 기울기(Tilt)모션 인식정보와 대응하는 값을 추출하는 단계;
(g-1-1b) 상기 (g-1-1) 단계의 확인결과, 이벤트정보가 양방향 기울기(Tilt)모션 이벤트정보인 경우, 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값인 -X축 Roll 리턴값(Roll(r):Left), +X축 Roll 리턴값(Roll(r):Right), -Y축 Pitch 리턴값(Pitch(r):Down) 및 +Y축 Pitch 리턴값(Pitch(r):Up) 들 중에 기울기(Tilt)모션 인식정보와 대응하는 값을 추출하는 단계; 및
(g-1-2) 상기 디스플레이 제어모듈이 상기 (g-1-1a) 단계 또는 상기 (g-1-1b) 단계에서 추출된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 화면 디스플레이정보를 생성하는 단계;를 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 제어 방법.17. The method of claim 16,
The step (g)
(g-1-1) checking whether the event information received by the display control module is unidirectional tilt motion event information or bidirectional tilt motion event information;
(g-1-1a) When the event information is unidirectional tilt motion event information as a result of checking in the step (g-1-1), -X axis roll which is a value included in the unidirectional tilt motion event information Single value (Roll (s): Left), + X axis roll single value (Roll (s): Right), -Y axis pitch Single value (Pitch (s): Down), and + Y axis pitch Single value (Pitch ( extracting a value corresponding to tilt motion recognition information from among s): Up);
(g-1-1b) When the event information is the bidirectional tilt motion event information as a result of checking in the step (g-1-1), -X axis roll which is a value included in the bidirectional tilt motion event information. Return value (Roll (r): Left), + X-axis roll return value (Roll (r): Right), -Y-axis pitch return value (Pitch (r): Down), and + Y-axis pitch return value (Pitch ( r): Up) extracting values corresponding to tilt motion recognition information; And
(g-1-2) The display control module generates screen display information for outputting a screen image preset to correspond to the value extracted in the step (g-1-1a) or the step (g-1-1b). Motion sensor control method for a UI of a mobile device comprising a. 제 16항에 있어서,
상기 (g) 단계는,
(g-2-1) 상기 디스플레이 제어모듈이 인가받은 이벤트정보가 단방향 기울기(Tilt)모션 이벤트정보인지 양방향 기울기(Tilt)모션 이벤트정보인지 여부를 확인하는 단계;
(g-2-1a) 상기 (g-2-1) 단계의 확인결과, 이벤트정보가 단방향 기울기(Tilt)모션 이벤트정보인 경우, 단방향 기울기(Tilt)모션 이벤트정보에 포함된 값인 -X축 Roll 싱글값(Roll(s):Left), +X축 Roll 싱글값(Roll(s):Right), -Y축 Pitch 싱글값(Pitch(s):Down) 및 +Y축 Pitch 싱글값(Pitch(s):Up) 들 중에 기울기(Tilt)모션 인식정보와 대응하는 값을 추출하는 단계;
(g-2-1b) 상기 (g-2-1) 단계의 확인결과, 이벤트정보가 양방향 기울기(Tilt)모션 이벤트정보인 경우, 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값인 -X축 Roll 리턴값(Roll(r):Left), +X축 Roll 리턴값(Roll(r):Right), -Y축 Pitch 리턴값(Pitch(r):Down) 및 +Y축 Pitch 리턴값(Pitch(r):Up) 들 중에 기울기(Tilt)모션 인식정보와 대응하는 값을 추출하는 단계; 및
(g-2-2) 상기 디스플레이 제어모듈이 상기 (g-2-1a) 단계 또는 상기 (g-2-1b) 단계에서 추출된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제1 커서 디스플레이정보를 생성하는 단계;를 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 제어 방법.17. The method of claim 16,
The step (g)
(g-2-1) checking whether the event information received by the display control module is unidirectional tilt motion event information or bidirectional tilt motion event information;
(g-2-1a) When the event information is unidirectional tilt motion event information as a result of checking in the step (g-2-1), -X axis roll which is a value included in unidirectional tilt motion event information Single value (Roll (s): Left), + X axis roll single value (Roll (s): Right), -Y axis pitch Single value (Pitch (s): Down), and + Y axis pitch Single value (Pitch ( extracting a value corresponding to tilt motion recognition information from among s): Up);
(g-2-1b) When the event information is the bidirectional tilt motion event information as a result of checking in the step (g-2-1), -X axis roll which is a value included in the bidirectional tilt motion event information Return value (Roll (r): Left), + X-axis roll return value (Roll (r): Right), -Y-axis pitch return value (Pitch (r): Down), and + Y-axis pitch return value (Pitch ( r): Up) extracting values corresponding to tilt motion recognition information; And
(g-2-2) First cursor display information for outputting the screen image preset by the display control module to correspond to the value extracted in the step (g-2-1a) or the step (g-2-1b) Generating a; and a motion sensor control method for a UI of a mobile device. 제 16항에 있어서,
상기 (g) 단계는,
(g-3-1) 상기 디스플레이 제어모듈이 인가받은 이벤트정보가 단방향 기울기(Tilt)모션 이벤트정보인지 양방향 기울기(Tilt)모션 이벤트정보인지 여부를 확인하는 단계;
(g-3-1a) 상기 (g-3-1) 단계의 확인결과, 이벤트정보가 단방향 기울기(Tilt)모션 이벤트정보인 경우, 단방향 기울기(Tilt)모션 이벤트정보에 포함된 값인 -X축 Roll 싱글값(Roll(s):Left), +X축 Roll 싱글값(Roll(s):Right), -Y축 Pitch 싱글값(Pitch(s):Down) 및 +Y축 Pitch 싱글값(Pitch(s):Up) 들 중에 기울기(Tilt)모션 인식정보와 대응하는 값을 추출하는 단계;
(g-3-1b) 상기 (g-3-1) 단계의 확인결과, 이벤트정보가 양방향 기울기(Tilt)모션 이벤트정보인 경우, 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값인 -X축 Roll 리턴값(Roll(r):Left), +X축 Roll 리턴값(Roll(r):Right), -Y축 Pitch 리턴값(Pitch(r):Down) 및 +Y축 Pitch 리턴값(Pitch(r):Up) 들 중에 기울기(Tilt)모션 인식정보와 대응하는 값을 추출하는 단계; 및
(g-3-2) 상기 디스플레이 제어모듈이 상기 (g-3-1a) 단계 또는 상기 (g-3-1b) 단계에서 추출된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제2 커서 디스플레이정보를 생성하는 단계;를 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 제어 방법.17. The method of claim 16,
The step (g)
(g-3-1) checking whether the event information received by the display control module is unidirectional tilt motion event information or bidirectional tilt motion event information;
(g-3-1a) When the event information is unidirectional tilt motion event information as a result of checking in the step (g-3-1), -X axis roll which is a value included in unidirectional tilt motion event information. Single value (Roll (s): Left), + X axis roll single value (Roll (s): Right), -Y axis pitch Single value (Pitch (s): Down), and + Y axis pitch Single value (Pitch ( extracting a value corresponding to tilt motion recognition information from among s): Up);
(g-3-1b) When the event information is the bidirectional tilt motion event information as a result of checking in the step (g-3-1), -X axis roll which is a value included in the bidirectional tilt motion event information. Return value (Roll (r): Left), + X-axis roll return value (Roll (r): Right), -Y-axis pitch return value (Pitch (r): Down), and + Y-axis pitch return value (Pitch ( r): Up) extracting values corresponding to tilt motion recognition information; And
(g-3-2) Second cursor display information for outputting the screen image preset by the display control module to correspond to the value extracted in the step (g-3-1a) or the step (g-3-1b). Generating a; and a motion sensor control method for a UI of a mobile device. 제 16항에 있어서,
상기 (a) 단계 이후,
상기 (a) 단계 이후,
(i) 상기 모션데이터 필터링모듈이 상기 센싱정보를 인가받아 모션의 센싱에 따른 변화량을 추출하여 추출된 변화량이 휴대기기를 2회 내지 3회 두드리는 움직임인 경우 노킹(Knocking)모션 인식정보를 생성하고, 추출된 변화량이 좌우로 2회 내지 3회 흔드는 움직임 데이터인 경우 흔들기(Shaking)모션 인식정보를 생성하는 단계;
(j) 상기 모션이벤트 생성모듈은 모션데이터 필터링모듈로부터 노킹(Knocking)모션 인식정보를 인가받은 경우 아이콘을 클릭 또는 선택하도록 하는 노킹(Knocking)모션 이벤트정보를 생성하고, 흔들기(Shaking)모션 이식정보를 인가받은 경우 휴대기기의 모드를 변환(삭제, 리턴 또는 종료)하는 흔들기(Shaking)모션 이벤트정보를 생성하는 단계;
(k) 상기 디스플레이 제어모듈이 상기 모션이벤트 생성모듈로부터 노킹(Knocking)모션 인식정보를 인가받은 경우, 휴대기기상의 커서에 위치한 아이콘을 클릭 또는 선택한 이후화면을 출력하는 실행 디스플레이정보를 생성하고, 흔들기(Shaking)모션 인식정보를 인가받은 경우, 휴대기기상에 디스플레이되던 화면의 모드(삭제, 리턴 또는 종료)를 변경하여 출력하는 모드변경 디스플레이정보를 생성하는 단계; 및
(l) 상기 디스플레이 출력모듈이 상기 디스플레이 제어모듈로부터 인가받은 실행 디스플레이정보 또는 모드변경 디스플레이정보를 출력하는 단계;를 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 제어 방법.17. The method of claim 16,
After the step (a)
After the step (a)
(i) when the motion data filtering module receives the sensing information and extracts the change amount according to the sensing of the motion, and generates the knocking motion recognition information when the extracted change amount is a movement of tapping the mobile device two or three times. Generating shaking motion recognition information when the extracted amount of change is motion data shaking two to three times from side to side;
(j) The motion event generation module generates knocking motion event information for clicking or selecting an icon when knocking motion recognition information is received from the motion data filtering module, and shaking motion transplantation information. Generating shaking motion event information for converting (deleting, returning, or terminating) a mode of the mobile device when the mobile station is authorized;
(k) when the display control module receives the knocking motion recognition information from the motion event generation module, generates and displays execution display information for outputting a screen after clicking or selecting an icon located at a cursor on a mobile device. (Shaking) generating mode change display information for changing and outputting a mode (delete, return or end) of the screen displayed on the mobile device when the motion recognition information is received; And
and (1) outputting, by the display output module, the execution display information or the mode change display information received from the display control module.
KR1020100098116A 2010-10-08 2010-10-08 The ui for mobile devices based on motion sensors control system and a method KR101231105B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100098116A KR101231105B1 (en) 2010-10-08 2010-10-08 The ui for mobile devices based on motion sensors control system and a method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100098116A KR101231105B1 (en) 2010-10-08 2010-10-08 The ui for mobile devices based on motion sensors control system and a method

Publications (2)

Publication Number Publication Date
KR20120036445A KR20120036445A (en) 2012-04-18
KR101231105B1 true KR101231105B1 (en) 2013-02-07

Family

ID=46138032

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100098116A KR101231105B1 (en) 2010-10-08 2010-10-08 The ui for mobile devices based on motion sensors control system and a method

Country Status (1)

Country Link
KR (1) KR101231105B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2920670A4 (en) * 2012-11-16 2016-06-29 Nokia Technologies Oy Transmission of motion data
KR102158843B1 (en) 2013-08-05 2020-10-23 삼성전자주식회사 Method for user input by using mobile device and mobile device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100052378A (en) * 2008-11-10 2010-05-19 삼성전자주식회사 Motion input device for portable device and operation method using the same
KR20100061259A (en) * 2008-11-28 2010-06-07 삼성전자주식회사 Input device for portable device and method thereof
KR20100107789A (en) * 2009-03-26 2010-10-06 엘지전자 주식회사 Terminal and method for controlling the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100052378A (en) * 2008-11-10 2010-05-19 삼성전자주식회사 Motion input device for portable device and operation method using the same
KR20100061259A (en) * 2008-11-28 2010-06-07 삼성전자주식회사 Input device for portable device and method thereof
KR20100107789A (en) * 2009-03-26 2010-10-06 엘지전자 주식회사 Terminal and method for controlling the same

Also Published As

Publication number Publication date
KR20120036445A (en) 2012-04-18

Similar Documents

Publication Publication Date Title
US10521109B2 (en) Touch event model
JP5205157B2 (en) Portable image display device, control method thereof, program, and information storage medium
US8854325B2 (en) Two-factor rotation input on a touchscreen device
US9459704B2 (en) Method and apparatus for providing one-handed user interface in mobile device having touch screen
WO2010007813A1 (en) Mobile type image display device, method for controlling the same and information memory medium
US10599317B2 (en) Information processing apparatus
WO2013065214A1 (en) Input control device, input control method, and input control program
KR102004858B1 (en) Information processing device, information processing method and program
EP2606416B1 (en) Highlighting of objects on a display
US9798456B2 (en) Information input device and information display method
KR20140068025A (en) Information processing apparatus, information processing method, and program
EP2538308A2 (en) Motion-based control of a controllled device
KR101725253B1 (en) Portable terminal having mouse function
JP2015525927A (en) Method and apparatus for controlling a display device
KR101231105B1 (en) The ui for mobile devices based on motion sensors control system and a method
JP5756682B2 (en) Information processing device
EP3433713B1 (en) Selecting first digital input behavior based on presence of a second, concurrent, input
AU2020270466B2 (en) Touch event model
AU2019203290B2 (en) Touch event model
KR101165388B1 (en) Method for controlling screen using different kind of input devices and terminal unit thereof
AU2011101154B4 (en) Touch event model
AU2011101156A4 (en) Touch event model
AU2011101157B4 (en) Touch event model
AU2011101155A4 (en) Touch event model
AU2011265335B2 (en) Touch event model

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160127

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee