KR20100052372A - Method for recognizing motion based on motion sensor and mobile terminal using the same - Google Patents

Method for recognizing motion based on motion sensor and mobile terminal using the same Download PDF

Info

Publication number
KR20100052372A
KR20100052372A KR1020090007314A KR20090007314A KR20100052372A KR 20100052372 A KR20100052372 A KR 20100052372A KR 1020090007314 A KR1020090007314 A KR 1020090007314A KR 20090007314 A KR20090007314 A KR 20090007314A KR 20100052372 A KR20100052372 A KR 20100052372A
Authority
KR
South Korea
Prior art keywords
parameter value
motion
user
input
pattern
Prior art date
Application number
KR1020090007314A
Other languages
Korean (ko)
Inventor
홍현수
정우진
박선영
정미진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US12/615,691 priority Critical patent/US20100117959A1/en
Publication of KR20100052372A publication Critical patent/KR20100052372A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Telephone Function (AREA)

Abstract

PURPOSE: A method for recognizing motion based on a motion sensor and a mobile terminal using the same are provided to learn unique pattern of a user operation in advance and applying learned result to operation recognition process, thereby improving the operation recognition rate. CONSTITUTION: An operation sensor unit(210) detects a user operation about a mobile terminal. A function execution unit(270) performs a function related to an application. A pattern analyzing uni(282) extracts parameter value sets through raw data of operation sensor detector(220). A pattern learning unit(284) sets reference parameter value set through the parameter value set of the pattern analyzing unit.

Description

모션 센서 기반의 사용자 동작 인식 방법 및 이를 이용한 단말기{METHOD FOR RECOGNIZING MOTION BASED ON MOTION SENSOR AND MOBILE TERMINAL USING THE SAME}Motion sensor based user motion recognition method and terminal using same {METHOD FOR RECOGNIZING MOTION BASED ON MOTION SENSOR AND MOBILE TERMINAL USING THE SAME}

본 발명은 모션 센서 기반의 사용자 동작 인식 방법 및 이를 이용한 단말기에 관한 것으로서, 특히 사용자 동작 패턴을 고려하여 동작을 인식하는 방법 및 이를 이용한 단말기에 관한 것이다.The present invention relates to a motion sensor based user motion recognition method and a terminal using the same, and more particularly, to a method for recognizing motion in consideration of a user motion pattern and a terminal using the same.

최근 휴대 단말기 보급률의 급속한 증가로 휴대 단말기는 이제 현대인의 생활필수품으로 자리매김하게 되었다. 그리고 휴대 단말기의 보급률의 증가와 함께, 휴대 단말기를 제어하는 방법에 관한 사용자 인터페이스(User Interface) 기술이 지속적으로 개발되었다.With the recent rapid increase in the penetration rate of portable terminals, portable terminals are now becoming a necessity of modern man. In addition, with the increase in the penetration rate of portable terminals, user interface (User Interface) technology for controlling the portable terminals has been continuously developed.

종래의 사용자 인터페이스는 휴대 단말기에 구비된 키패드를 통해 이루어졌지만, 터치 센서, 촉각 센서를 이용한 사용자 인터페이스 기술이 개발되었으며, 최근에는 사용자의 동작을 인식하는 모션 센서를 이용한 사용자 인터페이스 기술이 개발되고 있다. 모션 센서가 구비된 휴대 단말기에서는 사용자가 휴대 단말기에 동작을 가하면, 휴대 단말기는 사용자의 동작을 인식하고 이에 대응하는 기능을 수행하는 것을 특징으로 한다. The conventional user interface is made through a keypad provided in a portable terminal, but a user interface technology using a touch sensor and a tactile sensor has been developed, and recently, a user interface technology using a motion sensor that recognizes a user's motion has been developed. In a portable terminal equipped with a motion sensor, when a user applies an operation to the portable terminal, the portable terminal recognizes the user's motion and performs a function corresponding thereto.

그런데 기존의 모션 센서를 구비한 휴대 단말기의 경우, 사용자 동작의 고유 특성을 고려함이 없이 획일적인 기준에 따라 사용자의 동작을 인식하였다. 즉, 사용자의 성별, 나이 등에 따라 동작 입력 값이 다른데, 이러한 점을 고려하지 않고 일정 기준의 동작 입력 값을 요구하였다. 이러한 경우, 휴대 단말기는 일정 영역에 해당하는 동작 입력 값만을 인식하게 되어, 동작 인식률이 낮아지는 문제점이 발생하며, 사용자 역시 동작 인식률 저하에 따른 불편을 느낄 수 밖에 없었다.However, in the case of a conventional mobile terminal having a motion sensor, the user's motion is recognized according to a uniform standard without considering the inherent characteristics of the user's motion. That is, the motion input value is different according to the gender, age, etc. of the user, and the motion input value of a certain criterion is required without considering this point. In this case, the mobile terminal recognizes only an operation input value corresponding to a certain area, which causes a problem that the operation recognition rate is lowered, and the user has no choice but to feel inconvenience caused by the decrease in the operation recognition rate.

따라서 사용자 개개인의 동작의 고유 패턴을 고려하여 동작을 인식할 수 있는 방법의 필요성이 대두된다. Therefore, there is a need for a method for recognizing a motion in consideration of a unique pattern of the motion of each user.

본 발명의 목적은 모션 센서 기반의 단말기에 있어서 사용자 동작의 고유 패턴을 고려하여 동작을 인식할 수 있는 방법을 제공하는데 있다.An object of the present invention is to provide a method for recognizing a motion in consideration of a unique pattern of a user's motion in a terminal based on a motion sensor.

본 발명의 다른 목적은 상기 방법을 이용하는 단말기를 제공하는데 있다. Another object of the present invention is to provide a terminal using the method.

본 발명의 실시예에 따른 사용자 동작 인식 방법은 적어도 한 번의 사용자 동작으로부터 적어도 하나의 파라미터 값을 추출하는 파라미터 값 추출 단계, 추출된 적어도 하나의 파라미터 값에 근거하여 사용자 동작 인식 기준이 되는 기준 파라미터 값을 설정하는 기준 파라미터 값 설정 단계, 설정된 기준 파라미터 값을 저장하는 저장 단계를 포함한다.In a method for recognizing a user motion according to an embodiment of the present invention, a parameter value extracting step of extracting at least one parameter value from at least one user motion, and a reference parameter value which is a user motion recognition criterion based on the extracted at least one parameter value A reference parameter value setting step of setting a value, and a storing step of storing the set reference parameter value.

본 발명의 실시예에 따른 사용자 동작 인식 방법은 저장 단계 이후, 사용자 동작 입력 시, 저장된 기준 파라미터 값을 기준으로 입력되는 사용자 동작을 인식하는 동작 인식 단계를 더 포함한다.The user motion recognition method according to an embodiment of the present invention further includes a motion recognition step of recognizing a user motion input based on a stored reference parameter value when the user motion input is input after the storing step.

본 발명의 실시예에 따른 사용자 동작 인식을 위한 휴대 단말기는 입력되는 사용자 동작의 파라미터 값을 추출하는 패턴 분석부, 추출된 파라미터 값을 이용하여 기준 파라미터 값을 설정하는 패턴 학습부 및 설정된 기준 파라미터 값을 저장하는 저장부를 포함한다.According to an embodiment of the present invention, a portable terminal for recognizing a user's motion includes a pattern analyzer extracting a parameter value of an input user motion, a pattern learner setting a reference parameter value using the extracted parameter value, and a set reference parameter value. It includes a storage unit for storing.

사용자 동작의 고유 패턴을 미리 학습하고, 학습된 결과를 동작 인식 과정에 적용함으로써 사용자의 동작 인식률이 향상되는 효과가 발생한다. 또한 사용자의 동작이 입력될 때마다 사용자 동작의 고유 패턴을 분석하고 동작 인식 기준 값을 설정하여 사용자의 동작 인식률을 향상 시킬 수 있다. By learning the intrinsic pattern of the user's motion in advance and applying the learned result to the motion recognition process, the user's motion recognition rate is improved. In addition, whenever a user's motion is input, the user's motion recognition rate can be improved by analyzing a unique pattern of the user's motion and setting a motion recognition reference value.

본 발명의 실시예에 따른 '기준 파라미터 값 세트'는 사용자 동작을 인식하는데 기준 값으로 사용되는 파라미터 값 세트에 해당한다. 기준 파라미터 값 세트는 학습 과정을 통해 설정되며, 각각의 동작 패턴(두드리기, 스내핑, 흔들기 등)별로 저장된다. 본 발명에서 사용자의 동작이 입력되면 휴대 단말기는 저장된 기준 파라미터 값 세트에 근거하여 사용자 동작 인식을 수행한다. The reference parameter value set according to an embodiment of the present invention corresponds to a parameter value set used as a reference value for recognizing a user's motion. The reference parameter value set is set through the learning process and stored for each operation pattern (tap, snap, shake, etc.). In the present invention, when the user's motion is input, the portable terminal performs the user's motion recognition based on the stored reference parameter value set.

본 발명의 실시예에 따른 '학습 과정'은 본 발명의 제1실시예에서 휴대 단말기가 사용자 동작의 고유 패턴을 학습하여 기준 파라미터 값 세트를 설정하는 과정에 해당한다. 학습 과정을 통해 설정된 기준 파라미터 값 세트는 동작 인식 모드에서 사용자 동작을 인식하는 기준으로 사용된다. The 'learning process' according to an embodiment of the present invention corresponds to a process of setting a reference parameter value set by the mobile terminal learning a unique pattern of a user's motion in the first embodiment of the present invention. The reference parameter value set set through the learning process is used as a reference for recognizing a user's motion in the motion recognition mode.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 이 때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 그리고 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. Note that, in the drawings, the same components are denoted by the same reference symbols as possible. And a detailed description of known functions and configurations that can blur the gist of the present invention will be omitted.

본 발명의 실시예에서는 휴대 단말기를 예로 들어 설명하지만, 이에 한정되는 것은 아니다. 본 발명의 실시예들에 따른 휴대 단말기는 모션 센서가 구비된 단말기로서, 바람직하게는 이동통신 단말기, 휴대용 멀티미디어 재생 장치(Portable Multimedia Player-PMP), 개인 정보 단말기(Personal Digital Assistant-PDA), 스마트 폰(Smart Phone), MP3 플레이어 등과 같은 모든 정보 통신 기기 및 멀티미디어 기기와 그에 대한 응용에도 적용될 수 있다.In the embodiment of the present invention, a portable terminal is described as an example, but is not limited thereto. The portable terminal according to the embodiments of the present invention is a terminal equipped with a motion sensor, preferably a mobile communication terminal, a portable multimedia player (PMP), a personal digital assistant (PDA), and a smart device. The present invention can be applied to all information communication devices and multimedia devices such as smart phones, MP3 players, and the like, and applications thereof.

또한 본 발명에서의 '파라미터 값 세트'는 복수의 파라미터 값들로 구성될 수 있으며, 하나의 파라미터 값으로 구성될 수도 있다. In addition, the 'parameter value set' in the present invention may be composed of a plurality of parameter values, it may be composed of one parameter value.

도 1은 본 발명의 제1실시예에 따른 사용자 동작 인식 방법에 관한 전체적인 개념을 나타내는 도면이다. 1 is a view showing the overall concept of a method for recognizing a user motion according to a first embodiment of the present invention.

학습 모드에서 사용자는 휴대 단말기에 동작을 입력하며, 입력된 사용자 동작을 분석하여 파라미터 값(parameter value)을 추출하고, 추출한 파라미터 값을 동작 학습 과정에 전달한다. 휴대 단말기는 전달 받은 파라미터 값을 이용하여 기준 파라미터 값을 설정한다. In the learning mode, the user inputs an operation to the portable terminal, analyzes the input user motion to extract parameter values, and transfers the extracted parameter values to the action learning process. The portable terminal sets the reference parameter value using the received parameter value.

기준 파라미터 값이 설정된 후, 사용자가 동작 인식 모드에서 동작을 입력하면 휴대 단말기는 설정된 기준 파라미터 값을 이용하여 사용자의 동작을 인식하게 된다. 이미 학습 과정을 통해 사용자 동작의 고유 패턴이 반영된 기준 파라미터 값이 설정되었기 때문에, 휴대 단말기는 이후에 입력되는 사용자 동작을 더욱 정확하게 인식할 수 있다.After the reference parameter value is set, when the user inputs an operation in the motion recognition mode, the portable terminal recognizes the user's motion by using the set reference parameter value. Since the reference parameter value reflecting the unique pattern of the user's motion has already been set through the learning process, the portable terminal can more accurately recognize the user's motion input later.

도 2는 본 발명의 실시예에 따른 사용자 동작 인식을 위한 휴대 단말기의 구조를 나타내는 도면이다.2 is a diagram illustrating a structure of a portable terminal for recognizing a user's motion according to an exemplary embodiment of the present invention.

동작 센서부(210)는 사용자가 휴대 단말기에 행하는 동작을 입력 받는 역할을 수행한다. 본 발명의 실시예에 따른 동작 센서부(210)로는 가속도 센 서(acceleration sensor), 자이로 센서(gyro sensor), 지자기 센서(terrestrial magnetic sensor) 등이 사용될 수 있으며, 이 밖에 사용자 동작을 인식할 수 있는 모든 센서가 사용될 수 있다. 사용자가 휴대 단말기에 동작을 입력하면, 동작 센서부(210)는 사용자 동작의 입력을 감지하고, 센서 신호를 생성하여 동작 인식부(280)로 전달한다. 동작 센서 검출부(220)는 동작 센서부(210)와 동작 인식부(280)를 인터페이스(interface)하는 역할을 수행한다.The motion sensor unit 210 performs a role of receiving a user's operation performed on the portable terminal. As the motion sensor unit 210 according to an embodiment of the present invention, an acceleration sensor, a gyro sensor, a terrestrial magnetic sensor, or the like may be used. Any sensor present can be used. When the user inputs an operation to the portable terminal, the motion sensor unit 210 detects an input of the user's motion, generates a sensor signal, and transmits the sensor signal to the motion recognition unit 280. The motion sensor detector 220 interfaces with the motion sensor 210 and the motion recognizer 280.

저장부(230)는 휴대 단말기의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행한다. 본 발명의 제1실시예에 따른 저장부(230)는 학습 과정을 통해 설정된 기준 파라미터 값 세트를 저장하는 역할을 수행한다. 저장부(230)에 저장된 기준 파라미터 값 세트는 동작 인식 모드에서 입력되는 사용자 동작을 인식하는 기준 값으로 사용된다. The storage unit 230 stores a program and data necessary for the operation of the portable terminal. The storage unit 230 according to the first exemplary embodiment of the present invention stores a reference parameter value set set through a learning process. The reference parameter value set stored in the storage 230 is used as a reference value for recognizing a user's motion input in the motion recognition mode.

표시부(240)는 휴대 단말기의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공한다. 표시부(240)는 액정표시장치(LCD, Liquid Crystal Display)로 형성되는 것이 바람직하다. 이 경우 표시부(240)는 액정표시장치를 제어하기 위한 제어장치, 영상 데이터를 저장할 수 있는 비디오 메모리 및 액정표시장치의 소자 등을 구비할 수 있다. 본 발명의 제1실시예에 따른 표시부(240)는 학습 과정에 있어서, 사용자가 동작을 입력하기 전, 입력이 요구되는 동작을 미리 표시하는 역할을 수행한다. 사용자는 표시부(240)에 표시된 화면을 따라 동작을 입력하게 되며, 이로써 사용자 입력의 부정확성과 사용자 혼란을 막을 수 있다.The display unit 240 visually provides a menu of the portable terminal, input data, function setting information, and various other information to the user. The display unit 240 is preferably formed of a liquid crystal display (LCD). In this case, the display unit 240 may include a control device for controlling the liquid crystal display, a video memory capable of storing image data, an element of the liquid crystal display, and the like. In the learning process, the display unit 240 according to the first embodiment of the present invention performs a function of previously displaying an operation requiring input before the user inputs an operation. The user may input an operation along the screen displayed on the display unit 240, thereby preventing inaccuracy and confusion of the user input.

키입력부(250)는 휴대 단말기를 제어하기 위한 사용자의 키 조작신호를 입력받아 제어부(260)에게 전달한다. 키입력부(250)는 키패드로 구성될 수 있으며, 터치스크린이 구비된 휴대 단말기의 경우에는 터치패드로 구성될 수 있다. The key input unit 250 receives a key manipulation signal of a user for controlling the portable terminal and transmits the key manipulation signal to the controller 260. The key input unit 250 may be configured as a keypad. In the case of a mobile terminal having a touch screen, the key input unit 250 may be configured as a touch pad.

제어부(260)는 휴대 단말기의 전반적인 동작 및 휴대 단말기의 내부 블록들 간 신호 흐름을 제어한다. 본 발명의 실시예에 다른 제어부(260)는 기능 수행부(270) 및 동작 인식부(280)를 포함한다. The controller 260 controls the overall operation of the mobile terminal and the signal flow between the internal blocks of the mobile terminal. The control unit 260 according to the embodiment of the present invention includes a function performing unit 270 and an operation recognition unit 280.

기능 수행부(270)는 어플리케이션(application)과 관련된 기능을 수행한다. 본 발명의 실시예에 따른 어플리케이션에는 휴대 단말기에서 실행되는 특정 프로그램이 포함될 수 있으며, 배경 화면 표시 기능, 화면 오프 기능이라도 동작 입력을 인식하도록 정의된 경우에는 본 발명의 어플리케이션에 해당할 수 있다. 기능 수행부(270)는 어플리케이션이 실행되면 동작 인식 실행 명령을 동작 인식부(280)로 전달하고, 동작 인식부(280)로부터 동작 인식 신호를 수신하면 이에 대응하는 기능을 수행한다. The function performing unit 270 performs a function related to an application. An application according to an embodiment of the present invention may include a specific program executed in a mobile terminal, and may correspond to an application of the present invention when it is defined to recognize an operation input even when displaying a background screen function or a screen off function. The function execution unit 270 transmits a motion recognition execution command to the motion recognition unit 280 when the application is executed, and performs a function corresponding to the motion recognition signal received from the motion recognition unit 280.

동작 인식부(280)는 입력된 사용자 동작을 인식하고 분석하는 역할을 수행한다. 본 발명의 실시예에 따른 동작 인식부(280)는 패턴 분석부(282) 및 패턴 학습부(284)를 포함한다. The motion recognition unit 280 recognizes and analyzes the input user motion. The motion recognition unit 280 according to the embodiment of the present invention includes a pattern analyzer 282 and a pattern learner 284.

패턴 분석부(282)는 동작 센서 검출부(220)로부터 전달받은 로 데이터(raw data)를 이용하여 파라미터 값 세트들을 추출하는 역할을 수행한다. 본 발명의 제1실시예에 따라 학습 과정 실행 시, 패턴 분석부(282)는 동작 센서 검출부(220)로부터 전달받은 로 데이터를 분석하여 파라미터 값 세트를 추출하고, 추출한 파라미터 값 세트를 패턴 학습부(284)로 전달한다. 본 발명의 실시예에 따라, 패턴 분석부(282)는 동작 센서 검출부(220)로부터 전달받은 로 데이터(raw data)의 패턴을 분석하여 입력이 요구되는 동작에 해당하는지 여부를 판단하고, 입력이 요구되는 동작으로 판단된 동작에 대해서만 파라미터 값 세트를 추출하고, 추출한 파라미터 값 세트들을 패턴 학습부(284)로 전달할 수 있다. 예를 들어, 두드리기(tapping) 학습 과정 시, 패턴 분석부(282)는 동작 센서 검출부(220)로부터 수신한 로 데이터들의 패턴을 분석하여 두드리기 동작에 해당하는지 여부를 판단하고, 두드리기 동작으로 판단된 동작에 대해서만 파라미터 값 세트들을 추출하여 패턴 학습부(284)로 전달할 수 있다. 또는 입력된 두드리기 동작으로부터 추출한 파라미터 값 세트들 중에서 사용자의 유효한 입력으로 판단되는 두드리기 동작의 파라미터 값 세트들을 선별하여 패턴 학습부(284)로 전달할 수 있다. The pattern analyzer 282 extracts parameter value sets using raw data received from the motion sensor detector 220. When executing the learning process according to the first embodiment of the present invention, the pattern analyzer 282 analyzes raw data received from the motion sensor detector 220 to extract a parameter value set, and then extracts the extracted parameter value set from the pattern learner. Forward to (284). According to an exemplary embodiment of the present invention, the pattern analyzer 282 analyzes a pattern of raw data received from the motion sensor detector 220 to determine whether an input corresponds to a required operation, and the input is The parameter value set may be extracted only for the operation determined as the required operation, and the extracted parameter value sets may be transferred to the pattern learner 284. For example, during a tapping learning process, the pattern analyzer 282 analyzes patterns of raw data received from the motion sensor detector 220 to determine whether the tapping operation corresponds to a tapping operation, and determines that the tapping operation is performed. The parameter value sets may be extracted and transferred to the pattern learner 284 only for the operation. Alternatively, the parameter value sets of the tapping operation, which are determined to be valid inputs of the user, may be selected from the parameter value sets extracted from the input tapping operation and transferred to the pattern learner 284.

동작 인식 모드에서 패턴 분석부(282)는 입력된 사용자 동작으로부터 추출한 파라미터 값 세트가 기준 파라미터 값 세트를 기준으로 설정된 조건을 만족하는지 여부를 판단한다. 예를 들어, 기준 파라미터 값 세트가 동작 인식 범위의 하한 임계값(threshold)으로 설정되어 있는 경우, 패턴 분석부(282)는 추출한 파라미터 값 세트를 구성하는 파라미터 값들과 기준 파라미터 값 세트를 구성하는 파라미터 값들을 각각 비교하여, 추출된 파라미터 값 세트를 구성하는 모든 파라미터 값들이 기준 파라미터 값 세트를 구성하는 모든 파라미터 값들 보다 큰 경우에 패턴 분석부(282)는 사용자 동작이 인식되었음을 기능 수행부(270)로 알리게 된다. In the motion recognition mode, the pattern analyzer 282 determines whether the parameter value set extracted from the input user action satisfies a condition set based on the reference parameter value set. For example, when the reference parameter value set is set to a lower limit threshold of the motion recognition range, the pattern analyzer 282 may perform parameter values constituting the extracted parameter value set and parameters constituting the reference parameter value set. Comparing the values, the pattern analyzer 282 determines that the user's motion is recognized when all parameter values constituting the extracted parameter value set are greater than all parameter values constituting the reference parameter value set. Will be announced.

패턴 학습부(284)는 패턴 분석부(282)로부터 입력받은 파라미터 값 세트들을 이용하여 기준 파라미터 값 세트를 설정하는 역할을 수행한다. 패턴 학습부(284)는 입력받은 파라미터 값 세트들을 구성하는 각각의 파라미터 값들의 평균값, 최대값, 최소값 등을 이용하여 기준 파라미터 값 세트를 설정한다. 또한 본 발명의 실시예에 따라 패턴 학습부(284)는 입력받은 파라미터 값 세트를 구성하는 각각의 파라미터 값의 분포도를 분석하고, 분포가 밀집된 파라미터 값들을 이용하여 기준 파라미터 값 세트를 설정할 수 있다. 파라미터 세트에는 동작 인식 시간, 동작 시간 간격, 동작 세기 등의 파라미터가 포함될 수 있다.The pattern learner 284 sets a reference parameter value set using the parameter value sets received from the pattern analyzer 282. The pattern learner 284 sets a reference parameter value set by using an average value, a maximum value, a minimum value, etc. of each parameter value constituting the input parameter value sets. In addition, according to an exemplary embodiment of the present invention, the pattern learner 284 may analyze the distribution of each parameter value constituting the input parameter value set, and set the reference parameter value set by using the parameter values in which the distribution is dense. The parameter set may include parameters such as an operation recognition time, an operation time interval, and an operation strength.

본 발명의 실시예에 따른 휴대 단말기가 이동통신 단말기에 해당하는 경우에는 무선통신부를 추가로 포함할 수 있다. 무선통신부는 이동통신 단말기의 무선 통신을 위한 해당 데이터의 송수신 기능을 수행한다. 무선통신부는 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF수신기 등으로 구성될 수 있다. 또한, 무선통신부는 무선 채널을 통해 데이터를 수신하여 제어부(260)로 출력하고, 제어부(260)로부터 출력된 데이터를 무선 채널을 통해 전송할 수 있다. 이상 사용자 동작 인식을 위한 휴대 단말기의 구조에 대해 설명하였으며, 이하에서는 사용자 동작 인식 과정에 대해 설명하기로 한다. When the mobile terminal according to an embodiment of the present invention corresponds to a mobile communication terminal, the mobile terminal may further include a wireless communication unit. The wireless communication unit transmits and receives a corresponding data for wireless communication of the mobile communication terminal. The wireless communication unit may include an RF transmitter for upconverting and amplifying a frequency of a transmitted signal, and an RF receiver for low noise amplifying and downconverting a received signal. In addition, the wireless communication unit may receive data through a wireless channel, output the data to the controller 260, and transmit data output from the controller 260 through a wireless channel. The structure of the mobile terminal for recognizing a user's motion has been described above, and a description of the user's motion recognition process will be given below.

본 발명의 실시예에 따른 '사용자 동작'에는 두드리기(tapping), 스내핑(snapping), 흔들기(shaking)가 포함될 수 있다. 본 발명에서는 사용자 동작과 관련하여 두드리기, 스내핑, 흔들기를 기준으로 설명하지만, 이에 한정되는 것은 아니다.According to an embodiment of the present invention, 'user motion' may include tapping, snapping, and shaking. In the present invention, a description regarding tapping, snapping, and shaking in relation to a user's motion is not limited thereto.

도 3은 본 발명의 제1실시예에 따른 사용자 동작 인식 방법에서 두드리기 동작과 관련된 동작 학습 과정을 나타내는 순서도이다. 3 is a flowchart illustrating a motion learning process associated with a tapping motion in a user motion recognition method according to a first embodiment of the present invention.

사용자에 의해 두드리기 동작 학습 과정 실행 명령이 입력되면 제어부(260)는 310단계에서 두드리기 동작 학습 과정을 실행한다. 휴대 단말기에는 동작 인식과 관련된 메뉴로서 동작 학습 과정 기능이 포함되어 있으며, 사용자는 키입력부(250)를 통해 동작 학습 과정 실행 명령을 입력한다. 본 발명의 실시예에 따라 사용자는 동작 입력을 통해 동작 학습 과정 실행 명령을 입력할 수도 있다. When the tapping motion learning process execution command is input by the user, the controller 260 executes the tapping motion learning process in step 310. The mobile terminal includes a motion learning process function as a menu related to motion recognition, and a user inputs a motion learning process execution command through the key input unit 250. According to an embodiment of the present invention, the user may input a motion learning process execution command through motion input.

사용자는 학습 과정 실행 명령을 입력 후, 두드리기 동작을 선택하는 명령을 입력할 수 있다. 본 발명의 실시예에 따라 제어부(260)는 표시부(240)를 제어하여 학습이 요구되는 동작을 선택하는 화면을 표시할 수 있다. 이 경우 사용자는 두드리기, 스내핑, 흔들기 중 어느 하나의 동작을 선택하게 된다.  The user may input a command for selecting a tapping operation after inputting a learning process execution command. According to an exemplary embodiment of the present invention, the controller 260 may control the display unit 240 to display a screen for selecting an operation requiring learning. In this case, the user selects one of tapping, snapping, and shaking.

310단계에서 두드리기 동작 학습 과정이 실행되면, 제어부(260)는 320단계에서 표시부(240)를 제어하여 두드리기 동작의 실시화면을 표시한다. 두드리기 동작 실시화면은 사용자의 동작 입력을 안내하는 역할을 하며, 사용자는 표시부(240)에 표시된 화면을 따라 두드리기 동작을 입력한다.When the tapping operation learning process is performed in step 310, the controller 260 controls the display unit 240 to display an execution screen of the tapping operation in step 320. The tap operation execution screen serves to guide a user's operation input, and the user inputs a tap operation along the screen displayed on the display unit 240.

본 발명의 제1실시예에 따라 표시부(240)에 표시되는 화면은 도 8a에 도시되어 있다. 제어부(260)는 표시부(240)를 제어하여, 휴대 단말기 외형을 표시하고 두드리는 지점을 표시한다. 본 발명의 실시예에 따라 '여기를 두드려 주세요'라는 문구를 함께 표시할 수도 있다. The screen displayed on the display unit 240 according to the first embodiment of the present invention is illustrated in FIG. 8A. The controller 260 controls the display unit 240 to display the external appearance of the portable terminal and to display a tapping point. According to an embodiment of the present invention, the phrase 'tap here' may be displayed together.

사용자가 표시부(240)에 표시된 화면을 따라 두드리기 동작을 입력하면, 패 턴 분석부(282)는 동작 센서 검출부(220)로부터 로 데이터(raw data)를 입력받아 동작이 입력되었음을 인식한다(330단계). 패턴 분석부(282)는 340단계에서 입력받은 로 데이터(raw data)를 분석하여 파라미터 값 세트를 추출한다. 한 번의 두드리기 동작에서의 파라미터 세트는 동작 인식 시간, 동작 세기의 파라미터를 포함할 수 있으며, 두 번 이상의 두드리기 동작에서의 파라미터 세트는 동작 인식 시간, 동작 세기, 동작 시간 간격의 파라미터를 포함할 수 있다. When the user inputs a tapping operation along the screen displayed on the display unit 240, the pattern analyzer 282 receives raw data from the motion sensor detector 220 and recognizes that the operation is input (330). ). The pattern analyzer 282 extracts a parameter value set by analyzing raw data received in operation 340. The parameter set in one tapping operation may include parameters of motion recognition time and motion strength, and the parameter set in two or more tapping motions may include parameters of motion recognition time, motion strength and motion time interval. .

두드리기 동작에서의 파라미터 세트에 관한 구체적인 내용은 도 6a, 6b 및 6c에 나타나 있다. 도 6a는 휴대 단말기의 전면(표시부(240)가 위치하는 면)에서 한 번 두드리기 동작을 한 경우의 시간(t)-가속도(a) 그래프이며, 도 6b는 휴대 단말기의 후면(표시부(240)가 위치하는 면과 반대면)에서 한 번 두드리기 동작을 한 경우의 시간(t)-가속도(a) 그래프를 나타낸다. 동작 세기는 가속도의 크기에 비례하며, 도 6a에 도시된 세 점 중 ②에 해당하는 가속도 크기를 이용하여 동작 세기를 측정한다. 동작 인식 시간은 ①과 ③ 사이의 시간을 이용하여 측정한다. 도 6b에서도 도 6a와 마찬가지로 ⑤에 해당하는 가속도 크기를 이용하여 동작 세기를 측정하며, ④와 ⑥사이의 시간을 이용하여 동작 인식 시간을 측정한다. Details of the parameter set in the tapping operation are shown in FIGS. 6A, 6B and 6C. FIG. 6A is a time (t) -acceleration (a) graph when the tapping operation is performed once on the front surface of the mobile terminal (the surface on which the display unit 240 is located), and FIG. 6B is the rear surface of the mobile terminal (the display unit 240). Time (t) -acceleration (a) graph for one tapping operation on the surface opposite to the surface where is located). The motion intensity is proportional to the magnitude of the acceleration, and the motion intensity is measured using an acceleration magnitude corresponding to ② of the three points shown in FIG. 6A. The motion recognition time is measured using the time between ① and ③. In FIG. 6B, as in FIG. 6A, the motion intensity is measured using an acceleration magnitude corresponding to ⑤, and the motion recognition time is measured using the time between ④ and ⑥.

도 6c는 휴대 단말기의 전면에서 두 번의 두드리기 동작이 발생한 경우의 시간(t)-가속도(a) 그래프를 나타낸다. 두 번의 두드리기 동작이 발생한 경우는 ②와 ⑤에 해당하는 가속도 크기를 이용하여 동작 세기를 측정하며, ②와 ⑤사이의 시간을 이용하여 두드리기 동작 시간 간격을 측정한다. 그리고 ①과 ③ 및 ④와 ⑥을 이용하여 동작 인식 시간을 측정한다. Fig. 6C shows a time (t) -acceleration (a) graph when two tapping operations occur in front of the mobile terminal. If two tapping motions occur, measure the strength of motion using the acceleration magnitudes corresponding to ② and ⑤, and measure the time interval between tapping motions using the time between ② and ⑤. And measure the motion recognition time using ① and ③ and ④ and ⑥.

350단계에서 제어부(260)는 추출된 파라미터 값 세트의 개수가 미리 설정된 파라미터 값 세트 개수와 일치하는지 여부를 판단한다. 도 3의 'n'은 추출된 파라미터 값 세트의 개수를 의미하며, 'N'은 미리 설정된 파라미터 값 세트의 개수를 의미한다. 기준 파라미터 값 세트를 설정하기 위해서는 복수 개의 파라미터 값 세트들이 필요하며, 상기 'N'은 기준 파라미터 값 세트를 설정하는데 요구되는 파라미터 값 세트의 개수에 해당한다. 본 발명의 실시예에 따라 패턴 분석부(282)는 동작 센서 검출부(220)로부터 전달받은 로 데이터(raw data)의 패턴을 분석하여 두드리기 동작에 해당하는지 여부를 판단하고, 두드리기 동작으로 판단된 동작에 대해서만 파라미터 값 세트를 추출할 수 있다. 두드리기 동작이 아닌 다른 동작으로부터 추출되는 파라미터 값 세트가 기준 파라미터 값 세트를 설정하는데 데이터로서 사용된다면, 사용자에게 적합한 기준 파라미터 값 세트를 설정할 수 없게 된다. 따라서 패턴 분석부(282)는 두드리기 동작으로 판단되는 동작에 대해서만 파라미터 값 세트를 추출하여 패턴 학습부(284)가 적합한 기준 파라미터 값 세트를 설정할 수 있도록 한다. 본 발명의 실시예에 따라 두드리기 동작으로부터 추출된 파라미터 값 세트들 중 사용자의 유효한 입력으로 판단되는 동작의 파라미터 값 세트들을 선별하여 패턴 학습부(284)로 전달할 수 있다. 사용자의 유효한 입력 동작이란 사용자의 유효 동작을 판단하는데 기준이 되는 파라미터 값 이상의 값을 갖는 동작을 의미한다. In operation 350, the controller 260 determines whether the number of extracted parameter value sets matches the preset number of parameter value sets. 'N' in FIG. 3 refers to the number of extracted parameter value sets, and 'N' refers to the number of preset parameter value sets. A plurality of parameter value sets is required to set the reference parameter value set, and 'N' corresponds to the number of parameter value sets required to set the reference parameter value set. According to an exemplary embodiment of the present invention, the pattern analyzer 282 analyzes a pattern of raw data received from the motion sensor detector 220 to determine whether it corresponds to a tapping operation, and determines the tapping operation. You can extract a set of parameter values only for. If a parameter value set extracted from an operation other than the tapping operation is used as data to set the reference parameter value set, it becomes impossible to set a reference parameter value set suitable for the user. Accordingly, the pattern analyzer 282 extracts the parameter value set only for the operation determined as the tapping operation so that the pattern learner 284 may set an appropriate reference parameter value set. According to an exemplary embodiment of the present invention, parameter value sets of an operation determined to be a valid input of the user among the parameter value sets extracted from the tapping operation may be selected and transmitted to the pattern learner 284. The valid input operation of the user means an operation having a value equal to or greater than a parameter value which is a reference for determining the valid operation of the user.

도 8a를 참조할 때, 표시부(240)는 사용자가 휴대 단말기의 전면의 좌측 상단을 두드리도록 표시하고, 사용자가 표시된 화면에 맞게 휴대 단말기를 두드리면, 다음 동작으로 표시부(240)는 사용자가 휴대 단말기 전면의 우측 상단을 두드리도록 표시한다. 표시부(240)는 도 8b에 도시된 바와 같이 사용자가 휴대 단말기의 특정 위치를 순차적으로 두드리도록 표시한다. 사용자는 표시부(240)에 표시되는 화면에 따라 두드리는 동작을 순차적으로 입력하며, 두드리는 동작의 입력은 추출된 파라미터 값 세트의 개수가 미리 설정된 파라미터 값 세트의 개수와 일치될 때까지 이루어진다.Referring to FIG. 8A, the display unit 240 displays the user to tap the upper left side of the front of the mobile terminal, and when the user taps the mobile terminal according to the displayed screen, the display unit 240 displays the mobile terminal in the following operation. Mark the top right corner of the front panel. As shown in FIG. 8B, the display unit 240 displays the user to sequentially tap a specific position of the mobile terminal. The user sequentially inputs a tapping operation according to the screen displayed on the display unit 240, and the tapping operation is input until the number of extracted parameter value sets matches the number of preset parameter value sets.

350단계에서의 판단 결과, 추출된 파라미터 값 세트의 개수가 미리 설정된 파라미터 값 세트의 개수와 일치하는 경우에는, 두드리기 동작을 표시하는 과정을 종료하고, 패턴 분석부(282)는 추출한 파라미터 값 세트들을 패턴 학습부(284)로 전달한다. 파라미터 값 세트들을 전달 받은 패턴 학습부(284)는 360단계에서 기준 파라미터 값 세트를 설정한다. 패턴 학습부(284)는 전달 받은 파라미터 값 세트들 내에 포함되는 각각의 파라미터 값들의 평균값, 최대값, 최소값 등을 이용하여 기준 파라미터 값을 설정한다. 예를 들어, 파라미터 세트에 동작 세기, 동작 인식 시간, 동작 시간 간격의 파라미터들이 포함되는 경우, 패턴 학습부(284)는 동작 세기, 동작 인식 시간, 동작 시간 간격의 평균값, 최대값, 최소값 등을 이용하여 기준 파라미터 값을 설정하게 된다. 본 발명의 실시예에 따라 패턴 학습부(284)는 전달 받은 파라미터 값 세트의 파라미터 값의 분포도를 분석하여 분포가 밀집된 파라미터 값 세트를 선별하고, 선별된 파라미터 값 세트들을 이용하여 기준 파라미터 값 세트를 설정할 수도 있다. 제어부(260)는 370단계에서 설정된 기준 파라미터 값 세트를 저장부(230)에 저장하며 학습 과정을 종료한다. As a result of the determination in operation 350, when the number of extracted parameter value sets matches the number of preset parameter value sets, the process of displaying a tapping operation is ended, and the pattern analyzer 282 determines the extracted parameter value sets. Transfer to pattern learning unit 284. The pattern learner 284 receiving the parameter value sets sets the reference parameter value set in step 360. The pattern learner 284 sets a reference parameter value using an average value, a maximum value, a minimum value, and the like of each parameter value included in the received parameter value sets. For example, when the parameter set includes parameters of the motion strength, the motion recognition time, and the motion time interval, the pattern learner 284 may determine the motion strength, motion recognition time, the average value of the motion time interval, the maximum value, the minimum value, and the like. The reference parameter value is set. According to the exemplary embodiment of the present invention, the pattern learner 284 analyzes the distribution of the parameter values of the received parameter value set, selects the parameter value set having a dense distribution, and selects the reference parameter value set using the selected parameter value sets. Can also be set. The controller 260 stores the reference parameter value set in operation 370 in the storage 230 and ends the learning process.

이후 사용자 동작 인식 모드에서 사용자가 휴대 단말기에 두드리는 동작을 입력하면, 패턴 분석부(282)는 입력된 두드리기 동작으로부터 파라미터 값 세트를 추출하고 저장부(230)에 저장된 기준 파라미터 값 세트와 비교하여 사용자의 두드리기 동작을 인식한다. 파라미터 값 세트의 비교는 파라미터 값 세트 내에 포함되는 파라미터 값(동작 세기, 동작 인식 시간, 동작 시간 간격 등)들을 각각 비교함으로써 이루어진다. 기준 파라미터 값 세트가 동작 인식 범위의 하한 임계값(threshold)로 설정되는 경우에는 패턴 분석부(282)는 하한 임계값 이상 값을 갖는 사용자 동작이 입력되는 경우에만 동작을 인식할 수 있다. 예를 들어, 파라미터들 중 동작 세기를 기준으로 설명하면, 기준 파라미터 값이 1g로 설정되어 있는 경우, 패턴 분석부(282)는 1g 이상의 세기로 입력되는 사용자 동작을 인식하게 된다. 추출된 파라미터 값들 중 최소값을 기준 파라미터 값으로 설정하는 경우, 기준 파라미터 값은 동작 인식의 하한 임계값으로 설정 될 수 있다. 또한 기준 파라미터 값 세트가 동작 인식 범위의 상한 임계값 및 하한 임계값을 결정하는데 기준점으로 사용되는 경우에는, 패턴 분석부(282)는 상한 임계값 및 하한 임계값 사이의 범위 내의 값을 갖는 사용자 동작이 입력되는 경우에만 동작을 인식할 수 있다. 예를 들어, 파라미터들 중 동작 세기를 기준으로 설명하면, 기준 파라미터 값이 1g로 설정되어 있으며 상한 임계값을 1.5g, 하한 임계값을 0.5g로 설정한 경우, 패턴 분석부(282)는 0.5g에서 1.5g 사이의 세기로 입력되는 사용자 동작을 인식하게 된다. 패턴 학습부(284)가 추출된 파라미터 값들의 평균값을 계산하고, 계산된 평균값을 기준 파라미터 값으로 설정한 경우, 기준 파라미터 값은 동작 인식 범위를 설정하 는데 기준점으로서 사용될 수 있다. 패턴 분석부(282)가 사용자의 동작을 인식한 경우, 이를 기능 수행부(270)로 전달하며, 기능 수행부(270)는 패턴 분석부(282)가 인식한 동작에 대응하는 기능을 수행한다. Then, when the user inputs a tapping operation on the mobile terminal in the user motion recognition mode, the pattern analyzer 282 extracts a parameter value set from the input tapping operation and compares the parameter value set stored in the storage 230 to the user. Recognize the tapping action. The comparison of the parameter value set is made by comparing the parameter values (operation intensity, operation recognition time, operation time interval, etc.) included in the parameter value set, respectively. When the reference parameter value set is set to a lower threshold of the motion recognition range, the pattern analyzer 282 may recognize the motion only when a user motion having a value greater than or equal to the lower threshold is input. For example, if the reference parameter value is set to 1g, the pattern analyzer 282 recognizes a user's motion input with an intensity of 1g or more. When the minimum value among the extracted parameter values is set as the reference parameter value, the reference parameter value may be set as a lower limit threshold of motion recognition. In addition, when the reference parameter value set is used as a reference point for determining the upper and lower thresholds of the motion recognition range, the pattern analyzer 282 may perform a user action having a value within a range between the upper and lower thresholds. The operation can only be recognized if it is input. For example, if the reference parameter is set based on the operation intensity, the reference parameter value is set to 1g, and the upper limit threshold value is set to 1.5g and the lower limit threshold value to 0.5g, the pattern analyzer 282 is 0.5. It recognizes a user's motion input with an intensity between g and 1.5g. When the pattern learner 284 calculates an average value of the extracted parameter values and sets the calculated average value as the reference parameter value, the reference parameter value may be used as a reference point for setting the motion recognition range. When the pattern analysis unit 282 recognizes the user's operation, the pattern analysis unit 282 transmits it to the function performing unit 270, and the function performing unit 270 performs a function corresponding to the operation recognized by the pattern analyzing unit 282. .

도 4는 본 발명의 제1실시예에 따른 사용자 동작 인식 방법에서 스내핑 동작과 관련된 동작 학습 과정을 나타내는 순서도이다. 4 is a flowchart illustrating a motion learning process related to a snapping motion in a user motion recognition method according to a first embodiment of the present invention.

사용자에 의해 스내핑 동작 학습 실행 명령이 입력되면 제어부(260)는 410단계에서 스내핑 동작 학습 과정을 실행한다. 본 발명의 실시예에 따라 사용자가 동작 학습 실행 명령을 입력하면, 제어부(260)는 표시부(240)를 제어하여 학습이 요구되는 동작을 선택하는 화면을 표시할 수 있다. 이 경우 사용자는 두드리기, 스내핑, 흔들기 중 어느 하나의 동작을 선택하게 된다. When the snapping motion learning execution command is input by the user, the controller 260 executes the snapping motion learning process in step 410. According to an exemplary embodiment of the present invention, when a user inputs an operation learning execution command, the controller 260 may control the display unit 240 to display a screen for selecting an operation requiring learning. In this case, the user selects one of tapping, snapping, and shaking.

410단계에서 스내핑 동작 학습 과정이 실행되면, 제어부(260)는 420단계에서 표시부(240)를 제어하여 스내핑 동작의 실시화면을 표시한다. 사용자는 표시부(240)에 표시된 화면을 따라 스내핑 동작을 입력한다.When the snapping operation learning process is executed in step 410, the controller 260 controls the display unit 240 to display an execution screen of the snapping operation in step 420. The user inputs a snapping operation along the screen displayed on the display unit 240.

본 발명의 제2실시예에 따라 표시부(240)에 표시되는 화면은 도 9a에 도시되어 있다. 제어부(260)는 표시부(240)를 제어하여, 휴대 단말기를 파지한 손을 표시하고, 손목을 움직이는 동작을 동영상으로 표시한다. 본 발명의 실시예에 따라 움직이는 동작 방향을 가리키는 화살표를 함께 표시할 수도 있다. The screen displayed on the display unit 240 according to the second embodiment of the present invention is illustrated in FIG. 9A. The controller 260 controls the display unit 240 to display a hand held by the mobile terminal and to display a motion of moving a wrist as a moving image. According to an embodiment of the present invention, an arrow indicating a moving direction may be displayed together.

사용자가 표시부(240)에 표시된 화면을 따라 스내핑 동작을 입력하면, 패턴 분석부(282)는 동작 센서 검출부(220)로부터 로 데이터(raw data)를 입력받아 동작이 입력되었음을 인식한다(430단계). 패턴 분석부(282)는 440단계에서 입력받은 로 데이터를 분석하여 파라미터 값 세트를 추출한다. 스내핑 동작의 파라미터 세트는 동작 인식 시간, 동작 세기, 동작 시간 간격의 파라미터를 포함할 수 있다. 또한 휴대 단말기가 특정 축 방향으로 동작될 때, 다른 축이 받는 영향을 분석한 값인 방향 조절값도 파라미터로 포함될 수 있다. When the user inputs a snapping operation along the screen displayed on the display unit 240, the pattern analyzer 282 receives raw data from the motion sensor detector 220 and recognizes that the operation is input (430). ). The pattern analyzer 282 extracts the parameter value set by analyzing raw data received in operation 440. The parameter set of the snapping operation may include parameters of an operation recognition time, an operation strength, and an operation time interval. In addition, when the mobile terminal is operated in a specific axis direction, a direction adjustment value, which is a value obtained by analyzing an influence of another axis, may be included as a parameter.

스내핑 동작에서의 파라미터 세트에 관한 구체적인 내용은 도 7a에 나타나 있다. 도 7a는 사용자가 스내핑 동작을 두 번 반복한 경우의 시간(t)-가속도(a) 그래프에 해당한다. 도 10을 참조할 때, 도 7a의 그래프는 x, y, z 중 움직이는 방향과 관련된 어느 하나의 축에 대한 그래프에 해당한다. 동작 세기는 가속도의 크기에 비례하며, 도 7a에 도시된 ②와 ③간에 가속도 값의 차를 이용하여 동작 세기를 측정한다. 동작 인식 시간은 ①과 ⑤ 사이의 시간을 이용하여 측정하며, 동작 시간 간격은 ④와 ⑥사이의 시간을 이용하여 측정한다. 만약 도 7a의 그래프가 도 10에서 x축에 대한 그래프에 해당하는 경우, x축 방향으로 동작될 때 y축 또는 z축이 받는 영향을 분석하여 방향 조절 값을 측정할 수 있다. 동작 인식 시간은 도 7a에 도시된 바와 같이 최초 동작 인식 시간만을 파라미터로 구할 수 있다.Details of the parameter set in the snapping operation are shown in FIG. 7A. FIG. 7A corresponds to a time (t) -acceleration (a) graph when the user repeats the snapping operation twice. Referring to FIG. 10, the graph of FIG. 7A corresponds to a graph of any one axis related to a moving direction among x, y, and z. The operation intensity is proportional to the magnitude of the acceleration, and the operation intensity is measured using the difference in acceleration values between ② and ③ shown in FIG. 7A. The motion recognition time is measured using the time between ① and ⑤, and the operation time interval is measured using the time between ④ and ⑥. If the graph of FIG. 7A corresponds to the graph of the x-axis in FIG. 10, the direction adjustment value may be measured by analyzing the influence of the y-axis or the z-axis when operated in the x-axis direction. As shown in FIG. 7A, the motion recognition time may be obtained by using only the initial motion recognition time as a parameter.

450단계에서 패턴 분석부(282)는 추출된 파라미터 값 세트의 개수가 미리 설정된 파라미터 값 세트 개수와 일치하는지 여부를 판단한다. 도 3의 'n'은 추출된 파라미터 값 세트의 개수를 의미하며, 'N'은 미리 설정된 파라미터 값 세트 개수를 의미한다. 패턴 분석부(282)는 동작 센서 검출부(220)로부터 전달받은 로 데이터(raw data)의 패턴을 분석하여 스내핑 동작에 해당하는지 여부를 판단하고, 스내핑 동작으로 판단된 동작에 대해서만 파라미터 값 세트를 추출할 수 있다. 본 발명 의 실시예에 따라 스내핑 동작으로부터 추출된 파라미터 값 세트들 중 사용자의 유효한 입력으로 판단되는 동작의 파라미터 값 세트들을 선별하여 패턴 학습부(284)로 전달할 수 있다.In operation 450, the pattern analyzer 282 determines whether the number of extracted parameter value sets matches the preset number of parameter value sets. 'N' in FIG. 3 means the number of extracted parameter value sets, and 'N' means a preset number of parameter value sets. The pattern analyzer 282 analyzes a pattern of raw data received from the motion sensor detector 220 to determine whether it corresponds to a snapping operation, and sets a parameter value only for the operation determined as the snapping operation. Can be extracted. According to an exemplary embodiment of the present invention, parameter value sets of an operation determined to be a valid input of a user from among parameter value sets extracted from the snapping operation may be selected and transmitted to the pattern learner 284.

표시부(240)는 사용자의 스내핑 동작이 입력되면, 다음 스내핑 동작을 표시한다. 표시부(240)는 스내핑 동작을 학습하는 과정에서 동일한 동작을 반복적으로 표시할 수 있으며, 동일하게 휴대 단말기를 파지한 상태에서 스내핑 동작 상태(동작 방향, 동작 속도, 동작 거리)를 변경하여 표시할 수도 있고, 휴대 단말기를 파지하는 방법을 달리하여 표시할 수도 있다. 파지 방법을 달리하여 휴대 단말기를 파지하는 경우, 패턴 분석부(282)는 각각의 경우마다 따로 파라미터 값 세트들을 추출할 수 있다. 예를 들어, 표시부(240)가 왼손으로 휴대 단말기를 파지하여 스내핑 하는 동작을 표시하고, 이어 오른손으로 휴대 단말기를 파지하여 스내핑 하는 동작을 표시하는 경우, 패턴 분석부(282)는 왼손과 오른손을 구분하여 파라미터 값 세트들을 추출할 수 있다. 또한 표시부(240)는 스내핑 동작의 횟수를 다르게 하여 표시할 수도 있다. 이 때 패턴 분석부(282)는 스내핑 동작 횟수에 따라 파라미터 값 세트들을 구분하여 추출할 수 있다. When the snapping operation of the user is input, the display unit 240 displays the next snapping operation. The display unit 240 may repeatedly display the same operation in the process of learning the snapping operation, and change the snapping operation state (operation direction, operation speed, operation distance) while holding the mobile terminal in the same manner. Alternatively, the method of holding the portable terminal may be displayed in different ways. When the mobile terminal is gripped by different gripping methods, the pattern analyzer 282 may extract parameter value sets separately for each case. For example, when the display unit 240 displays an operation of gripping and snapping the mobile terminal with the left hand, and then displaying an operation of gripping and snapping the mobile terminal with the right hand, the pattern analyzer 282 may perform the left hand operation. A set of parameter values can be extracted by distinguishing the right hand. In addition, the display unit 240 may display a different number of snapping operations. In this case, the pattern analyzer 282 may classify and extract parameter value sets according to the number of snapping operations.

사용자는 표시부(240)에 표시되는 화면에 따라 스내핑 동작을 순차적으로 입력하며, 스내핑 동작의 입력은 추출된 파라미터 값 세트들의 개수가 미리 설정된 파라미터 값 세트의 개수와 일치될 때까지 이루어진다.The user sequentially inputs a snapping operation according to the screen displayed on the display unit 240, and the input of the snapping operation is performed until the number of extracted parameter value sets matches the number of preset parameter value sets.

450단계에서의 판단 결과, 추출된 파라미터 값 세트들의 개수가 미리 설정된 파라미터 값 세트의 개수와 일치하는 경우에는, 스내핑 동작을 표시하는 과정을 종 료하고, 패턴 분석부(282)는 추출한 파라미터 값 세트들을 패턴 학습부(284)로 전달한다. 파라미터 값 세트들을 전달 받은 패턴 학습부(284)는 460단계에서 기준 파라미터 값 세트를 설정한다. 패턴 학습부(284)는 전달 받은 파라미터 값 세트들 내에 포함되는 각각의 파라미터 값들의 평균값, 최대값, 최소값 등을 이용하여 기준 파라미터 값 세트를 설정한다. 즉, 파라미터 세트에 동작 세기, 동작 인식 시간, 동작 시간 간격, 방향 조절 값의 파라미터들이 포함되는 경우, 패턴 학습부(284)는 동작 세기, 동작 인식 시간, 동작 시간 간격, 방향 조절 값의 평균값, 최대값, 최소값 등을 이용하여 기준 파라미터 값 세트를 설정하게 된다. As a result of the determination in step 450, when the number of extracted parameter value sets matches the number of preset parameter value sets, the process of displaying a snapping operation is ended, and the pattern analyzer 282 extracts the extracted parameter values. The sets are transferred to the pattern learner 284. The pattern learner 284 receiving the parameter value sets sets the reference parameter value set in step 460. The pattern learner 284 sets a reference parameter value set by using an average value, a maximum value, a minimum value, and the like of each parameter value included in the received parameter value sets. That is, when the parameter set includes parameters of the motion strength, the motion recognition time, the motion time interval, and the direction adjustment value, the pattern learning unit 284 may determine the average value of the motion strength, motion recognition time, the motion time interval, the direction control value, A reference parameter value set is set using the maximum value and the minimum value.

본 발명의 실시예에 따라 패턴 학습부(284)는 전달 받은 파라미터 값 세트들을 구성하는 파라미터 값의 분포도를 분석하여 분포가 밀집된 파라미터 값들을 선별하고, 선별된 파라미터 값들을 이용하여 기준 파라미터 값 세트를 설정할 수도 있다. 제어부(260)는 470단계에서 설정된 기준 파라미터 값 세트를 저장부(230)에 저장하고, 학습 과정을 종료한다. According to an exemplary embodiment of the present invention, the pattern learner 284 analyzes a distribution of parameter values constituting the received parameter value sets, selects parameter values with dense distribution, and selects a reference parameter value set using the selected parameter values. Can also be set. The controller 260 stores the reference parameter value set in operation 470 in the storage 230 and ends the learning process.

이후 사용자 동작 인식 모드에서 사용자가 휴대 단말기에 스내핑 동작을 입력하면, 패턴 분석부(282)는 입력된 스내핑 동작으로부터 파라미터 값 세트들을 추출하고, 저장부(230)에 저장된 기준 파라미터 값 세트를 비교하여 사용자의 스내핑 동작을 인식한다. 파라미터 값 세트 비교는 파라미터 값 세트 내에 포함되는 파라미터 값(동작 세기, 동작 인식 시간, 동작 시간 간격, 방향 조절 값 등)들을 각각 비교함으로써 이루어진다. 기준 파라미터 값 세트가 하한 임계값(threshold)으로 설정되는 경우에는 패턴 분석부(282)는 하한 임계값 이상 값을 갖는 사용자 동작이 입력되는 경우에만 동작을 인식할 수 있다. 또한 기준 파라미터 값 세트가 동작 인식 범위의 상한 임계값 및 하한 임계값을 결정하는데 기준점으로 사용되는 경우에는, 패턴 분석부(282)는 상한 임계값 및 하한 임계값 사이의 범위 내의 값을 갖는 사용자 동작이 입력되는 경우에만 동작을 인식할 수 있다. 패턴 분석부(282)가 동작을 인식한 경우, 이를 기능 수행부(270)로 전달하며, 기능 수행부(270)는 패턴 분석부(282)가 인식한 동작에 대응하는 기능을 수행한다. Then, when the user inputs the snapping operation to the mobile terminal in the user gesture recognition mode, the pattern analyzer 282 extracts the parameter value sets from the input snapping operation and extracts the reference parameter value set stored in the storage 230. Compare and recognize the user's snapping action. The parameter value set comparison is made by comparing the parameter values (operation intensity, motion recognition time, operation time interval, direction adjustment value, etc.) included in the parameter value set, respectively. When the reference parameter value set is set to the lower limit threshold, the pattern analyzer 282 may recognize the operation only when a user operation having a value greater than or equal to the lower limit threshold is input. In addition, when the reference parameter value set is used as a reference point for determining the upper and lower thresholds of the motion recognition range, the pattern analyzer 282 may perform a user action having a value within a range between the upper and lower thresholds. The operation can only be recognized if it is input. When the pattern analyzer 282 recognizes an operation, the pattern analyzer 282 transmits the operation to the function performer 270, and the function performer 270 performs a function corresponding to the operation recognized by the pattern analyzer 282.

도 5는 본 발명의 제1실시예에 따른 흔들기 동작과 관련된 동작 학습 과정을 나타내는 순서도이다. 5 is a flowchart illustrating a motion learning process associated with a shaking motion according to a first embodiment of the present invention.

사용자에 의해 흔들기 동작 학습 실행 명령이 입력되면 제어부(260)는 510단계에서 흔들기 동작 학습 과정을 실행한다. 본 발명의 실시예에 따라 사용자가 동작 학습 실행 명령을 입력하면, 제어부(260)는 표시부(240)를 제어하여 학습이 요구되는 동작을 선택하는 화면을 표시할 수 있다. 이 경우 사용자는 두드리기, 흔들기, 흔들기 중 어느 하나의 동작을 선택하게 된다. When the shake motion learning execution command is input by the user, the controller 260 executes the shake motion learning process in step 510. According to an exemplary embodiment of the present invention, when a user inputs an operation learning execution command, the controller 260 may control the display unit 240 to display a screen for selecting an operation requiring learning. In this case, the user selects one of tapping, shaking, and shaking.

510단계에서 흔들기 동작 학습 과정이 실행되면, 제어부(260)는 520단계에서 표시부(240)를 제어하여 흔들기 동작의 실시화면을 표시한다. 사용자는 표시부(240)에 표시된 화면을 따라 흔들기 동작을 입력한다.When the shaking motion learning process is performed in step 510, the controller 260 controls the display unit 240 to display an execution screen of the shaking motion in step 520. The user inputs a shaking motion along the screen displayed on the display unit 240.

본 발명의 실시예에 따른 표시부(240)에 표시되는 화면은 도 9b에 도시되어 있다. 제어부(260)는 표시부(240)를 제어하여, 휴대 단말기를 파지한 손을 표시하고, 휴대 단말기를 흔드는 동작을 동영상으로 표시한다. 본 발명의 실시예에 따라 움직이는 동작 방향을 가리키는 화살표를 함께 표시할 수 있으며, '5번 흔들어 주 세요'와 같이 흔들기 동작 횟수를 함께 표시할 수도 있다. The screen displayed on the display unit 240 according to the exemplary embodiment of the present invention is illustrated in FIG. 9B. The controller 260 controls the display unit 240 to display a hand held by the portable terminal and to display a motion of shaking the portable terminal as a moving picture. According to an embodiment of the present invention, an arrow indicating a moving direction may be displayed together, and the number of shaking operations may be displayed together, such as 'shake it five times'.

사용자가 표시부(240)에 표시된 화면을 따라 흔들기 동작을 입력하면, 패턴 분석부(282)는 동작 센서 검출부(220)로부터 로 데이터(raw data)를 입력 받아 동작이 입력되었음을 인식한다(530단계). 패턴 분석부(282)는 540단계에서 입력받은 로 데이터(raw data)를 분석하여 파라미터 값 세트를 추출한다. 흔들기 동작의 파라미터 세트에는 동작 인식 시간, 동작 세기, 동작 시간 간격 등의 파라미터가 포함될 수 있다. 또한 휴대 단말기가 특정 축 방향으로 동작될 때, 다른 축이 받는 영향을 분석한 값인 방향 조절 값도 파라미터로 포함될 수 있다. When the user inputs a shaking motion along the screen displayed on the display unit 240, the pattern analyzer 282 receives raw data from the motion sensor detector 220 to recognize that the motion is input (step 530). . The pattern analyzer 282 extracts a parameter value set by analyzing raw data received in operation 540. The parameter set of the shaking motion may include parameters such as a motion recognition time, a motion strength, and a motion time interval. In addition, when the portable terminal is operated in a specific axis direction, a direction adjustment value, which is a value obtained by analyzing an influence of another axis, may be included as a parameter.

흔들기 동작에서의 파라미터 세트에 관한 구체적인 내용은 도 7b에 나타나 있다. 도 7b는 사용자가 흔들기 동작을 두 번 반복한 경우의 시간(t)-가속도(a) 그래프에 해당한다. 도 7b의 그래프는 도 10에 도시된 x, y, z 축 중에서 동작 방향과 관련된 어느 하나의 축에 대한 그래프에 해당한다. 동작 세기는 가속도의 크기에 비례하며, 도 7b에 도시된 ②와 ③간에 가속도 값의 차를 이용하여 동작 세기를 측정한다. 동작 인식 시간은 ①과 ⑤ 사이의 시간을 이용하여 측정하며, 동작 시간 간격은 ④와 ⑥사이의 시간을 이용하여 측정한다. 도 7b의 그래프가 도 10에서 x축에 대한 그래프에 해당하는 경우, x축 방향으로 동작될 때 y축 또는 z축이 받는 영향을 분석하여 방향 조절 값을 측정할 수 있다. 동작 인식 시간은 도 7b에 도시된 바와 같이 최초 동작 인식 시간만을 측정하여 파라미터로 구할 수 있다.Details of the parameter set in the shaking operation are shown in FIG. 7B. FIG. 7B corresponds to a time (t) -acceleration (a) graph when the user repeats the shaking motion twice. The graph of FIG. 7B corresponds to a graph of any one of the x, y, and z axes shown in FIG. 10 related to the operation direction. The motion intensity is proportional to the magnitude of the acceleration, and the motion intensity is measured using the difference in acceleration values between ② and ③ shown in FIG. 7B. The motion recognition time is measured using the time between ① and ⑤, and the operation time interval is measured using the time between ④ and ⑥. When the graph of FIG. 7B corresponds to the graph of the x-axis in FIG. 10, the direction adjustment value may be measured by analyzing the influence of the y-axis or the z-axis when operated in the x-axis direction. As shown in FIG. 7B, the motion recognition time may be obtained by measuring only the initial motion recognition time as a parameter.

550단계에서 패턴 분석부(282)는 추출된 파라미터 값 세트의 개수가 미리 설정된 파라미터 값 세트 개수와 일치하는지 여부를 판단한다. 표시부(240)는 사용자 의 동작이 입력되면, 다음 동작을 표시하는데 입력이 요구되는 동작으로서 입력된 동작과 동일한 동작을 반복적으로 표시할 수 있으며, 동일한 방법으로 휴대 단말기를 파지한 상태에서 흔들기 동작을 변경하여 표시할 수도 있다. 예를 들면, 흔들기 동작의 속도를 변경하거나 흔들기 동작 반경을 변경하여 표시할 수 있다. 또한 흔들기 동작 방향을 변경하여 표시할 수도 있으며, 휴대 단말기를 파지하는 방법을 달리하여 표시할 수도 있다. 또한 흔들기 동작의 횟수를 다르게 하여 표시할 수도 있다. In operation 550, the pattern analyzer 282 determines whether the number of extracted parameter value sets matches the preset number of parameter value sets. When the user's operation is input, the display unit 240 may repeatedly display the same operation as the input operation as an operation requiring input to display the next operation, and perform the shaking operation in the state of holding the portable terminal in the same manner. You can change it to display. For example, the speed of the shaking motion may be changed or the shaking motion radius may be displayed. In addition, the shaking motion direction may be changed and displayed, or the method of gripping the portable terminal may be displayed differently. In addition, the number of shaking operations may be displayed differently.

사용자는 표시부(240)에 표시되는 화면에 따라 흔들기 동작을 순차적으로 입력하며, 흔들기 동작의 입력은 추출된 파라미터 세트 값의 개수가 미리 설정된 파라미터 세트 값의 개수와 일치될 때까지 이루어진다. 550단계에서의 판단 결과, 추출된 파라미터 세트 값의 개수와 미리 설정된 파라미터 세트 값의 개수가 일치하는 경우에는, 흔들기 동작을 표시하는 과정을 종료하고, 패턴 분석부(282)는 추출한 파라미터 값 세트들을 패턴 학습부(284)로 전달한다. 파라미터 값 세트들을 전달 받은 패턴 학습부(284)는 560단계에서 기준 파라미터 값 세트를 설정한다. 패턴 학습부(284)는 전달 받은 파라미터 값 세트들 내에 포함되는 각각의 파라미터 값들의 평균값, 최대값, 최소값 등을 이용하여 기준 파라미터 값 세트를 설정한다. 제어부(260)는 570단계에서 설정된 기준 파라미터 값 세트를 저장부(230)에 저장하며, 학습 과정을 종료한다. The user sequentially inputs the shaking motion according to the screen displayed on the display unit 240, and the input of the shaking motion is performed until the number of extracted parameter set values coincides with the number of preset parameter set values. As a result of the determination in step 550, when the number of extracted parameter set values and the number of preset parameter set values match, the process of displaying a shaking operation is ended, and the pattern analyzer 282 determines the extracted parameter value sets. Transfer to pattern learning unit 284. The pattern learner 284 receiving the parameter value sets sets the reference parameter value set in step 560. The pattern learner 284 sets a reference parameter value set by using an average value, a maximum value, a minimum value, and the like of each parameter value included in the received parameter value sets. The controller 260 stores the reference parameter value set in operation 570 in the storage 230 and ends the learning process.

이후 사용자 동작 인식 모드에서 사용자가 동작 센서부(210)를 이용하여 흔들기 동작을 입력하면, 패턴 분석부(282)는 입력된 흔들기 동작으로부터 파라미터 값 세트들과 저장부(230)에 저장된 기준 파라미터 값 세트를 비교하여 사용자의 흔들기 동작을 인식한다. 파라미터 값 세트 비교는 파라미터 값 세트 내에 포함되는 각각의 파라미터(동작 세기, 동작 인식 시간, 동작 시간 간격, 방향 조절 값 등)들을 비교함으로써 이루어진다. 기준 파라미터 값 세트가 하한 임계값(threshold)으로 설정되는 경우에는 패턴 분석부(282)는 하한 임계값 이상의 값을 갖는 사용자 동작이 입력되는 경우에만 동작을 인식할 수 있다. 또는 기준 파라미터 값 세트가 동작 인식 범위의 상한 임계값 및 하한 임계값를 결정하는데 기준점으로 사용되는 경우에는, 패턴 분석부(282)는 상한 임계값 및 하한 임계값 사이의 범위 내의 값을 갖는 사용자 동작이 입력되는 경우에만 동작을 인식할 수 있다. 패턴 분석부(282)가 동작을 인식한 경우, 이를 기능 수행부(270)로 전달한다. 기능 수행부(270)는 패턴 분석부(282)가 인식한 동작에 대응하는 기능을 수행한다. Then, when the user inputs the shaking motion using the motion sensor 210 in the user motion recognition mode, the pattern analyzer 282 sets the parameter value sets and the reference parameter values stored in the storage 230 from the input shaking motion. Compare sets to recognize user's shaking motion. The parameter value set comparison is made by comparing each parameter (operation intensity, motion recognition time, operation time interval, direction adjustment value, etc.) included in the parameter value set. When the reference parameter value set is set to the lower limit threshold, the pattern analyzer 282 may recognize the operation only when a user operation having a value greater than or equal to the lower limit threshold is input. Alternatively, when the reference parameter value set is used as a reference point for determining the upper limit threshold and the lower limit threshold of the motion recognition range, the pattern analyzer 282 determines that a user motion having a value within the range between the upper limit threshold and the lower limit threshold is performed. The operation can be recognized only when it is input. When the pattern analysis unit 282 recognizes the operation, the pattern analysis unit 282 transfers it to the function performing unit 270. The function performing unit 270 performs a function corresponding to the operation recognized by the pattern analyzer 282.

도 11은 본 발명의 제2실시예에 따른 사용자 동작 인식 방법에 관한 전체적인 개념을 나타내는 도면이다. 11 is a diagram illustrating the overall concept of a method for recognizing a user's motion according to a second embodiment of the present invention.

사용자가 휴대 단말기에 동작을 입력하면 휴대 단말기는 입력된 사용자 동작으로부터 추출된 파라미터 값(parameter value)과 휴대 단말기에 설정되어 있는 기준 파라미터 값을 비교하여 사용자 동작을 인식하게 된다. 휴대 단말기는 사용자 동작을 인식함과 동시에 추출된 파라미터 값을 이용하여 기준 파라미터 값을 재설정한다. 재설정된 기준 파라미터 값은 다음 사용자 동작이 입력되는 경우, 사용자 동작을 인식하는 기준값으로 사용된다. When the user inputs an operation to the portable terminal, the portable terminal recognizes the user's motion by comparing the parameter value extracted from the input user's motion with the reference parameter value set in the portable terminal. The mobile terminal recognizes the user's motion and at the same time resets the reference parameter value using the extracted parameter value. The reset reference parameter value is used as a reference value for recognizing a user action when the next user action is input.

휴대 단말기가 사용자의 동작을 인식하는 과정에서 사용자 동작의 고유 패턴 에 맞게 기준 파라미터 값을 계속적으로 변경함으로써 동작 인식률을 향상시킬 수 있다. In the process of recognizing the user's motion, the mobile terminal may improve the recognition rate of the motion by continuously changing the reference parameter value according to the unique pattern of the user's motion.

도 12는 본 발명의 제2실시예에 따른 사용자 동작 인식 방법에 있어서, 동작 인식 기준을 설정하는 과정을 나타내는 순서도이다.12 is a flowchart illustrating a process of setting motion recognition criteria in the user motion recognition method according to the second embodiment of the present invention.

사용자가 휴대 단말기에 동작을 입력하면, 동작 센서부(210)는 입력된 사용자 동작에 대해 로 데이터(raw data)를 생성하고, 동작 센서 검출부(220)는 생성된 로 데이터(raw data)를 패턴 분석부(282)로 전달한다. 패턴 분석부(282)는 동작 센서 검출부(220)로부터 로 데이터(raw data)를 입력받아 사용자 동작이 입력되었음을 인식한다(1210단계). When the user inputs an operation to the mobile terminal, the motion sensor unit 210 generates raw data with respect to the input user's motion, and the motion sensor detection unit 220 patterns the generated raw data. Transfer to the analysis unit 282. The pattern analyzer 282 receives raw data from the motion sensor detector 220 and recognizes that a user motion is input (step 1210).

패턴 분석부(282)는 1220단계에서 파라미터 값 세트들을 추출한다. 본 발명에서는 사용자가 두드리기 동작, 스내핑 동작, 흔들기 동작 중 어느 하나를 입력한 것으로 가정하여 설명하기로 한다. 저장부(230)에는 사용자 동작의 종류마다 데이터 패턴이 저장되어 있으며, 패턴 분석부(282)는 패턴 매칭을 통해 해당 데이터 패턴에 대응하는 파라미터 값 세트들을 추출한다. 본 발명의 실시예에 따른 데이터 패턴은 도 6a 내지 도 7b에 도시되어 있으며, 도 6a 내지 도 6c에 도시된 그래프 모양은 두드리기 동작의 데이터 패턴에 해당하며, 도 7a 및 도 7b에 도시된 그래프 모양은 각각 스내핑 동작과 흔들기 동작의 데이터 패턴에 해당한다. The pattern analyzer 282 extracts parameter value sets in step 1220. In the present invention, it is assumed that the user inputs any one of a tapping operation, a snapping operation, and a shaking operation. The storage unit 230 stores data patterns for each type of user operation, and the pattern analyzer 282 extracts parameter value sets corresponding to the data patterns through pattern matching. The data pattern according to the embodiment of the present invention is shown in FIGS. 6A to 7B, and the graph shape shown in FIGS. 6A to 6C corresponds to the data pattern of the tapping operation, and the graph shape shown in FIGS. 7A and 7B. Correspond to data patterns of a snapping operation and a shaking operation, respectively.

두드리기 동작의 파라미터 세트는 동작 인식 시간, 동작 세기의 파라미터를 포함할 수 있으며, 복수의 두드리기 동작의 경우에는 동작 시간 간격이 파라미터 세트에 추가적으로 포함될 수 있다. 또한 두드리기 동작이 입력될 때의 휴대 단 말기의 흔들림 정도도 파라미터 세트에 포함될 수 있다. 사용자가 휴대 단말기를 몸에 지니고 이동하는 경우, 동작을 입력하지 않았음에도 이동에 의한 움직임 때문에 휴대 단말기는 사용자가 동작을 입력한 것으로 판단될 수 있다. 패턴 분석부(282)는 사용자 동작 입력 시 데이터 패턴을 분석하여 흔들림 정도를 나타내는 파라미터 값을 추출한다. 흔들림 정도를 나타내는 파라미터 값은 패턴 분석부(282)가 사용자 동작을 인식할 때 적용되어, 흔들림 정도가 큰 경우에는 동작 인식 범위를 좁게 하여 오동작이 인식되는 것을 방지할 수 있다. 또한 사용자가 빠른 속도로 이동할수록 동작을 세게 입력하는 경향이 있는데, 흔들림 정도를 나타내는 파라미터 값은 휴대 단말기의 흔들림 정도가 큰 경우에 동작 세기와 관련된 하한 임계값을 크게 하여 오동작이 인식되는 것을 방지할 수 있다.  The parameter set of the tapping operation may include parameters of an operation recognition time and an operation strength, and in the case of a plurality of tapping operations, an operation time interval may be additionally included in the parameter set. In addition, the shaking degree of the mobile terminal when the tapping operation is input may be included in the parameter set. When the user moves with the portable terminal, the portable terminal may be determined to have entered the motion because of movement due to movement even though the user does not input the motion. The pattern analyzer 282 extracts a parameter value indicating a shaking degree by analyzing a data pattern when a user inputs an input. The parameter value representing the shaking degree is applied when the pattern analyzer 282 recognizes the user's motion, and when the shaking degree is large, the motion recognition range can be narrowed to prevent the malfunction from being recognized. In addition, the user tends to input the motion harder as the user moves at a higher speed. The parameter value representing the shaking degree increases the lower threshold associated with the motion strength when the shaking degree of the mobile terminal is large, thereby preventing the malfunction from being recognized. Can be.

스내핑 및 흔들기 동작의 파라미터 세트는 동작 인식 시간, 동작 세기, 동작 시간 간격의 파라미터들을 포함할 수 있다. 또한 스내핑 동작과 같이 방향성이 존재하는 동작의 경우 휴대 단말기가 특정 축 방향으로 동작될 때, 다른 축이 받는 영향을 분석한 값인 방향 조절값도 파라미터 세트에 포함될 수 있다. 이외에도 동작 방향에 따른 보상값도 파라미터 세트에 포함될 수 있다. 사용자는 여러 방향으로 스내핑 동작을 입력할 수 있으며, 휴대 단말기는 동작 방향을 구분하여 인식할 수 있다. 이 때, 사용자의 입력 패턴에 따라 세게 입력하는 방향과 약하게 입력하는 방향이 존재할 수 있다. 동작 방향에 따른 보상값은 사용자가 평소에 약하게 입력하는 방향으로 동작을 입력할 때, 동작 인식 기준을 낮추어 약한 세기의 입력이라도 휴대 단말기가 인식할 수 있도록 한다. 스내핑 및 흔들기 동작의 경우에도 사 용자 동작이 입력될 때의 흔들림 정도 역시 파라미터 세트에 포함될 수 있다. The parameter set of the snapping and shaking motions may include parameters of motion recognition time, motion strength, and operation time interval. In addition, in an operation in which a directionality exists, such as a snapping operation, a direction adjustment value, which is a value obtained by analyzing an influence of another axis when the mobile terminal is operated in a specific axis direction, may also be included in the parameter set. In addition, the compensation value according to the operation direction may be included in the parameter set. The user may input the snapping motion in various directions, and the portable terminal may recognize the motion direction by distinguishing it. At this time, there may be a direction for inputting strongly and a direction for inputting weakly according to the input pattern of the user. The compensation value according to the direction of motion lowers the motion recognition criterion when the user inputs a motion in a direction in which the user normally inputs a weak signal so that the portable terminal can recognize even a weak strength input. In the case of snapping and shaking operations, the degree of shaking when a user's motion is input may also be included in the parameter set.

패턴 분석부(282)는 추출한 파라미터 값 세트와 기설정된 기준 파라미터 값 세트를 비교하여 사용자 동작을 인식한다. 즉, 두드리기 동작이 입력된 경우, 패턴 분석부(282)는 두드리기 동작과 관련된 파라미터 값 세트들을 추출하고 이를 기준 파라미터 값 세트와 비교하여 설정된 조건을 만족하는 경우, 두드리기 동작이 입력되었음을 기능 실행부(270)에 알린다. 또한 패턴 분석부(282)는 추출된 파라미터 값 세트를 패턴 학습부(284)로 전달한다. 1230단계에서 패턴 학습부(284)는 추출된 파라미터 값 세트를 이용하여 기준 파라미터 값 세트를 설정한다. 본 발명의 실시예에 따라 패턴 학습부(284)는 설정된 개수의 파라미터 값 세트가 추출되었을 때, 추출된 파라미터 값 세트들을 이용하여 기준 파라미터 값 세트를 설정할 수 있다. 이러한 경우, 복수의 사용자 동작이 입력될 것이 요구되며, 패턴 분석부(282)는 사용자 동작이 입력될 때마다 파라미터 값 세트를 추출하고, 설정된 개수만큼의 파라미터 값 세트를 추출한 후, 추출한 파라미터 값 세트들을 패턴 학습부(284)로 전달한다. 패턴 학습부(284)는 추출된 파라미터 값 세트들을 이용하여 기준 파라미터 값 세트를 설정하게 된다. 본 발명의 실시예에 따라 사용자 동작 종류 마다 요구되는 파라미터 값 세트의 개수가 설정되어 있을 수 있다.The pattern analyzer 282 compares the extracted parameter value set with a preset reference parameter value set to recognize a user's motion. That is, when the tapping operation is input, the pattern analyzer 282 extracts the parameter value sets related to the tapping operation and compares it with the reference parameter value set to satisfy the set condition. 270). In addition, the pattern analyzer 282 transmits the extracted parameter value set to the pattern learner 284. In operation 1230, the pattern learner 284 sets a reference parameter value set using the extracted parameter value set. According to an embodiment of the present invention, when the set number of parameter value sets is extracted, the pattern learner 284 may set the reference parameter value set using the extracted parameter value sets. In this case, a plurality of user actions are required to be input, and the pattern analyzer 282 extracts a parameter value set each time a user action is input, extracts a set number of parameter value sets, and then extracts the extracted parameter value set. To the pattern learner 284. The pattern learner 284 sets a reference parameter value set using the extracted parameter value sets. According to an embodiment of the present invention, the number of parameter value sets required for each user operation type may be set.

예를 들어, 두드리기 동작, 스내핑 동작, 흔들기 동작 각각이 'N'개의 파라미터 값 세트를 요구하는 경우, 사용자가 휴대 단말기에 두드리기 동작을 입력하면, 패턴 분석부(282)는 파라미터 값 세트를 추출하고 저장부(230)에 저장하며, 두드리기 동작 관련 추출된 파라미터 값 세트 개수를 1 증가시킨다. 사용자의 두드리 기 동작을 계속적으로 입력받아 두드리기 동작 관련 추출된 파라미터 값 세트의 개수가 'N'이 되는 경우, 패턴 학습부(284)는 저장부(230)에 저장된 'N'개의 파라미터 값 세트들을 이용하여 기준 파라미터 값 세트를 설정한다. 패턴 분석부(282)는 저장부(230)에 저장되었던 파라미터 값 세트들을 삭제하고, 새로 입력되는 동작에 대해 파라미터 값 세트를 추출하여 저장부(230)에 저장한다. 예를 들어, 기준 파라미터 값 세트를 설정하는데 10개의 파라미터 값 세트들이 요구되는 경우, 10개의 파라미터 값 세트가 추출되었을 때 패턴 학습부(284)는 추출된 10개의 파리미터 값 세트들을 이용하여 기준 파라미터 값 세트를 설정하고, 이후 새로운 10개의 파라미터 값 세트가 추출되었을 때 패턴 학습부(284)는 새로 추출된 10개의 파라미터 값 세트들을 이용하여 기준 파라미터 값 세트를 재설정한다.For example, when each of the tapping operation, the snapping operation, and the shaking operation requires 'N' parameter value sets, when the user inputs a tapping operation on the mobile terminal, the pattern analyzer 282 extracts the parameter value set. And store in the storage unit 230, and increase the number of extracted parameter value sets related to the tapping operation by one. When the number of extracted parameter value sets related to the tapping operation becomes 'N' by continuously receiving the tapping operation of the user, the pattern learner 284 sets the 'N' parameter values stored in the storage 230. Set the reference parameter values. The pattern analyzer 282 deletes the parameter value sets stored in the storage 230, extracts the parameter value sets for the newly input operation, and stores the parameter value sets in the storage 230. For example, if ten parameter value sets are required to set the reference parameter value set, when the ten parameter value sets are extracted, the pattern learner 284 uses the extracted ten parameter value sets to refer to the reference parameter values. After setting the set, when a new set of ten parameter values is extracted, the pattern learning unit 284 resets the reference parameter value set using the newly extracted ten parameter value sets.

본 발명의 실시예에 따라 기준 파라미터 값 세트 설정 후, 새로운 파라미터 값 세트가 추출되면 패턴 학습부(284)는 저장부(230)에 저장되었던 파라미터 값 세트들 중 최초로 저장되었던 파라미터 값 세트만을 삭제하고, 추출된 파라미터 값 세트와 저장부(230)에 저장된 파라미터 값 세트들을 이용하여 기준 파라미터 값 세트를 설정할 수 있다. 예를 들어, 기준 파라미터 값 세트를 설정하는데 10개의 파라미터 값 세트들이 요구되는 경우, 10개의 파라미터 값 세트가 추출되었을 때 패턴 학습부(284)는 기준 파라미터 값 세트를 계산하고, 이후 새로운 1개의 파라미터 값 세트가 추출되었을 때, 상기 10개의 파라미터 값 세트들 중 가장 최초로 저장되었던 파라미터 값 세트를 삭제하고, 나머지 9개의 파라미터 값 세트들과 새로 추출된 파라미터 값 세트를 이용하여 기준 파라미터 값 세트를 설정한다. 이 경우에는 패턴 분석부(282)가 파라미터 값 세트를 추출할 때마다 이를 패턴 학습부(284)로 전달하며, 패턴 학습부(284)도 파라미터 값 세트가 추출될 때마다 기준 파라미터 값 세트를 재설정하게 된다.After setting the reference parameter value set according to an embodiment of the present invention, when a new parameter value set is extracted, the pattern learner 284 deletes only the parameter value set that was first stored among the parameter value sets stored in the storage 230. The reference parameter value set may be set using the extracted parameter value set and the parameter value sets stored in the storage 230. For example, if ten parameter value sets are required to set the reference parameter value set, the pattern learner 284 calculates the reference parameter value set when the ten parameter value sets are extracted, and then the new one parameter. When the value set is extracted, the first parameter value set stored among the 10 parameter value sets is deleted, and the reference parameter value set is set using the remaining 9 parameter value sets and the newly extracted parameter value set. . In this case, whenever the pattern analyzer 282 extracts the parameter value set, the pattern analyzer 284 transfers it to the pattern learner 284. The pattern learner 284 also resets the reference parameter value set whenever the parameter value set is extracted. Done.

본 발명의 실시예에 따라 추출되는 파라미터 값 세트와 기설정된 기준 파라미터 값 세트를 이용하여 기준 파라미터 값을 재설정할 수도 있다. 예를 들어, 동작 세기에 관한 기준 파라미터 값이 1g로 설정되어 있으며, 기준 파라미터 값을 설정하는데 요구되는 파라미터 값의 개수가 10개에 해당하는 경우 사용자로부터 세기가 1.5g에 해당하는 동작이 입력되는 경우, 패턴 학습부(284)는 1.5g에서 1g를 감산한 0.5g를 10으로 나눈 0.05g를 1g에 반영하여, 동작 세기 관련 기준 파라미터 값을 1.05g로 변경 설정할 수 있다. According to an embodiment of the present invention, the reference parameter value may be reset by using the parameter value set extracted and the preset reference parameter value set. For example, when the reference parameter value for the operation intensity is set to 1 g and the number of parameter values required to set the reference parameter value corresponds to 10, an operation corresponding to 1.5 g of intensity is input from the user. In this case, the pattern learning unit 284 may change and set the operation intensity related reference parameter value to 1.05g by reflecting 0.05g obtained by subtracting 0.5g divided by 1g from 1.5g to 1g.

기준 파라미터 값 세트는 추출된 파라미터 값 세트들을 구성하는 각각의 파라미터 값들의 평균값, 최대값, 최소값 등으로 설정될 수 있으며, 파라미터 값들의 분포도를 이용하여 기준 파라미터 값 세트를 설정할 수 있다. The reference parameter value set may be set to an average value, a maximum value, a minimum value, and the like of each parameter value constituting the extracted parameter value sets, and the reference parameter value set may be set using a distribution of parameter values.

도 13은 본 발명의 실시예에 따른 동작 세기의 분포도를 나타낸다. 도 13에서 점선으로 표시된 곡선은 사용자가 동작을 입력할 때 예상되는 동작 세기의 분포도를 나타내며, 실선으로 표시된 곡선은 실제로 입력된 동작 세기의 분포도를 나타낸다. 여기서 기설정된 기준 파라미터 값은 A점에 해당하는 동작 세기값에 해당하며, 변경되는 기준 파라미터 값은 B점에 해당하는 동작 세기값에 해당하는 것으로 가정한다. 13 shows a distribution chart of operating intensity according to an embodiment of the present invention. In FIG. 13, the curve indicated by the dotted line represents the distribution of the expected motion intensity when the user inputs the motion, and the curve indicated by the solid line indicates the distribution of the actually input motion intensity. Herein, it is assumed that the preset reference parameter value corresponds to an operation intensity value corresponding to point A, and the changed reference parameter value corresponds to an operation intensity value corresponding to point B.

패턴 학습부(284)는 사용자 동작으로부터 추출된 동작 세기 값의 분포도(실 선으로 표시된 곡선)를 분석하고 B점에 해당하는 동작 세기값을 기준 파라미터 값을 설정한다. 이어 패턴 학습부(284)는 A점과 B점 사이의 동작 세기 값 차이(d)를 계산하고, 계산된 값(d)을 하한 임계값을 설정하는데 사용한다. 하한 임계값은 ThA점의 동작 세기에서 ThB에 해당하는 동작 세기로 변경된다. 하한 임계값는 실선으로 표시된 곡선과 점선으로 표시된 곡선의 형태 비교를 통해 설정 변경될 수도 있다. The pattern learner 284 analyzes a distribution map (curve indicated by a solid line) of the motion intensity value extracted from the user's motion and sets a reference parameter value for the motion intensity value corresponding to the point B. Subsequently, the pattern learner 284 calculates an operation intensity value difference d between the points A and B and uses the calculated value d to set a lower limit threshold. The lower limit threshold value is changed from the operating strength of the ThA point to the operating strength corresponding to ThB. The lower limit threshold may be changed by setting the shape of the curve indicated by the solid line and the curve indicated by the dotted line.

본 발명의 실시예에 따라 ThA점에 해당하는 동작 세기값이 변경 전의 기준 파라미터 값으로 설정되어 있으며, ThB점에 해당하는 동작 세기값을 새로운 기준 파라미터 값으로 설정하는 경우, 패턴 학습부(284)는 기준 파라미터 값을 이용하여 하한 임계값를 설정하게 된다. 즉, 기준 파라미터 값은 하한 임계값이 된다. According to an exemplary embodiment of the present invention, when the operation intensity value corresponding to the ThA point is set to the reference parameter value before the change, and the operation intensity value corresponding to the ThB point is set to the new reference parameter value, the pattern learner 284 Sets a lower limit threshold using a reference parameter value. That is, the reference parameter value is a lower limit threshold.

본 발명의 실시예에 따라 하한 임계값 이하의 값의 동작 세기로 사용자 동작이 입력되는 경우에 패턴 분석부(282)는 파라미터 값 세트를 추출하여 이를 기준 파라미터 값에 반영할 수 있다. 예를 들어, 사용자가 휴대 단말기에 두드리기 동작을 입력했는데 세가가 약해서 패턴 분석부(282)가 입력된 사용자 동작이 두드리기 동작인지 여부를 판단하지 못하는 경우가 발생할 수 있다. 이러한 경우 패턴 분석부(282)는 동작 세기값 등 적어도 하나의 파라미터 값을 추출하여 저장부(130)에 저장한다. 만약 패턴 분석부(282)가 동작 종류를 판단할 수 없는 사용자 동작을 계속적으로 입력받아 설정된 개수만큼 파라미터 값들을 추출하는 경우, 추출한 파라미터 값들을 패턴 학습부(284)로 전달하며 패턴 학습부(284)는 패턴 분석부(282)로부터 입력받은 파라미터 값들을 기준 파라미터 값 세트를 설정하는데 반영할 수 있 다. 예를 들어, 동작 종류를 판단할 수 없는 사용자 동작이 계속적으로 입력되는 경우, 패턴 학습부(284)는 기준 파라미터 값을 낮게 설정하여, 패턴 분석부(282)가 약한 세기의 동작도 인식 가능하도록 할 수 있다. 제어부(260)는 1240단계에서 기준 파라미터 값 세트를 설정한 후 저장부(230)에 설정된 기준 파라미터 값 세트를 저장한다. According to an exemplary embodiment of the present invention, when a user's motion is input with an operation strength of a value lower than or equal to a lower limit threshold, the pattern analyzer 282 may extract a parameter value set and reflect it in the reference parameter value. For example, when a user inputs a tapping operation to the portable terminal, the sega is weak so that the pattern analyzer 282 may not determine whether the input user motion is a tapping operation. In this case, the pattern analyzer 282 extracts at least one parameter value such as an operation intensity value and stores the extracted parameter value in the storage 130. If the pattern analyzer 282 continuously receives a user's motion that cannot determine the operation type and extracts parameter values as many as the set number, the pattern analyzer 282 transfers the extracted parameter values to the pattern learner 284 and the pattern learner 284. ) May reflect the parameter values received from the pattern analyzer 282 in setting the reference parameter value set. For example, when a user motion that cannot determine the type of motion is continuously input, the pattern learner 284 sets the reference parameter value low so that the pattern analyzer 282 can recognize the motion of weak strength. can do. The controller 260 sets the reference parameter value set in step 1240 and stores the reference parameter value set set in the storage 230.

한편, 본 명세서와 도면에 개시 된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. On the other hand, the embodiments of the present invention disclosed in the specification and drawings are merely presented specific examples to easily explain the technical contents of the present invention and help the understanding of the present invention, and are not intended to limit the scope of the present invention. It will be apparent to those skilled in the art that other modifications based on the technical idea of the present invention can be carried out in addition to the embodiments disclosed herein.

도 1은 본 발명의 실시예에 따른 사용자 동작 인식 방법에 관한 전체적인 개념을 나타내는 도면이다.1 is a view showing the overall concept of a method for recognizing a user motion according to an embodiment of the present invention.

도 2는 본 발명의 실시예에 따른 사용자 동작 인식을 위한 휴대 단말기의 구조를 나타내는 도면이다.2 is a diagram illustrating a structure of a portable terminal for recognizing a user's motion according to an exemplary embodiment of the present invention.

도 3은 본 발명의 제1실시예에 따른 사용자 동작 인식 과정에서 두드리기 동작과 관련된 동작 학습 과정을 나타내는 순서도이다.3 is a flowchart illustrating a motion learning process associated with a tapping motion in a user motion recognition process according to the first embodiment of the present invention.

도 4는 본 발명의 제1실시예에 따른 사용자 동작 인식 과정에서 스내핑 동작과 관련된 동작 학습 과정을 나타내는 순서도이다.4 is a flowchart illustrating a motion learning process related to a snapping motion in a user motion recognition process according to the first embodiment of the present invention.

도 5는 본 발명의 제1실시예에 따른 사용자 동작 인식 과정에서 흔들기 동작과 관련된 동작 학습 과정을 나타내는 순서도이다.5 is a flowchart illustrating a motion learning process related to a shaking motion in a user motion recognition process according to the first embodiment of the present invention.

도 6a, 도 6b, 도 6c는 본 발명의 실시예에 따른 동작 학습 과정에서 입력되는 동작의 가속도 그래프를 나타내는 도면이다.6A, 6B, and 6C are diagrams illustrating acceleration graphs of motions input in a motion learning process according to an exemplary embodiment of the present invention.

도 7a는 본 발명의 실시예에 따른 동작 학습 과정에서 입력되는 동작의 가속도 그래프를 나타내는 도면이다.7A is a diagram illustrating an acceleration graph of an operation input in a motion learning process according to an embodiment of the present invention.

도 7b는 본 발명의 실시예에 따른 동작 학습 과정에서 입력되는 동작의 가속도 그래프를 나타내는 도면이다.7B is a diagram illustrating an acceleration graph of motions input in a motion learning process according to an embodiment of the present invention.

도 8a는 본 발명의 실시예에 따른 동작 학습 과정에서 입력이 요구되는 동작을 표시한 화면을 나타내는 도면이다. 8A is a diagram illustrating a screen displaying an operation requiring input in an operation learning process according to an embodiment of the present invention.

도 8b는 본 발명의 실시예에 따른 동작 학습 과정에서 입력이 요구되는 휴대 단말기의 위치를 나타내는 도면이다. 8B is a diagram illustrating a location of a portable terminal requiring input in a motion learning process according to an exemplary embodiment of the present invention.

도 9a는 본 발명의 실시예에 따른 동작 학습 과정에서 입력이 요구되는 동작을 표시한 화면을 나타내는 도면이다. 9A is a diagram illustrating a screen displaying an operation requiring input in an operation learning process according to an exemplary embodiment of the present invention.

도 9b는 본 발명의 실시예에 따른 동작 학습 과정에서 입력이 요구되는 동작을 표시한 화면을 나타내는 도면이다.9B is a diagram illustrating a screen displaying an operation requiring input in an operation learning process according to an embodiment of the present invention.

도 10은 본 발명의 실시예에 따른 동작 방향 축을 나타내는 도면이다. 10 is a view showing an operation direction axis according to an embodiment of the present invention.

도 11은 본 발명의 제2실시예에 따른 사용자 동작 인식 방법에 관한 전체적인 개념을 나타내는 도면이다.11 is a diagram illustrating the overall concept of a method for recognizing a user's motion according to a second embodiment of the present invention.

도 12는 본 발명의 제2실시예에 따른 사용자 동작 인식 방법에 있어서, 동작 인식 기준을 설정하는 과정을 나타내는 순서도이다.12 is a flowchart illustrating a process of setting motion recognition criteria in the user motion recognition method according to the second embodiment of the present invention.

도 13은 본 발명의 실시예에 따른 동작 세기의 분포도를 나타낸다.13 shows a distribution chart of operating intensity according to an embodiment of the present invention.

Claims (18)

모션 센서를 구비한 휴대 단말기의 사용자 동작 인식 방법에 있어서,In the user motion recognition method of a mobile terminal having a motion sensor, 입력되는 적어도 한 번의 사용자 동작으로부터 적어도 하나의 파라미터 값을 추출하는 파라미터 값 추출 단계; A parameter value extraction step of extracting at least one parameter value from at least one input user action; 상기 추출된 적어도 하나의 파라미터 값에 근거하여 사용자 동작 인식 기준이 되는 기준 파라미터 값을 설정하는 기준 파라미터 값 설정 단계; 및A reference parameter value setting step of setting a reference parameter value, which is a user motion recognition criterion, based on the extracted at least one parameter value; And 상기 설정된 기준 파라미터 값을 저장하는 저장 단계를 포함하는 것을 특징으로 하는 사용자 동작 인식 방법.And a storing step of storing the set reference parameter value. 제1항에 있어서,The method of claim 1, 상기 저장 단계 이후, After the storing step, 사용자 동작이 입력되면, 상기 저장된 기준 파라미터 값을 기준으로 상기 입력되는 사용자 동작을 인식하는 동작 인식 단계를 더 포함하는 것을 특징으로 하는 사용자 동작 인식 방법.And recognizing the input user motion based on the stored reference parameter value when a user motion is input. 제1항에 있어서,The method of claim 1, 상기 파라미터 추출 단계 이전,Before the parameter extraction step, 입력이 요구되는 사용자 동작을 표시하는 동작 표시 단계를 더 포함하는 것을 특징으로 하는 사용자 동작 인식 방법.And a motion display step of displaying a user motion requiring input. 제1항에 있어서,The method of claim 1, 상기 파라미터 값 추출 단계는 The parameter value extraction step 상기 입력되는 적어도 한 번의 사용자 동작 중 설정된 조건을 만족하는 사용자 동작의 파라미터 값을 추출하는 것을 특징으로 하는 사용자 동작 인식 방법.And extracting a parameter value of a user action that satisfies a set condition among the at least one input user action. 제1항에 있어서,The method of claim 1, 상기 파라미터 값 추출 단계는The parameter value extraction step 복수의 사용자 동작들을 입력 받는 단계; 및Receiving a plurality of user actions; And 상기 입력 받은 복수의 사용자 동작들로부터 설정된 개수의 파라미터 값을 추출하는 단계를 포함하는 것을 특징으로 하는 사용자 동작 인식 방법. And extracting a set number of parameter values from the input plurality of user actions. 제1항에 있어서, The method of claim 1, 상기 사용자 동작은 두드리기(tapping), 스내핑(snapping), 흔들기(shaking) 중 어느 하나에 해당하는 것을 특징으로 하는 사용자 동작 인식 방법. And the user motion corresponds to one of tapping, snapping, and shaking. 제6항에 있어서,The method of claim 6, 상기 사용자 동작이 두드리기에 해당하는 경우, If the user action corresponds to tapping, 상기 파라미터는 동작 세기, 동작 인식 시간, 동작 시간 간격, 동작 입력 시의 흔들림 정도 중 적어도 하나에 해당하는 것을 특징으로 하는 사용자 동작 인식 방법.And the parameter corresponds to at least one of an operation strength, an operation recognition time, an operation time interval, and a degree of shaking during an operation input. 제6항에 있어서,The method of claim 6, 상기 사용자 동작이 스내핑 또는 흔들기에 해당하는 경우,If the user action corresponds to snapping or shaking, 상기 파라미터 값 추출 단계는 스내핑 또는 흔들기 동작 형태, 휴대 단말기 파지 방법을 구분하여 파라미터 값을 추출하는 것을 특징으로 하는 사용자 동작 인식 방법.The extracting of the parameter value may include extracting a parameter value by dividing a snapping or shaking action type and a portable terminal holding method. 제6항에 있어서,The method of claim 6, 상기 사용자 동작이 스내핑 또는 흔들기에 해당하는 경우,If the user action corresponds to snapping or shaking, 상기 파라미터는 동작 세기, 동작 인식 시간, 동작 시간 간격, 방향 조절 값 , 동작 입력 시의 흔들림 정도, 동작 방향별 보상값 중 적어도 하나에 해당하는 것을 특징으로 하는 사용자 동작 인식 방법. And the parameter corresponds to at least one of an operation strength, an operation recognition time, an operation time interval, a direction adjustment value, a shaking degree at the operation input, and a compensation value for each operation direction. 제5항에 있어서,The method of claim 5, 상기 기준 파라미터 값 설정 과정은The reference parameter value setting process 상기 추출된 파라미터 값들의 최대값, 최소값, 평균값 중 적어도 하나를 이용하여 기준 파라미터 값을 설정하는 것을 특징으로 하는 사용자 동작 인식 방법. And setting a reference parameter value using at least one of a maximum value, a minimum value, and an average value of the extracted parameter values. 제2항에 있어서,The method of claim 2, 상기 동작 인식 단계는The gesture recognition step 상기 저장된 기준 파라미터 값을 하한 임계값으로 설정하고, 상기 입력되는 사용자 동작이 상기 하한 임계값 이상일 경우, 상기 입력되는 사용자 동작을 인식하는 것을 특징으로 하는 사용자 동작 인식 방법. And setting the stored reference parameter value as a lower limit threshold value, and recognizing the input user motion when the input user operation is greater than or equal to the lower limit threshold value. 제2항에 있어서,The method of claim 2, 상기 동작 인식 단계는The gesture recognition step 상기 저장된 기준 파라미터 값을 기준으로 동작 인식의 상한 및 하한 범위를 설정하고, 상기 입력되는 사용자 동작이 상기 동작 인식의 상한 및 하한 사이의 범위를 만족하는 경우, 상기 입력되는 사용자 동작을 인식하는 것을 특징으로 하는 사용자 동작 인식 방법. Set an upper limit and a lower limit of motion recognition based on the stored reference parameter value, and recognize the input user motion when the input user motion satisfies a range between an upper limit and a lower limit of motion recognition. User gesture recognition method. 입력되는 사용자 동작의 파라미터 값을 추출하는 패턴 분석부;A pattern analyzer extracting a parameter value of an input user action; 상기 추출된 파라미터 값을 이용하여 기준 파라미터 값을 설정하는 패턴 학습부; 및A pattern learner configured to set a reference parameter value using the extracted parameter value; And 상기 설정된 기준 파라미터 값을 저장하는 저장부를 포함하는 것을 특징으로 하는 사용자 동작 인식을 위한 단말기.And a storage unit for storing the set reference parameter value. 제13항에 있어서,The method of claim 13, 입력이 요구되는 사용자 동작을 표시하는 표시부를 더 포함하는 것을 특징으 로 하는 사용자 동작 인식을 위한 단말기.And a display unit for displaying a user's motion required for input. 제13항에 있어서,The method of claim 13, 상기 패턴 분석부는The pattern analysis unit 상기 저장부에 저장된 기준 파라미터 값을 기준으로 입력되는 동작을 인식하는 것을 특징으로 하는 사용자 동작 인식을 위한 단말기.And a terminal for recognizing an operation input based on a reference parameter value stored in the storage unit. 제13항에 있어서,The method of claim 13, 상기 패턴 분석부는 The pattern analysis unit 상기 사용자 동작이 두드리기에 해당하는 경우,If the user action corresponds to tapping, 동작 세기, 동작 인식 시간, 동작 시간 간격 중 적어도 하나를 추출하며,Extracting at least one of a motion intensity, a motion recognition time, and a motion time interval; 상기 사용자 동작이 스내핑 또는 흔들기에 해당하는 경우,If the user action corresponds to snapping or shaking, 동작 세기, 동작 인식 시간, 동작 시간 간격, 방향 조절 값 중 적어도 하나를 추출하는 것을 특징으로 하는 사용자 동작 인식을 위한 단말기.Terminal for recognizing a user motion, characterized in that for extracting at least one of the motion strength, motion recognition time, operation time interval, direction adjustment value. 제13항에 있어서,The method of claim 13, 상기 패턴 학습부는The pattern learning unit 상기 추출된 파라미터 값의 최대값, 최소값, 평균값 중 적어도 하나를 이용하여 기준 파라미터 값을 설정하는 것을 특징으로 하는 사용자 동작 인식을 위한 단말기.And a reference parameter value is set using at least one of a maximum value, a minimum value, and an average value of the extracted parameter value. 제4항에 있어서,The method of claim 4, wherein 상기 입력되는 적어도 한 번의 사용자 동작 중 상기 설정된 조건을 만족하지 않는 동작의 파라미터 값을 추출하는 단계를 더 포함하는 것을 특징으로 하는 사용자 동작 인식 방법. And extracting a parameter value of an operation that does not satisfy the set condition among the at least one input user operation.
KR1020090007314A 2008-11-10 2009-01-30 Method for recognizing motion based on motion sensor and mobile terminal using the same KR20100052372A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/615,691 US20100117959A1 (en) 2008-11-10 2009-11-10 Motion sensor-based user motion recognition method and portable terminal using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20080111228 2008-11-10
KR1020080111228 2008-11-10

Publications (1)

Publication Number Publication Date
KR20100052372A true KR20100052372A (en) 2010-05-19

Family

ID=42277741

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090007314A KR20100052372A (en) 2008-11-10 2009-01-30 Method for recognizing motion based on motion sensor and mobile terminal using the same

Country Status (1)

Country Link
KR (1) KR20100052372A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103124314A (en) * 2013-03-07 2013-05-29 上海斐讯数据通信技术有限公司 Screen switching achieving method and mobile terminal
KR101455145B1 (en) * 2010-09-30 2014-10-27 후아웨이 디바이스 컴퍼니 리미티드 User touch operation mode adaptive method and device
KR20150112708A (en) * 2014-03-27 2015-10-07 엘지전자 주식회사 Display device and operating method thereof
CN105827792A (en) * 2015-05-20 2016-08-03 维沃移动通信有限公司 Screen unlock method of electronic device and electronic device
US9460398B2 (en) 2012-03-29 2016-10-04 Samsung Electronics Co., Ltd. Apparatus and method for recognizing user activity
KR20170019741A (en) * 2015-08-12 2017-02-22 삼성전자주식회사 Method for providing data and electronic device implementing the same
US10337868B2 (en) 2013-01-18 2019-07-02 Samsung Electronics Co., Ltd. Method and apparatus for recognizing motion feature of user, using orthogonal semisupervised non-negative matrix factorization (OSSNMF)-based feature data
CN113057383A (en) * 2014-12-09 2021-07-02 Rai策略控股有限公司 Gesture recognition user interface for aerosol delivery device

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101455145B1 (en) * 2010-09-30 2014-10-27 후아웨이 디바이스 컴퍼니 리미티드 User touch operation mode adaptive method and device
US9052761B2 (en) 2010-09-30 2015-06-09 Huawei Device Co., Ltd. Methods and devices for user touch operation
US9460398B2 (en) 2012-03-29 2016-10-04 Samsung Electronics Co., Ltd. Apparatus and method for recognizing user activity
US10337868B2 (en) 2013-01-18 2019-07-02 Samsung Electronics Co., Ltd. Method and apparatus for recognizing motion feature of user, using orthogonal semisupervised non-negative matrix factorization (OSSNMF)-based feature data
CN103124314A (en) * 2013-03-07 2013-05-29 上海斐讯数据通信技术有限公司 Screen switching achieving method and mobile terminal
KR20150112708A (en) * 2014-03-27 2015-10-07 엘지전자 주식회사 Display device and operating method thereof
CN113057383A (en) * 2014-12-09 2021-07-02 Rai策略控股有限公司 Gesture recognition user interface for aerosol delivery device
CN105827792A (en) * 2015-05-20 2016-08-03 维沃移动通信有限公司 Screen unlock method of electronic device and electronic device
CN105827792B (en) * 2015-05-20 2019-10-18 维沃移动通信有限公司 The unlocking screen method and electronic equipment of a kind of electronic equipment
KR20170019741A (en) * 2015-08-12 2017-02-22 삼성전자주식회사 Method for providing data and electronic device implementing the same

Similar Documents

Publication Publication Date Title
US20100117959A1 (en) Motion sensor-based user motion recognition method and portable terminal using the same
KR20100052372A (en) Method for recognizing motion based on motion sensor and mobile terminal using the same
US8577100B2 (en) Remote input method using fingerprint recognition sensor
US9671893B2 (en) Information processing device having touch screen with varying sensitivity regions
KR101978687B1 (en) Method for inputting a character in touch screen terminal and apparatus thereof
US9060068B2 (en) Apparatus and method for controlling mobile terminal user interface execution
CN102789332B (en) Method for identifying palm area on touch panel and updating method thereof
KR20130099717A (en) Apparatus and method for providing user interface based on touch screen
US20100245277A1 (en) Input device of portable electronic equipment, and portable electronic equipment
CN109558061B (en) Operation control method and terminal
US20110246952A1 (en) Electronic device capable of defining touch gestures and method thereof
CN106648233A (en) Touch screen control method and device of mobile terminal and mobile terminal
US20150029402A1 (en) Remote controller, system, and method for controlling remote controller
KR20100093293A (en) Mobile terminal with touch function and method for touch recognition using the same
KR20170109695A (en) Depth-based user interface gesture control
CN101727238A (en) Information display apparatus, mobile information unit, display control method and display control program
KR20120074490A (en) Apparatus and method for displaying menu of portable terminal
CN109800045B (en) Display method and terminal
US8976134B2 (en) Character input device and character input method
CN108958593B (en) Method for determining communication object and mobile terminal
US11073935B2 (en) Touch type distinguishing method and touch input device performing the same
CN111240503A (en) Method and device for converting nib pressure of active pen, active pen and storage medium
US20100216517A1 (en) Method for recognizing motion based on motion sensor and mobile terminal using the same
KR100800439B1 (en) Method for compensating a input error of touchpad, and terminal thereof
CN103403660A (en) Information processing device, method for controlling information processing device, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application