KR101211808B1 - Gesture cognitive device and method for recognizing gesture thereof - Google Patents

Gesture cognitive device and method for recognizing gesture thereof Download PDF

Info

Publication number
KR101211808B1
KR101211808B1 KR1020110064315A KR20110064315A KR101211808B1 KR 101211808 B1 KR101211808 B1 KR 101211808B1 KR 1020110064315 A KR1020110064315 A KR 1020110064315A KR 20110064315 A KR20110064315 A KR 20110064315A KR 101211808 B1 KR101211808 B1 KR 101211808B1
Authority
KR
South Korea
Prior art keywords
unit
data
finger
sensor
motion
Prior art date
Application number
KR1020110064315A
Other languages
Korean (ko)
Inventor
박상준
Original Assignee
박상준
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박상준 filed Critical 박상준
Priority to KR1020110064315A priority Critical patent/KR101211808B1/en
Application granted granted Critical
Publication of KR101211808B1 publication Critical patent/KR101211808B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

PURPOSE: A motion recognizing device and a method thereof are provided to equip a motion recognizing unit and a magnet unit with an end part or a nail of a thumb and an index finger, thereby increasing portability. CONSTITUTION: A motion recognizing unit(10) is equipped with a finger and includes an electromagnetic sensor. A magnet unit(20) is equipped with other fingers and forms a magnetic field detected/measured in the motion recognizing unit. A motion recognizing device controls an electronic device by measuring a relative posture and a distance of fingers which the motion recognizing unit and the magnet unit are equipped. The motion recognizing unit includes an equipped means of a ring shape to be equipped with the finger.

Description

동작인식장치 및 동작인식방법{Gesture cognitive device and method for recognizing gesture thereof}Gesture cognitive device and method for recognizing gesture

본 발명은 동작인식장치 및 동작인식방법에 관한 것으로서, 보다 상세하게는 손가락의 위치와 손가락의 동작(Gesture)을 인식하여 각종 전자기기를 원격제어할 수 있도록 하는 3차원 동작인식장치 및 동작인식방법에 관한 것이다.
The present invention relates to a motion recognition device and a motion recognition method, and more particularly, a three-dimensional motion recognition device and a motion recognition method for remotely controlling various electronic devices by recognizing the position of the finger and the gesture (Gesture) of the finger. It is about.

최근 디지털 방식의 각종 미디어의 보편화에 따라 전자 단말 장치들의 종류와 수가 급격히 증가하였고, 그에 비례하여 각각의 기기들의 제어를 위한 다양한 입력 장치들 역시 새롭게 등장하여 사용되고 있다.Recently, as the digital media are widely used, the type and number of electronic terminal devices have increased rapidly, and various input devices for controlling respective devices have been newly introduced and used.

TV, 비디오 플레이어, DVD 플레이어 및 오디오와 같은 일반 가전 장치들의 경우에는 리모트 컨트롤러(이하, "리모컨"이라 한다.)가 일반적인 제어 수단으로 사용된다. 하지만, 상기한 가전 장치들의 종류와 개수가 증가함에 따라 각각의 가전 장치들을 제어하기 위한 리모컨의 수도 가전 장치의 증가에 비례해서 증가하게 되고, 결국 각각의 장치를 제어하기 위해서는 해당 장치에 대응되는 개별적인 리모컨을 사용해야 한다는 번거로움이 증가한다. In the case of general household appliances such as TVs, video players, DVD players and audio, a remote controller (hereinafter referred to as a "remote control") is used as a general control means. However, as the type and number of the home appliances increase, the number of remote controllers for controlling the home appliances increases in proportion to the increase in the number of home appliances. The hassle of using a remote control increases.

반면, PC, Laptop 컴퓨터, PDA 등의 컴퓨터 기반 호스트 장치의 경우에도 홈 네트워크 및 미디어 플레이어의 역할이 강화되면서 일반 가전 장치의 기능을 점차 포함해가고 있는 추세이며, 최근 Microsoft사의 MediaCenter와 같은 각종 소프트웨어의 지원에 힘입어 리모컨을 사용하는 가전 장치와 같은 형태의 동작을 수행할 수 있게 되었다. On the other hand, computer-based host devices, such as PCs, laptop computers, and PDAs, are increasingly including home appliances and media players as their role in home networks and media players have increased. Thanks to the support, it is possible to perform the same type of operation as a home appliance using a remote control.

물론 컴퓨터 기반의 호스트 장치의 경우, 기존의 입력 방식으로 사용되던 키보드, 마우스, 트랙볼, 태블릿 및 스타일러스와 같은 장치들이 꾸준히 사용되고 있으며, 휴대용 장치의 경우에는 기기의 크기 및 휴대성으로 인해 태블릿 형태의 입력 방식이 주로 사용된다.Of course, in the case of a computer-based host device, devices such as a keyboard, a mouse, a trackball, a tablet, and a stylus, which are conventionally used as input methods, are steadily used, and in the case of a portable device, a tablet-type input due to the size and portability of the device The method is mainly used.

하지만, 이렇게 유무선 네트워크로 연결된 다양한 정보 가전 장치들의 제어 영역은 점차 허물어지고 있는데 반해, 그러한 장치들의 제어 수단, 즉 인간의 입력 수단은 여전히 리모컨, 키보드, 마우스의 수준으로 제한되고 있는 상황이다. However, while the control area of various information appliances connected by wired and wireless networks is gradually being broken down, the control means of such devices, that is, the human input means, are still limited to the level of a remote controller, a keyboard, and a mouse.

일반 가전 장치들에서의 이러한 상황을 개선하고자 제안된 종래 기술들 중 하나로 범용 리모컨이 있다. 범용 리모컨은 리모컨을 통해 제어할 수 있는 일반 가전 장치들이 공통으로 사용하는 다수의 동작들을 모아 하나의 장치로 구성한 뒤, 제어를 원하는 장치를 선택하고 그에 맞는 동작을 나타내는 버튼을 선택하여 제어할 수 있다. 하지만, 리모컨 형태의 입력 장치의 경우 버튼 형태의 물리적 입력 방법 때문에 소형화하기 어렵고, 따라서 휴대형 장치를 제어하기 위한 휴대용 입력 장치로 활용하기에는 제한이 따른다.One of the conventional techniques proposed to remedy this situation in general household appliances is a universal remote control. The universal remote controller may be configured by collecting a plurality of operations commonly used by general household appliances that can be controlled through the remote controller as a single device, and then selecting a device to be controlled and selecting a button indicating a corresponding operation. . However, it is difficult to miniaturize the input device in the form of a remote control due to a physical input method in the form of a button, and thus there is a limitation in using it as a portable input device for controlling the portable device.

컴퓨터 기반의 호스트 장치들에 있어서의 상황을 개선하고자 제안된 종래 기술들로, 3축 각속도센서, 3축 가속도센서, 그리고 3축 속도 센서 등의 조합을 이용하여 3차원 공간상에서의 움직임을 검출하는 펜형 포인팅 장치들이 있다. 상기 장치들은 각종 센서 등을 내장하고 컴퓨터 장치와 무선으로 연결되며, 포인팅 장치의 기울임 및 움직임에 의한 각속도 변화를 컴퓨터로 전송하여 컴퓨터의 마우스 포인터를 이동시키거나 필기 인식을 위한 궤적을 추출한다. 하지만, 상기 방법 역시 통상의 마우스와 동일하게 버튼을 사용하여 움직임의 시작과 끝을 구분해야 하기 때문에 소형화하기 어렵고 착용이 불가능하므로 휴대용 입력 장치로는 적합하지 않다.Conventional techniques proposed to improve the situation in computer-based host devices include a combination of a three-axis angular velocity sensor, a three-axis acceleration sensor, and a three-axis speed sensor to detect motion in three-dimensional space. There are pen-type pointing devices. The devices include various sensors and the like, and are wirelessly connected to the computer device, and transmit the change in the angular velocity due to the tilting and movement of the pointing device to the computer to move the computer's mouse pointer or extract a trace for handwriting recognition. However, the method is also not suitable as a portable input device because it is difficult to miniaturize and cannot be worn because it is necessary to distinguish the beginning and the end of the movement by using a button as in a conventional mouse.

또 다른 종래 기술들 중 하나로, 3축 가속도센서와 3차원 광학 인식 장치를 이용한 펜형 입력 장치가 있다. 상기 장치는 3차원 광학 인식 장치를 이용하여 소정의 평면(예컨대, 테이블)과의 접촉 여부와 그 각도를 측정하고, 측정된 장치의 자세 정보를 움직임에 의해 발생하는 가속도 정보에 반영하여 펜의 움직임에 의한 궤적을 추출한다. 따라서, 상기 장치는 필기 인식기반의 응용에 활용이 가능하다. 하지만, 상기 장치 역시 2가지 종류의 센서 등을 구비해야 하기 때문에 소형화가 어렵고, 또한 펜 끝이 물리적으로 접촉할 수 있는 임의의 평면이 항상 필요하다는 제한이 존재한다. Another prior art is a pen-type input device using a three-axis acceleration sensor and a three-dimensional optical recognition device. The device measures the contact with a predetermined plane (eg, a table) and its angle by using a 3D optical recognition device, and reflects the measured attitude information of the device to acceleration information generated by the movement of the pen. Extract the trajectory by. Therefore, the device can be used for handwriting recognition-based applications. However, there is a limitation that miniaturization is difficult because the device must also have two kinds of sensors and the like, and also there is always a need for an arbitrary plane to which the pen tip can be physically contacted.

또 다른 종래 기술들 중 하나로, 2축 가속도센서를 이용한 소형의 반지형 입력 장치가 있다. 상기 장치는 소정 평면 상에의 손가락 움직임에 의한 가속도를 검출하여 사용자의 움직임 궤적을 해석한다. 즉, 손가락이 소정의 접촉면에 접촉할 때 발생하는 미소 충돌 신호 및 접촉면을 떠날 때 발생하는 상승 신호를 2축 가속도센서로 감지하여 그 사이 구간의 가속도 정보를 이중 적분하여 손가락 움직임 궤적을 추출하고, 상기 추출한 정보를 컴퓨터의 포인팅 정보로 이용한다. 하지만 상기 방법의 경우 소형으로 착용할 수 있는 구조를 가지지만 물리적으로 접촉할 수 있는 테이블과 같은 소정의 평면이 존재해야만 사용이 가능하다는 제한이 존재한다.
As another prior art, there is a small ring input device using a two-axis acceleration sensor. The device analyzes the user's movement trajectory by detecting acceleration due to finger movement on a predetermined plane. That is, the micro-collision signal generated when the finger touches the predetermined contact surface and the rising signal generated when leaving the contact surface are detected by the 2-axis acceleration sensor, and the finger movement trajectory is extracted by double integration of the acceleration information between the sections. The extracted information is used as pointing information of a computer. However, the above method has a limitation that it can be used only when there is a predetermined plane such as a table that can be physically contacted but has a structure that can be worn compactly.

따라서, 본 발명은 무선 통신이 가능한 모든 전자기기(TV, Audio, PC, Smart phone, etc)를 제어 장치(Remote control, Touch pad, Key pad, Mouse) 없이 통합적으로 관리할 수 있으며, 특히 디스플레이 화면을 터치하는 방식의 경우 화면이 오염되는 것을 방지할 수 있고, 원거리에서 조작하기 힘든 점, 그리고 평면적인 조작만이 가능하여 다양한 손의 동작을 기기 제어에 사용하지 못하는 단점을 보완할 수 있도록 하는 3차원 동작인식장치 및 동작인식방법을 제공하는 것이다.
Therefore, the present invention can integrally manage all the electronic devices (TV, Audio, PC, Smart phone, etc) capable of wireless communication without a control device (Remote control, Touch pad, Key pad, Mouse), in particular the display screen In the case of touching the screen, it is possible to prevent the screen from being contaminated, it is difficult to operate from a long distance, and only the flat operation can compensate for the disadvantage of not using various hand motions for controlling the device. To provide a dimensional motion recognition device and a motion recognition method.

본 발명은 상기와 같은 문제점을 해결할 수 있도록 제안된 것으로, 본 발명의 목적은 두 손가락에 장착된 자기력센서와 자석을 이용하며, 자석과 자기력센서의 거리와 자석의 위치 변화를 측정하여 모든 변화 값을 손가락의 움직임으로 인식할 수 있도록 하는 3차원 동작인식장치 및 동작인식방법을 제공하는 것이다.The present invention has been proposed to solve the above problems, an object of the present invention is to use a magnetic force sensor and a magnet mounted on two fingers, by measuring the distance of the magnet and the magnetic force sensor and the change in the position of the magnet all the change value It is to provide a three-dimensional motion recognition device and a motion recognition method for recognizing the movement of the finger.

본 발명의 다른 목적은 각속도센서와 가속도센서를 이용하여 6방향 자유도환경을 구현하여 자력계의 변화 값과 각속도센서, 가속도센서의 변화 값을 비교하여 6방향 자유도 환경에서의 손가락의 움직임에 따라 전자기기를 제어할 수 있도록 하는 3차원 동작인식장치 및 동작인식방법을 제공하는 것이다.Another object of the present invention by using the angular velocity sensor and the acceleration sensor to implement a six-way degree of freedom environment by comparing the change value of the magnetometer and the change value of the angular velocity sensor, the acceleration sensor according to the movement of the finger in the six-way degrees of freedom environment It is to provide a three-dimensional motion recognition device and a motion recognition method for controlling the device.

본 발명의 상기 목적과 여러 가지 장점은 이 기술분야에 숙련된 사람들에 의해 본 발명의 바람직한 실시예로부터 더욱 명확하게 될 것이다.
The above objects and various advantages of the present invention will become more apparent from the preferred embodiments of the present invention by those skilled in the art.

본 발명의 일실시예에 따른 동작인식장치는 손가락의 움직임에 따라 전자기기를 제어하는 동작인식장치로서, 손가락에 장착되고, 적어도 자기력센서를 포함하는 동작인식부와, 상기 동작인식부가 장착되는 손가락과 다른 손가락에 장착되고, 상기 동작인식부에서 자기에너지를 검출하거나 측정하도록 자기장을 형성하는 자석부를 포함하며, 상기 동작인식부와 상기 자석부가 장착된 서로 다른 손가락의 상대적인 자세와 거리를 측정하고 측정된 값을 이용하여 전자기기를 제어하는 것을 특징으로 한다.Motion recognition device according to an embodiment of the present invention is a motion recognition device for controlling the electronic device according to the movement of the finger, is mounted on the finger, the motion recognition unit including at least a magnetic force sensor, the finger is mounted on the motion recognition unit And a magnet part mounted on a finger different from the finger, and configured to form a magnetic field to detect or measure magnetic energy in the motion recognition part, and measure and measure the relative posture and distance of the different fingers on which the motion recognition part and the magnet part are mounted. The electronic device is controlled by using the obtained value.

그리고, 적어도 상기 동작인식부는 손가락에 장착시키기 위한 장착 수단을 더 포함한다.And at least said operation recognition part further comprises a mounting means for mounting on a finger.

상기 장착 수단은 손가락의 끝 부분에 끼워지는 링 형상의 띠인 것을 특징으로 한다.The mounting means is characterized in that the ring-shaped band fitted to the end of the finger.

상기 동작인식부는 상기 적어도 자기력 센서가 구성되어 자기력의 변화를 감지하는 센서부와, 상기 센서부를 통해 감지된 값과 매칭되어 전자기기를 제어할 수 있도록 하는 데이터값을 저장하는 메모리부와, 상기 동작인식장치를 전반적으로 제어하며, 상기 메모리부에 저장된 데이터값과 사용자의 움직임을 비교판단하는 제어부와, 상기 제어부로부터 발생되는 신호를 무선통신으로 송신하여 전자기기를 제어할 수 있도록 하는 무선통신부와, 상기 센서부, 메모리부, 제어부, 무선통신부에 전원을 공급하는 전원부를 포함한다.The motion recognition unit includes a sensor unit configured to at least the magnetic force sensor to detect a change in the magnetic force, a memory unit to store data values that match the values sensed through the sensor unit to control the electronic device, and the operation A control unit for controlling the recognition device as a whole, comparing the data value stored in the memory unit with the user's movement, a wireless communication unit for controlling electronic devices by transmitting a signal generated from the control unit through wireless communication; And a power supply unit supplying power to the sensor unit, the memory unit, the control unit, and the wireless communication unit.

상기 센서부는 가속도센서 및 각속도센서를 더 포함하여 가속도 및 각속도의 변화를 더 감지하고, 자기력센서를 비롯하여 가속도센서와 각속도센서로부터 감지되는 신호를 측정하여 손가락의 움직임에 대한 x,y,z방향의 가속도, 각속도 및 자기의 세기의 값을 데이터화하여 샘플링한 다음 미리 인식한 동작과 비교판단하여 현재의 동작을 인식하도록 하는 것을 특징으로 한다.The sensor unit further includes an acceleration sensor and an angular velocity sensor to further detect changes in acceleration and angular velocity, and measures signals detected from the acceleration sensor and the angular velocity sensor, including magnetic force sensors, in the x, y, and z directions for finger movement. Acceleration, angular velocity, and magnetic strength values are data-sampled and compared with the previously recognized motion to recognize the current motion.

상기 제어부는 손가락의 위치, 방향을 판단하여 상기 센서부에 포함된 가속도센서, 각속도센서 및 자기력센서에서 발생되는 신호를 수신하여 데이터화하는 역할을 수행하는 동작분석부와, 상기 동작분석부에서 발생된 데이터와 상기 메모리부에 저장된 데이터를 비교분석하여 일치할 경우에는 사용자의 손의 움직임에 따라 마우스와 같은 동작을 하거나, 문자 또는 그림으로 정보를 생성할 수 있도록 하는 데이터비교부와, 상기 데이터비교부에서 발생된 데이터가 사용자가 지정한 전자기기를 제어할 수 있는 신호로 변환하여 무선통신부를 통해 송신할 수 있도록 하는 신호처리부를 포함한다.The controller is a motion analysis unit for determining the position, the direction of the finger to receive the data generated from the acceleration sensor, the angular velocity sensor and the magnetic force sensor included in the sensor unit and data, and generated by the motion analysis unit When comparing and comparing the data and the data stored in the memory unit, the data comparison unit to perform the same operation as the mouse or to generate information in the form of characters or pictures according to the movement of the user's hand, and the data comparison unit It includes a signal processing unit for converting the data generated by the signal into a signal that can control the electronic device specified by the user to be transmitted through the wireless communication unit.

상기 자석부는, 상기 동작인식부에 포함된 자기력센서가 상기 자석부에서 형성되는 자기장의 방향 및 세기를 측정할 수 있도록 형성된 것으로 영구자석으로 형성되거나, 전류가 흐르는 동안만 자기장이 형성되는 전자석으로 형성되는 것을 특징으로 한다.The magnet part is formed so that the magnetic force sensor included in the operation recognition part can measure the direction and intensity of the magnetic field formed in the magnet part is formed of a permanent magnet or formed of an electromagnet in which a magnetic field is formed only while a current flows. It is characterized by.

또한, 본 발명의 일실시예에 따른 동작인식방법은 사용자의 손가락에 장착하여 손의 방향이나 손가락의 움직임을 인식하는 동작인식방법으로서, 사용자가 미리 전자기기를 제어할 수 있도록 사용자 손가락의 동작에 대한 데이터를 미리 생성하여 메모리부에 저장하는 비교데이터생성단계(s01); 사용자 손가락의 동작에 따른 변화를 감지하는 사용자의 동작감지단계(s02); 상기 사용자의 동작감지단계(s02)를 통해 감지된 손가락의 동작에 대한 변화를 인식하여 제어부를 통해 데이터를 생성하는 데이터 생성단계(s03); 상기 비교데이터생성단계(s01)에서 생성된 비교데이터의 일정범위 내에 상기 데이터 생성단계(s03)에서 생성된 데이터가 포함되는지의 여부를 비교분석하는 데이터 비교분석단계(s04); 상기 데이터 비교분석단계(s04)에서 판단된 데이터가 사용자가 지정한 전자기기를 제어할 수 있도록 데이터를 변환하는 데이터 신호처리단계(s05)를 포함한다.In addition, the motion recognition method according to an embodiment of the present invention is a motion recognition method for mounting the user's finger to recognize the direction of the hand or the movement of the finger, to the user's motion to control the electronic device in advance A comparison data generation step (s01) of previously generating data about the data and storing the data in a memory unit; A motion detection step (s02) of the user for detecting a change according to the motion of the user's finger; A data generation step (s03) of recognizing a change in the motion of the finger detected through the motion detection step (s02) of the user and generating data through the control unit; A data comparison analysis step (s04) of comparing and analyzing whether the data generated in the data generation step (s03) is included within a predetermined range of the comparison data generated in the comparison data generation step (s01); And a data signal processing step s05 of converting the data so that the data determined in the data comparison and analyzing step s04 controls the electronic device designated by the user.

이때 상기 비교데이터생성단계(s01)는 사용자의 손가락에 센서부와 메모리부가가 구성된 동작인식부 및 자석부를 장착하고, 상기 센서부를 초기화하는 센서부초기화단계(s011)와, 손가락으로 여러 번 같은 동작을 반복 실시하여 인식되는 사용자의 동작에 따라 센서부로부터 수신되는 신호를 데이터화하여 정보를 수집하는 데이터수집단계(s012)와, 상기 데이터수집단계(s012)에서 수집된 정보를 상기 메모리부에 저장하는 메모리부저장단계(s013)를 포함하는 것을 특징으로 한다.At this time, the comparison data generation step (s01) is equipped with a motion recognition unit and a magnet unit in which a sensor unit and a memory unit are configured on a user's finger, and the sensor unit initialization step (s011) for initializing the sensor unit, the same operation with a finger several times. Repeatedly perform the data collection step (s012) to collect information by data from the signal received from the sensor unit in accordance with the recognized user's operation and to store the information collected in the data collection step (s012) to the memory unit And a memory unit storing step (s013).

상기 데이터수집단계(s012)에서 센서부로부터 수신되는 신호는 가속도 신호 및 각속도 신호를 더 포함한다.The signal received from the sensor unit in the data collection step s012 further includes an acceleration signal and an angular velocity signal.

특히, 상기 데이터수집단계(s012)는 사용자의 엄지 손가락을 제외한 나머지 네 손가락의 각 마디에 대응하는 자기력 신호를 휴대폰에 구성되는 12개의 키패드와 대응시켜 데이터화하는 과정을 포함한다.
In particular, the data collection step (s012) includes a process of converting a magnetic force signal corresponding to each node of the remaining four fingers other than the user's thumb into correspondence with twelve keypads configured in the mobile phone.

본 발명은 앞서 본 구성에 의해 다음과 같은 효과를 도모할 수 있다.According to the present invention, the following effects can be achieved by this configuration.

본 발명의 실시예에 따르면, 동작인식부 및 자석부를 엄지 손가락 및 검지 손가락의 끝 부분이나 손톱에 장착할 수 있게 하여 휴대성을 향상시킬 수 있고, 무선 통신이 가능한 모든 전자기기(TV, Audio, PC, Smart phone, etc)에 통합적으로 사용할 수 있다.According to an embodiment of the present invention, the operation recognition unit and the magnet unit can be mounted on the tip or finger of the thumb and index finger to improve portability, and all the electronic devices capable of wireless communication (TV, Audio, It can be integrated into PC, smart phone, etc.

또한, 동작인식부 및 자석부를 손가락에 각각 장착하여 손가락을 움직이는 것만으로 동작인식부 및 자석부 사이의 상호 움직임을 감지하여 각종 동작을 인식할 수 있다.In addition, the motion recognition unit and the magnet unit may be mounted on the fingers, respectively, to detect various movements by detecting the mutual movement between the motion recognition unit and the magnet unit only by moving a finger.

그리고, 서로 다른 손가락의 끝 부분에 각각 장착되는 동작인식부 및 자석부 사이의 위치 데이터를 엄지를 제외한 나머지 네 손가락의 각 마디에 대응시켜 인식함에 의해 휴대폰과 동일한 12개의 가상 키패드(Key pad)로도 이용 가능하다. 이에 따라 문자(한글, English)의 입력과 숫자의 입력이 용이하며 더 나아가 Touch pad와 같은 마우스 포인터(Mouse Pointer) 조작이 가능하여 간단한 구조로 다양한 기기(Remote control, Touch pad, Key pad, Mouse)를 대신할 수 있는 효과가 있다.
In addition, the position data between the motion recognition unit and the magnet unit respectively mounted on the end of the different fingers are recognized in correspondence with each node of the four fingers except for the thumb, so that the same 12 virtual keypads as the mobile phone can be recognized. Available. Accordingly, it is easy to input letters (Korean, English) and numbers, and furthermore, it is possible to operate mouse pointers such as touch pads, and thus, various devices (Remote control, Touch pad, Key pad, Mouse) with simple structure Has the effect of substituting

도 1은 본 발명의 일 실시예에 따른 동작인식장치의 개략적인 블록도,
도 2는 본 발명의 일 실시예에 따른 동작인식장치의 자기력센서와 자석부의 상호 작용을 도시한 도면,
도 3a와 도 3b는 본 발명의 일 실시예에 따른 동작인식장치를 이용하여 문자를 형성하는 방법의 예를 도시한 도면,
도 4는 본 발명의 일 실시예에 따른 동작인식장치의 제어부에 관한 블럭도,
도 5는 본 발명의 일 실시예에 따른 동작인식장치의 동작인식방법에 관한 흐름도,
도 6은 본 발명의 일 실시예에 따른 동작인식장치의 비교데이터생성단계에 대한 흐름도이다.
1 is a schematic block diagram of a motion recognition apparatus according to an embodiment of the present invention;
2 is a view showing the interaction between the magnetic force sensor and the magnet of the motion recognition device according to an embodiment of the present invention,
3A and 3B illustrate an example of a method of forming a character using a gesture recognition apparatus according to an embodiment of the present invention;
4 is a block diagram of a control unit of an operation recognition apparatus according to an embodiment of the present invention;
5 is a flowchart illustrating an operation recognition method of an operation recognition apparatus according to an embodiment of the present invention;
6 is a flowchart illustrating a comparison data generation step of an operation recognition apparatus according to an embodiment of the present invention.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어서, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명이 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In describing the present invention, when it is determined that the detailed description of the related well-known configuration or function may make the present invention obscure, the detailed description thereof will be omitted.

도 1은 본 발명의 일 실시예에 따른 동작인식장치의 개략적인 블록도이며, 도 2는 본 발명의 일 실시예에 따른 동작인식장치의 자기력센서와 자석부의 상호 작용을 도시한 도면이며, 도 3a와 도 3b는 본 발명의 일 실시예에 따른 동작인식장치를 이용하여 문자를 형성하는 방법의 예를 도시한 도면이고, 도 4는 본 발명의 일 실시예에 따른 동작인식장치의 제어부에 관한 블럭도이다. 1 is a schematic block diagram of a motion recognition device according to an embodiment of the present invention, Figure 2 is a view showing the interaction of the magnetic force sensor and the magnet portion of the motion recognition device according to an embodiment of the present invention, 3a and 3b are views showing an example of a method of forming a character by using the gesture recognition apparatus according to an embodiment of the present invention, Figure 4 is a control unit of the gesture recognition apparatus according to an embodiment of the present invention It is a block diagram.

본 발명의 실시예에 따른 동작인식장치(1)는 자기력센서를 포함하는 동작인식부(10)와, 상기 동작인식부(10)에서 자기에너지를 검출하거나 측정하도록 자기장을 형성하는 자석부(20)를 포함한다.Motion recognition device 1 according to an embodiment of the present invention is a motion recognition unit 10 including a magnetic force sensor, and the magnet unit 20 for forming a magnetic field to detect or measure the magnetic energy in the motion recognition unit 10 ).

상기 동작인식부(10) 및 자석부(20)는 소형으로 제작되어 사용자의 손가락의 끝 부분이나 손톱 등에 장착할 수 있도록 하여 손의 움직임 더 나아가 손가락의 미세한 움직임까지도 인식할 수 있도록 하는 것이 바람직하다. 특히 상기 동작인식부는 내부에 구비되는 다수의 센서, 예를 들어 가속도센서(11a), 각속도센서(11b), 자기력센서(11c)를 외부의 충격으로부터 보호하기 위해 탄성력을 지닌 합성수지재로 형성되는 것이 바람직하다.Preferably, the motion recognition unit 10 and the magnet unit 20 are made compact so that they can be mounted on the end of the user's finger or nail, so as to recognize the movement of the hand and even the minute movement of the finger. . In particular, the operation recognition unit is formed of a synthetic resin material having an elastic force to protect a plurality of sensors provided inside, for example, the acceleration sensor 11a, the angular velocity sensor 11b, the magnetic force sensor 11c from an external impact. desirable.

상기 동작인식부(10)는 손가락의 끝 부분에 쉽게 장착할 수 있도록 장착 수단을 더 포함한다.The motion recognition unit 10 further includes a mounting means for easy mounting on the end of the finger.

상기 장착수단은 예를 들어 링 형상의 띠(2)로 구현될 수 있다. The mounting means may be embodied as, for example, a ring-shaped band 2.

상기 띠(2)는 사용자에 따라서 상기 동작인식부(10)와 일체화하여 하나의 링형으로 형성하거나, 상기 동작인식부(10)를 중심으로 양측에 각각의 띠(2)를 연결하고 그 끝을 벨크로 테이프나 접착제 등을 사용하여 연결할 수 있도록 하며, 상기 띠(2)는 합성수지재나 천 등의 다양한 재료를 사용하여 형성될 수 있다. The strip 2 is formed in one ring shape by integrating with the motion recognition unit 10 according to a user, or connecting the strips 2 to both sides with respect to the motion recognition unit 10 and the ends thereof. It is possible to connect using a Velcro tape or adhesive, and the strip 2 may be formed using a variety of materials such as synthetic resin material or cloth.

한편, 상기 띠(2)를 상기 동작인식부(10)와 일체로 형성하여 하나의 링형으로 형성할 때에는 사람마다 손가락의 굵기가 다르다는 점을 감안하여 어린 아이나 어른 등 다양한 사람들이 편리하게 사용할 수 있도록 탄성력을 지닌 재료를 사용함으로써 손가락이 굵은 사람이 사용할 때에는 상기 띠(2)가 살짝 늘어나도록 하고 손가락이 얇은 사람이 사용할 때에는 상기 띠(2)가 손을 압박하여 이탈되는 것을 방지할 수 있도록 한다.On the other hand, when the belt 2 is formed integrally with the motion recognition unit 10 to form a single ring shape, in consideration of the fact that the thickness of the finger is different for each person, a variety of people, such as young children or adults to use conveniently By using a material having elasticity, the band 2 is slightly stretched when the finger is thick and the band 2 is pressed against the hand when the finger is thin.

본 발명의 일 실시예에서는 동작인식부(10)에 띠(2)를 형성하여 사용하였으나 이에 한정되지 않고 동작인식부(10)의 저면에 접착제를 도포하여 손톱에 스티커처럼 접착할 수도 있다. 따라서, 상기 동작인식부(10)는 손가락의 끝 부분이나 손톱에 장착할 수 있고 사용자로 하여금 손가락의 움직임에 있어서 방해받지 않고 자유롭게 장착할 수 있는 방법이면 그 어떠한 방법으로 사용하여도 무방하다.
In an embodiment of the present invention, the band 2 is formed on the operation recognition unit 10, but the present invention is not limited thereto. An adhesive may be applied to the bottom surface of the operation recognition unit 10 to be attached to the nail like a sticker. Therefore, the motion recognition unit 10 may be used in any method as long as it can be mounted on the end of the finger or the fingernail and can be freely mounted by the user without being disturbed by the movement of the finger.

한편, 상기 동작인식부(10)는 손가락의 끝부분에 장착하여 손가락의 움직임에 대한 x,y,z방향의 가속도, 각속도 및 자기의 변화값을 데이터화하여 샘플링한 다음 미리 인식한 동작과 비교판단하여 현재의 동작을 인식하는 수단으로서, 도 1에 도시된 바와 같이, 센서부(11), 메모리부(12), 제어부(13), 무선통신부(14) 및 전원부(15)를 포함한다.On the other hand, the motion recognition unit 10 is mounted on the end of the finger to sample the data of the acceleration, angular velocity and magnetic change in the x, y, z direction for the movement of the finger, and then sample the previously recognized motion and comparison judgment As a means for recognizing a current operation, as shown in FIG. 1, the sensor unit 11 includes a sensor unit 11, a memory unit 12, a control unit 13, a wireless communication unit 14, and a power supply unit 15.

상기 센서부(11)는 손가락 동작의 방향과 동작 양을 인식하며 2축 이상의 출력값을 갖는 가속도센서(11a)와 각속도센서(11b) 및 자기력센서(11c)를 포함하며, 입력된 사용자 동작에 관한 데이터를 생성하여 제어부(13)로 송신하는 역할을 수행한다. The sensor unit 11 includes an acceleration sensor 11a, an angular velocity sensor 11b, and a magnetic force sensor 11c that recognizes the direction and the amount of motion of a finger motion and has two or more output values. It generates data and transmits it to the control unit 13.

상기 가속도센서(11a) 및 각속도센서(11b)는 두 가지 센서를 사용하여 손가락의 이동 경로를 표시하는 것으로, 우선 시작점 위치를 찍은 후에, 각속도센서(11b)로 방향을 알아내고, 가속도센서(11a)로 가속도값을 얻어서 두 번 적분하여 거리를 알아내서 시작점으로부터 거리와 방향으로 현재의 위치를 인식할 수 있도록 한다. 또한, 가속도센서(11a)는 3축 출력값을 가질 수 있으며 조작자를 중심으로 좌우방향과 상기 좌우방향과 90도의 각도를 이루는 전후방향과, 상기 좌우방향 및 전후방향과 각각 90도의 각도를 이루는 상하방향 등 3축의 6개 방향을 동작인식의 대상으로 하므로 가속도 값과 기울기 값을 동시에 인식하여 조작자의 조작 행위에 따라 게임 등의 조작에 반영할 수 있도록 한다. The acceleration sensor 11a and the angular velocity sensor 11b use two sensors to indicate the movement path of the finger. First, after the start point is taken, the direction is obtained by the angular velocity sensor 11b, and the acceleration sensor 11a is obtained. ) To get the acceleration value and integrate it twice to find the distance so that the current position can be recognized in the distance and direction from the starting point. In addition, the acceleration sensor 11a may have a three-axis output value, and the front and rear directions forming an angle of 90 degrees with the left and right directions and the left and right directions around the operator, and the vertical direction forming an angle of 90 degrees with the left and right directions and the front and rear directions, respectively. Since six directions of three axes, etc., are the object of motion recognition, the acceleration value and the inclination value are recognized at the same time so that it can be reflected in the operation of the game according to the operator's operation behavior.

상기 가속도센서(11a) 및 각속도센서(11b)를 이용하여 마우스의 동작과 똑같은 효과가 나타나도록 할 경우에는 사용자가 가속도센서(11a)를 움직이거나 기울인 정도에 비례하는 속도값을 반복적으로 제어부(13)에 전송하여 일정한 코드값을 산출하여 후술되는 메모리부(13)에 저장되도록 함으로써, 추후 사용자가 손가락에 동작인식장치(1)를 장착한 뒤, 손가락을 좌우 또는 상하로 움직이면 손가락의 움직임과 미리 산출된 코드값과의 일치 여부에 따라 마우스의 동작과 같이 컴퓨터 화면 안의 커서가 좌우 또는 상하로 움직일 수 있도록 한다. When the same effect as the operation of the mouse is produced by using the acceleration sensor 11a and the angular velocity sensor 11b, the controller 13 repeatedly controls a speed value proportional to the degree to which the user moves or tilts the acceleration sensor 11a. By calculating a predetermined code value to be stored in the memory unit 13 to be described later, after the user attaches the motion recognition device (1) to the finger, if you move the finger left or right or up and down, Depending on whether or not the calculated code value matches, the cursor in the computer screen can be moved left and right or up and down like a mouse operation.

또한, 상기 자기력센서(11c)는 상기 동작인식부(10)와 이격되어 다른 손가락에 장착되는 자석부(20)의 위치를 감지하여 신호를 발생하는 것으로, 도 2에 도시된 바와 같이 자기력센서(11c)와 자석부(20) 간의 거리에 따라 발생되는 자기력의 변화값을 측정하여 손가락의 움직임을 인식할 수 있도록 한다. In addition, the magnetic force sensor (11c) is to generate a signal by detecting the position of the magnet unit 20 is mounted to the other finger spaced apart from the motion recognition unit 10, as shown in Figure 2 11c) to measure the change in the magnetic force generated according to the distance between the magnet portion 20 to recognize the movement of the finger.

상기 자기력센서(11c)는 상기 가속도센서(11a) 및 각속도센서(11b)와 달리 자석부(20)와의 거리에 따라 달라지는 자기력 세기에 의해 손가락의 움직임 등을 인식할 수 있으므로 미리 인식되어 있는 숫자나 문자를 입력할 수도 있다. Unlike the acceleration sensor 11a and the angular velocity sensor 11b, the magnetic force sensor 11c may recognize the movement of a finger and the like by a magnetic force intensity that varies depending on the distance from the magnet 20. You can also enter text.

예를 들면, 도 3a에 도시된 바와 같이, 한 손의 엄지손가락의 손끝 또는 손톱에는 동작인식부(10)를 장착하고 다른 손의 검지손가락에는 자석부(20)를 장착한 다음 후술되는 메모리부(12)에 동작인식부(10)가 장착된 손의 엄지손가락을 제외한 나머지 네 손가락에 형성된 각각의 마디에 핸드폰의 키패드와 같은 방식으로 숫자 또는 문자를 인식하게 된다. 즉, 동작인식부(10) 및 자석부(20) 사이의 위치 데이터를 엄지를 제외한 나머지 네 손가락의 각 마디에 대응시켜 각각의 코드값을 미리 설정한다. 그래서 손가락을 움직여 각 손가락의 마디를 터치하는 동작을 미리 설정된 코드값과 대응시켜 인식함에 따라 핸드폰의 키패드와 같은 기능을 수행할 수 있는 것이다. 예를 들어 한글 배치 순서는 검지손가락의 마디마다 'ㄱ','ㄴ','ㅏㅓ'를 배치하고, 중지손가락에는 'ㄹ', 'ㅁ', 'ㅗㅜ'를 배치하며, 약지손가락에는 'ㅅ', 'ㅇ', 'l'를 배치하고, 새끼손가락에는 '획추가', 'ㅡ', '쌍자음'을 배치하여 자석부(20)가 장착된 손가락으로 상기 배치된 글자에 해당되는 손가락의 마디를 터치하여 글자를 조합할 수 있다.For example, as shown in FIG. 3A, the operation recognition unit 10 is mounted on the fingertip or fingernail of the thumb of one hand and the magnet unit 20 is mounted on the index finger of the other hand. Recognition of numbers or letters in the same manner as the keypad of the mobile phone on each node formed on the four fingers except the thumb of the hand equipped with the motion recognition unit 10 in (12). That is, each code value is set in advance by corresponding the position data between the motion recognition unit 10 and the magnet unit 20 to each node of the four fingers except for the thumb. Thus, by recognizing an operation of touching a node of each finger by moving a finger in correspondence with a preset code value, a function of a keypad of a mobile phone can be performed. For example, the Hangul placement order places 'ㄱ', 'ㄴ', 'ㅏㅓ' for every index finger, 'ㄹ', 'ㅁ', 'ㅗㅜ' for middle finger, and 'ㅅ' for ring finger. ',' ㅇ ',' l 'is placed, the pinky finger' stroke add ',' ㅡ ',' double consonants' by placing the finger on the magnet 20, the finger corresponding to the placed letters You can combine the letters by touching the node.

상기 메모리부(12)는 동작인식장치(1)를 장착한 후에 손가락의 움직임을 반복적으로 실시하여 얻은 각 움직임의 가속도, 각속도, 자기력의 세기 값 등을 데이터화하여 저장한다. 상기 메모리부(12)에 저장된 데이터는 후술되는 제어부(13)에 수신되는 데이터와 비교분석하여 무선통신부(14)를 통해 각종 전자기기(TV, Audio, PC, Smart phone, etc)에 통합적으로 사용하여 제어할 수 있도록 한다.The memory unit 12 stores data such as acceleration, angular velocity, magnetic force value, etc. of each movement obtained by repeatedly performing the movement of a finger after the operation recognition apparatus 1 is mounted. The data stored in the memory unit 12 is compared with the data received by the control unit 13 to be described later and used integrally in various electronic devices (TV, Audio, PC, Smart phone, etc) through the wireless communication unit 14. To control it.

예를 들면, 앞서 기재된 바와 같이, 각 손가락의 마디에 숫자 또는 문자를 데이터화하여 저장한 뒤, 자석부(20)가 장착된 손가락으로 상기 배치된 문자를 터치하여 글자를 조합하면 상기 메모리부(12)는 상기 무선통신부(14)를 통해 핸드폰 등을 제어할 수 있어 문자를 송수신하거나, 전화를 걸 수 있도록 한다. For example, as described above, when the numbers or letters are stored as data on the nodes of each finger, and the letters are combined by touching the arranged letters with a finger on which the magnet unit 20 is mounted, the memory unit 12 ) Can control the mobile phone through the wireless communication unit 14 to transmit and receive text, or to make a call.

상기 제어부(13)는 동작인식부(10)의 각 구성 요소들의 전반적인 제어를 담당하는 것으로, 도 4에 도시된 바와 같이, 동작분석부(131), 데이터비교부(132), 신호처리부(133)를 포함한다. The control unit 13 is responsible for the overall control of the components of the motion recognition unit 10, as shown in Figure 4, the motion analysis unit 131, the data comparison unit 132, the signal processing unit 133 ).

상기 동작분석부(131)는 손가락의 위치, 방향 등을 판단하여 상기 센서부(11)에 포함된 가속도센서(11a), 각속도센서(11b) 및 자기력센서(11c)에서 발생되는 신호를 수신하여 데이터화하는 역할을 수행한다. The motion analysis unit 131 receives signals generated by the acceleration sensor 11a, the angular velocity sensor 11b, and the magnetic force sensor 11c included in the sensor unit 11 by determining the position and direction of the finger. It plays a role of data conversion.

상기 데이터비교부(132)는 상기 동작분석부(131)에서 발생된 데이터와 상기 메모리부(12)에 저장된 데이터를 비교분석하여 일정 범위 내에서 일치할 경우에는 사용자 손가락의 움직임에 따라 마우스와 같은 동작을 하거나, 문자 또는 그림으로 정보를 생성할 수 있도록 한다. 즉, 손이 좌우로 움직여 가속도데이터가 생성되었을 경우 메모리부(12)에 미리 저장된 데이터와 일정 범위 내에서 일치한다면 동일 동작으로 인식하여 마우스 커서를 좌우로 이동시키거나, 채널을 변경하는 등의 신호를 후술되는 신호처리부(133)를 통해 전자기기를 제어할 수 있도록 한다. The data comparison unit 132 compares the data generated by the motion analysis unit 131 with the data stored in the memory unit 12 and matches the data within a predetermined range, such as a mouse. Allows you to act or generate information in text or picture. That is, when the acceleration data is generated by moving the hand from side to side, if the data stored in the memory unit 12 coincide within a predetermined range, it is recognized as the same motion and the mouse cursor is moved to the left or right, or the channel is changed. Through the signal processor 133 to be described later to control the electronic device.

상기 신호처리부(133)는 상기 데이터비교부(132)에서 발생된 데이터가 사용자가 지정한 전자기기를 제어할 수 있는 신호로 변환하여 후술되는 무선통신부(14)를 통해 송신할 수 있도록 한다. The signal processor 133 converts the data generated by the data comparator 132 into a signal capable of controlling the electronic device designated by the user and transmits the data through the wireless communication unit 14 described later.

상기 무선통신부(14)는 상기 제어부(13)에서 발생되는 신호를 수신하여 블루투스(Bluetooth), 적외선통신(Infrared Data Association : IrDA), 와이파이(WI-FI : Wireless-Fidelity) 등의 통신을 통해 전자기기(TV, Smartphone, Notebook, PC, Etc)를 제어할 수 있도록 한다. The wireless communication unit 14 receives a signal generated by the control unit 13 and transmits the electronic signal through communication such as Bluetooth, Infrared Data Association (IrDA), Wi-Fi (Wireless-Fidelity), or the like. Allows you to control devices (TV, Smartphone, Notebook, PC, Etc).

무선 통신이 가능한 각종 전자기기(TV, Smartphone, Notebook, PC, Etc)의 입력장치를 대신하여 사용이 가능하며, 동작인식부(10)와 자석부(20)의 방향과 거리를 이용하여 숫자, 한글, 영문의 입력을 가능하게 하거나, 더 나아가 터치패드(Touchpad)와 같이 위치와 방향을 지시하도록 설정도 가능할 수 있도록 한다. It can be used in place of input devices of various electronic devices (TV, Smartphone, Notebook, PC, Etc) capable of wireless communication, and using numbers and directions of motion recognition unit 10 and magnet unit 20, It enables input of Korean and English, or moreover, it can be set to indicate a position and direction like a touchpad.

상기 전원부(15)는 상기 센서부(11), 메모리부(12), 제어부(13), 무선통신부(14)에 전원을 공급할 수 있도록 한다. 상기 전원부(15)는 일회용으로 사용되는 보통의 건전지나 충전지를 사용하여도 무방하나, 자주 건전지를 교체하거나 충전할 필요없이 상기 동작인식장치(1) 내에 삽입되어 반영구적으로 사용할 수 있는 리튬전지나 태양열전지 등을 사용하는 것이 바람직하다.The power supply unit 15 may supply power to the sensor unit 11, the memory unit 12, the control unit 13, and the wireless communication unit 14. The power supply unit 15 may use ordinary batteries or rechargeable batteries used for single use, but may be inserted into the operation recognition device 1 and used semi-permanently without frequently replacing or recharging the batteries. It is preferable to use etc.

상기 자석부(20)는 상기 자기력센서(11c)가 그것으로부터 형성되는 자기장의 방향 및 세기 등을 측정할 수 있도록 구비된 것으로, 영구자석을 사용하거나 전류가 흐르는 동안만 자기장이 형성되는 전자석을 사용한다.The magnet unit 20 is provided so that the magnetic force sensor 11c can measure the direction and intensity of the magnetic field formed therefrom, using a permanent magnet or an electromagnet in which a magnetic field is formed only while a current flows. do.

한편, 상기 자석부(20)는 막대형으로 형성되어 손가락의 끝 부분이나 손톱에 장착하거나, 도 3a와 도 3b에 도시된 바와 같이, 링형으로 형성되어 반지와 같이 착용할 수 있다. 또한, 상기 동작인식부(10)와 같이 링 형상의 띠에 자석부(20)를 장착하여 착용하는 등 손가락의 움직임에 방해가 되는 것을 방지할 수 있는 착용 방법이면 그 어떠한 방법을 사용하여도 무방하다. On the other hand, the magnet portion 20 is formed in a rod shape to be mounted on the end of the finger or fingernail, or as shown in Figure 3a and 3b, it may be formed in a ring shape and worn like a ring. In addition, any method may be used as long as it is a method of wearing that can prevent the movement of a finger such as wearing the magnet 20 on a ring-shaped band like the operation recognition unit 10. .

상기 동작인식장치(1)는 도 3a에 도시된 바와 같이, 한쪽 손에는 동작인식부(10)를 장착하고, 다른 손에는 자석부(20)를 장착하여 사용할 수도 있고, 도 3b에 도시된 바와 같이, 한 손에 동작인식부(10)와 자석부(20)를 한꺼번에 장착하여 사용할 수도 있다. 이는 사용자의 편리에 따라 선택적으로 사용하면 된다.
As shown in FIG. 3A, the motion recognition device 1 may be used by mounting the motion recognition unit 10 on one hand and the magnet unit 20 on the other hand, as shown in FIG. 3B. Likewise, the operation recognition unit 10 and the magnet unit 20 may be mounted on one hand at a time. This can be used selectively according to the user's convenience.

도 5는 본 발명의 일 실시예에 따른 동작인식장치의 동작인식방법에 관한 흐름도이고, 도 6은 본 발명의 일 실시예에 따른 동작인식장치의 비교데이터생성단계에 대한 흐름도이다.5 is a flowchart illustrating an operation recognition method of an operation recognition apparatus according to an embodiment of the present invention, and FIG. 6 is a flowchart illustrating a comparison data generation step of the operation recognition apparatus according to an embodiment of the present invention.

동작인식장치(1)의 동작인식방법은 도 5에 도시된 바와 같이, 비교데이터생성단계(s01), 사용자의 동작감지단계(s02), 데이터 생성단계(s03), 데이터 비교분석단계(s04), 데이터 신호처리단계(s05)를 포함한다. As shown in FIG. 5, the motion recognition method of the motion recognition apparatus 1 includes a comparison data generation step s01, a user's motion detection step s02, a data generation step s03, and a data comparison analysis step s04. And a data signal processing step s05.

상기 비교데이터생성단계(s01)는 사용자가 미리 전자기기를 제어할 수 있는 데이터를 생성하여 상기 메모리부(12)에 저장하는 단계로서, 비교데이터를 생성하기에 앞서 사용자의 손가락에 동작인식부(10) 및 자석부(20)를 장착하고, 상기 동작인식부(10)의 센서부(11)에 포함된 가속도센서(11a), 각속도센서(11b) 및 자기력센서(11c)를 초기화하는 센서부초기화단계(s011)와, 동작인식장치(1)를 손가락에 장착하여 여러 번 같은 동작을 반복 실시하여 인식되는 사용자의 동작에 따라 센서부(11)로부터 수신되는 신호를 데이터화하여 정보를 수집하는 데이터수집단계(s012)와, 상기 데이터수집단계(s012)에서 수집된 정보를 상기 메모리부(12)에 저장하는 메모리부저장단계(s013)를 포함한다. The comparison data generation step (s01) is a step of generating data for the user to control the electronic device in advance and storing the data in the memory unit 12, before generating the comparison data, the motion recognition unit ( 10) and a magnet unit 20, and a sensor unit for initializing the acceleration sensor 11a, the angular velocity sensor 11b and the magnetic force sensor 11c included in the sensor unit 11 of the operation recognition unit 10. Initialization step (s011), and the motion recognition device 1 is mounted on the finger repeatedly performing the same operation several times to collect the data received by the data received from the sensor unit 11 according to the user's motion recognized And a memory unit storing step s013 for storing the information collected in the data collecting step s012 in the memory unit 12.

상기 사용자의 동작감지단계(s02)는 사용자의 움직임에 따른 변화를 다수개의 센서를 포함하는 센서부(11)를 통해 감지하는 단계로서, 상기 센서부(11)는 X,Y,X 축으로의 직선 또는 회전 운동에 대한 감지를 하는 가속도센서(11a), 각속도센서(11b) 및 자기력의 세기에 따라 그 값이 달라지는 자기력센서(11c)를 포함하여 손의 움직임에 따른 위치 및 동작 방향 등을 3차원적으로 추적(3D Tracking)할 수 있도록 한다.The motion detection step (s02) of the user is a step of detecting the change according to the user's movement through the sensor unit 11 including a plurality of sensors, the sensor unit 11 to the X, Y, X axis The acceleration sensor 11a, the angular velocity sensor 11b, and the magnetic force sensor 11c whose value varies depending on the strength of the magnetic force, which detects linear or rotational movements, may be used. Allows 3D tracking.

상기 데이터 생성단계(s03)는 상기 사용자의 동작감지단계(s02)를 통해 감지된 손의 동작에 대한 변화를 인식하여 상기 동작분석부(131)를 통해 데이터를 생성하는 단계이다. The data generation step (s03) is a step of generating data through the motion analysis unit 131 by recognizing a change in the motion of the hand detected through the user's motion detection step (s02).

상기 데이터 비교분석단계(s04)는 상기 비교데이터생성단계(s01)에서 생성된 비교데이터의 일정범위 내에 상기 데이터 생성단계(s03)에서 생성된 데이터가 포함되는지의 여부를 비교분석하는 단계로서, 사용자가 어떤 동작을 하고 있는지 판단하고 수집된 정보를 바탕으로 가속도값, 각속도값 및 자기력의 세기 등이 상기 메모리부(12)에 저장된 데이터의 최소 및 최대값과 비교하여 일정 범위 내에 포함되면 그 움직임이 어떠한 동작인지 판단하여 무선통신부(14)를 통해 각종 전자기기(TV, Audio, PC, Smart phone, etc)에 통합적으로 사용하여 제어할 수 있도록 하고, 일치되지 않을 경우에는 상기 사용자의 동작감지단계(s02)를 다시 돌아가 사용자의 움직임을 재인식할 수 있도록 한다. The data comparison analysis step (s04) is a step of comparing and analyzing whether the data generated in the data generation step (s03) is included within a predetermined range of the comparison data generated in the comparison data generation step (s01), and the user Determines the movement of the controller and based on the collected information, the acceleration value, the angular velocity value, and the strength of the magnetic force are included within a predetermined range by comparing with the minimum and maximum values of the data stored in the memory unit 12. Determining what kind of operation is performed by using the wireless communication unit 14 to integrate and control various electronic devices (TV, Audio, PC, Smart phone, etc), and if it does not match, the motion detection step of the user ( Return to s02) to allow the user's movement to be recognized again.

상기 데이터 신호처리단계(s05)는 상기 데이터 비교분석단계(s04)에서 판단된 데이터가 상기 신호처리부(133)를 통해 선택된 전자기기를 제어할 수 있도록 데이터를 변환하는 단계로서, 변환된 데이터는 무선통신부(14)를 통해 전자기기를 원격제어할 수 있도록 한다.
The data signal processing step (s05) is a step of converting data so that the data determined in the data comparison analysis step (s04) can control the electronic device selected through the signal processing unit 133, the converted data is wireless Remote control of the electronic device through the communication unit (14).

본 발명은 손가락에 장착된 자기력센서(11c)와 자석부(20)를 이용하며, 자석부(20)와 자기력센서(11c) 간의 거리 및 자석부(20)의 위치 변화를 측정하여 모든 변화값을 손가락의 움직임으로 인식하여 각종 기기를 제어할 수 있도록 하며, 가속도센서(11a)와 각속도센서(11b)를 더 포함하여 6방향 자유도(6 Degree Of Freedom) 환경 하에서의 손가락과 손의 움직임을 조합하여 보다 다양한 손짓을 형성할 수 있도록 한다. The present invention uses the magnetic force sensor 11c and the magnet portion 20 mounted on the finger, and measures all the change values by measuring the distance between the magnet portion 20 and the magnetic force sensor 11c and the position change of the magnet portion 20. It recognizes the movement of the finger to control various devices, and further includes an acceleration sensor 11a and an angular velocity sensor 11b to combine the movement of the finger and the hand in a 6 degree of freedom environment. To make more various gestures.

상기 자기력센서(11c)와 자석부(20) 간의 거리와 자석부(20)의 위치 변화를 이용하여 손바닥의 경우 Touch pad와 같이 마우스 포인터의 상하좌우 이동용으로 사용가능하며 각 손가락의 마디는 휴대폰(Mobile phone)의 키패드(Keypad)와 동일하게 네 손가락에 12개의 마디가 있어 숫자, 한글, 영문(English)의 입력이 가능한 효과를 얻을 수 있다.
By using the distance between the magnetic force sensor 11c and the magnet part 20 and the position change of the magnet part 20, the palm can be used for moving the mouse pointer up, down, left, and right like a touch pad, and each node has a cell phone ( As with the keypad of a mobile phone, there are 12 nodes on four fingers, so that an effect of inputting numbers, Korean, and English can be obtained.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
The present invention described above is not limited to the above-described embodiments and the accompanying drawings, and it is common in the art that various substitutions, modifications, and changes can be made without departing from the technical spirit of the present invention. It will be evident to those who have knowledge of.

10 : 동작인식부 11 :센서부
11a : 가속도센서 11b : 각속도센서
11c : 자기력센서 12 : 메모리부
13 : 제어부 14 : 무선통신부
15 : 전원부 20 : 자석부
10: motion recognition unit 11: sensor
11a: acceleration sensor 11b: angular velocity sensor
11c: magnetic force sensor 12: memory
13 control unit 14 wireless communication unit
15: power supply portion 20: magnet portion

Claims (11)

손가락의 움직임에 따라 전자기기를 제어하는 동작인식장치로서,
손가락에 장착되고, 적어도 자기력센서를 포함하는 동작인식부와,
상기 동작인식부가 장착되는 손가락과 다른 손가락에 장착되고, 상기 동작인식부에서 자기에너지를 검출하거나 측정하도록 자기장을 형성하는 자석부를 포함하며,
상기 동작인식부와 상기 자석부가 장착된 서로 다른 손가락의 상대적인 자세와 거리를 측정하고 측정된 값을 이용하여 전자기기를 제어하는 것을 특징으로 하는 동작인식장치.
A motion recognition device that controls the electronic device according to the movement of the finger,
A motion recognition unit mounted to a finger and including at least a magnetic force sensor;
A magnet part mounted to a finger different from the finger on which the motion recognition part is mounted and forming a magnetic field to detect or measure magnetic energy in the motion recognition part,
Motion recognition device, characterized in that for measuring the relative posture and distance of the different fingers equipped with the motion recognition unit and the magnet unit and using the measured value.
청구항 1에 있어서,
적어도 상기 동작인식부는 손가락에 장착시키기 위한 장착 수단을 더 포함하는 동작인식장치.
The method according to claim 1,
And at least the motion recognition portion further comprises mounting means for mounting on the finger.
청구항 2에 있어서,
상기 장착 수단은 손가락의 끝 부분에 끼워지는 링 형상의 띠인 것을 특징으로 하는 동작인식장치.
The method according to claim 2,
The mounting means is a motion recognition device, characterized in that the ring-shaped band fitted to the end of the finger.
청구항 1 또는 청구항 2에 있어서,
상기 동작인식부는,
상기 적어도 자기력 센서가 구성되어 자기력의 변화를 감지하는 센서부와,
상기 센서부를 통해 감지된 값과 매칭되어 전자기기를 제어할 수 있도록 하는 데이터값을 저장하는 메모리부와,
상기 동작인식장치를 전반적으로 제어하며, 상기 메모리부에 저장된 데이터값과 사용자의 움직임을 비교판단하는 제어부와,
상기 제어부로부터 발생되는 신호를 무선통신으로 송신하여 전자기기를 제어할 수 있도록 하는 무선통신부와,
상기 센서부, 메모리부, 제어부, 무선통신부에 전원을 공급하는 전원부를 포함하는 동작인식장치.
The method according to claim 1 or 2,
The operation recognition unit,
A sensor unit configured to detect at least one magnetic force, the magnetic force sensor being configured;
A memory unit for storing a data value matching the value sensed by the sensor unit to control the electronic device;
A control unit which controls the motion recognition device as a whole and compares the data value stored in the memory unit with the movement of the user;
A wireless communication unit for controlling an electronic device by transmitting a signal generated from the controller to wireless communication;
And a power supply unit for supplying power to the sensor unit, the memory unit, the control unit, and the wireless communication unit.
청구항 4에 있어서,
상기 센서부는 가속도센서 및 각속도센서를 더 포함하여 가속도 및 각속도의 변화를 더 감지하고,
자기력센서를 비롯하여 가속도센서와 각속도센서로부터 감지되는 신호를 측정하여 손가락의 움직임에 대한 x,y,z방향의 가속도, 각속도 및 자기의 세기의 값을 데이터화하여 샘플링한 다음 미리 인식한 동작과 비교판단하여 현재의 동작을 인식하도록 하는 것을 특징으로 하는 동작인식장치.
The method of claim 4,
The sensor unit further includes an acceleration sensor and an angular velocity sensor to further detect changes in acceleration and angular velocity,
Measures the signals detected from the acceleration sensor and the angular velocity sensor as well as the magnetic force sensor and samples the data of the acceleration, angular velocity, and magnetic strength in the x, y, and z directions for the finger movement, and then compares them with the previously recognized motion. Motion recognition device, characterized in that to recognize the current operation.
청구항 5에 있어서, 상기 제어부는
손가락의 위치, 방향을 판단하여 상기 센서부에 포함된 가속도센서, 각속도센서 및 자기력센서에서 발생되는 신호를 수신하여 데이터화하는 역할을 수행하는 동작분석부와,
상기 동작분석부에서 발생된 데이터와 상기 메모리부에 저장된 데이터를 비교분석하여 일치할 경우에는 사용자의 손의 움직임에 따라 마우스와 같은 동작을 하거나, 문자 또는 그림으로 정보를 생성할 수 있도록 하는 데이터비교부와,
상기 데이터비교부에서 발생된 데이터가 사용자가 지정한 전자기기를 제어할 수 있는 신호로 변환하여 무선통신부를 통해 송신할 수 있도록 하는 신호처리부를 포함하는 것을 특징으로 하는 동작인식장치.
The method of claim 5, wherein the control unit
A motion analysis unit for receiving data generated from the acceleration sensor, the angular velocity sensor, and the magnetic force sensor included in the sensor unit to determine the position and the direction of the finger;
When comparing and analyzing the data generated by the motion analysis unit and the data stored in the memory unit, if the data is matched with the movement of the user's hand to operate like a mouse, or to generate information by text or picture Wealth,
And a signal processor converting the data generated by the data comparator into a signal capable of controlling the electronic device designated by the user and transmitting the data through the wireless communication unit.
청구항 1에 있어서,
상기 자석부는,
상기 동작인식부에 포함된 자기력센서가 상기 자석부에서 형성되는 자기장의 방향 및 세기를 측정할 수 있도록 형성된 것으로 영구자석으로 형성되거나, 전류가 흐르는 동안만 자기장이 형성되는 전자석으로 형성되는 것을 특징으로 하는 동작인식장치.
The method according to claim 1,
The magnet unit,
The magnetic force sensor included in the operation recognition unit is formed so as to measure the direction and intensity of the magnetic field formed in the magnet portion is formed of a permanent magnet, or is formed of an electromagnet in which the magnetic field is formed only while the current flows. Motion recognition device.
사용자의 손가락에 장착하여 손의 방향이나 손가락의 움직임을 인식하는 동작인식방법으로서,
사용자가 미리 전자기기를 제어할 수 있도록 사용자 손가락의 동작에 대한 데이터를 미리 생성하여 메모리부에 저장하는 비교데이터생성단계(s01);
사용자 손가락의 동작에 따른 변화를 감지하는 사용자의 동작감지단계(s02);
상기 사용자의 동작감지단계(s02)를 통해 감지된 손가락의 동작에 대한 변화를 인식하여 제어부를 통해 데이터를 생성하는 데이터 생성단계(s03);
상기 비교데이터생성단계(s01)에서 생성된 비교데이터의 일정범위 내에 상기 데이터 생성단계(s03)에서 생성된 데이터가 포함되는지의 여부를 비교분석하는 데이터 비교분석단계(s04);
상기 데이터 비교분석단계(s04)에서 판단된 데이터가 사용자가 지정한 전자기기를 제어할 수 있도록 데이터를 변환하는 데이터 신호처리단계(s05); 를 포함하는 것을 특징으로 하는 동작인식장치의 동작인식방법.
As a gesture recognition method mounted on the user's finger to recognize the direction of the hand or the movement of the finger,
A comparison data generation step (s01) of previously generating data on an operation of a user's finger and storing the data in a memory unit so that the user can control the electronic device in advance;
A motion detection step (s02) of the user for detecting a change according to the motion of the user's finger;
A data generation step (s03) of recognizing a change in the motion of the finger detected through the motion detection step (s02) of the user and generating data through the control unit;
A data comparison analysis step (s04) of comparing and analyzing whether the data generated in the data generation step (s03) is included within a predetermined range of the comparison data generated in the comparison data generation step (s01);
A data signal processing step (s05) of converting data so that the data determined in the data comparison and analyzing step (s04) can control an electronic device designated by a user; Motion recognition method of a motion recognition device comprising a.
청구항 8에 있어서,
상기 비교데이터생성단계(s01)는,
사용자의 손가락에 센서부와 메모리부가가 구성된 동작인식부 및 자석부를 장착하고, 상기 센서부를 초기화하는 센서부초기화단계(s011)와,
손가락으로 여러 번 같은 동작을 반복 실시하여 인식되는 사용자의 동작에 따라 센서부로부터 수신되는 자기력 신호를 데이터화하여 정보를 수집하는 데이터수집단계(s012)와,
상기 데이터수집단계(s012)에서 수집된 정보를 상기 메모리부에 저장하는 메모리부저장단계(s013)를 포함하는 것을 특징으로 하는 동작인식장치의 동작인식방법.
The method according to claim 8,
The comparison data generation step (s01),
A sensor unit initialization step (s011) for mounting a motion recognition unit and a magnet unit including a sensor unit and a memory unit on a user's finger, and initializing the sensor unit;
A data collection step (s012) for collecting information by data-running a magnetic force signal received from a sensor unit according to a user's motion recognized by repeatedly performing the same operation with a finger;
And a memory unit storing step (s013) of storing the information collected in the data collecting step (s012) in the memory unit.
청구항 9에 있어서,
상기 데이터수집단계(s012)에서 센서부로부터 수신되는 신호는 가속도 신호 및 각속도 신호를 더 포함하는 동작인식방법.
The method according to claim 9,
The signal received from the sensor unit in the data collection step (s012) further comprises an acceleration signal and an angular velocity signal.
청구항 9에 있어서,
상기 데이터수집단계(s012)는
사용자의 엄지 손가락을 제외한 나머지 네 손가락의 각 마디에 대응하는 자기력 신호를 휴대폰에 구성되는 12개의 키패드와 대응시켜 데이터화하는 과정을 포함하는 동작인식방법.
The method according to claim 9,
The data collection step (s012)
Motion recognition method comprising the step of correlating the magnetic force signal corresponding to each node of the remaining four fingers except the user's thumb with the 12 keypads configured in the mobile phone to data.
KR1020110064315A 2011-06-30 2011-06-30 Gesture cognitive device and method for recognizing gesture thereof KR101211808B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110064315A KR101211808B1 (en) 2011-06-30 2011-06-30 Gesture cognitive device and method for recognizing gesture thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110064315A KR101211808B1 (en) 2011-06-30 2011-06-30 Gesture cognitive device and method for recognizing gesture thereof

Publications (1)

Publication Number Publication Date
KR101211808B1 true KR101211808B1 (en) 2012-12-12

Family

ID=47907568

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110064315A KR101211808B1 (en) 2011-06-30 2011-06-30 Gesture cognitive device and method for recognizing gesture thereof

Country Status (1)

Country Link
KR (1) KR101211808B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101524162B1 (en) * 2014-07-21 2015-05-29 주동균 Apparatus for inputting data using finger movement, system applying the same and method thereof
KR101564089B1 (en) 2015-03-11 2015-10-30 주식회사 동진컴퍼니 Presentation Execution system using Gesture recognition.
WO2016182207A1 (en) * 2015-05-13 2016-11-17 삼성전자 주식회사 Method for measuring movement, and apparatus for supporting same
WO2017065380A1 (en) * 2015-10-13 2017-04-20 삼성전자(주) Electronic device, display device, and method for controlling same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002149303A (en) 2000-11-09 2002-05-24 Tohoku Ricoh Co Ltd Magnetic key input device and monitor system
JP2004054390A (en) 2002-07-17 2004-02-19 Univ Kanazawa Input device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002149303A (en) 2000-11-09 2002-05-24 Tohoku Ricoh Co Ltd Magnetic key input device and monitor system
JP2004054390A (en) 2002-07-17 2004-02-19 Univ Kanazawa Input device

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101524162B1 (en) * 2014-07-21 2015-05-29 주동균 Apparatus for inputting data using finger movement, system applying the same and method thereof
KR101564089B1 (en) 2015-03-11 2015-10-30 주식회사 동진컴퍼니 Presentation Execution system using Gesture recognition.
WO2016182207A1 (en) * 2015-05-13 2016-11-17 삼성전자 주식회사 Method for measuring movement, and apparatus for supporting same
WO2017065380A1 (en) * 2015-10-13 2017-04-20 삼성전자(주) Electronic device, display device, and method for controlling same

Similar Documents

Publication Publication Date Title
Lee et al. Interaction methods for smart glasses: A survey
US20210271340A1 (en) Gesture recognition devices and methods
CN105824431B (en) Message input device and method
KR100674090B1 (en) System for Wearable General-Purpose 3-Dimensional Input
CN107678542B (en) Ring type wearable device and man-machine interaction method
KR100630806B1 (en) Command input method using motion recognition device
US10183217B2 (en) Hand-held controller using segmented capacitive touch trigger
KR101576979B1 (en) Electric apparatus which determines user input using magnetic field sensor
US8810514B2 (en) Sensor-based pointing device for natural input and interaction
US20100090949A1 (en) Method and Apparatus for Input Device
JP2012508408A (en) Mouse controlled through finger movement in the air
CN107209560A (en) Detect finger movement
KR101211808B1 (en) Gesture cognitive device and method for recognizing gesture thereof
Atia et al. Interaction with tilting gestures in ubiquitous environments
CN105302451A (en) Gesture input device
US10082885B2 (en) Information input and output apparatus and information input and output method
CN203982351U (en) Gesture input device
WO2009093027A1 (en) Wrist-mounted computer periferal
Yamagishi et al. A system for controlling personal computers by hand gestures using a wireless sensor device
KR20160039961A (en) Motion interface device for recogniging user motion
KR100750504B1 (en) Motion Input Device using Accelerometers, Host Matching Device and Motion Recognition Method
Lik-Hang et al. Interaction methods for smart glasses
KR102322968B1 (en) a short key instruction device using finger gestures and the short key instruction method using thereof
Lik-Hang et al. Interaction Methods for Smart Glasses: A Survey
JP2001142631A (en) Input system and its method

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151204

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161206

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170920

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190930

Year of fee payment: 8