WO2017010593A1 - Gesture recognition device - Google Patents

Gesture recognition device Download PDF

Info

Publication number
WO2017010593A1
WO2017010593A1 PCT/KR2015/007407 KR2015007407W WO2017010593A1 WO 2017010593 A1 WO2017010593 A1 WO 2017010593A1 KR 2015007407 W KR2015007407 W KR 2015007407W WO 2017010593 A1 WO2017010593 A1 WO 2017010593A1
Authority
WO
WIPO (PCT)
Prior art keywords
gesture
face
detection unit
motion
gesture detection
Prior art date
Application number
PCT/KR2015/007407
Other languages
French (fr)
Korean (ko)
Inventor
임채열
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority to PCT/KR2015/007407 priority Critical patent/WO2017010593A1/en
Publication of WO2017010593A1 publication Critical patent/WO2017010593A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to a gesture recognition device, and more particularly to a gesture recognition device for minimizing power consumption for gesture recognition.
  • the present invention minimizes power consumption by performing a gesture recognition operation only when a user's motion and a face are recognized before the gesture operation, and in a preferred embodiment, when the face is recognized
  • the present invention relates to a gesture recognition apparatus for minimizing the amount of computation for gesture detection by recognizing a gesture only in a certain region (a region of a face or a region having a predetermined size spaced apart from the face region) based on a face position.
  • a gesture recognition device for recognizing a gesture of an object to be operated by an operator is combined with a display device such as a television receiver, a personal computer, or a tablet terminal.
  • a display device such as a television receiver, a personal computer, or a tablet terminal.
  • the operator does not need to wear special jewelry such as a data glove, and the operator can use his or her hand or fingers to perform the operation on the display device smoothly and smoothly.
  • a gesture recognizing apparatus for recognizing a gesture to be performed.
  • gesture recognition using the Hidden Markov Model (HMM), continuous dynamic programming (DP), or the like is performed in the gesture recognition apparatus.
  • Such systems may perform a gesture recognition operation while maintaining a power-on state to recognize a gesture at all times. Therefore, even if there is no gesture input, the system performs a gesture recognition operation so that unnecessary power is excessively consumed.
  • the present invention has been made to solve the above problems, it is possible to minimize the total amount of power consumed for gesture detection by detecting whether the user's gesture detection with low power, and the gesture detection module only when necessary to detect the gesture.
  • Another object of the present invention is to provide a gesture recognition device.
  • the present invention provides a gesture recognition device that minimizes the amount of calculation for gesture detection / recognition by setting the area for detecting the gesture to a part of the image area instead of the entire image area, thereby reducing the amount of power consumed for gesture recognition. To provide.
  • a gesture detection device including a motion detector, a face detector, a gesture detector, and a result output unit may detect a user's motion (motion) and, upon detecting a motion, first wake up to the face detector.
  • a motion detector for transmitting a wake up signal;
  • the device When the first wake-up signal is received from the motion detection unit, the device operates in the second state for a predetermined time, detects a user's face, returns to the first state, and detects a face to the gesture detection unit.
  • a face detector for transmitting a second wake-up signal; When the second wake-up signal is received from the face detection unit, the device operates in the second state for a predetermined time, detects the user's gesture, returns to the first state, and detects the gesture.
  • a gesture detector for outputting a corresponding operation signal; And a result output unit configured to perform an operation corresponding to the operation signal received from the gesture detector.
  • the first state may be an operating state that consumes less power than the second state.
  • the first state may be a power off state or a sleep state.
  • the face detection unit may determine that the user's face is detected only when the detected user's face direction is within a predetermined angle based on the face detection unit.
  • the face detector may determine that the user's face is detected only when the detected user's face size is greater than or equal to the first threshold and less than or equal to the second threshold.
  • the face detector when detecting a user's face, selects the detected face as a gesture detection target and additionally transmits the location information to the gesture detector, and the gesture detector detects a gesture detected by the face detector.
  • the gesture detection area of the user may be set based on the location information to perform gesture detection only on the gesture detection area.
  • the face detection unit selects one of the faces as a gesture detection target, and additionally transmits the location information to the gesture detection unit, and the gesture detection unit provides a gesture provided from the face detection unit.
  • a gesture detection area of a user may be set based on location information on a detection target to perform gesture detection only on the gesture detection area.
  • the face detector may select a face closest to the motion information detected by the motion detector as a gesture detection target.
  • the face detector may select a face that overlaps all or a part of the motion information detected by the motion detector as a gesture detection target.
  • the gesture detection unit may set an area within a predetermined range as a gesture detection area based on the position of the gesture detection target.
  • the gesture detecting unit may set a region having a predetermined size spaced apart from the position of the gesture sensing target as a gesture sensing region.
  • the gesture detector may detect a shape and a movement direction of a user's gesture and output an operation signal corresponding thereto.
  • Such a gesture detecting apparatus may further include an alarm unit configured to provide alarm information for a predetermined time when the gesture detecting unit detects a user's gesture when detecting a face through the face detecting unit.
  • a gesture detection device including a motion detector, a face / gesture detector, and a result output unit detects a user's motion (motion) and wakes up to the face / gesture detector when motion is detected. up) a motion detector for transmitting a signal; When the wake-up signal is received from the motion detection unit, the device operates in the second state for a predetermined time, detects a user's face, and detects a user's gesture for a predetermined time.
  • a face / gesture detection unit that outputs a corresponding operation signal and returns to a first state when a user's face is not detected or a gesture is not detected for a predetermined time; And a result output unit configured to perform an operation corresponding to the operation signal received from the face / gesture detector.
  • the first state may be an operating state that consumes less power than the second state.
  • the face / gesture detector may include: a face detector configured to detect a user's face for a predetermined time and select the detected face as a gesture detection target when receiving a wake-up signal from the motion detector; And a gesture detection unit configured to receive information on the selected gesture detection target from the face detection unit, set a user's gesture detection region based on the information on the gesture detection target, and perform gesture detection only on the gesture detection region. It can include;
  • the gesture detection unit may set an area within a predetermined range as a gesture detection area based on the position of the gesture detection target.
  • a gesture detection device including a motion / face detection unit, a gesture detection unit, and a result output unit detects a user's motion (motion), detects a user's face when detecting a motion, and detects a face.
  • a motion / face detector configured to transfer a wake up signal to the gesture detector; Operating in the first state When receiving the wake-up signal from the motion / face detection unit, the device operates in the second state for a predetermined time, detects the user's gesture and returns to the first state, and detects the gesture when the gesture is detected.
  • a gesture detector for outputting a corresponding operation signal; And a result output unit configured to perform an operation corresponding to the operation signal received from the gesture detector.
  • the first state may be an operating state that consumes less power than the second state.
  • the motion / face detection unit selects a face detected when a user's face is detected as a gesture detection target, additionally transmits position information on the gesture detection target to the gesture detection unit, and the gesture detection unit detects the motion / face detection.
  • a gesture detection unit configured to set a user's gesture detection area based on the location information of the gesture detection target received from the unit, and perform gesture detection only on the gesture detection area.
  • the gesture detection unit may set an area within a predetermined range as a gesture detection area based on the position of the gesture detection target.
  • the gesture recognition apparatus detects the user's movement and face to determine whether the gesture input preparation is completed, and operates the gesture recognition module only when the gesture input preparation is completed, thereby reducing the total power consumption and the amount of calculation. It is effective to let.
  • the motion detection operation of the human being can be driven with low power, it is possible to detect a human motion (and face) at low power and determine whether to perform a gesture recognition operation that requires a relatively large amount of power. There is an effect that can be reduced.
  • a gesture can be detected (detected) by using only some image information instead of all image information. This has the effect of minimizing the amount of computation for gesture detection.
  • FIG. 1 is a view showing a gesture recognition device according to a first example of the present invention
  • FIG. 2 illustrates an example of determining that a face of a user is detected according to the present invention
  • FIG. 3 is a view illustrating an example of selecting one of the faces as a gesture detection target when detecting a plurality of faces according to the present invention
  • FIG. 5 illustrates an example of recognizing a gesture on an area spaced a predetermined distance from a detected face area according to the present invention
  • FIG. 6 is a view showing an example of the shape of the gesture detected in accordance with the present invention.
  • FIG. 7 is a view showing a gesture recognition device according to a second example of the present invention.
  • FIG. 8 is a diagram illustrating a gesture recognizing apparatus according to a third example of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • FIG. 1 is a diagram illustrating a gesture recognizing apparatus according to a first example of the present invention.
  • the gesture recognition apparatus may include a motion (motion) detecting unit 10, a face detecting unit 20, a gesture detecting unit 30, and a result output unit 40. Include. Hereinafter, each component will be described in detail.
  • the motion detector 10 detects a user's motion (motion).
  • a human body sensor or an image sensor may be applied to the motion detector 10.
  • the human body detection sensor information about the human body is acquired at regular intervals through an infrared passive method (PIR), near infrared active method, ultrasonic waves, microwaves, and the like, and when it is determined that the difference between the acquired information is more than a predetermined level, It may be determined that the motion of the motion is detected.
  • PIR infrared passive method
  • NIR near infrared active method
  • ultrasonic waves ultrasonic waves
  • microwaves microwaves
  • CMOS complementary MOS
  • CCD charge-coupled device
  • IR image sensor IR image sensor
  • the image sensor may detect whether there is a motion (motion) of the user based on a difference value or a matching result of the image information acquired at a predetermined interval.
  • the motion detection unit 10 When the motion detection unit 10 detects a motion through the various methods as described above, the motion detection unit 10 transmits a wake up signal to the separate face detection unit 20.
  • the face detector 20 normally operates in a first state.
  • the face detector 20 receives a wake up signal from the motion detector 10, the face detector 20 operates in a second state for a predetermined time and detects a user's face.
  • the face detecting unit 20 detects the user's face in a certain region for a predetermined time, and then returns to the first state.
  • a sleep state, a power off state, or the like may be applied to the first state, and a normal operating state may be applied to the second state.
  • the first state may mean an operating state that consumes a smaller amount of power than the second state.
  • the power off state means that power to all components is turned off.
  • the sleep state controls only some components to operate and the other components are turned off to consume the entire power. It means a state that minimizes the amount of power.
  • the wake-up signal is received, power is supplied to all components to control all components to operate.
  • the face detector 20 may operate in a sleep state that cuts off power to other components in addition to the configuration of receiving a wake-up signal from the motion detector 10 as a first state. have. Subsequently, upon receiving the wake-up signal from the motion detection unit 10, power is supplied to other components (a module for detecting a user's face, etc.) to perform a user's face detection operation as a second state. do.
  • the face detector 20 all the components capable of detecting the shape of a human face may be applied.
  • a human body sensor and an image sensor may be applied.
  • the face detector 20 may determine that the user's face is detected only in the following cases.
  • the user's face is at an angle within
  • FIG. 2 is a diagram illustrating an example of determining that a face of a user is detected according to the present invention.
  • the face detector 20 may determine that the face of the user is detected only when the face of which the face of the user faces the front is detected. More specifically, the face detector 20 may determine that the face of the user is detected only when the detected direction of the face of the user is within a predetermined angle with respect to the face detector 20.
  • various face detection algorithms can be applied. For example, this may be implemented by learning a matching template for face recognition through a forward image.
  • the user's face may be detected by detecting the direction of the user's face based on the shape information of the face.
  • the face detecting unit 20 detects the overall direction of the face to determine whether the face is detected, calculates the position of the gaze in the image information, and calculates the gaze direction based on the overall calculation amount and This has the effect of reducing the amount of power consumed.
  • the face detector 20 may detect only a face of a user located within a certain distance.
  • the distance between the user and the face detector 20 may be measured by using a separate sensor, and the face detector 20 may be configured to perform a detection operation only when the distance value is within a predetermined range. .
  • the distance between the user and the face detection unit 20 is measured based on the face information detected by the face detection unit 20, and the face detection operation of the user is performed only when the distance value is within a predetermined range. You can do it.
  • the face detecting unit 20 may control to detect (detect) the user's face only when the number of pixels of the face according to the resolution is counted.
  • the face detector 20 may detect only a face of a user located within a predetermined range. In other words, the face detector 20 may detect only a face of a user spaced apart from the face detector by a minimum A distance or more and a maximum B distance or less.
  • the face detector 20 may determine that the user's face is detected only when the detected user's face size is greater than or equal to the first threshold and less than or equal to the second threshold. To this end, the face detector 20 may count the number of pixels of the face according to the resolution to control (detect) the user's face only when the number of pixels is within a predetermined number range.
  • the face detecting unit 20 provides the gesture detecting unit 30 with the position information on the detected face.
  • the gesture detection unit 30 may receive the gesture detection unit 30 and set the gesture detection area based on the position information. Through this, the gesture detector 30 may reduce the amount of calculation for detecting the gesture.
  • the gesture detector 30 will be described in detail with reference to the related description.
  • the face detector 20 may select the detected face as a gesture detection target and provide location information thereof to the gesture detector 30.
  • the face detector 20 may select one of the faces as a gesture detection target according to a predetermined rule and provide location information thereof to the gesture detector 30. have.
  • FIG. 3 is a diagram illustrating an example of selecting one of the faces as a gesture detection target when detecting a plurality of faces according to the present invention.
  • the face detector 20 may select a face closest to the motion information detected by the motion detector 10 as a gesture detection target. have.
  • the face detector 20 may select the face information closest to the specific direction as the gesture detection target based on the detected motion information.
  • 3 illustrates an example of selecting the face information located closest in the upward direction of the detected motion as a gesture detection target, but the face detection unit 20 according to the present invention is not limited to the above embodiment.
  • the face detector 20 may select a face that overlaps all or a part of the motion information detected by the motion detector 10 as a gesture detection target. In other words, when the detected motion information is detected on a specific face, the face detector 20 may select a corresponding face as a gesture detection target and provide the position information to the gesture detector 30.
  • the face detection unit 20 may select a gesture detection target, and the gesture detection unit 30 provided with the information may perform a gesture detection operation based on the information on the detection target. can do.
  • the gesture detector 30 normally operates in a first state.
  • the gesture detector 30 receives a wake up signal from the face detector 20, the gesture detector 30 operates in a second state for a predetermined time and detects a user's gesture. At this time, the gesture detector 30 detects the user's gesture with respect to the predetermined area for a predetermined time, and then returns to the first state.
  • a sleep state, a power off state, or the like may be applied to the first state, and a normal operating state may be applied to the second state.
  • the first state may mean an operating state that consumes a smaller amount of power than the second state.
  • the gesture detector 30 may operate in a sleep state that cuts off power to other components in addition to the configuration of receiving a wake-up signal from the face detector 20. Subsequently, when the wake-up signal is received from the face detector 20, the user's gesture detection may be performed by supplying power to other components (such as a module for detecting the user's gesture) to operate.
  • all the components capable of detecting the gesture of the user's hand may be applied to the gesture detecting unit 30.
  • a vision sensor may be applied to more accurately detect (detect) the user's gesture.
  • the gesture detecting unit 30 when the gesture detecting unit 30 receives the (location) information on the gesture detecting object from the face detecting unit 20, the gesture detecting unit 30 sets the gesture detecting region based on the information.
  • the gesture detection operation is performed only in the gesture detection area. That is, the gesture detector 30 may perform a gesture detection (detection) operation on only some of the regions without performing a gesture detection operation on all image information obtained to reduce the amount of computation and power consumption.
  • FIG. 4 illustrates an example of recognizing a gesture on a detected face area according to the present invention.
  • the gesture detector 30 may detect a gesture input on an area on a face selected as a gesture detection target. To this end, the gesture detection unit 30 may set an area within a predetermined range as a gesture detection area based on the position of the gesture detection target.
  • FIG. 5 is a diagram illustrating an example of recognizing a gesture on an area spaced a predetermined distance from a detected face area according to the present invention.
  • the gesture detector 30 may set a region having a predetermined size spaced apart from a position of the gesture sensing object as a gesture sensing region.
  • FIG. 5 illustrates an example in which a region spaced a predetermined distance downward in the downward direction based on the position of the gesture sensing object (face) is set as the gesture sensing region, but the present invention is not limited to the above embodiment.
  • the gesture detection unit 30 may optimize the amount of calculation required to calculate the gesture by setting the gesture detection area through various methods as described above and performing the gesture detection operation only in the area. Subsequently, when a gesture is detected, an operation signal corresponding to the detected gesture is output to the result output unit 40.
  • the gesture detector 30 may detect a shape and a movement direction of a user's gesture and output an operation signal corresponding thereto.
  • the gesture detector 30 may detect the shapes of various gestures shown in FIG. 6 through image analysis.
  • the gesture detection unit 30 may also detect a detected gesture direction of movement.
  • a moving direction of a hand may be detected using difference information between image data acquired at predetermined time intervals.
  • the motion direction of a hand may be detected by obtaining a block motion to obtain a motion vector of an individual block, and then calculating an average of all motion vectors.
  • the direction of the movement can be tracked by obtaining the optical flow and detecting which direction the optical flow is moving as a whole.
  • the present invention is not limited to the above embodiment, and other motion sensing methods may also be applied.
  • the result output unit 40 performs an operation corresponding to the operation signal received from the gesture detection unit 30.
  • the gesture detection unit 30 stores table information on the corresponding motion signal for each shape and movement direction of the detected gesture.
  • the gesture detection unit 30 uses the table information.
  • the signal may be provided to the result output unit 40.
  • the A gesture is set to change a channel of the TV (increase or decrease channel number)
  • the B gesture is to adjust the volume of the TV (increase or decrease volume)
  • the C gesture is set to correspond to the power on / off control operation of the TV. do.
  • the gesture detector 30 if the user's B gesture is detected by the gesture detector 30, the gesture detector 30 provides an operation signal for volume control (volume increase or decrease) to the result output unit 40. can do. As a result, the result output unit 40 may perform a corresponding operation.
  • the gesture sensing device may further include an alarm unit (not shown).
  • the alarm unit (not shown) allows the user to detect the user's gesture by the gesture detecting unit 30. You can provide an alarm message that you are ready to do so.
  • the alarm unit may provide information that the gesture detection unit 30 is ready to detect a gesture by providing alarm information for a predetermined time for detecting the user's gesture.
  • the gesture recognizing apparatus may include a motion detector 10, a face detector 20, and a gesture detector 30, each of which is distinguished.
  • the face detector 20 the gesture detector 30 normally operate in a first state (sleep state or power off state).
  • the gesture detection unit 30 operates in a second state for a while. Can return to the 1 state.
  • the user may determine whether the user prepares to input a gesture through the low-power motion detector 10, and when the user is ready, wakes up the face detector 20 and the gesture detector 30. Has the effect of being able to be driven with low power as a whole by performing the gesture sensing operation.
  • the amount of computation required for the gesture detection may be reduced.
  • the face detector 20 and the gesture detector 30 may operate as one component, and in another embodiment, the motion detector 10 and the face detector 20. Can operate as one component.
  • FIG. 7 is a diagram illustrating a gesture recognizing apparatus according to a second example of the present invention.
  • the face detector 20 and the gesture detector 30 of the first example may be integrated and operate as one component.
  • the PIR sensor may be applied to the motion detector 110, and the image sensor may be applied to the face / gesture detector 125.
  • the face / gesture detection unit 125 may be woken up only when a motion is detected, and thus may be implemented at low power.
  • FIG. 8 is a diagram illustrating a gesture recognizing apparatus according to a third example of the present invention.
  • the motion detector 10 and the face detector 20 of the first example may be integrated and operate as one component.
  • the PIR sensor may be applied to the motion / face detector 215 and the image sensor may be applied to the gesture detector 230.
  • the motion / face detection operation is performed by using the PIR sensor which can be driven at a low power, and can be realized at low power as a whole by waking up the gesture detector 230 only when a face is detected.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to a gesture recognition device for minimizing power consumption for gesture recognition. More specifically, the present invention relates to a gesture recognition device for minimizing a power consumption amount by performing a gesture recognition operation only when a motion and the face of a user are recognized, and minimizing a computation amount for gesture detection by recognizing the gesture only for a predetermined region (a facial area or a predetermined-sized region formed to be spaced apart at a predetermined distance from the facial area) on the basis of a recognized face position when the face is recognized.

Description

제스쳐 인식 장치Gesture recognition device
본 발명은 제스쳐(gesture) 인식 장치에 관한 것으로, 제스쳐 인식을 위한 전력 소모를 최소화하는 제스쳐 인식 장치에 관한 것이다.The present invention relates to a gesture recognition device, and more particularly to a gesture recognition device for minimizing power consumption for gesture recognition.
보다 구체적으로, 본 발명은 제스쳐 동작 전 사용자의 움직임(motion) 및 얼굴(face)이 인식된 경우에만 제스쳐(gesture) 인식 동작을 수행함으로써 전력 소모량을 최소화하고, 바람직한 예로 얼굴이 인식된 경우 인식된 얼굴 위치를 기준으로 일정 영역(얼굴 영역 또는 얼굴 영역과 일정 거리 이격되어 형성된 일정 크기의 영역)에 대해서만 제스쳐를 인식함으로써 제스쳐 검출을 위한 연산량을 최소화하는 제스쳐 인식 장치에 관한 것이다.More specifically, the present invention minimizes power consumption by performing a gesture recognition operation only when a user's motion and a face are recognized before the gesture operation, and in a preferred embodiment, when the face is recognized The present invention relates to a gesture recognition apparatus for minimizing the amount of computation for gesture detection by recognizing a gesture only in a certain region (a region of a face or a region having a predetermined size spaced apart from the face region) based on a face position.
텔레비전 수상기, 퍼스널 컴퓨터, 또는 태블릿 단말 등의 표시 장치에, 조작자가 동작시키는 인식 대상물의 제스쳐를 인식하는 제스쳐 인식 장치를 조합시킨 표시 기기가 등장하고 있다. 이와 같은 표시 기기에서, 조작자가 데이터 글로브 등의 특수한 장신구를 장착할 필요가 없고, 또한 조작자가 자연스럽고 스무스하게 자신의 조작을 당해 표시 기기에 대해 행할 수 있도록, 조작자의 손이나 손가락 등을 이용하여 행하는 제스쳐를 인식하는 제스쳐 인식 장치가 요망되고 있다. 또한, 최근의 제스쳐 인식 장치에서는, HMM(Hidden Markov Model ; 은닉 마르코브 모델) 또는 연속 DP(Continuous Dynamic Programming) 등을 이용한 제스쳐 인식이 행하여지고 있다.BACKGROUND ART Display apparatuses in which a gesture recognition device for recognizing a gesture of an object to be operated by an operator is combined with a display device such as a television receiver, a personal computer, or a tablet terminal. In such a display device, the operator does not need to wear special jewelry such as a data glove, and the operator can use his or her hand or fingers to perform the operation on the display device smoothly and smoothly. There is a demand for a gesture recognizing apparatus for recognizing a gesture to be performed. In recent years, gesture recognition using the Hidden Markov Model (HMM), continuous dynamic programming (DP), or the like is performed in the gesture recognition apparatus.
이와 같은 시스템들은 항시 제스쳐를 인식할 수 있도록 전력 온(ON) 상태를 유지하며 제스쳐 인식 동작을 수행하게 된다. 따라서 상기 시스템은 제스쳐 입력이 없는 경우에도 제스쳐 인식 동작이 수행되어 불필요한 전력이 과도하게 소모되는 문제점이 있었다.Such systems may perform a gesture recognition operation while maintaining a power-on state to recognize a gesture at all times. Therefore, even if there is no gesture input, the system performs a gesture recognition operation so that unnecessary power is excessively consumed.
이와 같은 문제점을 해결하기 위해 사용자가 직접 스위치를 입력하여 온/오프 상태를 제어하고 온 상태인 경우에만 제스쳐 인식 동작을 수행케 함으로써 전력 소모량을 감소시키는 기술이 개발되었다. 다만, 상기 기술은 사용자가 별도로 해당 장치의 온/오프 상태를 제어하기 위해 직접 장치를 조작해야 하는 번거로움이 있었다.In order to solve this problem, a technology for reducing power consumption has been developed by allowing a user to directly input a switch to control an on / off state and perform a gesture recognition operation only in an on state. However, the above technology has been cumbersome for the user to directly manipulate the device in order to separately control the on / off state of the device.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 사용자의 제스쳐 감지 여부를 저전력으로 감지하고, 필요시에만 제스쳐 감지 모듈을 작동시켜 제스쳐를 감지함으로써 제스쳐 감지를 위해 소모되는 총 전력량을 최소화할 수 있는 제스쳐 인식 장치를 제공하고자 한다. The present invention has been made to solve the above problems, it is possible to minimize the total amount of power consumed for gesture detection by detecting whether the user's gesture detection with low power, and the gesture detection module only when necessary to detect the gesture. Another object of the present invention is to provide a gesture recognition device.
또한, 본 발명은 제스쳐를 감지하는 영역을 전체 이미지 영역이 아닌 일부 이미지 영역으로 설정함으로써 제스쳐 감지/인식을 위한 연산량을 최소화하고, 이를 통해 제스쳐 인식에 소모되는 전력량 또한 감소시킬 수 있는 제스쳐 인식 장치를 제공하고자 한다. In addition, the present invention provides a gesture recognition device that minimizes the amount of calculation for gesture detection / recognition by setting the area for detecting the gesture to a part of the image area instead of the entire image area, thereby reducing the amount of power consumed for gesture recognition. To provide.
본 발명의 일 측면에 따라 움직임 감지부, 얼굴 감지부, 제스쳐 감지부 및 결과 출력부를 포함하는 제스쳐 감지 장치는, 사용자의 움직임(모션)을 감지하고, 움직임 감지시 상기 얼굴 감지부로 제1 웨이크업(wake up) 신호를 전달하는 움직임 감지부; 제1 상태로 동작하다 상기 움직임 감지부로부터 제1 웨이크업 신호를 수신하게 되면 일정 시간 동안 제2 상태로 동작하며 사용자의 얼굴을 감지하고 다시 제1 상태로 복귀하고, 얼굴 감지시 상기 제스쳐 감지부로 제2 웨이크업 신호를 전달하는 얼굴 감지부; 제1 상태로 동작하다 상기 얼굴 감지부로부터 제2 웨이크업 신호를 수신하게 되면 일정 시간 동안 제2 상태로 동작하며 사용자의 제스쳐를 감지하고 다시 제1 상태로 복귀하고, 제스쳐 감지시 감지된 제스쳐에 대응되는 동작 신호를 출력하는 제스쳐 감지부; 및 상기 제스쳐 감지부로부터 수신된 동작 신호에 대응한 동작을 수행하는 결과 출력부;를 포함한다.According to an aspect of the present invention, a gesture detection device including a motion detector, a face detector, a gesture detector, and a result output unit may detect a user's motion (motion) and, upon detecting a motion, first wake up to the face detector. a motion detector for transmitting a wake up signal; When the first wake-up signal is received from the motion detection unit, the device operates in the second state for a predetermined time, detects a user's face, returns to the first state, and detects a face to the gesture detection unit. A face detector for transmitting a second wake-up signal; When the second wake-up signal is received from the face detection unit, the device operates in the second state for a predetermined time, detects the user's gesture, returns to the first state, and detects the gesture. A gesture detector for outputting a corresponding operation signal; And a result output unit configured to perform an operation corresponding to the operation signal received from the gesture detector.
이때, 상기 제1 상태는 제2 상태에 비해 적은 량의 전력을 소모하는 동작 상태가 적용될 수 있다.In this case, the first state may be an operating state that consumes less power than the second state.
바람직하게는, 상기 제1 상태는 파워 오프(Power Off) 상태 또는 슬립(sleep) 상태가 적용될 수 있다.Preferably, the first state may be a power off state or a sleep state.
상기 얼굴 감지부는, 감지된 사용자의 얼굴 방향이 상기 얼굴 감지부를 기준으로 일정 각도 이내인 경우에만 사용자의 얼굴이 감지된 것으로 판단할 수 있다.The face detection unit may determine that the user's face is detected only when the detected user's face direction is within a predetermined angle based on the face detection unit.
또한, 상기 얼굴 감지부는, 감지된 사용자의 얼굴 크기가 제1 문턱값 이상이며 제2 문턱값 이하인 경우에만 사용자의 얼굴이 감지된 것으로 판단할 수 있다.In addition, the face detector may determine that the user's face is detected only when the detected user's face size is greater than or equal to the first threshold and less than or equal to the second threshold.
상기 얼굴 감지부는, 사용자의 얼굴 감지시, 감지된 얼굴을 제스쳐 감지 대상으로 선정하여 이에 대한 위치 정보를 상기 제스쳐 감지부로 추가적으로 전달하고, 상기 제스쳐 감지부는, 상기 얼굴 감지부로부터 제공된 제스쳐 감지 대상에 대한 위치 정보에 기반하여 사용자의 제스쳐 감지 영역을 설정하여 상기 제스쳐 감지 영역에 대해서만 제스쳐 감지를 수행할 수 있다.The face detector, when detecting a user's face, selects the detected face as a gesture detection target and additionally transmits the location information to the gesture detector, and the gesture detector detects a gesture detected by the face detector. The gesture detection area of the user may be set based on the location information to perform gesture detection only on the gesture detection area.
특히, 상기 얼굴 감지부는, 복수 개의 얼굴 감지시, 이중 어느 하나의 얼굴을 제스쳐 감지 대상으로 선정하여 이에 대한 위치 정보를 상기 제스쳐 감지부로 추가적으로 전달하고, 상기 제스쳐 감지부는, 상기 얼굴 감지부로부터 제공된 제스쳐 감지 대상에 대한 위치 정보에 기반하여 사용자의 제스쳐 감지 영역을 설정하여 상기 제스쳐 감지 영역에 대해서만 제스쳐 감지를 수행할 수 있다.In particular, when detecting a plurality of faces, the face detection unit selects one of the faces as a gesture detection target, and additionally transmits the location information to the gesture detection unit, and the gesture detection unit provides a gesture provided from the face detection unit. A gesture detection area of a user may be set based on location information on a detection target to perform gesture detection only on the gesture detection area.
일 예로, 상기 얼굴 감지부는, 복수 개의 얼굴 감지시, 상기 움직임 감지부를 통해 감지된 움직임 정보에 가장 가까운 얼굴을 제스쳐 감지 대상으로 선정할 수 있다.For example, when detecting a plurality of faces, the face detector may select a face closest to the motion information detected by the motion detector as a gesture detection target.
다른 예로, 상기 얼굴 감지부는, 복수 개의 얼굴 감지시, 상기 움직임 감지부를 통해 감지된 움직임 정보와 전부 또는 일부가 중첩되는 얼굴을 제스쳐 감지 대상으로 선정할 수 있다.As another example, when detecting a plurality of faces, the face detector may select a face that overlaps all or a part of the motion information detected by the motion detector as a gesture detection target.
상기 제스쳐 감지부는, 상기 제스쳐 감지 대상의 위치를 기준으로 일정 범위 이내의 영역을 제스쳐 감지 영역으로 설정할 수 있다.The gesture detection unit may set an area within a predetermined range as a gesture detection area based on the position of the gesture detection target.
또한, 상기 제스쳐 감지부는, 상기 제스쳐 감지 대상의 위치로부터 일정 거리 이격된 일정 크기의 영역을 제스쳐 감지 영역으로 설정할 수 있다.The gesture detecting unit may set a region having a predetermined size spaced apart from the position of the gesture sensing target as a gesture sensing region.
상기 제스쳐 감지부는, 사용자의 제스쳐의 모양 및 움직임 방향을 감지하고, 이에 대응되는 동작 신호를 출력할 수 있다.The gesture detector may detect a shape and a movement direction of a user's gesture and output an operation signal corresponding thereto.
이와 같은 제스쳐 감지 장치는, 상기 얼굴 감지부를 통해 얼굴 감지시 상기 제스쳐 감지부가 사용자의 제스쳐를 감지하는 일정 시간 동안 알람 정보를 제공하는 알람부;를 더 포함할 수 있다.Such a gesture detecting apparatus may further include an alarm unit configured to provide alarm information for a predetermined time when the gesture detecting unit detects a user's gesture when detecting a face through the face detecting unit.
본 발명의 다른 측면에 따라 움직임 감지부, 얼굴/제스쳐 감지부 및 결과 출력부를 포함하는 제스쳐 감지 장치는, 사용자의 움직임(모션)을 감지하고, 움직임 감지시 상기 얼굴/제스쳐 감지부로 웨이크업(wake up) 신호를 전달하는 움직임 감지부; 제1 상태로 동작하다 상기 움직임 감지부로부터 웨이크업 신호를 수신하게 되면 일정 시간 동안 제2 상태로 동작하며 사용자의 얼굴을 감지하고, 얼굴 감지시 일정 시간 동안 사용자의 제스쳐를 감지하여 감지된 제스쳐에 대응되는 동작 신호를 출력하되, 일정 시간 동안 사용자의 얼굴이 감지되지 않거나 제스쳐가 감지되지 않으면 제1 상태로 복귀하는 얼굴/제스쳐 감지부; 및 상기 얼굴/제스쳐 감지부로부터 수신된 동작 신호에 대응한 동작을 수행하는 결과 출력부;를 포함한다.According to another aspect of the present invention, a gesture detection device including a motion detector, a face / gesture detector, and a result output unit detects a user's motion (motion) and wakes up to the face / gesture detector when motion is detected. up) a motion detector for transmitting a signal; When the wake-up signal is received from the motion detection unit, the device operates in the second state for a predetermined time, detects a user's face, and detects a user's gesture for a predetermined time. A face / gesture detection unit that outputs a corresponding operation signal and returns to a first state when a user's face is not detected or a gesture is not detected for a predetermined time; And a result output unit configured to perform an operation corresponding to the operation signal received from the face / gesture detector.
이때, 상기 제1 상태는 제2 상태에 비해 적은 량의 전력을 소모하는 동작 상태가 적용될 수 있다.In this case, the first state may be an operating state that consumes less power than the second state.
상기 얼굴/제스쳐 감지부는, 상기 움직임 감지부로부터 웨이크업 신호를 수신하게 되면 일정 시간 동안 사용자의 얼굴을 감지하고 감지된 얼굴을 제스쳐 감지 대상으로 선정하는 얼굴 감지부; 및 상기 얼굴 감지부로부터 선정된 제스쳐 감지 대상에 대한 정보를 전달받고, 상기 제스쳐 감지 대상에 대한 정보에 기반하여 사용자의 제스쳐 감지 영역을 설정하고 상기 제스쳐 감지 영역에 대해서만 제스쳐 감지를 수행하는 제스쳐 감지부;를 포함할 수 있다.The face / gesture detector may include: a face detector configured to detect a user's face for a predetermined time and select the detected face as a gesture detection target when receiving a wake-up signal from the motion detector; And a gesture detection unit configured to receive information on the selected gesture detection target from the face detection unit, set a user's gesture detection region based on the information on the gesture detection target, and perform gesture detection only on the gesture detection region. It can include;
특히, 상기 제스쳐 감지부는, 상기 제스쳐 감지 대상의 위치를 기준으로 일정 범위 이내의 영역을 제스쳐 감지 영역으로 설정할 수 있다.In particular, the gesture detection unit may set an area within a predetermined range as a gesture detection area based on the position of the gesture detection target.
본 발명의 또 다른 측면에 따라 모션/얼굴 감지부, 제스쳐 감지부 및 결과 출력부를 포함하는 제스쳐 감지 장치는, 사용자의 움직임(모션)을 감지하고, 움직임 감지시 사용자의 얼굴을 감지하며, 얼굴 감지시 상기 제스쳐 감지부로 웨이크업(wake up) 신호를 전달하는 모션/얼굴 감지부; 제1 상태로 동작하다 상기 모션/얼굴 감지부로부터 웨이크업 신호를 수신하게 되면 일정 시간 동안 제2 상태로 동작하며 사용자의 제스쳐를 감지하고 다시 제1 상태로 복귀하고, 제스쳐 감지시 감지된 제스쳐에 대응되는 동작 신호를 출력하는 제스쳐 감지부; 및 상기 제스쳐 감지부로부터 수신된 동작 신호에 대응한 동작을 수행하는 결과 출력부;를 포함한다.According to another aspect of the present invention, a gesture detection device including a motion / face detection unit, a gesture detection unit, and a result output unit detects a user's motion (motion), detects a user's face when detecting a motion, and detects a face. A motion / face detector configured to transfer a wake up signal to the gesture detector; Operating in the first state When receiving the wake-up signal from the motion / face detection unit, the device operates in the second state for a predetermined time, detects the user's gesture and returns to the first state, and detects the gesture when the gesture is detected. A gesture detector for outputting a corresponding operation signal; And a result output unit configured to perform an operation corresponding to the operation signal received from the gesture detector.
이때, 상기 제1 상태는 제2 상태에 비해 적은 량의 전력을 소모하는 동작 상태가 적용될 수 있다.In this case, the first state may be an operating state that consumes less power than the second state.
상기 모션/얼굴 감지부는, 사용자의 얼굴 감지시 감지된 얼굴을 제스쳐 감지 대상으로 선정하고, 상기 제스쳐 감지 대상에 대한 위치 정보를 상기 제스쳐 감지부로 추가적으로 전달하고, 상기 제스쳐 감지부는, 상기 모션/얼굴 감지부로부터 전달받은 제스쳐 감지 대상에 대한 위치 정보에 기반하여 사용자의 제스쳐 감지 영역을 설정하고 상기 제스쳐 감지 영역에 대해서만 제스쳐 감지를 수행하는 제스쳐 감지부;를 포함할 수 있다.The motion / face detection unit selects a face detected when a user's face is detected as a gesture detection target, additionally transmits position information on the gesture detection target to the gesture detection unit, and the gesture detection unit detects the motion / face detection. And a gesture detection unit configured to set a user's gesture detection area based on the location information of the gesture detection target received from the unit, and perform gesture detection only on the gesture detection area.
이때, 상기 제스쳐 감지부는, 상기 제스쳐 감지 대상의 위치를 기준으로 일정 범위 이내의 영역을 제스쳐 감지 영역으로 설정할 수 있다.In this case, the gesture detection unit may set an area within a predetermined range as a gesture detection area based on the position of the gesture detection target.
본 발명의 바람직한 실시예에 따른 제스쳐 인식 장치는 사용자의 움직임 및 얼굴을 감지하여 제스쳐 입력 준비가 완료되었는지를 판별하고, 제스쳐 입력 준비가 완료된 경우에만 제스쳐 인식 모듈을 동작 시킴으로써 전체 소모 전력량 및 연산량을 감소시키는 효과가 있다.The gesture recognition apparatus according to the preferred embodiment of the present invention detects the user's movement and face to determine whether the gesture input preparation is completed, and operates the gesture recognition module only when the gesture input preparation is completed, thereby reducing the total power consumption and the amount of calculation. It is effective to let.
특히, 사람의 움직임 감지 동작은 저전력으로 구동 가능하므로, 저전력으로 사람의 움직임(및 얼굴)을 감지하여 상대적으로 많은 전력을 필요로 하는 제스쳐 인식 동작을 수행할지 여부를 판별함으로써 종래 대비 많은 소비 전력량을 감소시킬 수 있다는 효과가 있다.In particular, since the motion detection operation of the human being can be driven with low power, it is possible to detect a human motion (and face) at low power and determine whether to perform a gesture recognition operation that requires a relatively large amount of power. There is an effect that can be reduced.
또한, 제스쳐 감지(검출) 전에 사람의 얼굴을 먼저 감지(검출)하여 제스쳐를 감지할 영역을 한정(제한)함으로써 전체 영상 정보가 아닌 일부 영상 정보만을 활용하여 제스쳐를 감지(검출)할 수 있다는 특징이 있으며, 이로 인해 제스쳐 검출을 위한 연산량을 최소화시킬 수 있다는 효과가 있다.In addition, by detecting (detecting) a face of a person before gesture detection (detection) first, by limiting (limiting) an area for detecting a gesture, a gesture can be detected (detected) by using only some image information instead of all image information. This has the effect of minimizing the amount of computation for gesture detection.
도 1은 본 발명의 제1 예에 따른 제스쳐 인식 장치를 나타낸 도면,1 is a view showing a gesture recognition device according to a first example of the present invention;
도 2는 본 발명에 따라 사용자의 얼굴이 감지된 것으로 판단하는 일 예를 나타낸 도면,2 illustrates an example of determining that a face of a user is detected according to the present invention;
도 3은 본 발명에 따라 복수 개의 얼굴 감지시, 이중 어느 하나의 얼굴을 제스쳐 감지 대상으로 선정하는 일 예를 나타낸 도면,3 is a view illustrating an example of selecting one of the faces as a gesture detection target when detecting a plurality of faces according to the present invention;
도 4는 본 발명에 따라 감지된 얼굴 영역 상에서 제스쳐를 인식하는 일 예를 나타낸 도면,4 illustrates an example of recognizing a gesture on a detected face area according to the present invention;
도 5는 본 발명에 따라 감지된 얼굴 영역으로부터 일정 거리 이격된 영역 상에서 제스쳐를 인식하는 일 예를 나타낸 도면,5 illustrates an example of recognizing a gesture on an area spaced a predetermined distance from a detected face area according to the present invention;
도 6은 본 발명에 따라 감지되는 제스쳐의 모양의 일 예를 나타낸 도면,6 is a view showing an example of the shape of the gesture detected in accordance with the present invention,
도 7은 본 발명의 제2 예에 따른 제스쳐 인식 장치를 나타낸 도면,7 is a view showing a gesture recognition device according to a second example of the present invention;
도 8은 본 발명의 제3 예에 따른 제스쳐 인식 장치를 나타낸 도면이다.8 is a diagram illustrating a gesture recognizing apparatus according to a third example of the present invention.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to be limited to the particular embodiment of the present invention, it should be understood to include all transformations, equivalents, and substitutes included in the spirit and scope of the present invention. In the following description of the present invention, if it is determined that the detailed description of the related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 제1 예에 따른 제스쳐 인식 장치를 나타낸 도면이다.1 is a diagram illustrating a gesture recognizing apparatus according to a first example of the present invention.
도 1에 도시된 바와 같이, 본 발명의 일 예에 따른 제스쳐 인식 장치는 움직임(모션) 감지부(10), 얼굴 감지부(20), 제스쳐 감지부(30) 및 결과 출력부(40)를 포함한다. 이하, 각 구성 요소별로 구분하여 상세히 설명한다.As shown in FIG. 1, the gesture recognition apparatus according to an embodiment of the present invention may include a motion (motion) detecting unit 10, a face detecting unit 20, a gesture detecting unit 30, and a result output unit 40. Include. Hereinafter, each component will be described in detail.
[움직임 [movement 감지부에Detector 대한 설명] Description of
움직임 감지부(10)는 사용자의 움직임(모션)을 감지한다. 이를 위한 기술 구성으로써 움직임 감지부(10)로는 인체감지 센서나 영상 센서가 적용될 수 있다.The motion detector 10 detects a user's motion (motion). As a technical configuration for this, a human body sensor or an image sensor may be applied to the motion detector 10.
인체감지 센서의 경우 적외선 패시브 방식(PIR : Passive Infrared Ray), 근적외선 액티브방식, 초음파, 마이크로파 등을 통해 일정 간격으로 인체에 대한 정보를 획득하고, 획득되는 정보간 차이값이 일정 이상이라고 판단되면 사용자의 움직임(모션)이 감지된 것으로 판단할 수 있다.In the case of the human body detection sensor, information about the human body is acquired at regular intervals through an infrared passive method (PIR), near infrared active method, ultrasonic waves, microwaves, and the like, and when it is determined that the difference between the acquired information is more than a predetermined level, It may be determined that the motion of the motion is detected.
영상 센서의 경우 CMOS(Complementary MOS) 영상 센서, CCD(Charge-Coupled Device), IR 이미지 센서 등 사람에 대한 영상 정보를 획득할 수 있는 모든 구성 요소가 적용될 수 있다. 이 경우에도 상기 영상 센서는 일정 간격으로 획득되는 영상 정보의 차분 값 또는 정합 결과를 바탕으로 사용자의 움직임(모션)이 있었는지를 감지할 수 있다.In the case of an image sensor, all components capable of acquiring image information of a person, such as a complementary MOS (CMOS) image sensor, a charge-coupled device (CCD), and an IR image sensor, may be applied. In this case, the image sensor may detect whether there is a motion (motion) of the user based on a difference value or a matching result of the image information acquired at a predetermined interval.
움직임 감지부(10)는 상기와 같은 다양한 방법들을 통해 움직임이 감지된 경우, 별도의 얼굴 감지부(20)로 웨이크업(wake up) 신호를 전달한다.When the motion detection unit 10 detects a motion through the various methods as described above, the motion detection unit 10 transmits a wake up signal to the separate face detection unit 20.
[얼굴 [Face 감지부에Detector 대한 설명] Description of
얼굴 감지부(20)는 평소에는 제1 상태로 동작하다 상기 움직임 감지부(10)로부터 웨이크업(wake up) 신호를 수신하게 되면 일정 시간 동안 제2 상태로 동작하며 사용자의 얼굴을 감지한다. 이때, 상기 얼굴 감지부(20)는 일정 시간 동안 일정 영역에 대하여 사용자의 얼굴을 감지하고 난 후, 다시 제1 상태로 복귀하게 된다.The face detector 20 normally operates in a first state. When the face detector 20 receives a wake up signal from the motion detector 10, the face detector 20 operates in a second state for a predetermined time and detects a user's face. At this time, the face detecting unit 20 detects the user's face in a certain region for a predetermined time, and then returns to the first state.
본 발명에 적용 가능한 실시예에서, 제1 상태로는 슬립(sleep) 상태, 파워 오프(power off) 상태 등이 적용될 수 있으며, 제2 상태로는 정상 동작 상태가 적용될 수 있다.In an embodiment applicable to the present invention, a sleep state, a power off state, or the like may be applied to the first state, and a normal operating state may be applied to the second state.
즉, 본원 발명에 있어, 제1 상태는 제2 상태에 비해 적은 량의 전력을 소모하는 동작 상태를 의미할 수 있다.That is, in the present invention, the first state may mean an operating state that consumes a smaller amount of power than the second state.
일반적으로, 파워 오프(power off) 상태란 모든 구성 요소들로의 전원을 차단한 상태를 의미하며, 슬립(sleep) 상태란 일부 구성 요소만 동작하도록 제어하고 다른 구성 요소들은 전원을 차단하여 전체 소모 전력량을 최소화하는 상태를 의미한다. 이때, 웨이크업 신호를 수신하게 되면 모든 구성 요소에 전원을 공급하여 모든 구성 요소들이 동작할 수 있도록 제어하게 된다.In general, the power off state means that power to all components is turned off. The sleep state controls only some components to operate and the other components are turned off to consume the entire power. It means a state that minimizes the amount of power. At this time, when the wake-up signal is received, power is supplied to all components to control all components to operate.
일 예로, 상기 얼굴 감지부(20)는 평소에는 제1 상태로서 상기 움직임 감지부(10)로부터 웨이크업 신호를 수신하는 구성 외에 다른 구성 요소들로의 공급 전원을 차단하는 슬립 상태로 동작할 수 있다. 이어, 움직임 감지부(10)로부터 웨이크업 신호를 수신하게 되면 기타 구성 요소들(사용자의 얼굴을 검출하는 모듈 등)로 전원을 공급하여 동작케 하며 제2 상태로서 사용자의 얼굴 감지 동작을 수행하게 된다.For example, the face detector 20 may operate in a sleep state that cuts off power to other components in addition to the configuration of receiving a wake-up signal from the motion detector 10 as a first state. have. Subsequently, upon receiving the wake-up signal from the motion detection unit 10, power is supplied to other components (a module for detecting a user's face, etc.) to perform a user's face detection operation as a second state. do.
이와 같은 얼굴 감지부(20)로는 사람의 얼굴 형태를 감지할 수 있는 모든 구성 요소가 적용될 수 있다. 일 예로, 움직임 감지부(10)와 같이, 인체감지 센서, 영상 센서 모두 적용 가능하다.As the face detector 20, all the components capable of detecting the shape of a human face may be applied. For example, like the motion detector 10, both a human body sensor and an image sensor may be applied.
[얼굴 [Face 감지부의Detector 얼굴 감지 판단 기준의 예] Example of Face Detection Criteria]
본 발명에 적용가능한 실시예에 있어, 상기 얼굴 감지부(20)는 다음과 같은 경우에만 사용자의 얼굴이 감지된 것으로 판단할 수 있다.In the embodiment applicable to the present invention, the face detector 20 may determine that the user's face is detected only in the following cases.
1. 사용자의 얼굴 방향이 일정 각도 1. The user's face is at an angle 이내인 경우Within
도 2는 본 발명에 따라 사용자의 얼굴이 감지된 것으로 판단하는 일 예를 나타낸 도면이다.2 is a diagram illustrating an example of determining that a face of a user is detected according to the present invention.
도 2에 도시된 바와 같이, 얼굴 감지부(20)는 사용자의 얼굴이 정면을 향하고 있는 얼굴이 감지된 경우에만 사용자의 얼굴이 감지된 것으로 판단할 수 있다. 보다 구체적으로, 상기 얼굴 감지부(20)는 감지된 사용자의 얼굴 방향이 상기 얼굴 감지부(20)를 기준으로 일정 각도 이내인 경우에만 사용자의 얼굴이 감지된 것으로 판단할 수 있다.As illustrated in FIG. 2, the face detector 20 may determine that the face of the user is detected only when the face of which the face of the user faces the front is detected. More specifically, the face detector 20 may determine that the face of the user is detected only when the detected direction of the face of the user is within a predetermined angle with respect to the face detector 20.
이를 판단하기 위해, 다양한 얼굴 검출 알고리즘이 적용될 수 있다. 예를 들어, 얼굴 인식을 하기 위한 매칭 템플릿(matching template)를 정방향 영상을 통해 학습시킴으로써 이를 구현할 수 있다. 또는 감지되는 얼굴의 형태 정보를 바탕으로 사용자의 얼굴 방향을 감지하여 사용자의 얼굴을 감지할 수 있다.To determine this, various face detection algorithms can be applied. For example, this may be implemented by learning a matching template for face recognition through a forward image. Alternatively, the user's face may be detected by detecting the direction of the user's face based on the shape information of the face.
이와 같이 본 발명에 따른 얼굴 감지부(20)는 전체적인 얼굴의 방향을 검출하여 얼굴의 감지 여부를 판단함으로써 영상 정보 내에서 시선 위치를 산출하고 이에 기반하여 시선 방향을 산출하는 종래 기술 대비 전체 연산량 및 이로 인한 소모 전력량을 감소시키는 효과가 있다.As described above, the face detecting unit 20 according to the present invention detects the overall direction of the face to determine whether the face is detected, calculates the position of the gaze in the image information, and calculates the gaze direction based on the overall calculation amount and This has the effect of reducing the amount of power consumed.
2. 얼굴 2. Face 감지부와Detection unit 사용자간Between users 거리가 일정  Street schedule 이내인 경우Within
다른 실시예에서, 상기 얼굴 감지부(20)는 일정 거리 이내에 위치하는 사용자의 얼굴만을 감지할 수 있다.In another embodiment, the face detector 20 may detect only a face of a user located within a certain distance.
이를 위해서는 다양한 방법이 적용될 수 있다. 일 예로, 별도의 감지 센서를 이용하여 사용자와 얼굴 감지부(20)간 거리를 측정하고, 상기 거리 값이 일정 이내인 경우에만 상기 얼굴 감지부(20)로 하여금 감지 동작을 수행토록 할 수 있다.To this end, various methods may be applied. For example, the distance between the user and the face detector 20 may be measured by using a separate sensor, and the face detector 20 may be configured to perform a detection operation only when the distance value is within a predetermined range. .
바람직하게는, 상기 얼굴 감지부(20)를 통해 감지되는 얼굴 정보에 기반하여 사용자와 얼굴 감지부(20)간 거리를 측정하고, 상기 거리 값이 일정 이내인 경우에만 사용자의 얼굴 감지 동작을 수행토록 할 수 있다. 이를 위해, 상기 얼굴 감지부(20)는 해상도에 따른 얼굴의 픽셀 수를 카운트하여 픽셀 수가 일정 개수 이상인 경우에만 사용자의 얼굴을 감지(검출)하도록 제어할 수 있다.Preferably, the distance between the user and the face detection unit 20 is measured based on the face information detected by the face detection unit 20, and the face detection operation of the user is performed only when the distance value is within a predetermined range. You can do it. To this end, the face detecting unit 20 may control to detect (detect) the user's face only when the number of pixels of the face according to the resolution is counted.
3. 얼굴 3. face 감지부와Detection unit 사용자간Between users 거리가 일정 범위  Distance range 이내인 경우Within
또 다른 실시예에서, 상기 얼굴 감지부(20)는 일정 범위 이내에 위치하는 사용자의 얼굴만을 감지할 수 있다. 다시 말해, 상기 얼굴 감지부(20)는 상기 얼굴 감지부로부터 최소 A 거리 이상 최대 B 거리 이하 이격된 사용자의 얼굴만을 감지할 수 있다.In another embodiment, the face detector 20 may detect only a face of a user located within a predetermined range. In other words, the face detector 20 may detect only a face of a user spaced apart from the face detector by a minimum A distance or more and a maximum B distance or less.
이를 위해서는 다양한 방법이 적용될 수 있다. 일 예로, 상기 얼굴 감지부(20)는 감지된 사용자의 얼굴 크기가 제1 문턱값 이상이며 제2 문턱값 이하인 경우에만 사용자의 얼굴이 감지된 것으로 판단할 수 있다. 이를 위해, 상기 얼굴 감지부(20)는 해상도에 따른 얼굴의 픽셀 수를 카운트하여 픽셀 수가 일정 개수 범위 이내인 경우에만 사용자의 얼굴을 감지(검출)하도록 제어할 수 있다.To this end, various methods may be applied. For example, the face detector 20 may determine that the user's face is detected only when the detected user's face size is greater than or equal to the first threshold and less than or equal to the second threshold. To this end, the face detector 20 may count the number of pixels of the face according to the resolution to control (detect) the user's face only when the number of pixels is within a predetermined number range.
본 발명에 적용가능한 바람직한 실시예에서, 상기 얼굴 감지부(20)는 상기와 같은 다양한 방법을 통해 사용자의 얼굴이 감지되게 되면, 감지된 얼굴에 대한 위치 정보를 제스쳐 감지부(30)로 제공하고, 이를 수신받은 제스쳐 감지부(30)는 상기 위치 정보에 기반하여 제스쳐 감지 영역을 설정하게 된다. 이를 통해 제스쳐 감지부(30)는 제스쳐 감지를 위한 연산량을 감소시킬 수 있다. 이하, 제스쳐 감지부(30)에 대해서는 관련 설명을 통해 상세히 설명한다.In the preferred embodiment applicable to the present invention, when the face of the user is detected through the various methods as described above, the face detecting unit 20 provides the gesture detecting unit 30 with the position information on the detected face. In response, the gesture detection unit 30 may receive the gesture detection unit 30 and set the gesture detection area based on the position information. Through this, the gesture detector 30 may reduce the amount of calculation for detecting the gesture. Hereinafter, the gesture detector 30 will be described in detail with reference to the related description.
이처럼, 상기 얼굴 감지부(20)는 얼굴을 감지하게 되면, 감지된 얼굴을 제스쳐 감지 대상으로 선정하고 이에 대한 위치 정보를 제스쳐 감지부(30)로 제공할 수 있다.As such, when the face detector 20 detects a face, the face detector 20 may select the detected face as a gesture detection target and provide location information thereof to the gesture detector 30.
이때, 상기 얼굴 감지부(20)는 복수 개의 얼굴이 감지될 경우에는 일정 규칙에 따라 이중 어느 하나의 얼굴을 제스쳐 감지 대상으로 선정하여 이에 대한 위치 정보를 상기 제스쳐 감지부(30)로 제공할 수 있다.In this case, when a plurality of faces are detected, the face detector 20 may select one of the faces as a gesture detection target according to a predetermined rule and provide location information thereof to the gesture detector 30. have.
[복수 개의 얼굴 감지시, 제스쳐 감지 대상 선정의 예][Example of Gesture Detection Target Selection when Detecting Multiple Faces]
1. 움직임 정보에 가장 가까이 위치한 얼굴1. Face closest to movement information
도 3은 본 발명에 따라 복수 개의 얼굴 감지시, 이중 어느 하나의 얼굴을 제스쳐 감지 대상으로 선정하는 일 예를 나타낸 도면이다.3 is a diagram illustrating an example of selecting one of the faces as a gesture detection target when detecting a plurality of faces according to the present invention.
도 3에 도시된 바와 같이, 본 발명에 적용가능한 실시예에 있어, 얼굴 감지부(20)는 움직임 감지부(10)를 통해 감지된 움직임 정보에 가장 가까이 위치한 얼굴을 제스쳐 감지 대상으로 선정할 수 있다. As shown in FIG. 3, in the embodiment applicable to the present invention, the face detector 20 may select a face closest to the motion information detected by the motion detector 10 as a gesture detection target. have.
보다 구체적으로, 얼굴 감지부(20)는 감지된 움직임 정보에 기반하여 특정 방향으로 가장 가까이 위치한 얼굴 정보를 제스쳐 감지 대상으로 선정할 수 있다. 도 3에서는 감지된 움직임의 위쪽 방향으로 가장 가까이 위치한 얼굴 정보를 제스쳐 감지 대상으로 선정하는 예를 도시하였으나, 본 발명에 따른 얼굴 감지부(20)는 상기 실시예로 한정되지 않는다.More specifically, the face detector 20 may select the face information closest to the specific direction as the gesture detection target based on the detected motion information. 3 illustrates an example of selecting the face information located closest in the upward direction of the detected motion as a gesture detection target, but the face detection unit 20 according to the present invention is not limited to the above embodiment.
2. 움직임 정보가 감지된 영역 상의 얼굴2. Face on the area where motion information is detected
다른 실시예에서, 상기 얼굴 감지부(20)는 상기 움직임 감지부(10)를 통해 감지된 움직임 정보와 전부 또는 일부가 중첩되는 얼굴을 제스쳐 감지 대상으로 선정할 수 있다. 다시 말해, 상기 얼굴 감지부(20)는 감지된 움직임 정보가 특정 얼굴 위에서 감지된 경우 해당 얼굴을 제스쳐 감지 대상으로 선정하고, 이에 대한 위치 정보를 제스쳐 감지부(30)로 제공할 수 있다.In another embodiment, the face detector 20 may select a face that overlaps all or a part of the motion information detected by the motion detector 10 as a gesture detection target. In other words, when the detected motion information is detected on a specific face, the face detector 20 may select a corresponding face as a gesture detection target and provide the position information to the gesture detector 30.
상기와 같은 실시예들을 통해 얼굴 감지부(20)는 제스쳐 감지 대상을 선정할 수 있으며, 이에 대한 정보를 제공받은 제스쳐 감지부(30)는 상기 감지 대상에 대한 정보를 바탕으로 제스쳐 감지 동작을 수행할 수 있다.Through the above embodiments, the face detection unit 20 may select a gesture detection target, and the gesture detection unit 30 provided with the information may perform a gesture detection operation based on the information on the detection target. can do.
[[ 제스쳐Gesture 감지부에Detector 대한 설명] Description of
제스쳐 감지부(30)는 평소에는 제1 상태로 동작하다 상기 얼굴 감지부(20)로부터 웨이크업(wake up) 신호를 수신하게 되면 일정 시간 동안 제2 상태로 동작하며 사용자의 제스쳐를 감지한다. 이때, 상기 제스쳐 감지부(30)는 일정 시간 동안 일정 영역에 대하여 사용자의 제스쳐를 감지하고 난 후, 다시 제1 상태로 복귀한다.The gesture detector 30 normally operates in a first state. When the gesture detector 30 receives a wake up signal from the face detector 20, the gesture detector 30 operates in a second state for a predetermined time and detects a user's gesture. At this time, the gesture detector 30 detects the user's gesture with respect to the predetermined area for a predetermined time, and then returns to the first state.
본 발명에 적용 가능한 실시예에서, 제1 상태로는 슬립(sleep) 상태, 파워 오프(power off) 상태 등이 적용될 수 있으며, 제2 상태로는 정상 동작 상태가 적용될 수 있다.In an embodiment applicable to the present invention, a sleep state, a power off state, or the like may be applied to the first state, and a normal operating state may be applied to the second state.
즉, 본원 발명에 있어, 제1 상태는 제2 상태에 비해 적은 량의 전력을 소모하는 동작 상태를 의미할 수 있다.That is, in the present invention, the first state may mean an operating state that consumes a smaller amount of power than the second state.
일 예로, 상기 제스쳐 감지부(30)는 평소에는 상기 얼굴 감지부(20)로부터 웨이크업 신호를 수신하는 구성 외에 다른 구성 요소들로의 공급 전원을 차단하는 슬립 상태로 동작할 수 있다. 이어, 얼굴 감지부(20)로부터 웨이크업 신호를 수신하게 되면 기타 구성 요소들(사용자의 제스쳐를 검출하는 모듈 등)로 전원을 공급하여 동작케 함으로써 사용자의 제스쳐 감지 동작을 수행하게 된다.For example, the gesture detector 30 may operate in a sleep state that cuts off power to other components in addition to the configuration of receiving a wake-up signal from the face detector 20. Subsequently, when the wake-up signal is received from the face detector 20, the user's gesture detection may be performed by supplying power to other components (such as a module for detecting the user's gesture) to operate.
이때, 상기 제스쳐 감지부(30)로는 사용자의 손 동작 제스쳐를 감지할 수 있는 모든 구성 요소가 적용될 수 있다. 바람직하게는 비젼 센서가 적용되어 사용자의 제스쳐를 보다 정확하게 감지(검출)할 수 있다.In this case, all the components capable of detecting the gesture of the user's hand may be applied to the gesture detecting unit 30. Preferably, a vision sensor may be applied to more accurately detect (detect) the user's gesture.
본 발명에 적용가능한 바람직한 실시예에서 제스쳐 감지부(30)는 상기 얼굴 감지부(20)로부터 제스쳐 감지 대상에 대한 (위치) 정보를 제공받게 되면, 상기 정보에 기반하여 제스쳐 감지 영역을 설정하고 상기 제스쳐 감지 영역에 한하여 제스쳐 감지 연산을 수행한다. 즉, 상기 제스쳐 감지부(30)는 연산량 및 전력 소모량을 감소시키기 위하여 획득되는 모든 영상 정보에 대해 제스쳐 감지 동작을 수행하지 않고, 이중 일부 영역에 대해서만 제스쳐 감지(검출) 동작을 수행할 수 있다.In the preferred embodiment applicable to the present invention, when the gesture detecting unit 30 receives the (location) information on the gesture detecting object from the face detecting unit 20, the gesture detecting unit 30 sets the gesture detecting region based on the information. The gesture detection operation is performed only in the gesture detection area. That is, the gesture detector 30 may perform a gesture detection (detection) operation on only some of the regions without performing a gesture detection operation on all image information obtained to reduce the amount of computation and power consumption.
이하, 제스쳐 감지부(30)에 의해 설정되는 제스쳐 감지 영역으로써 적용가능한 실시예는 다음과 같다.Hereinafter, an embodiment applicable as the gesture detection area set by the gesture detection unit 30 is as follows.
[[ 제스쳐Gesture 감지 영역의 예] Example of detection area]
1. 얼굴 위에서의 1. on the face 제스쳐Gesture 감지 Detect
도 4는 본 발명에 따라 감지된 얼굴 영역 상에서 제스쳐를 인식하는 일 예를 나타낸 도면이다.4 illustrates an example of recognizing a gesture on a detected face area according to the present invention.
도 4에 도시된 바와 같이, 본 발명에 따른 제스쳐 감지부(30)는 제스쳐 감지 대상으로 선정된 얼굴 위의 영역 상에 입력되는 제스쳐를 감지할 수 있다. 이를 위해, 상기 제스쳐 감지부(30)는 상기 제스쳐 감지 대상의 위치를 기준으로 일정 범위 이내의 영역을 제스쳐 감지 영역으로 설정할 수 있다.As shown in FIG. 4, the gesture detector 30 may detect a gesture input on an area on a face selected as a gesture detection target. To this end, the gesture detection unit 30 may set an area within a predetermined range as a gesture detection area based on the position of the gesture detection target.
2. 얼굴을 기준으로 특정 영역에서의 2. in a specific area relative to the face 제스쳐Gesture 감지 Detect
도 5는 본 발명에 따라 감지된 얼굴 영역으로부터 일정 거리 이격된 영역 상에서 제스쳐를 인식하는 일 예를 나타낸 도면이다.5 is a diagram illustrating an example of recognizing a gesture on an area spaced a predetermined distance from a detected face area according to the present invention.
도 5에 도시된 바와 같이, 본 발명에 따른 제스쳐 감지부(30)는 상기 제스쳐 감지 대상의 위치로부터 일정 거리 이격된 일정 크기의 영역을 제스쳐 감지 영역으로 설정할 수 있다.As illustrated in FIG. 5, the gesture detector 30 may set a region having a predetermined size spaced apart from a position of the gesture sensing object as a gesture sensing region.
구체적으로, 도 5에서는 제스쳐 감지 대상(얼굴)의 위치를 기준으로 아래 방향으로 일정 거리 이격된 영역을 제스쳐 감지 영역으로 설정한 예를 나타내고 있으나, 본 발명은 상기 실시예에 한정되지 않는다.Specifically, FIG. 5 illustrates an example in which a region spaced a predetermined distance downward in the downward direction based on the position of the gesture sensing object (face) is set as the gesture sensing region, but the present invention is not limited to the above embodiment.
제스쳐 감지부(30)는 상기와 같이 다양한 방법을 통해 제스쳐 감지 영역을 설정하고, 상기 영역에 한정하여 제스쳐 감지 동작을 수행함으로써 제스쳐 산출에 소요되는 연산량을 최적화시킬 수 있다. 이어, 제스쳐가 감지되게 되면 감지된 제스쳐에 대응되는 동작 신호를 결과 출력부(40)로 출력하게 된다.The gesture detection unit 30 may optimize the amount of calculation required to calculate the gesture by setting the gesture detection area through various methods as described above and performing the gesture detection operation only in the area. Subsequently, when a gesture is detected, an operation signal corresponding to the detected gesture is output to the result output unit 40.
본 발명에 적용가능한 실시예에서 상기 제스쳐 감지부(30)는 사용자의 제스쳐의 모양 및 움직임 방향을 감지하고, 이에 대응되는 동작 신호를 출력할 수 있다.In an embodiment applicable to the present invention, the gesture detector 30 may detect a shape and a movement direction of a user's gesture and output an operation signal corresponding thereto.
일 예로, 상기 제스쳐 감지부(30)는 영상 분석을 통해 도 6에 도시된 다양한 제스쳐의 모양을 감지할 수 있다.As an example, the gesture detector 30 may detect the shapes of various gestures shown in FIG. 6 through image analysis.
또한, 상기 제스쳐 감지부(30)는 감지된 제스쳐 모양의 움직임 방향도 감지할 수 있다. In addition, the gesture detection unit 30 may also detect a detected gesture direction of movement.
이를 위해서는 다양한 산출 알고리즘이 적용될 수 있으며, 일 예로 일정 시간 간격으로 획득되는 영상 데이터간 차분 정보를 이용하여 손(제스쳐)의 이동 방향을 감지할 수 있다.To this end, various calculation algorithms may be applied. For example, a moving direction of a hand (gesture) may be detected using difference information between image data acquired at predetermined time intervals.
또는, 블록 모션을 구하여 개별 블록의 움직임 벡터를 구한 후 전체 움직임 벡터의 평균을 구함으로써 손(제스쳐)의 움직임 방향을 감지할 수 있다.Alternatively, the motion direction of a hand (gesture) may be detected by obtaining a block motion to obtain a motion vector of an individual block, and then calculating an average of all motion vectors.
또 다른 방법으로는, 옵티컬 플로우(Optical Flow)를 구하여 전체적으로 옵티컬 플로우가 어느 방향으로 움직이는지를 검출함으로써 움직임의 방향을 트래킹(tracking)할 수 있다. Alternatively, the direction of the movement can be tracked by obtaining the optical flow and detecting which direction the optical flow is moving as a whole.
본 발명은 상기 실시예로 한정되지 않으며, 이외 기타 다른 움직임 감지 방법 또한 적용될 수 있다.The present invention is not limited to the above embodiment, and other motion sensing methods may also be applied.
[결과 [result 출력부에 대한 설명Description of output ]]
결과 출력부(40)는 상기 제스쳐 감지부(30)로부터 수신된 동작 신호에 대응한 동작을 수행한다. 이때, 제스쳐 감지부(30)는 감지된 제스쳐의 모양 및 움직임 방향별 대응되는 동작 신호에 대한 테이블 정보를 저장하며, 특정 제스쳐의 모양 및 움직임 방향이 감지되게 되면 상기 테이블 정보를 활용하여 대응되는 동작 신호를 결과 출력부(40)로 제공할 수 있다.The result output unit 40 performs an operation corresponding to the operation signal received from the gesture detection unit 30. In this case, the gesture detection unit 30 stores table information on the corresponding motion signal for each shape and movement direction of the detected gesture. When the shape and movement direction of a specific gesture are detected, the gesture detection unit 30 uses the table information. The signal may be provided to the result output unit 40.
일 예로, A 제스쳐는 TV의 채널 변경(채널 번호 증가 또는 감소), B 제스쳐는 TV의 음량 조절(음량 크기 증가 또는 감소), C 제스쳐는 TV의 전원 온/오프 제어 동작에 대응되도록 설정되었다고 가정한다.For example, assume that the A gesture is set to change a channel of the TV (increase or decrease channel number), the B gesture is to adjust the volume of the TV (increase or decrease volume), and the C gesture is set to correspond to the power on / off control operation of the TV. do.
이 경우, 제스쳐 감지부(30)에 의해 사용자의 B 제스쳐가 감지되었다면, 상기 제스쳐 감지부(30)는 상기 결과 출력부(40)로 음량 조절(음량 크기 증가 또는 감소)에 대한 동작 신호를 제공할 수 있다. 이를 제공 받은 결과 출력부(40)는 대응되는 동작을 수행할 수 있다.In this case, if the user's B gesture is detected by the gesture detector 30, the gesture detector 30 provides an operation signal for volume control (volume increase or decrease) to the result output unit 40. can do. As a result, the result output unit 40 may perform a corresponding operation.
[추가 [Add 구성에 대한 설명Description of the configuration ]]
본 발명에 적용가능한 다른 실시예에서, 제스쳐 감지 장치는 알람부(미도시)를 더 포함할 수 있다. 상기 알람부(미도시)는 상기 얼굴 감지부(20)를 통해 얼굴이 감지되게 되면(즉, 제스쳐 감지 대상이 선정되게 되면), 사용자로 하여금 상기 제스쳐 감지부(30)가 사용자의 제스쳐를 감지할 준비가 되었음에 대한 알람 메시지를 제공할 수 있다. 다시 말해, 상기 알람부는 상기 제스쳐 감지부(30)가 사용자의 제스쳐를 감지하는 일정 시간 동안 알람 정보를 제공함으로써 제스쳐를 감지할 준비가 되었음에 대한 정보를 제공할 수 있다.In another embodiment applicable to the present invention, the gesture sensing device may further include an alarm unit (not shown). When the face is detected through the face detecting unit 20 (that is, when a gesture detection target is selected), the alarm unit (not shown) allows the user to detect the user's gesture by the gesture detecting unit 30. You can provide an alarm message that you are ready to do so. In other words, the alarm unit may provide information that the gesture detection unit 30 is ready to detect a gesture by providing alarm information for a predetermined time for detecting the user's gesture.
이와 같이 본 발명의 제1 예에 따른 제스쳐 인식 장치는 각각 구분되는 움직임 감지부(10), 얼굴 감지부(20), 제스쳐 감지부(30)를 포함할 수 있으며, 이때, 얼굴 감지부(20) 및 제스쳐 감지부(30)는 평소에는 제1 상태(슬립 상태 또는 파워 오프 상태 등)로 동작하다 별도의 웨이크업 신호를 수신하게 되면 잠시 동안 제2 상태로 동작하며 관련 동작을 수행 후 다시 제1 상태로 되돌아갈 수 있다.As such, the gesture recognizing apparatus according to the first example of the present invention may include a motion detector 10, a face detector 20, and a gesture detector 30, each of which is distinguished. In this case, the face detector 20 ) And the gesture detector 30 normally operate in a first state (sleep state or power off state). When a separate wake-up signal is received, the gesture detection unit 30 operates in a second state for a while. Can return to the 1 state.
이를 통해, 저전력으로 구동되는 움직임 감지부(10)를 통해 사용자가 제스쳐를 입력할 준비를 하였는지를 판별하고, 준비가 된 경우 얼굴 감지부(20) 및 제스쳐 감지부(30)를 웨이크업 시켜 최종적으로는 제스쳐 감지 동작을 수행함으로써 전체적으로 저전력으로 구동 가능하다는 효과가 있다.Through this, the user may determine whether the user prepares to input a gesture through the low-power motion detector 10, and when the user is ready, wakes up the face detector 20 and the gesture detector 30. Has the effect of being able to be driven with low power as a whole by performing the gesture sensing operation.
또한, 제스쳐 감지 대상(얼굴)을 선정하여 제스쳐 감지 영역을 제한함으로써 제스쳐 감지에 소요되는 연산량을 감소시킬 수 있다는 효과가 있다.In addition, by selecting the gesture detection target (face) and limiting the gesture detection area, the amount of computation required for the gesture detection may be reduced.
본 발명의 다른 실시예에서는, 얼굴 감지부(20) 및 제스쳐 감지부(30)가 하나의 구성 요소로서 동작할 수 있으며, 또 다른 실시예에서는 움직임 감지부(10) 및 얼굴 감지부(20)가 하나의 구성 요소로서 동작할 수 있다.In another embodiment of the present invention, the face detector 20 and the gesture detector 30 may operate as one component, and in another embodiment, the motion detector 10 and the face detector 20. Can operate as one component.
이하, 상기 실시예에서는 도 7 및 도 8을 통해 상세히 설명한다.Hereinafter, the embodiment will be described in detail with reference to FIGS. 7 and 8.
도 7은 본 발명의 제2 예에 따른 제스쳐 인식 장치를 나타낸 도면이다.7 is a diagram illustrating a gesture recognizing apparatus according to a second example of the present invention.
도 7에 도시된 바와 같이, 제1 예의 얼굴 감지부(20) 및 제스쳐 감지부(30)는 하나의 구성 요소로서 통합하여 동작할 수 있다.As shown in FIG. 7, the face detector 20 and the gesture detector 30 of the first example may be integrated and operate as one component.
이때, 움직임 감지부(110)로는 PIR 센서가 적용될 수 있으며, 얼굴/제스쳐 감지부(125)로는 영상 센서가 적용될 수 있다. 이를 통해, 움직임이 감지된 경우에만 얼굴/제스쳐 감지부(125)를 웨이크업시킴으로써 전체적으로 저전력으로 구현 가능하다.In this case, the PIR sensor may be applied to the motion detector 110, and the image sensor may be applied to the face / gesture detector 125. As a result, the face / gesture detection unit 125 may be woken up only when a motion is detected, and thus may be implemented at low power.
이외 동작 방법에 대해서는 앞서 설명한 바와 동일한 바 생략한다.Other operations will be omitted as described above.
도 8은 본 발명의 제3 예에 따른 제스쳐 인식 장치를 나타낸 도면이다.8 is a diagram illustrating a gesture recognizing apparatus according to a third example of the present invention.
도 8에 도시된 바와 같이, 제1 예의 움직임 감지부(10) 및 얼굴 감지부(20)는 하나의 구성 요소로서 통합하여 동작할 수 있다.As shown in FIG. 8, the motion detector 10 and the face detector 20 of the first example may be integrated and operate as one component.
이때, 움직임/얼굴 감지부(215)로는 PIR 센서가 적용될 수 있으며, 제스쳐 감지부(230)로는 영상 센서가 적용될 수 있다. 이를 통해, 움직임/얼굴 감지 동작은 저전력으로 구동 가능한 PIR 센서를 이용하여 수행하며, 얼굴이 감지된 경우에만 제스쳐 감지부(230)를 웨이크업시킴으로써 전체적으로 저전력으로 구현 가능하다.In this case, the PIR sensor may be applied to the motion / face detector 215 and the image sensor may be applied to the gesture detector 230. Through this, the motion / face detection operation is performed by using the PIR sensor which can be driven at a low power, and can be realized at low power as a whole by waking up the gesture detector 230 only when a face is detected.
이외 동작 방법에 대해서는 앞서 설명한 바와 동일한 바 생략한다.Other operations will be omitted as described above.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

Claims (21)

  1. 움직임 감지부, 얼굴 감지부, 제스쳐 감지부 및 결과 출력부를 포함하는 제스쳐 감지 장치에 있어서,In the gesture detection device comprising a motion detector, a face detector, a gesture detector and a result output unit,
    사용자의 움직임(모션)을 감지하고, 움직임 감지시 상기 얼굴 감지부로 제1 웨이크업(wake up) 신호를 전달하는 움직임 감지부;A motion detector configured to detect a user's motion (motion) and to transmit a first wake up signal to the face detector when motion is detected;
    제1 상태로 동작하다 상기 움직임 감지부로부터 제1 웨이크업 신호를 수신하게 되면 일정 시간 동안 제2 상태로 동작하며 사용자의 얼굴을 감지하고 다시 제1 상태로 복귀하고, 얼굴 감지시 상기 제스쳐 감지부로 제2 웨이크업 신호를 전달하는 얼굴 감지부;When the first wake-up signal is received from the motion detection unit, the device operates in the second state for a predetermined time, detects a user's face, returns to the first state, and detects a face to the gesture detection unit. A face detector for transmitting a second wake-up signal;
    제1 상태로 동작하다 상기 얼굴 감지부로부터 제2 웨이크업 신호를 수신하게 되면 일정 시간 동안 제2 상태로 동작하며 사용자의 제스쳐를 감지하고 다시 제1 상태로 복귀하고, 제스쳐 감지시 감지된 제스쳐에 대응되는 동작 신호를 출력하는 제스쳐 감지부; 및When the second wake-up signal is received from the face detection unit, the device operates in the second state for a predetermined time, detects the user's gesture, returns to the first state, and detects the gesture. A gesture detector for outputting a corresponding operation signal; And
    상기 제스쳐 감지부로부터 수신된 동작 신호에 대응한 동작을 수행하는 결과 출력부;를 포함하는 제스쳐 감지 장치.And a result output unit configured to perform an operation corresponding to the operation signal received from the gesture detection unit.
  2. 제1 항에 있어서,The method of claim 1,
    상기 제1 상태는 제2 상태에 비해 적은 량의 전력을 소모하는 동작 상태인 것을 특징으로 하는 제스쳐 감지 장치.And wherein the first state is an operating state that consumes less power than the second state.
  3. 제 2항에 있어서,The method of claim 2,
    상기 제1 상태는 파워 오프(Power Off) 상태 또는 슬립(sleep) 상태인 것을 특징으로 하는 제스쳐 감지 장치.And the first state is a power off state or a sleep state.
  4. 제 1항에 있어서,The method of claim 1,
    상기 얼굴 감지부는,The face detection unit,
    감지된 사용자의 얼굴 방향이 상기 얼굴 감지부를 기준으로 일정 각도 이내인 경우에만 사용자의 얼굴이 감지된 것으로 판단하는 것을 특징으로 하는 제스쳐 감지 장치.Gesture detection device, characterized in that it is determined that the user's face is detected only when the detected direction of the user's face is within a predetermined angle with respect to the face detection unit.
  5. 제 1항에 있어서,The method of claim 1,
    상기 얼굴 감지부는,The face detection unit,
    감지된 사용자의 얼굴 크기가 제1 문턱값 이상이며 제2 문턱값 이하인 경우에만 사용자의 얼굴이 감지된 것으로 판단하는 것을 특징으로 하는 제스쳐 감지 장치.And detecting that the user's face is detected only when the detected user's face size is greater than or equal to the first threshold and less than or equal to the second threshold.
  6. 제 1항에 있어서,The method of claim 1,
    상기 얼굴 감지부는,The face detection unit,
    사용자의 얼굴 감지시, 감지된 얼굴을 제스쳐 감지 대상으로 선정하여 이에 대한 위치 정보를 상기 제스쳐 감지부로 추가적으로 전달하고,When the user's face is detected, the detected face is selected as a gesture detection target, and location information about the detected face is additionally transmitted to the gesture detection unit.
    상기 제스쳐 감지부는,The gesture detection unit,
    상기 얼굴 감지부로부터 제공된 제스쳐 감지 대상에 대한 위치 정보에 기반하여 사용자의 제스쳐 감지 영역을 설정하여 상기 제스쳐 감지 영역에 대해서만 제스쳐 감지를 수행하는 것을 특징으로 하는 제스쳐 감지 장치.And detecting a gesture only for the gesture detection area by setting a user's gesture detection area based on location information of a gesture detection target provided from the face detection unit.
  7. 제 6항에 있어서,The method of claim 6,
    상기 얼굴 감지부는,The face detection unit,
    복수 개의 얼굴 감지시, 이중 어느 하나의 얼굴을 제스쳐 감지 대상으로 선정하여 이에 대한 위치 정보를 상기 제스쳐 감지부로 추가적으로 전달하고,Upon detecting a plurality of faces, one of the faces is selected as a gesture detection target, and the position information is additionally transmitted to the gesture detection unit.
    상기 제스쳐 감지부는,The gesture detection unit,
    상기 얼굴 감지부로부터 제공된 제스쳐 감지 대상에 대한 위치 정보에 기반하여 사용자의 제스쳐 감지 영역을 설정하여 상기 제스쳐 감지 영역에 대해서만 제스쳐 감지를 수행하는 것을 특징으로 하는 제스쳐 감지 장치.And detecting a gesture only for the gesture detection area by setting a user's gesture detection area based on location information of a gesture detection target provided from the face detection unit.
  8. 제 7항에 있어서,The method of claim 7, wherein
    상기 얼굴 감지부는,The face detection unit,
    복수 개의 얼굴 감지시, 상기 움직임 감지부를 통해 감지된 움직임 정보에 가장 가까운 얼굴을 제스쳐 감지 대상으로 선정하는 것을 특징으로 하는 제스쳐 감지 장치.And detecting a face closest to the motion information detected by the motion detector as a gesture detection target when detecting a plurality of faces.
  9. 제 7항에 있어서,The method of claim 7, wherein
    상기 얼굴 감지부는,The face detection unit,
    복수 개의 얼굴 감지시, 상기 움직임 감지부를 통해 감지된 움직임 정보와 전부 또는 일부가 중첩되는 얼굴을 제스쳐 감지 대상으로 선정하는 것을 특징으로 하는 제스쳐 감지 장치.When detecting a plurality of faces, the gesture detection device characterized in that for selecting a gesture detection target for the face overlapping all or part of the motion information detected by the motion detection unit.
  10. 제 6항에 있어서,The method of claim 6,
    상기 제스쳐 감지부는,The gesture detection unit,
    상기 제스쳐 감지 대상의 위치를 기준으로 일정 범위 이내의 영역을 제스쳐 감지 영역으로 설정하는 것을 특징으로 하는 제스쳐 감지 장치.Gesture sensing device, characterized in that for setting a region within a predetermined range as a gesture sensing area based on the position of the gesture detection target.
  11. 제 6항에 있어서,The method of claim 6,
    상기 제스쳐 감지부는,The gesture detection unit,
    상기 제스쳐 감지 대상의 위치로부터 일정 거리 이격된 일정 크기의 영역을 제스쳐 감지 영역으로 설정하는 것을 특징으로 하는 제스쳐 감지 장치.Gesture sensing device, characterized in that for setting a region of a predetermined size spaced apart from the position of the gesture detection target as a gesture sensing area.
  12. 제 1항에 있어서,The method of claim 1,
    상기 제스쳐 감지부는,The gesture detection unit,
    사용자의 제스쳐의 모양 및 움직임 방향을 감지하고, 이에 대응되는 동작 신호를 출력하는 것을 특징으로 하는 제스쳐 감지 장치.Gesture detection device for detecting the shape and direction of movement of the user gesture, and outputs a corresponding motion signal.
  13. 제 1항에 있어서,The method of claim 1,
    상기 얼굴 감지부를 통해 얼굴 감지시 상기 제스쳐 감지부가 사용자의 제스쳐를 감지하는 일정 시간 동안 알람 정보를 제공하는 알람부;를 더 포함하는 것을 특징으로 하는 제스쳐 감지 장치.And an alarm unit configured to provide alarm information for a predetermined time when the gesture detection unit detects a user's gesture when detecting a face through the face detection unit.
  14. 움직임 감지부, 얼굴/제스쳐 감지부 및 결과 출력부를 포함하는 제스쳐 감지 장치에 있어서,In the gesture detection device comprising a motion detector, a face / gesture detector and a result output unit,
    사용자의 움직임(모션)을 감지하고, 움직임 감지시 상기 얼굴/제스쳐 감지부로 웨이크업(wake up) 신호를 전달하는 움직임 감지부;A motion detection unit for detecting a user's motion (motion) and transmitting a wake up signal to the face / gesture detection unit when the motion is detected;
    제1 상태로 동작하다 상기 움직임 감지부로부터 웨이크업 신호를 수신하게 되면 일정 시간 동안 제2 상태로 동작하며 사용자의 얼굴을 감지하고, 얼굴 감지시 일정 시간 동안 사용자의 제스쳐를 감지하여 감지된 제스쳐에 대응되는 동작 신호를 출력하되, 일정 시간 동안 사용자의 얼굴이 감지되지 않거나 제스쳐가 감지되지 않으면 제1 상태로 복귀하는 얼굴/제스쳐 감지부; 및When the wake-up signal is received from the motion detection unit, the device operates in the second state for a predetermined time, detects a user's face, and detects a user's gesture for a predetermined time. A face / gesture detection unit that outputs a corresponding operation signal and returns to a first state when a user's face is not detected or a gesture is not detected for a predetermined time; And
    상기 얼굴/제스쳐 감지부로부터 수신된 동작 신호에 대응한 동작을 수행하는 결과 출력부;를 포함하는 제스쳐 감지 장치.And a result output unit configured to perform an operation corresponding to the operation signal received from the face / gesture detection unit.
  15. 제 14항에 있어서,The method of claim 14,
    상기 제1 상태는 제2 상태에 비해 적은 량의 전력을 소모하는 동작 상태인 것을 특징으로 하는 제스쳐 감지 장치.And wherein the first state is an operating state that consumes less power than the second state.
  16. 제 14항에 있어서,The method of claim 14,
    상기 얼굴/제스쳐 감지부는,The face / gesture detection unit,
    상기 움직임 감지부로부터 웨이크업 신호를 수신하게 되면 일정 시간 동안 사용자의 얼굴을 감지하고 감지된 얼굴을 제스쳐 감지 대상으로 선정하는 얼굴 감지부; 및A face detector for detecting a face of a user for a predetermined time and selecting the detected face as a gesture detection target when receiving a wake-up signal from the motion detector; And
    상기 얼굴 감지부로부터 선정된 제스쳐 감지 대상에 대한 정보를 전달받고, 상기 제스쳐 감지 대상에 대한 정보에 기반하여 사용자의 제스쳐 감지 영역을 설정하고 상기 제스쳐 감지 영역에 대해서만 제스쳐 감지를 수행하는 제스쳐 감지부;를 포함하는 것을 특징으로 하는 제스쳐 감지 장치.A gesture detection unit receiving information on the selected gesture detection object from the face detection unit, setting a gesture detection area of the user based on the information on the gesture detection object, and performing gesture detection only on the gesture detection area; Gesture detection device comprising a.
  17. 제 16항에 있어서,The method of claim 16,
    상기 제스쳐 감지부는,The gesture detection unit,
    상기 제스쳐 감지 대상의 위치를 기준으로 일정 범위 이내의 영역을 제스쳐 감지 영역으로 설정하는 것을 특징으로 하는 제스쳐 감지 장치.Gesture sensing device, characterized in that for setting a region within a predetermined range as a gesture sensing area based on the position of the gesture detection target.
  18. 모션/얼굴 감지부, 제스쳐 감지부 및 결과 출력부를 포함하는 제스쳐 감지 장치에 있어서,In the gesture detection device comprising a motion / face detection unit, a gesture detection unit and a result output unit,
    사용자의 움직임(모션)을 감지하고, 움직임 감지시 사용자의 얼굴을 감지하며, 얼굴 감지시 상기 제스쳐 감지부로 웨이크업(wake up) 신호를 전달하는 모션/얼굴 감지부;A motion / face detection unit configured to detect a user's motion (motion), detect a user's face when the motion is detected, and transmit a wake up signal to the gesture detector when the face is detected;
    제1 상태로 동작하다 상기 모션/얼굴 감지부로부터 웨이크업 신호를 수신하게 되면 일정 시간 동안 제2 상태로 동작하며 사용자의 제스쳐를 감지하고 다시 제1 상태로 복귀하고, 제스쳐 감지시 감지된 제스쳐에 대응되는 동작 신호를 출력하는 제스쳐 감지부; 및Operating in the first state When receiving the wake-up signal from the motion / face detection unit, the device operates in the second state for a predetermined time, detects the user's gesture and returns to the first state, and detects the gesture when the gesture is detected. A gesture detector for outputting a corresponding operation signal; And
    상기 제스쳐 감지부로부터 수신된 동작 신호에 대응한 동작을 수행하는 결과 출력부;를 포함하는 제스쳐 감지 장치.And a result output unit configured to perform an operation corresponding to the operation signal received from the gesture detection unit.
  19. 제 18항에 있어서,The method of claim 18,
    상기 제1 상태는 제2 상태에 비해 적은 량의 전력을 소모하는 동작 상태인 것을 특징으로 하는 제스쳐 감지 장치.And wherein the first state is an operating state that consumes less power than the second state.
  20. 제 18항에 있어서,The method of claim 18,
    상기 모션/얼굴 감지부는,The motion / face detection unit,
    사용자의 얼굴 감지시 감지된 얼굴을 제스쳐 감지 대상으로 선정하고, 상기 제스쳐 감지 대상에 대한 위치 정보를 상기 제스쳐 감지부로 추가적으로 전달하고,Selecting a detected face as a gesture detection target when detecting a user's face, and additionally transmits the position information on the gesture detection target to the gesture detection unit,
    상기 제스쳐 감지부는,The gesture detection unit,
    상기 모션/얼굴 감지부로부터 전달받은 제스쳐 감지 대상에 대한 위치 정보에 기반하여 사용자의 제스쳐 감지 영역을 설정하고 상기 제스쳐 감지 영역에 대해서만 제스쳐 감지를 수행하는 제스쳐 감지부;를 포함하는 것을 특징으로 하는 제스쳐 감지 장치.And a gesture detector configured to set a user's gesture detection area based on the location information on the gesture detection object received from the motion / face detection unit and perform gesture detection only for the gesture detection area. Sensing device.
  21. 제 20항에 있어서,The method of claim 20,
    상기 제스쳐 감지부는,The gesture detection unit,
    상기 제스쳐 감지 대상의 위치를 기준으로 일정 범위 이내의 영역을 제스쳐 감지 영역으로 설정하는 것을 특징으로 하는 제스쳐 감지 장치.Gesture sensing device, characterized in that for setting a region within a predetermined range as a gesture sensing area based on the position of the gesture detection target.
PCT/KR2015/007407 2015-07-16 2015-07-16 Gesture recognition device WO2017010593A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2015/007407 WO2017010593A1 (en) 2015-07-16 2015-07-16 Gesture recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2015/007407 WO2017010593A1 (en) 2015-07-16 2015-07-16 Gesture recognition device

Publications (1)

Publication Number Publication Date
WO2017010593A1 true WO2017010593A1 (en) 2017-01-19

Family

ID=57757992

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/007407 WO2017010593A1 (en) 2015-07-16 2015-07-16 Gesture recognition device

Country Status (1)

Country Link
WO (1) WO2017010593A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107422859A (en) * 2017-07-26 2017-12-01 广东美的制冷设备有限公司 Regulation and control method, apparatus and computer-readable recording medium and air-conditioning based on gesture
KR20200121513A (en) * 2019-04-16 2020-10-26 경북대학교 산학협력단 Device and method for recognizing motion using deep learning, recording medium for performing the method
KR102437979B1 (en) * 2022-02-22 2022-08-30 주식회사 마인드포지 Apparatus and method for interfacing with object orientation based on gesture

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130229508A1 (en) * 2012-03-01 2013-09-05 Qualcomm Incorporated Gesture Detection Based on Information from Multiple Types of Sensors
WO2013133624A1 (en) * 2012-03-06 2013-09-12 모젼스랩 주식회사 Interface apparatus using motion recognition, and method for controlling same
KR20130109031A (en) * 2012-03-26 2013-10-07 실리콤텍(주) Motion gesture recognition module and method for recognizing motion gesture thereof
EP2680191A2 (en) * 2012-06-26 2014-01-01 Google Inc. Facial recognition
US20140368423A1 (en) * 2013-06-17 2014-12-18 Nvidia Corporation Method and system for low power gesture recognition for waking up mobile devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130229508A1 (en) * 2012-03-01 2013-09-05 Qualcomm Incorporated Gesture Detection Based on Information from Multiple Types of Sensors
WO2013133624A1 (en) * 2012-03-06 2013-09-12 모젼스랩 주식회사 Interface apparatus using motion recognition, and method for controlling same
KR20130109031A (en) * 2012-03-26 2013-10-07 실리콤텍(주) Motion gesture recognition module and method for recognizing motion gesture thereof
EP2680191A2 (en) * 2012-06-26 2014-01-01 Google Inc. Facial recognition
US20140368423A1 (en) * 2013-06-17 2014-12-18 Nvidia Corporation Method and system for low power gesture recognition for waking up mobile devices

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107422859A (en) * 2017-07-26 2017-12-01 广东美的制冷设备有限公司 Regulation and control method, apparatus and computer-readable recording medium and air-conditioning based on gesture
CN107422859B (en) * 2017-07-26 2020-04-03 广东美的制冷设备有限公司 Gesture-based regulation and control method and device, computer-readable storage medium and air conditioner
KR20200121513A (en) * 2019-04-16 2020-10-26 경북대학교 산학협력단 Device and method for recognizing motion using deep learning, recording medium for performing the method
KR102192051B1 (en) * 2019-04-16 2020-12-16 경북대학교 산학협력단 Device and method for recognizing motion using deep learning, recording medium for performing the method
KR102437979B1 (en) * 2022-02-22 2022-08-30 주식회사 마인드포지 Apparatus and method for interfacing with object orientation based on gesture

Similar Documents

Publication Publication Date Title
AU2014297039B2 (en) Auto-cleaning system, cleaning robot and method of controlling the cleaning robot
WO2017039308A1 (en) Virtual reality display apparatus and display method thereof
WO2019107741A1 (en) Method for detecting wear using plurality of sensors and electronic device implementing same
EP3281058A1 (en) Virtual reality display apparatus and display method thereof
WO2018009029A1 (en) Electronic device and operating method thereof
WO2020059939A1 (en) Artificial intelligence device
WO2017010593A1 (en) Gesture recognition device
EP3281089A1 (en) Smart device and method of operating the same
WO2009157654A2 (en) Method and apparatus for detecting a slide touch, and recording medium where program for implementing the method is recorded
WO2018208093A1 (en) Method for providing haptic feedback, and electronic device for performing same
WO2020091505A1 (en) Electronic device and method for intelligent interaction thereof
WO2017023140A1 (en) Device and method for managing power in electronic device
WO2020180051A1 (en) Electronic apparatus and control method thereof
WO2021047070A1 (en) Terminal photographing method and apparatus, mobile terminal, and readable storage medium
WO2018143509A1 (en) Moving robot and control method therefor
WO2020141727A1 (en) Healthcare robot and control method therefor
WO2017215354A1 (en) Measurement gauge data storage method and apparatus
WO2021080171A1 (en) Method and device for sensing wearing using inertial sensor
WO2015194697A1 (en) Video display device and operating method thereof
WO2020076055A1 (en) Electronic device including pen input device and method of operating the same
WO2018120717A1 (en) Method and device for controlling air conditioner
WO2019143122A1 (en) Display device, display system, and control method therefor
WO2019004531A1 (en) User signal processing method and device for performing method
WO2022019582A1 (en) Robot and control method therefor
WO2020153691A1 (en) Electronic apparatus and controlling method therefor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15898354

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15898354

Country of ref document: EP

Kind code of ref document: A1