KR20130072606A - Apparatus for providing input interface and operating method thereof - Google Patents
Apparatus for providing input interface and operating method thereof Download PDFInfo
- Publication number
- KR20130072606A KR20130072606A KR1020110140111A KR20110140111A KR20130072606A KR 20130072606 A KR20130072606 A KR 20130072606A KR 1020110140111 A KR1020110140111 A KR 1020110140111A KR 20110140111 A KR20110140111 A KR 20110140111A KR 20130072606 A KR20130072606 A KR 20130072606A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- user
- gesture input
- input
- sensor unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/04164—Connections between sensors and controllers, e.g. routing lines between electrodes and connection pads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
정보 단말기, 이를테면 노트북 컴퓨터의 입력 인터페이스 제공 장치에 연관되며, 보다 특정하게는 기존의 터치 패드에서 진보하여 사용자의 손 모양 제스처 입력을 식별할 수 있는 입력 인터페이스 제공 장치 및 그 동작 방법에 연관된다.The present invention relates to an input terminal providing apparatus of an information terminal, such as a notebook computer, and more particularly, to an input interface providing apparatus capable of identifying a user's hand gesture input by advancing from an existing touch pad and a method of operating the same.
터치 패드는 노트북환경에서 가장 흔하게 사용되는 포인팅 장치이다. 전형적으로, 노트북 터치패드는 키보드 아래의 작은 사각형 영역에 위치한다.The touch pad is the pointing device most commonly used in notebook environments. Typically, laptop touchpads are located in a small rectangular area below the keyboard.
종래의 터치 패드는, 주로 사용자의 손가락 터치에 대응하는 포인팅 입력을 인식하여 마우스 포인터(pointer) 또는 커서(curser)의 이동이나 클릭(click) 입력에 연관시키는 기능을 수행하였다.Conventional touch pads primarily recognize a pointing input corresponding to a user's finger touch and perform a function of associating a mouse pointer or cursor with movement or click input.
그러나, 최근에는 사용자의 터치 앤드 스와이프(swipe) 입력 등을 인식하여 추가적 터치 제스처(gesture)로 연결하는 기기들이 등장하는 등, 입력 인터페이스의 기술적 흐름에 변화가 생겼다.Recently, however, there has been a change in the technical flow of the input interface, such as devices that recognize a user's touch and swipe input and connect with additional touch gestures.
이를테면, 핑거 줌밍(finger zooming) 혹은 멀티 터치 제스처들이 노트북 터치 패드에도 도입되고 있으며, 스마트폰과 같은 터치스크린에서 쓰던 자연스러운 멀티 조작들이 기존의 터치 패드에서도 가능해지고 있는 것이다.For example, finger zooming or multi-touch gestures are being introduced into a notebook touch pad, and natural multi-operations used in a touch screen such as a smart phone are also enabled in a conventional touch pad.
이러한 변화에 따라 멀티터치 인식을 위해서 터치 패드의 면적 또한 조금씩 커지는 추세이고, 이러한 터치 패드 크기의 변화는 기존의 멀티 터치 제스처 이외에도 간단한 영역, 손 모양 제스처들이 노트북 터치패드에서도 가능성을 제시한다.According to these changes, the area of the touch pad is also gradually increased for multi-touch recognition, and the change in the size of the touch pad suggests the possibility of simple area and hand gestures in the notebook touch pad in addition to the existing multi-touch gestures.
하지만, 기존의 터치 패드에서 일정 영역의 손 모양 제스처를 인식하기는 상당히 어렵다. 왜냐하면, 기존의 터치패드에서는 터치된 포인트만을 입력으로 사용하고 있기 때문이다.However, it is very difficult to recognize a hand gesture in a certain area in a conventional touch pad. This is because the existing touch pad uses only the touched point as an input.
또한, 터치 패드에 직접 접촉하고 있는 부분이 아닌 터치 패드에 근접한 손 부분은 전혀 인식이 되지 않기 때문에, 손 모양 제스처를 인식하게 하려면 손바닥 전체가 화면에 닿아야 한다는 것이다.In addition, since the hand near the touch pad is not recognized at all, instead of directly touching the touch pad, the entire palm of the palm must touch the screen to recognize the hand gesture.
따라서, 종래의 터치 패드 기능을 뛰어 넘는, 손 모양의 제스처가 가능한 새로운 입력 인터페이스 제공 장치가 요구된다.Therefore, there is a need for a new input interface providing apparatus capable of a hand gesture that goes beyond the conventional touch pad function.
사용자의 손 모양이나 특정 제스처를 식별할 수 있는 입력 인터페이스 제공 장치 및 그 동작 방법이 제공된다.An input interface providing apparatus capable of identifying a user's hand or a specific gesture and a method of operating the same are provided.
한편, 제스처 입력 인식이 가능하면서도 키보드 입력 시의 의도하지 않은 터치는 무시할 수 있는 입력 인터페이스 제공 장치 및 방법이 제공된다.An apparatus and method for providing an input interface capable of recognizing gesture input and ignoring an unintentional touch during keyboard input are provided.
본 발명의 일측에 따르면, 포토 트랜지스터 어레이를 이용하여 사용자의 제스처 입력에 연관된 영상을 생성하는 센서부, 및 상기 영상을 이용하여 상기 사용자의 제스처 입력을 식별하는 판단부를 포함하는 입력 인터페이스 제공 장치가 제공된다.According to an aspect of the present invention, there is provided an input interface providing apparatus including a sensor unit for generating an image associated with a gesture input of a user using a photo transistor array, and a determination unit for identifying the gesture input of the user using the image. do.
본 발명의 일실시예에 따르면, 상기 센서부는, 제어부의 제어에 의해 순차적으로 발광하는 복수 개의 LED를 포함하는 LED 매트릭스, 및 상기 순차적으로 발광된 빛이 상기 사용자의 제스처 입력에 대응하여 반사된 빛을 수신하여 상기 영상을 생성하는 복수 개의 포토트랜지스터를 포함하는 포토 트랜지스터 어레이를 포함한다.According to one embodiment of the invention, the sensor unit, the LED matrix including a plurality of LEDs to sequentially emit light under the control of the control unit, and the light emitted by the sequentially emitted light in response to the user's gesture input And a photo transistor array including a plurality of photo transistors to receive and generate the image.
본 발명의 일실시예에 따르면, 상기 판단부는, 상기 영상에 제1 마스크를 적용하여, 상기 사용자의 제스처 입력이 상기 사용자의 키보드 타이핑에 대응하는 것인 경우, 상기 제스처 입력을 무시할 수 있다.According to an embodiment of the present disclosure, the determination unit may apply the first mask to the image and ignore the gesture input when the gesture input of the user corresponds to the keyboard typing of the user.
또한, 상기 판단부는, 상기 영상에 제2 마스크를 적용하여, 상기 사용자의 제스처 입력이 포인팅에 대응하는지의 여부를 판단할 수 있다.The determination unit may determine whether the gesture input of the user corresponds to a pointing by applying a second mask to the image.
여기서 상기 판단부는, 상기 판단의 결과 상기 사용자의 제스처 입력이 포인팅 입력에 대응하는 경우, 상기 영상에 상기 사용자의 손가락 끝 부분의 위치를 검출하는 필터를 적용하여 상기 사용자의 손가락 끝 부분의 위치를 결정할 수 있다.The determination unit may determine the position of the user's fingertip by applying a filter for detecting the position of the user's fingertip to the image when the gesture input of the user corresponds to a pointing input. Can be.
나아가, 상기 판단부는, 상기 판단의 결과 상기 사용자의 제스처 입력이 면적 제스처 입력에 대응하는 경우, 상기 영상에 미리 설정된 복수 개의 면적 제스처 입력의 종류 각각에 대응하는 복수 개의 제3 마스크를 적용하여 상기 면적 제스처 입력의 종류를 결정할 수도 있다.Further, when the gesture input of the user corresponds to an area gesture input as a result of the determination, the determination unit applies the plurality of third masks corresponding to each type of a plurality of area gesture inputs preset in the image to the area. The type of gesture input may be determined.
이 경우, 상기 판단부는, 상기 판단의 결과 상기 사용자의 제스처 입력이 면적 제스처 입력에 대응하는 경우, 상기 영상의 주방향 성분을 분석(Principal component analysis)하여 상기 면적 제스처 입력의 종류를 결정할 수도 있다.In this case, the determination unit may determine the type of the area gesture input by analyzing a principal component of the image when the gesture input of the user corresponds to the area gesture input as a result of the determination.
본 발명의 일실시예에 따르면, 상기 입력 인터페이스 장치는 상기 영상으로부터 상기 센서부 주변 광의 영향을 제거하고, 상기 영상을 정규화하여 전처리된 영상을 상기 판단부에 제공하는 처리부를 더 포함하고, 상기 판단부는 상기 전처리된 영상을 이용하여 상기 사용자의 제스처 입력을 식별할 수 있다.According to an embodiment of the present invention, the input interface device further includes a processing unit which removes the influence of ambient light from the sensor unit from the image, normalizes the image, and provides a preprocessed image to the determination unit. The unit may identify the gesture input of the user by using the preprocessed image.
본 발명의 다른 일측에 따르면, 사용자의 제스처 입력에 연관된 영상을 생성하는 센서부, 상기 영상으로부터 상기 센서부 주변 광의 영향을 제거하고, 상기 영상을 정규화하고, 상기 정규화된 영상의 감마 보정을 수행하고, 상기 감마 보정된 결과를 보간하여 전처리된 영상을 제공하는 처리부, 및 상기 전처리된 영상을 이용하여 상기 사용자의 제스처 입력을 식별하는 판단부를 포함하는 입력 인터페이스 제공 장치가 제공된다.According to another aspect of the invention, the sensor unit for generating an image associated with the user's gesture input, removes the influence of the ambient light of the sensor unit from the image, normalize the image, perform gamma correction of the normalized image And a processor configured to provide a preprocessed image by interpolating the gamma corrected result, and a determiner configured to identify a gesture input of the user using the preprocessed image.
여기서 상기 센서부는, 제어부의 제어에 의해 순차적으로 발광하는 복수 개의 LED를 포함하는 LED 매트릭스, 및 상기 순차적으로 발광된 빛이 상기 사용자의 제스처 입력에 대응하여 반사된 빛을 수신하여 상기 영상을 생성하는 복수 개의 포토트랜지스터를 포함하는 포토 트랜지스터 어레이를 포함할 수 있다.The sensor unit may include an LED matrix including a plurality of LEDs that sequentially emit light under the control of a controller, and receive the light reflected by the sequentially emitted light corresponding to a gesture input of the user to generate the image. It may include a photo transistor array including a plurality of phototransistors.
본 발명의 또 다른 일측에 따르면, 사용자의 제스처 입력에 연관된 영상을 생성하는 센서부, 및 상기 영상에 복수 개의 마스크 중 제1 마스크를 적용하여 상기 영상이 상기 제1 마스크에 대응하는 경우, 상기 사용자의 제스처 입력은 상기 제1 마스크에 대응하는 제스처 입력인 것으로 판단하는 판단부를 포함하는 입력 인터페이스 제공 장치가 제공된다.According to another aspect of the invention, the sensor unit for generating an image associated with the user's gesture input, and when the image corresponds to the first mask by applying a first mask of a plurality of masks to the image, the user The apparatus for providing an input interface includes a determining unit determining that the gesture input of the gesture is a gesture input corresponding to the first mask.
이 경우, 상기 복수 개의 마스크는, 상기 사용자의 제스처 입력이 상기 사용자의 키보드 타이핑에 대응하는 지의 여부를 판단하는 마스크, 상기 사용자의 제스처 입력이 상기 센서부의 왼쪽을 커버하는 지의 여부를 판단하는 마스크, 상기 사용자의 제스처 입력이 상기 센서부의 오른쪽을 커버하는 지의 여부를 판단하는 마스크, 및 상기 사용자의 제스처 입력이 상기 센서부의 전체를 커버하는 지의 여부를 판단하는 마스크 중 적어도 하나를 포함할 수 있다.In this case, the plurality of masks may include a mask for determining whether the user's gesture input corresponds to the user's keyboard typing, a mask for determining whether the user's gesture input covers the left side of the sensor unit, And a mask for determining whether the user's gesture input covers the right side of the sensor unit, and a mask for determining whether the user's gesture input covers the entire sensor unit.
본 발명의 또 다른 일측에 따르면, 센서부가 포토 트랜지스터 어레이를 이용하여 센서부 상의 사용자 손 모양에 연관된 영상을 생성하는 단계, 처리부가 상기 영상을 전처리하여 상기 영상에 대응하는 전처리된 영상을 생성하는 단계, 및 판단부가 상기 전처리된 영상을 이용하여 상기 사용자 손 모양에 대응하는 제스처 입력을 결정하는 단계를 포함하는 입력 인터페이스 동작 방법이 제공된다.According to another aspect of the invention, the sensor unit using the photo transistor array to generate an image associated with the user's hand shape on the sensor unit, the processor pre-processing the image to generate a pre-processed image corresponding to the image And determining, by the determination unit, a gesture input corresponding to the shape of the user's hand using the preprocessed image.
본 발명의 또 다른 일측에 따르면, 센서부가 포토 트랜지스터 어레이를 순차적으로 발광시키고, 발광된 빛이 센서부 상의 사용자 손에 반사된 반사광을 수신하여 상기 센서부 상의 사용자 손 모양을 스캔한 영상을 생성하는 단계, 및 판단부가 상기 스캔한 영상을 이용하여 상기 사용자 손 모양에 대응하는 제스처 입력을 결정하는 단계를 포함하는 입력 인터페이스 동작 방법이 제공된다.According to another aspect of the invention, the sensor unit sequentially emits the photo transistor array, and the emitted light receives the reflected light reflected by the user's hand on the sensor unit to generate an image of the user's hand scan on the sensor unit And determining, by the determination unit, a gesture input corresponding to the shape of the user's hand using the scanned image.
종래의 터치 패드의 기능적 한계를 극복하여, 사용자의 손 모양이나 특정 제스처를 인식 및 식별할 수 있어, 사용자 인터페이스(User Interface)의 확장성이 크게 향상된다.By overcoming the functional limitations of the conventional touch pad, the user's hand shape or a specific gesture can be recognized and identified, thereby greatly improving the expandability of the user interface.
또한, 제스처 입력 인식과 포인팅 입력 등을 구분하여 수행할 수 있으면서도, 키보드 입력 시의 의도하지 않은 터치는 무시할 수 있어, 사용자 불편은 최소화 된다.In addition, while performing gesture input recognition and pointing input, the user may ignore an unintentional touch during keyboard input, thereby minimizing user inconvenience.
도 1은 본 발명의 일실시예에 따른 입력 인터페이스 제공 장치(100)를 도시하는 블록도이다.
도 2는 본 발명의 일실시예에 따른 입력 인터페이스 제공 장치(100)의 예시적 구현을 나타내는 블록도이다.
도 3은 본 발명의 일실시예에 따른 입력 인터페이스 제공 장치(100)의 동작을 기존의 터치 패드와 대비하여 설명하기 위한 개념도이다.
도 4는 본 발명의 일실시예에 따른 입력 인터페이스 제공 장치(100)의 센서부(110)의 단면도 및 평면도를 도시한다.
도 5는 본 발명의 일실시예에 따른 센서부(110)의 LED 매트릭스 및 포토 트랜지스터 어레이의 예시적 구현을 도시하는 회로도이다.
도 6은 본 발명의 일실시예에 따른 처리부(130)의 동작을 도시하는 흐름도이다.
도 7은 본 발명의 일실시예에 따른 입력 인터페이스 제공 장치(100)의 동작 방법을 도시하는 흐름도이다.
도 8은 본 발명의 일실시예에 따른 입력 인터페이스 제공 장치(100)가 식별하는 예시적 제스처 입력의 종류를 도시한다.
도 9는 본 발명의 일실시예에 따른 입력 인터페이스 제공 장치(100)의 동작을 설명하기 위한 예시적 그림이다.
도 10은 본 발명의 일실시예에 따른 입력 인터페이스 제공 장치(100)가 판단한 제스처 입력에 따른 화면 제어를 설명하기 위한 예시적 그림이다.1 is a block diagram illustrating an input
2 is a block diagram illustrating an exemplary implementation of the input
3 is a conceptual diagram illustrating an operation of the input
4 is a cross-sectional view and a plan view of the
5 is a circuit diagram illustrating an exemplary implementation of an LED matrix and a photo transistor array of a
6 is a flowchart illustrating the operation of the
7 is a flowchart illustrating a method of operating the input
8 illustrates a type of exemplary gesture input identified by the input
9 is an exemplary diagram for explaining an operation of the input
FIG. 10 is an exemplary diagram for describing screen control according to a gesture input determined by the input
이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, some embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the present invention is not limited to or limited by the embodiments. Like reference symbols in the drawings denote like elements.
도 1은 본 발명의 일실시예에 따른 입력 인터페이스 제공 장치(100)를 도시하는 블록도이다.1 is a block diagram illustrating an input
본 발명의 일실시예에 따르면, 인터페이스 제공 장치(100)는, 포토 트랜지스터 어레이를 이용하여 사용자의 제스처 입력에 연관된 영상을 생성하는 센서부(110), 및 상기 영상을 이용하여 상기 사용자의 제스처 입력을 식별하는 판단부(140)를 포함한다.According to an embodiment of the present disclosure, the
이 경우, 센서부(110)는 제어부(120)의 제어에 의해 순차적으로 발광하는 복수 개의 LED를 포함하는 LED 매트릭스와, 상기 순차적으로 발광된 빛이 상기 사용자의 제스처 입력에 대응하여 반사된 빛을 수신하여 상기 영상을 생성하는 복수 개의 포토트랜지스터를 포함하는 포토 트랜지스터 어레이를 포함할 수 있다.In this case, the
또한, 상기 인터페이스 제공 장치(100)는 상기 영상으로부터 상기 센서부 주변 광의 영향을 제거하고, 상기 영상을 정규화하여 전처리된 영상을 상기 판단부에 제공하는 처리부(130)를 더 포함할 수 있다.In addition, the
이 경우, 상기 판단부(140)는 상기 전처리된 영상을 이용하여 상기 사용자의 제스처 입력을 식별하게 된다.In this case, the
이상의 각 구성들의 동작은 도 2 이하를 이용하여 보다 상세히 설명한다.Operation of each of the above configuration will be described in more detail with reference to FIG.
도 2는 본 발명의 일실시예에 따른 입력 인터페이스 제공 장치(100)의 예시적 구현을 나타내는 블록도이다.2 is a block diagram illustrating an exemplary implementation of the input
본 발명의 일실시예에 따르면, 센서부(110)는 손의 근접 이미지를 감지하고 접촉 및 누름을 감지하기 위한 투명 전극(210), 손의 근접 이미지를 생성하기 위한 광원으로서 역할을 하는 LED(Light Emitting Diode) 매트릭스(111), 포토 트랜지스터(Transistor, 이하 'TR') 어레이(Array)(112)를 포함한다.According to an embodiment of the present invention, the
투명 전극(210)은 터치 센서 회로(220)를 통하여 제어부(120)에 사용자의 터치 입력 존재 여부를 전달한다.The
LED 매트릭스(111)는 제어부(120)의 제어에 의해 순차적으로 매트릭스 내의 복수 개의 LED 소자들이 순차적으로 발광하여, 사용자의 손 모양을 스캔하기 위한 광원으로서 기능한다.The
그리고, 포토 TR 어레이(112)는 LED 매트릭스(111) 내의 LED 소자들로부터 순차적으로 발광된 빛이 상기 사용자의 손 모양인 제스처 입력에 대응하여 반사된 빛을 수신하여 전기적 신호로 바꾸어 영상을 생성한다.In addition, the
영상 생성에 관련해서는 도 4 내지 도 5를 참조하여 보다 상세히 후술한다.The image generation will be described later in more detail with reference to FIGS. 4 to 5.
버튼(230)은 터치 입력이나 제스처 입력에 부가하여 구비되는 사용자 입력을 수신하기 위한 별도의 물리적 입력부이다.The
센서부(110)가 상기한 바와 같이 사용자 손 모양에 대응하는 영상을 생성하면, 이는 처리부(130)로 전달되어, 전처리 과정을 거친다.When the
이러한 전처리 과정에 대해서는 도 6을 참조하여 보다 상세히 후술한다.This pretreatment will be described later in more detail with reference to FIG. 6.
그러면, 판단부(140)는 전처리된 영상을 입력 받아, 각종 제스처 입력을 판단하기 위한 마스킹 및/또는 필터링을 수행하여, 제스처 입력 또는 포인팅 입력 등을 식별한다. 판단부(140)의 동작은 도 7 내지 도 9를 참조하여 보다 상세히 후술한다.Then, the
도 3은 본 발명의 일실시예에 따른 입력 인터페이스 제공 장치(100)의 동작을 기존의 터치 패드와 대비하여 설명하기 위한 개념도이다.3 is a conceptual diagram illustrating an operation of the input
기존의 터치 패드의 경우, 도시된 윗쪽 그림에서 표현된 터치 센싱 영역(310)에 직접 사용자 손이 닿은 부분만을 식별하므로, 영역(310)에서 이격되어 있는 부분은 전혀 센싱하지 못한다.In the case of the existing touch pad, since only a portion of the user's hand directly touches the
그러나, 아래의 그림에서 표현된 본 발명의 일실시예에 따른 입력 인터페이스 제공 장치는 센서부에서 일정 간격 이격된 영역(320)까지의 손 모양을 인식하므로, 근접 거리에 있는 사용자 손의 모양을 스캔한 영상을 제공할 수 있다.However, the input interface providing apparatus according to an embodiment of the present invention represented in the following figure recognizes the shape of the hand from the sensor unit to the
도 4는 본 발명의 일실시예에 따른 입력 인터페이스 제공 장치(100)의 센서부(110)의 단면도 (a) 및 평면도 (b)를 도시한다.4 is a cross-sectional view (a) and a plan view (b) of the
단면도 (a)를 참조하면, 투명 전극(410) 하단에 매트릭스 형태로 배열된 LED 소자(420)가 사용자 손을 향해 빛을 조사하면, 반사된 빛은 어레이 형태로 배열된 포토 TR(430)에서 전기 신호로 바뀐다.Referring to the cross-sectional view (a), when the
본 발명의 일실시예에 따르면, LED 소자들은 매트릭스 방식으로 연결되어 있어서 개별적, 순차적으로 점멸 가능하고, 포토 TR들은 모두 병렬로 연결되어 넓은 면을 가진 하나의 광센서로서 동작한다.According to an embodiment of the present invention, the LED elements are connected in a matrix manner so that they can be blinked individually and sequentially, and the photo TRs are all connected in parallel to operate as one optical sensor having a wide surface.
LED 소자들 및 포토 TR들의 배열은 평면도 (b)에서 도시된 배열을 가질 수 있으나, 이는 본 발명의 일실시예에 불과하며, 다양한 변형이 가능하다.The arrangement of the LED elements and the photo TRs may have the arrangement shown in plan view (b), but this is only one embodiment of the invention, and various modifications are possible.
마이크로컨트롤러에 의해 구현될 수 있는 제어부(120)가 LED 소자들을 한번에 하나씩 순차적으로 점등하고, 포토 TR의 출력 전압이 전극 기판(440)를 통해 전달되면, A/D 컨버터 입력을 통하여 읽어서 근접 손 모양 영상이 획득될 수 있다.When the
도 5는 본 발명의 일실시예에 따른 센서부(110)의 LED 매트릭스 (a) 및 포토 TR 어레이 (b) 의 예시적 구현을 도시하는 회로도이다.5 is a circuit diagram showing an exemplary implementation of the LED matrix (a) and the photo TR array (b) of the
도시된 바와 같이, LED 매트릭스 (a)의 P1 내지 P5, Q1 내지 Q7 단자들은 모두 제어부(120)에 연결된 디지털 입출력에 대응한다.As shown, all of the P1 to P5 and Q1 to Q7 terminals of the LED matrix (a) correspond to digital input / output connected to the
이 디지털 입출력을 적절히 조절하면, 임의의 위치의 LED 소자를 켤 수 있다. 예를 들어 LED 소자(510)를 켜기 위하여 P1 = P2 = P4 = P5 = 0, P3 = 1, Q1 = Q3 = Q4 = Q5 = Q6 = Q7 = 1, Q2 = 0으로 제어 신호가 전달되면 된다. 이러한 방법으로 한번에 하나의 LED 소자를 순차적으로 점등할 수 있다.By appropriately adjusting this digital input / output, the LED element at any position can be turned on. For example, in order to turn on the
포토 TR 어레이 (b)는 도 4의 포토 TR 어레이의 구체적인 구현 예를 보여 준다. 모든 포토 TR은 병렬로 연결되어 있어서 포토 TR들을 통한 전류는 모두 상단의 저항을 통하여 흐르게 된다.Photo TR array (b) shows a specific implementation of the photo TR array of FIG. 4. All photo TRs are connected in parallel so that all current through the photo TRs flows through the upper resistor.
따라서 출력핀인 OUT은 수광되는 빛이 없을 때는 전원 공급 전압 VCC에 가까운 값을 유지하다가 포토 TR 열에 빛이 가해 지면 그 양에 비례하여 전압이 강하한다. 포토 TR들이 병렬로 연결되어 있으므로 어느 부분에 빛이 가해지는지는 구분하지 못하며 포토 TR 열 전체가 하나의 평면 광 센서로 동작한다.Therefore, when no light is received, the output pin OUT maintains a value close to the power supply voltage VCC, but when light is applied to the photo TR column, the voltage drops in proportion to the amount. Since the photo TRs are connected in parallel, they do not distinguish where light is applied and the entire photo TR column acts as a single plane light sensor.
이러한 구조에 따라, 손 모양의 스캔 영상이 생성되면, 이 생성된 로우 파일(raw file) 형태의 영상은 다음에 서술될 처리부(130)에 의해 전처리(pre-processing)된다.According to this structure, when a hand-shaped scan image is generated, the generated raw file image is pre-processed by the
도 6은 본 발명의 일실시예에 따른 처리부(130)의 동작을 도시하는 흐름도이다.6 is a flowchart illustrating the operation of the
도 5에서 설명한 로우 파일 형태의 손 모양 스캔 영상 f가 입력되면, 단계(610)에서 처리부(130)는 주변 조명 환경에 의한 영향을 제거하여 순수한 사용자 손 모양의 반사광만을 남길 수 있도록 주변광 보정을 수행한다.When the hand scan image f in the form of a row file described with reference to FIG. 5 is input, the
주변광 보정을 위해서는 LED을 켜고 센서값을 읽은 후(v_on(i, j)) 다시 LED를 끈 후 (v_off(i, j)) 센서값의 차이를 이용하여 보정된 센서 값(v(i, j))을 얻는다.
For ambient light compensation, turn on the LED, read the sensor value (v_on (i, j)), then turn off the LED (v_off (i, j)) and then correct the sensor value (v (i, j))
상기 수학식 1에서 생성된 보정된 센서 값(v(i, j))에 의한 영상이 f'이다.The image by the corrected sensor value v (i, j) generated in
그리고, 단계(620)에서 처리부(130)는 센서 정규화를 수행한다.In
상기 수학식 1의 주변광 보정 과정을 통하여 얻은 v(i, j)는 LED 및 포토 TR의 개별소자 차이와 LED와 포토 TR의 분포 차이로 v(i, j)가 모든 (i, j)에 대하여 동일한 최대값과 최소값을 가지지는 않는다.The v (i, j) obtained through the ambient light correction process of
따라서, 실험을 통하여 v(i, j)의 최대값 v_max (i, j)와 최소값 v_min (i, j)를 결정하고 이들 값을 이용하여 정규화(Normalization)된 근접 이미지 g(i, j)를 얻을 수 있으며, 이 결과가 센서 정규화된 이미지 g이다.
Therefore, through experiments, we determine the maximum value of v (i, j) and the minimum value of v_max (i, j) and the minimum value of v_min (i, j). And the result is the sensor normalized image g.
이렇게 정규화된 이미지 g에 대해 단계(630)에서 처리부(130)는 감마 보정을 수행하여, 보정된 이미지 g'을 생성한다.In
상기 수학식 2에서 g(i, j)는 0과 1사이의 값을 가지는데, 정규화된 이미지 g(i, j)의 픽셀 값을 단위 구간 간의 함수 h:[0, 1]→[0, 1]를 통하여 변환한 값을 h(i, j)로 정의한다.In
여기서 함수 h(g)는 화상 처리에서 사용하는 감마보정(gamma correction)과 같이 h(g)=g^γ (γ>0)의 형태를 포함하여 다양한 형태를 가질 수 있다. 이 단계의 목적은 손가락 이미지를 강조하기 위함이다.Here, the function h (g) may have various forms including the form of h (g) = g ^ γ (γ> 0), such as gamma correction used in image processing. The purpose of this step is to emphasize the finger image.
그러면 처리부(130)는 단계(640)에서 감마 보정 이미지h(g)를 2차원 Bi-cubic 보간법(interpolation)을 이용하여 이미지 보간을 수행하며, 그 결과 실제 손과 유사한 근접 이미지H(h) (650)를 생성한다. (H:[0, 1]→[0, 255])Then, the
도 7은 본 발명의 일실시예에 따른 입력 인터페이스 제공 장치(100)의 동작 방법을 도시하는 흐름도이다.7 is a flowchart illustrating a method of operating the input
투명 전극(210)의 터치 센싱에 의해 터치 입력이 시작되면, 단계(600)에서는 도 6에서 설명한 단계들을 통해 전처리가 수행되고, 전처리가 완료된 이미지(650)가 단계(710) 이하를 거치면서 입력 인터페이스 제공 장치(100)의 판단부(140)에 의한 연산이 수행된다.When a touch input is started by touch sensing of the
그러면, 단계(710)에서, 판단부(140)는 먼저, 현재 모드가 타이핑 모드인지의 여부를 판단하며, 여기에는 도시된 타이핑 검출 마스크가 적용된다.Then, in step 710, the
도시된 바와 같이 이하에서는 별다른 언급이 없더라도, 각각의 모드 검출을 위한 마스크들에 포함된 세 가지 서로 다른 색깔 영역은 다음과 같이 정의될 수 있다.As shown in the drawings, three different color regions included in the masks for detecting each mode may be defined as follows.
흰색 영역은 해당 값의 평균 이상을, 흑색 영역은 해당 값의 평균 이하를, 회색은 무시되는 영역이다.The white area is above the average of the value, the black area is below the average of the value, and the gray area is ignored.
예를 들어, 단계(710)의 타이핑 검출을 위해서 왼쪽 상단과 오른쪽 상단 영역 값의 평균은 30 초과이어야 하며, 하단 영역 값의 평균은 10 미만이어야 한다.For example, the average of the upper left and upper right region values should be greater than 30 and the average of the lower region values should be less than 10 for the type detection of step 710.
또한, 그 이외의 나머지 영역은 고려되지 않는다. 위의 조건은 아래의 식으로 표현되며, 구체적인 수치는 일실시예에 불과하므로, 임계치 조정에 의한 변형은 충분히 가능하다.
In addition, the remaining area other than that is not considered. The above condition is expressed by the following equation, and since the specific value is only one embodiment, the modification by the threshold adjustment is sufficiently possible.
여기서, x, y는 상단 영역의 가로/세로크기이고, width/height는 전체 이미지의 가로/세로 크기이며, z는 하단 이미지의 높이이다.Here, x and y are the horizontal / vertical size of the top region, width / height is the horizontal / vertical size of the entire image, and z is the height of the bottom image.
위의 방법으로 단계(710)에서 사용자가 키보드 타이핑을 하고 있는 타이핑 상태라고 판단되면, 타이핑 도중에 터치패드에서 발생하는 터치들은 무시된다(711). 혹은 다른 실시예에서, 타이핑 시에도 엄지 부분 조작에 의한 제스처 입력은 가능하도록 임계치들을 조정할 수는 있다.If it is determined in step 710 that the user is in a typing state in which the keyboard is being typed, the touches generated in the touch pad during the typing are ignored (711). Alternatively, in another embodiment, the thresholds may be adjusted to allow gesture input by thumb operation even when typing.
단계(710)의 판단에 따라 타이핑 모드가 아닐 경우에는, 단계(720)에서, 제스처 인식을 위한 모드를 결정하게 된다.If it is not the typing mode according to the determination of step 710, in step 720, a mode for gesture recognition is determined.
모드는 기존의 손가락 끝을 찾아서 사용하는 포인팅 모드와 손 전체의 모양을 사용하는 제스처를 위한 면적 제스처 모드로 나뉜다.The mode is divided into a pointing mode for finding and using an existing fingertip and an area gesture mode for a gesture using the shape of the entire hand.
이 모드의 결정을 위해서 면적 제스처 마스크를 사용하며, 아래와 같은 조건을 따라 결정된다.
The area gesture mask is used to determine this mode, and the following conditions are determined.
수학식 6에서, width와 height는 각각 전체 이미지의 가로 크기 및 세로 크기이며, 수학식 6의 부등식을 만족하면 면적 제스처 모드로, 그렇지 않으면 포인팅 모드로 판단된다.In Equation 6, width and height are the horizontal size and the vertical size of the entire image, respectively, and if the inequality of Equation 6 is satisfied, the area gesture mode is determined, otherwise the pointing mode is determined.
포인팅 모드에서는 효과적으로 손 끝을 찾기 위해서 7x7 형태의 손가락 끝 마스크를 사용하여 주어진 이미지 H와 2차원 컨볼루션(convolution)연산을 수행한다. 여기서 i, j는 각각 이미지의 가로 세로 인덱스이다.
In pointing mode, a two-dimensional convolution operation with a given image H is performed using a 7x7 fingertip mask to effectively locate the fingertip. Where i and j are the horizontal and vertical indexes of the image, respectively.
포인팅 모드에서는 손가락 끝 마스크를 적용하여, 단계(721)에서 손가락 끝을 더욱 정확히 필터링하고, 단계(722)에서는 손가락 끝 위치를 정확히 판단한 결과를 통해서 단계(760) 이하의 터치 데이터로 전달된다.In the pointing mode, a fingertip mask is applied to filter the fingertip more accurately in
여기서, 상기 수학식 7의 컨볼루션 연산을 통해 얻는 H'는 일반적인 임계치 적용으로 손가락 끝들의 블롭을 찾아내고, 블롭들의 무게 중심을 손가락 끝의 위치로 정한다.Here, H 'obtained through the convolution operation of Equation 7 finds blobs of fingertips by applying a general threshold value, and sets the center of gravity of the blobs as the position of the fingertip.
한편, 단계(720)에서, 면적 제스처 모드인 것으로 판단되었다면, 면적 제스처 모드에서는 다시 두 가지 중 어느 하나로 진행 된다.On the other hand, if it is determined in step 720 that the area gesture mode, the area gesture mode proceeds to either of the two again.
하나는 손 전체 스와이프 등을 위한 손 블롭(blob) 검출(730)이며, 다른 하나는 커버 제스처 검출(750)이다. One is
손 블록 검출(730)의 경우에는, 센서부(110) 위에서 손 전체가 움직인다는 가정을 바탕으로 이미지 h의 무게 중심 (xc, yc)를 아래 수학식과 같이 구한다.
In the case of the
이렇게 얻어진 무게 중심이 상태와 함께 면적 데이터로 가공된다(760).The center of gravity thus obtained is processed into area data with the state (760).
한편, 단계(750)의 커버 제스처 검출을 위해서는 왼쪽 커버 마스크, 오른쪽 커버 마스크, 전체 커버 마스크 세 개를 이전과 똑 같은 방식으로 적용한다. 마스크 적용의 구체적 과정은 상기한 과정들과 유사하게 이루어진다.Meanwhile, in order to detect the cover gesture of
단계(760)에서 계산된 터치, 면적 데이터는(상태, 모드, 검출 제스처, 블롭 개수, 블롭 ID, X 위치, Y 위치) 의 형태로 구성된다.The touch and area data calculated in
예를 들어 (touch, area, none, 1, 0, 100, 125) 라 하면 면적 제스처 모드에서 하나의 블롭의 ID는 0이며 x, y 의 위치는 (100, 125)이다. 이러한 터치 면적 테이터는 단계(770)에서, 스와이프 제스처, 포인팅, 스크롤, 등등 다양한 제스처 중 어느 하나로 최종 판단된다.For example, in (touch, area, none, 1, 0, 100, 125), the ID of one blob in the area gesture mode is 0 and the positions of x and y are (100, 125). This touch area data is finally determined in
도 8은 본 발명의 일실시예에 따른 입력 인터페이스 제공 장치(100)가 식별하는 예시적 제스처 입력의 종류를 도시한다.8 illustrates a type of exemplary gesture input identified by the input
상기 도 7을 참조한 과정들에 의해 판단된 사용자 입력 제스처들은, 도시된 바와 같이 오른 손 포인팅(810), 왼손 포인팅(820), 손 전체 스와이프(왼쪽(830), 오른쪽(840)), 영역 터치(850), 커버 제스처(왼쪽(860), 오른쪽(870), 전체(880)) 등 다양한 것들이 있을 수 있다.The user input gestures determined by the processes referring to FIG. 7 may include a right hand pointing 810, a left hand pointing 820, an entire hand swipe (left 830, right 840), and an area. There may be various things such as a
나아가, 확장된 실시예에서는, 사용자의 타이핑 상황에 대한 감지도 가능하여 의도치 않은 터치 반응을 막을 수 있다.Furthermore, in the expanded embodiment, the user may sense the typing situation, thereby preventing the unintended touch response.
도 9는 본 발명의 일실시예에 따른 입력 인터페이스 제공 장치(100)의 동작을 설명하기 위한 예시적 그림이다.9 is an exemplary diagram for explaining an operation of the input
도시된 바와 같이, 실제 사용자가 센서부(110) 상에서 터치 또는 제스처 입력을 할 때, 오른손과 왼손의 각도가 다른 것을 확인 할 수 있다.As shown, when the actual user makes a touch or gesture input on the
따라서, 이러한 각도를 이용해서, 사용자가 현재 오른손으로 터치를 하는지, 또는 왼손으로 터치를 하는지 여부를 판단하여, 이를 이용하여 입력 종류를 더 세분화 할 수 있다.Therefore, by using this angle, it is possible to determine whether the user is currently touching with his right hand or with his left hand, thereby further subdividing the input type.
이러한 실시예의 구현을 위해 터치된 손가락의 방향인 주성분 방향을 계산한다.For the implementation of this embodiment, the principal component direction, which is the direction of the touched finger, is calculated.
이 과정에서, 계산된 손가락의 블롭을 포함하는 약 8x8 이미지 영역 sub(H)를 잘라내고, 아래 수학식과 같이, 계수 값이 1인 대각 행렬 D(오른쪽 아래로 45도 기울어진 형태)와 AND 연산을 하여 그 값이 일정 임계치 이상이면 오른손으로 인식한다. 그리고, 반대의 경우에는 왼손으로 인식한다.
In this process, the approximate 8x8 image area sub (H) containing the blob of the computed finger is cut out, and an AND operation is performed on the diagonal matrix D with a coefficient value of 1 (45 degrees down and to the right) as shown below. If the value is above a certain threshold, it is recognized as a right hand. In the opposite case, it is recognized by the left hand.
도 10은 본 발명의 일실시예에 따른 입력 인터페이스 제공 장치(100)가 판단한 제스처 입력에 따른 화면 제어를 설명하기 위한 예시적 그림(1000)이다.10 is an exemplary diagram 1000 for explaining screen control according to a gesture input determined by the input
손 스와이프 제스처는 멀티 탭을 가진 웹 브라우저에서 탭들(1010 및 1020 등)간의 이동에 사용될 수 있다.Hand swipe gestures can be used to move between
그리고, 가리기 제스처는 일시적인 조작을 위해 사용될 수 있다.And the hide gesture can be used for temporary manipulation.
예를 들면, 왼쪽 가리기 제스처가 실행되면 이전 활성화 창이 호출되어 간단하게 오른손으로 조작을 할 수 있고, 왼손을 떼면, 기존의 어플리케이션으로 돌아가게 된다.For example, when the left hide gesture is executed, the previous activation window is called, and the user can easily operate with the right hand. When the left hand is released, the user returns to the existing application.
또한, 오른쪽을 가릴 때에는 날씨나 시간 위젯과 같은 위젯들이 일시적으로 뜨고 손을 때면 사라진다.Also, when you cover the right side, widgets such as the weather and time widgets pop up temporarily and disappear when you touch them.
그리고, 전체 가리기 제스처는 바탕화면으로 돌아갈 때 사용될 수 있다.And the entire hide gesture can be used when returning to the desktop.
이러한 다양한 응용은 일부 실시예를 설명한 것으로, 본 발명의 범위를 제한하지 않는다. 따라서, 인식된 제스처 입력 각각에 대한 기능(function) 할당은 얼마든지 변경될 수 있으며, 본 발명의 사상을 벗어나지 않는 한 이러한 변형 또한 본 발명의 범위에서 제외되지 않는다.These various applications have described some embodiments and do not limit the scope of the invention. Accordingly, the function assignment for each of the recognized gesture inputs can be changed as many, and such variations are not excluded from the scope of the present invention without departing from the spirit of the present invention.
본 발명의 일실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment of the present invention can be implemented in the form of a program command which can be executed through various computer means and recorded in a computer-readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.
100: 입력 인터페이스 제공 장치
110: 센서부
120: 제어부
130: 처리부
140: 판단부100: input interface device
110:
120:
130:
140:
Claims (14)
상기 영상을 이용하여 상기 사용자의 제스처 입력을 식별하는 판단부
를 포함하는 입력 인터페이스 제공 장치.A sensor unit generating an image associated with a gesture input of a user using the photo transistor array; And
Determination unit for identifying the gesture input of the user by using the image
Input interface providing apparatus comprising a.
상기 센서부는,
제어부의 제어에 의해 순차적으로 발광하는 복수 개의 LED를 포함하는 LED 매트릭스; 및
상기 순차적으로 발광된 빛이 상기 사용자의 제스처 입력에 대응하여 반사된 빛을 수신하여 상기 영상을 생성하는 복수 개의 포토트랜지스터를 포함하는 포토 트랜지스터 어레이
를 포함하는 입력 인터페이스 제공 장치.The method of claim 1,
The sensor unit includes:
An LED matrix including a plurality of LEDs sequentially emitting light under the control of a controller; And
A phototransistor array including a plurality of phototransistors configured to generate the image by receiving light reflected from the sequentially emitted light corresponding to a gesture input of the user
Input interface providing apparatus comprising a.
상기 판단부는,
상기 영상에 제1 마스크를 적용하여, 상기 사용자의 제스처 입력이 상기 사용자의 키보드 타이핑에 대응하는 것인 경우, 상기 제스처 입력을 무시하는 입력 인터페이스 제공 장치.The method of claim 1,
The determination unit,
And applying a first mask to the image to ignore the gesture input when the gesture input of the user corresponds to keyboard typing of the user.
상기 판단부는,
상기 영상에 제2 마스크를 적용하여, 상기 사용자의 제스처 입력이 포인팅에 대응하는지의 여부를 판단하는 입력 인터페이스 제공 장치.The method of claim 1,
The determination unit,
And a second mask is applied to the image to determine whether the gesture input of the user corresponds to a pointing.
상기 판단부는,
상기 판단의 결과 상기 사용자의 제스처 입력이 포인팅 입력에 대응하는 경우, 상기 영상에 상기 사용자의 손가락 끝 부분의 위치를 검출하는 필터를 적용하여 상기 사용자의 손가락 끝 부분의 위치를 결정하는 입력 인터페이스 제공 장치.5. The method of claim 4,
The determination unit,
If the user's gesture input corresponds to a pointing input as a result of the determination, an input interface providing apparatus for determining the position of the user's fingertip by applying a filter for detecting the position of the user's fingertip to the image .
상기 판단부는,
상기 판단의 결과 상기 사용자의 제스처 입력이 면적 제스처 입력에 대응하는 경우, 상기 영상에 미리 설정된 복수 개의 면적 제스처 입력의 종류 각각에 대응하는 복수 개의 제3 마스크를 적용하여 상기 면적 제스처 입력의 종류를 결정하는 입력 인터페이스 제공 장치.5. The method of claim 4,
The determination unit,
As a result of the determination, when the user's gesture input corresponds to an area gesture input, a type of the area gesture input is determined by applying a plurality of third masks corresponding to each of a plurality of types of area gesture inputs preset in the image. Device for providing an input interface.
상기 판단부는,
상기 판단의 결과 상기 사용자의 제스처 입력이 면적 제스처 입력에 대응하는 경우, 상기 영상의 주방향 성분을 분석하여 상기 면적 제스처 입력의 종류를 결정하는 입력 인터페이스 제공 장치.5. The method of claim 4,
The determination unit,
And determining the type of the area gesture input by analyzing a main component of the image when the gesture input of the user corresponds to the area gesture input.
상기 영상으로부터 상기 센서부 주변 광의 영향을 제거하고, 상기 영상을 정규화하여 전처리된 영상을 상기 판단부에 제공하는 처리부
를 더 포함하고,
상기 판단부는 상기 전처리된 영상을 이용하여 상기 사용자의 제스처 입력을 식별하는 입력 인터페이스 제공 장치.The method of claim 1,
The processor removes the influence of ambient light from the sensor and normalizes the image to provide a preprocessed image to the determination unit.
Further comprising:
And the determination unit identifies the gesture input of the user using the preprocessed image.
상기 영상으로부터 상기 센서부 주변 광의 영향을 제거하고, 상기 영상을 정규화하고, 상기 정규화된 영상의 감마 보정을 수행하고, 상기 감마 보정된 결과를 보간하여 전처리된 영상을 제공하는 처리부; 및
상기 전처리된 영상을 이용하여 상기 사용자의 제스처 입력을 식별하는 판단부
를 포함하는 입력 인터페이스 제공 장치.A sensor unit generating an image associated with a gesture input of a user;
A processor configured to remove the influence of ambient light from the sensor unit, normalize the image, perform gamma correction of the normalized image, and interpolate the gamma corrected result to provide a preprocessed image; And
Determination unit for identifying the gesture input of the user using the pre-processed image
Input interface providing apparatus comprising a.
상기 센서부는,
제어부의 제어에 의해 순차적으로 발광하는 복수 개의 LED를 포함하는 LED 매트릭스; 및
상기 순차적으로 발광된 빛이 상기 사용자의 제스처 입력에 대응하여 반사된 빛을 수신하여 상기 영상을 생성하는 복수 개의 포토트랜지스터를 포함하는 포토 트랜지스터 어레이
를 포함하는 입력 인터페이스 제공 장치.10. The method of claim 9,
The sensor unit includes:
An LED matrix including a plurality of LEDs sequentially emitting light under the control of a controller; And
A phototransistor array including a plurality of phototransistors configured to generate the image by receiving light reflected from the sequentially emitted light corresponding to a gesture input of the user
Input interface providing apparatus comprising a.
상기 영상에 복수 개의 마스크 중 제1 마스크를 적용하여 상기 영상이 상기 제1 마스크에 대응하는 경우, 상기 사용자의 제스처 입력은 상기 제1 마스크에 대응하는 제스처 입력인 것으로 판단하는 판단부
를 포함하는 입력 인터페이스 제공 장치.A sensor unit generating an image associated with a gesture input of a user; And
Determination unit for determining that the gesture input of the user is a gesture input corresponding to the first mask when the image corresponds to the first mask by applying a first mask of the plurality of masks to the image;
Input interface providing apparatus comprising a.
상기 복수 개의 마스크는, 상기 사용자의 제스처 입력이 상기 사용자의 키보드 타이핑에 대응하는 지의 여부를 판단하는 마스크, 상기 사용자의 제스처 입력이 상기 센서부의 왼쪽을 커버하는 지의 여부를 판단하는 마스크, 상기 사용자의 제스처 입력이 상기 센서부의 오른쪽을 커버하는 지의 여부를 판단하는 마스크, 및 상기 사용자의 제스처 입력이 상기 센서부의 전체를 커버하는 지의 여부를 판단하는 마스크 중 적어도 하나를 포함하는 입력 인터페이스 제공 장치.The method of claim 11,
The plurality of masks may include a mask that determines whether the gesture input of the user corresponds to the keyboard typing of the user, a mask that determines whether the gesture input of the user covers the left side of the sensor unit, and And a mask for determining whether a gesture input covers the right side of the sensor unit, and a mask for determining whether the gesture input of the user covers the whole of the sensor unit.
처리부가 상기 영상을 전처리하여 상기 영상에 대응하는 전처리된 영상을 생성하는 단계; 및
판단부가 상기 전처리된 영상을 이용하여 상기 사용자 손 모양에 대응하는 제스처 입력을 결정하는 단계
를 포함하는 입력 인터페이스 동작 방법.Generating, by the sensor unit, an image associated with the shape of a user's hand on the sensor unit using the photo transistor array;
A processor preprocessing the image to generate a preprocessed image corresponding to the image; And
A determination unit determining a gesture input corresponding to the shape of the user's hand using the preprocessed image
Input interface operation method comprising a.
판단부가 상기 스캔한 영상을 이용하여 상기 사용자 손 모양에 대응하는 제스처 입력을 결정하는 단계
를 포함하는 입력 인터페이스 동작 방법.A sensor unit sequentially emitting the photo transistor array, and receiving the reflected light reflected by the emitted light from the user's hand on the sensor unit to generate an image of the user's hand scanned on the sensor unit; And
A determination unit determining a gesture input corresponding to the shape of the user's hand using the scanned image
Input interface operation method comprising a.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110140111A KR101356819B1 (en) | 2011-12-22 | 2011-12-22 | Apparatus for providing input interface and operating method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110140111A KR101356819B1 (en) | 2011-12-22 | 2011-12-22 | Apparatus for providing input interface and operating method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130072606A true KR20130072606A (en) | 2013-07-02 |
| KR101356819B1 KR101356819B1 (en) | 2014-02-12 |
Family
ID=48987249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110140111A KR101356819B1 (en) | 2011-12-22 | 2011-12-22 | Apparatus for providing input interface and operating method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101356819B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170131044A (en) * | 2016-05-20 | 2017-11-29 | 이탁건 | A electronic device and a operation method |
| KR20180062937A (en) | 2016-12-01 | 2018-06-11 | 한국전자통신연구원 | Method and apparatus for personal authentication based on fingertip gesture recognition and fake pattern identification |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101483741B1 (en) | 2014-02-10 | 2015-01-27 | 전남대학교산학협력단 | Method of touch gesture recognition using depth slice pattern image and system thereof |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8660300B2 (en) * | 2008-12-12 | 2014-02-25 | Silicon Laboratories Inc. | Apparatus and method for optical gesture recognition |
| KR101102996B1 (en) * | 2009-11-16 | 2012-01-05 | 한국과학기술원 | Remote control device for diplay |
| KR101136153B1 (en) * | 2010-02-19 | 2012-04-16 | 성균관대학교산학협력단 | User input device, method for recognizing user finger prints, and method for recognizing user touches using a transparent sensor grid panel which is able to recognize finger prints or mult-touch |
| KR101071864B1 (en) * | 2010-03-10 | 2011-10-10 | 전남대학교산학협력단 | Touch and Touch Gesture Recognition System |
-
2011
- 2011-12-22 KR KR1020110140111A patent/KR101356819B1/en active IP Right Grant
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170131044A (en) * | 2016-05-20 | 2017-11-29 | 이탁건 | A electronic device and a operation method |
| US11169640B2 (en) | 2016-05-20 | 2021-11-09 | Coredar Co., Ltd. | Electronic device and operating method therefor |
| KR20180062937A (en) | 2016-12-01 | 2018-06-11 | 한국전자통신연구원 | Method and apparatus for personal authentication based on fingertip gesture recognition and fake pattern identification |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101356819B1 (en) | 2014-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102264130B1 (en) | A system for detecting and characterizing input on a touch sensor | |
| KR101097309B1 (en) | Method and apparatus for recognizing touch operation | |
| US9323383B2 (en) | Method of identifying edge swipe gesture and method of opening window control bar using the identifying method | |
| US9274652B2 (en) | Apparatus, method, and medium for sensing movement of fingers using multi-touch sensor array | |
| US8502785B2 (en) | Generating gestures tailored to a hand resting on a surface | |
| US8514190B2 (en) | Displays for electronic devices that detect and respond to the contour and/or height profile of user input objects | |
| US9058066B2 (en) | Suppressing errant motion using integrated mouse and touch information | |
| CN110058782B (en) | Touch operation method and system based on interactive electronic whiteboard | |
| US9317130B2 (en) | Visual feedback by identifying anatomical features of a hand | |
| US9619043B2 (en) | Gesture multi-function on a physical keyboard | |
| US20140267029A1 (en) | Method and system of enabling interaction between a user and an electronic device | |
| US20120212440A1 (en) | Input motion analysis method and information processing device | |
| US10409412B1 (en) | Multi-input element for electronic device | |
| WO2015088883A1 (en) | Controlling interactions based on touch screen contact area | |
| WO2015081606A1 (en) | Method for deleting characters displayed on touch screen and electronic device | |
| US20120044143A1 (en) | Optical imaging secondary input means | |
| CN104885051A (en) | Multi-touch symbol recognition | |
| WO2015088882A1 (en) | Resolving ambiguous touches to a touch screen interface | |
| KR20210037542A (en) | Techniques for handling unintentional touch inputs on a touch-sensitive surface | |
| US20170192465A1 (en) | Apparatus and method for disambiguating information input to a portable electronic device | |
| CN106445369A (en) | Input method and device | |
| WO2014049671A1 (en) | Display device and pen input erasing method | |
| CN106227449A (en) | Input control method based on sense of touch vision technique and system | |
| KR101356819B1 (en) | Apparatus for providing input interface and operating method thereof | |
| US9189075B2 (en) | Portable computer having pointing functions and pointing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20161227 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20180102 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20190107 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20200106 Year of fee payment: 7 |