KR20070119375A - Method of discerning a touch coordinate and touch screen device performing the same - Google Patents

Method of discerning a touch coordinate and touch screen device performing the same Download PDF

Info

Publication number
KR20070119375A
KR20070119375A KR1020060053941A KR20060053941A KR20070119375A KR 20070119375 A KR20070119375 A KR 20070119375A KR 1020060053941 A KR1020060053941 A KR 1020060053941A KR 20060053941 A KR20060053941 A KR 20060053941A KR 20070119375 A KR20070119375 A KR 20070119375A
Authority
KR
South Korea
Prior art keywords
touch
image
image sensor
point
line
Prior art date
Application number
KR1020060053941A
Other languages
Korean (ko)
Other versions
KR101127517B1 (en
Inventor
김영중
한정희
Original Assignee
(주)나노터치시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)나노터치시스템 filed Critical (주)나노터치시스템
Priority to KR1020060053941A priority Critical patent/KR101127517B1/en
Publication of KR20070119375A publication Critical patent/KR20070119375A/en
Application granted granted Critical
Publication of KR101127517B1 publication Critical patent/KR101127517B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04182Filtering of noise external to the device and not generated by digitiser components

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

A method for recognizing touch coordinates and a touch screen device for performing the same are provided to reduce weight, thickness, and a cost of a display device applying the touch screen device by recognizing the touch coordinates through a line image sensor without installing a medium such as a glass plate to the touch screen device. An image collector(210) is equipped with sensors(S1-S4) arranged to each corner of a screen and captures the image according to a touch. A touch coordinate calculator(220) calculates the touch coordinates by removing noise from the captured images. A touch driver(230) provides the touch coordinates to the display device for displaying the touch coordinates to the screen. The touch coordinate calculator includes an ADC(Analog/Digital Converter)(221) converting image signals received from the image sensors into a digital image signal, a noise filter(222) outputting a plurality of line images by filtering the noise from the digital image signals, an image processor(223) extracting one point from each line images, and a position estimator(226) estimating the position from the points extracted from the different line images.

Description

터치 좌표 인식 방법과 이를 수행하기 위한 터치 스크린 장치{METHOD OF DISCERNING A TOUCH COORDINATE AND TOUCH SCREEN DEVICE PERFORMING THE SAME}METHOD OF DISCERNING A TOUCH COORDINATE AND TOUCH SCREEN DEVICE PERFORMING THE SAME}

도 1a는 본 발명에 따른 터치 스크린 장치를 개략적으로 설명하기 위한 개념도이고, 도 1b 및 도 1c는 도 1a에 도시된 제3 및 제4 라인 영상센서 각각에서 감지되는 라인 영상을 설명하기 위한 도면들이다.FIG. 1A is a conceptual diagram for schematically describing a touch screen device according to the present invention, and FIGS. 1B and 1C are diagrams for explaining line images detected by the third and fourth line image sensors shown in FIG. 1A, respectively. .

도 2a는 본 발명의 제1 실시예에 따른 터치 스크린 장치를 개념적으로 설명하기 위한 개념도이고, 도 2b는 도 2a에 도시된 제1 및 제2 라인 영상센서들이 커버하는 사이드 평면 영역을 설명하는 평면도이며, 도 2c는 도 2b의 제1 및 제2 라인 영상센서들에서 감지되는 라인 영상에서 좌표값을 추출하는 과정을 설명하는 개념도이다.2A is a conceptual diagram for conceptually describing a touch screen device according to a first embodiment of the present invention, and FIG. 2B is a plan view illustrating a side planar area covered by the first and second line image sensors illustrated in FIG. 2A. 2C is a conceptual diagram illustrating a process of extracting coordinate values from line images sensed by the first and second line image sensors of FIG. 2B.

도 3은 본 발명의 실시예에 따른 좌표인식 방법을 개념적으로 설명하기 위한 순서도이다. 3 is a flowchart for conceptually explaining a coordinate recognition method according to an embodiment of the present invention.

도 4a 및 도 4b는 도 3에 도시된 전처리 단계 이전의 영상과 전처리 과정 이후의 영상들이다. 4A and 4B are images before the preprocessing step and images after the preprocessing step shown in FIG. 3.

도 5는 본 발명의 일 실시예에 따른 터치 스크린 장치를 설명하기 위한 블록도이다.5 is a block diagram illustrating a touch screen device according to an embodiment of the present invention.

<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>

100, 200 : 터치 스크린 장치 210 : 영상 수집부100 and 200: touch screen device 210: image collector

220 : 터치 좌표 산출부 221 : 아날로그-디지털 변환부220: touch coordinate calculation unit 221: analog-to-digital conversion unit

222 : 영상잡음 제거부 223 : 영상처리부222: image noise removing unit 223: image processing unit

224 : 자동 영상 판독부 225 : 추적 필터링부224: automatic image reading unit 225: tracking filtering unit

226 : 위치 추정부 230 : 터치 드라이버226: position estimator 230: touch driver

S1, S2, S3, S4 : 라인 영상센서 SUB : 베이스부S1, S2, S3, S4: Line Image Sensor SUB: Base

본 발명은 터치 좌표 인식 방법과 이를 수행하기 위한 터치 스크린 장치에 관한 것으로, 보다 상세하게는 영상을 이용한 터치 좌표 인식 방법과 이를 수행하기 위한 터치 스크린 장치에 관한 것이다. The present invention relates to a touch coordinate recognition method and a touch screen device for performing the same, and more particularly, to a touch coordinate recognition method using an image and a touch screen device for performing the same.

일반적으로 터치 스크린 장치는 별도의 키입력 장치(예를들어, 키보드)를 사용하지 않고 화면(스크린)에 나타난 문자나 특정 위치에 사람의 손 또는 물체가 닿으면, 그 위치를 파악하여 저장된 소프트웨어를 이용하여 특정 처리를 할 수 있도록 화면에서 직접 입력자료를 받을 수 있도록 하는 대화식 시스템이다.Generally, a touch screen device detects the location of a person's hand or an object by touching a character or a specific location on the screen (screen) without using a separate key input device (for example, a keyboard). It is an interactive system that can receive input data directly from the screen for specific processing.

상기 터치 스크린 장치는 저항(resistive)방식, 정전용량(capacitive)방식 및 적외선 방식 등으로 구분된다. 상기 저항 방식은 얇은 필름을 유리판에 붙임으로써 스크린이 깨끗하지 못하다는 단점이 있다. 상기 정전용량 방식은 조작자의 손이 아닌 다른 매체는 인식하지 못하는 단점이 있다.The touch screen device is classified into a resistive method, a capacitive method, and an infrared method. The resistance method has a disadvantage in that the screen is not clean by attaching a thin film to the glass plate. The capacitive method has a disadvantage in that it does not recognize any medium other than the operator's hand.

한편, 상기 적외선 방식은 일반 모니터의 화면부에 터치 패널(touch pannel)이라는 장치를 덧붙여서 기능을 발휘하는 것으로, 상기 터치 패널은 좌/우/상/하로 눈에 보이지 않는 적외선이 흐르게 하여 화면부에 수많은 사각형 격자가 생기도록 함으로써, 손끝이나 기타 물체로 이 격자에 접촉하면 그 위치를 파악할 수 있도록 하는 기능을 가지고 있다.On the other hand, the infrared method is to add a device called a touch panel (panel) to the screen portion of the general monitor to perform a function, the touch panel to the left / right / up / down invisible infrared flows to the screen portion By creating a large number of square grids, they have the ability to locate their location when they touch the grid with a fingertip or other object.

따라서, 터치 패널을 장착한 표시장치에 미리 나타낸 문자나 그림 정보를 손으로 접촉하면, 접촉한 표시장치에서 표시되는 화면의 위치에 따라 사용자가 선택한 사항이 무엇인지를 파악하고, 이에 대응하는 명령을 컴퓨터로 처리하도록 하여, 아주 쉽게 자신이 원하는 정보를 얻을 수 있도록 할 수 있다.Therefore, when a character or picture information previously displayed on the display device equipped with the touch panel is touched by hand, the user may determine what the user has selected according to the position of the screen displayed on the touched display device, and provide a corresponding command. You can do it with a computer so that you can get the information you want very easily.

이러한 터치 스크린 장치의 이러한 특성 때문에 대중들이 많이 이용하는 장소 즉, 지하철, 백화점, 은행 등의 장소에서 안내용 소프트웨어에 많이 이용되며, 각종 점포에서 판매용 단말기에도 많이 응용될 뿐만 아니라, 일반 업무용으로도 활용되고 있다.Due to this characteristic of the touch screen device, it is widely used for guiding software in places that are widely used by the public, that is, subways, department stores, banks, and the like. have.

하지만, 종래의 터치 스크린 장치를 구현하기 위해서는 표시장치 위에 별도의 투명한 기판을 포함하는 터치 패널을 부착해야하는 번거로움이 있다. 상기한 터치 패널의 부착으로 인해 표시장치의 두께가 두꺼워지고, 무거워지는 문제점이 있고, 제조 원가 역시 상승하는 문제점이 있다. However, in order to implement a conventional touch screen device, it is cumbersome to attach a touch panel including a separate transparent substrate on the display device. Due to the attachment of the touch panel, there is a problem in that the thickness of the display device becomes thick and heavy, and manufacturing costs also increase.

이에 본 발명의 기술적 과제는 이러한 종래의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 영상을 이용한 터치 좌표 인식 방법을 제공하는 것이다.Accordingly, the technical problem of the present invention is to solve such a conventional problem, and an object of the present invention is to provide a touch coordinate recognition method using an image.

본 발명의 다른 목적은 상기한 터치 좌표 인식 방법을 수행하기 위한 스크린 장치를 제공하는 것이다.Another object of the present invention is to provide a screen device for performing the above touch coordinate recognition method.

상기한 본 발명의 목적을 실현하기 위하여 하나의 특징에 따른 좌표인식 방법은 표시 화면 위에 배치되어 조작자의 터칭에 따른 터치 좌표를 산출하여 상기 화면을 표시하는 표시장치에 제공하는 터치 스크린 장치를 이용한 터치 좌표인식 방법에서, 화면의 터치 순간에 대응하는 2 이상의 영상 신호들을 수집하는 단계와, 상기 영상 신호들에 포함된 잡음을 제거하는 단계와, 상기 잡음 제거된 영상 신호를 처리하여 터치 위치에 상응하는 터치 좌표를 산출하는 단계를 포함한다.In order to realize the above object of the present invention, a coordinate recognition method according to one feature is disposed on a display screen and uses a touch screen device that calculates touch coordinates according to the operator's touch and provides the display device to display the screen. In the coordinate recognition method, collecting two or more video signals corresponding to the touch moment of the screen, removing noise included in the video signals, and processing the noise-removed video signal corresponding to the touch position Calculating touch coordinates.

상기한 좌표인식 방법은 상기 포착된 영상에서 잡음을 제거한 후, 드로잉 발생 여부를 체크하는 단계와, 상기 드로잉 발생으로 체크되는 경우, 추적 필터링을 수행하여 드로잉 영상을 스무딩 처리하는 단계와, 상기 스무딩 처리된 영상으로부터 터치 위치를 추정하는 단계를 더 포함한다.The coordinate recognition method may include removing noise from the captured image and checking whether a drawing occurs, and if the drawing occurs, performing tracking filtering to smooth the drawing image, and performing the smoothing process. Estimating a touch position from the captured image.

상기한 본 발명의 다른 목적을 실현하기 위하여 하나의 특징에 따른 터치 스크린장치는 표시 화면 위에 배치되어 조작자의 터칭에 따른 터치 좌표를 추출하는 터치 스크린 장치에서, 제1, 제2, 제3 및 제4 영상 센서들 및 터치 좌표 산출부를 포함한다. 상기 제1 내지 제4 영상센서들은 상기 표시 화면의 모서리 각각에 배치된다. 상기 터치 좌표 산출부는 상기 표시 화면에 터치가 발생됨에 따라, 상기 영상센서들에서 제공되는 영상으로부터 터치 포인트를 산출한다.In order to realize the above object of the present invention, a touch screen device according to one feature is disposed on a display screen to extract touch coordinates according to the touch of an operator. 4 image sensors and a touch coordinate calculator. The first to fourth image sensors are disposed at each corner of the display screen. The touch coordinate calculator calculates a touch point from images provided by the image sensors as a touch is generated on the display screen.

여기서, 상기 표시 화면은 상기 영상센서들을 연결하는 대각선에 의해 구획 되는 제1, 제2, 제3 및 제4 사이드 평면 영역들을 포함하고, 상기 사이드 평면 영역들 각각은 대향하는 2개의 영상센서에 의해 커버되는 것을 특징으로 한다. Here, the display screen includes first, second, third and fourth side plane regions divided by diagonal lines connecting the image sensors, each of the side plane regions being opposed by two image sensors. It is characterized by being covered.

또한, 상기 터치 포인트가 포함되는 사이드 평면을 커버하는 제1 및 제2 영상센서들과 상기 제1 영상센서와 상기 터치 포인트를 연결하는 라인이 표시 화면의 일변과 만나는 제1 포인트와 상기 제2 영상센서와 상기 터치 포인트를 연결하는 라인이 상기 일변과 마주보는 타변과 만나는 제2 포인트를 정의할 때, 상기 터치 포인트의 x 및 y 좌표 각각은

Figure 112006041972115-PAT00001
(여기서, L1은 제1 영상센서와 제2 영상센서간의 길이이고, m은 제1 포인트와 제2 영상센서간의 길이이며, n은 제2 포인트와 제1 영상센서간의 길이)에 의해 산출되는 것을 특징으로 한다. In addition, the first and second image sensors covering the side plane including the touch point, and the first point and the second image where a line connecting the first image sensor and the touch point meet one side of the display screen. When defining a second point where a line connecting a sensor and the touch point meets the other side facing the one side, each of the x and y coordinates of the touch point is
Figure 112006041972115-PAT00001
Where L1 is the length between the first image sensor and the second image sensor, m is the length between the first point and the second image sensor, and n is the length between the second point and the first image sensor. It features.

상기 영상센서는 라인에 상응하는 영역을 촬영하는 것을 특징으로 한다.The image sensor may photograph an area corresponding to a line.

상기 영상센서는 라인스캔카메라인 것을 특징으로 한다.The image sensor may be a line scan camera.

상기 영상센서는 초당 30 프레임 이상의 촬영속도를 갖는 것을 특징으로 한다.The image sensor is characterized by having a shooting speed of 30 frames or more per second.

상기한 본 발명의 다른 목적을 실현하기 위하여 다른 하나의 특징에 따른 터치 스크린장치는 표시 화면 위에 배치되어 조작자의 터칭에 따른 터치 좌표를 추출하는 터치 스크린 장치에서, 영상 수집부, 터치 좌표 산출부 및 터치 드라이버를 포함한다. 상기 영상 수집부는 동일한 평면상에 배치된 2개 이상의 영상센서들을 구비하고, 상기 터칭에 따른 영상을 촬영한다. 상기 터치 좌표 산출부는 상기 촬영된 2개 이상의 영상으로부터 잡음을 제거하여 터치 좌표를 산출한다. 상기 터치 드 라이버는 상기 터치 좌표를 표시장치에 제공한다. According to another aspect of the present invention, a touch screen device according to another aspect is disposed on a display screen and extracts touch coordinates according to the touch of an operator. It includes a touch driver. The image collecting unit includes two or more image sensors disposed on the same plane, and captures an image according to the touching. The touch coordinate calculator calculates touch coordinates by removing noise from two or more captured images. The touch driver provides the touch coordinates to the display device.

상기 터치 좌표 산출부는 서로 다른 채널들을 경유하여 상기 영상센서들 각각에서 제공되는 복수의 영상 신호들을 디지털 변환하는 아날로그-디지털변환부와, 서로 다른 채널들을 경유하여 제공되는 상기 디지털 변환된 영상 신호들 각각에 포함된 잡음 성분을 제거하여 복수의 라인 영상들을 출력하는 영상잡음 제거부와, 상기 라인 영상들 각각에서 하나의 포인트를 추출하는 영상처리부와, 상기 영상처리부에 의해 서로 다른 라인 영상에서 추출된 포인트로부터 채널별 영상에 따른 위치를 추정하는 위치 추정부를 포함한다. The touch coordinate calculator includes an analog-digital converter for digitally converting a plurality of image signals provided from each of the image sensors through different channels, and each of the digitally converted image signals provided through different channels. An image noise remover for outputting a plurality of line images by removing a noise component included in the image signal, an image processor extracting one point from each of the line images, and a point extracted from different line images by the image processor And a position estimator for estimating a position according to the image for each channel from the apparatus.

여기서, 터치 스크린 장치는 서로 다른 채널들을 통해 상기 추출된 하나의 포인트가 제공됨에 따라, 특정 채널을 통해 서로 다른 시간동안 제공되는 포인트들로부터 터칭 동작의 드로잉 여부를 판별하는 자동 영상 판독부와, 상기 자동 영상 판독부에서 드로잉으로 판별되는 경우 드로잉되는 영상들을 추적하고, 추적된 영상들을 스무딩 처리하는 추적 필터링부를 더 포함하는 것이 바람직하다.Here, the touch screen device is provided with the extracted one point through different channels, the automatic image reading unit for determining whether to draw the touch operation from the points provided for a different time through a specific channel, and In the case where the automatic image reading unit determines the drawing, it is preferable to further include a tracking filtering unit which traces the drawn images and smoothes the traced images.

이러한 좌표인식 방법 및 이를 수행하기 위한 터치 스크린 장치에 의하면, 표시 화면 위에 배치되는 적어도 2개 이상의 영상센서들로부터 터치 동작에 따른 영상들을 수집하고, 수집된 영상들로부터 상기 터치에 상응하는 터치 좌표를 인식할 수 있다.According to such a coordinate recognition method and a touch screen device for performing the same, images according to a touch operation are collected from at least two image sensors disposed on a display screen, and touch coordinates corresponding to the touch are collected from the collected images. I can recognize it.

이하, 첨부한 도면들을 참조하여, 본 발명을 보다 상세하게 설명하고자 한다.Hereinafter, with reference to the accompanying drawings, it will be described in detail the present invention.

도 1a는 본 발명에 따른 터치 스크린 장치를 개략적으로 설명하기 위한 개념 도이고, 도 1b 및 도 1c는 도 1a에 도시된 제3 및 제4 라인 영상센서 각각에서 감지되는 라인 영상을 설명하기 위한 도면들이다.FIG. 1A is a conceptual diagram for schematically illustrating a touch screen device according to the present invention, and FIGS. 1B and 1C are diagrams for explaining line images detected by the third and fourth line image sensors shown in FIG. 1A, respectively. admit.

도 1a를 참조하면, 본 발명에 따른 터치 스크린 장치(100)는 베이스부(SUB), 제1 라인 영상센서(S1), 제2 라인 영상센서(S2), 제3 라인 영상센서(S3) 및 제4 라인 영상센서(S4)를 포함한다. 여기서, 상기 제1 내지 제4 라인 영상센서들(S1~S4)은 상기 베이스부(SUB) 위에 이루어지는 터칭 동작에 상응하는 영상을 수집하는 영상 수집부이고, 상기 영상 수집부에서 수집된 영상을 이용하여 터치 좌표를 인식하는 일련의 동작은 후술하는 도 5에서 이루어진다. Referring to FIG. 1A, the touch screen device 100 according to the present invention may include a base unit SUB, a first line image sensor S1, a second line image sensor S2, a third line image sensor S3, and the like. And a fourth line image sensor S4. Here, the first to fourth line image sensors S1 to S4 are image collectors which collect images corresponding to the touching operation on the base unit SUB, and use the images collected by the image collectors. A series of operations for recognizing touch coordinates is performed in FIG. 5 to be described later.

상기 베이스부(SUB)는 사각형상을 갖고서 모서리 영역에 부착되는 상기 제1 내지 제4 라인 영상센서들(S1~S4)을 지지한다. 상기 베이스부(SUB)는 표시장치의 최외곽 기판인 것이 바람직하나, 별도의 유리 기판이어도 무방하다. The base portion SUB has a quadrangular shape and supports the first to fourth line image sensors S1 to S4 attached to the corner region. The base portion SUB is preferably the outermost substrate of the display device, but may be a separate glass substrate.

상기 제1 라인 영상센서(S1)는 상기 베이스부(SUB)의 하/좌측 모서리 영역에 배치되어, 상기 베이스부(SUB)의 표면 위를 촬상하고, 촬상된 영상을 터치 좌표 산출부(미도시)에 제공한다. The first line image sensor S1 is disposed at lower and left corners of the base portion SUB, and captures an image on the surface of the base portion SUB, and uses the touch coordinate calculation unit (not shown). To provide.

상기 제2 라인 영상센서(S2)는 상기 베이스부(SUB)의 하/우측 모서리 영역에 배치되어, 상기 베이스부(SUB)의 표면 위를 촬상하고, 촬상된 영상을 상기 터치 좌표 산출부에 제공한다. The second line image sensor S2 is disposed at lower and right corners of the base part SUB to capture an image on the surface of the base part SUB and provide the captured image to the touch coordinate calculator. do.

상기 제3 라인 영상센서(S3)는 상기 베이스부(SUB)의 상/좌측 모서리 영역에 배치되어, 상기 베이스부(SUB)의 표면 위를 촬상하고, 촬상된 영상을 상기 터치 좌표 산출부에 제공한다. The third line image sensor S3 is disposed at an upper / left corner area of the base part SUB to capture an image on the surface of the base part SUB, and provide the captured image to the touch coordinate calculator. do.

상기 제4 라인 영상센서(S4)는 상기 베이스부(SUB)의 상/우측 모서리 영역에 배치되어, 상기 베이스부(SUB)의 표면 위를 촬상하고, 촬상된 영상을 상기 터치 좌표 산출부에 제공한다. 상기 제1 내지 제4 라인 영상센서들(S1~S4)은 최대 90도의 촬영 각도를 갖고, 최대 2048 픽셀의 해상도를 갖는 것이 바람직하다. The fourth line image sensor S4 is disposed at an upper / right corner area of the base part SUB to capture an image on the surface of the base part SUB, and provide the captured image to the touch coordinate calculator. do. The first to fourth line image sensors S1 to S4 preferably have a photographing angle of up to 90 degrees and a maximum resolution of 2048 pixels.

여기서, 상기 제1 내지 제4 라인 영상센서들(S1~S4)이 대략 90도의 촬영각도를 갖는다면 상기 제1 내지 제4 라인 영상센서들(S1~S4)에서 촬영된 영상의 길이는 실질적으로 베이스부(SUB)의 대각선 길이이다.Here, when the first to fourth line image sensors S1 to S4 have a photographing angle of about 90 degrees, the length of the image photographed by the first to fourth line image sensors S1 to S4 is substantially the same. The diagonal length of the base part SUB.

또한, 촬영되는 영상은 컬러 타입일 수도 있으나 모노 타입인 것이 바람직하며, 프레임은 초당 최소 30인 것이 바람직하다.In addition, the photographed image may be a color type, but is preferably a mono type, and the frame is preferably at least 30 per second.

예를들어, 상기 베이스부(SUB)의 좌/상부측의 특정 위치(TO)에 터칭 동작이 발생되었을 때, 상기 제3 라인 영상센서(S3)에서 촬영된 영상은 도 1b에 도시된 바와 같은 하나의 띠 형상을 갖는다. 또한, 상기 제4 라인 영상센서(S4)에서 촬영된 영상은 도 1c에 도시된 바와 같은 하나의 띠 형상을 갖는다.For example, when a touching operation occurs at a specific position TO of the left / upper side of the base SUB, an image captured by the third line image sensor S3 is as shown in FIG. 1B. It has one band shape. In addition, the image photographed by the fourth line image sensor S4 has a band shape as illustrated in FIG. 1C.

이처럼, 네 모서리 각각에 설치된 제1 내지 제4 라인 영상센서들(S1~S4)은 터치 순간의 영상을 포착하여 영상처리를 하고, 처리된 영상신호를 기초로 터치의 위치를 산출한다. 특히, 드로잉이 발생되는 경우에는 별도의 추적 필터링을 함으로써 터치의 움직임을 정확히 찾아낸다. 상기 드로잉은 터치 포인트가 이동하는 것을 칭한다. As such, the first to fourth line image sensors S1 to S4 disposed at each of the four corners capture the image of the touch moment and perform image processing, and calculate the position of the touch based on the processed image signal. In particular, when a drawing is generated, a separate tracking filtering is performed to accurately detect the touch movement. The drawing refers to the movement of the touch point.

동작시, 상기 제1 내지 제4 라인 영상센서들(S1~S4)로부터 실제 화면 위의 영역을 계속 촬영하고, 상기 화면상에 터치되는 순간 터치 영상을 처리하여 터치 위치를 정확히 알아낸다. In operation, the area on the actual screen is continuously photographed by the first to fourth line image sensors S1 to S4, and the touch position is accurately determined by processing the touch image at the moment when the touch is made on the screen.

이상에서 설명된 바에 따르면, 본 발명에 따른 터치 스크린 장치는 라인 영상센서를 이용하므로써, 기존의 터치 스크린 장치에서 이용하는 투명 유리판과 같은 매질이 불필요하고, 상기 투명 유리판과 같은 별도의 매질을 기존의 표시 화면에 부착할 필요가 없으므로 설치가 용이하다. As described above, the touch screen device according to the present invention does not require a medium such as the transparent glass plate used in the existing touch screen device by using the line image sensor, and displays a separate medium such as the transparent glass plate. It is easy to install because it does not need to be attached to the screen.

또한, 라인 영상 센서에서 촬상되는 영상을 이용하므로 표시 화면의 크기에 아무런 제약을 받지 않는다.In addition, since the image captured by the line image sensor is used, the size of the display screen is not limited.

도 2a는 본 발명의 일 실시예에 따른 터치 스크린 장치를 개념적으로 설명하기 위한 개념도이고, 도 2b는 도 2a에 도시된 제1 및 제2 라인 영상센서들이 커버하는 사이드 평면 영역을 설명하는 평면도이며, 도 2c는 도 2b의 제1 및 제2 라인 영상센서들에서 감지되는 라인 영상에서 좌표값을 추출하는 과정을 설명하는 개념도이다.FIG. 2A is a conceptual diagram for conceptually describing a touch screen device according to an embodiment of the present invention, and FIG. 2B is a plan view illustrating a side planar area covered by the first and second line image sensors illustrated in FIG. 2A. 2C is a conceptual diagram illustrating a process of extracting coordinate values from line images sensed by the first and second line image sensors of FIG. 2B.

도 2a를 참조하면, 본 발명의 일 실시예에 따른 터치 스크린 장치는 베이스부(SUB), 제1 라인 영상센서(S1), 제2 라인 영상센서(S2), 제3 라인 영상센서(S3) 및 제4 라인 영상센서(S4)를 포함한다.Referring to FIG. 2A, a touch screen device according to an exemplary embodiment may include a base unit SUB, a first line image sensor S1, a second line image sensor S2, and a third line image sensor S3. And a fourth line image sensor S4.

상기 베이스부(SUB)는 사각형상을 갖고서 모서리 영역에 부착되는 상기 제1 내지 제4 라인 영상센서들(S1~S4)을 지지한다. 상기 베이스부(SUB)는 상기 제1 내지 제4 라인 영상센서를 서로 연결하는 일종의 대각선에 의해 제1, 제2, 제3 및 제4 사이드 평면 영역(RE1, RE2, RE3, RE4)으로 구획된다. The base portion SUB has a quadrangular shape and supports the first to fourth line image sensors S1 to S4 attached to the corner region. The base SUB is divided into first, second, third and fourth side planar regions RE1, RE2, RE3, and RE4 by a kind of diagonal line connecting the first to fourth line image sensors to each other. .

즉, 평면상에서 관찰할 때 상기 제1 사이드 평면 영역(RE1)은 하측 방향에 배치된 이등변 삼각형상을 갖고, 상기 제2 사이드 평면 영역(RE2)은 우측 방향에 배치된 이등변 삼각형상을 가지며, 상기 제3 사이드 평면 영역(RE3)은 좌측 방향에 배치된 이등변 삼각형상을 갖고, 상기 제4 사이드 평면 영역(RE4)은 상측 방향에 배치된 이등변 삼각형상을 갖는다.That is, when viewed in a plan view, the first side planar region RE1 has an isosceles triangle shape disposed in the lower direction, and the second side planar region RE2 has an isosceles triangle shape arranged in the right direction. The third side planar region RE3 has an isosceles triangle shape disposed in the left direction, and the fourth side planar region RE4 has an isosceles triangle shape arranged in the upper direction.

상기 베이스부(SUB)는 표시장치의 최외곽 기판인 것이 바람직하나 별도의 유리 기판이어도 무방하다. The base portion SUB is preferably the outermost substrate of the display device, but may be a separate glass substrate.

상기 제1 라인 영상센서(S1)는 상기 제2 라인 영상센서(S2)에서 상기 제4 라인 영상센서(S4)까지 관찰되는 제1 촬영각(θ1)을 갖고서 상기 베이스부(SUB)의 하/좌측 모서리 영역에 배치되어, 상기 베이스부(SUB)의 표면 위를 촬상하고, 촬상된 영상을 터치 좌표 산출부(미도시)에 제공한다. 따라서, 상기 제1 라인 영상센서(S1)는 상기 제1 사이드 평면 영역(RE1)과 상기 제2 사이드 평면 영역(RE2) 위에 감지되는 영상을 촬영한다.The first line image sensor S1 has a first photographing angle θ1 observed from the second line image sensor S2 to the fourth line image sensor S4, and is lower than the base portion SUB. It is disposed in the left corner region, the image on the surface of the base portion (SUB), and provides the captured image to the touch coordinate calculation unit (not shown). Therefore, the first line image sensor S1 captures an image detected on the first side planar region RE1 and the second side planar region RE2.

상기 제2 라인 영상센서(S2)는 상기 제1 라인 영상센서(S1)에서 상기 제3 라인 영상센서(S3)까지 관찰되는 제2 촬영각(θ2)을 갖고서 상기 베이스부(SUB)의 하/우측 모서리 영역에 배치되어, 상기 베이스부(SUB)의 표면 위를 촬상하고, 촬상된 영상을 상기 터치 좌표 산출부에 제공한다. 따라서, 상기 제2 라인 영상센서(S2)는 제1 사이드 평면 영역(RE1)과 제3 사이드 평면 영역(RE3) 위에 감지되는 영상을 촬영한다.The second line image sensor S2 has a second photographing angle θ2 observed from the first line image sensor S1 to the third line image sensor S3, and is lower than the base portion SUB. It is disposed in the right corner region, the image on the surface of the base portion (SUB), and provides the captured image to the touch coordinate calculation unit. Therefore, the second line image sensor S2 captures an image detected on the first side planar region RE1 and the third side planar region RE3.

상기 제3 라인 영상센서(S3)는 상기 제2 라인 영상센서(S2)에서 상기 제4 라인 영상센서(S4)까지 관찰되는 제3 촬영각(θ3)을 갖고서 상기 베이스부(SUB)의 좌 /상측 모서리 영역에 배치되어, 상기 베이스부(SUB)의 표면 위를 촬상하고, 촬상된 영상을 상기 터치 좌표 산출부에 제공한다. 따라서, 상기 제3 라인 영상센서(S3)는 상기 제4 사이드 평면 영역(RE4)과 상기 제2 사이드 평면 영역(RE2) 위에 감지되는 영상을 촬영한다.The third line image sensor S3 has a third photographing angle θ3 observed from the second line image sensor S2 to the fourth line image sensor S4. It is disposed in the upper corner area, the image on the surface of the base portion (SUB), and provides the captured image to the touch coordinate calculation unit. Accordingly, the third line image sensor S3 captures an image detected on the fourth side planar region RE4 and the second side planar region RE2.

상기 제4 라인 영상센서(S4)는 상기 제1 라인 영상센서(S1)에서 상기 제3 라인 영상센서(S3)까지 관찰되는 제4 촬영각(θ4)을 갖고서 상기 베이스부(SUB)의 상/우측 모서리 영역에 배치되어, 상기 베이스부(SUB)의 표면 위를 촬상하고, 촬상된 영상을 상기 터치 좌표 산출부에 제공한다. 따라서, 상기 제4 라인 영상센서(S4)는 상기 제3 사이드 평면 영역(RE3)과 상기 제4 사이드 평면 영역(RE4) 위에 감지되는 영상을 촬영한다.The fourth line image sensor S4 has an image of the base portion SUB having a fourth photographing angle θ4 observed from the first line image sensor S1 to the third line image sensor S3. It is disposed in the right corner region, the image on the surface of the base portion (SUB), and provides the captured image to the touch coordinate calculation unit. Therefore, the fourth line image sensor S4 captures an image detected on the third side planar region RE3 and the fourth side planar region RE4.

따라서, 상기 제1 사이드 평면 영역(RE1)에 존재하는 터치 포인트는 상기 제1 및 제2 라인 영상센서(S1, S2)에서 촬영된 영상으로부터 좌표값을 산출할 수 있고, 제2 사이드 평면 영역(RE1)에 존재하는 터치 포인트는 상기 제1 및 제3 라인 영상센서(S1, S3)에서 촬영된 영상으로부터 좌표값을 산출할 수 있다. Accordingly, the touch point existing in the first side plane area RE1 may calculate coordinate values from the images captured by the first and second line image sensors S1 and S2, and the second side plane area ( The touch point present in RE1 may calculate a coordinate value from images captured by the first and third line image sensors S1 and S3.

또한, 상기 제3 사이드 평면 영역(RE3)에 존재하는 터치 포인트는 상기 제2 및 제4 라인 영상센서(S2, S4)에서 촬영된 영상으로부터 좌표값을 산출할 수 있고, 상기 제4 사이드 평면 영역(RE4)에 존재하는 터치 포인트는 상기 제3 및 제4 라인 영상센서(S3, S4)에서 촬영된 영상으로부터 좌표값을 산출할 수 있다. In addition, the touch point existing in the third side plane area RE3 may calculate a coordinate value from the images photographed by the second and fourth line image sensors S2 and S4, and the fourth side plane area. The touch point present in RE4 may calculate a coordinate value from images captured by the third and fourth line image sensors S3 and S4.

그러면, 도 2에 도시된 바와 같이 상기 제1 사이드 평면 영역(RE1)에 터치 포인트가 존재하는 경우 산출되는 좌표값을 산출하는 과정을 도 2c를 참조하여 설 명한다. 특히, 설명의 편의를 도모하기 위해 베이스부(SUB)의 장변 및 단변의 길이를 각각 4 및 3으로 가정하였다. Next, as illustrated in FIG. 2, a process of calculating a coordinate value calculated when a touch point exists in the first side plane area RE1 will be described with reference to FIG. 2C. In particular, the lengths of the long sides and short sides of the base portion SUB are assumed to be 4 and 3 for convenience of description.

또한, 상기 제1, 제2, 제3 및 제4 라인 영상센서들(S1~S4)의 위치를 (0,0), (4,0), (0,3) 및 (4,3)으로 각각 가정하고, 상기 제1 사이드 평면 영역(RE1)에 터치가 발생된 포인트(TO)를 (x, y)로 가정하여 상기한 터치 포인트(TO)의 좌표를 산출하는 일련의 과정을 설명한다.In addition, the positions of the first, second, third and fourth line image sensors S1 to S4 are set to (0,0), (4,0), (0,3) and (4,3). A series of processes for calculating the coordinates of the touch point TO will be described by assuming that each point TO generated a touch in the first side planar region RE1 is (x, y).

상기 터치 포인트(TO)가 감지되면, 상기 제1 라인 영상센서(S1)와 상기 제2 라인 영상센서(S2)에 의해 정의되는 길이를 밑변으로 공통으로 하여 높이가 m인 제1 직각 삼각형과 높이가 n인 제2 직각 삼각형이 정의된다. 상기 제1 직각 삼각형의 빗변에 터치 포인트(TO)가 존재하므로 제1 라인 영상센서(S1)와 터치 포인트(TO)와 터치 포인트(TO)의 x 좌표에 의해 상기 제1 직각 삼각형과 닮은꼴의 제3 직각 삼각형이 정의된다. When the touch point TO is detected, a first right triangle having a height of m and a height are made common by the length defined by the first line image sensor S1 and the second line image sensor S2 as a base. A second right triangle with n is defined. Since the touch point TO exists at the hypotenuse of the first right triangle, the first line image sensor S1 and the touch point TO and the touch point TO have an x coordinate similar to the first right triangle. A third right triangle is defined.

또한, 상기 제2 직각 삼각형의 빗변에 상기 터치 포인트(TO)가 존재하므로 제2 라인 영상센서(S2)와 터치 포인트(TO)와 터치 포인트(TO)의 x좌표에 의해 상기 제2 직각 삼각형과 닮은꼴의 제4 직각 삼각형이 정의된다. In addition, since the touch point TO exists at the hypotenuse of the second right triangle, the second right triangle and the second right triangle are formed by the x-coordinate of the second line image sensor S2, the touch point TO, and the touch point TO. A fourth right triangle of similar shape is defined.

상기 제1 직각 삼각형과 상기 제3 직각 삼각형은 서로 닮은꼴이므로 상기 제1 직각 삼각형의 빗변에 존재하는 터치 포인트(TO)의 x 좌표와 제1 라인 영상센서(S1)와 제2 라인 영상센서(S2)간의 길이의 비는 상기 터치 포인트(TO)의 y 좌표와 상기 제1 직각 삼각형의 높이의 비에 비례하여 하기하는 수학식 1로 정리할 수 있다.Since the first right triangle and the third right triangle are similar to each other, the x-coordinate of the touch point TO existing on the hypotenuse of the first right triangle and the first line image sensor S1 and the second line image sensor ( The ratio of the length between S2) may be summarized by Equation 1 below in proportion to the ratio of the y coordinate of the touch point TO and the height of the first right triangle.

[수학식 1][Equation 1]

Figure 112006041972115-PAT00002
Figure 112006041972115-PAT00002

또한, 상기 제2 직각 사각형과 상기 제4 직각 삼각형은 서로 닮은꼴이므로 상기 제2 라인 영상센서(S2)와 상기 터치 포인트(TO)의 x좌표간의 길이와 상기 제1 라인 영상센서(S1)와 상기 제2 라인 영상센서(S2)간의 길이의 비는 상기 터치 포인트(TO)의 y좌표와 상기 제2 직각삼각형의 높이의 비에 비례하여 하기하는 수학식 2로 정리할 수 있다.In addition, since the second rectangular quadrangle and the fourth rectangular triangle resemble each other, the length between the x-coordinate of the second line image sensor S2 and the touch point TO, and the first line image sensor S1 and The ratio of the lengths between the second line image sensors S2 may be summarized by Equation 2 below in proportion to the ratio of the y coordinate of the touch point TO to the height of the second right triangle.

[수학식 2][Equation 2]

Figure 112006041972115-PAT00003
Figure 112006041972115-PAT00003

상기한 수학식 1 및 2 각각에 대해 y로 각각 정리하면 하기하는 수학식 3 및 4와 같다.If y is summarized for each of Equations 1 and 2, respectively, Equations 3 and 4 are described below.

[수학식 3][Equation 3]

Figure 112006041972115-PAT00004
Figure 112006041972115-PAT00004

[수학식 4][Equation 4]

Figure 112006041972115-PAT00005
Figure 112006041972115-PAT00005

상기한 수학식 3 및 4 각각에 대해 x로 정리하면 하기하는 수학식 5와 같다. [수학식 5]If x is summarized for each of Equations 3 and 4, it is as Equation 5 below. [Equation 5]

Figure 112006041972115-PAT00006
Figure 112006041972115-PAT00006

상기한 수학식 5의 x는 터치 포인트(TO)의 x 좌표값이다. 즉, 상기 제1 라인 영상센서(S1)와 상기 제2 라인 영상센서(S2)간의 길이의 합(L1)은 고정된 값으로서 이미 알고 있고, 제2 직각 삼각형의 높이(n)는 제2 라인 영상센서(S2)에서 촬영된 영상으로부터 추론할 수 있으며, 제1 직각 삼각형의 높이(m)는 상기 제1 라인 영상센서(S1)에서 촬영된 영상으로부터 추론할 수 있으므로 터치 포인트(TO)의 x 좌표값을 산출할 수 있다. X in Equation 5 is an x coordinate value of the touch point TO. That is, the sum L1 of the length between the first line image sensor S1 and the second line image sensor S2 is already known as a fixed value, and the height n of the second right triangle is represented by the second line. It can be inferred from the image taken by the image sensor S2, and the height m of the first right triangle can be inferred from the image taken by the first line image sensor S1, so that the x of the touch point TO Coordinate values can be calculated.

한편, 상기한 수학식 1 및 2 각각에 대해 x로 각각 정리하면 하기하는 수학식 6 및 7과 같다.On the other hand, the sum of each of the above equations (1) and (2) by x is the same as the following equations (6) and (7).

[수학식 6][Equation 6]

Figure 112006041972115-PAT00007
Figure 112006041972115-PAT00007

[수학식 7][Equation 7]

Figure 112006041972115-PAT00008
Figure 112006041972115-PAT00008

상기한 수학식 6 및 7 각각에 대해 y로 정리하면 하기하는 수학식 8과 같다.When y is summarized for each of Equations 6 and 7, it is the same as Equation 8 described below.

[수학식 8][Equation 8]

Figure 112006041972115-PAT00009
Figure 112006041972115-PAT00009

상기한 수학식 8의 y는 터치 포인트(TO)의 y 좌표값이다. 즉, 제2 직각 삼각형의 높이(n)는 상기 제2 라인 영상센서(S2)에서 촬영된 영상으로부터 추론할 수 있으며, 제1 직각 삼각형의 높이(m)는 상기 제1 라인 영상센서(S1)에서 촬영된 영상으로부터 추론할 수 있으므로 터치 포인트(TO)의 y 좌표값을 산출할 수 있다. Y in Equation 8 is the y coordinate value of the touch point TO. That is, the height n of the second right triangle may be inferred from the image photographed by the second line image sensor S2, and the height m of the first right triangle may be the first line image sensor S1. Since it can be inferred from the image photographed at, the y coordinate value of the touch point TO can be calculated.

본 실시예에서는 4개의 영상센서들을 사용하였다. 왜냐하면, 현존하는 영상 센서가 화각이 대략 60도 이내이고, 화각을 넓히려면 별도의 렌즈를 부착해야 된다. 따라서, 4개의 영상센서들이 각각 45도 이내의 영상들을 촬영하도록 한 것을 일 실시예로 설명하였다. 또한, 영상센서의 화각에 따라 영상센서의 수는 변할 수 있음은 자명하다.In this embodiment, four image sensors were used. Because the existing image sensor has an angle of view of about 60 degrees or less, it is necessary to attach a separate lens to widen the angle of view. Therefore, an embodiment has been described in which four image sensors respectively capture images within 45 degrees. In addition, it is apparent that the number of image sensors may vary depending on the angle of view of the image sensor.

도 3은 본 발명의 실시예에 따른 좌표인식 방법을 개념적으로 설명하기 위한 순서도이다. 도 4a 및 도 4b는 도 3에 도시된 전처리 단계 이전의 영상과 전처리 과정 이후의 영상들이다. 3 is a flowchart for conceptually explaining a coordinate recognition method according to an embodiment of the present invention. 4A and 4B are images before the preprocessing step and images after the preprocessing step shown in FIG. 3.

도 3을 참조하면, 터치 순간 영상을 포착하여 표시 화면을 감시한다(단계 S110). Referring to FIG. 3, a touch instant image is captured to monitor a display screen (step S110).

이어, 상기 표시 화면에서 영상 잡음을 제거하기 위해 전처리 과정을 수행한다(단계 S120). 상기 전처리 과정은 복수의 프레임 영상들 중에서 하나의 영상을 추출하는 과정을 칭한다. Subsequently, a preprocessing process is performed to remove image noise from the display screen (step S120). The preprocessing process refers to a process of extracting one image from a plurality of frame images.

일례로, 라인 영상센서로서 라인 스캔카메라를 사용하는 경우, 상기 전처리 과정을 수행하므로써 감시되는 화면에서 매 프레임별로 포함되는 잡음 성분을 제거할 수 있다. 상기 라인 스캔카메라는 실질적으로 라인에 상응하는 영역을 촬영한다.For example, when a line scan camera is used as the line image sensor, the noise component included in each frame may be removed from the monitored screen by performing the preprocessing process. The line scan camera photographs an area substantially corresponding to the line.

한편, 라인 영상센서로서 일반 카메라를 사용하는 경우, 상기 전처리 과정을 수행하므로써 입체적으로 촬영된 영상에서 라인 성분에 대응하는 영상을 제외한 나머지 영상을 제거하고, 상기 라인 성분의 영상에서 매 프레임별로 포함되는 잡음 성분을 제거할 수 있다. On the other hand, when using a general camera as a line image sensor, by performing the pre-processing process to remove the remaining images other than the image corresponding to the line component from the three-dimensionally captured image, and included in every frame in the image of the line component Noise components can be eliminated.

예를들어, 전처리 하기 이전에 촬영된 영상은 도 4a에 나타낸 바와 같이, 카메라가 베이스부로부터 일정 높이를 갖고서 배치되므로 베이스부를 벗어난 영상이 포함된다. 따라서, 해당 카메라가 촬영하는 특정 사이드 평면에 상응하는 영상만을 추출한다. 즉, 도 4b에 나타낸 바와 같이, 제1, 제2 및 제4 라인 영상센서(S1,S2, S4)를 연결하는 삼각형상에 포함되는 영상을 제외한 나머지 영상은 제거한다.For example, the image photographed before the preprocessing includes an image which is out of the base part because the camera is disposed with a certain height from the base part as shown in FIG. 4A. Therefore, only the image corresponding to the specific side plane photographed by the camera is extracted. That is, as shown in FIG. 4B, the remaining images except for the image included in the triangle connecting the first, second and fourth line image sensors S1, S2, and S4 are removed.

상기한 전처리 과정의 일례로 에지 영상 처리를 통한 중심점을 찾는 방법을 통해 잡음 성분을 제거할 수도 있다. 또한, 상기한 전처리 과정의 다른 예로 윤곽선 추출을 통한 해당 윤곽선의 중심점을 찾는 방법을 통해 잡음 성분을 제거할 수도 있다.As an example of the preprocessing process, the noise component may be removed by a method of finding a center point through edge image processing. In addition, as another example of the preprocessing process, the noise component may be removed by a method of finding the center point of the corresponding contour line through the contour extraction.

이어, 터치 위치를 찾아내기 위한 영상신호처리 과정으로 영상을 처리한다(단계 S130). 즉, 상기한 영상처리 과정은 추출된 하나의 영상에서 하나의 포인트를 추출하는 과정이다. 본 실시예에서는 4개의 사이드 평면 영역으로 구획된 베이스부에 터치 행위가 이루어지는 경우 4개의 라인 영상센서들 중 2개의 라인 영상센서들로부터 촬영된 영상에서 2개의 포인트가 추출된다.Subsequently, the image is processed by an image signal processing process for finding a touch position (step S130). That is, the image processing process is a process of extracting one point from the extracted one image. In the present exemplary embodiment, when a touch action is performed on a base part divided into four side plane areas, two points are extracted from an image captured by two line image sensors among four line image sensors.

이어, 드로잉의 존재 여부를 체크한다(단계 S140). 즉, 일정수의 프레임동안 터치포인트의 좌표가 고정되면 드로잉이 없는 체크되고, 복수의 좌표들이 검출되면 드로잉이 있는 것으로 체크된다.Then, the existence of the drawing is checked (step S140). That is, if the coordinates of the touch point are fixed for a certain number of frames, no drawing is checked, and if a plurality of coordinates is detected, the drawing is checked.

단계 S140에서, 드로잉이 존재하는 것으로 체크되는 경우에는 드로잉되는 영상들을 추적하고, 추적된 영상으로부터 원하는 영상을 얻는 추적 필터링 과정을 수행한다(단계 S150). If it is checked in step S140 that the drawing exists, a trace filtering process for tracking the drawn images and obtaining a desired image from the traced image is performed (step S150).

여기서, 상기한 추적 필터링 과정은 칼만 필터링 기법을 적용하여 표시되는 영상, 즉 터치 행위에 대응하여 표시장치에 표시되는 영상을 스무딩(smoothing) 처리하는 것이 바람직하다. 통상적으로 사용자가 터치 스크린 장치를 조작할 때 움직이면서 조작할 수도 있고, 고정된 상태에서 조작하더라도 특정 위치를 터칭한 후 다른 위치로 터칭을 수행할 때 중간에 경유하는 다른 위치가 존재하게 된다. 상기한 중간에 경유하는 다른 위치는 일종의 불필요한 영상으로 간주하여 제거하는 기법이 요구된다. Here, the tracking filtering process may be performed by smoothing an image displayed by applying the Kalman filtering technique, that is, an image displayed on the display device in response to a touch action. In general, when the user manipulates the touch screen device, the user may move and operate the touch screen device. Even when the user operates the touch screen device, the user may touch the specific position and then touch the other position. The other position passing in the middle is regarded as a kind of unnecessary image, and a technique for removing the image is required.

이어, 상기 추적 필터링 과정을 수행한 후, 또는 상기 드로잉이 존재하지 않은 것으로 체크되는 경우에는 영상 처리된 결과로 터치 위치를 추정한다(단계 S160).Subsequently, after performing the tracking filtering process or when the drawing does not exist, the touch position is estimated based on the result of image processing (step S160).

상기 단계 S160에서 추정된 터치 위치에 상응하는 좌표값을 터치 드라이버에 출력한다(단계 S170). The coordinate value corresponding to the touch position estimated in step S160 is output to the touch driver (step S170).

도 5는 본 발명의 일 실시예에 따른 터치 스크린 장치를 설명하기 위한 블록도이다. 5 is a block diagram illustrating a touch screen device according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 일 실시예에 따른 터치 스크린 장치(200)는 영상 수집부(210), 터치 좌표 산출부(220) 및 터치 드라이버(230)를 포함한다.Referring to FIG. 5, the touch screen device 200 according to an embodiment of the present invention includes an image collector 210, a touch coordinate calculator 220, and a touch driver 230.

상기 영상 수집부(210)는 상기 표시 화면의 모서리 영역에 배치된 2개 이상의 영상센서들을 구비하고, 상기 터칭에 따른 영상을 촬영한다. 상기한 영상 수집부(210)는 도 1a 내지 도 2c에서 설명된 바 표시 화면의 모서리 영역에 배치된 상기 제1 내지 제4 라인 영상센서들(S1~S4)을 포함한다.The image collecting unit 210 includes two or more image sensors disposed in an edge region of the display screen, and captures an image according to the touching. The image collecting unit 210 includes the first to fourth line image sensors S1 to S4 disposed in the corner region of the display screen as described with reference to FIGS. 1A to 2C.

상기 터치 좌표 산출부(220)는 아날로그-디지털 변환부(221), 영상잡음 제거부(222), 영상처리부(223), 자동 영상 판독부(224), 추적 필터링부(225) 및 위치 추정부(226)를 포함하여, 상기 영상 수집부(210)에서 촬영된 2개 이상의 영상으로부터 잡음을 제거하여 터치 좌표를 산출한 후 상기 터치 드라이버에 제공한다.The touch coordinate calculator 220 includes an analog-digital converter 221, an image noise remover 222, an image processor 223, an automatic image reader 224, a tracking filter 225, and a position estimator. In operation 226, noise is removed from two or more images captured by the image collector 210 to calculate touch coordinates, and then provide the touch coordinates to the touch driver.

구체적으로, 상기 아날로그-디지털 변환부(221)는 서로 다른 채널들을 경유하여 상기 영상센서들 각각에서 제공되는 복수의 영상 신호들을 디지털 변환한다. In detail, the analog-digital converter 221 digitally converts a plurality of image signals provided from each of the image sensors via different channels.

상기 영상잡음 제거부(222)는 서로 다른 채널들을 경유하여 제공되는 상기 디지털 변환된 영상 신호들 각각에 포함된 잡음 성분을 제거하여 복수의 라인 영상들을 출력한다. The image noise remover 222 removes a noise component included in each of the digitally converted image signals provided through different channels and outputs a plurality of line images.

상기 영상처리부(223)는 상기 라인 영상들 각각에서 하나의 포인트를 추출한다. The image processor 223 extracts one point from each of the line images.

상기 자동 영상 판독부(224)는 서로 다른 채널들을 통해 상기 추출된 하나의 포인트가 제공됨에 따라, 특정 채널을 통해 서로 다른 시간동안 제공되는 포인트들로부터 터칭 동작의 드로잉 여부를 판별한다. As the extracted one point is provided through different channels, the automatic image reading unit 224 determines whether the drawing operation is drawn from the points provided for different times through a specific channel.

상기 추적 필터링부(225)는 상기 자동 영상 판독부(224)에서 드로잉으로 판별되는 경우 드로잉되는 영상들을 추적하고, 추적된 영상들을 스무딩 처리한다. The trace filtering unit 225 tracks the images to be drawn when the automatic image reading unit 224 determines the drawing, and smoothes the traced images.

상기 위치 추정부(226)는 상기 영상처리부(223)에 의해 서로 다른 라인 영상에서 추출된 포인트 또는 상기 추적 필터링부(225)에 의해 스무딩 처리된 영상에서 추출된 포인트로부터 채널별 영상에 따른 위치를 추정한다.The position estimator 226 determines a position according to an image for each channel from a point extracted from a different line image by the image processor 223 or a point extracted from an image smoothed by the trace filtering unit 225. Estimate.

상기 터치 드라이버(230)는 화면을 표시하는 표시장치에 상기 터치 좌표를 제공한다. The touch driver 230 provides the touch coordinates to a display device displaying a screen.

이상에서 설명한 바와 같이, 본 발명에 따르면 라인 영상센서를 이용하여 터치 좌표를 인식하므로 기존의 터치 스크린 장치에서 이용하는 투명 유리판과 같은 매질이 불필요하고, 상기 투명 유리판과 같은 별도의 매질을 기존의 표시 화면에 부착할 필요가 없으므로 설치가 용이하다. 따라서, 터치 스크린 장치를 채용하는 표시장치의 두께나 무게 등을 줄일 수 있고, 별도의 매질이 불필요하므로 제조 원가를 줄일 수 있다. As described above, according to the present invention, since the touch coordinates are recognized by using the line image sensor, a medium such as a transparent glass plate used in a conventional touch screen device is unnecessary, and a separate medium such as the transparent glass plate is used as a conventional display screen. Easy to install since there is no need to attach to Therefore, the thickness, weight, and the like of the display device employing the touch screen device can be reduced, and since a separate medium is unnecessary, manufacturing cost can be reduced.

또한, 표시장치의 크기와는 무관하게 사용할 수 있으며, 특히 현존하는 터치 스크린에서 제공하지 못하는 대형 크기의 스크린에도 용이하게 적용될 수 있다.In addition, the display device may be used regardless of the size of the display device, and particularly, may be easily applied to a large size screen that is not provided by the existing touch screen.

또한, 라인 영상 센서에서 촬상되는 영상을 이용하므로 표시 화면의 크기에 아무런 제약을 받지 않는다. 또한, 라인 영상 센서에서 촬상된 영상을 이용하여 드로잉에 대응하는 별도의 연산 처리 과정을 거치므로 탁월한 드로잉(drawing) 성능을 갖는다.In addition, since the image captured by the line image sensor is used, the size of the display screen is not limited. In addition, by using an image captured by the line image sensor, a separate calculation process corresponding to the drawing is performed, thereby having excellent drawing performance.

또한, 종래에는 크기에 따른 비용 문제가 가장 크므로 대형 스크린에 대응하는 터치 패널을 구현하는데 있어서 제조 비용이 비싸다는 단점이 있으나, 본 발명에 따른 영상을 이용한 터치 방식은 다양한 크기의 스크린에 적용할 수 있으며, 기존 터치의 크기에 대한 제약 사항을 해소할 수 있다.In addition, conventionally, the cost problem according to the size is the largest, there is a disadvantage that the manufacturing cost in implementing a touch panel corresponding to a large screen is expensive, the touch method using an image according to the present invention is applicable to a screen of various sizes In addition, the limitation on the size of the existing touch can be removed.

이상에서는 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. Although described above with reference to the embodiments, those skilled in the art can be variously modified and changed within the scope of the invention without departing from the spirit and scope of the invention described in the claims below. I can understand.

Claims (16)

표시 화면 위에 배치되어 조작자의 터칭에 따른 터치 좌표를 산출하여 상기 화면을 표시하는 표시장치에 제공하는 터치 스크린 장치를 이용한 터치 좌표인식 방법에서,In the touch coordinate recognition method using a touch screen device disposed on the display screen to calculate the touch coordinates according to the operator's touch to provide to the display device for displaying the screen, 화면의 터치 순간에 대응하는 2 이상의 영상 신호들을 수집하는 단계;Collecting two or more image signals corresponding to a touch moment of the screen; 상기 영상 신호들에 포함된 잡음을 제거하는 단계; 및 Removing noise included in the image signals; And 상기 잡음 제거된 영상 신호를 처리하여 터치 위치에 상응하는 터치 좌표를 산출하는 단계를 포함하는 것을 특징으로 하는 터치 좌표인식 방법.And processing the noise canceled image signal to calculate touch coordinates corresponding to the touch position. 제1항에 있어서, 상기 포착된 영상에서 잡음을 제거한 후, The method of claim 1, wherein after the noise is removed from the captured image, 드로잉 발생 여부를 체크하는 단계;Checking whether a drawing occurs; 상기 드로잉 발생으로 체크되는 경우, 추적 필터링을 수행하여 드로잉 영상을 스무딩 처리하는 단계; 및 Performing tracking filtering to smooth the drawing image when it is checked that the drawing has occurred; And 상기 스무딩 처리된 영상으로부터 터치 위치를 추정하는 단계를 더 포함하는 것을 특징으로 하는 터치 좌표인식 방법.And estimating a touch position from the smoothed image. 표시 화면 위에 배치되어 조작자의 터칭에 따른 터치 좌표를 추출하는 터치 스크린 장치에서,In the touch screen device disposed on the display screen to extract the touch coordinates according to the operator's touch, 상기 표시 화면의 모서리 각각에 배치된 제1, 제2, 제3 및 제4 영상센서들; 및 First, second, third, and fourth image sensors disposed at corners of the display screen; And 상기 표시 화면에 터치가 발생됨에 따라, 상기 영상센서들에서 제공되는 영상으로부터 터치 포인트를 산출하는 터치 좌표 산출부를 포함하는 것을 특징으로 하는 터치 스크린 장치.And a touch coordinate calculator configured to calculate a touch point from the images provided by the image sensors as a touch is generated on the display screen. 제3항에 있어서, 상기 표시 화면은 상기 영상센서들을 연결하는 대각선에 의해 구획되는 제1, 제2, 제3 및 제4 사이드 평면 영역들을 포함하고,The display apparatus of claim 3, wherein the display screen comprises first, second, third, and fourth side planar regions divided by diagonal lines connecting the image sensors. 상기 사이드 평면 영역들 각각은 대향하는 2개의 영상센서에 의해 커버되는 것을 특징으로 하는 터치 스크린 장치.And wherein each of the side planar regions is covered by two opposing image sensors. 제4항에 있어서, 상기 터치 포인트가 포함되는 사이드 평면을 커버하는 제1 및 제2 영상센서들과 상기 제1 영상센서와 상기 터치 포인트를 연결하는 라인이 표시 화면의 일변과 만나는 제1 포인트와 상기 제2 영상센서와 상기 터치 포인트를 연결하는 라인이 상기 일변과 마주보는 타변과 만나는 제2 포인트를 정의할 때, The display apparatus of claim 4, wherein the first and second image sensors covering the side plane including the touch point, and the first point where a line connecting the first image sensor and the touch point meet one side of the display screen; When the line connecting the second image sensor and the touch point defines a second point that meets the other side facing the one side, 상기 터치 포인트의 x 및 y 좌표 각각은 Each of the x and y coordinates of the touch point
Figure 112006041972115-PAT00010
Figure 112006041972115-PAT00010
(여기서, L1은 제1 영상센서와 제2 영상센서간의 길이이고, m은 제1 포인트와 제2 영상센서간의 길이이며, n은 제2 포인트와 제1 영상센서간의 길이)에 의해 산출되는 것을 특징으로 하는 터치 스크린 장치.Where L1 is the length between the first image sensor and the second image sensor, m is the length between the first point and the second image sensor, and n is the length between the second point and the first image sensor. Touch screen device, characterized in that.
제3항에 있어서, 상기 영상센서는 라인에 상응하는 영역을 촬영하는 것을 특징으로 하는 터치 스크린 장치.The touch screen device of claim 3, wherein the image sensor captures an area corresponding to a line. 제3항에 있어서, 상기 영상센서는 라인스캔카메라인 것을 특징으로 하는 터치 스크린 장치.The touch screen device of claim 3, wherein the image sensor is a line scan camera. 제3항에 있어서, 상기 영상센서는 초당 30 프레임 이상의 촬영속도를 갖는 것을 특징으로 하는 터치 스크린 장치.The touch screen device of claim 3, wherein the image sensor has a shooting speed of 30 frames or more per second. 표시 화면 위에 배치되어 조작자의 터칭에 따른 터치 좌표를 추출하는 터치 스크린 장치에서,In the touch screen device disposed on the display screen to extract the touch coordinates according to the operator's touch, 상기 표시 화면의 모서리 영역에 배치된 2개 이상의 영상센서들을 구비하고, 상기 터칭에 따른 영상을 촬영하는 영상 수집부;An image collecting unit including two or more image sensors disposed at an edge of the display screen and capturing an image according to the touching; 상기 촬영된 2개 이상의 영상으로부터 잡음을 제거하여 터치 좌표를 산출하는 터치 좌표 산출부; 및 A touch coordinate calculator to remove noise from the captured two or more images to calculate touch coordinates; And 상기 터치 좌표를 상기 화면을 표시하는 표시장치에 제공하는 터치 드라이버를 포함하는 것을 특징으로 하는 터치 스크린 장치.And a touch driver for providing the touch coordinates to a display device displaying the screen. 제9항에 있어서, 상기 터치 좌표 산출부는, The method of claim 9, wherein the touch coordinate calculator, 서로 다른 채널들을 경유하여 상기 영상센서들 각각에서 제공되는 복수의 영상 신호들을 디지털 변환하는 아날로그-디지털변환부;An analog-to-digital converter for digitally converting a plurality of image signals provided from each of the image sensors via different channels; 서로 다른 채널들을 경유하여 제공되는 상기 디지털 변환된 영상 신호들 각각에 포함된 잡음 성분을 제거하여 복수의 라인 영상들을 출력하는 영상잡음 제거부;An image noise removing unit for outputting a plurality of line images by removing noise components included in each of the digitally converted image signals provided through different channels; 상기 라인 영상들 각각에서 하나의 포인트를 추출하는 영상처리부; 및 An image processor extracting one point from each of the line images; And 상기 영상처리부에 의해 서로 다른 라인 영상에서 추출된 포인트로부터 채널별 영상에 따른 위치를 추정하는 위치 추정부를 포함하는 것을 특징으로 하는 터치 스크린 장치.And a position estimator for estimating a position according to an image for each channel from points extracted from different line images by the image processor. 제10항에 있어서, 상기 복수의 라인 영상들은 영상 프레임별 잡음이 제거된 라인 이미지인 것을 특징으로 하는 터치 스크린 장치.The touch screen device as claimed in claim 10, wherein the plurality of line images are line images from which noise of each image frame is removed. 제10항에 있어서, The method of claim 10, 서로 다른 채널들을 통해 상기 추출된 하나의 포인트가 제공됨에 따라, 특정 채널을 통해 서로 다른 시간동안 제공되는 포인트들로부터 터칭 동작의 드로잉 여부를 판별하는 자동 영상 판독부;An automatic image reading unit determining whether a touch operation is drawn from points provided for different times through a specific channel as the extracted one point is provided through different channels; 상기 자동 영상 판독부에서 드로잉으로 판별되는 경우 드로잉되는 영상들을 추적하고, 추적된 영상들을 스무딩 처리하는 추적 필터링부를 더 포함하는 것을 특 징으로 하는 터치 스크린 장치.And a tracking filtering unit for tracking the drawn images and smoothing the traced images when the automatic image reading unit determines the drawing. 제10항에 있어서, 상기 영상센서는 라인스캔카메라이고, 상기 영상잡음 제거부는 매 프레임별로 포함되는 잡음 성분을 제거하는 것을 특징으로 하는 터치 스크린 장치.The touch screen device of claim 10, wherein the image sensor is a line scan camera, and the image noise removing unit removes a noise component included in each frame. 제10항에 있어서, 상기 영상센서는 카메라이고, 상기 영상잡음 제거부는 입체적으로 나오는 영상에서 라인 성분에 대응하는 영상을 제외한 나머지 영상을 제거하고, 상기 라인 성분의 영상에서 매 프레임별로 포함되는 잡음 성분을 제거하는 것을 특징으로 하는 터치 스크린 장치.The image sensor of claim 10, wherein the image sensor is a camera, and the image noise removing unit removes an image except for an image corresponding to a line component from a three-dimensional image, and includes a noise component included in each frame in the image of the line component. Touch screen device, characterized in that for removing. 제9항에 있어서, 상기 표시 화면은 사각 형상을 갖고, 상기 표시 화면의 모서리 영역에는 제1, 제2, 제3 및 제4 영상센서들이 배치되며,The display apparatus of claim 9, wherein the display screen has a quadrangular shape, and first, second, third, and fourth image sensors are disposed in a corner area of the display screen. 상기 표시 화면은 상기 제1 내지 제4 영상센서들을 연결하는 대각선에 의해 구획되는 제1, 제2, 제3 및 제4 사이드 평면 영역들을 포함하며,The display screen includes first, second, third, and fourth side planar regions divided by diagonal lines connecting the first to fourth image sensors. 상기 사이드 평면 영역들 각각은 대향하는 2개의 영상센서에 의해 커버되는 것을 특징으로 하는 터치 스크린 장치.And wherein each of the side planar regions is covered by two opposing image sensors. 제15항에 있어서, 터치 포인트가 포함되는 사이드 평면을 커버하는 제1 및 제2 영상센서들과 상기 제1 영상센서와 상기 터치 포인트를 연결하는 라인이 표시 화면의 일변과 만나는 제1 포인트와 상기 제2 영상센서와 상기 터치 포인트를 연결하는 라인이 상기 일변과 마주보는 타변과 만나는 제2 포인트를 정의할 때, The display apparatus of claim 15, wherein the first and second image sensors covering the side plane including the touch point and the line connecting the first image sensor and the touch point meet one side of the display screen. When the line connecting the second image sensor and the touch point defines a second point that meets the other side facing the one side, 상기 터치 포인트의 x 및 y 좌표 각각은 Each of the x and y coordinates of the touch point
Figure 112006041972115-PAT00011
Figure 112006041972115-PAT00011
(여기서, L1은 제1 영상센서와 제2 영상센서간의 길이이고, m은 제1 포인트와 제2 영상센서간의 길이이며, n은 제2 포인트와 제1 영상센서간의 길이)에 의해 산출되는 것을 특징으로 하는 터치 스크린 장치. Where L1 is the length between the first image sensor and the second image sensor, m is the length between the first point and the second image sensor, and n is the length between the second point and the first image sensor. Touch screen device, characterized in that.
KR1020060053941A 2006-06-15 2006-06-15 Method of discerning a touch coordinate and touch screen device performing the same KR101127517B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060053941A KR101127517B1 (en) 2006-06-15 2006-06-15 Method of discerning a touch coordinate and touch screen device performing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060053941A KR101127517B1 (en) 2006-06-15 2006-06-15 Method of discerning a touch coordinate and touch screen device performing the same

Publications (2)

Publication Number Publication Date
KR20070119375A true KR20070119375A (en) 2007-12-20
KR101127517B1 KR101127517B1 (en) 2012-03-23

Family

ID=39137712

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060053941A KR101127517B1 (en) 2006-06-15 2006-06-15 Method of discerning a touch coordinate and touch screen device performing the same

Country Status (1)

Country Link
KR (1) KR101127517B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100899651B1 (en) * 2008-11-21 2009-05-27 한국이미지시스템(주) System of video monitoring and touchscreen control for managing local control panel
WO2010108436A1 (en) * 2009-03-27 2010-09-30 联想(北京)有限公司 Optical touch system and method for optical touch location
KR20110049381A (en) * 2009-11-05 2011-05-12 삼성전자주식회사 System and method for sensing multiple touch points based image sensor
KR101110753B1 (en) * 2011-07-26 2012-02-24 미루데이타시스템 주식회사 Input module, identification module and screen input device having the same capable of detecting touch point and pressure
KR101352264B1 (en) * 2008-12-18 2014-01-17 엘지디스플레이 주식회사 Apparatus and method for sensing muliti-touch
KR101365776B1 (en) * 2008-04-08 2014-02-20 엘지디스플레이 주식회사 Multi-touch system and driving method thereof
KR101630179B1 (en) * 2009-07-28 2016-06-14 삼성전자주식회사 Multi-touch detection apparatus and method for projective capacitive touch screen

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3946936B2 (en) 2000-06-26 2007-07-18 株式会社シロク Optical digitizer
ES2435248T3 (en) * 2000-07-05 2013-12-17 Smart Technologies Ulc Touch system and camera-based method
KR100532058B1 (en) * 2002-12-30 2005-12-02 엘에스산전 주식회사 Traffic information acquisition method and apparatus using camera calibration
KR100465969B1 (en) * 2003-04-11 2005-01-13 (주)모비솔 Pointing device using the surface of a finger

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101365776B1 (en) * 2008-04-08 2014-02-20 엘지디스플레이 주식회사 Multi-touch system and driving method thereof
KR100899651B1 (en) * 2008-11-21 2009-05-27 한국이미지시스템(주) System of video monitoring and touchscreen control for managing local control panel
KR101352264B1 (en) * 2008-12-18 2014-01-17 엘지디스플레이 주식회사 Apparatus and method for sensing muliti-touch
WO2010108436A1 (en) * 2009-03-27 2010-09-30 联想(北京)有限公司 Optical touch system and method for optical touch location
US9626043B2 (en) 2009-03-27 2017-04-18 Lenovo (Beijing) Co., Ltd. Optical touch system and method for optical touch location
KR101630179B1 (en) * 2009-07-28 2016-06-14 삼성전자주식회사 Multi-touch detection apparatus and method for projective capacitive touch screen
KR20110049381A (en) * 2009-11-05 2011-05-12 삼성전자주식회사 System and method for sensing multiple touch points based image sensor
KR101110753B1 (en) * 2011-07-26 2012-02-24 미루데이타시스템 주식회사 Input module, identification module and screen input device having the same capable of detecting touch point and pressure

Also Published As

Publication number Publication date
KR101127517B1 (en) 2012-03-23

Similar Documents

Publication Publication Date Title
KR101127517B1 (en) Method of discerning a touch coordinate and touch screen device performing the same
US9804713B2 (en) Method and system for finger sensing, related screen apparatus and computer program product
TW201510771A (en) Pointing direction detecting device and its method, program and computer readable-medium
JP2013250882A5 (en)
JP6723814B2 (en) Information processing apparatus, control method thereof, program, and storage medium
US20140375577A1 (en) Method of identifying edge swipe gesture and method of opening window control bar using the identifying method
TWI408587B (en) Touch system and positioning method therefor
WO2019100407A1 (en) Positioning of terminal screen based on transformation relation of coordinates of marking graphic points in pattern
CN103092334A (en) Virtual mouse driving device and virtual mouse simulation method
JP2014029656A (en) Image processor and image processing method
CN107527353B (en) Projection picture outer frame detection method based on visual processing
JPH05189137A (en) Command input device for computer
KR100968205B1 (en) Apparatus and Method for Space Touch Sensing and Screen Apparatus sensing Infrared Camera
KR101536673B1 (en) Virtual Touch Sensor Using Depth Information and Method for controlling the same
TWI499938B (en) Touch control system
CN110377187A (en) Estimation is blocked method and apparatus, gesture recognition system and the storage medium of finger tip
TWI448918B (en) Optical panel touch system
KR100983051B1 (en) Apparatus and Method for Space Touch Sensing and Screen Apparatus using Depth Sensor
CN111491095B (en) Image blurring method and device and electronic equipment
TWI464651B (en) Optical touch system and touch object separating method thereof
TWI462033B (en) Touch system and method of making a drawing thereon
TW201419087A (en) Micro-somatic detection module and micro-somatic detection method
TWI444875B (en) Multi-touch input apparatus and its interface method using data fusion of a single touch sensor pad and imaging sensor
KR20090037535A (en) Method for processing input of touch screen
KR101653235B1 (en) Apparatus and method for econgnizing gesture

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150309

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee