KR101904733B1 - Apparatus for detecting an input location using 3D camera - Google Patents

Apparatus for detecting an input location using 3D camera Download PDF

Info

Publication number
KR101904733B1
KR101904733B1 KR1020170035833A KR20170035833A KR101904733B1 KR 101904733 B1 KR101904733 B1 KR 101904733B1 KR 1020170035833 A KR1020170035833 A KR 1020170035833A KR 20170035833 A KR20170035833 A KR 20170035833A KR 101904733 B1 KR101904733 B1 KR 101904733B1
Authority
KR
South Korea
Prior art keywords
input tool
home button
cameras
input
camera
Prior art date
Application number
KR1020170035833A
Other languages
Korean (ko)
Other versions
KR20180107487A (en
Inventor
손창환
Original Assignee
주식회사 실리콘그라피
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 실리콘그라피 filed Critical 주식회사 실리콘그라피
Priority to KR1020170035833A priority Critical patent/KR101904733B1/en
Publication of KR20180107487A publication Critical patent/KR20180107487A/en
Application granted granted Critical
Publication of KR101904733B1 publication Critical patent/KR101904733B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명의 3Ｄ 카메라를 이용한 입력 위치 검출 장치는, 기 설정된 형태의 도형이나 도안의 바닥 혹은 벽면의 홈 버튼을 두 대의 3D 카메라로 검출하고, 상기 두 대의 카메라에 의하여 촬영되는 영상 내에 입력 도구가 들어왔는지 여부를 판단하고, 상기 입력 도구를 가리키는 복수개의 특징점들 중에서 3차원 좌표 중 어느 하나가 상기 홈 버튼의 3차원 좌표와 동일한 경우에, 상기 입력 도구가 상기 홈 버튼을 터치한 것으로 인식하고, 상기 홈 버튼의 터치가 검출된 이후에는 디스플레이 장치를 통하여 메뉴가 팝업 되도록 하고, 상기 메뉴의 팝업 이후에 상기 홈 버튼의 터치 여부를 판단하기 위한 구성이 비활성화되고, 상기 입력 도구의 3차원 상의 이동 경로를 추출하여 상기 디스플레이 장치를 통하여 메뉴 출력 화면 내에 포인터로 출력하는 것을 특징으로 한다. In the input position detecting device using the 3D camera of the present invention, a home button on a floor or a wall of a figure or a figure of a predetermined shape is detected by two 3D cameras, and an input tool is placed in the image captured by the two cameras And recognizes that the input tool has touched the home button when any one of the three-dimensional coordinates among the plurality of feature points indicating the input tool is the same as the three-dimensional coordinates of the home button, A menu is popped up through a display device after a touch of the home button is detected, a configuration for determining whether or not the home button is touched after the pop-up of the menu is deactivated, and a movement path on the three- And outputs the extracted information as a pointer in the menu output screen through the display device It shall be.

Description

3Ｄ 카메라를 이용한 입력 위치 검출 장치{Apparatus for detecting an input location using 3D camera}[0001] The present invention relates to an input position detecting apparatus using a 3D camera,

본 발명은 3D 카메라를 이용하여 입력 위치의 이동 및 스위치 동작을 검출 할 수 있는 장치에 대한 것으로서, 벽이나 바닥 등의 2차원 평면에 가상 키 패드 또는 스위치 영역이 설정되고, 3D 카메라를 이용하여 키 패드의 터치 및 입력 도구의 위치 및 이동 벡터를 검출함으로써, 응용 프로그램과 통신이 가능한 장치에 대한 것이다. A virtual key pad or a switch area is set on a two-dimensional plane such as a wall or a floor, and a virtual key pad or a switch area is set using a 3D camera. And a device capable of communicating with an application program by detecting the position and motion vector of the touch and input tool of the pad.

최근, 키보드를 사용하지 않고, 화면(스크린)에 나타난 문자나 특정 위치에 사람의 손 또는 물체가 닿으면, 그 위치를 파악하여 저장된 소프트웨어에 의해 특정 처리를 할 수 있도록 화면에서 직접 입력을 받을 수 있게 한 터치스크린이 널리 사용되고 있다.Recently, when a person's hand or object touches a character or a specific position displayed on a screen (screen) without using a keyboard, the position can be grasped and a direct input can be received from the screen Touch screen is widely used.

터치 스크린은 기능에 해당하는 문자나 그림 정보를 다양하게 표시할 수 있어 사용자의 기능 인지를 용이하게 한다. 때문에, 지하철, 백화점, 은행 등의 장소에서 안내용 기기, 점포의 판매용 단말기 및 일반 업무용 기기 등에 적용되어 다양하게 활용되고 있다. The touch screen can display character or picture information corresponding to the function in various ways, thereby facilitating the recognition of the function of the user. Therefore, it is widely applied to subway, department store, bank, and other places, such as interior devices, terminals for sale of shops, and general business devices.

종래의 터치스크린은 모니터의 화면에 터치 패널(Touch Panel)을 덧붙여서 손끝이나 기타 물체가 소정영역에 접촉할 때 해당 영역의 특성이 변화하는 것을 인지하여 사용자 입력의 발생을 감지하였다. A conventional touch screen detects the occurrence of user input by recognizing that a characteristic of the corresponding region changes when a touch panel is added to a screen of a monitor and a finger or other object touches a predetermined region.

도 1은 종래의 터치스크린 장치의 구성도이다. 도 1에 도시된 바와 같이, 종래의 터치스크린 장치는 일반 모니터의 화면에 터치 패널(Touch Panel)을 덧붙여서 손끝이나 기타 물체가 소정영역에 접촉할 때 해당 영역의 특성이 변화하는 것으로 사용자 입력을 인지하였다. 종래의 터치스크린은 전체 화면을 2차원 격자 형태로 구분하여 접촉된 위치를 해석하였으며, 이는 정전용량, 초음파, 적외선, 저항막, 음파인식 등을 이용하여 인식하는 인터페이스 방식이다.1 is a block diagram of a conventional touch screen device. As shown in FIG. 1, in a conventional touch screen device, when a touch panel is added to a screen of a general monitor, the characteristic of the corresponding area changes when a finger or other object touches a predetermined area, Respectively. The conventional touch screen divides the entire screen into a two-dimensional lattice pattern and analyzes the contact position, and it is an interface method for recognizing using the capacitance, the ultrasonic wave, the infrared rays, the resistive film, and the sound wave recognition.

즉, 종래의 터치스크린은 디스플레이 화면과 터치 패널이 동일한 면에 위치하는 2차원 형태로 구성되기 때문에, 디스플레이와 떨어진 자유공간을 터치하는 가상터치스크린 방식은 불가능하였다. That is, since the conventional touch screen is configured in a two-dimensional form in which the display screen and the touch panel are located on the same plane, a virtual touch screen method that touches the free space away from the display is not possible.

본 발명은 벽이나 바닥 등의 2차원 평면에 메뉴 팝업을 위한 홈 버튼 영역이 설정되고, 3D 카메라를 이용하여 입력 도구를 검출하고, 입력 도구를 통한 홈 버튼의 터치 및 입력 도구의 이동을 검출하여 마우스 포인터 이동을 대체할 수 있는 기능을 갖는 장치를 제안하며, 이러한 장치를 이용하여 스크린 골프나 스크린 야구 등 다양한 스위치 조작이 필요한 분야에 활동될 수 있는 장치를 제안하고자 한다.In the present invention, a home button area for a menu pop-up is set on a two-dimensional plane such as a wall or a floor, an input tool is detected using a 3D camera, a touch of a home button through the input tool, We propose a device that can replace mouse pointer movement and propose a device that can be used in fields requiring various switch operations such as screen golf or screen baseball by using such a device.

본 발명의 3Ｄ 카메라를 이용한 입력 위치 검출 장치는, 기 설정된 형태의 도형이나 도안의 바닥 혹은 벽면의 홈 버튼을 두 대의 3D 카메라로 검출하고, 상기 두 대의 카메라에 의하여 촬영되는 영상 내에 입력 도구가 들어왔는지 여부를 판단하고, 상기 입력 도구를 가리키는 복수개의 특징점들 중에서 3차원 좌표 중 어느 하나가 상기 홈 버튼의 3차원 좌표와 동일한 경우에, 상기 입력 도구가 상기 홈 버튼을 터치한 것으로 인식하고, 상기 홈 버튼의 터치가 검출된 이후에는 디스플레이 장치를 통하여 메뉴가 팝업 되도록 하고, 상기 메뉴의 팝업 이후에 상기 홈 버튼의 터치 여부를 판단하기 위한 구성이 비활성화되고, 상기 입력 도구의 3차원 상의 이동 경로를 추출하여 상기 디스플레이 장치를 통하여 메뉴 출력 화면 내에 포인터로 출력하는 것을 특징으로 한다. In the input position detecting device using the 3D camera of the present invention, a home button on a floor or a wall of a figure or a figure of a predetermined shape is detected by two 3D cameras, and an input tool is placed in the image captured by the two cameras And recognizes that the input tool has touched the home button when any one of the three-dimensional coordinates among the plurality of feature points indicating the input tool is the same as the three-dimensional coordinates of the home button, A menu is popped up through a display device after a touch of the home button is detected, a configuration for determining whether or not the home button is touched after the pop-up of the menu is deactivated, and a movement path on the three- And outputs the extracted information as a pointer in the menu output screen through the display device It shall be.

그리고, 상기 두 대의 카메라의 입력 영상의 밝기 변화가 기 설정된 기준 값 이상이 되고, 상기 입력 도구의 객체의 에지를 검출하여 에지의 이동이 있었는지 여부를 분석함으로써, 상기 입력 도구의 검출을 시작하는 것을 특징으로 한다. The detection of the input tool is started by analyzing whether the edge of the object of the input tool has moved and the change of the brightness of the input image of the two cameras is equal to or greater than a predetermined reference value .

그리고, 상기 두 대의 카메라에 의하여 촬영되는 공간에 대해서 2차원 평면으로 나타낸 영역을 탐색 영역으로 정의하고, 상기 두 대의 카메라에 의하여 촬영되는 영상 내에 입력 도구가 들어왔는지 여부에 대한 판단은, 상기 탐색 영역에 대한 두 개의 좌표축만을 이용하여 판단하는 것을 특징으로 한다. A determination is made as to whether or not an input tool is included in the image photographed by the two cameras by defining an area represented by a two-dimensional plane with respect to a space photographed by the two cameras, And the second coordinate axis is determined based on only two coordinate axes.

그리고, 상기 두 대의 카메라에서 촬영된 상기 입력 도구의 객체 영상 중에서 3차원 좌표의 획득에 요구되는 동일점을 찾기 위하여 영상 내 모서리와 선분을 찾아 블록 매칭시키는 것을 특징으로 한다. In order to find the same point required for acquisition of three-dimensional coordinates among object images of the input tool photographed by the two cameras, an edge and a line segment in an image are searched and block matching is performed.

본 발명의 입력 위치 검출 장치를 통해서, 벽이나 바닥 등의 2차원 평면에 가상 키 패드 또는 스위치 영역이 설정되고, 3D 카메라를 이용하여 키 패드의 터치 및 입력 도구의 위치를 검출할 수 있어 다양한 산업 분야에서 가장 입력 장치를 활용할 수 있는 장점이 있다. A virtual key pad or a switch area is set on a two-dimensional plane such as a wall or a floor through the input position detecting device of the present invention and the position of the touch and input tool of the key pad can be detected using the 3D camera, There is an advantage that the most input device can be utilized in the field.

도 1은 종래의 터치스크린 장치의 구성도이다.
도 2는 본 발명의 실시예에 따라 3D 카메라를 이용하여 A,B,C의 위치에 해당하는 홈 버튼의 위치의 검출 및 입력 도구의 위치를 검출하는 모습을 보여주는 도면이다.
도 3은 본 발명의 실시예에 따라 홈 버튼의 터치 이후 팝업 되는 메뉴의 예를 보여주는 도면이다.
도 4은 본 발명의 실시예에 따라 탐색 영역의 가상 키 패드에서 홈 버튼의 터치가 이루어졌을 때 디스플레이 장치에 표시되는 메뉴와 마우스의 이동을 보여주는 예시이다.
도 5는 본 발명의 실시예에 따라 복수의 3D 카메라를 사용하는 경우를 예시한 도면이다.
도 6은 본 발명의 3Ｄ 카메라를 이용한 입력 위치 검출 장치를 구성하는 좌표 연산 수단을 보여주는 도면이다.
도 7과 도 8은 본 발명의 입력 위치 검출 장치의 Z좌표를 연산하기 위한 방법을 설명하기 위한 도면이다.
도 9와 도 10은 본 발명의 실시예에 따라 3D 카메라를 이용한 입력 위치를 검출하는 모습을 보여주는 도면이다.
도 11은 본 발명의 실시예에 따라 입력 도구의 블록 매칭을 위한 모서리 성분을 검출하는 방식을 보여주는 도면이다.
도 12는 본 발명의 실시예에 있어서 촬영 영상 내의 홈 버튼을 입력 도구를 이용하여 터치하는지를 판단하는 시스템을 보여주는 도면이다. 1 is a block diagram of a conventional touch screen device.
FIG. 2 is a view showing the detection of the position of the home button corresponding to the positions of A, B and C and the position of the input tool using the 3D camera according to the embodiment of the present invention.
3 is a diagram illustrating an example of a pop-up menu after a touch of a home button according to an embodiment of the present invention.
FIG. 4 is an illustration showing a menu and a mouse movement displayed on a display device when a home button is touched in a virtual key pad of a search area according to an embodiment of the present invention.
5 is a diagram illustrating a case where a plurality of 3D cameras are used according to an embodiment of the present invention.
FIG. 6 is a diagram showing a coordinate computing means constituting an input position detecting apparatus using the 3D camera of the present invention.
Figs. 7 and 8 are diagrams for explaining a method for calculating the Z coordinate of the input position detecting device of the present invention.
FIG. 9 and FIG. 10 are views for detecting an input position using a 3D camera according to an embodiment of the present invention.
11 is a diagram illustrating a method of detecting a corner component for block matching of an input tool according to an embodiment of the present invention.
FIG. 12 is a diagram illustrating a system for determining whether a home button in a photographed image is touched using an input tool in an embodiment of the present invention.

이하에서는, 본 실시예에 대하여 첨부되는 도면을 참조하여 상세하게 살펴보도록 한다. 다만, 본 실시예가 개시하는 사항으로부터 본 실시예가 갖는 발명의 사상의 범위가 정해질 수 있을 것이며, 본 실시예가 갖는 발명의 사상은 제안되는 실시예에 대하여 구성요소의 추가, 삭제, 변경 등의 실시변형을 포함한다고 할 것이다. Hereinafter, the present embodiment will be described in detail with reference to the accompanying drawings. It should be understood, however, that the scope of the inventive concept of the present embodiment can be determined from the matters disclosed in the present embodiment, and the spirit of the present invention possessed by the present embodiment is not limited to the embodiments in which addition, Variations.

본 발명과 관련되는 설명에 사용되는 접미수 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. The suffix " module " and " part " used in the description relating to the present invention are given or mixed in consideration of ease of specification, and do not have their own meaning or role.

도 2는 본 발명의 실시예에 따라 3D 카메라를 이용한 입력 위치를 검출하는 모습을 보여주는 도면이다. FIG. 2 is a view showing an input position detection using a 3D camera according to an embodiment of the present invention.

도 2를 참조하면, 본 실시예에서는 이미지 센서를 통해 수신하고, 이미지 센서에서 획득한 영상을 FPGA 에 보내 프로파일(Profile) 데이터를 추출하여 각 단면에 해당하는 프로파일 이미지를 합성하여 3D 데이터를 출력하는 3D 카메라(20)가 구성된다. Referring to FIG. 2, in this embodiment, the image data is received through an image sensor, the image obtained by the image sensor is sent to the FPGA, the profile data is extracted, and the profile image corresponding to each cross section is synthesized to output 3D data The 3D camera 20 is constructed.

탐색 영역(30)은 사용자가 인식하기 위한 평면 도형이나 구조물을 사용할 수 있으며, 실시예에 따라서는, 상기 입력 도구는 골프채 또는 야구 배트가 되고, 탐색 영역(30)은 골프 공이 놓여진 면이나 야구에서는 홈 플레이트 또는 홈이 될 수 있다. The search area 30 may be a plane graphic or a structure for the user to recognize. In some embodiments, the input tool may be a golf club or a baseball bat, and the search area 30 may be a plane It may be a groove plate or a groove.

상기 탐색 영역(30)은 키 패드 또는 스위치 영역으로 설정될 수 있으며, 상기 3D 카메라(20)가 이미지를 획득하는 영역인 탐색 영역(30)에는 특정 위치의 특정 크기와 형태로 A, B, C 와 같이 홈 버튼이 위치하게 된다. A, B, C 영역은 특정 기능을 수행하는 단축키로 활용될 수 있고, 다른 메뉴를 호출하는 홈(메뉴) 버튼으로도 사용될 수 있다. 홈 버튼의 경우라면, 메뉴를 디스플레이 할 영역이 필요하기 때문에,, 도 3에 도시된 바와 같이, 별도의 디스플레이 장치(300)가 구성되고, 사용자의 손 또는 입력 도구의 움직임 또는 탐색 영역(30) 터치에 따라 각각의 메뉴가 표시될 수 있다. The search area 30 may be set as a key pad or a switch area. In the search area 30 where the 3D camera 20 acquires an image, A, B, and C The home button is positioned as shown in FIG. The A, B, and C areas can be used as shortcut keys for performing specific functions, and can also be used as home (menu) buttons for calling other menus. 3, a separate display device 300 is configured, and the movement of the user's hand or input tool, or the movement of the search area 30, as shown in FIG. 3, Each menu can be displayed according to the touch.

이러한 실시예에서는, 홈 버튼을 검출하는 방안과, 입력 도구의 위치를 검출하는 방안, 상기 입력 도구를 사용하여 사용자가 탐색 영역(30)의 터치를 하였는지를 검출하는 방안이 요구된다. In this embodiment, a method for detecting the home button, a method for detecting the position of the input tool, and a method for detecting whether the user has touched the search area 30 using the input tool are required.

특히, 3D 카메라를 이용하여 대상체인 입력 도구의 동일 수평면인 X,Y좌표뿐만 아니라, 수직 높이를 나타내는 Z좌표에 대한 정확한 검출이 이루어져야 하기 때문이다. 이에 대해서는, 첨부되는 도면과 함께 후술하기로 한다. Especially, it is necessary to accurately detect not only the X and Y coordinates, which are the same horizontal plane of the target chain input tool, but also the Z coordinate, which represents the vertical height, by using a 3D camera. This will be described later with the accompanying drawings.

도 4은 본 발명의 제 1 실시예에 따라 탐색 영역의 홈 버튼의 터치가 이루어졌을 때 디스플레이 장치에 표시되는 메뉴의 예시이다. 4 is an example of a menu displayed on the display device when a touch of a home button of a search area is performed according to the first embodiment of the present invention.

도 4에 도시된 바와 같은 메뉴가 디스플레이 장치(300)에 팝업 되었을 때 메뉴 중에서 어느 하나의 메뉴를 선택하기 위하여 도 2에 도시된 탐색 영역(30)은 도 4에서의 좌측에 도시된 바와 같이 메뉴 영역을 인식할 수 있도록 변경된다. 즉, 도 2에 도시된 탐색 영역(30)은 사용자의 손(손가락) 또는 입력 도구로 사용자의 입력 명령을 받기 위한 대기 상태로 동작하게 된다면, 이러한 사용자의 웨이크 업 동작으로 사용자에게는 보여지지 않지만 기 설정된 영역별로 구분된 메뉴 항목들을 인식하기 위하여 도 4에 도시된 바와 같은 메뉴 영역(31)으로 설정될 수 있다. When the menu as shown in FIG. 4 is popped up on the display device 300, the search area 30 shown in FIG. 2 for selecting one of the menus is displayed on the left side of the menu 300 The area is changed so as to be recognized. That is, if the search area 30 shown in FIG. 2 is operated in a standby state for receiving a user's input command with a user's hand (finger) or an input tool, The menu area 31 may be set as shown in FIG. 4 in order to recognize the menu items classified by the set area.

좀 더 상세히 설명하면, 각 단계별로 상기 3D 카메라(20)에 의해서 인식되는 입력 도구의 움직임 내지는 터치 동작은 상황에 따라 각각 다르게 사용될 수 있다. 예를 들어, 도 2에서와 같이 설정된 탐색 영역(30)에서는 골프공 등이 탐색 영역(30)의 특정 위치에 놓여지게 되면, 게임 스타트가 이루어지고, 해당 탐색 영역(30)은 더욱 세분화된 메뉴 영역(31)들을 갖는 탐색 영역(30)으로 변경될 수 있다. 즉, 3D 카메라(20)에 의한 입력 도구(골프공 내지는 골프채 등)의 움직임을 더욱 정밀하게 판단하기 위한 모드로 동작된다. In more detail, the movement or touch operation of the input tool recognized by the 3D camera 20 for each step may be used differently depending on the situation. For example, in the search area 30 set as shown in FIG. 2, when a golf ball or the like is placed at a specific position in the search area 30, game start is performed and the search area 30 is further divided into a more detailed menu Can be changed to a search area (30) having regions (31). That is, the 3D camera 20 operates in a mode for more precisely determining the motion of the input tool (golf ball, golf club, etc.).

도 5는 본 발명의 실시예에 따라 복수의 3D 카메라를 사용하는 경우를 예시한 도면이다. 5 is a diagram illustrating a case where a plurality of 3D cameras are used according to an embodiment of the present invention.

본 실시예에서는, 홈 버튼의 위치와 입력 도구의 위치 및 이동을 3D 카메라를 통하여 정확히 판단하기 위하여 복수개의 3D 카메라가 사용될 수 있으며, 이 경우, 평면을 가리키는 X축 및 Y축에 대한 좌표 뿐만 아니라 수직 위치를 나타내는 Z축 좌표에 대해서 감지해 낼 수 있다. In this embodiment, a plurality of 3D cameras may be used to accurately determine the position of the home button and the position and movement of the input tool through the 3D camera. In this case, not only the coordinates for the X and Y axes pointing to the plane You can detect for the Z-axis coordinates that represent the vertical position.

본 발명의 실시예에 따라 입력 도구에 의하여 사용자의 의도가 탐색 영역을 터치하였는지를 여부를 정확히 판단하기 위하여, X축 및 Y축을 포함하여 Z축 좌표를 감지하는 방법에 대해서 상세히 설명하여 본다. In order to accurately determine whether the user's intention touched the search area by the input tool according to the embodiment of the present invention, a method of detecting the Z axis coordinate including the X axis and the Y axis will be described in detail.

도 6은 본 발명의 3Ｄ 카메라를 이용한 입력 위치 검출 장치를 구성하는 좌표 연산 수단을 보여주는 도면이고, 도 7과 도 8은 본 발명의 입력 위치 검출 장치의 Z좌표를 연산하기 위한 방법을 설명하기 위한 도면이다. FIG. 6 is a view for explaining a coordinate calculating means constituting an input position detecting apparatus using a 3D camera according to the present invention. FIGS. 7 and 8 are diagrams for explaining a method for calculating Z coordinates of an input position detecting apparatus according to the present invention. FIG.

먼저, 도 6을 참조하면, 다양한 산업 분야에 활용될 수 있는 입력 위치 검출 장치는 전술한 입력 도구, 3D 카메라 및 디스플레이 장치를 포함하면서, 도시된 좌표 연산 수단(100)을 포함한다. First, referring to FIG. 6, an input position detecting device which can be utilized in various industrial fields includes the coordinate calculating means 100 shown, including the above-mentioned input tool, a 3D camera and a display device.

상기 좌표 연산 수단(100)은 내부 파라미터 연산부(110), 외부 파라미터 연산부(120) 및 에러 최소화부(130)를 포함한다. The coordinate calculation means 100 includes an internal parameter calculation unit 110, an external parameter calculation unit 120, and an error minimization unit 130.

3차원 공간상의 점들은 카메라를 통과하여 2차원 이미지에 투영된다. 투영되는 점들의 위치는 카메라의 위치 및 방향 그리고 카메라 렌즈 특성, 초점 거리등에 의해 영향을 받는다. Points on the three-dimensional space are projected onto the two-dimensional image through the camera. The position of the projected points is affected by the position and direction of the camera, the characteristics of the camera lens, the focal length, and the like.

이하에서는, 수학식 1 내지 수학식 7을 참조하여, 3D 정보를 얻을 수 있는 가상 공간을 구성하고, 두 대의 카메라를 이용하여 3차원 가상 좌표를 만들어 입력 도구의 위치를 검출하는 방법을 설명하여 본다. 이러한 3차원 가상 좌표를 통한 입력 도구의 위치 검출은 본 발명의 제 1 실시예 뿐만 아니라 제 2 실시예에서도 이용된다. Hereinafter, with reference to equations (1) to (7), a method of constructing a virtual space for obtaining 3D information and generating three-dimensional virtual coordinates using two cameras to detect the position of the input tool will be described . The position detection of the input tool through the three-dimensional virtual coordinates is used in the second embodiment as well as the first embodiment of the present invention.

3차원 공간상의 점들이 이미지로 투영되거나 투영된 점으로부터 3차원 위치를 구하기 위해서는 카메라 내부 특성 및 외부 특성 등을 반드시 고려할 필요가 있다. 본 발명의 실시예에서는, 아래와 같은 수학식 1로 투영 관계를 모델링한다.In order to obtain a three-dimensional position from a projected or projected point on a three-dimensional space, it is necessary to consider internal characteristics and external characteristics of the camera. In the embodiment of the present invention, the projection relation is modeled by the following equation (1).

Figure 112017028195715-pat00001
Figure 112017028195715-pat00001

상기의 수학식 1에서, X는 월드 좌표계(world coordinate system)의 3차원 점의 좌표를 나타내고, [R|t]는 월드좌표를 카메라 좌표로 변환하기 위한 행렬을 나타내며, K는 카메라 내부 특성을 나타내는 행렬을 나타낸다.In Equation (1), X represents a coordinate of a three-dimensional point of the world coordinate system, [R | t] represents a matrix for converting world coordinates into camera coordinates, and K represents a camera internal characteristic ≪ / RTI >

여기서, K는 카메라 내부 파라미터(camera instrinsic parameter), [R|t]는 카메라 외부 파라미터(camera exstrinsic parameter)가 된다. Where K is the camera instrinsic parameter, and [R | t] is the camera exstrinsic parameter.

카메라 내부 파라미터와 카메라 외부 파라미터를 산출해 내기 위해서는, 카메라 캘리브레이션 과정이 선행될 필요가 있다. In order to calculate the camera internal parameters and the camera external parameters, the camera calibration process needs to be preceded.

상기 내부 파라미터 연산부(110)는 각각의 3D 카메라의 초점 거리를 나타내는 fx, fy 와, 카메라 렌즈의 중심을 나타내는 주점(principal point) cx, cy 을 연산한다. 이러한 내부 파라미터는 제 1 3D 카메라와 제 2 3D 카메라에 의하여 취득되는 여러 장의 패턴 영상을 취득하는데, 이러한 패턴 영상 취득은 사용되는 입력 도구의 위치를 변경하여 가면서 수행될 수 있다. 초점 거리는 렌즈 중심과 이미지 센서와의 거리를 가리키며, 카메라 고유의 내부 특성이 된다. 그리고, 주점은 카메라 렌즈의 중심(핀홀)에서 이미지 센서에 내린 수선의 발의 영상 좌표이다. The internal parameter calculator 110 calculates f x and f y representing the focal length of each 3D camera and principal points c x and c y representing the center of the camera lens. This internal parameter acquires a plurality of pattern images acquired by the first 3D camera and the second 3D camera, and this pattern image acquisition can be performed while changing the position of the input tool used. The focal length indicates the distance between the center of the lens and the image sensor, and is the internal characteristic inherent to the camera. And, the main point is the image coordinates of the foot of the waterline falling on the image sensor at the center (pinhole) of the camera lens.

카메라 외부 파라미터는 좌표계 사이의 변환을 나타내는 회전 행렬(r)과 이동 행렬(t)로 구성된다. 상기 외부 파라미터 연산부(120)는 3차원 점들의 좌표값과 투영된 2차원 이미지의 좌표들을 이용하여 외부 파라미터를 연산한다. 카메라 외부 파라미터는 카메라 좌표계와 월드 좌표계 사이의 변환 관계를 나타내는 파라미터로서, 두 좌표계 사이의 회전 및 평행이동 변환으로 표현된다. The camera external parameters consist of a rotation matrix (r) and a movement matrix (t), which represent the transformation between the coordinate systems. The external parameter calculator 120 calculates external parameters using the coordinates of the three-dimensional points and the coordinates of the projected two-dimensional image. The camera external parameter is a parameter that indicates the conversion relation between the camera coordinate system and the world coordinate system, and is expressed as a rotation and a translation transformation between two coordinate systems.

3차원 공간상의 한 점은 아래와 같은 수식으로 카메라를 통과한 이미지 평면에 투영된다.A point on the three-dimensional space is projected onto the image plane passing through the camera with the following formula:

Figure 112017028195715-pat00002
Figure 112017028195715-pat00002

위 수학식 2에서 x는 카메라의 특성(K)에 따라 달라질 수 있기 때문에, 카메라의 특성을 배제한 가상의 정규 좌표계(homogeneous coordinate)를 설정하여 위 수식을 다시 표현하면 아래와 같다.In Equation (2), x can be changed according to the characteristic (K) of the camera. Therefore, a virtual homogeneous coordinate system that excludes the characteristics of the camera is set and the above expression is expressed again as follows.

u = PX, u : homogeneous image point, P : camera matrixu = PX, u: homogeneous image point, P: camera matrix

도 7에 도시된 바와 같이, 3차원 상에서의 점 X가 두 대의 3D 카메라를 통과하여 맺힌 위치를 각각 uL과 uR이라고 한다면, As shown in Fig. 7, when the points X on the three-dimensional plane are defined as u L and u R through the two 3D cameras,

Figure 112017028195715-pat00003
Figure 112017028195715-pat00003

로 나타낼 수 있다. .

X = (X, Y, Z, 1)이라 가정하면, AX = B 형태의 비동차(inhomogeneous) 선형 방정식 형태로 할 수 있으며, 여기서, A는 4×3, B는 4×1 행렬 형태를 갖는다. A와 B를 이미 알고 있는 uL, uR, PL, PR의 형태로 만들면 다음의 수학식 4 및 수학식 5와 같다. Assuming that X = (X, Y, Z, 1), we can take the form of an inhomogeneous linear equation of the form AX = B, where A is 4 × 3 and B is a 4 × 1 matrix . When you create the A and B in the form of L u, R u, P L, P R, which is already known as shown in the following Equation 4 and Equation 5.

Figure 112017028195715-pat00004
Figure 112017028195715-pat00004

Figure 112017028195715-pat00005
Figure 112017028195715-pat00005

AX=B 이므로, X=A-1B의 연산으로 두 이미지의 위치로부터 3차원 공간에서의 위치를 연산할 수 있다. Since AX = B, it is possible to calculate the position in three-dimensional space from the position of two images by the operation of X = A- 1B .

다만, 실제 환경에서 발생할 수 있는 노이즈 및 측정 오차에 의하여 위의 수학식들을 정확히 연산하는 것이 어렵기 때문에, P(camera matrix)를 알고 있다면 3차원 공간상의 점과 투영된 이미지 평면 사이의 선을 구성할 수 있다. However, since it is difficult to accurately calculate the above equations due to the noise and measurement error that may occur in a real environment, if the P (camera matrix) is known, a line between the point on the three- can do.

그리고, 두 대의 카메라를 사용하면 각각의 선은 한 지점에서 교차해야 한다. 그러나 위에서 언급한 이유로 인하여 도 8에서와 같이 각 선이 교차하지 않기 때문에 다른 방식으로 교차점을 유추해야 한다. And, using two cameras, each line must intersect at one point. However, because of the above-mentioned reason, since each line does not intersect as shown in FIG. 8, it is necessary to infer the intersection point in a different way.

본 실시예에서의 에러 최소화부(130)는 두 선분에 수직인 벡터를 구하고, 그 중간을 3차원의 점으로 선택하는 역할을 한다. R, T를 두 대의 카메라 사이의 회전 행렬과 이동 행렬이라고 한다면, 다음과 같은 관계가 성립할 수 있다. The error minimizing unit 130 in the present embodiment finds a vector perpendicular to two line segments and selects the middle point as a three-dimensional point. R and T are the rotation matrix and the movement matrix between the two cameras, the following relationship can be established.

XL = RXR + TX L = RX R + T

왼쪽 카메라를 기준 프레임으로 설정하면, When the left camera is set as the reference frame,

XL = auL, XR = R-1(buR - T), a,b는 실수.X L = au L , X R = R -1 (bu R - T), a and b are real numbers.

XL과 XR에 수직인 벡터를 VP라고 한다면, 두 선분 벡터의 벡터 곱으로 연산할 수 있다. If the vector perpendicular to X L and X R is V P , then it can be computed as the vector product of the two segment vector.

VP = c(uL*(R- 1uR - T) - T), c는 실수이고, *는 벡터 곱. V P = c (u L * (R - 1 u R - T) - T), c is a real number, and * is a vector product.

a, b, c 값을 연산하기 위하여 아래의 수학식 6을 사용한다. To calculate the values a, b, and c, the following Equation 6 is used.

Figure 112017028195715-pat00006
Figure 112017028195715-pat00006

마지막으로, 연산하고자 하는 3차원 공간 상의 점 X는 아래의 수학식 7에 의하여 최종 연산될 수 있다. Finally, the point X on the three-dimensional space to be calculated can be finally calculated by the following equation (7).

Figure 112017028195715-pat00007
Figure 112017028195715-pat00007

도 9와 도 10은 본 발명의 제 2 실시예에 따라 3D 카메라를 이용한 입력 위치를 검출하는 모습을 보여주는 도면이다. FIG. 9 and FIG. 10 are views for detecting an input position using a 3D camera according to a second embodiment of the present invention.

도 9와 도 10에 도시된 제 2 실시예의 경우, 3D 카메라와 함께 빛을 조사하여 이미지를 투영시킬 수 있는 장치인 빔 프로젝터가 일체로 형성된 입력 감지 수단(200)을 포함한다. In the case of the second embodiment shown in FIGS. 9 and 10, a beam projector, which is an apparatus that projects an image by irradiating light together with a 3D camera, includes input sensing means 200 formed integrally.

상기 입력 감지 수단(200)은 빛을 조사하여 이미지가 대상물체에 표시되도록 하기 위한 빔 프로젝터와 같은 조사 장치와, 이미지 촬상을 위한 카메라가 함께 구성된 것이다. The input sensing means 200 is composed of an illuminating device such as a beam projector for illuminating the light to display an image on the object, and a camera for image capturing.

이러한 실시예에서 입력 도구의 위치를 검출하기 위해 2개의 입력 감지 수단(200)을 사용하며, 상기 입력 감지 수단(200)의 출력 정보를 저장하여 연산할 수 있도록 하기 위한 CPU, 램(RAM), ROM, 버스 시스템(Bus system) 및 이러한 각각의 독립 객체를 한개의 시스템에서 제어하기 위한 FPGA가 요구될 수 있다. In this embodiment, two input sensing means 200 are used to detect the position of the input tool, and a CPU, a RAM (RAM) for storing the output information of the input sensing means 200, ROM, a bus system, and an FPGA for controlling each of these independent objects in a single system.

본 실시예에서는, 입력 도구의 검출을 위해서 3D 정보를 얻을 수 있는 공간 내에 3차원 가상 좌표를 만들어 놓는다. 도 5에 도시한 바 있는 2대의 3D 카메라에서 공통으로 얻어질 수 있는 영역 내에 2차원 정보인 X 및 Y좌표와, 3차원으로 확장할 수 있는 Z좌표를 갖는 가상 좌표 공간을 만들게 된다. In this embodiment, three-dimensional virtual coordinates are created in a space where 3D information can be obtained for detecting an input tool. A virtual coordinate space having X and Y coordinates, which are two-dimensional information, and Z coordinates, which can be extended in three dimensions, are formed in an area that can be commonly obtained by the two 3D cameras shown in Fig.

이에 본 실시예에서는, 3D 카메라에 의하여 촬영되는 공간을 2차원 평면으로 나타낸 영역을 탐색 영역(30)이라 할 수 있으며, 본 실시예의 좌표 연산 수단(100)은 3차원을 나타내는 Z좌표를 연산하기 전에 입력 도구가 탐색 영역(30) 내에 위치하였는지 여부를 X좌표와 Y좌표만을 이용해서 빠르게 판단할 수 있다. In this embodiment, the area of the space taken by the 3D camera in the two-dimensional plane may be referred to as the search area 30. The coordinate calculation unit 100 of this embodiment calculates the Z coordinate indicating the three- It is possible to quickly determine whether or not the inputting tool is located in the search area 30 by using only the X coordinate and the Y coordinate.

본 발명의 입력 위치 검출 장치는 입력 도구가 메뉴 팝업을 위한 홈 버튼을 터치하였을 때를 스위치 동작의 시작으로 인식한다. 그리고, 홈 버튼이 있는 주위 영역을 입력도구의 움직임과 동작을 감지할 영역으로 사용한다. The input position detecting device of the present invention recognizes when the input tool touches the home button for menu pop-up as the start of the switch operation. Then, the surrounding area having the home button is used as an area for sensing the movement and operation of the input tool.

따라서, 입력 도구의 터치를 감지할 영역의 홈 버튼을 자동으로 검출할 수 있는 버튼 검출부가 있고, 홈 버튼은 사용자가 지정한 색과 도형을 사용하게 되며, 버튼 검출부는 색과 도형의 형태를 판단할 수 있는 기능을 갖는다. Accordingly, there is a button detecting unit that can automatically detect a home button of an area to be touched by the input tool. The home button uses the color and figure designated by the user, and the button detecting unit determines the shape of the color and the figure .

도형은 원과 다각형 및 체크무늬와 같은 패턴을 지정할 수 있다. 도형과 패턴은 코너 검출 방식을 이용하게 되며, 이미지에서 코너는 모든 방향에서 밝기 변화가 큰 영역, 갑자기 객체가 변하는 경계의 점, 또는 두 개 혹은 두 개 이상의 변의 교차점이라 정의할 수 있으며, 다음과 같은 수식에 의해 찾아낼 수 있다.Figures can specify patterns such as circles, polygons, and checkers. The corner and the corner of the image can be defined as the area where the brightness change is large in all directions, the point where the object suddenly changes, or the intersection of two or more sides. Can be found by the same formula.

Figure 112017028195715-pat00008
Figure 112017028195715-pat00008

Ix와 Iy는 이미지 픽셀 (x, y) 에서 x방향, y방향으로의 편미분 값이 되며 이미 알려진 널리 기술인 sobel 에지 검출 방식에 의해 찾을 수 있다. w(x, y)는 윈도 함수로 가우시안 커널이 된다. 행렬식 M의 고유값을 λ1, λ2라 하면 코너 검출 식을 다음과 같이 유도할 수 있다.Ix and Iy are partial derivatives of the image pixel (x, y) in the x and y directions and can be found by the well-known sobel edge detection method. w (x, y) is a Gaussian kernel with a window function. If the eigenvalues of the determinant M are λ 1 and λ 2 , the corner detection equation can be derived as follows.

Figure 112017028195715-pat00009
Figure 112017028195715-pat00009

여기서, λ1, λ2 의 값에 따라 R의 값이 변하며, R의 값에 따라 일반 평면인지, 모서리 코너인지를 판단할 수 있다. Here,? 1 ,? 2 The value of R varies according to the value of R, and it is possible to determine whether it is a general plane or an edge corner according to the value of R. [

즉, 이미지의 밝기를 통해 선분을 찾고 선분과 선분의 곡률을 이용하여 코너를 찾게 된다. 찾아진 코너의 선을 연결하여 도형을 그릴 수 있고, 도형 내에서 코너가 만나는 개수를 카운트하면 다각형 및 체크무늬와 같은 패턴을 검출할 수 있게 된다. In other words, we find the line segment through the brightness of the image and use the curvature of the segment line segment to find the corner. It is possible to draw a figure by connecting a line of the found corner and counting the number of times the corner is encountered in the figure so that a pattern such as a polygon and a check pattern can be detected.

위와 같은 방식에 의해 2개의 카메라에서 서로 다른 영상의 홈 버튼이 검출이 되고, 검출된 2개의 위치에서 3D 좌표를 얻는다. 얻어진 패턴의 3D 좌표는 입력도구가 홈 버튼을 터치했는지 판단하는데 사용이 되며, 패턴이 바닥에 있을 경우에는 X와 Z 값을, 벽에 있을 경우에는 Y와 Z값을 사용하여 터치를 검출할 수 있다.By the above method, the home button of different images is detected in two cameras, and 3D coordinates are obtained at the two detected positions. The 3D coordinates of the obtained pattern are used to judge whether the input tool has touched the home button. The touch can be detected by using the X and Z values when the pattern is at the bottom and Y and Z values when the pattern is on the wall have.

상세히, 본 발명의 입력 위치 검출 장치는 두 대의 카메라를 통하여 획득되는 이미지를 통하여 3차원의 가상 공간 내에 홈 버튼의 위치를 먼저 판단하게 되고, 입력 도구가 들어왔는지 여부를 먼저 계속 판단하게 된다. 이때, 입력 도구의 검출에 있어서 그 시작은 이전 화면과의 밝기의 변화량을 측정하여 판단하게 되며, 도구의 검출 이후 도구의 이동 및 홈 버튼 터치의 판단은 화면 내의 움직임 검출을 사용하며, 보다 정확한 검출을 위하여 검출 영역 내 밝기의 변화량과 모서리 검출을 추가하여 판단한다. In detail, the input position detecting apparatus of the present invention first determines the position of the home button in the three-dimensional virtual space through the image obtained through the two cameras, and determines whether or not the input tool has been entered first. At the detection of the input tool, the start of the input tool is determined by measuring the amount of change in brightness with respect to the previous screen. After the detection of the tool, the movement of the tool and the determination of the touch of the home button use the motion detection in the screen. By adding the amount of change in the brightness in the detection area and edge detection.

먼저, 촬영 영상 내에 입력 도구가 있는지를 검출하여야 하며, 입력 도구가 없을 경우에는 다른 기능부의 동작을 멈추도록 하여 동작 시간과 소모되는 에너지를 최소화 하도록 해야 한다. First, it is necessary to detect whether an input tool exists in the photographed image. If there is no input tool, the operation of the other function unit should be stopped to minimize the operation time and the energy consumed.

입력 도구가 촬영 영상 내에 존재하는지 판단하기 위해서는 기준이 되는 영상과 현재 입력중인 영상의 밝기의 변화량을 보고 판단을 하는데, 이때 이미지 센서의 입력은 많은 노이즈 성분을 포함하고 있기 때문에 그대로 사용할 경우 영상의 대부분에서 밝기 변화가 검출이 된다. 일반적인 경우 가우시안 블러나 간단한 블러 이미지 획득을 통해 노이즈가 제거된 평활한 영상을 얻을 수 있으나 이미지 주변의 4x4 픽셀의 평균값의 변화를 보는 것만으로 이미지 블러 효과를 얻을 수 있으므로 필터링 된 영상의 버퍼의 할당 없이 평균값을 구하는 것 만으로 변화량을 검출한다. In order to determine whether the input tool exists in the photographed image, the amount of change in brightness of the reference image and the current input image is determined and judged. At this time, since the input of the image sensor includes a lot of noise components, The brightness change is detected. In general, it is possible to obtain a smooth image with no noise removed by Gaussian blur or simple blur image acquisition. However, since the image blur effect can be obtained by only viewing the change of the average value of 4x4 pixels around the image, The change amount is detected only by obtaining the average value.

밝기의 변화량으로 대부분의 입력 도구가 영상 내에 들어 왔는지 대부분 검출이 가능할 것이며, 형광등의 주파수나 떨림에 의한 오차를 보정하기 위해 영상의 에지를 검출하여 입력 도구의 에지의 변화가 있었는지를 추가 변수로 사용하게 된다. 영상 에지의 검출은 sobel edge 검출 방식을 사용한다. Sobel 에지 검출기는 이미지 주변 3x3 픽셀의 가로와 세로 성분의 차이를 이용하여 얻을 수 있으며 차이의 정도를 G라 할 때 아래와 같은 수식에 의해 G를 얻을 수 있다.In order to compensate for the error due to the frequency or vibration of the fluorescent lamp, it is necessary to detect whether the edge of the input tool has changed or not by using the additional variable . The detection of image edge uses the sobel edge detection method. The Sobel edge detector can be obtained by using the difference between the horizontal and vertical components of 3x3 pixels around the image, and G can be obtained by the following equation when the degree of difference is G:

Figure 112017028195715-pat00010
Figure 112017028195715-pat00010

상술한 바와 같이, 2차원 1개의 입력 영상에서는 입력 도구가 특정 패턴을 터치하였는지 알 수 없기 때문에, 2개의 카메라를 사용하여 같은 이미지 위치를 찾아내어야 3D 좌표를 얻을 수 있다. As described above, since it is not known whether the input tool has touched a specific pattern in a two-dimensional input image, 3D coordinates can be obtained by finding the same image position using two cameras.

2개의 영역에서 같은 이미지 위치라 판단되는 서로 다른 x, y 좌표의 점 위치를 검출하였다고 하더라도, 오차가 존재하는 점을 찾아낼 경우 정확한 3D 좌표를 획득할 수 없기 때문에, 오차가 최소화된 같은 이미지 위치를 찾는 것이 중요하다. Even if the point positions of different x and y coordinates determined to be the same image position are detected in the two regions, accurate 3D coordinates can not be obtained when finding the point where the error exists. Therefore, It is important to find out.

한 개의 카메라 영상에서 패턴 주위의 움직이고 있는 사물을 찾아낸 후, 이 사물의 경계선을 파악하여 특징이 되는 위치를 찾아내고, 이 위치 중 패턴에 가장 근접한 것으로 보이는 수 개의 위치를 추출한다. 이 위치들은 다른 한 개의 영상에서 블록 매칭과 모서리 검출을 통해 같은 위치를 찾게 된다. After finding a moving object around a pattern in a single camera image, the position of the object is found by grasping the boundary of the object, and several positions of the position that are closest to the pattern are extracted. These positions are located at the same position through block matching and corner detection in the other image.

이 위치들의 평균 3D 좌표는 마우스 이동을 출력하는데 사용이 되고, 수 개 위치 중 패턴에 접촉이 되는 부분이 있을 경우 패턴의 터치로 인식한다. 이동중인 사물을 인식하는 것은 어려운 일이 아니나 이 중 특징이 되는 점, 특히 2개의 영상에서 공통적으로 존재하여 블록 매칭에 유리한 점을 찾는 것이 중요하다. 블록 매칭에 유리한 점은 밝기 변화량이 큰 부분 또는 모서리 성분에서 두 개 이상의 선분이 교차하는 지점이라 할 수 있다. The average 3D coordinates of these positions are used to output the mouse movement, and when there is a portion of the several positions that is in contact with the pattern, it is recognized as a touch of the pattern. It is not difficult to recognize objects on the move, but it is important to find out points that are characteristic of them, especially those that exist in two images and are advantageous for block matching. The advantage of block matching is that it is a point where two or more line segments intersect at a portion where a brightness variation is large or an edge component.

도 11에서 도면부호 300은 밝기 변화량 차이에 의해 검출된 입력도구이며, 도면부호 310 및 320은 검출된 좌,우 경계선, 도면부호 330은 최 하단의 경계선이고, 도면부호 350은 최 하단 위치를 찾기 위한 기울기 값 0의 선분, 도면부호 340는 최 우측 하단을 찾기 위한 0.5, 1, 1.5, 2의 가변 기울기 값을 갖는 선분이다. 이 경우 선분 (310)과 (330)이 교차한 지점과, (320)과 (330)이 교차한 지점에서 블록 매칭에 유리한 모서리 성분 (400)과 (410) 2개의 특징점을 찾을 수 있으며, (340)과 (350)이 교차한 지점에서 나머지 한 개의 특징이 되는 위치 (420)을 찾을 수 있다. In FIG. 11, reference numeral 300 denotes an input tool detected by a difference in brightness variation, reference numerals 310 and 320 denote detected left and right boundary lines, reference numeral 330 denotes a bottom boundary line, and reference numeral 350 denotes a bottom position And a reference numeral 340 denotes a line segment having a variable slope value of 0.5, 1, 1.5, 2 to find the lower right end. In this case, two corner points 400 and 410, which are advantageous for block matching, can be found at the intersection of the line segments 310 and 330 and the intersection of the lines 320 and 330, 340 and 350 intersect with each other.

상기 방식을 통해 보다 촬영 영상 내에 감지된 입력 도구, 그리고 이동중인 입력 도구의 3D 좌표를 정확하게 얻어낼 수 있으며, 홈 버튼의 설치 위치나 형태에 제한이 없이 다양한 모양의 입력 도구를 사용하여 마우스와 똑같은 동작을 구현할 수 있다. The 3D coordinates of the input tool and the moving input tool can be accurately obtained through the above-described method, and the input position and shape of the home button can be accurately obtained, Operation can be implemented.

또한, 홈 버튼이 바닥이나 벽면 등 설치 위치의 제한이 없고, 홈 버튼 이후 두 대두 대의 출력 위치도 제한이 없다. 입력 도구의 3차원 좌표가 홈 버튼의 3차원 좌표와 같을 경우 홈 버튼의 터치로 인식할 수 있다. 팝업 메뉴의 출력 위치와 상관없이 입력 도구를 바닥에서 이동시킬 경우 가로와 세로 성분의 이동을 마우스 포인터의 이동으로, 그리고 높이 성분을 메뉴 터치로 인식을 할 수 있고, 입력 도구를 벽면에서 이동시킬 경우 세로와 높이 성분을 마우스의 이동으로, 그리고 가로 성분을 메뉴 터치로 인식할 수 있기 때문에 장소와 위치에 제약 없이 설치가 가능한 장점이 있다.In addition, there is no limitation on the installation position of the home button such as the floor or the wall, and there is no limit to the output position of the two soybeans after the home button. If the three-dimensional coordinate of the input tool is the same as the three-dimensional coordinate of the home button, it can be recognized by touching the home button. Regardless of the output position of the pop-up menu, when the input tool is moved from the floor, the movement of the horizontal and vertical components can be recognized by the movement of the mouse pointer and the height component can be recognized by the menu touch. Since the vertical and horizontal components can be recognized by the movement of the mouse and the horizontal component by the menu touch, there is an advantage that it can be installed without limitation in place and position.

도 12에 도시된 도면을 참조하여 위에서 설명한 입력 도구의 위치 검출은, 2차원의 평면 영역인 탐색 영역 내에 표시된 홈 버튼 이미지를 2대의 카메라를 이용하여 홈 버튼(510) 검출을 수행한다. 12, detection of the position of the input tool described above is performed by detecting the home button 510 using two cameras using the home button image displayed in the search area, which is a two-dimensional flat area.

그리고, 2대의 카메라에 의하여 촬영되는 영상 내에 입력 도구(520)가 위치하는지 여부를 검출한다. 그리고, 카메라의 촬영 영상 내에 입력 도구가 들어왔다고 판단하는 경우에는, 특징점 검출부가 검출된 입력 도구의 좌표들 중에서 특징점을 추출한다. 여기서, 입력 도구의 특징점은 입력 도구를 가리키는 좌표들 중에서 수직 위치를 나타내는 Z좌표가 가장 작은 좌표가 된다. Then, it detects whether or not the input tool 520 is positioned within the image captured by the two cameras. When it is determined that the input tool is entered in the captured image of the camera, the feature point detection unit extracts the feature point from the coordinates of the input tool detected. Here, the minutiae point of the input tool is the coordinate having the smallest Z coordinate indicating the vertical position among the coordinates pointing to the input tool.

그리고, 카메라에 의하여 촬영되는 영상들의 이전 프레임과 현재 프레임을 모두 블록으로 나누고, 블록별로 객체의 움직임을 연산하는 블록 매칭 이동 감지가 수행된다. 본 실시예에서는, 블록 매칭에 유리한 점은 밝기 변화량이 큰 부분 또는 모서리 성분에서 두 개 이상의 선분이 교차하는 지점이라 할 수 있다. The block matching motion detection is performed to divide the previous frame and the current frame of the images captured by the camera into blocks and calculate the motion of the object for each block. In the present embodiment, it is advantageous for block matching that a point where two or more line segments intersect with each other in a portion where a brightness change amount is large or an edge component is intersected can be said.

그리고, 입력 도구에 대한 3차원 좌표를 연산/오류 수정하고, 홈 버튼의 터치 여부를 감지/결정한다. Then, the three-dimensional coordinates of the input tool are calculated / corrected, and the home button is detected / determined.

이러한 기술 구성은 다양한 분야에 응용될 수 있으며, 스크린 골프나 스크린 야구, 또는 실내 운동 연습장 등에서 활용될 수 있으며, 다양한 스위치 조작이 필요한 기술분야에 활용될 수 있다.Such a technical configuration can be applied to various fields, and can be utilized in a screen golf, a screen baseball, an indoor exercise field, etc., and can be utilized in a technical field requiring various switch operations.

Claims (4)

기 설정된 형태의 도형이나 도안의 바닥 혹은 벽면의 홈 버튼을 두 대의 3D 카메라로 검출하고,
상기 두 대의 3D 카메라에 의하여 촬영되는 영상 내에 입력 도구가 들어왔는지 여부를 판단하고,
상기 입력 도구를 가리키는 복수개의 특징점들 중에서 3차원 좌표 중 어느 하나가 상기 홈 버튼의 3차원 좌표와 동일한 경우에, 상기 입력 도구가 상기 홈 버튼을 터치한 것으로 인식하고,
상기 홈 버튼의 터치가 검출된 이후에는 디스플레이 장치를 통하여 메뉴가 팝업 되도록 하고,
상기 메뉴의 팝업 이후에 상기 홈 버튼의 터치 여부를 판단하기 위한 구성이 비활성화되고, 상기 입력 도구의 3차원 상의 이동 경로를 추출하여 상기 디스플레이 장치를 통하여 메뉴 출력 화면 내에 포인터로 출력하는 것을 특징으로 하며,
상기 2대의 3D 카메라에서 공통으로 얻어질 수 있는 영역 내에 2차원 정보인 X, Y 좌표와, 3차원으로 확장할 수 있는 Z 좌표를 갖는 가상 좌표 공간을 만들어두고, 상기 두 대의 3D 카메라에 의하여 촬영되는 공간에 대해서 2차원 평면으로 나타낸 영역을 탐색 영역으로 정의하고,
상기 두 대의 3D 카메라에 의하여 촬영되는 영상 내에 입력 도구가 들어왔는지 여부에 대한 판단은, 상기 탐색 영역에 대한 두 개의 좌표축만을 이용하여 판단하며,
상기 두 대의 카메라에서 촬영된 상기 입력 도구의 객체 영상 중에서 3차원 좌표의 획득에 요구되는 동일점을 찾기 위하여 영상 내 모서리와 선분을 찾아 블록 매칭시키는 것을 특징으로 하는 3D 카메라를 이용한 입력 위치 검출 방법. A home button on a floor or a wall surface of a predetermined figure or figure is detected by two 3D cameras,
Determines whether or not an input tool has been entered in the image captured by the two 3D cameras,
Wherein the input tool recognizes that the home button is touched when any one of the three-dimensional coordinates among the plurality of feature points indicating the input tool is the same as the three-dimensional coordinates of the home button,
After the touch of the home button is detected, the menu is popped up through the display device,
A configuration for determining whether or not the home button is touched after the pop-up of the menu is deactivated, and a three-dimensional movement path of the input tool is extracted and output as a pointer in the menu output screen through the display device ,
A virtual coordinate space having X and Y coordinates, which are two-dimensional information, and Z coordinates, which can be extended in three dimensions, are created within an area commonly obtainable by the two 3D cameras, Dimensional plane is defined as a search area,
The determination as to whether or not an input tool has been received in the image photographed by the two 3D cameras is performed using only two coordinate axes for the search region,
Wherein an edge and a line segment in an image are searched to find an identical point required for acquiring three-dimensional coordinates among the object images of the input tool taken by the two cameras, and block matching is performed. 제 1 항에 있어서,
상기 두 대의 카메라의 입력 영상의 밝기 변화가 기 설정된 기준 값 이상이 되고, 상기 입력 도구의 객체의 에지를 검출하여 에지의 이동이 있었는지 여부를 분석함으로써, 상기 입력 도구의 검출을 시작하는 것을 특징으로 하는 3Ｄ 카메라를 이용한 입력 위치 검출 방법. The method according to claim 1,
The detection of the input tool is started by analyzing whether the edge of the object of the input tool has moved and the change of the brightness of the input image of the two cameras is equal to or greater than a preset reference value, The input position detection method using a 3D camera. 삭제delete 삭제delete
KR1020170035833A 2017-03-22 2017-03-22 Apparatus for detecting an input location using 3D camera KR101904733B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170035833A KR101904733B1 (en) 2017-03-22 2017-03-22 Apparatus for detecting an input location using 3D camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170035833A KR101904733B1 (en) 2017-03-22 2017-03-22 Apparatus for detecting an input location using 3D camera

Publications (2)

Publication Number Publication Date
KR20180107487A KR20180107487A (en) 2018-10-02
KR101904733B1 true KR101904733B1 (en) 2018-10-05

Family

ID=63863892

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170035833A KR101904733B1 (en) 2017-03-22 2017-03-22 Apparatus for detecting an input location using 3D camera

Country Status (1)

Country Link
KR (1) KR101904733B1 (en)

Also Published As

Publication number Publication date
KR20180107487A (en) 2018-10-02

Similar Documents

Publication Publication Date Title
JP6348211B2 (en) Remote control of computer equipment
US8963963B2 (en) Video-based image control system
US9836130B2 (en) Operation input device, operation input method, and program
US10310619B2 (en) User gesture recognition
JP2016091457A (en) Input device, fingertip-position detection method, and computer program for fingertip-position detection
KR101330531B1 (en) Method of virtual touch using 3D camera and apparatus thereof
KR20190048506A (en) Method and apparatus for providing virtual room
US20150355719A1 (en) Method and system enabling control of different digital devices using gesture or motion control
JP2013149228A (en) Position detector and position detection program
TWI454653B (en) Systems and methods for determining three-dimensional absolute coordinates of objects
KR101904733B1 (en) Apparatus for detecting an input location using 3D camera
KR101542671B1 (en) Method and apparatus for space touch
JP2018049498A (en) Image processor, operation detection method, computer program, and storage medium
JP6068741B2 (en) Display system
Matsubara et al. Touch detection method for non-display surface using multiple shadows of finger
Periverzov et al. 3D Imaging for hand gesture recognition: Exploring the software-hardware interaction of current technologies
Haubner et al. Recognition of dynamic hand gestures with time-of-flight cameras
EP3059664A1 (en) A method for controlling a device by gestures and a system for controlling a device by gestures
WO2020026765A1 (en) Processing device, posture analysis system, processing method and processing program
Pullan et al. High Resolution Touch Screen Module
Diaz et al. Toward haptic perception of objects in a visual and depth guided navigation
JP2019200566A (en) Operation input device, operation input method, and program
WO2013173861A1 (en) Object position determination

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant