KR20140077417A - 3D interaction processing apparatus recognizing hand gestures based on mobile systems - Google Patents

3D interaction processing apparatus recognizing hand gestures based on mobile systems Download PDF

Info

Publication number
KR20140077417A
KR20140077417A KR1020120146221A KR20120146221A KR20140077417A KR 20140077417 A KR20140077417 A KR 20140077417A KR 1020120146221 A KR1020120146221 A KR 1020120146221A KR 20120146221 A KR20120146221 A KR 20120146221A KR 20140077417 A KR20140077417 A KR 20140077417A
Authority
KR
South Korea
Prior art keywords
hand
information
fingertip
unit
list
Prior art date
Application number
KR1020120146221A
Other languages
Korean (ko)
Inventor
윤진영
유재상
이준석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120146221A priority Critical patent/KR20140077417A/en
Publication of KR20140077417A publication Critical patent/KR20140077417A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Provided is a hand gesture recognition technique for executing a function of interaction with 3D content included in an electronic book only using camera information without a separate sensor for gesture recognition in an electronic book system with a camera mounted therein. This causes ease of product implementation and can overcome the limits of 2D touch interaction which has relied on only a conventional contact manner.

Description

휴대기기에서의 손인식을 위한 3Ｄ 인터랙션 처리장치 {3D interaction processing apparatus recognizing hand gestures based on mobile systems}[0001] The present invention relates to a 3D interaction processing apparatus for recognizing hand gestures based on mobile systems,

본 발명은 휴대기기에서의 카메라 입력을 통해 손가락을 인식하는 3D 인터랙션 처리장치에 관한 것이다.
The present invention relates to a 3D interaction processing device for recognizing a finger through a camera input in a portable device.

종래에는 휴대기기의 입력 방식으로 접촉과 비접촉 방식을 이용하였다. 접촉방식은 정확히 다양한 입력을 행할 수 있었으나 2차원 상에서의 입력을 다루는 것이므로 3차원 모델링에 의한 3D 오브젝트의 선택, 이동, 회전 확대의 제어에는 부적합했다. 또한 비접촉 방식도 단순 모션인식을 통해 간단한 제스처 입력에 의한 화면 켜기와 전화 받기, 사진 넘기기 등이 전부였으며, 3D 인터랙션 처리를 위해선 별도의 적외선센서나 온도센서 등 장치가 추가로 필요하다는 단점이 있었으므로, 3D 오브젝트와의 직관적 3D 인터랙션에는 불편함이 있었다.
Conventionally, contact and non-contact methods are used as an input method of a portable device. The contact method was able to input precisely various inputs, but it was not suitable for controlling the selection, movement, and magnification of 3D objects by 3D modeling because it deals with inputs on two dimensions. In addition, the non-contact method was a simple motion recognition, a simple gesture input by the screen turning on, receiving a phone call, and photo flipping, etc. were all in the process, and there was a disadvantage that an additional infrared sensor or a temperature sensor was needed in addition to the 3D interaction processing , Intuitive 3D interaction with the 3D object was inconvenient.

제스처 인식을 위한 센서를 별도로 필요로 하지 않고, 카메라 입력 정보만으로 손 제스처를 인식하는, 휴대기기기반의 3D 콘텐츠 인터랙션 기술을 제공한다.
Provides a 3D content interaction technique based on a portable device that recognizes a hand gesture only with camera input information, without requiring a sensor for gesture recognition separately.

상기 기술적 과제는, 카메라로 입력받은 손 이미지를 가지고, 손의 스킨 컬러와 동작에 대한 블랍을 생성하고, 손의 윤곽을 추출하고 손의 중심과 손가락 끝의 좌표를 추출하는 손 정보 추출부와, 손 정보 추출부에서 입력받은 정보를 통해, 손의 입체적인 자세와 동작을 추정하는 손의 3D 자세 추정부를 포함하는 휴대기기에서의 손인식을 위한 3D 인터랙션 처리장치에 의해 달성된다.
A hand information extracting unit for extracting an outline of a hand and extracting coordinates of a center of the hand and a fingertip of the hand with a hand image input by a camera, And a 3D posture estimating unit for estimating a three-dimensional posture and an operation of the hand through information input from the hand information extracting unit.

휴대기기에서 손 영역을 인식하는데 있어서, 적외선 센서나 온도센서 등과 같은 추가적인 센서가 필요치 않으므로 제품 구현이 쉬워진다. 또한 탑재된 카메라에의해 입력된 영상으로부터 손 영역의 손 중심, 넓이, 손끝의 좌표 등을 인식 및 트래킹하여 3D 오브젝트의 형성 및 제어가 가능하므로, 접촉에 의한 입력만 가능했던, 종래의 2D 입력이 가지는 한계점을 극복할 수 있다. 이 3D 오브젝트 제어 기술은 전자책, 스마트폰, 패드형 단말기 등에 탑재가능하여, 3D 인터랙션 제어를 매우 효과적으로 할 수 있다.
In order to recognize the hand area on a portable device, an additional sensor, such as an infrared sensor or a temperature sensor, is not required, thus facilitating product realization. Also, since the 3D object can be formed and controlled by recognizing and tracking the hand center, the width, and the coordinates of the fingertip of the hand region from the image input by the mounted camera, the conventional 2D input The limitations can be overcome. This 3D object control technology can be mounted on an e-book, a smart phone, a pad type terminal, etc., and can effectively control 3D interaction.

도 1 은 본 발명의 일 실시예에 따른 3D 인터랙션 처리장치의 구성도이다.
도 2 는 일 실시예에 따른 손 정보 추출부의 블록도이다.
도 3 은 일 실시예에 따른 손 정보 추출부에서 손가락 끝 좌표를 추출하는 것을 설명하기 위한 도면이다.
도 4 는 일 실시예에 따른 3D 오브젝트 디스플레이 제어부의 블록도이다.
도 5 는 일 실시예에 따른 동작 제어의 예이다.1 is a configuration diagram of a 3D interaction processing apparatus according to an embodiment of the present invention.
2 is a block diagram of a hand information extracting unit according to an embodiment.
FIG. 3 is a diagram for explaining extraction of fingertip coordinates in the hand information extracting unit according to an embodiment.
4 is a block diagram of a 3D object display control unit according to an exemplary embodiment of the present invention.
5 is an example of operation control according to an embodiment.

이하 본 발명의 일 실시예에 대하여 첨부된 도면을 참고로 그 구성 및 작용을 설명하면 다음과 같다. 또한 본 발명은 이하의 실시예에 한정되는 것은 아니다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the structure and operation of an embodiment of the present invention will be described with reference to the accompanying drawings. The present invention is not limited to the following examples.

이하 본 발명의 실시예에 대하여 첨부된 도면을 참고하여 그 구성과 작용효과를 설명하면 다음과 같다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.

도 1 은 본 발명의 일 실시예에 따른 3D 인터랙션 처리장치의 구성도이다. 1 is a configuration diagram of a 3D interaction processing apparatus according to an embodiment of the present invention.

도 1 을 참조하면, 휴대기기에서의 손인식을 위한 3D 인터랙션 처리장치는 사용자의 손을 촬영하는 카메라(10)와, 촬영된 이미지에서 손 영역과 손 중심 및 손끝 좌표를 추출하는 손 정보 추출부(100)와, 추출된 손 영역의 입체적 자세와 동작을 추정하는 손의 3D 자세 추정부(200)와, 추출된 손 영역에 따른 동작을 제어할 수 있는 3D 오브젝트 디스플레이 제어부(300)를 포함할 수 있다. Referring to FIG. 1, a 3D interaction processing device for hand-recognition in a portable device includes a camera 10 for capturing a user's hand, a hand information extracting unit (for extracting a hand region, a hand center, A 3D position estimating unit 200 for estimating a stereoscopic attitude and an operation of the extracted hand region, and a 3D object display controlling unit 300 for controlling an operation according to the extracted hand region. have.

카메라(10)는 휴대기기에 장착되며, 손 영역의 이미지를 촬영하여, 촬영된 이미지를 손 정보 추출부(100)로 전송할 수 있다. The camera 10 is mounted on a portable device and can capture an image of a hand region and transmit the captured image to the hand information extraction unit 100.

손 정보 추출부(100)는 카메라(10)에서 찍은 손 이미지에서 손가락 끝 좌표를 추정한다. 구체적으로는, 2차원 상에서 기반한 손 영역을 추정하여, 손의 중심좌표와 지시하고 있는 손가락의 끝 좌표를 추출해 낼 수 있다. 손 정보 추출부(100)가 손 영역을 추출하는 구체적인 과정은 도 2를 참조하여 후술한다.The hand information extracting unit (100) estimates the fingertip coordinates in the hand image taken by the camera (10). Specifically, the center of the hand and the end coordinates of the indicating finger can be extracted by estimating the hand region based on two dimensions. A detailed process of extracting the hand region by the hand information extracting unit 100 will be described later with reference to FIG.

손의 3D 자세 추정부(200)는 손 정보 추출부(100)에 의해 추출된 손 영역의 넓이, 손 중심좌표, 손가락 끝 좌표를 입력 받아, 손의 3D 자세의 추정 및 변화를 추적할 수 있다. 손의 3D 자세 추정부(200)의 3D 동작 인식 및 제어 방법은 도 3을 참조하여 후술한다. The 3D attitude estimating unit 200 of the hand can receive the input of the hand area width, hand center coordinates, and fingertip coordinates extracted by the hand information extracting unit 100 to track the estimation and change of the 3D position of the hand . A 3D motion recognition and control method of the 3D posture estimation unit 200 of the hand will be described later with reference to FIG.

3D 오브젝트 디스플레이 제어부(300)는 손의 3D 자세 추정부(200)에서 추적된 손의 자세 및 변화에 따라 3D 오브젝트의 디스플레이 화면을 제어할 수 있다. 일 실시예에 의하면, 손 정보 추출부(100)에서 최종적으로 추출된 손 중심 좌표를 원점으로 하여 손끝 좌표의 방향을 y축, y축으로부터 손 영역의 가로 축을 x축, 손바닥으로부터의 방향을 z축으로 가지는 3자유도를 추정하고, 3자유도로부터 이동, 회전 방향과 z축 이동으로 인한 스케일 변환을 포함하여 6자유도를 가지는 동작요소를 생성이 가능하다. The 3D object display control unit 300 can control the display screen of the 3D object according to the posture and the change of the hand tracked by the 3D posture estimation unit 200 of the hand. According to an embodiment, when the hand center coordinate finally extracted by the hand information extracting unit 100 is the origin, the direction of the fingertip coordinate is defined as y axis, the horizontal axis of the hand region from the y axis as x axis, It is possible to estimate the three degrees of freedom of the axis and to generate the motion elements having 6 degrees of freedom including the scale conversion due to the movement, the rotation direction and the z axis movement from the three degrees of freedom.

일반적으로, 3자유도는 X(수평), Y(수직), Z(깊이)를 말하며, 6자유도는 X(수평), Y(수직), Z(깊이), 피치(pitch), 요(yaw), 롤(roll)를 말한다In general, three degrees of freedom refer to X (horizontal), Y (vertical) and Z (depth), and six degrees of freedom are X (horizontal), Y (vertical), Z (depth), pitch, yaw , And roll

도 2 는 일 실시예에 따른 손 정보 추출부(100)의 블록도이다2 is a block diagram of a hand information extracting unit 100 according to an embodiment

본 발명의 일 실시예는, 카메라로 입력받은 정보를 통해, 움직임 영역을 인식하여 사물의 윤곽 정보를 인식하는 모션 블랍 정보 추출부(110)와, 이와 동시에 히스토그램을 이용한 색 정보 값에 따라서 블랍(blob)으로 분리되는 스킨 컬러 블랍 리스트 생성부(120)를 포함한다. 모션 블랍 정보 추출부(110)와 스킨 컬러 블랍 리스트 생성부(120)에 의해 얻어진 손 정보는 손 영역 추출부(130)로 입력되어, 손 영역 추출부(130)가 손 영역을 검출할 수 있다. 또한 일 실시예는, 손 영역 추출부(130)에서 얻어진 데이터에 기반해 손가락 끝 후보들을 생성하는 손가락 끝 리스트 생성부(140)와, 손가락 끝 리스트 생성부(140)로부터 받은 리스트에서 손 영역의 무게중심점을 찾는 손 중심좌표 생성부(150)와, 손가락 끝 리스트와 손 중심좌표로부터 가장 먼 거리에 있는 손가락 끝 좌표를 추정하는 손가락 끝 좌표 생성부(160)를 포함한다.In one embodiment of the present invention, a motion blur information extracting unit 110 for recognizing a motion region through information input from a camera and recognizing the outline information of an object, and a motion blur information extracting unit 110 for extracting blob and a skin color blob list generation unit 120 that separates the skin color blob list generation unit 120 and the skin color blob generation unit 120. [ The hand information obtained by the motion blur information extraction unit 110 and the skin color blur list generation unit 120 is input to the hand region extraction unit 130 so that the hand region extraction unit 130 can detect the hand region . In addition, one embodiment includes a fingertip list generation unit 140 that generates fingertip candidates based on the data obtained by the hand region extraction unit 130, And a fingertip coordinate generating unit 160 for estimating fingertip coordinates at a furthest distance from the finger center list and the finger center list.

인식 손가락 수를 하나로 제한함으로써, 손 중심 영역으로부터 손끝으로 클러스터링 된 후보들 중에서 가장 먼 손가락 하나를 인식하기 때문에, 손 윤곽 인식의 정확도가 떨어지더라도 안정적인 인식을 할 수 있다.By limiting the number of recognition fingers to one, recognizing one finger which is farthest from the clustered candidates from the center of hand area to the fingertip enables stable recognition even if the accuracy of the hand contour recognition is low.

보다 구체적으로, 모션 블랍 정보 추출부(110)는 움직이는 손의 영역을 추출해서 해당 영역의 픽셀 정보 및 컨투어(contour)정보 등을 포함해, 모션 블랍 정보를 생성할 수 있다. 컨투어 정보는 통상적으로 평면상에 주어진 물체에 대한 영역의 내부와 외부를 구분하는 경계, 즉 윤곽을 의미하는데, 여기서는 손의 윤곽을 의미할 수 있다. More specifically, the motion blind information extracting unit 110 extracts a region of a moving hand and generates motion blind information including pixel information and contour information of the corresponding region. The contour information generally refers to a boundary or contour that distinguishes between the inside and the outside of a region for a given object on a plane, which may mean the contour of a hand.

이와 동시에, 스킨 컬러 블랍 리스트 생성부(120)는 카메라에 의해 입력된 손 영역의 색 정보 히스토그램을 이용하여 색 정보 값이 각각 다른 블랍으로 분리되어 컨투어 정보와 함께 스킨 컬러 블랍 리스트를 생성할 수 있다. 블랍(blob)은 주변과 비교하여 색이나 밝기와 같은 특징이 다른 이미지의 영역을 의미할 수 있다. 일반적으로, 카메라(10)로 손 영역의 추출시, 추출하려는 손의 색과 유사한 색상이 많이 날 수 있다. 하지만, 스킨 컬러 블랍 리스트 생성부(120)에 의한 색정보뿐만 아니라, 모션 블랍 정보 추출부(110)에 의한 모션정보를 함께 사용하여 손 영역을 추출하므로 안정적인 인식이 가능할 수 있다. At the same time, the skin color blur list generation unit 120 can generate a skin color blur list with the contour information by separating the color information values into banners different in color by using the color information histogram of the hand region input by the camera . A blob may refer to an area of an image that has different characteristics, such as color or brightness, as compared to its surroundings. Generally, when extracting the hand region with the camera 10, colors similar to the color of the hand to be extracted may be large. However, since the hand area is extracted using both the color information by the skin color blur list generating unit 120 and the motion information by the motion blur information extracting unit 110, stable recognition can be possible.

손 영역 추출부(130)는 모션 블랍 정보 추출부(110)와 스킨컬러 블랍 리스트 생성부(120)에서 받은 손 정보를 통해서 손 영역을 추출할 수 있다. The hand region extracting unit 130 may extract the hand region through the hand information received from the motion blur information extracting unit 110 and the skin color blur list generating unit 120.

손가락 끝 리스트 생성부(140)는 손 영역 추출부(130)로부터 손 영역의 윤곽 포인트 리스트로 추출된 리스트를 수신하고, 서로 가까운 영역의 포인트끼리 클러스터링(clustering)하여 간략화된 포인트 리스트를 가질 수 있다. 인접한 포인트 리스트끼리 연결한 윤곽정보를 통하여 윤곽선이 가지는 최소 다각형인 컨벡스 헐(convex hull) 리스트를 생성하고, 컨벡스 헐과 간략화된 손 윤곽 정보가 만나는 지점을 손가락 끝이 될 수 있다고 판단하여 손가락 끝 후보 리스트에 추가할 수 있다. 컨벡스 헐은 간략화된 포인트 리스트의 인접한 포인트들을 연결하여 만들어진 윤곽선을 의미할 수 있다.다시 후보 리스트를 가까운 후보 포인트끼리 클러스터링 하여 복수개의 중앙값을 추출하고, 추출된 복수개의 중앙값을 통해 각 중앙값들 사이에 최대거리를 가지는 부분을 손갈퀴 좌표로 간주하고, 각 손갈퀴 좌표로부터 손가락 끝 후보 사이의 각을 측정하여 손가락 끝으로 판단되는 손가락 끝 리스트를 생성할 수 있다. The fingertip list generation unit 140 may receive the list extracted from the hand region extraction unit 130 as a contour point list of the hand region and may have a simplified point list by clustering points in a region close to each other . A convex hull list, which is the minimum polygon of the contour line, is generated through the contour information connected to the adjacent point lists, and it is determined that the point where the convex hull and the simplified hand contour information meet can be the fingertip, You can add it to the list. The convex hull may be an outline formed by concatenating adjacent points of a simplified point list. The candidate list is further clustered among the near candidate points to extract a plurality of median values, and a plurality of median values are extracted, It is possible to generate a fingertip list judged as the fingertip by considering the portion having the maximum distance as the handrail coordinates and measuring the angle between the fingertip candidates from each handrail coordinate.

손 중심좌표 생성부(150)는 손 윤곽의 포인트 리스트로부터 거리변환 행렬을 이용한 무게중심점을 찾아 손 중심 좌표를 추출할 수 있다. The hand center coordinate generator 150 can extract the center of gravity of the hand by finding the center of gravity using the distance conversion matrix from the hand outline point list.

손가락 끝 좌표 생성부(160)는 손가락 끝 리스트와 손 중심좌표를 통해, 손가락 끝과 손 중심좌표 간 서로의 거리가 가장 먼 손가락 끝 좌표를 최종적으로 하나의 손끝 좌표로 인식할 수 있다. The fingertip coordinate generating unit 160 can finally recognize the fingertip coordinate having the longest distance between the fingertip and the hand center coordinate as one fingertip coordinate through the fingertip list and the hand center coordinate.

도 3 은 일 실시예에 따른 손 정보 추출부에서 손가락 끝 좌표를 추출하는 것을 설명하기 위한 도면이다. FIG. 3 is a diagram for explaining extraction of fingertip coordinates in the hand information extracting unit according to an embodiment.

도 3을 참조하면, 손가락 끝 리스트 생성부(140)를 통해 얻어진 윤곽선이 가지는 최소 다각형인 컨벡스 헐(Convex Hull)(310)이 생성되고, 간략화된 손 윤곽 정보(320)와 컨벡스 헐이 만나는 지점(340)이 손가락 끝이 될 수 있는 후보리스트에 추가될 수 있다. 3, a convex hull 310, which is the minimum polygon of the contour obtained through the fingertip list generation unit 140, is generated, and at the point where the simplified hand outline information 320 and the convex hull meet The candidate list 340 may be added to a candidate list that can be a fingertip.

후보 사이의 중앙값인 손갈퀴 좌표로부터 손가락 끝 후보 사이의 각을 통해 최종 손가락 후보리스트를 생성하고 손 영역 윤곽의 포인트 리스트로부터 거리변환 행렬을 이용한 무게중심점인 손 중심(330) 좌표를 추출할 수 있다. 이렇게 해서 얻어진, 손가락 끝이 될 수 있는 후보리스트 포인트들과 손 중심(330)점과의 사이가 가장 먼 거리에 있는 손가락 끝 좌표가 최종적으로 하나의 손가락 끝 좌표(410)로 인식될 수 있다.A final finger candidate list may be generated through an angle between the hand raster coordinates and the fingertip candidates, which are the median between the candidates, and the hand center (330) coordinates as the center of gravity using the distance transformation matrix from the point list of the hand area contour may be extracted . The fingertip coordinate thus obtained, which is the longest distance between the candidate list points that can be the fingertip and the point of the hand center 330, can finally be recognized as one fingertip coordinate (410).

도 4 는 실시예에 따른 손의 3D 자세 추정부(200)의 블록도이다. 4 is a block diagram of a 3D posture estimation unit 200 of a hand according to an embodiment.

일 양상에 따르면, 손의 3D 자세 추정부(200)는, 손 정보 추출부(100)에서 추출된 손 영역과 손끝 좌표를 통해 손의 3D의 자세를 추정하는 자세 변환 매트릭스 생성부(220)를 포함하고, 3D 자세 추정 후 3D 오브젝트의 움직임을 추적하는 3D 오브젝트 제어부(230)를 포함할 수 있다.According to one aspect, the 3D attitude estimation unit 200 of the hand generates an attitude transformation matrix generation unit 220 that estimates the 3D attitude of the hand through the hand region and the fingertip coordinate extracted by the hand information extraction unit 100 And a 3D object control unit 230 for tracking the movement of the 3D object after 3D posture estimation.

자세 변환 매트릭스 생성부(220)는, 손 정보 추출부(100)에서 추출된 2차원 적인 손 영역과 손 중심 및 손가락 끝 좌표를 통해, 최종적으로 추출된 손 중심 좌표를 원점으로 하여 손끝 좌표로 이어지는 축을 y축, 이를 가로지르는 손바닥으로부터의 가로축을 x축, 손바닥이 향하는 방향을 z축으로 하여 축의 회전과 원점 좌표의 이동, 손 영역 넓이에 따른 스케일 변환 등의 개략적인 3D자세가 추정될 수 있다.The posture transformation matrix generation unit 220 generates the posture transformation matrix 220 based on the two-dimensional hand region extracted from the hand information extraction unit 100, the hand center and the fingertip coordinates, A rough 3D attitude can be estimated, such as the axis of the axis, the x-axis of the x-axis from the palm of the hand across it, and the z-axis of the direction of the palm of the hand, .

3D 오브젝트 제어부(230)는 자세 변환 매트릭스 생성부(220)에 의해 입력받은 스케일 변환 값, 이동변환 값, 회전변환 값의 4x4 매트릭스에 값에 의해 손의 이동, 회전 등의 동작이 인식될 수 있다. The 3D object control unit 230 can recognize movement of the hand, rotation, and the like based on the 4x4 matrix of the scale conversion value, the movement conversion value, and the rotation conversion value input by the posture conversion matrix generation unit 220 .

일 실시예에 따르면, 회전의 경우 손끝의 방향으로 기준 축을 정하고 손 중심 손끝 좌표이동을 통해 상대적 회전각을 구할 수 있다. 각도 정보를 추출하기 위해 데카르트 좌표계로 손 중심으로부터 손끝 정보를 구면 좌표계로 변환하여 특징 벡터를 구하고 3D 오브젝트의 회전값을 쿼터니언(quaternion) 행렬로 제공하여 화면 구성에 적용할 수 있다. According to one embodiment, in the case of rotation, the reference axis can be determined in the direction of the fingertip, and the relative rotation angle can be obtained through the movement of the fingertip center of the hand. In order to extract the angle information, the Cartesian coordinate system converts the fingertip information from the center of the hand to the spherical coordinate system to obtain the feature vector, and the rotation value of the 3D object is provided as a quaternion matrix.

일 실시예에 따르면, 손 영역이 손바닥이 향하는 방향인 Z축으로 이동하면, 인식되는 손 영역의 넓이가 작아지거나 커지게 되는데 이 방법은 3D 오브젝트의 확대, 축소에 사용될 수 있다. 좌표의 이동은 손 중심 좌표인 원점 좌표의 이동을 통해 제어될 수 있다. 이에 따라 휴대기기에 디스플레이 된 3D 오브젝트를 회전시키고 이동시켜 2D 화면의 한계를 극복하고 3D 오브젝트의 직관적 제어가 가능하다. According to one embodiment, when the hand region moves along the Z axis, which is the direction toward which the palm is directed, the area of the recognized hand region becomes smaller or larger. This method can be used to enlarge or reduce the 3D object. The movement of the coordinates can be controlled through the movement of the origin coordinate, which is the hand center coordinate. Accordingly, the 3D object displayed on the portable device can be rotated and moved to overcome the limitation of the 2D screen and intuitively control the 3D object.

도 5 는 본 발명의 일 실시예에 따른 동작 제어의 예이다.5 is an example of operation control according to an embodiment of the present invention.

실시예에 있어서, 카메라를 통해 입력되는 영상을 휴대기기(510)의 인터랙션 처리장치가 손 영역 및 자세를 인식하여, 화면에 디스플레이된 사각 뿔(500)이 이동, 회전 및 크기변환을 통해 관찰 가능하다. In the embodiment, the interaction processor of the portable device 510 recognizes the hand region and the posture of the image input through the camera, and the rectangular horn 500 displayed on the screen can be observed through movement, rotation, and size conversion Do.

도시된 대로, 손의 위치가 x, y. z 축에 의해 추출 가능하다. 일 실시예에 있어서, 손이 z축의 휴대기기(510)의 방향으로의 동작이 사각 뿔(500)의 확대 및 축소 등의 방법으로 사용될 수 있다.
As shown, the position of the hand is x, y. It is extractable by the z-axis. In one embodiment, the movement of the hand in the direction of the z-axis portable device 510 can be used in such a way as to enlarge and reduce the square horn 500 and the like.

10: 휴대기기의 카메라
100: 손 정보 추출부
110: 모션 블랍 정보 추출부
120: 스킨 컬러 블랍 리스트 생성부
130: 손 영역 추출부
140: 손가락 끝 리스트 생성부
150: 손 중심좌표 생성부
160: 손가락 끝 좌표 생성부
200: 손의 3D 자세 추정부
220: 자세 변환 매트릭스 생성부
230: 3D 오브젝트 제어부
300: 3D 오브젝트 디스플레이 제어부
310: 컨벡스 헐(Convex Hull)
320: 간략화된 손 윤곽 정보
330: 손 중심
340: 간략화된 손 윤곽 정보와 컨벡스 헐이 만나는 지점
410: 손가락 끝
500: 휴대기기에 디스플레이된 사각 뿔
510: 휴대기기10: Camera on your mobile device
100: hand information extracting unit
110: motion blind information extracting unit
120: skin color blur list generation unit
130: hand region extracting unit
140: fingertip list generation unit
150: hand center coordinate generator
160: fingertip coordinate generating unit
200: 3D posture estimation unit of the hand
220: posture conversion matrix generation unit
230: 3D object control unit
300: 3D object display control unit
310: Convex Hull (Convex Hull)
320: Simplified hand outline information
330: Hand center
340: Point where the simplified hand outline information meets Convex Hull
410: fingertip
500: square horns displayed on a mobile device
510: Mobile device

Claims (1)

카메라 시스템을 가진 휴대기기의 인터랙션 처리장치에 있어서,
카메라로 입력받은 정보를 통하여, 손의 스킨 컬러와 동작에 대한 블랍을 생성해, 손의 윤곽을 추출하고, 손의 중심과 손가락 끝의 좌표를 추출하는 손 정보 추출부와;
손 정보 추출부에서 입력받은 정보를 통해, 손의 입체적인 자세와 동작을 추정하는 손의 3D 자세 추정부;를
포함하는 휴대기기에서의 손인식을 위한 3D 인터랙션 처리장치








An apparatus for processing an interaction of a portable device having a camera system,
A hand information extracting unit for extracting an outline of a hand and extracting coordinates of a center of the hand and fingertips by generating a blob for the skin color and motion of the hand through the information input by the camera;
A 3D posture estimating unit for estimating a three-dimensional posture and an operation of the hand through information received from the hand information extracting unit;
3D interaction processing device for hand-held in portable devices








KR1020120146221A 2012-12-14 2012-12-14 3D interaction processing apparatus recognizing hand gestures based on mobile systems KR20140077417A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120146221A KR20140077417A (en) 2012-12-14 2012-12-14 3D interaction processing apparatus recognizing hand gestures based on mobile systems

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120146221A KR20140077417A (en) 2012-12-14 2012-12-14 3D interaction processing apparatus recognizing hand gestures based on mobile systems

Publications (1)

Publication Number Publication Date
KR20140077417A true KR20140077417A (en) 2014-06-24

Family

ID=51129357

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120146221A KR20140077417A (en) 2012-12-14 2012-12-14 3D interaction processing apparatus recognizing hand gestures based on mobile systems

Country Status (1)

Country Link
KR (1) KR20140077417A (en)

Similar Documents

Publication Publication Date Title
US10732725B2 (en) Method and apparatus of interactive display based on gesture recognition
KR101844390B1 (en) Systems and techniques for user interface control
Suarez et al. Hand gesture recognition with depth images: A review
CN106774850B (en) Mobile terminal and interaction control method thereof
TWI499966B (en) Interactive operation method of electronic apparatus
TWI471815B (en) Gesture recognition device and method
Desai et al. A window to your smartphone: exploring interaction and communication in immersive vr with augmented virtuality
CN108027656B (en) Input device, input method, and program
KR20100138602A (en) Apparatus and method for a real-time extraction of target's multiple hands information
Hongyong et al. Finger tracking and gesture recognition with kinect
WO2015093130A1 (en) Information processing device, information processing method, and program
US20170140215A1 (en) Gesture recognition method and virtual reality display output device
US11520409B2 (en) Head mounted display device and operating method thereof
Yousefi et al. 3D gesture-based interaction for immersive experience in mobile VR
US20160140762A1 (en) Image processing device and image processing method
Fujishima et al. Fingernail Detection Method from Hand Images including Palm.
Kakkoth et al. Survey on real time hand gesture recognition
Akman et al. Multi-cue hand detection and tracking for a head-mounted augmented reality system
JP2019046472A (en) Image processing device and image processing method
Kopinski et al. A time-of-flight-based hand posture database for human-machine interaction
Petersen et al. Fast hand detection using posture invariant constraints
Kim et al. Method for user interface of large displays using arm pointing and finger counting gesture recognition
Bai et al. Poster: Markerless fingertip-based 3D interaction for handheld augmented reality in a small workspace
US11340706B2 (en) Gesture recognition based on depth information and computer vision
KR20140077417A (en) 3D interaction processing apparatus recognizing hand gestures based on mobile systems

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid