KR101355589B1 - Vacuum plate having a mesh-type woven fabric - Google Patents
Vacuum plate having a mesh-type woven fabric Download PDFInfo
- Publication number
- KR101355589B1 KR101355589B1 KR1020130010422A KR20130010422A KR101355589B1 KR 101355589 B1 KR101355589 B1 KR 101355589B1 KR 1020130010422 A KR1020130010422 A KR 1020130010422A KR 20130010422 A KR20130010422 A KR 20130010422A KR 101355589 B1 KR101355589 B1 KR 101355589B1
- Authority
- KR
- South Korea
- Prior art keywords
- spin
- face recognition
- recognition method
- generating
- face
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
- H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 얼굴인식 방법에 관한 것으로, 더욱 상세하게는 각 분할 스핀영상을 이용한 얼굴인식 방법에 관한 것이다.The present invention relates to a face recognition method, and more particularly, to a face recognition method using each split spin image.
얼굴 인식(face recognition)은 영상 내에서 얼굴의 특징을 효과적으로 표현하여 기존 얼굴 특징 정보와 비교하는 것으로 생체인식을 응용하는 보안 시스템과 관련하여 활발한 연구가 진행되고 있다. Face recognition effectively expresses facial features in an image and compares them with existing facial feature information. Active research is being conducted on security systems using biometrics.
이러한 얼굴 영상 처리 분야에서는 3차원 얼굴 특징점을 찾는 방법이 선행되어야 하며, 곡률(curvature) 기반 방법 및 표면 형태(surface shape) 기반 방법이 많이 사용된다. In the face image processing field, a method of finding a 3D face feature point must be preceded, and a curvature-based method and a surface shape-based method are frequently used.
상기 곡률 기반 방법은 3차원 점들의 기하학적 관계로부터 계산된 곡률로 형태를 표현하는 것으로, 형태 표현에 있어서는 좋은 성능을 나타내나 연속적인 형태 표현에서는 한계가 있다. 반면, 상기 표현 형태 기반 방법은 3차원 얼굴 표면의 형태를 다른 도메인으로 변환하여 표현하는 것으로, 스핀 영상(spin image)이라고 불리는 방법이 대표적이다. 이 경우, 임의의 한 점에 대한 스핀 영상은 해당 점을 기준으로 주변 공간을 복수의 겹치지 않는 원통형 구간으로 분할하고, 동일한 원통 구간에 속한 점들의 개수를 영상화하여 표시된다. The curvature-based method expresses the shape by the curvature calculated from the geometrical relationship of the three-dimensional points, and shows good performance in the form representation, but there is a limit in the continuous form representation. On the other hand, the expression shape-based method is to convert the shape of the three-dimensional face surface to another domain to represent, the spin image (spin image) is a typical method. In this case, the spin image for any one point is displayed by dividing the surrounding space into a plurality of non-overlapping cylindrical sections based on the point, and imaging the number of points belonging to the same cylindrical section.
상기 스핀 영상의 경우, 3차원 형태의 표현이 우수하지만 표면 특징이 모호하게 나타나 얼굴 내 여러 곳에서 특징점이 검출되는 문제점이 있다. 또한, 법선 벡터의 방향에 따라 얼굴 내 동일 특징점 위치라도 다른 스핀 영상이 만들어 질 수 있어, 특징점 검출 시스템의 성능을 저하시키는 문제가 있다. In the case of the spin image, the three-dimensional shape is excellent, but the surface features are ambiguous, so that feature points are detected at various places in the face. In addition, different spin images may be generated even at the same feature point position in the face depending on the direction of the normal vector, thereby degrading the performance of the feature point detection system.
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 오류를 감소시키고 검출 시간을 단축할 수 있는 얼굴 인식 방법에 관한 것이다. Accordingly, the technical problem of the present invention is conceived in this respect, the object of the present invention relates to a face recognition method that can reduce errors and shorten the detection time.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 3차원 얼굴 특징점을 검출하여 얼굴을 인식하는 얼굴 인식 방법에서, 상기 3차원 얼굴 특징점을 검출하는 방법은, 형태 지표를 평탄화하는 단계, 상기 평탄화된 형태 지표를 바탕으로 각(angular) 분할하여 스핀 영상(spin image)을 생성하는 단계, 및 상기 생성된 각 분할 스핀 영상들의 유사도를 추출하여 템플릿을 매칭하는 단계를 포함한다. In the face recognition method for detecting a face by detecting a three-dimensional face feature point according to an embodiment for realizing the object of the present invention, the method for detecting the three-dimensional face feature point, flattening the shape index, the Generating a spin image by angular segmentation based on the flattened shape index, and extracting a similarity of the generated divided spin images to match a template.
일 실시예에서, 상기 형태 지표 평탄화 단계에서는, 곡률 거리를 평균적인 얼굴 크기에 맞춰 설정할 수 있다. In one embodiment, in the shape index flattening step, the curvature distance may be set according to the average face size.
일 실시예에서, 상기 곡률 거리는 곡률 계산에 필요한 이웃한 점들의 범위일 수 있다. In one embodiment, the curvature distance may be a range of neighboring points required for the curvature calculation.
일 실시예에서, 상기 곡률 거리를 25mm로 설정할 수 있다. In one embodiment, the curvature distance may be set to 25mm.
일 실시예에서, 상기 각 분할 스핀 영상을 생성하는 단계에서, 스핀 영상을 생성하는 기준점으로부터 일정 거리 이내의 주변 점들에 대한 법선 벡터를 평균한 평균 법선 벡터를 기준으로 스핀 영상이 생성될 수 있다. In an embodiment, in generating the respective split spin images, a spin image may be generated based on an average normal vector obtained by averaging normal vectors of peripheral points within a predetermined distance from a reference point for generating the spin image.
일 실시예에서, 상기 각 분할 스핀 영상을 생성하는 단계에서, 복수의 각(angular) 범위로 분할된 스핀 영상이 생성될 수 있다. In an embodiment, in generating the respective divided spin images, the spin images divided into a plurality of angular ranges may be generated.
일 실시예에서, 상기 스핀 영상을 생성하는 기준점은 코끝점일 수 있다. In one embodiment, the reference point for generating the spin image may be a nose tip point.
일 실시예에서, 상기 분할된 각 범위는 각각 315~45도, 45~135도, 135~225도 및 225~315도일 수 있다. In one embodiment, each of the divided ranges may be 315 to 45 degrees, 45 to 135 degrees, 135 to 225 degrees, and 225 to 315 degrees, respectively.
일 실시예에서, 상기 템플릿 매칭 단계에서, 두 개의 분할 스핀 영상의 유사도를 추출할 수 있다. In one embodiment, in the template matching step, the similarity of two split spin images may be extracted.
일 실시예에서, 상기 유사도 추출은 하기 식(1)로 수행될 수 있다.
In one embodiment, the similarity extraction may be performed by the following equation (1).
본 발명의 실시예들에 의하면, 스핀 영상의 생성에 사용되는 다수의 겹치지 않는 원통형 구간 각각을 각 범위로 추가로 분할하여 방향에 따른 세부적인 표면 특징을 표현할 수 있는 각 분할 스핀 영상을 생성할 수 있어, 스핀 영상의 오류를 방지하고 정확성을 향상시킬 수 있다. According to the embodiments of the present invention, each of the plurality of non-overlapping cylindrical sections used for generating the spin image may be further divided into respective ranges, thereby generating each split spin image capable of expressing detailed surface characteristics according to directions. This prevents errors in the spin image and improves accuracy.
또한, 스핀 영상의 생성에 사용되는 법선 벡터를 해당 점과 주변 점들의 법선 벡터들을 동시에 고려함으로써 생성된 법선 벡터의 신뢰도를 향상시켜, 표면 잡음의 영향을 상대적으로 덜 받는 스핀 영상을 생성할 수 있다. In addition, the reliability of the generated normal vector can be improved by considering the normal vector used for generating the spin image simultaneously with the normal vectors of the corresponding point and surrounding points, thereby generating a spin image which is relatively less affected by surface noise. .
또한, 형태 지표(shape index)를 이용하여 검색할 후보 점들의 개수를 감소함으로써, 검출 시간을 효과적으로 단축할 수 있다. In addition, by reducing the number of candidate points to be searched by using a shape index, the detection time may be shortened effectively.
도 1은 다양한 얼굴 표면 형태에 대한 형태 지표의 예를 나타낸 모식도이다.
도 2는 스핀 영상을 생성하는 예를 도시한 것으로, (a)는 기준점과 주변점을 나타낸 조감도, (b)는 기준점과 주변점을 나타낸 투사도, (c)는 그리드 빈(grid bin)의 누적 과정을 나타낸 모식도, (d)는 스핀 영상의 조감도이다.
도 3은 본 발명의 일 실시예에 의한 얼굴인식 방법을 나타낸 흐름도이다.
도 4a 내지 4f들은 도 3의 얼굴인식 방법에서 곡률 거리에 따른 형태 지표의 평탄화 방법의 예를 나타낸 모식도들이다.
도 5는 도 3의 얼굴인식 방법에서 스핀 영상을 분할하기 위한 좌표도이다.
도 6은 도 3의 얼굴인식 방법을 통해 오른쪽 눈 바깥점에서 생성된 스핀 영상을 나타낸 예이다.
도 7a 내지 7d들은 오른쪽 눈 바깥점에서, 도 3의 얼굴인식 방법을 통해, 템플릿 매칭을 위한 표준 얼굴 데이터의 실측(ground-truth) 특징점에 대해 생성된 템플릿 각 분할 스핀 영상을 나타낸 예이다. 1 is a schematic diagram showing examples of shape indices for various face surface shapes.
2 illustrates an example of generating a spin image, (a) a bird's eye view showing a reference point and a periphery point, (b) a projection view showing a reference point and a periphery point, and (c) a grid bin of a grid bin. A schematic diagram showing the cumulative process, (d) is a bird's eye view of a spin image.
3 is a flowchart illustrating a face recognition method according to an embodiment of the present invention.
4A through 4F are schematic views illustrating an example of a method of planarizing a shape index according to a curvature distance in the face recognition method of FIG. 3.
FIG. 5 is a coordinate diagram for dividing a spin image in the face recognition method of FIG. 3.
6 illustrates an example of a spin image generated at an outer point of the right eye through the face recognition method of FIG. 3.
7A to 7D illustrate examples of template angular split spin images generated on a ground-truth feature point of standard face data for template matching using the face recognition method of FIG. 3 at an outer point of the right eye.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 실시예들을 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "이루어진다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments. It is to be understood, however, that the invention is not intended to be limited to the particular forms disclosed, but on the contrary, is intended to cover all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing. The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, the term "comprises" or "comprising ", etc. is intended to specify that there is a stated feature, figure, step, operation, component, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 다양한 얼굴 표면 형태에 대한 형태 지표의 예를 나타낸 모식도이다. 1 is a schematic diagram showing examples of shape indices for various face surface shapes.
일반적으로 물체를 3차원으로 표현하는 방법으로는 물체의 표면을 점, 선, 면의 집합체로 정의하는 폴리곤 메쉬 모델이 주로 사용되는데, 상기 폴리곤 메쉬 모델(polygon mesh model)은 기하학적인 정보와 연결 정보로 구성된다. 이 경우, 상기 기하학적인 정보로 내재된 3차원 물체의 특징점을 검출하기 위해, 3차원 물체의 형태를 나타내는 방법으로는 형태 지표와 스핀 영상이 있는데, 상기 형태 지표의 예가 도 1에 도시되었다. In general, as a method of representing an object in three dimensions, a polygon mesh model that mainly defines a surface of an object as a collection of points, lines, and faces is used. The polygon mesh model includes geometric information and connection information. It consists of. In this case, in order to detect the feature point of the three-dimensional object inherent in the geometric information, a method of representing the shape of the three-dimensional object includes a shape index and a spin image, an example of the shape index is shown in FIG.
도 1을 참조하면, 형태 모양을 용이하게 파악하기 위해, 기준이 되는 중심점에서 멀어지는 방향으로 형태를 도시할 수 있으며, 도시된 바와 같이, 얼굴에서 코끝점과 턱끝점의 형태는 캡(cap) 모양이며, 입끝점과 눈 바깥쪽끝점은 안장(saddle) 모양이며, 눈 안쪽끝점은 컵(cup) 모양으로 형성된다. 또한, 각각에 해당되는 형태지표는 1, 0.5, 0으로 서로 다르다. Referring to FIG. 1, in order to easily grasp the shape of the shape, the shape may be shown in a direction away from the reference center point, and as shown, the shape of the nose end point and the tip end point of the face is a cap shape. The mouth end point and the outer end point of the eye are saddle-shaped, and the inner end point of the eye is formed in the shape of a cup. In addition, the shape indicators corresponding to each are different from each other by 1, 0.5, 0.
상기 형태 지표의 경우, 직관적으로 형태를 표현하는 장점을 가지면, 대략적인 형태만 추정할 수 있어, 많은 특징점 후보군이 생기는 문제가 있어, 예를 들어, 형태 지표 1에 해당되는 점들이 코끝점 외에도 턱끝점 등에서 발생할 수 있는 문제가 있다. In the case of the shape indicator, if there is an advantage of expressing the shape intuitively, only an approximate shape can be estimated, and there is a problem that a large number of feature point candidates are generated. There is a problem that may occur at the endpoint, etc.
도 2는 스핀 영상을 생성하는 예를 도시한 것으로, (a)는 기준점과 주변점을 나타낸 조감도, (b)는 기준점과 주변점을 나타낸 투사도, (c)는 그리드 빈(grid bin)의 누적 과정을 나타낸 모식도, (d)는 스핀 영상의 조감도이다. 2 illustrates an example of generating a spin image, (a) a bird's eye view showing a reference point and a periphery point, (b) a projection view showing a reference point and a periphery point, and (c) a grid bin of a grid bin. A schematic diagram showing the cumulative process, (d) is a bird's eye view of a spin image.
상기 스핀 영상은 상기 설명한 형태 지표의 단점을 극복하기 위해 제안된 것으로, 임의의 기준점을 중심으로 주변 영역 내 점들의 분포를 나타내는 것이다. The spin image is proposed to overcome the disadvantages of the shape index described above, and represents the distribution of points in the peripheral area around an arbitrary reference point.
도 2를 참조하면, 상기 스핀 영상이란, 임의의 점인 Po에 대하여, Po를 중심으로 일정 범위 내의 모든 주변점 Px에 대한 α(Po에서의 법선 벡터와 접평면 상에서 Px의 접평면 투사점과 Po 사이의 거리)와 β(상기 Px의 접평면 상의 투사점과 Px 사이의 거리)를 구하여, α와 β를 축으로 2차원 공간에 표시하는 것이다. 이 경우, α와 β의 공간 상 분포를 효과적으로 표현하기 위해, 히스토그램(histogram)과 같이 α와 β축을 각각 동일한 길이의 구간으로 분할하여, 그리드(grid)를 형성하고, 각 그리드 빈(grid bin) 영역에 포함된 점들을 개수를 세어 수치화하여 표현한다. Referring to FIG. 2, the spin image is a distance between the tangent plane projection point of Px and the pox on the tangent plane at α (Po) with respect to all peripheral points Px within a predetermined range with respect to Po as an arbitrary point. ) And β (the distance between the projection point on the tangent plane of Px and Px) are obtained, and α and β are displayed in two-dimensional space on the axis. In this case, in order to effectively express the spatial distribution of α and β, a grid is formed by dividing the α and β axes into sections having the same length, respectively, such as a histogram, and forming a grid bin. The number of points included in the area is counted and expressed.
도 2에서는, 7개의 점들에 대해 스핀 영상을 생성하는 방법의 예인데, (a)에 도시된 바와 같이 기준점 Po 및 주변점 7개의 Px에 대하여, (b)에 도시된 바와 같이 기준점 Po에 대한 일정한 주변 영역에 대한 상기 Px의 분포를 파악한다. 그리하여, 상기 각각의 Px에 대하여 α와 β를 구하면 (c)에 도시된 바와 같이 소정의 해당 빈에 3의 값이 할당된다. 이 경우, 점 P1, P2, P3은 접평면으로부터 아래 방향으로 유사한 투사 거리를 갖고 있으며, 법선 벡터로부터 떨어진 거리도 유사하므로 동일한 그리드 빈에 계수되어, 3의 값이 할당된다. 이와 유사한 방법으로 Po 주변의 다른 점들에 대해서도 해당되는 빈에 값을 할당하여 스핀 영상을 생성한다. In FIG. 2, an example of generating a spin image for seven points is shown. For reference point Po and seven peripheral points Px as shown in (a), the reference point Po as shown in (b) is shown. Determine the distribution of Px for a constant surrounding area. Thus, if α and β are obtained for each Px, a value of 3 is assigned to a given corresponding bin as shown in (c). In this case, the points P 1 , P 2 , P 3 have similar projection distances downward from the tangent plane, and the distances away from the normal vector are also similar, so they are counted in the same grid bin and assigned a value of 3. Similarly, spin images are generated by assigning values to corresponding bins for other points around Po.
도 3은 본 발명의 일 실시예에 의한 얼굴인식 방법을 나타낸 흐름도이다. 3 is a flowchart illustrating a face recognition method according to an embodiment of the present invention.
도 3을 참조하면, 본 실시예에 의한 얼굴인식 방법에서는, 3차원 얼굴 특징점을 검출하여 이를 바탕으로 얼굴을 인식한다. Referring to FIG. 3, in the face recognition method according to the present embodiment, a 3D face feature point is detected and a face is recognized based on the 3D face feature point.
이 경우, 상기 3차원 얼굴 특징점을 검출하는 방법은, 우선 3차원 얼굴 형상에 관한 정보가 입력되면(단계 S10), 형태 지표 평탄화(shape index smoothing)를 수행한다(단계 S20). 이후, 각 분할된 스핀 영상(angular partitioned spin image)을 생성하고(단계 S30), 템플릿 매칭(template matching)을 수행하여(단계 S40), 최종적으로 특징점들에 대한 정보를 도출한다(단계 S50). In this case, in the method of detecting the three-dimensional face feature point, first, when information on the three-dimensional face shape is input (step S10), shape index smoothing is performed (step S20). Thereafter, an angular partitioned spin image is generated (step S30), template matching is performed (step S40), and finally, information on feature points is derived (step S50).
이 경우, 상기 3차원 얼굴 형상에 관한 정보는 별도의 입력 수단(미도시)을 통해 입력되며, 상기 입력 수단을 통해 입력된 3차원 얼굴 형상에 관한 정보는 형태 지표 평탄화 유닛(미도시)을 통해 형태 지표 평탄화 단계가 수행된다. 이후, 스핀 영상 생성 유닛(미도시)을 통해 상기 형태 지표 평탄화 이후, 각 분할된 스핀 영상을 생성하고, 템플릿 매칭 유닛(미도시)에서는 분할된 스핀 영상들을 비교하여 템플릿 매칭을 수행한다. 그리하여, 최종적으로 별도의 출력 수단(미도시)을 통해 최종적으로 추출된 특징점들에 대한 정보가 도출된다. In this case, the information about the three-dimensional face shape is input through a separate input means (not shown), the information about the three-dimensional face shape input through the input means is via a shape indicator flattening unit (not shown) A shape indicator planarization step is performed. Thereafter, after the shape index planarization is performed through a spin image generating unit (not shown), each divided spin image is generated, and the template matching unit (not shown) compares the divided spin images to perform template matching. Thus, information about the finally extracted feature points is derived through a separate output means (not shown).
일반적으로, 스핀 영상은 3차원 표면을 보다 정확하게 표현하는 반면 계산량이 많은 단점을 가지는데, 형태 지표는 계산량이 매우 적은 장점을 가진다. 그리하여, 본 실시예에서는 얼굴 특징점에 속하는 형태 지표의 범위를 적절히 설정하여 해당 점들에 대하여만 검출 후보로서 스핀 영상을 생성 및 비교하여, 검출 시간을 단축시킬 수 있으며, 검출 결과의 신뢰성을 향상시킬 수 있다. In general, spin images more accurately represent three-dimensional surfaces, but have a disadvantage in that they have a large amount of computation, whereas shape indexes have an advantage of a very small amount of computation. Therefore, in the present embodiment, the range of the shape index belonging to the facial feature point is appropriately set, and the spin image is generated and compared as the detection candidate only for the corresponding points, so that the detection time can be shortened and the reliability of the detection result can be improved. have.
상기 형태 지표 평탄화 단계(단계 S20)에서는 형태 지표 계산에 필요한 곡률 측정 시 발생되는 국지적인 잡음의 영향을 줄여, 보다 정확하고 균일한 형태 지표를 얻도록 한다. In the shape index flattening step (step S20), the influence of local noise generated when measuring the curvature required for the shape index calculation is reduced, thereby obtaining a more accurate and uniform shape index.
상기 각 분할된 스핀 영상의 생성 단계(단계 S30)에서는 종래의 스핀 영상의 표현 방법의 단점을 극복하기 위해, 표면 잡음에 강인한 형태 기술이 가능한 평균 법선 벡터를 이용하여 법선 벡터를 생성한다. 또한, 3차원 곡면의 특성을 보다 효과적으로 나타내기 위해 복수 개의 각 범위로 분할된 스핀 영상을 생성한다. In the generating step (step S30) of each of the divided spin images, a normal vector is generated by using an average normal vector capable of a shape description that is robust to surface noise in order to overcome the disadvantage of the conventional spin image representation method. In addition, a spin image divided into a plurality of ranges is generated to more effectively represent the characteristics of the 3D curved surface.
상기 템플릿 매칭 수행 단계(단계 S30)에서는 기 추출된 템플릿 분할 스핀 영상과 특징 후보점에서 얻어진 분할 스핀 영상의 유사도를 바탕으로 최적의 특징점을 검출한다. In the template matching step (step S30), an optimal feature point is detected based on the similarity between the template split spin image previously extracted and the split spin image obtained from the feature candidate point.
도 4a 내지 4f들은 도 3의 얼굴인식 방법에서 곡률 거리에 따른 형태 지표의 평탄화 방법의 예를 나타낸 모식도들이다. 4A through 4F are schematic views illustrating an example of a method of planarizing a shape index according to a curvature distance in the face recognition method of FIG. 3.
구체적으로, 상기 형태 지표 평탄화 단계(단계 S20)에서 곡률을 계산할 때 필요한 이웃한 점들의 범위, 즉 곡률 거리를 평균적인 얼굴 크기에 맞춰 설정한다. 그리하여, 형태 지표에서 형태 추정시 주곡률이 표면 잡음에 매우 민감한 단점을 극복하여 정확하고 균일한 형태 지표를 생성할 수 있다. Specifically, the range of neighboring points, that is, the curvature distance, required when calculating the curvature in the shape index flattening step (step S20) is set according to the average face size. Thus, it is possible to generate an accurate and uniform shape index by overcoming the disadvantage that the principal curvature is very sensitive to surface noise in shape estimation.
도 4a 내지 4f들에서는, 주곡률을 계산할 때 필요한 이웃한 점들의 거리를 달리하여, 즉 곡률 거리를 변경하여 얻어진 형태 지표의 예를 나타낸다. 즉, 도 4a 내지 4f들 각각은, 곡률 거리가 각각 5mm, 10mm, 15mm, 20mm, 25mm, 30mm인 경우의 형태 지표를 나태난 것이다. 상기 도 4a 내지 4f를 참조할 때, 곡률 거리를 증가시킬수록 균일한 형태 지표가 얻어지며, 이와 달리 얼굴의 작은 특징은 제대로 표현되지 못함을 확인할 수 있다. 따라서, 도 4e와 같이, 곡률 거리를 25mm 정도로 설정하는 경우, 가장 최적화되고 평탄화된 형태 지표가 추출됨을 확인할 수 있다. 그리하여, 본 실시예에서는 상기 형태 지표 평탄화 단계에서는 곡률 거리를 25mm 정도로 설정한다. 4A to 4F show examples of shape indices obtained by changing distances of neighboring points necessary for calculating the principal curvature, that is, changing the curvature distance. That is, each of FIGS. 4A to 4F shows shape indexes when the curvature distances are 5 mm, 10 mm, 15 mm, 20 mm, 25 mm, and 30 mm, respectively. Referring to FIGS. 4A to 4F, as the curvature distance is increased, uniform shape indices are obtained, whereas small features of the face may not be properly represented. Therefore, as shown in Figure 4e, when the curvature distance is set to about 25mm, it can be seen that the most optimized and flattened shape index is extracted. Thus, in this embodiment, the curvature distance is set to about 25 mm in the shape index flattening step.
도 5는 도 3의 얼굴인식 방법에서 스핀 영상을 분할하기 위한 좌표도이다. FIG. 5 is a coordinate diagram for dividing a spin image in the face recognition method of FIG. 3.
구체적으로, 상기 각 분할된 스핀 영상의 생성 단계(단계 S30)에서, 이미 설명한 바와 같이, 본 실시예에서는 3차원 영상 획득 시 빈번히 발생하는 표면 잡음에 의한 법선 벡터의 오류를 최소화하기 위해, 스핀 영상을 생성하고자 하는 점으로부터 일정 거리 이내의 주변 점들에 대한 법선 벡터들을 평균하여 고려하여, 법선 벡터 방향의 신뢰도를 향상시킬 수 있다. Specifically, in the generating step (step S30) of each of the divided spin images, as described above, in the present embodiment, in order to minimize the error of the normal vector due to the surface noise that occurs frequently during the three-dimensional image acquisition, the spin image The reliability of the normal vector direction can be improved by considering the normal vectors for the peripheral points within a predetermined distance from the point to be generated.
나아가, 본 실시예에서는, 해당 점 주변의 3차원 공간을 분할하는 경우, 법선 벡터로부터의 거리와 접평면으로부터의 거리로 분할된 원통형 공간을 각(angular) 범위별로 추가로 세분화하여, 곡면 형태를 표현하는 경우 발생할 수 있는 모호함을 줄여 보다 정확한 스핀 영상의 생성이 가능하게 된다. Furthermore, in the present embodiment, when dividing the three-dimensional space around the point, the cylindrical space divided by the distance from the normal vector and the distance from the tangent plane is further subdivided by angular range to express the curved shape. In this case, it is possible to generate more accurate spin images by reducing ambiguity that may occur.
이 경우, 각을 측정하기 위해 기준이 되는 위치가 필요하며, 본 실시예에서는 얼굴의 중심에 위치하고 주변보다 돌출되어 가장 큰 특징을 갖고 쉽게 검출되는 코끝점을 기준점으로 삼아 스핀 영상을 생성한다. In this case, a reference position is required to measure an angle, and in the present embodiment, a spin image is generated based on a nose point which is located at the center of the face and protrudes more than the surroundings and has the greatest feature and is easily detected.
도 5를 참조하면, 본 실시예에 의한 스핀 영상을 구하는 경우, 임의의 기준점 Po에서 코끝점 Pnose를 잇는 벡터를 Vnose라 할 때, 접평면 P에 투사된 접벡터 Vnose⊥의 방향을 Po의 기준각 0도로 설정한다. 이 후, 주변점 Px에 대해 Px와 Po를 잇는 Vx의 접벡터 Vx⊥과 Vnose⊥이 이루는 사이각 θ를 겹치지 않는 구간으로 나줘 원통 공간을 세분화한다. Referring to FIG. 5, in the case of obtaining the spin image according to the present embodiment, when the vector connecting the nose end point Pnose at any reference point Po is called Vnose, the direction of the contact vector Vnose 'projected on the contact plane P is the reference angle of Po. Set to 0 degrees. Subsequently, the cylindrical space is subdivided by a section not overlapping the angle θ formed between the contact vectors Vx⊥ and Vnose⊥ of Vx connecting Px and Po with respect to the peripheral point Px.
구체적으로, 도 5에서는 315~45도, 45~135도, 135~225도 및 225~315도와 같이 네 개의 각 범위로 분할된 예를 도시하였으며, 본 실시예에서 상기와 같이 네 개의 각 범위로 분할된 범위로부터 기존의 스핀 영상이 생성되므로, 4 개의 분할 스핀 영상이 생성된다. 한편, 상기 주변점 Px는 135~225도에 대한 스핀 영상에 계수될 수 있다. Specifically, FIG. 5 shows an example divided into four angle ranges, such as 315 to 45 degrees, 45 to 135 degrees, 135 to 225 degrees, and 225 to 315 degrees. Since the existing spin image is generated from the divided range, four divided spin images are generated. Meanwhile, the peripheral point Px may be counted in a spin image about 135 to 225 degrees.
나아가, 상기 템플릿 매칭 수행 단계(단계 S30)에서는 템플릿 매칭을 위해 두 분할 스핀 영상의 유사도 S를 하기 식(1)과 같이 계산할 수 있다. 하기 식(1)에서 P, Q는 분할 스핀 영상이고 N은 스핀 영상의 크기, pi, qi는 P, Q에서 I번째 위치에 해당하는 점의 개수이다. Furthermore, in the template matching step (step S30), the similarity S of the two split spin images may be calculated as shown in Equation (1) for template matching. In Equation (1), P and Q are divided spin images, N is the size of the spin image, and p i and q i are the number of points corresponding to the I-th position in P and Q.
상기와 같이, 형태 지표의 범위에 있는 특징 후보점에서 각으로 분할된 영역의 스핀 영상들과 학습된 템플릿 특징점 각 분할 스핀 영상들의 유사도를 계산하여 얼굴 특징점을 검출할 수 있다. As described above, the facial feature point may be detected by calculating the similarity between the spin images of the region divided into regions from the feature candidate points within the shape index and the learned template feature points.
도 6은 도 3의 얼굴인식 방법을 통해 오른쪽 눈 바깥점에서 생성된 스핀 영상을 나타낸 예이다. 도 6에는, 기존 스핀영상(accumulated spin image)과, 본 실시예에 의한 얼굴인식 방법에서 오른쪽 눈 바깥점을 기준점으로 생성된 각 분할 스핀영상을 동시에 도시하였다. 6 illustrates an example of a spin image generated at an outer point of the right eye through the face recognition method of FIG. 3. In FIG. 6, an accelerated spin image and each split spin image generated based on an outer point of the right eye in the face recognition method according to the present embodiment are simultaneously shown.
도 6을 참조하면, 각 분할 스핀 영상의 경우, 이미 설명한 바와 같이 315~40도, 45~135도, 135~225도 및 225~315도로 영역을 분할하여 각각의 스핀 영상을 생성하였다. Referring to FIG. 6, as described above, each spin image is generated by dividing an area by 315 to 40 degrees, 45 to 135 degrees, 135 to 225 degrees, and 225 to 315 degrees.
도 6의 기존 스핀영상(accumulated spin image)의 경우, α가 작은 부분, 즉, 접선 벡터에 가까운 부근에는 주변 점들이 β가 0인 부분, 즉 접평면 근처에 모여 있음을 알 수 있다. 또한, α가 증가하면서 주변점들이 접평면을 기준으로 높은 영역부터 낮은 영역까지 고르게 퍼져 있음을 확인할 수 있다. 그러나, 이와 같이 β 측면으로 균일하게 분포되었다는 정보는 3차원 곡면을 기술하기에는 매우 모호함을 확인할 수 있다. In the conventional spin image of FIG. 6, it can be seen that in the vicinity of the tangent vector, the small points of α are close to the tangent vector. In addition, it can be seen that as the α increases, the peripheral points are evenly spread from the high region to the low region with respect to the tangent plane. However, it can be seen that the information distributed uniformly on the β side is very ambiguous to describe the three-dimensional curved surface.
반면, 도 6의 본 실시예에 의한 각 분할 스핀 영상의 경우, 네가지 각 범위에서 보다 명확한 3차원 곡면 특성을 확인할 수 있다. 즉, 기준점으로부터 볼 쪽으로 내려가는 45~135도의 각 범위에서는 주변점들이 법선 벡터로부터 멀어질수록 접평면으로부터 높이 올라간 곳에 위치함을 확인할 수 있다. 또한, 기준점으로부터 이마쪽으로 올라가는 135~225도의 각 범위에서는 주변점들이 거의 접평면 근처에 분포하며 법선 벡터로부터 멀리 떨어진 부분에서는 접평면의 아래 부분으로 위치함을 볼 수 있다. 또한, 기준점으로부터 얼굴 안쪽 방향인 315~45도의 각 범위에서는 기존 스핀 영상과 유사하게 주변점들이 β측면으로 넓게 분포되나 α가 증가하면서 접평면으로부터 아래로 내려가는 점들이 주를 이루고 있음을 확인할 수 있다. On the other hand, in the case of each divided spin image according to the present embodiment of FIG. That is, in each range of 45 to 135 degrees descending from the reference point toward the ball, it can be seen that the peripheral points are located at a higher position from the tangent plane as they move away from the normal vector. In addition, in each range of 135 ~ 225 degrees rising from the reference point to the forehead, the peripheral points are distributed near the tangent plane, and it is located at the lower part of the tangent plane at a part far from the normal vector. In addition, in the range of 315 to 45 degrees, which is the inner direction of the face from the reference point, the peripheral points are distributed widely in the β side similarly to the existing spin images, but the main points are the downward points from the tangent plane as α increases.
이상과 같이, 본 실시예에 의한 각 분할 스핀 영상 생성 방법을 통해, 기존의 스핀 영상 생성 방법보다 보다 명확한 특징의 기술이 가능함을 확인할 수 있다. As described above, it can be seen that, through each of the divided spin image generating methods according to the present embodiment, a more definite technique can be described than the conventional spin image generating method.
도 7a 내지 7d들은 오른쪽 눈 바깥점에서, 도 3의 얼굴인식 방법을 통해, 템플릿 매칭을 위한 표준 얼굴 데이터의 실측(ground-truth) 특징점에 대해 생성된 템플릿 각 분할 스핀 영상을 나타낸 예이다. 7A to 7D illustrate examples of template angular split spin images generated on a ground-truth feature point of standard face data for template matching using the face recognition method of FIG. 3 at an outer point of the right eye.
한편, [표 1]은 기존의 방법과 본 실시예의 얼굴인식 방법을 통해 구한 특징점과 실제 특징점의 오차거리를 나타낸 것이다. On the other hand, [Table 1] shows the error distance between the feature point and the actual feature point obtained through the conventional method and the face recognition method of the present embodiment.
[표 1] 실제 특징점과의 오차거리[Table 1] Error distance from actual feature point
도 7a 내지 7d들, 및 [표 1]을 참조하면, 종래의 3DFRR(3D facial region retrieval) 방법과 본 실시예에 의한 얼굴인식 방법으로 얻어진 얼굴 특징점들 중, 오른쪽 눈 바깥점에서의 실측과의 오차 거리는 9.74mm에서 5.85mm로 약 40% 개선되었으며, 표준편차도 5.63mm에서 4.25mm로 약 25% 개선된 것을 확인할 수 있다. 따라서, 얼굴 데이터에서 보다 신뢰성 있게 특징점을 찾을 수 있음을 확인할 수 있다. Referring to FIGS. 7A to 7D and Table 1, among facial feature points obtained by the conventional 3D facial region retrieval (3DFRR) method and the facial recognition method according to the present embodiment, the measurement is performed at the outer point of the right eye. The error distance improved about 40% from 9.74mm to 5.85mm, and the standard deviation also improved about 25% from 5.63mm to 4.25mm. Therefore, it can be confirmed that the feature point can be more reliably found in the face data.
상기와 같은 본 발명의 실시예들에 의하면, 스핀 영상의 생성에 사용되는 다수의 겹치지 않는 원통형 구간 각각을 각 범위로 추가로 분할하여 방향에 따른 세부적인 표면 특징을 표현할 수 있는 각 분할 스핀 영상을 생성할 수 있어, 스핀 영상의 오류를 방지하고 정확성을 향상시킬 수 있다. According to the embodiments of the present invention as described above, each of the plurality of non-overlapping cylindrical sections used for generating the spin image is further divided into each range to each divided spin image that can express the detailed surface characteristics according to the direction Can be generated, preventing errors in the spin image and improving accuracy.
또한, 스핀 영상의 생성에 사용되는 법선 벡터를 해당 점과 주변 점들의 법선 벡터들을 동시에 고려함으로써 생성된 법선 벡터의 신뢰도를 향상시켜, 표면 잡음의 영향을 상대적으로 덜 받는 스핀 영상을 생성할 수 있다. In addition, the reliability of the generated normal vector can be improved by considering the normal vector used for generating the spin image simultaneously with the normal vectors of the corresponding point and surrounding points, thereby generating a spin image which is relatively less affected by surface noise. .
또한, 형태 지표(shape index)를 이용하여 검색할 후보점들의 개수를 감소함으로써, 검출 시간을 효과적으로 단축할 수 있다. In addition, by reducing the number of candidate points to be searched by using a shape index, the detection time can be shortened effectively.
본 발명에 따른 얼굴 인식방법은 생체 인식을 응용한 보안 시스템 분야에 사용될 수 있는 산업상 이용 가능성을 갖는다.The face recognition method according to the present invention has industrial applicability that can be used in the field of security system applying biometrics.
Claims (10)
상기 3차원 얼굴 특징점을 검출하는 방법은,
형태 지표를 평탄화하는 단계;
상기 평탄화된 형태 지표를 바탕으로 각(angular) 분할하여 스핀 영상(spin image)을 생성하는 단계; 및
상기 생성된 각 분할 스핀 영상들의 유사도를 추출하여 템플릿을 매칭하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식 방법. In a face recognition method for detecting a face by detecting a three-dimensional face feature point,
The method for detecting the three-dimensional facial feature point,
Planarizing the shape indicator;
Generating a spin image by angular dividing based on the flattened shape indicator; And
And extracting a similarity of the generated divided spin images to match a template.
에 의해 수행되는 것을 특징으로 하는 얼굴 인식 방법. The method of claim 9, wherein the similarity extraction is the following formula (1)
Face recognition method characterized in that performed by.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130010422A KR101355589B1 (en) | 2013-01-30 | 2013-01-30 | Vacuum plate having a mesh-type woven fabric |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130010422A KR101355589B1 (en) | 2013-01-30 | 2013-01-30 | Vacuum plate having a mesh-type woven fabric |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101355589B1 true KR101355589B1 (en) | 2014-01-24 |
Family
ID=50146446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130010422A KR101355589B1 (en) | 2013-01-30 | 2013-01-30 | Vacuum plate having a mesh-type woven fabric |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101355589B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004151085A (en) | 2002-09-27 | 2004-05-27 | Canon Inc | Method and apparatus for processing information |
| JP2008054754A (en) | 2006-08-29 | 2008-03-13 | Toshiba Corp | Individual authentication device and individual authentication system |
| JP2008146217A (en) | 2006-12-07 | 2008-06-26 | Canon Inc | Imaging target detection system |
| JP2009537923A (en) | 2006-05-24 | 2009-10-29 | ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド | Controlling data processing |
-
2013
- 2013-01-30 KR KR1020130010422A patent/KR101355589B1/en active IP Right Review Request
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004151085A (en) | 2002-09-27 | 2004-05-27 | Canon Inc | Method and apparatus for processing information |
| JP2009537923A (en) | 2006-05-24 | 2009-10-29 | ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド | Controlling data processing |
| JP2008054754A (en) | 2006-08-29 | 2008-03-13 | Toshiba Corp | Individual authentication device and individual authentication system |
| JP2008146217A (en) | 2006-12-07 | 2008-06-26 | Canon Inc | Imaging target detection system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107958458B (en) | Image segmentation method, image segmentation system and equipment comprising image segmentation system | |
| Dibeklioglu et al. | 3D facial landmarking under expression, pose, and occlusion variations | |
| US8644560B2 (en) | Image processing apparatus and method, and program | |
| US10339409B2 (en) | Method and a device for extracting local features of a three-dimensional point cloud | |
| CN104616278B (en) | Three-dimensional point cloud interest point detection method and system | |
| CN108830888B (en) | Coarse matching method based on improved multi-scale covariance matrix characteristic descriptor | |
| CN103136525B (en) | A kind of special-shaped Extended target high-precision locating method utilizing Generalized Hough Transform | |
| CN106446773B (en) | Full-automatic robust three-dimensional face detection method | |
| US20180150969A1 (en) | Information processing device, measuring apparatus, system, calculating method, storage medium, and article manufacturing method | |
| US11506755B2 (en) | Recording medium recording information processing program, information processing apparatus, and information processing method | |
| JP2019057227A (en) | Template creation device, object recognition processing device, template creation method, and program | |
| US20100183230A1 (en) | Feature attribute calculation apparatus, feature extraction apparatus, pattern matching apparatus, and method | |
| US11593963B2 (en) | Single view tracking of cylindrical objects | |
| CN111582186A (en) | Object edge identification method, device, system and medium based on vision and touch | |
| Cheng et al. | An automatic and robust point cloud registration framework based on view-invariant local feature descriptors and transformation consistency verification | |
| CN103218809A (en) | Image measuring method of pearl length parameter | |
| JP2010157093A (en) | Motion estimation device and program | |
| Yang et al. | Auto-recognition Method for Pointer-type Meter Based on Binocular Vision. | |
| CN105139013A (en) | Object recognition method integrating shape features and interest points | |
| Prasad et al. | Methods for ellipse detection from edge maps of real images | |
| KR101355589B1 (en) | Vacuum plate having a mesh-type woven fabric | |
| KR102135828B1 (en) | Automated system for detecting 3D pipeline | |
| US20220139105A1 (en) | Processing apparatus, fingerprint image extraction processing apparatus, system, processing method, and computer readable medium | |
| Ulrich et al. | Performance evaluation of 2d object recognition techniques | |
| KR101528757B1 (en) | Texture-less object recognition using contour fragment-based features with bisected local regions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| J202 | Request for trial for correction [limitation] | ||
| J301 | Trial decision |
Free format text: TRIAL DECISION FOR CORRECTION REQUESTED 20140224 Effective date: 20140528 |
|
| FPAY | Annual fee payment |
Payment date: 20170102 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20180103 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20190109 Year of fee payment: 6 |