KR101487248B1 - Optical tracking system - Google Patents
Optical tracking system Download PDFInfo
- Publication number
- KR101487248B1 KR101487248B1 KR20130060034A KR20130060034A KR101487248B1 KR 101487248 B1 KR101487248 B1 KR 101487248B1 KR 20130060034 A KR20130060034 A KR 20130060034A KR 20130060034 A KR20130060034 A KR 20130060034A KR 101487248 B1 KR101487248 B1 KR 101487248B1
- Authority
- KR
- South Korea
- Prior art keywords
- pattern
- marker
- image
- enlarged
- light
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3937—Visible markers
- A61B2090/3945—Active visible markers, e.g. light emitting diodes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3983—Reference marker arrangements for use with image guided surgery
Abstract
측정하고자 하는 목적물의 거리와 관계없이 목적물의 정확한 공간위치와 방향을 검출하여 트랙킹할 수 있는 옵티컬 트랙킹 시스템이 개시된다. 상기 옵티컬 트랙킹 시스템은 측정하고자 하는 목적물의 거리와 관계없이 목적물의 정확한 공간위치와 방향을 검출하여 트랙킹할 수 있으므로 가용 영역을 대폭 넓힐 수 있을 뿐만 아니라, 종래의 마커에 비하여 마커의 크기를 대폭 줄여 제작할 수 있으므로 장비를 소형화시킬 수 있는 효과가 있다.Disclosed is an optical tracking system capable of detecting and tracking an accurate spatial position and direction of an object regardless of a distance of an object to be measured. Since the optical tracking system can detect and track the accurate spatial position and direction of the object regardless of the distance of the object to be measured, the optical tracking system not only widens the available area, but also greatly reduces the size of the marker compared to the conventional marker So that it is possible to miniaturize the equipment.
Description
본 발명은 옵티컬 트랙킹 시스템에 관한 것으로, 보다 상세하게는 환부나 수술도구와 같은 목적물에 부착된 마커들의 좌표를 추적하여 목적물의 공간 위치와 방향을 검출하는 옵티컬 트랙킹 시스템에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an optical tracking system, and more particularly, to an optical tracking system for tracking coordinates of markers attached to an object such as a diseased part or a surgical tool to detect the spatial position and direction of the object.
최근에는 복강경 수술이나 이비인후과 수술을 할 시 보다 환자의 고통을 덜어주고 보다 빠르게 환자가 회복할 수 있도록 하기 위하여 로봇 수술이 진행되고 있는 실정이다.In recent years, robot surgery has been underway to alleviate the suffering of the patient and to allow the patient to recover more quickly than laparoscopic or otolaryngologic surgery.
이러한, 로봇 수술 시에는 수술의 위험을 최소화하고 보다 정밀한 수술을 진행할 수 있도록 하기 위하여 환부나 수술도구와 같은 목적물의 공간 위치와 방향을 정확히 추적하여 검출한 후 상기 수술도구를 환자의 환부로 정확히 조종(NAVIGATE)할 수 있는 내비게이션이 사용된다.In order to minimize the risk of the surgery and to perform more precise operations during the robot operation, it is necessary to precisely track and detect the spatial position and direction of the object such as the affected part or the surgical tool, (NAVIGATE) can be used.
상기와 같은 수술용 내비게이션에는 상술한 바와 같이 환부나 수술도구와 같은 목적물의 공간 위치와 방향을 정확히 추적하여 검출할 수 있는 트랙킹 시스템이 포함된다.The surgical navigation system includes a tracking system that can accurately track and detect the spatial position and direction of an object, such as a diseased part or a surgical tool, as described above.
상기와 같은 트랙킹 시스템은 통상 환부나 수술도구와 같은 목적물에 부착되는 마커들과, 상기 마커들에 의해 방출되는 광을 결상시키는 제1, 2 결상 유닛과, 상기 제1, 2 결상 유닛과 연결되어 상기 마커들의 3차와 좌표를 산출한 후 기 저장된 상기 서로 이웃하는 마커들을 연결하는 직선들의 정보와 서로 이웃하는 한 쌍의 직선이 이루는 각도 정보를 상기 마커들의 3차원 좌표와 비교하여 상기 목적물의 공간 위치와 방향을 산출하는 프로세서를 포함한다.The tracking system may include markers normally attached to objects such as a diseased part or a surgical tool, first and second imaging units for imaging light emitted by the markers, and first and second imaging units connected to the first and second imaging units Dimensional coordinates of the markers are compared with the three-dimensional coordinates of the markers, and information of the straight lines connecting the previously stored neighboring markers with angle information of the pair of straight lines neighboring each other is calculated, And a processor for calculating a position and a direction.
상기와 같은 종래의 일반적인 트랙킹 시스템은 결상유닛에 결상되는 마커들의 원형상의 직경을 이용하여 상기 프로세서를 통해 마커들과 이격된 거리를 측정한다. 그러나, 상기 결상유닛에 결상된 상기 마커들의 원형상 테두리가 상기 결상유닛 렌즈의 왜곡으로 인하여 불투명함으로써 상기 마커들의 원형상의 직경을 정확하게 측정하는 것이 어렵다는 문제점이 있을 뿐만 아니라, 거리 변화에 따른 상기 마커들의 원형상의 직경의 변화가 미미하여 마커들과 거리 측정 시 식별력이 매우 낮아 마커들의 위치를 정확하게 측정하지 못한다는 문제점이 있었다.The conventional general tracking system measures distances to the markers through the processor using the circular diameter of the markers formed on the image forming unit. However, there is a problem that it is difficult to accurately measure the circular diameter of the markers because the circular rim of the markers formed on the image forming unit is opaque due to the distortion of the image forming unit lens, There is a problem that the position of the markers can not be accurately measured because the discrimination power of the markers and the distance is very small.
따라서, 본 발명의 목적은 측정하고자 하는 목적물의 거리와 관계없이 목적물의 정확한 공간위치와 방향을 검출하여 트랙킹할 수 있는 옵티컬 트랙킹 시스템을 제공하는 것이다.Accordingly, an object of the present invention is to provide an optical tracking system capable of detecting and tracking an accurate spatial position and direction of an object regardless of a distance of an object to be measured.
본 발명의 일실시예에 의한 옵티컬 트랙킹 시스템은 적어도 하나의 광원으로부터 조사되는 광을 표면에 패턴이 마련된 볼 렌즈를 통해 반사시켜 평행 출사광 형태로 방출시키는 적어도 하나의 마커와, 상기 마커로부터 방출되는 상기 평행 출사광을 받아들여 상기 패턴의 확대된 이미지를 결상시키는 적어도 하나의 결상유닛 및, 상기 결상유닛에 결상된 패턴의 확대된 이미지와 기 저장된 기준 패턴 이미지를 비교하여 상기 마커의 공간 위치와 방향을 산출하는 프로세서를 포함한다.An optical tracking system according to an embodiment of the present invention includes at least one marker that reflects light emitted from at least one light source through a ball lens having a pattern formed thereon in a form of parallel emission light, At least one image forming unit for receiving the parallel outgoing light to form an enlarged image of the pattern, and a controller for comparing the enlarged image of the pattern formed on the image forming unit with the previously stored reference pattern image, And a processor.
여기서, 상기 패턴은 상기 볼 렌즈의 표면 전체 또는 표면 일부에 마련될 수 있다.Here, the pattern may be provided on the entire surface or a part of the surface of the ball lens.
일예를 들면, 상기 광원은 LED(Light Emitting Diode)일 수 있다.For example, the light source may be an LED (Light Emitting Diode).
일예를 들면, 상기 결상유닛은 상기 마커로부터 방출된 상기 평행 출사광을 렌즈부를 통해 받아 들여 상기 평행 출사광에 의해 확대된 패턴의 이미지를 센서부에 결상시키는 카메라일 수 있다.For example, the image forming unit may be a camera that receives the parallel output light emitted from the marker through the lens unit and images an image of a pattern enlarged by the parallel output light on the sensor unit.
여기서, 상기 프로세서는 상기 결상유닛에 결상된 확대된 패턴 이미지의 위치 및 크기를 기 저장된 기준 패턴 이미지의 기준 위치 및 크기와 비교하여 상기 마커의 공간위치를 산출하고, 상기 확대된 패턴의 영역별 패턴 위치와 패턴의 크기와 기 저장된 패턴부 이미지의 영역별 기준 패턴 위치 및 기준 패턴 크기와 비교하여 상기 마커의 방향을 산출할 수 있다.Here, the processor compares the position and size of the enlarged pattern image formed on the imaging unit with the reference position and size of the previously stored reference pattern image to calculate the spatial position of the marker, The direction of the marker can be calculated by comparing the size of the position and the pattern with the reference pattern position and the reference pattern size for each region of the pre-stored pattern image.
또한, 본 발명의 다른 실시예에 의한 옵티컬 트랙킹 시스템은 적어도 하나의 광원으로부터 조사되어 패턴에 의해 반사되거나 패턴을 투과한 광을 어안렌즈를 통과시켜 평행 출사광 형태로 방출하는 적어도 하나의 마커와, 상기 마커로부터 방출되는 상기 평행 출사광을 받아들여 상기 패턴의 확대된 이미지를 결상시키는 적어도 하나의 결상유닛 및, 상기 결상유닛에 결상된 패턴의 확대된 이미지와 기 저장된 기준 패턴 이미지를 비교하여 상기 마커의 공간 위치와 방향을 산출하는 프로세서를 포함한다.According to another aspect of the present invention, there is provided an optical tracking system comprising at least one marker which is irradiated from at least one light source and is reflected by a pattern or transmits a pattern through a fisheye lens and emits the light in a form of parallel emission light, At least one image forming unit for receiving the parallel outgoing light emitted from the marker and for forming an enlarged image of the pattern, and a controller for comparing the enlarged image of the pattern formed on the image forming unit with the previously stored reference pattern image, And a processor for calculating a spatial position and a direction of the space.
여기서, 상기 패턴은 상기 어안렌즈의 초점 거리에 배치되는 것이 바람직하다.Here, it is preferable that the pattern is disposed at a focal distance of the fish-eye lens.
일예를 들면, 상기 광원은 상기 패턴에 의해 광이 반사되어 상기 어안렌즈를 통과할 수 있도록 상기 마커의 외부에 배치될 수 있다.For example, the light source may be disposed outside the marker so that light can be reflected by the pattern and pass through the fish-eye lens.
다른 예를 들면, 상기 광원은 상기 광원으로부터 조사된 광이 상기 패턴을 투과하여 상기 어안렌즈를 통과할 수 있도록 상기 마커의 내부에 배치될 수도 있다.As another example, the light source may be disposed inside the marker so that the light emitted from the light source can pass through the pattern and pass through the fish-eye lens.
여기서, 상기 광원은 LED(Light Emitting Diode)일 수 있다.Here, the light source may be a light emitting diode (LED).
일예를 들면, 상기 결상유닛은 상기 마커로부터 방출된 상기 평행 출사광을 렌즈부를 통해 받아 들여 상기 평행 출사광에 의해 확대된 패턴의 이미지를 센서부에 결상시키는 카메라일 수 있다.For example, the image forming unit may be a camera that receives the parallel output light emitted from the marker through the lens unit and images an image of a pattern enlarged by the parallel output light on the sensor unit.
한편, 상기 프로세서는 상기 결상유닛에 결상된 확대된 패턴 이미지의 위치 및 크기를 기 저장된 기준 패턴 이미지의 기준 위치 및 크기와 비교하여 상기 마커의 공간위치를 산출하고, 상기 확대된 패턴의 영역별 패턴 위치와 패턴의 크기와 기 저장된 패턴부 이미지의 영역별 기준 패턴 위치 및 기준 패턴 크기와 비교하여 상기 마커의 방향을 산출할 수 있다.The processor compares the position and size of the enlarged pattern image formed on the imaging unit with the reference position and size of the previously stored reference pattern image to calculate the spatial position of the marker, The direction of the marker can be calculated by comparing the size of the position and the pattern with the reference pattern position and the reference pattern size for each region of the pre-stored pattern image.
또한, 본 발명의 또 다른 실시예에 의한 옵티컬 트랙킹 시스템은 적어도 하나의 광원으로부터 조사되어 패턴에 의해 반사되거나 패턴을 투과한 광을 대물렌즈를 통과시켜 평행 출사광 형태로 방출시킨 후 프리즘을 통해 화각이 다른 평행 출사광을 방출하는 적어도 하나의 마커와, 상기 마커로부터 방출되는 상기 평행 출사광을 받아들여 상기 패턴의 확대된 이미지를 결상시키는 적어도 하나의 결상유닛 및, 상기 결상유닛에 결상된 패턴의 확대된 이미지와 기 저장된 기준 패턴 이미지를 비교하여 상기 마커의 공간 위치와 방향을 산출하는 프로세서를 포함할 수 있다.According to another aspect of the present invention, there is provided an optical tracking system comprising: an optical tracking system for emitting light, which is emitted from at least one light source, reflected by a pattern, or transmitted through a pattern through an objective lens, At least one image forming unit for receiving the parallel output light emitted from the marker to image an enlarged image of the pattern, and at least one image forming unit for forming an image on the image forming unit And a processor for comparing the enlarged image and the pre-stored reference pattern image to calculate the spatial position and direction of the marker.
여기서, 상기 패턴은 상기 대물렌즈의 초점 거리에 배치될 수 있다.Here, the pattern may be disposed at a focal length of the objective lens.
일예를 들면, 상기 광원은 상기 패턴에 의해 광이 반사되어 상기 대물렌즈를 통과할 수 있도록 상기 마커의 외부에 배치될 수 있다.For example, the light source may be disposed outside the marker so that light can be reflected by the pattern and pass through the objective lens.
다른 예를 들면, 상기 광원은 상기 광원으로부터 조사된 광이 상기 패턴을 투과하여 상기 대물렌즈를 통과할 수 있도록 상기 마커의 내부에 배치될 수도 있다.As another example, the light source may be disposed inside the marker so that light irradiated from the light source can pass through the pattern and pass through the objective lens.
여기서, 상기 광원은 LED(Light Emitting Diode)일 수 있다.Here, the light source may be a light emitting diode (LED).
일예를 들면, 상기 결상유닛은 상기 마커로부터 방출된 상기 평행 출사광을 렌즈부를 통해 받아 들여 상기 평행 출사광에 의해 확대된 패턴의 이미지를 센서부에 결상시키는 카메라일 수 있다.For example, the image forming unit may be a camera that receives the parallel output light emitted from the marker through the lens unit and images an image of a pattern enlarged by the parallel output light on the sensor unit.
한편, 상기 프로세서는 상기 결상유닛에 결상된 확대된 패턴 이미지의 위치 및 크기를 기 저장된 기준 패턴 이미지의 기준 위치 및 크기와 비교하여 상기 마커의 공간위치를 산출하고, 상기 확대된 패턴의 영역별 패턴 위치와 패턴의 크기와 기 저장된 패턴부 이미지의 영역별 기준 패턴 위치 및 기준 패턴 크기와 비교하여 상기 마커의 방향을 산출할 수 있다.The processor compares the position and size of the enlarged pattern image formed on the imaging unit with the reference position and size of the previously stored reference pattern image to calculate the spatial position of the marker, The direction of the marker can be calculated by comparing the size of the position and the pattern with the reference pattern position and the reference pattern size for each region of the pre-stored pattern image.
이와 같이 본 발명의 일실시예에 의한 옵티컬 트랙킹 시스템은 마커로부터 패턴의 평행 출사광을 방출시켜 결상유닛에 확대된 패턴 이미지를 결상시킨 후 이를 이용하여 마커의 공간 위치를 산출한다. 즉, 상기 마커의 위치 정밀도를 결상유닛의 해상력에만 의존하지 않고 패턴의 이미지를 확대시켜 결상유닛에 결상시킴으로써 측정하고자 하는 목적물의 거리가 결상유닛과 멀리 떨어져 있어도 상기 목적물의 공간위치와 방향을 정확도의 감소 없이 산출할 수 있다.As described above, the optical tracking system according to an embodiment of the present invention emits parallel outgoing light of a pattern from a marker, forms an enlarged pattern image on an image forming unit, and calculates a spatial position of the marker using the image. That is, by positioning the marker on the image forming unit by enlarging the image of the pattern without depending only on the resolving power of the imaging unit, the distance and the direction of the object are precisely measured Can be calculated without reduction.
따라서, 본 발명의 일실시예에 의한 옵티컬 트랙킹 시스템은 측정하고자 하는 목적물의 거리와 관계없이 목적물의 정확한 공간위치와 방향을 검출하여 트랙킹할 수 있으므로 가용 영역을 대폭 넓힐 수 있을 뿐만 아니라, 종래의 마커에 비하여 마커의 크기를 대폭 줄여 제작할 수 있으므로 장비를 소형화시킬 수 있는 효과가 있다.Therefore, the optical tracking system according to an embodiment of the present invention can detect and track the accurate spatial position and direction of the object irrespective of the distance of the object to be measured, so that the available area can be greatly enlarged, The size of the marker can be greatly reduced and the device can be miniaturized.
도 1은 본 발명의 제1 실시예에 의한 옵티컬 트랙킹 시스템의 개략도
도 2는 본 발명의 제1 실시예에 의한 마커를 도시한 도면
도 3은 본 발명의 제1 실시예에 의한 옵티컬 트랙킹 시스템을 이용하여 목적물을 트랙킹 하는 과정을 설명하기 위한 흐름도
도 4는 마커의 공간위치와 방향을 산출하는 과정을 설명하기 위한 흐름도
도 5는 마커의 방향이 산출되는 과정을 설명하기 위한 흐름도
도 6은 본 발명의 제1 실시예에 의한 옵티컬 트랙킹 시스템을 이용하여 목적물의 방향을 산출하는 과정을 설명하기 위한 도면
도 7은 마커의 공간위치를 산출하는 과정을 설명하기 위한 흐름도
도 8a 내지 도 8d는 마커의 공간위치를 산출하는 과정을 설명하기 위한 도면
도 9는 본 실시예에 의한 옵티컬 트랙킹 시스템의 제1 변형예를 설명하기 위한 도면
도 10은 본 실시예에 의한 옵티컬 트랙킹 시스템의 제2 변형예를 설명하기 위한 도면
도 11은 본 실시예에 의한 옵티컬 트랙킹 시스템의 제3 변형예를 설명하기 위한 도면
도 12는 본 발명의 제2 실시예에 의한 마커를 설명하기 위한 도면
도 13은 본 발명의 제3 실시예에 의한 마커를 설명하기 위한 도면1 is a schematic view of an optical tracking system according to a first embodiment of the present invention;
2 is a view showing a marker according to the first embodiment of the present invention
3 is a flowchart for explaining a process of tracking an object using the optical tracking system according to the first embodiment of the present invention.
4 is a flowchart for explaining the process of calculating the spatial position and direction of the marker
5 is a flowchart for explaining the process of calculating the direction of the marker
6 is a view for explaining a process of calculating the direction of an object using the optical tracking system according to the first embodiment of the present invention
7 is a flowchart for explaining the process of calculating the spatial position of the marker
8A to 8D are diagrams for explaining the process of calculating the spatial position of the marker
9 is a view for explaining a first modification of the optical tracking system according to the present embodiment
10 is a view for explaining a second modification of the optical tracking system according to the present embodiment
11 is a view for explaining a third modification of the optical tracking system according to the present embodiment
12 is a view for explaining a marker according to the second embodiment of the present invention;
13 is a view for explaining a marker according to the third embodiment of the present invention
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The present invention is capable of various modifications and various forms, and specific embodiments are illustrated in the drawings and described in detail in the text. It should be understood, however, that the invention is not intended to be limited to the particular forms disclosed, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.The terms first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprising" or "having ", and the like, are intended to specify the presence of stated features, integers, steps, operations, elements, parts, or combinations thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the meaning in the context of the relevant art and are to be interpreted as ideal or overly formal in meaning unless explicitly defined in the present application Do not.
이하 도면을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings.
본 발명의 일실시예에 의한 옵티컬 트랙킹 시스템은 환부나 수술도구와 같은 목적물에 적어도 하나의 마커를 부착한 후 상기 마커로부터 방출되는 평행 출사광을 결상유닛을 통해 받아들여 상기 마커에 포함된 패턴부의 확대 이미지를 결상시킨 다음, 상기 패턴부의 확대 이미지를 이용하여 프로세서를 통해 목적물의 공간 위치와 방향을 산출할 수 있도록 하는 것으로서, 그 상세한 구성에 대해서는 도면을 참조하여 설명한다.In an optical tracking system according to an embodiment of the present invention, after attaching at least one marker to an object such as a diseased part or a surgical tool, the parallel output light emitted from the marker is received through the imaging unit, And the spatial position and direction of the object can be calculated through the processor by using the enlarged image of the pattern unit. The detailed configuration thereof will be described with reference to the drawings.
<실시예 1>≪ Example 1 >
도 1은 본 발명의 제1 실시예에 의한 옵티컬 트랙킹 시스템의 개략도이며, 도 2는 본 발명의 제1 실시예에 의한 마커를 도시한 도면이다.FIG. 1 is a schematic view of an optical tracking system according to a first embodiment of the present invention, and FIG. 2 is a diagram showing a marker according to a first embodiment of the present invention.
도 1 및 도 2를 참조하면, 본 실시예에 의한 옵티컬 트랙킹 시스템은 적어도 하나의 광원(140), 적어도 하나의 마커(110), 적어도 하나의 결상유닛(120) 및 프로세서(130)를 포함한다.1 and 2, an optical tracking system according to the present embodiment includes at least one
상기 적어도 하나의 광원(140)은 상기 마커(110)를 향해 광을 조사할 수 있도록 배치된다. 예를 들면, 상기 광원(140)은 LED(Light Emitting Diode)일 수 있다. 여기서, 상기 적어도 하나의 광원(140)은 상기 마커(110)의 외부에 배치되는 것이 바람직하다.The at least one
상기 적어도 하나의 마커(110)는 상기 광원(140)으로부터 조사되는 광을 반사시켜 평행 출사광 형태로 방출되도록 한다. The at least one
상기 마커(110)는 볼 렌즈(113)와 상기 볼 렌즈(113)의 표면에 마련된 패턴(111)을 포함할 수 있다. 여기서, 상기 패턴(111)은 상기 볼 렌즈(113)의 전체 표면에 마련될 수 있다. 이와는 다르게 상기 패턴(111)은 상기 볼 렌즈(113)의 표면 일부에만 마련될 수도 있다.The
상기 볼 렌즈(113)는 상기 결상유닛(120)에 패턴(111)의 확대된 이미지를 결상시킬 수 있도록 상기 광원(140)으로부터 조사되는 광을 반사시켜 평행 출사광 형태로 상기 결상유닛(120) 측으로 방출한다.The
상기 적어도 하나의 결상유닛(120)은 상기 마커(110)로부터 방출되는 상기 평행 출사광을 받아들여 상기 패턴(111)의 확대된 이미지를 결상시킨다.The at least one
예를 들면, 상기 결상유닛(120)은 상기 마커(110)로부터 방출된 상기 평행 출사광을 렌즈부(121)를 통해 받아 들여 상기 평행 출사광에 의해 확대된 패턴(111)의 이미지를 센서부(122)에 결상시키는 카메라일 수 있다.For example, the
상기 프로세서(130)는 상기 결상유닛(120)에 결상된 상기 패턴(111)의 확대된 이미지와 상기 프로세서(130)에 기 저장된 기준 패턴 이미지를 비교하여 상기 마커(110)의 공간 위치와 방향을 산출한다.The
보다 상세하게 설명하면, 상기 프로세서(130)는 상기 결상유닛(120)에 결상된 확대된 패턴(111) 이미지의 위치 및 크기를 기 저장된 기준 패턴 이미지의 기준 위치 및 크기와 비교하여 상기 마커(110)의 공간위치를 산출하고, 상기 확대된 패턴(111)의 영역별 패턴 위치와 패턴(111)의 크기와 기 저장된 패턴 이미지의 영역별 기준 패턴 위치 및 기준 패턴 크기와 비교하여 상기 마커(110)의 방향을 산출하여 상기 마커(110)의 공간 위치와 방향을 산출함으로써 목적물의 공간 위치와 방향을 산출할 수 있다.More specifically, the
도 1 내지 도 8을 참조하여 본 발명의 제1 실시예에 의한 옵티컬 트랙킹 시스템을 이용하여 목적물의 공간위치와 방향을 산출하게 되는 과정에 대하여 설명한다.A process of calculating the spatial position and direction of an object using the optical tracking system according to the first embodiment of the present invention will be described with reference to FIGS. 1 to 8. FIG.
도 3은 본 발명의 제1 실시예에 의한 옵티컬 트랙킹 시스템을 이용하여 목적물을 트랙킹 하는 과정을 설명하기 위한 흐름도이다.3 is a flowchart illustrating a process of tracking an object using the optical tracking system according to the first embodiment of the present invention.
도 1 내지 도 3을 참조하면, 본 발명의 제1 실시예에 의한 옵티컬 트랙킹 시스템을 이용하여 목적물을 트랙킹하기 위해서는, 먼저 광원(140)을 작동시켜 마커(110), 즉 패턴(111)이 마련된 볼 렌즈(113)를 향해 광을 조사한다(S110).1 to 3, in order to track an object using the optical tracking system according to the first embodiment of the present invention, the
상기 마커(110)를 향해 조사된 광은 패턴(111) 이미지를 확대시켜 결상시킬 수 있도록 볼 렌즈(113) 표면에 패턴(111)이 마련된 마커(110)에 의해 반사되어 평행 출사광 형태로 방출된다(S120).The light irradiated toward the
상기 볼 렌즈에 의해 반사되어 방출된 평행 출사광은 결상유닛(120)에 입사되어 확대된 패턴(111) 이미지를 결상시킨다(S130).The parallel output light reflected by the ball lens is incident on the
상기 확대된 패턴(111) 이미지를 결상시키는 과정(S130)에 대하여 보다 상세하게 설명하면, 상기 볼 렌즈에 의해 반사되어 방출된 패턴(111)의 평행 출사광은 결상유닛(120)의 렌즈부(121)를 통과하게 되며, 상기 결상유닛(120)의 렌즈부(121)를 통과한 패턴(111)의 평행 출사광은 센서부(122)에 확대된 패턴(111) 이미지를 결상시키게 된다.The parallel emission light of the
상기와 같이 결상유닛(120)에 확대된 패턴(111) 이미지가 결상되면, 프로세서(130)는 상기 확대된 패턴(111) 이미지를 이용하여 상기 마커(110)의 공간위치와 방향을 산출한다(S140).When the image of the
도 4를 참조하여 상기 마커(110)의 공간위치와 방향을 산출하는 과정에 대하여 보다 상세하게 설명하면 다음과 같다.The process of calculating the spatial position and direction of the
도 4는 마커의 공간위치와 방향을 산출하는 과정을 설명하기 위한 흐름도이다.4 is a flowchart for explaining the process of calculating the spatial position and direction of the marker.
도 4를 참조하면, 상기 프로세서(130)를 통해 상기 마커(110)의 공간 위치와 방향을 산출하기 위해서는, 상기 프로세서(130)를 통해 상기 결상유닛(120)에 결상된 확대된 패턴(111) 이미지를 이용하여 상기 마커(110)가 회전된 각도를 산출하여 상기 마커(110)의 방향을 산출한다(S141).4, in order to calculate the spatial position and direction of the
상기와 같이 프로세서(130)에 의해 상기 마커(110)의 회전된 각도가 산출되면, 상기 프로세서(130)를 통해 상기 결상유닛(120)에 결상된 확대된 패턴(111)의 이미지와 상기 마커(110)의 회전된 각도를 이용하여 상기 마커(110)의 공간위치를 산출한다(S142).When the rotated angle of the
여기서, 상기 결상유닛(120)의 공간위치 및 방향 정보는 상기 프로세서(130)에 기 저장된다.Here, the spatial position and direction information of the
도 5 및 도 6을 참조하여, 상기 마커(110)의 방향을 산출하는 단계(S141)에 대하여 보다 상세하게 설명하면 다음과 같다.Referring to FIGS. 5 and 6, the step S141 of calculating the direction of the
도 5는 마커의 방향이 산출되는 과정을 설명하기 위한 흐름도이며, 도 6은 본 발명의 제1 실시예에 의한 옵티컬 트랙킹 시스템을 이용하여 목적물의 방향을 산출하는 과정을 설명하기 위한 도면이다.FIG. 5 is a flowchart for explaining a process of calculating the direction of a marker, and FIG. 6 is a view for explaining a process of calculating the direction of an object using the optical tracking system according to the first embodiment of the present invention.
도 5를 참조하면, 상기 마커(110)의 방향을 산출하기 위해서는, 먼저 상기 프로세서(130)를 통해 상기 결상유닛(120)에 결상된 확대된 패턴(111) 이미지의 영역별 패턴(111) 위치와 패턴(111)의 크기 변화를 측정한다(S1410).5, in order to calculate the direction of the
상기 패턴부(111) 이미지의 영역별 패턴(111) 위치와 패턴(111)의 크기 변화를 측정한 다음에는, 상기 프로세서(130)에 기 저장된 상기 패턴(111) 이미지의 영역별 기준 패턴(111) 위치 및 기준 패턴(111) 크기와 상기 결상유닛(120)에 결상된 확대된 패턴(111) 이미지의 영역별 패턴(111) 위치와 패턴(111) 크기 변화를 비교하여 마커(110)의 회전된 각도를 산출함으로써 상기 마커(110)의 방향을 산출하게 된다(S1411).After the position of the
즉, 도 6에 도시된 바와 같이 마커(110)가 회전을 하게 되면 결상유닛(120)에 결상된 확대된 패턴(111) 이미지(I1)의 패턴(111) 위치와 크기도 변하게 됨으로써 상기 프로세서(130)에 기 저장된 상기 패턴 이미지(I2)의 영역별 기준 패턴(111) 위치 및 기준 패턴(111) 크기와 상기 결상유닛(120)에 결상된 패턴 이미지(I1)의 영역별 패턴(111) 위치와 패턴(111) 크기 변화를 비교하게 되면 상기 마커(110)의 회전된 각도 θ를 산출할 수 있으므로 상기 마커(111)의 방향을 산출할 수 있게 된다.6, when the
다음으로, 도 7 및 도 8을 참조하여 상기 마커의 공간위치를 산출하는 단계(S142)에 대하여 보다 상세하게 설명하면 다음과 같다.Next, the step S142 of calculating the spatial position of the marker will be described in more detail with reference to FIGS. 7 and 8. FIG.
도 7은 마커의 공간위치를 산출하는 과정을 설명하기 위한 흐름도이며, 도 8a 내지 도 8d는 마커의 공간위치를 산출하는 과정을 설명하기 위한 도면이다.FIG. 7 is a flowchart for explaining a process of calculating a spatial position of a marker, and FIGS. 8A to 8D are views for explaining a process of calculating a spatial position of a marker.
도 7 내지 도 8d를 참조하면, 상기 마커(110)의 공간위치를 산출하기 위해서는, 먼저 상기 프로세서(130)를 통해 상기 결상유닛(120)에 결상된 확대된 패턴(111) 이미지의 위치와 크기를 측정한다(S1420).7 to 8D, in order to calculate the spatial position of the
상기 패턴(111) 이미지의 위치와 크기를 측정한 다음에는, 상기 프로세서에 기 저장된 상기 패턴(111) 이미지의 기준 위치 및 크기와 상기 결상유닛(120)에 결상된 확대된 패턴(111) 이미지의 위치 및 크기를 상기 프로세서(130)를 통해 비교하여 마커(110)의 공간위치를 산출하게 된다(S1421).After the position and size of the
도 8a는 상기 마커(110)가 프로세서(130)에 기 저장된 위치에 존재할 때 상기 패턴부(111)의 이미지가 결상유닛(120)에 결상되는 기준 위치 및 크기를 도시한 것으로서, 도 8b에 도시된 바와 같이 마커(110)와 결상유닛(120) 사이의 이격된 거리(D2)가 기준 거리(D1)보다 짧아질 경우에는 프로세서(130)에 기 저장된 패턴(111) 이미지의 기준 크기(A1) 보다 확대된 패턴(111) 이미지 크기(A2)가 상기 결상유닛(120)에 더 크게 결상된다. 따라서, 상기 패턴(111) 이미지의 기준 크기(A1)와 상기 결상유닛(120)에 결상된 확대된 패턴(111) 이미지의 크기(A2)를 프로세서(130)를 통해 비교하여 상기 마커(110)의 공간 위치를 산출할 수 있게 된다. 8A shows a reference position and a size at which an image of the
한편, 도면에는 도시되지 않았지만 마커(110)와 결상유닛(120) 사이의 이격된 거리(D2)가 기준 거리(D1)보다 길어질 경우에는 프로세서(130)에 기 저장된 패턴 이미지의 기준 크기(A1) 보다 확대된 패턴(111) 이미지의 크기(A2)가 상기 결상유닛(120)에 작게 결상된다.Although not shown in the drawing, when the distance D2 between the
그리고, 도 8c에 도시된 바와 같이 마커(110)가 기준 위치(B1) 아래에 위치할 경우에는 상기 프로세서(130)에 기 저장된 패턴(111) 이미지의 기준 위치(C1 : 도 8a 참조) 보다 상기 확대된 패턴(111) 이미지가 상부에 위치하도록 상기 결상유닛(120)에 결상된다. 따라서, 상기 패턴(111) 이미지의 기준 위치(C1)와 상기 결상유닛(120)에 결상된 확대된 패턴(111) 이미지의 위치(C2)를 프로세서(130)를 통해 비교하여 상기 마커(110)의 공간 위치를 산출할 수 있게 된다.8C, when the
한편, 도면에는 도시되지 않았지만 마커(110)가 기준 위치(B1) 보다 위에 위치할 경우에는 상기 프로세서(130)에 기 저장된 패턴(111) 이미지의 기준 위치(C1) 보다 상기 확대된 패턴(111) 이미지가 하부에 위치하도록 상기 결상유닛(120)에 결상된다.Although not shown in the drawing, when the
그리고, 상기 마커(110)와 결상유닛(120) 사이의 이격된 거리(D2)가 기준 거리(D1)와 다르고 상기 마커(110)이 기준 위치(B1)에 위치하지 않을 경우에는 상기 프로세서(130)에 기 저장된 상기 패턴 이미지의 기준 위치(C1) 및 크기(A1)와 상기 결상유닛(120)에 결상된 확대된 패턴 이미지의 위치(C2) 및 크기(A2)를 비교하여 마커(110)의 공간 위치를 산출할 수 있다.If the distance D2 between the
한편, 도 8d에 도시된 바와 같이 상기 마커(110)와 결상유닛(120) 사이의 이격된 거리(D2)가 기준 거리(D1)와 동일하고 상기 마커(110)가 기준 위치(B1)에 위치한 상태에서 상기 마커(110)의 방향만 θ만큼 변경되었을 경우에는 상기 결상유닛(120)에 결상되는 확대된 패턴(111) 이미지의 크기(A2)와 위치(C2)가 상기 프로세서(130)에 기 저장된 상기 패턴(111) 이미지의 기준 위치(C1) 및 크기(A1)와 동일하게 산출된다. 따라서, 상기 마커(110)의 방향은 S1411 단계에서 설명한 바와 같이 상기 확대된 패턴(111) 이미지(I1)의 영역별 패턴(111a) 위치와 패턴(111a)의 크기 변화와 프로세서(130)에 기 저장된 패턴 이미지(I2)의 영역별 기준 패턴(111a) 위치 및 기준 패턴(111a) 크기와 비교하여 마커(110)의 회전된 각도를 산출함으로써 상기 마커(110)의 방향을 산출할 수 있다.8D, if the distance D2 between the
상술한 바와 같이 본 발명의 일실시예에 의한 옵티컬 트랙킹 시스템은 마커(110)로부터 패턴(111)의 평행 출사광을 방출시켜 결상유닛(120)에 확대된 패턴(111) 이미지를 결상시킨 후 이를 이용하여 마커(110)의 공간 위치를 산출한다. 즉, 상기 마커(110)의 위치 정밀도를 결상유닛(120)의 해상력에만 의존하지 않고 패턴(111)의 이미지를 확대시켜 결상유닛(120)에 결상시킴으로써 측정하고자 하는 목적물의 거리가 결상유닛(120)과 멀리 떨어져 있어도 상기 목적물의 공간위치와 방향을 정확도의 감소 없이 산출할 수 있다.As described above, the optical tracking system according to the embodiment of the present invention emits the parallel outgoing light of the
따라서, 본 발명의 일실시예에 의한 옵티컬 트랙킹 시스템은 측정하고자 하는 목적물의 거리와 관계없이 목적물의 정확한 공간위치와 방향을 검출하여 트랙킹할 수 있으므로 가용 영역을 대폭 넓힐 수 있을 뿐만 아니라, 종래의 마커에 비하여 마커(110)의 크기를 대폭 줄여 제작할 수 있으므로 장비를 소형화시킬 수 있다.Therefore, the optical tracking system according to an embodiment of the present invention can detect and track the accurate spatial position and direction of the object irrespective of the distance of the object to be measured, so that the available area can be greatly enlarged, The size of the
<변형예 1>≪ Modification Example 1 &
도 9를 참조하여 본 실시예에 의한 옵티컬 트랙킹 시스템의 제1 변형예에 대하여 설명하면 다음과 같다.A first modification of the optical tracking system according to the present embodiment will be described with reference to FIG.
도 9는 본 실시예에 의한 옵티컬 트랙킹 시스템의 제1 변형예를 설명하기 위한 도면이다.9 is a view for explaining a first modification of the optical tracking system according to the present embodiment.
도 9를 참조하면, 본 변형예에 의한 옵티컬 트랙킹 시스템은 적어도 하나의 광원(도시되지 않음), 마커(210), 제1, 2 결상유닛(220A)(220B) 및, 프로세서(230)등을 포함할 수 있다.9, the optical tracking system according to the present modification includes at least one light source (not shown), a
도 9에 도시된 바와 같이 본 실시예에 의한 옵티컬 트랙킹 시스템은 볼 렌즈(213) 표면에 패턴(211)이 마련된 마커(210)를 중심으로 제1, 2 결상유닛(220a)(220b)이 배치되고, 상기 프로세서(230)가 상기 제1, 2 결상유닛(220a)(220b)과 연결되어 구성될 수 있다.9, in the optical tracking system according to the present embodiment, the first and
따라서, 상기 제1, 2 결상유닛(220a)(220b)이 상기 마커(210)로부터 방출되는 평행 출사광을 각각 받아들여 상기 패턴(211)의 확대된 이미지를 결상시키며, 예를 들어, 상기 결상유닛(220a)(220b)은 상기 마커(210)로부터 방출된 상기 평행 출사광을 각 렌즈부(221a)(221b)를 통해 받아 들여 상기 평행 출사광에 의해 확대된 패턴(211)의 이미지를 각각의 센서부(222a)(222b)에 결상시키는 카메라일 수 있다.Accordingly, the first and
상기 프로세서(230)는 상기 제1, 2 결상유닛(220a)(220b)에 각각 결상된 패턴(211)의 확대된 이미지와 기 저장된 기준 패턴 이미지를 비교하여 상기 마커(210)의 공간 위치와 방향을 산출한다. 여기서, 상기 제1, 2 결상유닛(220a)(220b)과 상기 적어도 하나의 광원의 공간위치와 방향은 상기 프로세서(230)에 기 저장된다.The
<변형예 2>≪ Modification Example 2 &
도 10을 참조하여 본 실시예에 의한 옵티컬 트랙킹 시스템의 제2 변형예에 대하여 설명하면 다음과 같다.A second modification of the optical tracking system according to the present embodiment will be described with reference to FIG.
도 10은 본 실시예에 의한 옵티컬 트랙킹 시스템의 제2 변형예를 설명하기 위한 도면이다.10 is a diagram for explaining a second modification of the optical tracking system according to the present embodiment.
도 10을 참조하면, 본 실시예에 의한 옵티컬 트랙킹 시스템은 적어도 하나의 광원(도시되지 않음), 제1 내지 제3 마커(310a)(310b)(310c), 결상유닛(320) 및 프로세서(330) 등을 포함할 수 있다.10, the optical tracking system according to the present embodiment includes at least one light source (not shown), first to
도 10에 도시된 바와 같이 본 실시예에 의한 옵티컬 트랙킹 시스템은 볼 렌즈(313a)(313b)(313c) 표면에 패턴(311a)(311b)(311c)이 마련된 제1 내지 제3 마커(310a)(310b)(310c)가 소정 간격으로 목적물에 배치되어, 상기 광원으로부터 조사되는 광이 상기 제1 내지 제3 마커(310a)(310b)(310c)에 의해 반사되어 평행 출사광 형태로 방출되며, 상기 제1 내지 제3 마커(310a)(310b)(310c)에 의해 방출된 평행 출사광은 상기 결상유닛(320)에 의해 받아들여져 제1 내지 제3 마커(310a)(310b)(310c)의 확대된 패턴(311a)(311b)(311c) 이미지를 결상시키게 된다. 10, the optical tracking system according to the present embodiment includes first to
결상유닛(320)은 상기 제1 내지 제3 마커(310a)(310b)(310c)로부터 방출된 상기 평행 출사광을 렌즈부(321)를 통해 받아 들여 상기 평행 출사광에 의해 확대된 패턴(311a)(311b)(311c)의 이미지를 센서부(322)에 결상시킬 수 있다.The
한편, 프로세서(330)는 상기 결상유닛(320)과 연결되어 상기 결상유닛(320)에 결상된 제1 내지 제3 마커(310a)(310b)(310c)의 확대된 패턴(311a)(311b)(311c) 이미지와 기 저장된 기준 패턴 이미지를 비교하여 상기 마커들(310a)(310b)(310c)의 공간 위치와 방향을 산출한다. 여기서, 상기 결상유닛(320)과 상기 적어도 하나의 광원의 공간위치와 방향은 상기 프로세서(330)에 기 저장된다.The
또한, 상기 목적물에 부착된 제1 내지 제3 마커(310a)(310b)(310c)의 기하학적 정보 또한 상기 프로세서(330)에 기 저장된다. In addition, the geometric information of the first to
여기서, 상기 제1 내지 제3 마커(310a)(310b)(310c)의 기하학적 정보란 서로 이웃하는 마커들(310a)(310b)(310c)을 가상으로 연결하는 직선들(L1)(L2)(L3)의 길이 정보와, 상기 서로 이웃하는 가상의 한 쌍의 직선(L1)(L2)(L3)이 이루는 각도(θ1)(θ2)(θ3) 정보일 수 있다.The geometrical information of the first to
<변형예 3>≪ Modification 3 &
도 11을 참조하여 본 실시예에 의한 옵티컬 트랙킹 시스템의 제3 변형예에 대하여 설명하면 다음과 같다.A third modification of the optical tracking system according to the present embodiment will be described with reference to FIG.
도 11은 본 실시예에 의한 옵티컬 트랙킹 시스템의 제3 변형예를 설명하기 위한 도면이다.11 is a view for explaining a third modification of the optical tracking system according to the present embodiment.
도 11을 참조하면, 제3 변형예는 제2 결상유닛(420b)이 더 추가되는 것을 제외하고는 제2 변형예와 실질적으로 동일하다.Referring to Fig. 11, the third modification is substantially the same as the second modification except that the
즉, 도 11에 도시된 바와 같이 본 실시예에 의한 옵티컬 트랙킹 시스템의 제3 변형예에서는 볼 렌즈(413a)(413b)(413c) 표면에 패턴(411a)(411b)(411c)이 마련된 제1 내지 제3 마커(410a)(410b)(410c)가 소정 간격으로 목적물에 부착되어 제1 내지 제3 마커(410a)(410b)(410c)를 중심으로 제1, 2 결상유닛(420a)(420b)이 배치되고, 상기 제1, 2 결상유닛(420a)(420b)에는 프로세서(430)가 연결된다.11, in the third modification of the optical tracking system according to the present embodiment, the
이에 광원으로부터 조사되는 광이 상기 제1 내지 제3 마커(410a)(410b)(410c)에 의해 반사되어 평행 출사광 형태로 결상유닛(420a)(420b)에 의해 받아 들여져 확대된 패턴(411a)(411b)(411c) 이미지를 결상시키게 된다.The light irradiated from the light source is reflected by the first to
결상유닛(420a)(420b)은 상기 제1 내지 제3 마커(410a)(410b)(410c)로부터 방출된 상기 평행 출사광을 렌즈부(421a)(421b)를 통해 받아 들여 상기 평행 출사광에 의해 확대된 패턴(411a)(411b)(411c)의 이미지를 센서부(422a)(422b)에 의해 결상시킬 수 있다.The
<실시예 2>≪ Example 2 >
본 실시예에 의한 옵티컬 트랙킹 시스템은 마커의 일부 내용을 제외하면 제1 실시예에 의한 옵티컬 트랙킹 시스템과 실질적으로 동일하므로, 마커와 관련된 일부 내용을 제외한 다른 구성요소와 내용에 대한 자세한 설명은 생략하기로 한다.The optical tracking system according to the present embodiment is substantially the same as the optical tracking system according to the first embodiment except for a part of the markers. Therefore, detailed description of other components and contents except for some contents related to the markers will be omitted .
도 12는 본 발명의 제2 실시예에 의한 마커를 설명하기 위한 도면이다.12 is a view for explaining a marker according to the second embodiment of the present invention.
도 12를 참조하면, 본 실시예에 의한 옵티컬 트래킹 시스템의 마커(510)는 패턴(511), 어안렌즈(513)를 포함할 수 있다.Referring to FIG. 12, the
상기 패턴(511)은 적어도 하나의 광원(도시되지 않음)으로부터 조사되는 광을 반사시키거나 투과시킬 수 있다. 즉, 상기 광원이 마커(510)의 외부에 배치될 경우에는 상기 패턴(511)은 상기 광원으로부터 조사되는 광을 반사시킬 수 있도록 제작되는 것이 바람직하며, 상기 광원이 상기 패턴(511)의 후방부에 위치하도록 상기 마커(510)의 내부에 배치될 경우에는 상기 패턴(511)은 상기 광원으로부터 조사되는 광을 투과시킬 수 있도록 제작되는 것이 바람직하다.The
상기 어안렌즈(513)는 상기 적어도 하나의 광원으로부터 조사되어 상기 패턴(511)에 의해 반사되거나 상기 패턴(511)을 투과한 광을 통과시켜 평행 출사광 형태로 결상유닛(도시되지 않음) 측으로 방출시킬 수 있도록 상기 패턴(511)의 전방부에 배치된다.The
여기서, 상기 패턴(511)은 상기 어안렌즈(513)의 초점 거리에 배치되는 것이 바람직하다.Here, it is preferable that the
<실시예 3>≪ Example 3 >
본 실시예에 의한 옵티컬 트랙킹 시스템은 마커(610)의 일부 내용을 제외하면 제1 실시예에 의한 옵티컬 트랙킹 시스템과 실질적으로 동일하므로, 마커(610)와 관련된 일부 내용을 제외한 다른 구성요소와 내용에 대한 자세한 설명은 생략하기로 한다.Since the optical tracking system according to the present embodiment is substantially the same as the optical tracking system according to the first embodiment except for a part of the
도 13은 본 발명의 제3 실시예에 의한 마커를 설명하기 위한 도면이다.13 is a view for explaining a marker according to the third embodiment of the present invention.
도 13을 참조하면, 본 실시예에 의한 옵티컬 트랙킹 시스템의 마커(610)는 패턴(611), 대물렌즈(613) 및, 프리즘(614) 등을 포함할 수 있다.13, the
상기 패턴(611)은 적어도 하나의 광원(도시되지 않음)으로부터 조사되는 광을 반사시키거나 투과시킬 수 있다. 즉, 상기 광원이 마커(610)의 외부에 배치될 경우에는 상기 패턴(611)은 상기 광원으로부터 조사되는 광을 반사시킬 수 있도록 제작되는 것이 바람직하며, 상기 광원이 상기 패턴(611)의 후방부에 위치하도록 상기 마커(610)의 내부에 배치될 경우에는 상기 패턴(611)은 상기 광원으로부터 조사되는 광을 투과시킬 수 있도록 제작되는 것이 바람직하다.The
상기 대물렌즈(613)는 상기 적어도 하나의 광원으로부터 조사되어 상기 패턴(611)에 의해 반사되거나 상기 패턴(611)을 투과한 광을 통과시켜 평행 출사광 형태로 결상유닛(도시되지 않음) 측으로 방출시킬 수 있도록 상기 패턴(611)의 전방부에 배치된다.The
여기서, 상기 패턴(611)은 상기 대물렌즈(613)의 초점 거리에 배치되는 것이 바람직하다.Here, the
상기 프리즘(614)은 상기 대물렌즈(613)를 통과한 평행 출사광을 통과시켜 상기 평행 출사광의 화각을 넓힌 후 결상유닛으로 입사되도록 한다. 여기서, 상기 프리즘(614)은 피라미드 형태로 형성되는 것이 바람직하다.The
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.While the present invention has been described in connection with what is presently considered to be practical and exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.
(110) : 마커 (111) : 패턴
(113) : 볼 렌즈 (120) : 결상유닛
(121) : 렌즈부 (122) : 센서부
(130) : 프로세서 (140) : 광원(110): marker (111): pattern
(113): Ball lens (120): Image forming unit
(121): Lens part (122): Sensor part
(130): Processor (140): Light source
Claims (19)
상기 마커로부터 방출되는 상기 평행 출사광을 받아들여 상기 패턴의 확대된 이미지를 결상시키는 적어도 하나의 결상유닛; 및
상기 결상유닛에 결상된 패턴의 확대된 이미지와 기 저장된 기준 패턴 이미지를 비교하여 상기 마커의 공간 위치와 방향을 산출하는 프로세서를 포함하는 옵티컬 트랙킹 시스템.At least one marker for reflecting light emitted from at least one light source through a ball lens provided with a pattern on a surface thereof and emitting the light in a form of parallel emitted light;
At least one imaging unit that receives the parallel outgoing light emitted from the marker and images an enlarged image of the pattern; And
And a processor for calculating a spatial position and a direction of the marker by comparing an enlarged image of the pattern formed on the imaging unit with a previously stored reference pattern image.
상기 패턴은,
상기 볼 렌즈의 표면 전체 또는 표면 일부에 마련되는 것을 특징으로 하는 옵티컬 트랙킹 시스템.The method according to claim 1,
The pattern may be,
Wherein the optical lens is provided on the entire surface or a part of the surface of the ball lens.
상기 광원은 LED(Light Emitting Diode)인 것을 특징으로 하는 옵티컬 트랙킹 시스템.The method according to claim 1,
Wherein the light source is an LED (Light Emitting Diode).
상기 결상유닛은,
상기 마커로부터 방출된 상기 평행 출사광을 렌즈부를 통해 받아 들여 상기 평행 출사광에 의해 확대된 패턴의 이미지를 센서부에 결상시키는 카메라인 것을 특징으로 하는 옵티컬 트랙킹 시스템.The method according to claim 1,
The image-
And a camera for receiving the parallel output light emitted from the marker through the lens unit and for forming an image of a pattern enlarged by the parallel output light on a sensor unit.
상기 프로세서는,
상기 결상유닛에 결상된 확대된 패턴 이미지의 위치 및 크기를 기 저장된 기준 패턴 이미지의 기준 위치 및 크기와 비교하여 상기 마커의 공간위치를 산출하고,
상기 확대된 패턴의 영역별 패턴 위치와 패턴의 크기와 기 저장된 패턴부 이미지의 영역별 기준 패턴 위치 및 기준 패턴 크기와 비교하여 상기 마커의 방향을 산출하는 것을 특징으로 하는 옵티컬 트랙킹 시스템.The method according to claim 1,
The processor comprising:
A spatial position of the marker is calculated by comparing the position and size of an enlarged pattern image formed on the imaging unit with a reference position and size of a previously stored reference pattern image,
Wherein the direction of the marker is calculated by comparing a pattern position of each of the enlarged patterns with a size of the pattern, a reference pattern position of each region of the stored pattern image, and a reference pattern size.
상기 마커로부터 방출되는 상기 평행 출사광을 받아들여 상기 패턴의 확대된 이미지를 결상시키는 적어도 하나의 결상유닛; 및
상기 결상유닛에 결상된 패턴의 확대된 이미지와 기 저장된 기준 패턴 이미지를 비교하여 상기 마커의 공간 위치와 방향을 산출하는 프로세서를 포함하는 옵티컬 트랙킹 시스템.At least one marker which is irradiated from at least one light source and is reflected by the pattern or transmits the pattern through the fisheye lens and emits the light in the form of parallel emission light;
At least one imaging unit that receives the parallel outgoing light emitted from the marker and images an enlarged image of the pattern; And
And a processor for calculating a spatial position and a direction of the marker by comparing an enlarged image of the pattern formed on the imaging unit with a previously stored reference pattern image.
상기 패턴은 상기 어안렌즈의 초점 거리에 배치되는 것을 특징으로 하는 옵티컬 트랙킹 시스템.The method according to claim 6,
Wherein the pattern is disposed at a focal distance of the fish-eye lens.
상기 광원은,
상기 패턴에 의해 광이 반사되어 상기 어안렌즈를 통과할 수 있도록 상기 마커의 외부에 배치되는 것을 특징으로 하는 옵티컬 트랙킹 시스템.The method according to claim 6,
The light source includes:
Wherein the marker is disposed outside the marker so that light is reflected by the pattern and passes through the fish-eye lens.
상기 광원은,
상기 광원으로부터 조사된 광이 상기 패턴을 투과하여 상기 어안렌즈를 통과할 수 있도록 상기 마커의 내부에 배치되는 것을 특징으로 하는 옵티컬 트랙킹 시스템.The method according to claim 6,
The light source includes:
Wherein the marker is disposed inside the marker so that light irradiated from the light source can pass through the pattern and pass through the fish-eye lens.
상기 광원은 LED(Light Emitting Diode)인 것을 특징으로 하는 옵티컬 트랙킹 시스템.The method according to claim 6,
Wherein the light source is an LED (Light Emitting Diode).
상기 결상유닛은,
상기 마커로부터 방출된 상기 평행 출사광을 렌즈부를 통해 받아 들여 상기 평행 출사광에 의해 확대된 패턴의 이미지를 센서부에 결상시키는 카메라인 것을 특징으로 하는 옵티컬 트랙킹 시스템.The method according to claim 6,
The image-
And a camera for receiving the parallel output light emitted from the marker through the lens unit and for forming an image of a pattern enlarged by the parallel output light on a sensor unit.
상기 프로세서는,
상기 결상유닛에 결상된 확대된 패턴 이미지의 위치 및 크기를 기 저장된 기준 패턴 이미지의 기준 위치 및 크기와 비교하여 상기 마커의 공간위치를 산출하고,
상기 확대된 패턴의 영역별 패턴 위치와 패턴의 크기와 기 저장된 패턴부 이미지의 영역별 기준 패턴 위치 및 기준 패턴 크기와 비교하여 상기 마커의 방향을 산출하는 것을 특징으로 하는 옵티컬 트랙킹 시스템.The method according to claim 6,
The processor comprising:
A spatial position of the marker is calculated by comparing the position and size of an enlarged pattern image formed on the imaging unit with a reference position and size of a previously stored reference pattern image,
Wherein the direction of the marker is calculated by comparing a pattern position of each of the enlarged patterns with a size of the pattern, a reference pattern position of each region of the stored pattern image, and a reference pattern size.
상기 마커로부터 방출되는 상기 평행 출사광을 받아들여 상기 패턴의 확대된 이미지를 결상시키는 적어도 하나의 결상유닛; 및
상기 결상유닛에 결상된 패턴의 확대된 이미지와 기 저장된 기준 패턴 이미지를 비교하여 상기 마커의 공간 위치와 방향을 산출하는 프로세서를 포함하는 옵티컬 트랙킹 시스템.At least one marker which is irradiated from at least one light source and is reflected by a pattern or passes through a pattern, passes through an objective lens to emit parallel emission light and then emits parallel emission light having a different angle of view through a prism;
At least one imaging unit that receives the parallel outgoing light emitted from the marker and images an enlarged image of the pattern; And
And a processor for calculating a spatial position and a direction of the marker by comparing an enlarged image of the pattern formed on the imaging unit with a previously stored reference pattern image.
상기 패턴은 상기 대물렌즈의 초점 거리에 배치되는 것을 특징으로 하는 옵티컬 트랙킹 시스템.14. The method of claim 13,
Wherein the pattern is disposed at a focal length of the objective lens.
상기 광원은,
상기 패턴에 의해 광이 반사되어 상기 대물렌즈를 통과할 수 있도록 상기 마커의 외부에 배치되는 것을 특징으로 하는 옵티컬 트랙킹 시스템.14. The method of claim 13,
The light source includes:
Wherein the marker is disposed outside the marker so that light is reflected by the pattern and passes through the objective lens.
상기 광원은,
상기 광원으로부터 조사된 광이 상기 패턴을 투과하여 상기 대물렌즈를 통과할 수 있도록 상기 마커의 내부에 배치되는 것을 특징으로 하는 옵티컬 트랙킹 시스템.14. The method of claim 13,
The light source includes:
Wherein the marker is disposed inside the marker so that light irradiated from the light source can pass through the pattern and pass through the objective lens.
상기 광원은 LED(Light Emitting Diode)인 것을 특징으로 하는 옵티컬 트랙킹 시스템.14. The method of claim 13,
Wherein the light source is an LED (Light Emitting Diode).
상기 결상유닛은,
상기 마커로부터 방출된 상기 평행 출사광을 렌즈부를 통해 받아 들여 상기 평행 출사광에 의해 확대된 패턴의 이미지를 센서부에 결상시키는 카메라인 것을 특징으로 하는 옵티컬 트랙킹 시스템.14. The method of claim 13,
The image-
And a camera for receiving the parallel output light emitted from the marker through the lens unit and for forming an image of a pattern enlarged by the parallel output light on a sensor unit.
상기 프로세서는,
상기 결상유닛에 결상된 확대된 패턴 이미지의 위치 및 크기를 기 저장된 기준 패턴 이미지의 기준 위치 및 크기와 비교하여 상기 마커의 공간위치를 산출하고,
상기 확대된 패턴의 영역별 패턴 위치와 패턴의 크기와 기 저장된 패턴부 이미지의 영역별 기준 패턴 위치 및 기준 패턴 크기와 비교하여 상기 마커의 방향을 산출하는 것을 특징으로 하는 옵티컬 트랙킹 시스템.14. The method of claim 13,
The processor comprising:
A spatial position of the marker is calculated by comparing the position and size of an enlarged pattern image formed on the imaging unit with a reference position and size of a previously stored reference pattern image,
Wherein the direction of the marker is calculated by comparing a pattern position of each of the enlarged patterns with a size of the pattern, a reference pattern position of each region of the stored pattern image, and a reference pattern size.
Priority Applications (11)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20130060034A KR101487248B1 (en) | 2013-05-28 | 2013-05-28 | Optical tracking system |
CN201711419794.5A CN108236505B (en) | 2013-04-30 | 2014-04-29 | Mark unit information acquisition method |
PCT/KR2014/003782 WO2014178610A1 (en) | 2013-04-30 | 2014-04-29 | Optical tracking system and tracking method using same |
EP14791254.7A EP2992852B1 (en) | 2013-04-30 | 2014-04-29 | Optical tracking system and detection method |
US14/391,447 US10307210B2 (en) | 2013-04-30 | 2014-04-29 | Optical tracking system and tracking method using the same |
JP2016510628A JP6272458B2 (en) | 2013-04-30 | 2014-04-29 | Optical tracking system and tracking method using the same |
CN201480023962.7A CN105142561B (en) | 2013-04-30 | 2014-04-29 | Optical tracking system and utilize its tracking |
JP2017253282A JP6595574B2 (en) | 2013-04-30 | 2017-12-28 | Tracking method |
US16/389,379 US20190239963A1 (en) | 2013-04-30 | 2019-04-19 | Optical tracking system and tracking method using the same |
JP2019175196A JP6800296B2 (en) | 2013-04-30 | 2019-09-26 | How to operate the optical tracking system and the optical tracking system |
US17/077,722 US20210038323A1 (en) | 2013-04-30 | 2020-10-22 | Optical tracking system and tracking method using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20130060034A KR101487248B1 (en) | 2013-05-28 | 2013-05-28 | Optical tracking system |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140139698A KR20140139698A (en) | 2014-12-08 |
KR101487248B1 true KR101487248B1 (en) | 2015-01-29 |
Family
ID=52457847
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR20130060034A KR101487248B1 (en) | 2013-04-30 | 2013-05-28 | Optical tracking system |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101487248B1 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101627813B1 (en) * | 2015-07-24 | 2016-06-08 | 주식회사 고영테크놀러지 | Marker for measuring location and orientation |
KR101627835B1 (en) * | 2015-07-24 | 2016-06-08 | 주식회사 고영테크놀러지 | Optical tracking system and method |
KR101627828B1 (en) * | 2015-07-24 | 2016-06-08 | 주식회사 고영테크놀러지 | Method for forming image in optical tracking system marker |
WO2017164552A1 (en) * | 2016-03-22 | 2017-09-28 | 주식회사 고영테크놀러지 | Curved pattern marker and optical tracking device including marker |
KR101906453B1 (en) * | 2016-03-22 | 2018-10-11 | 주식회사 고영테크놀러지 | Curved surface pattern marker, and optical tracking apparatus comprising the same |
WO2018190565A1 (en) * | 2017-04-12 | 2018-10-18 | 주식회사 고영테크놀러지 | Adapter and optical tracking device comprising same adapter |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101820682B1 (en) | 2016-08-09 | 2018-01-23 | 주식회사 고영테크놀러지 | Marker for optical tracking, optical tracking system, and optical tracking method |
KR102166372B1 (en) * | 2017-12-20 | 2020-10-15 | 주식회사 고영테크놀러지 | Optical tracking system and optical tracking method |
KR102102291B1 (en) | 2017-12-20 | 2020-04-21 | 주식회사 고영테크놀러지 | Optical tracking system and optical tracking method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007130398A (en) | 2005-11-14 | 2007-05-31 | Toshiba Corp | Optical position measuring unit |
US20070183041A1 (en) | 2006-02-09 | 2007-08-09 | Northern Digital Inc. | Retroreflective marker-tracking systems |
KR20100098055A (en) * | 2009-02-27 | 2010-09-06 | 한국과학기술원 | Image guided surgery system and the control method of the same |
KR20100128177A (en) * | 2009-05-27 | 2010-12-07 | 주식회사 고영테크놀러지 | Image formation optical system |
-
2013
- 2013-05-28 KR KR20130060034A patent/KR101487248B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007130398A (en) | 2005-11-14 | 2007-05-31 | Toshiba Corp | Optical position measuring unit |
US20070183041A1 (en) | 2006-02-09 | 2007-08-09 | Northern Digital Inc. | Retroreflective marker-tracking systems |
KR20100098055A (en) * | 2009-02-27 | 2010-09-06 | 한국과학기술원 | Image guided surgery system and the control method of the same |
KR20100128177A (en) * | 2009-05-27 | 2010-12-07 | 주식회사 고영테크놀러지 | Image formation optical system |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101627813B1 (en) * | 2015-07-24 | 2016-06-08 | 주식회사 고영테크놀러지 | Marker for measuring location and orientation |
KR101627835B1 (en) * | 2015-07-24 | 2016-06-08 | 주식회사 고영테크놀러지 | Optical tracking system and method |
KR101627828B1 (en) * | 2015-07-24 | 2016-06-08 | 주식회사 고영테크놀러지 | Method for forming image in optical tracking system marker |
WO2017164552A1 (en) * | 2016-03-22 | 2017-09-28 | 주식회사 고영테크놀러지 | Curved pattern marker and optical tracking device including marker |
KR101906453B1 (en) * | 2016-03-22 | 2018-10-11 | 주식회사 고영테크놀러지 | Curved surface pattern marker, and optical tracking apparatus comprising the same |
US10859789B2 (en) | 2016-03-22 | 2020-12-08 | Koh Young Technology Inc. | Curved pattern marker and optical tracking device including marker |
WO2018190565A1 (en) * | 2017-04-12 | 2018-10-18 | 주식회사 고영테크놀러지 | Adapter and optical tracking device comprising same adapter |
KR101944763B1 (en) * | 2017-04-12 | 2019-02-07 | 주식회사 고영테크놀러지 | Adaptor, and optical tracking apparatus comprising the same |
Also Published As
Publication number | Publication date |
---|---|
KR20140139698A (en) | 2014-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101487248B1 (en) | Optical tracking system | |
KR101406220B1 (en) | Optical tracking system and method for tracking using the same | |
US7800643B2 (en) | Image obtaining apparatus | |
US8929608B2 (en) | Device and method for recognizing three-dimensional position and orientation of article | |
JP6667065B2 (en) | Position estimation device and position estimation method | |
JP6595574B2 (en) | Tracking method | |
JP5206620B2 (en) | Member position recognition device, positioning device, joining device, and member joining method | |
JP4837538B2 (en) | End position measuring method and dimension measuring method | |
KR101487251B1 (en) | Optical tracking system and method for tracking using the same | |
KR101446173B1 (en) | Tracking system and method for tracking using the same | |
US20060215178A1 (en) | Position measurement system | |
CN116105600B (en) | Aiming target method based on binocular camera, processing device and laser tracker | |
JP2005352835A (en) | Image i/o device | |
US10060733B2 (en) | Measuring apparatus | |
JP5375479B2 (en) | Three-dimensional measurement system and three-dimensional measurement method | |
CN110906884B (en) | Three-dimensional geometry measuring apparatus and three-dimensional geometry measuring method | |
JP3897203B2 (en) | Ball grid array ball height measurement method | |
JP2005354306A (en) | Image input output apparatus | |
KR20230126107A (en) | Callibration method for heterogenous optical sensor and monitoring system using therewith | |
KR100697636B1 (en) | Method for detecting error situation of calculating location based on artificial landmark | |
KR20160051070A (en) | APPARATUS FOR DETECTING POSITION OF OBJECT using Binocular Parallax AND OPERATING METHOD THEREOF | |
JP2006349508A (en) | Position measuring system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20171204 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20181211 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20191210 Year of fee payment: 6 |