KR100891161B1 - Method for finding location of 3D integral image reconstruction and Apparatus thereof - Google Patents
Method for finding location of 3D integral image reconstruction and Apparatus thereof Download PDFInfo
- Publication number
- KR100891161B1 KR100891161B1 KR1020070049677A KR20070049677A KR100891161B1 KR 100891161 B1 KR100891161 B1 KR 100891161B1 KR 1020070049677 A KR1020070049677 A KR 1020070049677A KR 20070049677 A KR20070049677 A KR 20070049677A KR 100891161 B1 KR100891161 B1 KR 100891161B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- lens array
- plane
- correlation
- reconstructed
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
Abstract
3차원 집적 영상 복원 방식의 위치 검출 방법 및 장치가 제시된다. 3차원 영상 상관 검출기에서 수행되는 3차원 물체의 위치 정보 검출 방법에 있어서, 3차원 물체로부터 렌즈 어레이를 통하여 서로 다른 시차를 가지는 요소 영상을 획득하는 단계; 상기 획득된 요소 영상을 상기 요소 영상과 가상 렌즈 어레이 사이의 거리(g)와 상기 가상 렌즈 어레이와 복원 영상 평면 사이의 거리(Z)에 의해 Z/g의 비율로 변화된 크기를 가지는 평면 영상으로 복원하는 단계; 상기 복원된 3차원 물체의 평면 영상과 미리 저장된 기준 물체의 기준 평면 영상간의 상관도를 계산하는 단계; 및 상기 상관도 계산 결과 최대의 상관도를 가지는 지점을 도출하는 단계; 를 포함하는 3차원 집적 영상 복원 방식의 위치 검출 방법 및 장치가 제시된다. 본 발명의 실시예에 따르면, 해상도가 향상된 기준 물체와 목표 물체의 복원된 평면 영상들간의 상호 상관 분석을 통해 공간상의 목표 물체의 정확한 3차원 좌표를 검출할 수 있다.A position detection method and apparatus for a 3D integrated image restoration method are provided. A method for detecting position information of a three-dimensional object performed by a three-dimensional image correlation detector, the method comprising: obtaining element images having different parallaxes from a three-dimensional object through a lens array; The acquired element image is reconstructed as a planar image having a size changed at a ratio of Z / g by a distance g between the element image and the virtual lens array and a distance Z between the virtual lens array and the reconstructed image plane. Making; Calculating a correlation between the restored planar image of the three-dimensional object and the reference plane image of the previously stored reference object; And deriving a point having a maximum correlation as a result of the correlation calculation. Provided is a method and apparatus for detecting a position of a 3D integrated image restoration method including a. According to an embodiment of the present invention, accurate three-dimensional coordinates of a target object in space may be detected through cross-correlation analysis between the reconstructed planar images of the reference object and the target object having improved resolution.
컴퓨터적 복원 방식, 집적 영상, 상관도, 3차원 좌표 Computerized restoration, integrated image, correlation, 3D coordinates
Description
도 1a은 기존의 요소 영상을 컴퓨터적으로 복원하는 방식에 대한 설명을 위한 도면.1A is a diagram for explaining a method of computerly reconstructing an existing element image.
도 1b은 본 발명의 실시예에 따른 컴퓨터 복원 방식의 위치 검출 장치.Figure 1b is a position detection device of a computer restoration method according to an embodiment of the present invention.
도 2는 본 발명의 실시예에 따른 기준 물체와 타겟 물체의 실험.2 is an experiment of a reference object and a target object according to an embodiment of the present invention.
도 3은 본 발명의 실시예에 따른 기준 물체와 타겟 물체의 실험에 의해 획득된 요소 영상.3 is an element image obtained by an experiment of a reference object and a target object according to an embodiment of the present invention.
도 4는 본 발명의 실시예에 따른 Z'=12mm 에서 복원된 Mark1의 평면 영상. 4 is a planar image of Mark1 reconstructed at Z '= 12mm according to an embodiment of the present invention.
도 5는 본 발명의 실시예에 따른 Z'=27mm 에서 복원된 Mark2의 평면영상.5 is a planar image of Mark2 reconstructed at Z '= 27mm according to an embodiment of the present invention.
도 6는 본 발명의 실시예에 따른 Z'=18mm, 21mm, 24mm 에서 복원된 목표 물체의 평면 영상. 6 is a planar image of a target object reconstructed at Z '= 18 mm, 21 mm, and 24 mm according to an embodiment of the present invention.
도 7는 본 발명의 실시예에 따른 Z'=30mm, 33mm, 36mm 에서 복원된 목표 물체의 평면 영상.7 is a planar image of a target object reconstructed at Z '= 30 mm, 33 mm, 36 mm according to an embodiment of the present invention.
도 8은 본 발명의 실시예에 따른 Mark1의 기준 평면 영상과 목표 물체의 평면 영상들간의 상관도 그래프. 8 is a graph illustrating a correlation between a reference plane image of Mark1 and planar images of a target object according to an embodiment of the present invention.
도 9은 본 발명의 실시예에 따른 Mark2의 기준 평면 영상과 목표 물체의 평면 영상들간의 상관도 그래프. 9 is a graph of correlation between the reference plane image of Mark2 and the plane image of the target object according to an embodiment of the present invention.
도 10은 본 발명의 실시예에 따른 Mark1의 기준 평면 영상과 목표 물체의 평면 영상들간의 상관도 계산으로 산출된 목표 물체의 3차원 좌표 그래프. 10 is a three-dimensional coordinate graph of a target object calculated by calculating a correlation between the reference plane image of Mark1 and the plane images of the target object according to an embodiment of the present invention.
도 11은 본 발명의 실시예에 따른 Mark2의 기준 평면 영상과 목표 물체의 평면 영상들간의 상관도 계산으로 산출된 목표 물체의 3차원 좌표 그래프. FIG. 11 is a three-dimensional coordinate graph of a target object calculated by calculating a correlation between the reference plane image of Mark2 and the plane images of the target object according to an embodiment of the present invention. FIG.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
100: 기준 물체 102: 목표 물체 100: reference object 102: target object
110: 렌즈 어레이 120: 픽업 디바이스110: lens array 120: pickup device
130: 컴퓨터 시스템 140: 복원된 기준 평면 영상130: computer system 140: restored reference plane image
142: 복원된 목표 평면 영상142: Restored target plane image
본 발명은 3차원 집적 영상 복원 방식에 관한 것으로, 특히 3차원 집적 영상 복원 방식의 위치 검출 방법 및 장치에 관한 것이다. The present invention relates to a 3D integrated image restoration method, and more particularly, to a method and apparatus for detecting a position of a 3D integrated image restoration method.
최근 3차원 영상과 영상 재생 기술에 관한 연구들이 활발히 이루어지고, 이는 시각 정보의 수준을 한 차원 높여주는 새로운 개념의 실감 영상 미디어로서 차 세대 디스플레이를 주도하게 될 것으로 예상되고 있다. 이에 따른 국내외 학계와 산업계를 중심으로 연구가 활발히 진행되고 있다. 또한, 3차원 영상은 2차원 영상 보다 실감 있고 자연스러우며 보다 인간에 가까워 3차원 영상에 대한 수요가 증가하고 있다.Recently, researches on 3D image and image reproduction technology have been actively conducted, which is expected to lead the next generation display as a new concept of realistic image media that raises the level of visual information. As a result, research is being actively conducted in domestic and foreign academia and industry. In addition, the demand for 3D images is increasing because 3D images are more realistic, natural and closer to humans than 2D images.
3차원 영상 재생 기술은 관측자에게 평면 이미지가 아니라 입체감 있고 실감 있는 3차원 입체 영상을 느낄 수 있도록 입체로 표시하는 기술을 말한다3D image reproducing technology refers to a technology that displays stereoscopic images so that viewers can feel 3D and realistic 3D images rather than planar images.
3차원 물체 인식에는 본질적으로 공간상의 3차원 물체의 위치 정보 검출이 수반된다. 최근에 몇몇 접근 방식들은 공간상의 3차원 물체 인식을 위해 집적영상기법을 도입하였다. 3차원 영상을 기록하고 디스플레이 하는 방법중의 하나인 집적영상기법은 마이크로 렌즈 어레이를 통해 물체의 다시점 2차원 영상들을 획득하는 방법이다. 이러한 집적영상기법을 이용한 3차원 물체 인식에 관한 접근 방식들은 공간상의 3차원 물체의 위치정보를 검출하는 연구를 수반하고 있다. Recognizing three-dimensional objects inherently involves detecting positional information of three-dimensional objects in space. Recently, several approaches have introduced integrated imaging techniques to recognize three-dimensional objects in space. One of the methods of recording and displaying a 3D image is an integrated image technique, which is a method of obtaining multi-view 2D images of an object through a microlens array. Approaches to 3D object recognition using integrated image technique have been accompanied by a study of detecting position information of 3D object in space.
일반적으로 집적 영상 기술은 크게 영상 획득 단계(픽업)와 영상 재생 단계로 나뉘어 진다. 영상 획득 단계(픽업)는 이미지 센서와 같은 2차원 감지기와 렌즈 어레이로 구성되며, 이때 3차원 객체는 렌즈 어레이 앞에 위치한다. 그러면 3차원 객체의 다양한 영상정보들이 렌즈 어레이를 통과한 후 2차원 감지기에 저장된다. 이때 저장된 영상은 요소 영상으로서 3차원 재생을 위해 이용된다. 이후 집적 영상 기술의 영상 재생 단계는 영상 획득 단계(픽업)의 역과정으로, 액정 표시 장치와 같은 영상 재생 장치와 렌즈 어레이로 구성된다. 여기서, 영상 획득 과정(픽업)에서 얻은 요소 영상은 영상 재생 장치에 표시되고, 요소 영상의 영상 정보는 렌즈 어레이를 통과하여 공간상에 3차원 영상으로 재생되게 된다.In general, integrated image technology is largely divided into an image acquisition step (pickup) and an image reproduction step. The image acquisition step (pickup) consists of a two-dimensional sensor such as an image sensor and a lens array, wherein the three-dimensional object is located in front of the lens array. Various image information of the 3D object is then passed through the lens array and stored in the 2D detector. At this time, the stored image is used for 3D reproduction as an element image. The image reproduction step of the integrated image technology is a reverse process of the image acquisition step (pickup), and includes an image reproduction device such as a liquid crystal display and a lens array. Here, the element image obtained in the image acquisition process (pickup) is displayed on the image reproducing apparatus, and the image information of the element image passes through the lens array to be reproduced as a 3D image in space.
영상 획득 과정(픽업)에서, 3차원 객체로부터 명암과 방향 정보가 공간적으로 렌즈 어레이 상에 표본화가 되고, 2차원 이미지 센서를 사용하여 요소 영상 배열로서 광학적으로 저장된다. 저장된 요소 영상은 영상 재생 장치에 표시되고, 요소 영상의 영상 정보는 렌즈 어레이를 통과하여 공간상에 3차원 영상으로 재생되게 된다. In the image acquisition process (pickup), the contrast and direction information from the three-dimensional object is spatially sampled on the lens array and optically stored as an element image array using a two-dimensional image sensor. The stored elemental image is displayed on the image reproducing apparatus, and the image information of the elemental image passes through the lens array to be reproduced as a 3D image in space.
집적영상을 복원함에 있어서는 광학적 집적 영상 복원 방식과 컴퓨터적 집적 영상 복원 방식이 있다. 광학적 집적 영상 복원 방식은 회절과 수차 등과 같은 광학적 장치의 물리적인 제한에 의해 야기된 요소 영상들간의 불충분한 오버랩과 디스플레이 된 3차원 영상의 저하된 화질로 인해 저해상도의 3차원 영상이 디스플레이 되는 문제점을 가지고 있다. 이러한 결점을 보완하기 위해 기하광학의 디지털 시뮬레이션을 통하여 컴퓨터로 3차원 영상을 복원할 수 있는 컴퓨터적 집적영상 복원기법이 소개되었다. In recovering an integrated image, there are an optical integrated image restoration method and a computer integrated image restoration method. The optically integrated image reconstruction method has a problem that low-resolution three-dimensional images are displayed due to insufficient overlap between element images caused by physical limitations of optical devices such as diffraction and aberration and degraded image quality of the displayed three-dimensional image. Have. In order to make up for this drawback, a computer integrated image reconstruction technique has been introduced that can restore 3D images to a computer through digital simulation of geometric optics.
컴퓨터 복원 방식은 3차원 객체의 서로 다른 시점으로부터 획득된 영상을 다시 본래의 영상으로 복원하는 방법으로써, 렌즈 어레이와 복원 평면간의 거리 변화에 따라 이루어 진다. 컴퓨터 복원 방식의 처리절차는 다음과 같다. 3차원 객체로부터 렌즈 어레이를 이용하여 서로 다른 시차를 가지는 요소 영상을 획득한다. 획득된 각각의 요소 영상은 거리 변화에 따라 복원 평면상에 컴퓨터적으로 복원된다.The computer reconstruction method is a method of reconstructing an image obtained from different viewpoints of a 3D object back to the original image, and is performed according to a change in distance between the lens array and the reconstruction plane. The processing procedure of the computer restoration method is as follows. Element images having different parallaxes are acquired from a three-dimensional object using a lens array. Each element image obtained is computerly reconstructed on the reconstruction plane according to the distance change.
도 1a는 기존의 요소 영상을 컴퓨터적으로 복원하는 방식에 대한 설명을 위 한 도면이다. 컴퓨터적으로 복원된다는 의미는 다음과 같다. 복원 영상 평면(154)이 가상 렌즈 어레이(152)로부터 L 만큼 떨어져 있는 경우를 가정할 때, 요소 영상(150)은 가상 렌즈 어레이(152)와 복원 영상 평면(154) 사이의 거리 L 과 가상 렌즈 어레이(152)와 요소 영상 평면(150) 사이의 거리 g 에 의해 디지털적으로 L/g 만큼 확대된다. 이 확대된 요소 영상은 복원 영상 평면의 대응하는 픽셀들에 중첩된다. 획득된 모든 요소 영상들의 평면 영상을 복원하기 위해서는 각각의 요소 영상에 대응하는 렌즈 어레이를 통해 위와 같은 처리 과정을 반복적으로 수행한다.1A is a diagram for describing a method of computerly reconstructing an existing element image. The meaning of computer restoration is as follows. Assuming that the reconstructed
그러나 종래에는 3차원 영상을 복원하여 입체 영상으로 재현하는 방법에만 초점이 맞춰져 있었다. 따라서 공간상의 3차원 물체의 정확한 위치를 검출하는 방법이 없었으므로, 이러한 공간상의 3차원 물체의 정확한 위치를 검출할 필요성이 요구된다.However, conventionally, only the method of restoring 3D images and reproducing them as stereoscopic images has been focused. Therefore, since there is no method for detecting the exact position of the three-dimensional object in space, there is a need for detecting the exact position of the three-dimensional object in space.
본 발명은 3차원 집적 영상 복원 방식의 위치 검출 방법 및 장치를 제안한다.The present invention proposes a method and apparatus for detecting a position of a 3D integrated image reconstruction method.
본 발명은 컴퓨터적으로 복원된 집적영상을 이용하여 3차원 물체의 정확하고 정밀한 위치정보를 추출하기 위해서 새로운 형태의 3차원 집적 영상 복원 방식의 위치 검출 장치를 제안한다. The present invention proposes a new type of 3D integrated image reconstruction method for extracting accurate and precise positional information of a 3D object using a computerized reconstructed integrated image.
또한, 본 발명은 초점이 맞춰진 기준 물체의 평면 영상과 목표 물체의 평면 영상들 사이의 상호 상관도를 계산하여 현저하게 상관 피크를 띠는 지점을 토대로 공간상의 목표 물체의 위치 정보를 산출함으로써, 3차원 물체의 정확한 위치를 알 수 있는 3차원 집적 영상 복원 방식의 위치 검출 방법 및 장치를 제안한다. In addition, the present invention calculates the cross-correlation between the planar image of the focused reference object and the planar image of the target object to calculate the positional information of the target object in space based on the point that has a significant correlation peak, A method and apparatus for detecting a position of a 3D integrated image reconstructing method capable of knowing an exact position of a dimensional object are proposed.
본 발명이 제시하는 다른 기술적 과제들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.Other technical problems presented by the present invention will be easily understood through the following description.
본 발명의 일 측면에 따르면, 3차원 영상 상관 검출기에서 수행되는 3차원 물체의 위치 정보 검출 방법에 있어서, 3차원 물체로부터 렌즈 어레이를 통하여 서로 다른 시차를 가지는 요소 영상을 획득하는 단계; 상기 획득된 요소 영상을 상기 요소 영상과 가상 렌즈 어레이 사이의 거리(g)와 상기 가상 렌즈 어레이와 복원 영상 평면 사이의 거리(Z')에 의해 Z'/g의 비율로 변화된 크기를 가지는 평면 영상으로 복원하는 단계; 상기 복원된 3차원 물체의 평면 영상과 미리 저장된 기준 물체의 기준 평면 영상간의 상관도를 계산하는 단계; 및 상기 상관도 계산 결과 최대의 상관도를 가지는 지점을 도출하는 단계; 를 포함하는 3차원 집적 영상 복원 방식의 위치 검출 방법을 제시할 수 있다. According to an aspect of the present invention, a method for detecting position information of a three-dimensional object performed in a three-dimensional image correlation detector, the method comprising: obtaining element images having different parallaxes from a three-dimensional object through a lens array; The obtained element image is a planar image having a size changed at a ratio of Z '/ g by a distance g between the element image and the virtual lens array and a distance Z' between the virtual lens array and the reconstructed image plane. Restoring to; Calculating a correlation between the restored planar image of the three-dimensional object and the reference plane image of the previously stored reference object; And deriving a point having a maximum correlation as a result of the correlation calculation. A position detection method of a 3D integrated image reconstruction method including a may be provided.
또한 본 발명의 다른 측면에 따르면, 상기 평면 영상으로 복원하는 단계에 있어서, 상기 요소 영상은 상기 가상 렌즈 어레이로부터 복원 영상 평면까지의 거리로 정의되는 거리 파라미터(Z')의 변화에 따라 평면 영상으로 복원되는 3차원 집적 영상 복원 방식의 위치 검출 방법을 제시할 수 있다.According to another aspect of the present invention, in the step of restoring to the planar image, the element image is a planar image according to the change of the distance parameter Z 'defined as the distance from the virtual lens array to the reconstructed image plane. A position detection method of a 3D integrated image reconstruction method to be reconstructed may be provided.
또한 본 발명의 다른 측면에 따르면, 상기 평면 영상으로 복원하는 단계에 있어서, 상기 요소 영상은 상기 렌즈 어레이 평면에 포함되며 렌즈 어레이의 중앙에서 임의의 일측방향으로 정하는 거리 파라미터 X'의 변화에 따라 평면 영상으로 복원되는 3차원 집적 영상 복원 방식의 위치 검출 방법을 제시할 수 있다. According to another aspect of the present invention, in the step of restoring to the planar image, the element image is included in the lens array plane, the plane according to the change of the distance parameter X 'defined in any one direction from the center of the lens array A position detection method of a 3D integrated image reconstruction method which is reconstructed as an image may be provided.
또한 본 발명의 다른 측면에 따르면, 상기 평면 영상으로 복원하는 단계에 있어서, 상기 요소 영상은 상기 요소 영상은 상기 렌즈 어레이 평면에 포함되며 상기 X'의 축과 수직을 이루는 방향으로 정하는 거리 파라미터 Y'의 변화에 따라 평면 영상으로 복원되는 3차원 집적 영상 복원 방식의 위치 검출 방법을 제시할 수 있다.According to another aspect of the present invention, in the step of restoring to the planar image, the element image includes a distance parameter Y 'which is included in the lens array plane and is determined in a direction perpendicular to the axis of X'. A method of detecting a position of a 3D integrated image reconstructing method which is reconstructed into a planar image according to a change of the present invention may be provided.
또한 본 발명의 다른 측면에 따르면, 상기 최대의 상관도를 가지는 지점의 거리 파라미터 Z'의 값을 추출하여 Z'를 고정시킨 상태에서, 상기 요소 영상은 상기 렌즈 어레이 평면에 포함되며 렌즈 어레이의 중앙에서 임의의 일측방향으로 정하는 거리 파라미터 X'의 변화에 따라 평면 영상으로 복원되는 단계를 더 포함하는 3차원 집적 영상 복원 방식의 위치 검출 방법을 제시할 수 있다.According to another aspect of the present invention, the element image is included in the lens array plane and the center of the lens array in a state in which Z 'is fixed by extracting the value of the distance parameter Z' of the point having the maximum correlation. In the present invention, a method of detecting a position of a 3D integrated image reconstructing method may be further provided. The method may further include reconstructing a planar image according to a change of a distance parameter X ′ determined in any one direction.
또한 본 발명의 다른 측면에 따르면, 상기 최대 상관도를 가지는 지점의 거리 파라미터 X'와 Z'의 값을 추출하여 X'와 Z'를 고정시킨 상태에서, 상기 요소 영상은 상기 렌즈 어레이 평면에 포함되며 상기 X'의 축과 수직을 이루는 방향으로 정하는 거리 파라미터 Y'의 변화에 따라 평면 영상으로 복원되는 단계를 더 포함하는 3차원 집적 영상 복원 방식의 위치 검출 방법을 제시할 수 있다.According to another aspect of the present invention, the element image is included in the lens array plane in a state in which the values of the distance parameters X 'and Z' of the point having the maximum correlation are fixed and X 'and Z' are fixed. And restoring the planar image according to the change of the distance parameter Y 'which is determined in a direction perpendicular to the axis of X'.
또한 본 발명의 다른 측면에 따르면, 상기 기준 물체의 기준 평면 영상은 According to another aspect of the present invention, the reference plane image of the reference object is
상기 거리 파라미터 Z'을 미리 알고 있는 기준 물체의 거리(Zr)와 일치시킨 평면에 초점을 맞추어 상기 기준 물체의 요소 영상을 평면 영상으로 복원하여 획득된 3차원 집적 영상 복원 방식의 위치 검출 방법을 제시할 수 있다.A method of detecting a position of a 3D integrated image restoration method obtained by reconstructing an element image of the reference object into a planar image by focusing on a plane in which the distance parameter Z 'coincides with a distance Zr of a known reference object. can do.
또한 본 발명의 다른 측면에 따르면, 3차원 물체의 위치 정보 검출 장치에 있어서, 3차원 물체로부터 렌즈 어레이를 통하여 서로 다른 시차를 가지는 요소 영상을 획득하는 영상 입력부; 상기 획득된 요소 영상을 상기 요소 영상과 가상 렌즈 어레이 사이의 거리(g)와 상기 가상 렌즈 어레이와 복원 영상 평면 사이의 거리(Z')에 의해 Z'/g의 비율로 변화된 크기를 가지는 평면 영상으로 복원하는 영상 복원부; 및 상기 복원된 3차원 물체의 평면 영상과 미리 저장된 기준 물체의 기준 평면 영상간의 상관도를 계산하는 상관 분석부; 를 포함하는 3차원 집적 영상 복원 방식의 위치 검출 장치를 제시할 수 있다.According to another aspect of the present invention, an apparatus for detecting position information of a three-dimensional object, the apparatus comprising: an image input unit configured to obtain element images having different parallaxes from a three-dimensional object through a lens array; The obtained element image is a planar image having a size changed at a ratio of Z '/ g by a distance g between the element image and the virtual lens array and a distance Z' between the virtual lens array and the reconstructed image plane. Image restoring unit to restore to; And a correlation analyzer for calculating a correlation between the restored planar image of the 3D object and the reference plane image of the previously stored reference object. A device for detecting a position of a 3D integrated image reconstructing method may be provided.
또한 본 발명의 다른 측면에 따르면, 상기 영상 복원부는, 상기 영상 입력부에서 획득한 요소 영상을 상기 가상 렌즈 어레이로부터 복원 영상 평면까지의 거리로 정의되는 거리 파라미터(Z')의 변화에 따라 평면 영상으로 복원하는 3차원 집적 영상 복원 방식의 위치 검출 장치를 제시할 수 있다.In addition, according to another aspect of the present invention, the image reconstruction unit, the image obtained by the image input unit to the planar image in accordance with the change of the distance parameter (Z ') defined as the distance from the virtual lens array to the reconstructed image plane A position detection apparatus of a 3D integrated image restoration method for restoring may be provided.
또한 본 발명의 다른 측면에 따르면, 상기 영상 복원부는, 상기 영상 입력부에서 획득한 요소 영상을 상기 렌즈 어레이 평면에 포함되며 렌즈 어레이의 중앙에서 임의의 일측방향으로 정하는 거리 파라미터 X'의 변화에 따라 평면 영상으로 복원하는 3차원 집적 영상 복원 방식의 위치 검출 장치를 제시할 수 있다.According to another aspect of the present invention, the image reconstruction unit includes the element image acquired by the image input unit in the lens array plane and is planar according to a change of a distance parameter X 'that is determined in any one direction from the center of the lens array. A position detection apparatus of a 3D integrated image restoration method for restoring an image may be provided.
또한 본 발명의 다른 측면에 따르면, 상기 상관 분석부는 상기 최대의 상관 도를 가지는 지점의 거리 파라미터 Z'의 값을 추출하여 Z'를 고정시킨 상태에서, 상기 요소 영상은 상기 렌즈 어레이 평면에 포함되며 렌즈 어레이의 중앙에서 임의의 일측방향으로 정하는 거리 파라미터 X'의 변화에 따라 평면 영상으로 복원하는 3차원 집적 영상 복원 방식의 위치 검출 장치를 제시할 수 있다.According to another aspect of the present invention, the element analysis image is included in the lens array plane while the correlation analyzer extracts the value of the distance parameter Z 'of the point having the maximum correlation and fixes Z'. A three-dimensional integrated image reconstruction method for detecting a position in a planar image may be provided according to a change in a distance parameter X 'defined in an arbitrary one direction from the center of the lens array.
또한 본 발명의 다른 측면에 따르면, 상기 상관 분석부는 상기 최대 상관도를 가지는 지점의 거리 파라미터 X'와 Z'의 값을 추출하여 X'와 Z'를 고정시킨 상태에서, 상기 요소 영상은 상기 렌즈 어레이 평면에 포함되며 상기 X'의 축과 수직을 이루는 방향으로 정하는 거리 파라미터 Y'의 변화에 따라 평면 영상으로 복원하는 3차원 집적 영상 복원 방식의 위치 검출 장치를 제시할 수 있다.According to another aspect of the present invention, the correlation analyzer extracts the values of the distance parameters X 'and Z' of the point having the maximum correlation and fixes X 'and Z', and the element image is the lens. A position detection apparatus of a 3D integrated image reconstruction method for restoring a planar image according to a change of a distance parameter Y 'included in an array plane and determined in a direction perpendicular to the axis of X' may be provided.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms including ordinal numbers such as first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component. The term and / or includes a combination of a plurality of related items or any item of a plurality of related items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is referred to as being "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in between. Should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않 는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art, and, unless expressly defined in this application, are construed in ideal or excessively formal meanings. It doesn't work.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. In addition, in the description with reference to the accompanying drawings, the same components regardless of reference numerals will be given the same reference numerals and duplicate description thereof will be omitted. In the following description of the present invention, if it is determined that the detailed description of the related known technology may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.
도 1b은 본 발명의 실시예에 따른 3차원 집적 영상 복원 방식의 위치 검출 장치이다. 본 발명의 실시예에 따른 3차원 집적 영상 복원 방식의 위치 검출 장치는 크게 픽업부분과 인식부분으로 나누어 볼 수 있다. 1B is a 3D integrated image restoration type position detection apparatus according to an embodiment of the present invention. The position detecting apparatus of the 3D integrated image reconstructing method according to an embodiment of the present invention can be divided into a pickup part and a recognition part.
픽업부분은 렌즈 어레이(110)와 픽업 디바이스(120)를 포함한다. 렌즈 어레이(110)는 요소 영상을 추출하기 위한 복수의 렌즈가 특정 패턴으로 배열된다. 픽업 디바이스(120)는 렌즈 어레이(110)를 통하여 3차원 객체(100, 102, 104)를 여러 방향에서 바라본 서로 다른 요소 영상들을 저장한다. The pickup portion includes a
기준 물체의 기준 평면 영상(140)은 본래 기준 물체의 위치인 Z'=Zr 인 위치에서 복원된 평면 영상 PR (xr, yr, zr)이다. 목표 물체의 복원 평면 영상들(142)은 렌즈 어레이(100)와 복원 평면간의 거리 파라미터 Z'의 변화에 따라 각각의 출력 평면에서 복원된다. The
구체적으로 본 발명의 실시예에 따른 3차원 집적 영상 복원 방식의 위치 검 출 장치를 살펴보면, 기준 물체(100)(xr, yr, zr)와 렌즈 어레이(100) 사이의 거리는 이미 알고 있는 거리 Zr(112) 에 있다고 가정한다. 목표 물체1 (xo, yo, zo1)(102)과 목표 물체2 (xo, yo, zo2)(104)는 각각 렌즈 어레이(100)로부터 임의의 거리 Zo1(116), Zo2(114)에 위치한다. 이러한 기준 물체(100)와 목표 물체(102, 104)의 요소 영상들은 각각의 렌즈 어레이(110)와 픽업 디바이스(120)에 의해 획득된다. 최종적으로 기준 물체(100)와 목표 물체(102, 104)의 요소 영상들은 컴퓨터(130)상에 기록된다.Specifically, referring to the 3D integrated image reconstruction position detecting apparatus according to an embodiment of the present invention, the distance between the reference object 100 (x r , y r , z r ) and the
인식부분은 컴퓨터(130)와 복원 영상 평면(140, 142)을 포함한다. 인식부분은 3차원 물체로부터 렌즈 어레이를 통하여 획득한 서로 다른 시차를 가지는 요소 영상들로부터 3차원 집적 영상 복원 방식을 이용하여 기준 물체(100)와 목표 물체(102, 104)의 평면 영상을 복원한다. 디지털 시뮬레이션을 통하여 렌즈 어레이(100)로부터 임의의 거리에서 목표 물체(102, 104)와 기준 물체(100)의 평면 영상을 컴퓨터적으로 복원할 수 있다. The recognition part includes the
즉, 기준 물체는 이미 알고 있는 Z'-평면(Zr)에 초점이 맞춰져 복원되는 반면에, 목표 물체는 렌즈 어레이(100)부터 복원 평면 영상(142)간의 거리 파라미터 Z' 의 변화에 따라 각각의 출력 평면에 초점이 맞춰져서 복원된다. 여기서, Z'는 본 발명의 실시예에 따른 3차원 집적 영상 복원 방식의 위치 검출 장치에서 목표 물체와의 정확한 거리 측정을 하기 위한 거리 조절 인자이다. 예를 들어, Z'= 10mm로 조절할 경우 렌즈 어레이(100)로부터 10mm 떨어진 공간에 복원 평면(142)을 위 치 시키고, 그에 초점을 맞추어 요소 영상들을 컴퓨터적으로 복원하는 것을 의미한다.That is, the reference object is reconstructed by focusing on a known Z'-plane (Zr), while the target object is each changed according to the change of the distance parameter Z 'between the
거리 파라미터(조절인자) Z'의 변화에 따라 각각의 요소 영상들을 컴퓨터적으로 복원한 후, 기준 물체의 기준 평면 영상(140)과 목표 물체의 복원 평면 영상들(142)간의 상관 관계(Correlation)를 분석한다. Correlation between the
상관 관계 분석이란 변수들간의 관련성을 분석하기 위한 방법으로 하나의 변수가 다른 변수와 어느 정도 밀접한 관련성을 갖고 변화하는지를 알아보기 위해 이용된다. 기준 물체의 좌표 PR (xr, yr, zr)와 복원된 평면 영상의 좌표들 Po(xo, yo, z)간에 상관도를 계산하여 그 위치를 산출할 수 있다. Correlation analysis is a method to analyze the relationship between variables. It is used to find out how closely one variable changes with other variables. The position may be calculated by calculating a correlation between the coordinates P R (x r , y r , z r ) of the reference object and the coordinates P o (x o , y o , z) of the reconstructed plane image.
상관도는 두 변량 사이의 상관관계의 정도를 나타내는 수치인 상관 계수로 계산되고, 상관 계수는 -1과 1사이의 값을 가지며, 절대값이 1에 가까울수록, 강한 상관 관계를 암시한다. 상관 계수의 계산은 이미 주지의 수치이므로, 본 발명의 이해와 설명의 편의를 도모하기 위하여, 본 발명의 요지와 관련이 없는 부분에 대한 상세한 설명은 생략한다.The correlation is calculated as a correlation coefficient, which is a numerical value representing the degree of correlation between two variables, and the correlation coefficient has a value between -1 and 1, and the closer the absolute value is to 1, the stronger the correlation. Since the calculation of the correlation coefficient is already well-known numerical value, in order to facilitate the understanding and explanation of this invention, detailed description of the part which is not related to the summary of this invention is abbreviate | omitted.
이러한 상관 분석은 상관 피크를 띠는 지점이 도출될 때까지 거리 파라미터 Z'의 변화에 따라 반복적으로 계산된다. 상술한 바와 같이 목표 물체의 복원 평면 영상들(142)은 원래 목표 물체가 위치했던 Zo'-평면에서 복원된 선명하게 초점이 맞춰진 부분 영상과 Zo'-평면에서 벗어나서 복원된 흐려진 부분 영상들로 이루어져 있다. 따라서 이미 알고 있는 기준 평면 영상(140)과 렌즈 어레이(110)부터 복원 평 면 영상간의 거리 파라미터 Z'의 변화에 따라 각각의 출력 평면에서 복원된 목표 평면 영상들(142)간의 상관도를 계산하면 목표 물체가 위치했던 Zo'-평면에서 현저하게 상관 피크를 띠게 된다. 또한 이 상관 피크를 띠는 지점을 토대로 공간상의 목표 물체의 3차원 위치 정보 (xo, yo, zo)를 검출할 수 있다.This correlation analysis is calculated repeatedly according to the change of the distance parameter Z 'until a point with a correlation peak is derived. As described above, the reconstructed
위에서는 본 발명의 실시예에 따른 일반적인 시스템의 설명하였다. 이하에서는 본 발명의 실시예에 따른 3차원 집적 영상 복원 방식의 위치 검출 방법 및 장치를 적용한 실험에 대하여 실험 조건 및 실험 데이터를 구체적으로 설명하도록 한다. In the above, a general system according to an embodiment of the present invention has been described. Hereinafter, experimental conditions and experimental data will be described in detail with respect to an experiment to which the method and apparatus for detecting a position of the 3D integrated image restoration method according to an exemplary embodiment of the present invention are applied.
도 2는 본 발명의 실시예에 따른 기준 물체와 목표 물체의 실험을 도시한 도면이다. 본 실험에서는'Mark 1'(100)과 'Mark 2'(200), 이 두 개의 2차원 패턴들로 구성된 3차원 물체를 기준 물체(210)로 사용하였다. 기준 물체인'Mark 1'(100)과 'Mark 2'(200)은 렌즈 어레이(110)로부터 각각 12 mm, 27 mm 거리에 위치하고, 그의 중심 위치는 각각 (0 mm, 0 mm, 12 mm), (0 mm, 0 mm, 27 mm) 이다. 목표 물체들은 렌즈 어레이(100)의 앞쪽에 Z'=Z1 (114), Z'=Z2 (116)를 가지도록 배치(220)하였고, 각각의 목표 물체(102, 104)의 거리 Z'를 측정하였다.2 is a diagram illustrating an experiment of a reference object and a target object according to an exemplary embodiment of the present invention. In this experiment, a three-dimensional object composed of two two-dimensional patterns, 'Mark 1' 100 and 'Mark 2' 200, was used as the
본 실험에서 목표 물체(102, 104)와 기준 물체(100, 200)로부터 획득된 요소 영상들은 컴퓨터적으로 복원된다. 사용된 렌즈 어레이(110)는 지름이 1.08 mm인 34x25의 렌즈들로 구성되며, 각 렌즈의 해상도는 30x30이고, 디스플레이 패널의 화소간 거리는 36um이다. 따라서 획득된 요소 영상의 해상도는 1020x750이다. In this experiment, the element images acquired from the target objects 102 and 104 and the reference objects 100 and 200 are computerly reconstructed. The
이하 도3에서 획득된 기준 물체 'Mark 1', 'Mark 2' 및 목표 물체의 요소 영상들을 각각 나타낸다. Hereinafter, element images of the reference objects 'Mark 1', 'Mark 2' and the target object obtained in FIG. 3 are respectively shown.
도 3은 본 발명의 실시예에 따른 기준 물체와 목표 물체의 실험에 의해 획득된 요소 영상이다. 도 3의 (302) 내지 (306)은 기준 물체인'Mark 1'(100)에서 획득된 요소 영상(302), 'Mark 2'(200)에서 획득된 요소 영상(302)과 획득된 목표 물체(102, 104)의 요소영상을 나타낸다. 여기서, 공간상의 임의의 위치(114, 116)에 'Mark 1'과 'Mark 2'를 배치한 3차원 물체를 목표 물체(102, 104)로 사용하였고, 이의 중심 위치는 각각 (-9.36 mm, 4.93 mm, 21 mm)(114), (4.36 mm, -4.90 mm, 33 mm)(116)이다. 3 is an element image obtained by an experiment of a reference object and a target object according to an embodiment of the present invention. 3 to 306 of FIG. 3 are
도 4 내지 7은 본 발명의 실시예에 따른 기준 물체와 목표 물체의 실험에 의해 복원된 평면 영상들이다. 구체적으로 도 4는 본 발명의 실시예에 따른 Z'=12에서 복원된 Mark1의 평면 영상이다. 도 5는 본 발명의 실시예에 따른 Z'=27에서 복원된 Mark2의 평면영상이다. 도 4 및 도 5를 살펴보면, 기준물체인 Mark1, Mark2 는 이미 알고 있는 거리 Zr에 초점이 맞춰져 복원되므로 선명한 영상을 얻게 되고, 이는 이후 수행하는 상관도 계산의 기준으로 사용된다. 4 to 7 are planar images reconstructed by an experiment of a reference object and a target object according to an embodiment of the present invention. In detail, FIG. 4 is a planar image of Mark1 reconstructed at Z '= 12 according to an embodiment of the present invention. 5 is a planar image of Mark2 reconstructed at Z '= 27 according to an embodiment of the present invention. Referring to FIGS. 4 and 5, since the reference objects Mark1 and Mark2 are reconstructed by focusing on a known distance Zr, a clear image is obtained, which is used as a reference for correlation calculation.
한편, 목표 물체의 목표 평면 영상들은 Z'=6 mm에서 Z'=36 mm까지 1 mm마다 복원된다. 도 6는 본 발명의 실시예에 따른 Z'=18mm, 21mm, 24mm 에서 복원된 목표 물체의 평면 영상이고, 도 7는 본 발명의 실시예에 따른 Z'=30mm, 33mm, 36mm 에서 복원된 목표물체의 평면 영상이다. On the other hand, target plane images of the target object are reconstructed every 1 mm from Z '= 6 mm to Z' = 36 mm. 6 is a planar image of a target object restored at Z '= 18mm, 21mm, 24mm according to an embodiment of the present invention, and FIG. 7 is a target restored at Z' = 30mm, 33mm, 36mm according to an embodiment of the present invention. Plane image of the object.
도 6을 살펴보면 Z'=21mm인 지점에서 복원된 목표 평면 영상의 Mark1(100)의 표식이 뚜렷함을 알 수 있고, 도 7을 살펴보면 Z'=33mm인 지점에서 복원된 목표 평면 영상의 Mark2(200)의 표식이 뚜렷함을 알 수 있다. 그 외의 경우는 초점이 벗어나 흐려진 것을 볼 수 있다. 이러한 특징은 3차원 집적 영상 복원 방식에 의해 복원된 평면들의 중요한 특성 중의 하나로 복원된 기준 평면 영상과 목표 평면 영상간의 상관도 계산을 통해 영상 내의 목표 물체를 효율적으로 검출할 수 있게 한다. Referring to FIG. 6, it can be seen that the mark of Mark1 (100) of the target plane image reconstructed at the point where Z '= 21mm is clear. It can be seen that the marker of 200) is clear. In other cases, the focus can be seen to be out of focus. This feature is one of important characteristics of the planes reconstructed by the 3D integrated image reconstruction method, and thus, it is possible to efficiently detect the target object in the image by calculating the correlation between the reconstructed reference plane image and the target plane image.
도 8은 본 발명의 실시예에 따른 Mark1의 기준 평면 영상과 목표 물체의 평면 영상들간의 상관도 그래프이다. 도 8에서 살펴보듯이 현저하게 상관 피크를 띠는 지점이 바로 공간상의 본래 목표 물체가 배치된 위치임을 알 수 있다. 상관도는 두 변수가 유사한 정도에 따라 동일한 경우 '1'까지 나타날 수 있다. 8 is a correlation graph between a reference plane image of Mark1 and planar images of a target object according to an exemplary embodiment of the present invention. As shown in FIG. 8, it can be seen that a point having a significant correlation peak is a position where an original target object is disposed in space. The correlation can be up to '1' if the two variables are the same according to similarity.
구체적으로 도 8은 기준 물체의 위치인 Z'=Zr 인 위치에서 복원된 평면 영상 PR (xr, yr, zr) (실험에서는 Zr =12mm인 위치에서 복원한 Mark1의 평면영상)과 목표 물체를 Z'=0mm 에서부터 Z'=42mm까지 1mm 간격으로 복원한 평면 영상간의 상관도를 계산한 결과이다. 도 8을 살펴보면, Z'=21mm에서 0.9502의 상관 피크 값을 나타낸다. 즉, Z'=21mm에 초점을 맞추어 복원된 평면 영상이 기준 평면 영상과 가장 유사한 상관 관계를 보이고, 이를 통해 목표 물체 Mark1의 Z' 좌표를 파악할 수 있다. Specifically, FIG. 8 is a planar image P R (x r , y r , z r ) restored from a position where the reference object is Z '= Z r (in the experiment, a planar image of Mark1 restored from a position where Z r = 12mm). ) And the planar image obtained by reconstructing the target object at intervals of 1 mm from Z '= 0 mm to Z' = 42 mm. Referring to FIG. 8, a correlation peak value of 0.9502 is shown at Z ′ = 21 mm. That is, the planar image reconstructed by focusing on Z '= 21mm shows the most similar correlation with the reference plane image, and thus the Z' coordinate of the target object Mark1 can be determined.
도 9은 본 발명의 실시예에 따른 Mark2의 기준 평면 영상과 목표 물체의 평면 영상들간의 상관도 그래프이다. 도 9에서 살펴보듯이 현저하게 상관 피크를 띠는 지점이 바로 공간상의 본래 목표 물체가 배치된 위치임을 알 수 있다.9 is a graph illustrating a correlation between a reference plane image of Mark2 and planar images of a target object according to an exemplary embodiment of the present invention. As shown in FIG. 9, it can be seen that a point having a significant correlation peak is a position where an original target object is disposed in space.
구체적으로 도 9는 기준 물체의 위치인 Z'=Zr 인 위치에서 복원된 평면 영상 PR (xr, yr, zr)(실험에서는 Zr =27mm인 위치에서 복원한 Mark2의 평면영상)과 목표 물체를 Z'=0mm 에서부터 Z'=42mm까지 1mm 간격으로 복원한 평면 영상간의 상관도를 계산한 결과이다. 도 9를 살펴보면, Z'=33mm에서 0.9699의 상관 피크 값을 나타낸다. 즉, Z'=33mm에 초점을 맞추어 복원된 평면 영상이 기준 평면 영상과 가장 유사한 상관 관계를 보이고, 이를 통해 목표 물체 Mark2의 Z' 좌표를 파악할 수 있다. Specifically, FIG. 9 is a planar image P R (x r , y r , z r ) restored from a position where the reference object is Z '= Z r (in the experiment, a planar image of Mark2 restored from a position where Z r = 27 mm). ) And the planar image obtained by reconstructing the target object at intervals of 1 mm from Z '= 0 mm to Z' = 42 mm. 9, the correlation peak value of 0.9699 at Z '= 33 mm. That is, the planar image reconstructed by focusing on Z '= 33mm shows the most similar correlation with the reference plane image, and thus the Z' coordinate of the target object Mark2 can be determined.
도 10는 본 발명의 실시예에 따른 Mark1의 기준 평면 영상과 목표 물체의 평면 영상들간의 상관도 계산으로 산출된 목표 물체의 3차원 좌표 그래프이다.FIG. 10 is a three-dimensional coordinate graph of a target object calculated by calculating a correlation between the reference plane image of Mark1 and the plane images of the target object according to an embodiment of the present invention.
Mark1의 기준 평면 영상과 목표물체의 평면 영상들간의 상관 결과값으로부터 목표 물체 Mark1의 3차원 좌표 중 Z'의 좌표값을 알 수 있으며, X'와 Y' 좌표에 관해서도 각각 상관도를 계산하면, 목표 물체의 3차원 공간상의 좌표를 얻을 수 있다.From the result of the correlation between the reference plane image of Mark1 and the plane image of the target object, the coordinate value of Z 'among the three-dimensional coordinates of the target object Mark1 can be known, and when the correlation is calculated for the X' and Y 'coordinates, The coordinates in the three-dimensional space of the target object can be obtained.
여기서 X'는 렌즈 어레이 평면에 포함되며 렌즈 어레이의 중앙에서 임의의 일측방향으로 정하는 거리 파라미터로 정의된다. 또한 Y'는 렌즈 어레이 평면에 포 함되며 상기 X'의 축과 수직을 이루는 방향으로 정하는 거리 파라미터로 정의된다. Here, X 'is included in the lens array plane and is defined as a distance parameter defined in any one direction from the center of the lens array. In addition, Y 'is defined as a distance parameter included in the lens array plane and determined in a direction perpendicular to the axis of X'.
즉, 도 2에서 수행된 실험 장치에서 Z' 공간 평면을 고정한 경우, 렌즈 어레이에 속하는 평면상의 일축과 그 수직축을 의미한다. That is, when the Z 'space plane is fixed in the experimental apparatus performed in FIG. 2, it means one axis on the plane belonging to the lens array and its vertical axis.
목표 물체 Mark1의 X, Y 위치를 검증하기 위해서는 도 8에서 얻은 결과치를 바탕으로, 최대의 상관도를 가지는 지점의 거리 파라미터 Z'의 값을 공간상의 Z좌표로 고정 시킨 후, 요소 영상을 X의 거리 파라미터 X'의 변화에 따라 평면 영상으로 복원하고, Y의 거리 파라미터 Y'의 변화에 따라 평면 영상으로 복원한다. 이후 상기 기준 평면 영상과 상관도를 계산하여 공간상의 위치 좌표를 파악할 수 있다. 이러한 상관 분석을 실시하여 나타난 Mark1의 위치 좌표는 데카르트 좌표계에서 (-9.36 mm, 4.93 mm, 21 mm)이다. In order to verify the X and Y positions of the target object Mark1, the distance parameter Z 'of the point having the maximum correlation is fixed to the Z coordinate in space based on the result obtained in FIG. The planar image is restored according to the change of the distance parameter X ', and the planar image is restored according to the change of the distance parameter Y' of Y. Thereafter, a correlation between the reference plane image may be calculated to determine a location coordinate in space. Mark1's position coordinates shown in this correlation analysis are (-9.36 mm, 4.93 mm, 21 mm) in the Cartesian coordinate system.
도 11은 본 발명의 실시예에 따른 Mark2의 기준 평면 영상과 목표 물체의 평면 영상들간의 상관도 계산으로 산출된 목표 물체의 3차원 좌표 그래프이다.FIG. 11 is a 3D coordinate graph of a target object calculated by calculating a correlation between the reference plane image of Mark2 and the planar images of the target object according to an embodiment of the present invention.
목표 물체 Mark1의 X, Y 위치를 검증하기 위해서는 도 9에서 얻은 결과치를 바탕으로, 최대의 상관도를 가지는 지점의 거리 파라미터 Z'의 값을 공간상의 Z좌표로 고정 시킨 후, 요소 영상을 X의 거리 파라미터 X'의 변화에 따라 평면 영상으로 복원하고, Y의 거리 파라미터 Y'의 변화에 따라 평면 영상으로 복원한다. 이후 상기 기준 평면 영상과 상관도를 계산하여 공간상의 위치 좌표를 파악할 수 있다. 이러한 상관 분석을 실시하여 나타난 Mark2의 위치 좌표는 데카르트 좌표계에서 (4.36 mm, -4.90 mm, 33 mm)이다. In order to verify the X and Y positions of the target object Mark1, the distance parameter Z 'of the point having the maximum correlation is fixed to the Z coordinate in space based on the result obtained in FIG. The planar image is restored according to the change of the distance parameter X ', and the planar image is restored according to the change of the distance parameter Y' of Y. Thereafter, a correlation between the reference plane image may be calculated to determine a location coordinate in space. The position coordinates of Mark2 shown by this correlation analysis are (4.36 mm, -4.90 mm, 33 mm) in the Cartesian coordinate system.
이상 본 발명의 실시예에 따른 3차원 집적 영상 복원 방식의 위치 검출 방법 및 장치를 적용한 실험에 대하여 실험 조건 및 실험 데이터를 구체적으로 설명하였다. The experimental conditions and experimental data were described in detail with respect to an experiment to which the method and apparatus for detecting a position of the 3D integrated image restoration method according to the exemplary embodiment of the present invention are applied.
본 발명은 상기 실시예에 한정되지 않으며, 많은 변형이 본 발명의 사상 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 가능함은 물론이다.The present invention is not limited to the above embodiments, and many variations are possible by those skilled in the art within the spirit of the present invention.
상술한 바와 같이 본 발명에 따른 3차원 집적 영상 복원 방식의 위치 검출 방법 및 장치는 3차원 물체의 정확한 위치를 검출하게 한다. 제안된 방법은 렌즈 어레이(100)로부터 픽업된 요소 영상들을 이용하여 디지털적으로 물체의 체적 평면 영상들을 복원하는 컴퓨터 복원 방식의 집적 영상에 기반을 두며, 해상도가 향상된 기준 물체와 목표 물체의 복원된 평면 영상들간의 상호 상관 분석을 통해 공간상의 목표 물체의 정확한 3차원 좌표를 검출할 수 있다.As described above, the method and apparatus for detecting a position of the 3D integrated image restoration method according to the present invention allow to detect the exact position of the 3D object. The proposed method is based on a computer-reconstructed integrated image that digitally reconstructs volume plane images of an object by using elementary images picked up from the
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구 범위에 기재된 본 발명 및 그 균등물의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to a preferred embodiment of the present invention, those of ordinary skill in the art to the present invention without departing from the spirit and scope of the present invention and equivalents thereof described in the claims below It will be understood that various modifications and changes can be made.
Claims (12)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070049677A KR100891161B1 (en) | 2007-05-22 | 2007-05-22 | Method for finding location of 3D integral image reconstruction and Apparatus thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070049677A KR100891161B1 (en) | 2007-05-22 | 2007-05-22 | Method for finding location of 3D integral image reconstruction and Apparatus thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20080102785A KR20080102785A (en) | 2008-11-26 |
| KR100891161B1 true KR100891161B1 (en) | 2009-04-06 |
Family
ID=40288410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020070049677A KR100891161B1 (en) | 2007-05-22 | 2007-05-22 | Method for finding location of 3D integral image reconstruction and Apparatus thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100891161B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101295347B1 (en) | 2011-12-16 | 2013-08-12 | 경북대학교 산학협력단 | A computation apparatus of correlation of video data and a method thereof |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100927236B1 (en) * | 2007-07-30 | 2009-11-16 | 광운대학교 산학협력단 | A recording medium that can be read by a computer on which an image restoring method, an image restoring apparatus and a program for executing the image restoring method are recorded. |
| KR100937768B1 (en) * | 2008-04-29 | 2010-01-20 | 동서대학교산학협력단 | Apparatus and method for reconstructing 3D image |
| KR101100784B1 (en) * | 2009-11-10 | 2012-01-02 | 광운대학교 산학협력단 | Method and apparatus for recognizing object |
| KR101104296B1 (en) * | 2009-11-26 | 2012-01-11 | 광운대학교 산학협력단 | Method and apparatus for detecting object |
| KR101275588B1 (en) * | 2011-10-06 | 2013-06-17 | 충북대학교 산학협력단 | High speed generation system of integral imaging for 3d volume data and autostereo display method using the system |
| KR101715470B1 (en) * | 2015-04-10 | 2017-03-14 | 충북대학교 산학협력단 | Integral Imaging Microscope Apparatus and the Method for Improving Depth of Focus thereof |
| EP3338082B1 (en) * | 2015-08-19 | 2024-04-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Ultrasonic measurements for reconstructing an image of an object |
| KR101874778B1 (en) * | 2017-05-01 | 2018-08-02 | (주)휴러스트 | Medical-use microscope system for supporting continuous zoom and continuous magnifying rate transition based on three dimensional image |
| WO2019225774A1 (en) * | 2018-05-23 | 2019-11-28 | 광운대학교 산학협력단 | Dualview reflective integral imaging system |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010010565A1 (en) | 2000-02-02 | 2001-08-02 | Yoshiharu Chikazawa | Three dimensional display apparatus of the integral photography type |
| US20050180019A1 (en) | 2004-02-13 | 2005-08-18 | Cho Gyoung I. | Three-dimensional integral imaging and display system using variable focal length lens |
| JP2005252459A (en) | 2004-03-02 | 2005-09-15 | Toshiba Corp | Image generating apparatus, image generating method, and image generating program |
-
2007
- 2007-05-22 KR KR1020070049677A patent/KR100891161B1/en not_active IP Right Cessation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010010565A1 (en) | 2000-02-02 | 2001-08-02 | Yoshiharu Chikazawa | Three dimensional display apparatus of the integral photography type |
| US20050180019A1 (en) | 2004-02-13 | 2005-08-18 | Cho Gyoung I. | Three-dimensional integral imaging and display system using variable focal length lens |
| JP2005252459A (en) | 2004-03-02 | 2005-09-15 | Toshiba Corp | Image generating apparatus, image generating method, and image generating program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101295347B1 (en) | 2011-12-16 | 2013-08-12 | 경북대학교 산학협력단 | A computation apparatus of correlation of video data and a method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20080102785A (en) | 2008-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100891161B1 (en) | Method for finding location of 3D integral image reconstruction and Apparatus thereof | |
| JP6855587B2 (en) | Devices and methods for acquiring distance information from a viewpoint | |
| JP5631025B2 (en) | Information processing apparatus, processing method thereof, and program | |
| Rajagopalan et al. | Depth estimation and image restoration using defocused stereo pairs | |
| CN108271410B (en) | Imaging system and method of using the same | |
| US9952422B2 (en) | Enhancing the resolution of three dimensional video images formed using a light field microscope | |
| Hahne et al. | Baseline and triangulation geometry in a standard plenoptic camera | |
| EP2192546A1 (en) | Method for recognizing objects in a set of images recorded by one or more cameras | |
| US10973581B2 (en) | Systems and methods for obtaining a structured light reconstruction of a 3D surface | |
| JP2002024807A (en) | Object movement tracking technique and recording medium | |
| KR101293576B1 (en) | System of depth control in three-dimensional integral imaging display | |
| JP6409769B2 (en) | 3D shape measuring apparatus, 3D shape measuring method, and 3D shape measuring program | |
| JP4337203B2 (en) | Distance image generating apparatus, distance image generating method, and program providing medium | |
| Kang et al. | Progressive 3D model acquisition with a commodity hand-held camera | |
| KR101289008B1 (en) | Method for obtaining of Three-Dimensional Integral Imaging using the Depth Camera and Display System thereof | |
| KR101104296B1 (en) | Method and apparatus for detecting object | |
| KR100927236B1 (en) | A recording medium that can be read by a computer on which an image restoring method, an image restoring apparatus and a program for executing the image restoring method are recorded. | |
| CN111998834B (en) | Crack monitoring method and system | |
| KR20160049639A (en) | Stereoscopic image registration method based on a partial linear method | |
| KR101100784B1 (en) | Method and apparatus for recognizing object | |
| Salfelder et al. | Markerless 3D spatio-temporal reconstruction of microscopic swimmers from video | |
| KR100756300B1 (en) | Method for 3-d shape recovery using 3-d focus measure operator | |
| JP2018081378A (en) | Image processing apparatus, imaging device, image processing method, and image processing program | |
| KR101121132B1 (en) | Method and apparatus for reconstructing integral image | |
| Navarro et al. | Reliable light field multiwindow disparity estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20120319 Year of fee payment: 4 |
|
| LAPS | Lapse due to unpaid annual fee |