KR20190088277A - Microscopy system with single shot Fourier ptychography - Google Patents
Microscopy system with single shot Fourier ptychography Download PDFInfo
- Publication number
- KR20190088277A KR20190088277A KR1020180006626A KR20180006626A KR20190088277A KR 20190088277 A KR20190088277 A KR 20190088277A KR 1020180006626 A KR1020180006626 A KR 1020180006626A KR 20180006626 A KR20180006626 A KR 20180006626A KR 20190088277 A KR20190088277 A KR 20190088277A
- Authority
- KR
- South Korea
- Prior art keywords
- lens
- fourier
- image
- focal length
- unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/47—Scattering, i.e. diffuse reflection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N2021/1765—Method using an image detector and processing of image signal
- G01N2021/177—Detector of the video camera type
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/314—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths
- G01N2021/3181—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths using LEDs
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/06—Illumination; Optics
- G01N2201/061—Sources
- G01N2201/06146—Multisources for homogeneisation, as well sequential as simultaneous operation
- G01N2201/06153—Multisources for homogeneisation, as well sequential as simultaneous operation the sources being LED's
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Microscoopes, Condenser (AREA)
Abstract
Description
본 발명은 단일촬영 푸리에 타이코그래피 마이크로스코피 시스템에 관한 것으로, 대상물에서 복수의 광을 1회 동시에 조사하여 상기 대상물로부터 산란되는 광에 대하여 이미지정보를 얻어낸 후 푸리에 타이코그래피 알고리즘을 적용하여 고해상도 세기정보이미지 및 위상정보이미지를 복원하도록 한 단일촬영 푸리에 타이코그래피 마이크로스코피 시스템에 관한 것이다. The present invention relates to a single photographed Fourier Typhocal Microscopy System, in which a plurality of light beams are simultaneously irradiated on an object to obtain image information for light scattered from the object, and then a Fourier-Tyko- And a single photographed Fourier transform microscopic system for reconstructing a phase information image.
삼차원 정보를 획득하기 위한 삼차원 현미경 기술은 크게 위상 정보를 복원하는 방식과, 라이트필드(Light field) 방식이 존재한다. Three-dimensional microscopic techniques for obtaining three-dimensional information largely include a method of restoring phase information and a light field method.
위상 정보를 복원하는 방식에는 푸리에 타이코그래피(Fourier ptychography), 디지털 홀로그래피, 또는 다중깊이측정(multi-heights measuring) 방식 등이 있다. 이 중 푸리에 타이코그래피는, 마이크로스코피에서 위상 정보를 복원하기 위한 방법으로서, 도1에 도시된 바와 같이, 광원부(2), 대물렌즈(3), 및 카메라(4)를 포함한다. The method of restoring the phase information includes Fourier ptychography, digital holography, or multi-heights measuring method. Among them, Fourier Tachograph is a method for restoring phase information in a microscope, and includes a
상기 푸리에 타이코프래피는, 일반적 현미경과 광학적 시스템 측면에서 유사하나, 광원부(2)로는 할로겐램프가 아닌 LED 배열(2a)을 사용한다. 상기 LED 배열(2a)로부터 순차적으로 광을 투사하여 샘플(5)에서 산란되는 세기 정보들을 순차적으로 대물렌즈(3) 및 카메라(4)를 통하여 측정된다. 푸리에 광학에서, 상기 대물렌즈(3)는 샘플(5)에서 산란되는 광을 푸리에 변환하는 역할을 한다(도1a). 대물렌즈(3) 배율에 비례하여 한 번에 얻을 수 있는 이미지 스펙트럼(image spectrum)이 제한되며, 각 이미지는 원형의 모양으로 나타난다(도1b). 예를 들어, 낮은 배율의 대물렌즈(3)는 좁은 이미지 스펙트럼을 얻을 수 있지만 넓은 촬영 영역을 가지게 된다. 상기 LED 배열(2a)을 스캐닝해주면서 광이 조사되면, 이에 해당하는 샘플(5)의 푸리에 이미지 스펙트럼 정보가 카메라(4)를 통해 측정된다(도1b). 이와 같이 획득된 정보들에 반복적 위상 복원 알고리즘에 적용된다. 이와 같은 과정에서 넓은 대역폭(band width)을 가지는 복소(complex) 푸리에 스펙트럼을 갖는 이미지로 복원된다. 상기 반복적 위상 복원 알고리즘이란 넓은 대역폭을 가지는 푸리에 스펙트럼에서 각각의 LED가 조사하여 얻은 스펙트럼 영역의 세기 정보를 각 LED가 측정한 이미지로 반복적으로 교체해 주는 알고리즘이다. 이러한 과정에 의해 넓은 촬영영역(field of view)과 기가(10억) 픽셀을 가지는 초 고해상도의 진폭 정보 이미지와 위상 정보 이미지를 동시에 얻는다.The Fourier transform is similar to that of a general microscope in terms of the optical system, but the
반면에, 라이트필드 마이크로스코피(Light field microscopy)는, 샘플의 2차원(x,y) 정보뿐만 아니라, 빛이 나아가는 방향(θ,φ) 성분까지 한 번의 촬영으로 얻어내는 기술이다. 도2에 도시된 바와 같이, 상기한 4차원 정보는 마이크로 렌즈어레이(micro lens array)(6)를 현미경(7)을 통해 확대된 상의 위치에 위치시킴으로서 얻어진다. 상기 라이트필드 마이크로스코피는 샘플(5)을 다양한 방향에서 본 뷰(prespective view)와 깊이 별 영상(depth image)을 갖는 4차원 정보를 컴퓨터 상에서 재위치 및 합성한다. 그러나, 이차원 센서(8)를 이용하여 4차원 정보를 얻기 때문에 2차원 공간 해상도는 낮다는 한계가 있다. 예를 들어, 1000×1000 해상도를 갖는 센서를 사용할 경우, 10×10의 각도 해상력을 얻기 위해서 100×100의 2차원 공간 해상도를 갖게 된다. 즉, 1000×1000 해상도를 갖는 센서를 사용할 경우, x,y,θ,φ는 각각 100,100,10,10의 해상도로 구현된다.On the other hand, light field microscopy is a technique for acquiring not only two-dimensional (x, y) information of a sample but also a direction (?,? As shown in FIG. 2, the above-mentioned four-dimensional information is obtained by positioning a
이와 같이, 종래 푸리에 타이코그래피 시스템은 한 장의 위상정보이미지를 복원하기 위해서 복수의 이미지 내지 많게는 수 백장의 이미지가 필요하고, 이들 개별적인 촬영된 각 이미지는 복원알고리즘을 통해 복원되어야 한다. 따라서 살아있는 세포 등 실시간 촬영을 통해 영상을 실시간으로 확보할 필요가 있는 환경에서 사용되기에는 적합하지 않다. 또한, 라이트필드 방식은 다양한 방향 별 세기정보와 깊이 정보를 한 번에 촬영하여 얻을 수 있으나, 공간 해상도가 매우 낮은 단점이 있다. 따라서, 살아있는 세포 등을 실시간으로 촬영하는 경우, 낮은 공간 해상도로 인하여 선명한 해상도를 갖는 이미지를 얻을 수 없다. As described above, in the conventional Fourier transform system, a plurality of images or several hundreds of images are required in order to reconstruct a single phase information image, and each of these individual photographed images must be reconstructed by a reconstruction algorithm. Therefore, it is not suitable for use in an environment in which real-time shooting such as living cells needs to secure the image in real time. In addition, although the light field method can be obtained by taking a variety of direction intensity information and depth information at one time, there is a drawback that the spatial resolution is very low. Therefore, when living cells are photographed in real time, images with clear resolution can not be obtained due to low spatial resolution.
따라서, 샘플의 3차원 정보를 한 번의 촬영을 통해서 얻으면서도, 해상도의 손실이 없도록 한 시스템에 대한 요구가 있다. Therefore, there is a demand for a system that does not lose resolution while obtaining three-dimensional information of a sample through one shot.
본 발명은 국가연구개발사업(연구과제명: 레이저를 활용한 겹친 지문 식별 기술 장비 개발, 과제고유번호: 0414-20170005)의 수행으로 발명된 것이다.The present invention was invented by performing the national research and development project (project name: development of overlapping fingerprint identification technology equipment using laser, task assignment number: 0414-20170005).
본 발명은 상술한 바와 같은 문제점을 개선하기 위해 안출된 것으로, 대상물에서 복수의 광을 1회 동시에 조사하여 상기 대상물로부터 산란되는 광에 대하여 이미지 정보를 얻어낸 후 푸리에 타이코그래피 알고리즘을 적용하여 고해상도 세기정보이미지 및 위상정보이미지를 복원하도록 한 단일촬영 푸리에 타이코그래피 마이크로스코피 시스템을 제공함을 그 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been conceived in order to solve the above-mentioned problems, and it is an object of the present invention to provide an image processing apparatus and a method for processing the same, And a single photographed Fourier transform microscopic system in which an image and a phase information image are reconstructed.
본 발명에 따른 단일촬영 푸리에 타이코그래피 마이크로스코피 시스템은, 복수의 LED 광원을 갖는 광원부; 상기 광원부로부터 대상물에 조사된 빛의 산란정보를 이용하여 제1 푸리에 변환하는 대물렌즈; 상기 제1 푸리에 변환하여 얻는 푸리에면을 일방향으로 후퇴시키는 푸리에면 후퇴부; 복수의 렌즈를 포함하여, 상기 후퇴부를 거친 푸리에면을 다시 제2 푸리에 변환하는 렌즈어레이; 상기 렌즈어레이로부터 이미지를 획득하는 카메라;를 포함하는 것을 특징으로 한다. A single photographed Fourier transform microscopy system according to the present invention comprises: A light source unit having a plurality of LED light sources; An objective lens for performing a first Fourier transform using scattering information of light irradiated to an object from the light source unit; A Fourier plane retraction unit for retracting the Fourier plane obtained by the first Fourier transform in one direction; A lens array including a plurality of lenses to again perform a second Fourier transform of the Fourier plane through the retreat; And a camera for acquiring an image from the lens array.
또한, 상기 푸리에면 후퇴부는, 제1 초점거리를 갖는 제1 렌즈와, 제2 초점거리를 갖는 제2 렌즈를 포함하여서, 상기 제1 렌즈는 상기 푸리에면으르부터 상기 제1 초점거리만큼 이격되고, 상기 제2 렌즈는 상기 제1 렌즈로부터 제1 초점거리와 제2 초점거리의 합만큼 이격되어 배치되는 것이 바람직하다. Further, the Fourier plane retraction portion includes a first lens having a first focal length and a second lens having a second focal length, the first lens being spaced apart from the Fourier plane by the first focal distance And the second lens is spaced apart from the first lens by a sum of a first focal distance and a second focal distance.
또한, 상기 푸리에면 후퇴부는 상기 제1 렌즈와 상기 제2 렌즈 사이에 배치되는 필터부를 포함하며, 상기 필터부는 상기 제1 렌즈로부터 제1 초점거리만큼 떨어진 위치에 배치되고, 상기 제1 렌즈를 경유한 광이 지나가는 사각형 형상의 관통홀이 형성된 것이 바람직하다. Further, the Fourier plane retraction portion includes a filter portion disposed between the first lens and the second lens, the filter portion is disposed at a position separated by a first focal distance from the first lens, It is preferable that a through hole having a rectangular shape through which one light passes is formed.
또한, 상기 카메라에서 획득된 복수의 이미지를 복원하는 이미지복원부를 포함하며, 상기 이미지복원부는 상기 각 이미지에 상태-중첩 푸리에 타이코그리피 알고리즘을 이용하여 단일한 세기정보이미지와 단일한 위상정보이미지를 획득하는 것이 바람직하다. The image reconstruction unit may acquire a single phase information image and a single phase information image using the state-overlapping Fourier transform algorithm for each of the images, .
또한, 상기 광원부의 각 LED 광원은 동시에 대상물을 광을 조사하는 것이 바람직하다. Further, it is preferable that the LED light sources of the light source unit simultaneously irradiate the object with light.
또한, 상기 푸리에면은 상기 대물렌즈의 내부에 형성되고, 상기 렌즈어레이는 상기 제2 렌즈로부터 제2 초점거리만큼 후퇴하여 배치된 것이 바람직하다. It is preferable that the Fourier plane is formed inside the objective lens, and the lens array is arranged to be retracted from the second lens by a second focal distance.
본 발명에 따른 단일촬영 푸리에 타이코그래피 마이크로스코피 시스템은, 대상물에서 복수의 광을 1회 동시에 조사하여 상기 대상물로부터 산란되는 광에 대하여 이미지 정보를 얻어낸 후 푸리에 타이코그래피 알고리즘을 적용하여 하나의 세기정보이미지 및 하나의 위상정보이미지로 복원하며, 상기 세기정보이미지는 고해상도로 제공되는 효과를 제공한다. 따라서, 단일 촬영을 통하여 넓은 대역폭을 갖는 고해상도의 세기(진폭)이미지 및 위상이미지를 얻을 수 있으므로, 3차원 현미경에 적용될 수 있다. A single photographed Fourier transform microscopic system according to the present invention is a single photographed Fourier transform microscoscopy system that obtains image information for light scattered from an object by simultaneously irradiating a plurality of lights at a time and applies a Fourier- And a phase information image, and the intensity information image provides an effect of being provided at a high resolution. Therefore, a high-resolution intensity (amplitude) image and a phase image having a wide bandwidth can be obtained through a single photographing, and thus can be applied to a three-dimensional microscope.
또한, 본 발명은 삼차원 현미경 기술에 적용되어, 대상물을 실시간으로 촬영하여 고해상도의 영상을 얻는데 활용될 수 있다. 예컨대, 본 발명은 의료진단, 생물의 관측, 생화학 연구 등의 다양한 분야에서 적용될 수 있다. In addition, the present invention can be applied to a three-dimensional microscope technique, and can be utilized for obtaining an image of high resolution by photographing an object in real time. For example, the present invention can be applied to various fields such as medical diagnosis, biological observation, biochemical research, and the like.
도1은 푸리에 타이코그래피 시스템을 개략적으로 보인 도면,
도2는 라이트필드 마이크로스코피 개념을 개략적으로 보인 도면,
도3은 본 발명 실시예에 따른 시스템의 개략도,
도4는 도3을 간략화하여 도시한 도면,
도5는 본 발명 실시예에 따른 시스템을 적용하여 획득된 대상물의 이미지를 예시적으로 보인 도면,
도6은 이미지복원부가 단일의 세기정보이미지 및 위상정보이미지를 획득하는 과정을 도시한 도면이다. Figure 1 is a schematic representation of a Fourier < RTI ID = 0.0 >
2 schematically shows the light field microscopy concept,
3 is a schematic diagram of a system according to an embodiment of the present invention,
Figure 4 is a simplified illustration of Figure 3,
5 is an exemplary illustration of an image of an object obtained by applying the system according to an embodiment of the present invention,
6 is a diagram illustrating a process of the image restoration unit obtaining a single intensity information image and a phase information image.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
도3은 본 발명 실시예에 따른 시스템의 개략도이고, 도4는 도3을 간략화하여 도시한 도면이다. 도5는 본 발명 실시예에 따른 시스템을 적용하여 획득된 대상물의 이미지를 예시적으로 보인 도면이고, 도6은 이미지복원부가 단일의 세기정보이미지 및 위상정보이미지를 획득하는 과정을 도시한 도면이다. FIG. 3 is a schematic diagram of a system according to an embodiment of the present invention, and FIG. 4 is a simplified diagram of FIG. 5 is a diagram illustrating an example of an image of an object obtained by applying the system according to an embodiment of the present invention, and FIG. 6 is a view illustrating a process of acquiring a single intensity information image and a phase information image, .
먼저 도3을 참조하면, 본 발명의 실시예에 따른 단일촬영 푸리에 타이코그래피 마이크로스코피 시스템은, 광원부(10), 대물렌즈(20), 푸리에면 후퇴부(30), 렌즈어레이(40), 및 카메라(50)를 포함한다.Referring to FIG. 3, a single photographed Fourier transform microscopic system according to an embodiment of the present invention includes a
상기 광원부(10)는 복수의 LED 광원(11)을 구비한다. 상기 LED 광원(11)은 대상물(1)에 광을 조사하며, 본 실시예에 따르면, 상기 복수의 LED 광원(11)은 동시에 상기 대상물(1)에 광을 조사한다. 따라서, 상기 복수의 LED 광원(11)은 상기 대상물(1)을 기준으로, 다른 방향에서 상기 대상물(1)에 광을 동시에 조사한다.The
상기 대물렌즈(20)는 상기 대상물(1)의 상을 확대하며, 상기 광원부(10)로부터 대상물(1)에 조사된 빛의 산란정보를 이용하여 제1 푸리에 변환한다. 상기 대상물(1)로부터 산란된 광은 상기 대물렌즈(20)로 입사하여 제1 푸리에 변환되며, 상기 제1 푸리에 변환하여 생성되는 파면 정보는 상기 대물렌즈(20)의 내부의 푸리에면(21)에 형성된다. The
상기 푸리에면 후퇴부(30)는, 상기 대물렌즈(20)의 내부에 형성되는 푸리에면(21)을 렌즈에레이(40)로 전달하기 위해서 마련된다. 따라서, 상기 푸리에면 후퇴부(30)는 상기 제1 푸리에 변환에 의해 생성되는 파면 정보를 일방향으로 후퇴시킨다. The Fourier
상기 푸리에면 후퇴부(30)는, 제1 렌즈(31), 제2 렌즈(32), 및 필터부(33)를 포함한다. 상기 푸리에면 후퇴부(30)는 두 개의 렌즈(31,32)를 포함하고, 제1 렌즈(31)로부터 그 제1 렌즈의 초점거리(f1)만큼 앞쪽에 형성된 파면 정보를 제2 렌즈(32)로부터 그 제2 렌즈의 초점거리(f2)만큼 뒤로 전달한다. The Fourier
구체적으로, 도4에 도시된 바와 같이, 상기 제1 렌즈(31)는 제1 초점거리(f1)을 갖는다. 상기 제1 렌즈(31)는 상기 대물렌즈(20)의 내부에 형성되는 푸리에면(21)으로부터 상기 제1 초점거리(f1)만큼 이격되어 배치된다. 상기 제1 렌즈(31)를 경유하면서, 파면 정보는 다시 제1 푸리에 변환을 다시 역으로 푸리에 변환된다. Specifically, as shown in FIG. 4, the
상기 제2 렌즈(32)는 제2 초점거리(f2)를 갖는다. 상기 제2 렌즈(32)는 상기 제1 렌즈(31)로부터 상기 제1 초점거(f1)리와 제2 초점거리(f2)의 합만큼 이격되어 배치된다. 또한, 상기 제2 렌즈(32)는 상기 제1 렌즈(31)를 경유하면서 역으로 푸리에 변환된 파면 정보를 다시 푸리에 변환한다. The
따라서, 상기 푸리에면 후퇴부(30)는 제1 렌즈(31) 및 제2 렌즈(32)에 의해 푸리에 변환과 인버스 푸리에 변환을 수행하므로, 상기 대물렌즈(20)에 의해 제1 푸리에 변환된 파면 정보가 그대로 뒤로 후퇴되는 효과를 제공한다.Therefore, the Fourier
상기 필터부(33)는 상기 제1 렌즈(31)와 상기 제2 렌즈(32) 사이에 배치된다. 본 발명 실시예에 따르면, 상기 필터부(33)는 상기 제1 렌즈(31)로부터 제1 초점거리(f1)만큼 떨어진 위치에 배치된다. 따라서, 상기 제2 렌즈(32)는 상기 필터부(33)로부터 제2 초점거리(f2)만큼 이격되어 배치된다. The
상기 필터부(33)는 상기 제1 렌즈(31)를 경유한 광이 지나가는 사각형 형상의 관통홀(331)을 구비한다. 상기 사각형 형상의 관통홀(331)은, 후술하는 CCD(Charged coupled device) 카메라(50)에 전달되는 이미지를 사전에 사각형으로 가공하기 위해서 마련된다. 상기 카메라(50)는 복수의 픽셀이 격자 형태로 배열되어 구성되며, 각 픽셀이 사각형 형상으로 구성되므로 상기 필터부(33)는 상기 관통홀(331)에 의해 확대된 이미지를 사각형으로 만들어주는 역할을 한다. The
상기 렌즈어레이(40)은, 복수의 렌즈를 포함하여 상기 푸리에면 후퇴부(30)를 거친 푸리에면(21)을 다시 제2 푸리에 변환하기 위해서 마련된다. 상기 렌즈어레이(40)는 상기 제2 렌즈(32)로부터 제2 초점거리(f2)만큼 이격되어 배치된다. 상기 렌즈어레이(40)에 전달된 파면 정보는 상기 렌즈어레이(40)를 구성하는 상기 각 렌즈에서 인버스 푸리에변환(제2 푸리에변환)된다. The
따라서, 상기 대물렌즈(20)에 의해 제1 푸리에 변환된 파면 정보는, 상기 푸리에면 후퇴부(30)에 의해 상기 대물렌즈(20)의 후측으로 후퇴된 후, 상기 렌즈어레이(40)에 의해 제2 푸리에 변환된다. 또한, 상기 필터부(33)를 통과할 때의 상이 제2 렌즈(32)에서 푸리에 변환된 후 다시 상기 렌즈어레이(40)에서 제2 푸리에 변환되게 함으로써, 상기 렌즈어레이(40)는 후술하는 카메라(50)에 수신되는 상을 다시 형성하는 기능을 수행한다. 상기 렌즈어레이(40) 자체는 라이트필트 마이크로스코피의 시스템에 사용되는 렌즈어레이(40)를 사용할 수 있다. Therefore, the first Fourier transformed wavefront information by the
상기 카메라(50)는 상기 렌즈어레이(40)로부터 이미지를 획득하기 위해 마련된다. 상기 카메라(50)는 상기 렌즈어레이(40)의 제3 초점거리(f3)만큼 이격되어 배치된다. 본 발명 실시예에 따르면, 상기 카메라(50)는 CCD 카메라이며, 그 자체의 구성은 공지된 바에 의하므로 그 구체적인 설명은 생략한다. 상기 카메라(50)에서 측정되는 정보는 상기 대상물(1)에 대한 다양한 스펙트럼 성분을 갖는 세기 이미지들이다. The
본 발명에 따른 시스템은, 상기 카메라(50)에서 획득된 복수의 이미지를 복원하기 위한 이미지복원부(60)를 포함한다. 도6에 도시된 바와 같이, 상기 카메라(50)는 복수의 이미지를 수신하고, 상기 이미지복원부(60)는 상기 이미지들을 하나의 세기정보이미지와 하나의 위상정보이미지로 복원한다. 즉, 상기 이미지복원부(60)는, 상기 렌즈어레이(40)로부터 획득한 복수의 이미지에 상태-중첩 푸리에 타이코그래피 알고리즘을 적용하여 단일한 세기정보이미지와 단일한 위상정보이미지를 획득한다. The system according to the present invention includes an
이와 같이, 본 발명은 복수의 LED 광원(11)을 순차적으로 스캐닝하지 않고, 상기 복수의 LED 광원(11)을 동시에 조사하여 상기 광이 대상물(1)에서 산란 될 때의 정보를 한번에 얻기 위해서 중첩(multiplexing) 기술을 사용한다. 상기 각각의 LED 광원(11)은 서로 비간섭성(mutually incoherent)을 띄기 때문에 상기 카메라(50)에서 측정되는 세기 정보는 각각의 LED 광원(11)에 의한 세기 정보의 합으로 나타난다. 나아가, 본 발명은, 상태-중첩 푸리에 타이코그래피 알고리즘(state-multiplexed Fourier ptychography)을 이용하여 상기 합으로 주어지는 세기 정보를 분리하여 넓은 영역의 복소 정보를 동시에 복원해 낸다. As described above, according to the present invention, the plurality of
이하, 본 발명에 따른 단일촬영 푸리에 타이코그래피 마이크로스코피 시스템의 작용을 도5를 참고하여 설명한다. 도5는 본 발명 실시예에 따른 시스템을 적용하여 획득된 대상물의 이미지를 예시적으로 보인 도면이다. 도5는 양파표피세포를 촬영한 것으로, 도5의 상단부 좌측은 세기정보이미지를 도시한 것이고, 도5의 상단부 우측은 위상정보이미지를 도시한 것이다. Hereinafter, the operation of the single photographed Fourier transform microscopy system according to the present invention will be described with reference to FIG. 5 is an exemplary illustration of an image of an object obtained by applying the system according to an embodiment of the present invention. FIG. 5 is a photograph of an onion epidermal cell. FIG. 5 shows an intensity information image on the upper left side, and FIG. 5 shows an image of phase information on the upper right side of FIG.
본 발명의 시스템에 있어서, 예를 들어 LED 광원(11)이 3×3개로 주어지는 경우, 상기 광원부(10)는 상기 9개의 LED 광원(11)이 동시에 대상물(1)인 양파표피세포를 향해 광을 조사한다. 상기 광은 양파표피세포로부터 산란되어 대물렌즈(20)로 들어오고, 상기 산란된 광의 정보는 제1 푸리에 변환되어 푸리에면(21)에 파면 정보를 형성한다. In the system of the present invention, for example, when the
상기 푸리에면(21)은 푸리에면 후퇴부(30)에 의해 렌즈어레이(40)까지 후퇴하고, 이때 제1 렌즈(31)에서 푸리에 변환이 수행되고 제2 렌즈(32)에서 다시 역 푸리에 변환이 수행되므로, 상기 파면 정보는 상기 대물렌즈(20)에서 한 번의 제1 푸리에 변환된 상태로 후퇴한 결과와 동일하게 된다. 한편, 상기 제1 렌즈(31)를 경유한 광은 상기 필터부(33)의 사각형 관통홀(331)을 지나면서 사각형으로 만들어진다. 상기 필터부(33)를 통과한 상은 상기 9개의 LED 광원(11)으로부터 획득된 9개의 산란된 정보를 포함한다. The
이어서, 상기 9개의 산란된 정보는 렌즈어레이(40)의 렌즈 집합체를 통해 제2 푸리에 변환된 후, 상기 카메라(50)에 수신된다. 이때, 상기 렌즈어레이(40)를 구성하는 렌즈의 개수만큼 상기 산란 정보가 분할되면서 이미지가 생성된다. 예컨대, 상기 렌즈어레이(40)의 렌즈가 7×7개로 주어지는 경우, 상기 카메라(50)는 상기 9개의 산란된 정보가 포함된 49장의 이미지를 동시에 수신한다. 그리고 상기 이미지복원부(60)은, 상기 카메라(50)에 수신된 복수의 이미지(위 예에서 49개의 이미지)를 다시 개별적으로 분리하고, 상기 각 이미지에 대하여 상태-중첩 푸리에 타이코그래피 알고리즘을 적용하여 상기 복수의 이미지(위 예에서 49개의 이미지)를 중첩함으로써, 세기정보를 나타내는 하나의 이미지를 획득하고, 나아가 위상정보를 나타내는 하나의 이미지를 획득한다. The nine scattered information is then subjected to a second Fourier transform through the lens assembly of the
도5의 하단에 도시된 (a),(b),(c), 및 (d)는, 도5의 A부분에 대하여 본 발명에 따른 시스템에 의해 복원된 영상, 종래 라이트필드 방식으로 얻은 이미지, 및 종래 명시야 현미경으로 얻은 사진을 비교하여 도시한 것이다. (A), (b), (c), and (d) shown in the lower part of FIG. 5 are views for explaining the image reconstructed by the system according to the present invention, the image obtained by the conventional light field method , And a photograph obtained with a conventional bright field microscope.
도5의 (a)는 본 시스템에 의해 복원된 세기정보이미지이고, 도5의 (b)는 복원된 위상정보이미지를 보여준다. 한편, 도5의 (c)는 일반적인 명시야 현미경으로 얻은 이미지이고, 도5(d)는 종래 라이트필드 방식으로 얻은 이미지를 보여준다.5 (a) is an intensity information image reconstructed by the present system, and FIG. 5 (b) shows reconstructed phase information images. Meanwhile, FIG. 5 (c) is an image obtained by a general bright field microscope, and FIG. 5 (d) shows an image obtained by a conventional light field method.
본 시스템에 의해 복원된 세기정보이미지(도5a)는, 일반적인 명시야 현미경(도5c)과 비슷한 수준의 해상도를 제공한다. 이는 종래 라이트필드 방식(도5d)에서의 저해상도보다 현저히 향상된 해상도를 제공하는 것이며, 아울러 3차원 정보를 얻기 위한 위상정보이미지를 동시에 제공하는 효과를 제공한다. The intensity information image (Figure 5a) reconstructed by the present system provides a resolution similar to that of a typical bright field microscope (Figure 5c). This provides a remarkably improved resolution than the conventional low field method (FIG. 5D), and also provides the effect of simultaneously providing a phase information image for obtaining three-dimensional information.
이처럼 본 발명의 단일촬영 푸리에 타이코그래피 마이크로스코피 시스템은, 단일 촬영으로 넓은 대역폭을 갖는 고해상도의 세기정보이미지 및 위상정보이미지를 동시에 제공한다. 본 발명은 삼차원 현미경 기술로서 실시간으로 촬영을 요구하는 분야에서 고해상도의 3차원 영상을 제공하기 위해 활용될 수 있다. As described above, the single photographed Fourier transform microscopic system of the present invention simultaneously provides a high-resolution intensity information image and a phase information image having a wide bandwidth in a single photographing. The present invention can be utilized as a three-dimensional microscopic technique to provide high-resolution three-dimensional images in fields requiring real-time shooting.
이상, 본 발명을 바람직한 실시예를 들어 상세하게 설명하였으나, 본 발명은 상기 실시예에 한정되지 않으며, 본 발명의 범주를 벗어나지 않는 범위 내에서 여러 가지 많은 변형이 제공될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, and many modifications may be made without departing from the scope of the present invention.
10... 광원부 11... LED
20... 대물렌즈 21... 푸리에면
30... 푸리에면 후퇴부 31... 제1 렌즈
32... 제2 렌즈 33... 필터부
331... 관통홀 40... 렌즈어레이
50... 카메라 60... 이미지복원부
1... 대상물 f1... 제1 초점거리
f2... 제2 초점거리 f3... 제3 초점거리 10 ...
20 ...
30 ... Fourier plane retracted
32 ...
331 ... through
50 ...
1 ... object f1 ... first focal length
f2 ... second focal length f3 ... third focal length
Claims (6)
상기 광원부(10)로부터 대상물(1)에 조사된 빛의 산란정보를 이용하여 제1 푸리에 변환하는 대물렌즈(20);
상기 제1 푸리에 변환하여 얻는 푸리에면(21)을 일방향으로 후퇴시키는 푸리에면 후퇴부(30);
복수의 렌즈를 포함하여, 상기 후퇴부를 거친 푸리에면(21)을 다시 제2 푸리에 변환하는 렌즈어레이(40);
상기 렌즈어레이(40)로부터 이미지를 획득하는 카메라;를 포함하는 것을 특징으로 하는 단일촬영 푸리에 타이코그래피 마이크로스코피 시스템. A light source unit (10) having a plurality of LED light sources (11);
An objective lens 20 for performing a first Fourier transform using scattering information of light irradiated to the object 1 from the light source unit 10;
A Fourier plane retraction unit 30 for retracting the Fourier plane 21 obtained by the first Fourier transform in one direction;
A lens array (40) including a plurality of lenses for again performing a second Fourier transform of the Fourier plane (21) through the retracted portion;
And a camera for acquiring an image from the lens array (40). ≪ Desc / Clms Page number 19 >
상기 푸리에면 후퇴부(30)는, 제1 초점거리(f1)를 갖는 제1 렌즈(31)와, 제2 초점거리(f2)를 갖는 제2 렌즈(32)를 포함하여서,
상기 제1 렌즈(31)는 상기 푸리에면(21)으르부터 상기 제1 초점거리(f1)만큼 이격되고, 상기 제2 렌즈(32)는 상기 제1 렌즈(31)로부터 제1 초점거리(f1)와 제2 초점거리(f2)의 합만큼 이격되어 배치되는 것을 특징으로 하는 단일촬영 푸리에 타이코그래피 마이크로스코피 시스템.The method according to claim 1,
The Fourier plane retraction unit 30 includes a first lens 31 having a first focal length f1 and a second lens 32 having a second focal length f2,
The first lens 31 is separated from the Fourier plane 21 by the first focal length f1 and the second lens 32 is separated from the first lens 31 by a first focal length f1 ) And the second focal length (f2). ≪ Desc / Clms Page number 20 >
상기 푸리에면 후퇴부(30)는 상기 제1 렌즈(31)와 상기 제2 렌즈(32) 사이에 배치되는 필터부(33)를 포함하며,
상기 필터부(33)는 상기 제1 렌즈(31)로부터 제1 초점거리(f1)만큼 떨어진 위치에 배치되고, 상기 제1 렌즈(31)를 경유한 광이 지나가는 사각형 형상의 관통홀이 형성된 것을 특징으로 하는 단일촬영 푸리에 타이코그래피 마이크로스코피 시스템. The method according to claim 1,
The Fourier plane retraction unit 30 includes a filter unit 33 disposed between the first lens 31 and the second lens 32,
The filter portion 33 is formed at a position spaced apart from the first lens 31 by a first focal length f1 and has a rectangular through hole through which the light passed through the first lens 31 passes A single-shot Fourier Tyco Microscopy system featuring.
상기 카메라에서 획득된 복수의 이미지를 복원하는 이미지복원부(60)를 포함하며,
상기 이미지복원부(60)는 상기 각 이미지에 상태-중첩 푸리에 타이코그리피 알고리즘을 이용하여 단일한 세기정보이미지와 단일한 위상정보이미지를 획득하는 것을 특징으로 하는 단일촬영 푸리에 타이코그래피 마이크로스코피 시스템. The method according to claim 1,
And an image reconstruction unit (60) for reconstructing a plurality of images acquired by the camera,
Wherein the image restoring unit (60) obtains a single intensity information image and a single phase information image using the state-superimposing Fourier transform algorithm for each image.
상기 광원부(10)의 각 LED 광원(11)은 동시에 대상물(1)을 광을 조사하는 것을 특징으로 하는 단일촬영 푸리에 타이코그래피 마이크로스코피 시스템. The method according to claim 1,
Wherein each LED light source (11) of the light source unit (10) simultaneously emits light to the object (1).
상기 푸리에면(21)은 상기 대물렌즈(20)의 내부에 형성되고,
상기 렌즈어레이(40)는 상기 제2 렌즈(32)로부터 제2 초점거리(f2)만큼 후퇴하여 배치된 것을 특징으로 하는 단일촬영 푸리에 타이코그래피 마이크로스코피 시스템. 3. The method of claim 2,
The Fourier plane 21 is formed inside the objective lens 20,
Wherein the lens array (40) is arranged to be retracted from the second lens (32) by a second focal length (f2).
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180006626A KR20190088277A (en) | 2018-01-18 | 2018-01-18 | Microscopy system with single shot Fourier ptychography |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180006626A KR20190088277A (en) | 2018-01-18 | 2018-01-18 | Microscopy system with single shot Fourier ptychography |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20190088277A true KR20190088277A (en) | 2019-07-26 |
Family
ID=67469621
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180006626A KR20190088277A (en) | 2018-01-18 | 2018-01-18 | Microscopy system with single shot Fourier ptychography |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20190088277A (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110676149A (en) * | 2019-09-30 | 2020-01-10 | 南京大学 | Electron microscopic imaging system and imaging method |
KR20210032252A (en) * | 2019-09-16 | 2021-03-24 | 주식회사 스몰머신즈 | Active variable speckle illumination wide-field high-resolution imaging appatatus and imaging method using the same |
WO2021092594A1 (en) * | 2019-11-07 | 2021-05-14 | Essenlix Corporation | Device and method for improving sample imaging in a compact optical system |
WO2021113131A1 (en) * | 2019-12-02 | 2021-06-10 | Lam Research Corporation | Reflective fourier ptychography imaging of large surfaces |
KR20230017623A (en) | 2021-07-28 | 2023-02-06 | 연세대학교 산학협력단 | Optical imaging system and method based on fourier ptychographic algorithm |
KR20240009242A (en) * | 2022-07-13 | 2024-01-22 | 중앙대학교 산학협력단 | Fourier ptychographic microscopy |
KR20240025967A (en) | 2022-08-19 | 2024-02-27 | 연세대학교 산학협력단 | Optical imaging system and method of multi fourier ptychographic microscopy |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160065742A (en) | 2014-11-28 | 2016-06-09 | 한국전자통신연구원 | Apparatus and method for taking lightfield image |
-
2018
- 2018-01-18 KR KR1020180006626A patent/KR20190088277A/en unknown
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160065742A (en) | 2014-11-28 | 2016-06-09 | 한국전자통신연구원 | Apparatus and method for taking lightfield image |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210032252A (en) * | 2019-09-16 | 2021-03-24 | 주식회사 스몰머신즈 | Active variable speckle illumination wide-field high-resolution imaging appatatus and imaging method using the same |
CN110676149A (en) * | 2019-09-30 | 2020-01-10 | 南京大学 | Electron microscopic imaging system and imaging method |
WO2021092594A1 (en) * | 2019-11-07 | 2021-05-14 | Essenlix Corporation | Device and method for improving sample imaging in a compact optical system |
WO2021113131A1 (en) * | 2019-12-02 | 2021-06-10 | Lam Research Corporation | Reflective fourier ptychography imaging of large surfaces |
KR20230017623A (en) | 2021-07-28 | 2023-02-06 | 연세대학교 산학협력단 | Optical imaging system and method based on fourier ptychographic algorithm |
KR20240009242A (en) * | 2022-07-13 | 2024-01-22 | 중앙대학교 산학협력단 | Fourier ptychographic microscopy |
KR20240025967A (en) | 2022-08-19 | 2024-02-27 | 연세대학교 산학협력단 | Optical imaging system and method of multi fourier ptychographic microscopy |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20190088277A (en) | Microscopy system with single shot Fourier ptychography | |
Holloway et al. | Toward long-distance subdiffraction imaging using coherent camera arrays | |
EP3248208B1 (en) | Fourier ptychographic tomography | |
CN104885187B (en) | Fourier overlapping associations imaging system, device and method | |
CA2504620C (en) | Method and apparatus for three-dimensional imaging in the fourier domain | |
EP2976609B1 (en) | System for hyperspectral imaging in visible light, method for recording a hyperspectral image and displaying the hyperspectral image in visible light | |
US8866063B2 (en) | Lens-free wide-field super-resolution imaging device | |
US8019136B2 (en) | Optical sectioning microscopy | |
US20180224552A1 (en) | Compressed-sensing ultrafast photography (cup) | |
JP2006508363A5 (en) | ||
US10663750B2 (en) | Super-resolution imaging of extended objects | |
JP2013531816A (en) | Amplified microscopy with continuous time encoding of differential interference contrast | |
CN113484296A (en) | Super-resolution scanning light field imaging system and method based on structured light illumination | |
US11686933B2 (en) | Imaging via diffuser modulation by translating a sample | |
EP3520074B1 (en) | Method for the analysis of spatial and temporal information of samples by means of optical microscopy | |
Qiao et al. | Snapshot coherence tomographic imaging | |
US9696255B2 (en) | Image processing method of two-photon structured illumination point scanning microscopy | |
CN113534434B (en) | Spectral microscopic imaging device based on LED array and implementation method thereof | |
RU2140661C1 (en) | Method of confocal scanning three-dimensional microscopy and confocal scanning tomographic microscope | |
US10989648B2 (en) | Method for forming a high resolution image by lensless imaging | |
EP3663812A1 (en) | Variable incidence angle dark-field microscopy | |
Cheong et al. | Novel light field imaging device with enhanced light collection for cold atom clouds | |
KR102473456B1 (en) | High-resolution structured illumination microscopy system for imaging nano patterns fabricated on cylinerical mold and operating method thereof | |
Hoffman | Structured Illumination for In-Vivo Sectioning and Imaging | |
CN112907481B (en) | High-quality lens-free imaging method and system for noise robustness |