KR101865126B1 - 촬상장치, 촬상방법, 거리측정장치, 및 거리측정방법 - Google Patents

촬상장치, 촬상방법, 거리측정장치, 및 거리측정방법 Download PDF

Info

Publication number
KR101865126B1
KR101865126B1 KR1020160099298A KR20160099298A KR101865126B1 KR 101865126 B1 KR101865126 B1 KR 101865126B1 KR 1020160099298 A KR1020160099298 A KR 1020160099298A KR 20160099298 A KR20160099298 A KR 20160099298A KR 101865126 B1 KR101865126 B1 KR 101865126B1
Authority
KR
South Korea
Prior art keywords
distance
image
estimated
measurement
measurement matrix
Prior art date
Application number
KR1020160099298A
Other languages
English (en)
Other versions
KR20180015830A (ko
Inventor
이흥노
이웅비
김철순
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020160099298A priority Critical patent/KR101865126B1/ko
Priority to US15/669,554 priority patent/US10484585B2/en
Publication of KR20180015830A publication Critical patent/KR20180015830A/ko
Application granted granted Critical
Publication of KR101865126B1 publication Critical patent/KR101865126B1/ko

Links

Images

Classifications

    • H04N5/2254—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G03B13/20—Rangefinders coupled with focusing arrangements, e.g. adjustment of rangefinder automatically focusing camera
    • G03B13/22—Rangefinders coupled with focusing arrangements, e.g. adjustment of rangefinder automatically focusing camera coupling providing for compensation upon change of camera lens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N5/3745—

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명에 따른 촬상장치에는, 각 측정행렬 별로 희소표현을 이용하는 디지털 신호처리기법으로, 상기 감지 이미지로부터 이미지를 복구하는 이미지 복구부; 및 적어도 상기 각 측정행렬 별로 추정되는 추정 픽셀의 광량정보를 이용하는 값의 놈을 이용하여, 상기 물체의 거리를 측정하는 거리 측정부가 포함되고, 상기 이미지 복구부는 상기 거리 측정부에서 측정된 거리에 대응하는 측정행렬을 이용하여 이미지를 복구하는 것을 특징으로 한다. 본 발명에 따르면, 겹눈을 이용하여 이미지를 촬영할 때, 별도의 거리측정장치 등이 없이도 촬상을 수행할 수 있다.

Description

촬상장치, 촬상방법, 거리측정장치, 및 거리측정방법{Image sensing apparatus, image sensing method, distance measuring apparatus, and distance measuring method}
본 발명은 촬상장치, 촬상방법, 거리측정장치, 및 거리측정방법에 관한 것으로, 더 상세하게는 다수의 렌즈를 이용하는 촬상장치, 촬상방법, 거리측정장치, 및 거리측정방법에 관한 것이다.
겹눈은 곤충의 눈으로 대표적으로 예시되는 것으로서, 다수 개의 홑눈이 삼차원 곡면으로 배열되어 겹눈을 제공한다.
상기 겹눈은 넓은 시야각(FOV:Field Of View), 무한한 심도, 및 빠른 모션 인지 등의 특징이 있다. 따라서, 적으로부터 곤충의 생존기회를 높이는 일 요인으로 작용한다. 이러한 특징으로 인하여, 상기 겹눈은 초소형 항공장비의 감시 카메라, 고속 모션 탐지, 영상유도수술, 및 수술장비 등으로의 적용이 기대된다.
상기 겹눈의 여러 장점에 대해서는 한국과학기술총연합회 발간 월간 과학과 기술 2013년 7월호 64페이지에 소개되는 전자눈을 참조할 수 있다. 상기 소개문헌에 따르면 곤충의 눈을 본 뜬 인공 겹눈을 제작하는 방법이 소개된 바가 있다. 상기 문헌에 따르면 곤충눈을 제작할 수 있음을 알 수 있다. 그러나, 겹눈에 제공되는 각각의 홑눈을 통하여 입사하는 광을 어떠한 방식으로 처리할 것인지에 대해서는 언급된 바가 없고, 문헌 상으로 불명확하기는 하지만 최선으로 이해할 때, 예를 들어 각각의 홑눈에 입사하는 광량이 전체 이미지 중에서 어느 한 픽셀에 해당한다.
상기 문헌에 따르면 각각의 홑눈을 통하여 입사하는 빛을 단일의 픽셀로 인식하여 이미지를 처리하기 때문에, 각각의 홑눈에 해당하는 렌즈의 개수를 늘리지 않으면 높은 해상도의 이미지를 얻을 수 없다. 또한, 좁은 공간에 이미지의 해상도를 늘릴 수 있는 만큼 렌즈의 개수를 무한정 늘리는 것이 어려운 것은 당연하다.
이러한 문제점에 기인하여 본 발명의 출원인은 출원번호 10-2015-0132810호, 다수의 렌즈를 이용한 촬상장치를 발명한 바가 있다. 상기 인용문헌에 따르면, 각각의 홑눈을 통하여 다량의 정보를 받아들인 후에, 압축센싱기법을 이용하여 더 정확한 이미지를 복구하는 방법을 소개하고 있다.
그러나, 상기 발명은 이미지가 촬상장치로부터 특정의 거리에 놓여 있는 것을 가정하는 것으로서, 물체와 촬상장치와의 거리를 알지 못하면 각 거리에 맞는 측정행렬을 특정할 수 없어서, 이미지를 복구할 수 없는 문제점이 있다.
출원번호 10-2015-0132810호, 다수의 렌즈를 이용한 촬상장치
http://www.kofst.or.kr/kofst/PDF/2013/n7s530/GGDCBE_2013_n7s530_64.pdf에 소개되는 전체 문헌
본 발명은 상기되는 배경하에서 제안되는 것으로서, 거리를 모르는 경우에도 이미지를 복구할 수 있는 촬상장치 및 거리측정장치를 제안한다.
본 발명에 따른 촬상장치에는, 다수의 홑눈에 의해서 물체의 감지 이미지가 얻어질 수 있는 겹눈; 획득된 거리가 서로 다른 적어도 두 개의 측정행렬이 저장되는 메모리; 상기 적어도 두 개의 측정행렬을 이용하여, 각 측정행렬 별로 희소표현을 이용하는 디지털 신호처리기법으로, 상기 감지 이미지로부터 이미지를 복구하는 이미지 복구부; 및 적어도 상기 각 측정행렬 별로 추정되는 추정 픽셀의 광량정보를 이용하는 값의 놈을 이용하여, 상기 물체의 거리를 측정하는 거리 측정부가 포함되고, 상기 이미지 복구부는 상기 거리 측정부에서 측정된 거리에 대응하는 측정행렬을 이용하여 이미지를 복구한다.
상기 이미지 복구부에는, 상기 디지털 신호처리기법을 이용하여 각 측정행렬 별로 추정 희소화 계수를 추출하는 추정 희소화 계수 추출부; 상기 추정 희소화 계수 추출부에서 추출된 상기 추정 희소화 계수로부터 상기 추정 픽셀의 광량정보를 추출하는 추정 픽셀의 광량정보 추출부; 및 상기 거리측정부에서 측정된 거리에 대응하는 상기 측정행렬로 복구된 이미지를 선택하는 이미지 선택부가 포함될 수 있다. 또한, 상기 이미지 복구부는, 상기 각 측정행렬이 모인 단일의 측정행렬 집합을 한꺼번에 이용하여 계산의 정확도를 높일 수 있다.
상기 거리 측정부는, 측정행렬 별로 제공되는 적어도 두 개의 잔류 놈을 비교하여 상기 물체의 거리를 측정할 수 있다.
상기 거리 측정부는, 복구신호의 에너지가 높은 복구신호를 비교하여 상기 물체의 거리를 측정할 수 있다. 상기 복구신호의 에너지를 비교할 때에는 정규화하여 비교할 수 있다.
상기 희소표현을 이용하는 디지털 신호처리기법은, 대체방향방법, 심플렉스법, 기울기강하법, 이차미분법, 및 L1놈 최적화 방법 중의 어느 하나가 적용될 수 있다.
본 발명에 따른 거리측정장치에는, 다수의 홑눈에 의해서 물체의 감지 이미지가 얻어질 수 있는 겹눈; 획득된 거리가 서로 다른 적어도 두 개의 측정행렬이 저장되는 메모리; 상기 적어도 두 개의 측정행렬을 이용하여, 각 측정행렬 별로 희소표현을 이용하는 디지털 신호처리기법으로, 상기 감지 이미지로부터 추정 픽셀의 광량정보를 추출할 수 있는 추정 픽셀의 광량정보 추출부; 및 적어도 상기 각 측정행렬 별로 추정되는 추정 픽셀의 광량정보를 이용하는 값의 놈을 이용하여, 상기 물체의 거리를 측정하는 거리 측정부가 포함된다.
상기 거리 측정부는, 상기 측정행렬 별로 상기 잔류 놈 비교하여 상기 물체의 거리를 측정할 수 있다.
상기 거리 측정부는, 복구신호의 에너지를 비교하여 상기 물체의 거리를 측정할 수 있다.
본 발명에 따른 거리측정방법에는, 획득된 거리가 서로 다른 적어도 두 개의 측정행렬을 이용하여, 겹눈으로 획득된 물체의 감지 이미지로부터 추정 희소화 계수를 구하는 것; 상기 추정 희소화 계수를 이용하여 추정 픽셀의 광량정보를 추출하는 것; 및 적어도 상기 각 측정행렬 별로 추정되는 추정 픽셀의 광량정보를 이용하는 값의 놈을 이용하여, 상기 물체의 거리를 측정하는 것이 포함된다.
상기 거리를 측정하는 것은, 잔류 놈을 비교하여 수행될 수 있다.
상기 거리를 측정하는 것은, 복구신호의 에너지를 비교하여 수행될 수 있다.
상기 물체는, 거리가 다른 적어도 두 개의 물체의 거리가 함께 측정될 수 있다.
상기 거리측정방법으로 결정된 측정행렬을 이용하여, 상기 감지 이미지로부터 상기 물체의 이미지를 복구할 수 있다.
본 발명에 따르면, 촬상장치와 물체까지의 거리를 모르는 경우에도 더 정확한 이미지를 복구할 수 있는 촬상장치를 제안한다. 또한, 겹눈에서 얻은 정보에 대한 이미지의 복구를 통하여 촬상장치의 위치로부터 물체가 위치하는 곳까지의 거리를 알아낼 수 있다.
따라서, 겹눈이 가지고 있는 많은 장점을 활용하면서도, 정확한 이미지 획득 및 거리정보의 획득이라는 효과를 얻을 수 있다.
도 1과 도 2는 다수의 렌즈를 이용한 촬상장치의 간략한 구성을 종래기술과 본 발명의 실시예를 각각 비교하여 설명하는 도면.
도 3과 도 4는 촬상장치에서 수용각과 렌즈 사이각을 비교하여 설명하는 도면이다.
도 5와 도 6은 촬상장치에서 시야영역을 비교하여 설명하는 도면.
도 7은 시야영역과 픽셀의 관계를 설명하는 도면.
도 8과 도 9는 촬상장치에서 얻은 측정행렬을 비교하여 설명하는 도면.
도 10은 실시예에 따른 촬상장치의 상세 구성을 보이는 블록도.
도 11 내지 도 13은 하나의 물체에 대한 시뮬레이션의 모습 및 그 결과를 보이는 도면.
도 14 내지 도 16은 거리가 다른 두 곳에 물체가 각각 놓여 있는 경우의 시뮬레이션의 모습 및 그 결과를 보이는 도면.
도 17은 실시예에 따른 촬상방법 및 거리측정방법을 설명하는 흐름도.
도 18은 첫번째 다른 실시예에 따른 촬상장치의 블록도.
도 19와 도 20은 각각 도 12와 도 15의 경우에 정규화한 값을 사용하여 고 에너지 추출부에서 추출하는 것을 보이는 도면.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 그러나, 본 발명의 사상은 이하에 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예를 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이나, 이 또한 본 발명 사상의 범위 내에 포함된다고 할 것이다.
또한, 첨부되는 도면은 발명의 사상을 이해하는 것에 주안점을 둔 것으로서 크기, 방향, 및 형태 등에 있어서 실제로 구현되는 것에 있어서는 차이가 있을 수 있다.
또한, 본 발명의 이해에 필요하지만 당업자에게 이미 널리 알려진 수학적인 처리 및 알고리즘에 있어서는 그 기술이 소개되는 부분을 제시하고 그 내용 전체가 본 발명의 명세서에 포함되는 것으로 하고 그 구체적인 기술은 생략하도록 한다.
도 1과 도 2는 다수의 렌즈를 이용한 촬상장치의 간략한 작용을, 압축센싱을 이용하지 않는 경우(도 1)와, 하는 경우(도 2)를 비교하여 설명한다.
압축센싱을 이용하지 않는 경우를 도 1을 참조하여 설명한다. 먼저, 물체(object)의 이미지는 곡면(1)에 지지되는 다수의 렌즈(2)로 입사한다. 상기 다수의 렌즈(2)에 포함되는 각각의 렌즈는 삼차원 공간에서 특정의 영역을 바라보고 있다. 이후로는 상기 특정의 영역을, 각각의 렌즈에 대응하는 시야 영역이라고 한다. 상기 시야 영역에 물체가 있는 경우에는 그 시야 영역에 놓이는 물체와 대응하는 렌즈가 광량의 변화 형태로 받아들일 수 있다. 상기 다수의 렌즈(2) 각각에는 단일의 포토센서(3)가 대응되어 있을 수 있다. 상기 포토센서(3)는 광량을 인식할 수 있다. 상기 포토센서(3)는 광량은 인식할 수 있으나, 어느 하나의 포토센서를 이용하여 이차원의 광량의 분포는 인식하지 못할 수 있다. 상기 포토센서(3)는 이미지 상에서 단일의 픽셀로 대응되어 감지 이미지(4)를 제공한다. 상기 곡면(1)은 일차원 또는 이차원 또는 삼차원으로 곡면으로 제공될 수 있다.
상기 감지 이미지(4)는 렌즈(2)의 개수에 대응하는 픽셀을 제공할 수 있다. 따라서, 렌즈(2)의 개수가 많은 경우에는 해상도가 높은 감지 이미지(4)를 얻을 수 있고, 렌즈(2)의 개수가 작은 경우에는 해상도가 낮은 감지 이미지(4)를 얻을 수 있을 뿐이다. 그러나, 렌즈(2)의 개수를 무한정 늘리는 것은 어려운데, 그 하나의 이유는, 미세전자소자 및 미세광학소자, 특히 외면의 매끄러움이 중요시되는 렌즈(2)를 곡면(1)에 배치하는 것은 어렵기 때문이다.
압축센싱을 이용하는 경우를 도 2를 참조하여 설명한다. 촬상장치는, 곡면(1)에 배치되는 렌즈(2)를 통하여 포토센서(3)가 광량의 형태로 인식한다. 나아가서, 렌즈(2)의 수용각이 렌즈(2)의 사이각에 비하여 상당히 크다. 따라서, 각각의 포토센서(3)를 통하여 감지되는 감지 이미지(4)는 픽셀별로 상당량이 중첩되므로 실질적으로 인간이 인식할 수 있는 수준의 이미지를 얻을 수 없다. 그러나, 상기 감지 이미지(4)는 디지털신호처리(DSP: Digital Signal processing)를 통하여 복구된 이미지(5)를 얻을 수 있고, 상기 복구된 이미지(5)는 압축센싱기법을 이용하지 않는 경우에 얻은 감지 이미지(4)에 비하여 월등한 수준의 해상도를 얻을 수 있다.
도 2에 제시되는 바와 같이, 압축센싱을 이용하는 경우에는 더 많은 정보를 받아들여서, 디지털신호처리를 통하여 더 정확한 이미지 정보를 획득할 수 있는 것을 알 수 있다.
도 3과 도 4는 촬상장치에서 수용각과 렌즈 사이각을 비교하여 설명하는 도면이다.
도 3은 비교예를 설명하는 것으로서 도 3을 참조하면, 렌즈(2) 간의 사이각(11)이 △Φ이고, 렌즈(2)의 수용각(12)이 △φ일 때, △Φ≥△φ의 관계를 가져서, 렌즈 간의 사이각(11)이 렌즈의 수용각(12)보다 크거나 같다. 다시 말하면, 어느 하나의 렌즈(2)를 통해서 입력되는 시야정보는, 다른 하나의 렌즈(2)를 통해서 입력되는 시야영역의 정보와, 서로 겹치지 않거나 겹치는 영역이 최소화된다. 이는 서로 다른 렌즈(2)를 통해서 입사하는 시야영역의 정보는 감지 이미지(4)에 노이즈 간섭을 증가시키는 작용을 수행하여 바람직하지 않기 때문이다. 물론, 일반 자연계에 있어서는 동물 및 곤충들의 서식환경에 따라서 다른 경우도 있다. 예를 들어, 검정파리(callipora)의 경우에는 홑눈의 수용각이 1.5도이고, 홑눈 간의 사이각이 1.02도인 경우도 있다.
도 4는 실시예를 설명하는 것으로서 도 4를 참조하면, 도 3에 반하여 렌즈(2) 간의 사이각(11)이 △Φ이고, 렌즈(2)의 수용각(12)이 △φ일 때, △Φ≪△φ의 관계를 가져서, 렌즈 간의 사이각(△Φ)이 렌즈의 수용각(△φ)보다 훨씬 작다. 다시 말하면, 어느 하나의 렌즈(2)를 통해서 입력되는 시야영역의 정보는 다른 하나의 렌즈(2)를 통해서 입력되는 시야영역의 정보와 많이 겹친다. 예를 들어 비록 렌즈와 물체 간의 거리에는 의존적이지만, 어느 하나의 지점은 수십 개의 렌즈(2)로 함께 입사할 수 있다. 이는 서로 다른 렌즈(2)를 통해서 입사하는 시야영역의 정보는 감지 이미지(4)에 간섭을 증가시키는 작용을 하기도 하지만, 이를 분석하여 특정 지점의 점을 더욱 정확하게 알아낼 수 있는 작용을 수행하도록 하기 때문이다. 상기 분석은 상기 측정행렬에 의해서 특정 거리의 특정 지점의 점이 어느 렌즈를 통하여 입사하는 지가 알려질 수 있기 때문에 가능하게 수행될 수 있다.
도 5와 도 6은 촬상장치에서 시야영역을 비교하여 설명하는 도면이다. 상기 시야영역은 어느 하나의 렌즈(2)를 통하여 입사하는 이차원 영역을 나타내는 것임은 이미 설명한 바와 같다.
도 5를 참조하면, 어느 하나의 렌즈에 해당하는 시야영역(6)은, 다수 렌즈(2)의 배열 상에서 가운데 부분에 배열된 것은 좁고, 바깥으로 갈수록 넓어지는 것을 볼 수 있다. 이는 렌즈의 배열이 그와 같은 형태로 되어 있고, 또한, 상기 렌즈가 바라보는 지점이 삼차원으로 배열되는 것임에 반하여 시야영역은 이차원으로 배열되는 것이기 때문이다.
도 6을 참조하면, 어느 하나의 시야영역(6)의 크기가 도 5의 경우와 비교할 때 상당히 큰 것을 볼 수 있다. 따라서, 특정 지점은 크게는 수십 개의 렌즈(2)에 해당하는 시야영역(6)에 동시에 포함될 수 있다.
도 7은 시야영역과 픽셀의 관계를 설명하는 도면이다.
도 7을 참조하면, 어느 하나의 렌즈(2)의 시야영역(6)이 원형으로 예시되고, 각각의 픽셀(7)은 사각형으로 도시된다. 중심에 있는 네 개의 픽셀(7)에는 네 개의 시야영역(6)에 모두 포함되므로 네 개의 렌즈로부터의 정보를 획득할 수 있다. 이와 달리 최외각에 있는 모서리의 픽셀에는 어느 하나의 시야영역(6)에만 해당하므로 하나의 렌즈로부터만 정보가 획득될 수 있다. 여기서 픽셀은 감지 이미지(4)의 픽셀일 수 있다.
상기 도 7에 제공되는 시야영역과 픽셀의 상호 관계는 시야영역이 원형일 때를 도시한 것으로서, 실제로 상기 시야영역은 렌즈의 배치와 개수에 따라서 다양한 양상과 형태를 가지므로 시야영역과 픽셀은 더욱 복잡한 상호 관계를 가질 수 있다.
도 8과 도 9는 촬상장치에서 얻은 측정행렬을 비교하여 설명하는 도면이다. 여기서 측정행렬은 렌즈와 물체와의 거리가 동일하고 동일한 물체를 이용하여 측정행렬을 얻어내는 것이라고 할 수 있다.
도 9의 경우는 도 8과 비교할 때, 측정행렬에 더 많은 넌제로(non-zero) 성분이 존재하는 것을 볼 수 있다. 도 9에 있어서 특정 열은 어느 한 픽셀에 어느 렌즈로부터의 정보가 입사하는 지를 나타내고, 특정 행은 어느 한 렌즈로부터의 정보가 어느 픽셀에 입사하는 지를 나타내고 있다. 상기 측정행렬은 촬상장치와 물체 사이의 직근 거리가 동일한 편평한 평면상의 지점에 대한 측정행렬이라고 정의할 수 있다. 다시 말하면 곡면의 꼭지점에 위치하는 렌즈에서 긋는 직선과 수직하는 편평한 평면에서의 측정행렬이라고 할 수 있다.
결국, 어느 한 지점에 이미지에 의한 신호가 있을 때, 더욱 많은 렌즈(2)를 통하여 그 신호가 입사하는 것으로 이해할 수 있다. 이와 같은 방법을 반복으로 수행함으로써, 렌즈와 물체 사이의 다양한 직선거리에서의 편평한 평면에 대한 측정행렬을 얻어낼 수 있다.
상기 측정행렬은 상기 촬상장치로부터의 거리에 따라서 다수의 측정행렬이 미리 측정되어 저장되어 있을 수 있다. 예를 들어, 실시예에서는 촬상장치(여기서, 촬상장치는 렌즈와 포토센서의 조합인 각 홑눈을 더 정확하게 지칭할 수 있다)로부터 10mm, 20mm, 30mm, 40mm, 및 50mm 떨어져 있는 곳의 측정행렬을 미리 저장할 수 있는 것으로 하여 설명한다.
도 10은 실시예에 따른 촬상장치의 상세 구성을 보이는 블록도이다. 거리측정장치에도 상기 촬상장치와 함께 설명된다.
도 10을 참조하면, 촬상장치에는, 겹눈(10)과, 다수의 정보가 저장되는 메모리(20)와, 상기 겹눈(10)에서 획득된 정보와 상기 메모리(20)로부터의 정보를 이용하여 이미지를 복구하는 이미지 복구부(30)와, 상기 이미지 복구부(30)에서 얻어진 정보를 이용하여 물체까지의 거리를 측정하는 거리측정부(40)가 포함된다.
상기 겹눈(10)에는, 렌즈와 포토센서의 조합으로 제공되는 다수의 홑눈구조가, 다수 개로서 서로 모여 있는 어떠한 구조를 말할 수 있다. 바람직하게는 상기 홑눈은 렌즈의 수용각이 렌즈의 사이각 보다 큰 것이 바람직하다.
상기 메모리에는, 촬상장치로부터 물체까지의 거리에 따른 다양한 측정행렬(예를 들어, 촬상장치로부터 10mm, 20mm, 30mm, 40mm, 및 50mm에 해당하는 측정행렬이 미리 저장될 수 있다. 그러나 그에 제한되지는 아니한다)과, 희소화 베이스가 미리 저장되어 있을 수 있다.
상기 겹눈(10)을 통하여 감지 이미지(4)가 인식되고, 상기 감지 이미지(4)는 이미지 복구부(30)를 통하여 복구될 수 있다. 여기서, 상기 감지 이미지(4)는 실제로 인식될 수 있는 수준의 이미지가 아니라 각각의 홑눈이 인식한 빛의 정보가 단순히 합하여져 있는 것으로 이해할 수 있다.
상기 이미지 복구부(30)는 이미지를 복구할 때 측정행렬을 이용한다. 여기서 상기 겹눈(10)은 도 2에 제시되는 렌즈(2), 곡면(1), 및 포토센서(3)가 조합을 이루는 홑눈이 다수 개가 포함되는 구성을 지칭할 수 있다.
한편, 상기 렌즈(2)가 바라보는 공간은 삼차원으로 서로 다른 방향을 바라보고 있기 때문에, 실제로 이차원으로 감지되는 시야 영역은 물제와 렌즈(2) 간의 거리에 따라서 달라질 수 있다. 다시 말하면 물체와 렌즈(2) 사이의 거리에 따라서 시야 영역의 형태 및 크기가 달라질 수 있다. 이를 감안하여 더 정확한 측정행렬을 거리에 따라서 미리 저장해 둘 수 있다.
예를 들어, 상기 측정행렬은, 렌즈(2) 앞의 일정 거리에 다양한 물체를 놓고서 실제로 특정함으로써 제공될 수 있다. 예를 들어, 어느 작은 지점에 백지를 놓고 그 백지의 특정 지점에 점을 찍고서 실시예의 겹눈을 통하여 관찰할 때, 다수의 렌즈(2)가 볼 수 있는 시야영역에 물체가 놓일 수 있다. 상기 점을 다양한 위치에 놓고서 완전한 어느 한 측정행렬을 구할 수 있을 것이다. 이는 어느 특정 지점의 점이 다수의 렌즈(2)를 통하여 복잡한 광량으로 감지되어 더 많은 정보를 제공할 수 있는 것을 의미하고, 보다 많은 정보는 압축센싱의 방법으로 해석함으로써 더 선명한 이미지를 복구할 수 있게 된다. 상기 압축센싱은 디지털 신호처리기법의 일종으로서 또 다른 디지털신호처리기법을 통해서도 이미지를 복구할 수 있을 것이다. 그러나 실시예의 경우에는 압축센싱기법을 이용함으로써 더욱 정확하고 선명한 이미지복구를 수행할 수 있다. 이하 마찬가지이다.
한편, 실시예에서는 렌즈(2)의 수용각이 렌즈(2)의 사이각에 비하여 상당히 크다. 따라서, 각각의 포토센서(3)를 통하여 감지되는 감지 이미지(4)에서는 픽셀 별로 상당량이 중첩된다. 그러므로, 특정 지점에 놓이는 점은 다수의 렌즈(2) 및 포토센서(3)에 의해서 중복하여 감지될 수 있다.
상기 겹눈(10)에 의해서 인식된 상기 감지 이미지는, 상기 이미지 복구부(10)에서 복구되어 복구 이미지를 추출할 수 있다. 상기 이미지 복구부(30)의 구성을 더 상세하게 설명한다.
상기 이미지 복구부(30)에서는 겹눈(10)을 이루는 홑눈 별로 입사한 빛의 광량을 구현한 상기 감지 이미지(4)와 상기 측정행렬저장부(20)에 저장되는 측정행렬과 희소화 베이스를 이용하여 이미지를 복구할 수 있다.
상기 감지 이미지(4)에는 렌즈(2)의 개수에 상응하는 픽셀이 제공될 수 있고, 상기 메모리(20)에 저장되어 있는 겹눈(10)에서 물체까지의 거리에 대응하는 모든 측정행렬을 불러올 수 있다.
상기 감지 이미지(4)에서의 픽셀의 광량정보-이것은 렌즈(2)의 시야영역과 대응할 수 있다-를 y라 하고, 측정행렬을 A라 하고, 복구된 이미지(5)에서의 픽셀의 광량정보를 x라고 할 때, 하기되는 수학식 1의 관계가 성립한다.
Figure 112016075797770-pat00001
여기서,
Y는 M×1의 행렬이고, A는 M×NL의 행렬이고, x는 NL×1의 행렬로 제공될 수 있다.
여기서, N은 복구된 이미지(5)의 픽셀의 개수이고, M은 감지 이미지(4)의 픽셀의 개수이고, A는 측정행렬이고, L은 측정행렬의 개수로서 적어도 두 개 이상이 제공되고, Ψ는 상기 복구된 이미지에서의 픽셀의 광량정보(x)가, 적은 수의 영이 아닌 값들(small number of nonzero elements)(s)(여기서, s를 희소화 계수라고 할 수 있다)을 가지도록 추정하는 희소화 베이스(sparsifying basis)로 제공될 수 있다.
상기 측정행렬(A) 중의 임의의 원소인 aij는 j번째 복구된 픽셀의 광량이 i번째 렌즈의 시야영역의 영향을 받는 것을 나타낸다. 예를 들어, aij가 영인 경우에는 j번째 복구된 이미지의 픽셀이 i번째 렌즈의 시야영역이(6)의 바깥에 있는 것이고, aij가 일인 경우에는 j번째 복구된 이미지의 픽셀이 i번째 렌즈의 시야영역이(6)의 안에 있는 것이고, aij가 영보다 크고 일보다 작은 경우에는 j번째 복구된 이미지의 픽셀이 i번째 렌즈의 시야영역(6)의 경계선에 있는 것으로 생각할 수 있다.
한편, 상기 수학식 1은 N>M으로 주어지는 비결정 시스템(underdetermined system)이다. 상기 비결정 시스템을 최적화 과정을 통하여 해를 구하기 위해서는, 첫째, 희소신호(sparse signal)로 표현할 수 있어야 하고, 둘째 상기 측정행렬은 서로 비간섭성(incoherent)으로 제공될 필요가 있다. 그런데, 자연계의 이미지는 웨이블릿 도메인(wavelet domain) 또는 이산코사인변환 또는 이산푸리에변환 등과 같은 도메인에서 희소신호로 표현된다는 것이 알려져 있다. 따라서, 상기 첫째 조건은 만족한다. 둘째, 상기 측정행렬에서 어느 렌즈의 시야영역은 복구된 이미지의 특정 픽셀에만 정보를 인가하므로 전체 픽셀에 대해서는 비간섭적이라고 할 수 있다. 따라서 상기 둘째 조건은 만족한다.
이에, 실시예에서는 상기 수학식 1의 해를 구하기 위하여 희소표현(sparse representation)을 이용하는 압축센싱(compressed sensing)을 이용할 수 있다.
상기 수학식 1의 x는 수학식 2의 선형방정식으로 풀어낼 수 있다.
Figure 112016075797770-pat00002
∥·∥1는 L1 놈(norm)을 나타내고, ε은 미리 설정되거나 수정되거나 선택될 수 있는 임계치이고,
Figure 112016075797770-pat00003
은 추정 희소화 계수이다.
실시예에서 상기 수학식 2는 대체방향방법(alternating direction method)으로 풀었다. 상기 대체방향방법은 Yang, J. & Zhang, Y. Alternating direction algorithms for l1-problems in compressive sensing. SIAM J. Sci. Comput. 33, 250-278 (2011)을 참조할 수 있다. 이뿐만이 아니고, 수학식 1은 심플렉스법(simplex methods) 또는 기울기하강법(steepest decent methods) 또는 이차미분법(second derivative methods)을 사용하여 최적의 해를 구할 수도 있다. 또 다른 예로서 본 발명의 출원인이 대한민국특허등록번호 10-1423964에서 제안한 바가 있는 L1 놈 최적화 방법을 이용하여 최적의 해를 구할 수 있다.
상기 추정 희소화 계수는 추정 희소화 계수 추출부(31)에서 추출될 수 있다. 상기 추정 희소화 계수는 N×1행렬로 제공될 수 있고, 상기 측정행렬 별로 제공될 수 있기 때문에, 결국 NL×1의 행렬로 주어질 수 있다. 여기서 상기 측정행렬 별로 상기 추정 희소화 계수가 제공된다는 의미는 거리에 따른 측정행렬을 개별적으로 상기 수학식 2를 푼다는 뜻이 아니고, 전체로서 상기 측정행렬, 즉 A를 한꺼번에 푼다는 의미이다. 비록 측정행렬 별로 수학식 2를 푸는 것을 배제하지는 않지만, 전체로서 상기 측정행렬(A)가 모여 있는 단일의 측정행렬 집합을 한꺼번에 풀면 희쇠화 연산이 더 정확해 지기 때문에, 더 정확한 답을 찾을 수 있기 때문이다. 이하 그와 동일하다.
L1 놈 최적화 방법에 의해서 상기 적은 수의 영이 아닌 값들(s)이 구하여지면, 하기 수학식 3을 이용하여 상기 복구된 이미지에서의 픽셀의 광량정보(x)를 추정할 수 있다.
Figure 112016075797770-pat00004
여기서,
Figure 112016075797770-pat00005
는 복구된 이미지에서의 픽셀의 광량정보(x), 즉, 추정 픽셀의 광량정보로 생각할 수 있다. 상기 추정 픽셀의 광량정보는 추정 픽셀의 광량정보 추출부(32)에서 추출할 수 있다.
상기 추정 희소화 계수 및 상기 추정 픽셀의 광량정보는 거리 측정부(40)로 전달될 수 있다. 상기 거리 측정부(40)는 상기 추정 희소화 계수 및 상기 추정 픽셀의 광량정보를 참조하여 상기 물체까지의 거리를 측정할 수 있다. 상기 거리 측정부(40)에는, 사용된 측정행렬 별로 잔류 놈을 추출하는 잔류 놈 추출부(41)와, 상기 잔류 놈 추출부(41)에서 추출된 잔류 놈을 비교하여 촬상장치와 물체까지의 거리를 측정하는 잔류 놈 비교부(42)가 포함된다.
상세하게 설명하면, 상기 잔류 놈 추출부(41)는, 적용된 측정행렬 별로 얻어진 상기 추정 픽셀의 광량정보와 감지 이미지를 이용하여 수학식 4를 이용하여 잔류 놈(residual norm)을 추출한다.
Figure 112016075797770-pat00006
여기서, ri는 i번째 측정행렬의 잔류 놈, y는 상기 감지 이미지, Ψ는 희소화 베이스, δi는 i번째의 측정행렬의 상기 추정 희소화 계수만을 남기고 다른 측정행렬의 상기 추정 희소화 계수는 영을 만드는 특성함수이다. 상기 Ψδi는 복구 이미지로서 복구신호라고 할 수도 있다. 상기 잔류 놈은 L2 놈으로 제시될 수 있다.
따라서, 상기 수학식 4에 따르면, 측정행렬 별로 잔류 놈의 값을 알아낼 수 있다. 상기 잔류 놈이 크면 클수록 상기 추정 픽셀의 광량정보가 틀린 것을 나타낼 수 있다.
이후에는 상기 잔류 놈 비교부(42)에서, 상기 측정행렬 별로 잔류 놈을 비교하여 상기 잔류 놈이 가장 작은 측정행렬을 선택할 수 있다. 여기서, 선택된 측정행렬이 획득된 거리를 촬상장치와 물체까지의 거리로 판정할 수 있다. 적어도 실제 물체까지의 거리와 가장 근접한 거리로 판정할 수 있다. 또한, 선택된 측정행렬을 이용하여 측정된, 상기 촬상장치로부터 상기 물체까지의 거리를, 물체까지의 거리로 판정할 수 있다.
이러한 작용을 이용하여, 상기 잔류 놈 비교부(42)에서는 거리 정보를 추출해 낼 수 있다. 뿐만 아니라, 상기 잔류 놈 비교부(42)는 상기 거리 정보를 이미지 선택부(33)로 출력할 수 있다. 상기 이미지 선택부(33)는 해당 거리의 측정행렬을 이용하여 복구된 이미지를 선택하여, 복구 이미지를 출력할 수 있다.
이때 이미지 선택부(33)는, 측정된 거리에 대응하는 측정행렬을 상기 메모리(20)으로부터 가져와서 새로이 이미지를 복구할 수도 있다. 이 경우는 다양한 거리의 다양한 물체가 상기 감지 이미지에 영향을 미치는 경우에 바람직하게 사용될 수 있다.
이와 달리, 상기 이미지 선택부(33)는, 상기 추정 픽셀의 광량정보 추출부(32)에서 추정된 광량정보 중에서, 상기 측정된 거리에 대응하는 측정행렬에 대응하는 광량정보를 선택하여 이미지를 복구할 수도 있다. 이 경우는 단일의 물체 또는 제한되는 개수의 물체가 상기 감지 이미지에 영향을 미치는 경우에 바람직하게 사용될 수 있다.
상기되는 장치에 따르면 측정행렬을 특정할 필요가 없이-즉, 거리를 특정할 필요가 없이- 최적의 복구 이미지를 획득할 수 있다.
도 10의 촬상장치는 거리정보를 추출하기 때문에, 그 자체가 거리정보측정장치로도 활용될 수 있다. 또한, 도 10의 촬상장치에서 상기 거리정보를 추출하지 않고, 촬상장치의 내부정보로만 활용하는 경우에는 거리정보측정장치가 될 수 있다.
마찬가지로, 상기 이미지 선택부(33)가 제공되지 않는 경우에는, 촬상장치로서의 기능은 수행하지 않고, 거리정보만을 획득하는 거리정보측정장치로만 활용될 수도 있다. 이 경우에는 상기 추정 희소화 계수 추출부(31), 잔류 놈 추출부(41) 및 잔류 놈 비교부(42) 만이 활용됨으로써, 거리정보를 측정할 수도 있을 것이다.
도 11 내지 도 13은 시뮬레이션의 모습 및 그 결과를 보이는 도면이다.
도 11을 참조하면, 촬상장치의 앞쪽 30mm에 호랑이의 이미지를 두고, 그 촬상장치에 의해서 감지 이미지(observation)를 획득하는 것을 나타낸다.
도 12의 왼쪽 그래프는 상기 추정 희소화 계수를 나타내고, 오른쪽 그래프는 상기 추정 픽셀의 광량정보를 나타낸다. 상기 추정 희소화 계수의 개수로는, 각 측정행렬 별로 25,600개를 사용한 결과이다.
상기 추정 희소화 계수는 30mm 측정행렬의 경우에 그 계수의 값이 가장 크게 나타나는 것을 알 수 있다. 상기 추정 희소화 계수가 크다는 것은, 물체가, 대응하는 추정 희소화 계수가 추출된 측정행렬의 거리에, 놓여 있을 가능성이 높다는 것을 의미할 수 있다.
상기 추정 픽셀의 광량정보도 30mm의 경우에 가장 큰 것을 알 수 있다.
도 13은 상기 추정 픽셀의 광량정보를 이용하여 이미지를 구성해 본 도면으로서 30mm의 경우에 정확한 이미지가 맺히는 것을 확인할 수 있다.
따라서, 물체가 30mm 거리에 놓여 있는 것을 확인할 수 있다.
도 14 내지 도 16은 거리가 다른 두 곳에 이미지가 각각 놓여 있는 경우의 시뮬레이션의 모습 및 그 결과를 보이는 도면이다.
도 11 내지 도 13에서 보이는 바와 같이, 상기 추정 희소화 계수가 크거나, 상기 추정 픽셀의 광량정보가 큰 곳이 물체가 놓여 있는 거리이고, 해당 거리의 측정행렬을 이용하여 이미지를 복구한 결과가 정확한 이미지를 제공하는 것을 볼 수 있었다.
이 결과에 따르면 실시예의 촬상장치 및 거리측정장치는 적어도 두 개 이상의 물체의 거리를 함께 측정할 수 있는 것을 알 수 있다. 마찬가지로 적어도 두 개 이상의 물체의 이미지를 함께 복구할 수 있는 것을 알 수 있다. 이 작용은 다수의 측정행렬을 이용하여 동작할 때, 적어도 어느 하나(하나만으로 특정되지 아니한다)의 측정행렬로부터의 상기 추정 희소화 계수가 크거나 상기 추정 픽셀의 광량정보가 클 때에는, 해당하는 측정행렬에 물체가 놓여 있을 것이라는 것에 기인한다.
도 17은 실시예에 따른 촬상방법을 설명하는 흐름도이다. 거리측정방법도 본 흐름도에 의해서 함께 설명될 수 있다. 본 방법을 이해함에 있어서는 촬상장치의 구성을 참조로 하고, 중복적인 설명은 장치의 설명을 이해하도록 한다.
먼저, 적어도 촬상장치로부터의 거리에 따라 적어도 두 개의 측정행렬을 이용하여, 상기 감지이미지로부터 추정 희소화 계수를 구하고(S1), 상기 추정 희소화 계수를 이용하여 추정 픽셀의 광량정보를 추출한다(S2). 여기서, 추정 픽셀의 광량정보는 상기 측정행렬 별로 획득될 수 있다.
상기 추정 픽셀의 광량정보를 이용하여 측정행렬 별로 잔류 놈을 추출하고(S3), 상기 잔류 놈을 비교하여 가장 작은 잔류 놈을 제공하는 측정행렬을 알아내고(S4), 해당하는 측정행렬로 복구된 이미지를 선택할 수 있다.
한편, 여기서, 상기 잔류 놈 비교단계(S4)에서 선택된 측정행렬이, 획득된 거리를 물체까지의 거리라고 판정할 수 있다.
물론, 상기 방법에 있어서, 촬상 및 거리측정은 복수의 물체에 대하여 함께 수행될 수 있는 것은, 상기 장치를 설명함에 적용된 것이 마찬가지로 적용될 수 있다.
본 발명의 다른 실시예를 소개한다.
<첫번째 다른 실시예>
상기 원 실시예는, 상기 잔류 놈을 비교하여 물체까지의 거리를 알아내고, 이미지를 복구할 수 있는 것을 설명하였다. 그러나, 잔류 놈은 그 값이 작은 경우가 발생할 수 있다. 이 경우에는 잔류 놈을 비교하여 알아낼 수는 있지만, 비교가 어려운 경우가 발생할 수 있다.
첫번째 다른 실시예는 상기되는 경우에도 대응할 수 있는 것을 특징으로 하다. 따라서, 본 실시예의 특징적인 부분만을 설명하고 그 외의 설명은 원 실시예의 설명이 그대로 적용되는 것으로 한다.
도 18은 첫번째 다른 실시예에 따른 촬상장치의 블록도이다.
도 18을 참조하면, 본 실시예에서는, 거리측정부(50)에는, 상기 잔류 놈 추출부(41)를 대신하여 복구신호의 에너지 추출부(51)가 제공되고, 상기 잔류 놈 비교부(42)를 대신하여 고 에너지 추출부(52)가 제공될 수 있다.
여기서, 상기 복구신호의 에너지 추출부(51)에서는 상기 복구신호의 에너지를 구한다. 상기 복구신호의 에너지는 수학식 5로 정의될 수 있다.
Figure 112016075797770-pat00007
여기서, Ei는 i번째 측정행렬을 이용하여 복구된 복구신호의 이미지이고,
Figure 112016075797770-pat00008
는 i번째 측정행렬을 이용하여 복구된 이미지에서의 픽셀의 광량정보라고 할 수 있고, T는 전치행렬(transpose)를 의미한다. 상기 복구신호의 에너지는 이미지에서의 픽셀의 광량정보의 값을 제곱하여 더하는 것과 마찬가지이다. 따라서 복구신호의 에너지는 복구신호의 L2놈이라고 할 수 있다.
한편, 물체가 실제로 놓여 있는 거리에서 상기 복구신호의 에너지가 커지는 것은, 상기 수학식 2를 적용하여 희소하게 신호가 복구될 때, 특히 물체가 놓여 있는 위치에서 희소하게 신호가 복구되기 때문이다. 도 12와 도 15에서 복구된 신호(x)는 이를 보여준다.
상기 고 에너지 추출부(52)는, 상기 복구신호의 에너지가 상대적으로 높은(이때, 측정행렬 별로 복구신호의 에너지를 정규화(normalized)한 값을 사용할 수 있다) 측정행렬을 추출하여 물체가 있는 거리로 판단할 수 있다. 물론, 그 측정행렬의 거리를 거리정보로 전달할 수 있다.
도 19와 도 20은 각각 도 12와 도 15의 경우에 정규화한 값을 사용하여 고 에너지 추출부에서 추출하는 것을 보이는 도면이다. 도 19와 도 20을 참조하면, 추출된 복구신호의 에너지가 대략 0.5 이상인 경우에는 물체가 있는 것으로 판단할 수 있다.
본 실시예에서는 원 실시예와는 달리 잔류 놈을 비교하는 과정을 수행하지 않고, 소정의 임계값을 비교하는 것에 의해서 수행되므로 판단이 더욱 수월해지는 장점을 얻을 수 있다.
본 실시예는, 원 실시예에서 잔류 놈을 이용하는 것과는 달리, 복구신호의 에너지, 즉 i번째 측정행렬을 이용하여 복구된 이미지에서의 픽셀의 광량정보를 이용한다.
상기 잔류 놈은 복구신호(측정행렬별로 다르다)와 감지신호(측정행렬별로 동일하다)의 차이를 이용하는 값이다. 이에 반하여 상기 복구신호의 에너지는 복구신호 자체의 값을 이용하는 값이다. 따라서, 측정행렬 별로 달라지는 복구신호가 반드시 이용되고, 그에 반하여 측정행렬 별로 달라지지 않는 어떠한 값이 이용될 수 있는, 놈을 이용하여 물체까지의 거리를 알아낼 수 있다. 여기서 놈은 L2놈일 수 있지만 이에 제한되지 않는다. 물론, 본 실시예와 같이 측정행렬 별로 달라지는 복구신호만을 이용할 수도 있다. 다시 말하면, 놈을 측정하는 것에 의해서 단일한 값으로 물체까지의 거리를 판단할 수 있다.
또한, 촬상방법 및 거리측정방법은 본 실시예에 의해서도 마찬가지로 얻어질 수 있다. 더 상세하게 설명하면, 잔류 놈을 이용하는 것이 아니고, 복구신호의 에너지를 이용함으로써 거리를 측정할 수 있고, 측정된 거리를 이용하여 이미지를 촬상할 수 있다.
<두번째 다른 실시예 >
상기 원 실시예에서는 곡면에 렌즈가 배치되는 것으로 설명이 되어 있으나, 이에 제한되지 아니한다. 예를 들어, 렌즈가 평면에 배치되더라도 본 발명의 실시에는 문제가 없다. 그러나, 넓은 범위, 예를 들어, 180도를 넘어서는 범위의 이미지를 획득하기 위해서는 곡면으로 제공되는 것이 더욱 바람직하게 고려될 수 있는 것은 물론이다.
본 발명에 따르면, 겹눈을 이용하는 촬상장치를 구현 함에 있어서, 물체가 어디에 놓이더라도 사전에 물체까지의 거리를 모르더라도 물체의 이미지를 복구해 낼 수 있고, 또한, 물체까지의 거리정보를 알아낼 수 있다.
10: 겹눈
20: 메모리
30: 이미지 복구부
40: 거리측정부

Claims (16)

  1. 다수의 홑눈에 의해서 물체의 감지 이미지가 얻어질 수 있는 겹눈;
    획득된 거리가 서로 다른 적어도 두 개의 측정행렬이 저장되는 메모리;
    상기 적어도 두 개의 측정행렬을 이용하여, 각 측정행렬 별로 희소표현을 이용하는 디지털 신호처리기법으로, 상기 감지 이미지로부터 이미지를 복구하는 이미지 복구부; 및
    적어도 상기 각 측정행렬 별로 추정되는 추정 픽셀의 광량정보 및 감지 이미지를 이용하여 잔류 놈을 추출하고, 상기 각 측정행렬 별로 추출된 잔류 놈을 비교하여 잔류 놈이 가장 작은 측정행렬에 기초하여 상기 물체의 거리를 측정하는 거리 측정부가 포함되고,
    상기 이미지 복구부는 상기 거리 측정부에서 측정된 거리에 대응하는 측정행렬을 이용하여 이미지를 복구하고,
    상기 이미지 복구부는 상기 디지털 신호처리기법을 이용하여 각 측정행렬 별로 추정 희소화 계수를 추출하는 추정 희소화 계수 추출부, 및 상기 추정 희소화 계수 추출부에서 추출된 상기 추정 희소화 계수로부터 상기 추정 픽셀의 광량정보를 추출하는 추정 픽셀의 광량정보 추출부를 포함하고,
    상기 거리 측정부는 상기 추정 희소화 계수 및 상기 추정 픽셀의 광량정보에 기초하여 상기 물체까지의 거리를 측정하는
    촬상장치.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 거리 측정부에는,
    상기 추정 픽셀의 광량정보를 이용하여 복구된 이미지의 에너지를 추출하는 복구신호의 에너지 추출부; 및
    상기 복구신호의 에너지가 높은 복구신호를 제공하는 측정행렬이 획득된 거리를 이용하여, 상기 물체의 거리를 측정하는 고 에너지 추출부가 포함되는 촬상장치.
  5. 제 4 항에 있어서,
    상기 고 에너지 추출부는, 상기 복구신호의 에너지를 정규화하여 비교하여 추출하는 촬상장치.
  6. 제 1 항에 있어서,
    상기 희소표현을 이용하는 디지털 신호처리기법은, 대체방향방법, 심플렉스법, 기울기강하법, 이차미분법, 및 L1놈 최적화 방법 중의 어느 하나로 수행되는 촬상장치.
  7. 제 1 항에 있어서,
    상기 이미지 복구부는, 상기 각 측정행렬이 모인 단일의 측정행렬 집합을 한꺼번에 이용하는 촬상장치.
  8. 제 1 항에 있어서,
    상기 측정된 거리에 대응하는 측정행렬로 복구된 이미지는, 상기 추정 픽셀의 광량정보을 이용하는 촬상장치.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 획득된 거리가 서로 다른 적어도 두 개의 측정행렬을 이용하여, 겹눈으로 획득된 물체의 감지 이미지로부터 추정 희소화 계수를 구하는 것;
    상기 추정 희소화 계수를 이용하여 추정 픽셀의 광량정보를 추출하는 것;
    적어도 상기 각 측정행렬 별로 추정되는 추정 픽셀의 광량정보 및 감지이미지를 이용하여 잔류 놈을 추출하는 것;
    상기 각 측정행렬 별로 추출된 잔류 놈을 비교하여 잔류 놈이 가장 작은 측정행렬에 기초하여 상기 물체의 거리를 측정하는 것; 및
    상기 측정된 거리에 대응하는 측정행렬을 이용하여 이미지를 복구하는 것을 포함하고,
    상기 물체의 거리를 측정하는 것은,
    상기 적어도 두개의 측정행렬을 이용하여, 각 측정행렬별로 희소표현을 이용하는 디지털 신호처리기법을 이용하여 각 측정행렬 별로 추정 희소화 계수를 추출하고, 상기 추출된 상기 추정 희소화 계수로부터 상기 추정 픽셀의 광량정보를 추출하는 것 및 상기 추정 희소화 계수 및 상기 추정 픽셀의 광량정보에 기초하여 상기 물체까지의 거리를 측정하는 것이 포함되는
    거리측정방법.
  13. 삭제
  14. 삭제
  15. 제 12 항에 있어서,
    상기 거리를 측정하는 것은,
    상기 추정 픽셀의 광량정보를 이용하여 복구신호의 에너지를 추출하는 것; 및
    상기 복구신호의 에너지가 높은 복구신호를 제공하는 측정행렬이 획득된 거리를 이용하여, 상기 물체의 거리를 측정하는 것이 포함되는 거리측정방법.
  16. 제 12 항에 있어서,
    상기 물체는 거리가 다른 적어도 두 개의 물체의 거리가 함께 측정될 수 있는 거리측정방법.
KR1020160099298A 2016-08-04 2016-08-04 촬상장치, 촬상방법, 거리측정장치, 및 거리측정방법 KR101865126B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160099298A KR101865126B1 (ko) 2016-08-04 2016-08-04 촬상장치, 촬상방법, 거리측정장치, 및 거리측정방법
US15/669,554 US10484585B2 (en) 2016-08-04 2017-08-04 Image sensing apparatus, image sensing method, distance measuring apparatus, and distance measuring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160099298A KR101865126B1 (ko) 2016-08-04 2016-08-04 촬상장치, 촬상방법, 거리측정장치, 및 거리측정방법

Publications (2)

Publication Number Publication Date
KR20180015830A KR20180015830A (ko) 2018-02-14
KR101865126B1 true KR101865126B1 (ko) 2018-06-08

Family

ID=61069765

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160099298A KR101865126B1 (ko) 2016-08-04 2016-08-04 촬상장치, 촬상방법, 거리측정장치, 및 거리측정방법

Country Status (2)

Country Link
US (1) US10484585B2 (ko)
KR (1) KR101865126B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101638022B1 (ko) * 2015-09-21 2016-07-12 광주과학기술원 다수의 렌즈를 이용한 촬상장치
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010048553A (ja) * 2006-12-19 2010-03-04 Panasonic Corp 複眼測距装置の検査方法およびそれに用いるチャート
JP2010096723A (ja) * 2008-10-20 2010-04-30 Funai Electric Co Ltd 物体の距離導出装置
KR20130059813A (ko) * 2011-11-29 2013-06-07 엘지이노텍 주식회사 거리 측정 장치 및 시스템
KR101638022B1 (ko) * 2015-09-21 2016-07-12 광주과학기술원 다수의 렌즈를 이용한 촬상장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9019503B2 (en) * 2010-04-19 2015-04-28 The United States Of America, As Represented By The Secretary Of The Navy MEMS microdisplay optical imaging and sensor systems for underwater and other scattering environments
US8655094B2 (en) * 2011-05-11 2014-02-18 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Photogrammetry system and method for determining relative motion between two bodies
US9613285B2 (en) * 2012-03-22 2017-04-04 The Charles Stark Draper Laboratory, Inc. Compressive sensing with local geometric features
US9380221B2 (en) * 2013-02-27 2016-06-28 Massachusetts Institute Of Technology Methods and apparatus for light field photography
US9869753B2 (en) * 2014-08-15 2018-01-16 Quanergy Systems, Inc. Three-dimensional-mapping two-dimensional-scanning lidar based on one-dimensional-steering optical phased arrays and method of using same
TWI551846B (zh) * 2015-04-22 2016-10-01 原相科技股份有限公司 感測元件及光學測距系統
KR101659240B1 (ko) 2015-11-04 2016-09-22 삼성전기주식회사 렌즈 모듈
KR102534670B1 (ko) * 2016-08-24 2023-05-22 아우스터, 인크. 필드 내에서 거리 정보를 수집하기 위한 광학 시스템
US10574967B2 (en) * 2017-03-23 2020-02-25 The Boeing Company Autonomous performance of an operation on an object using a generated dense 3D model of the object

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010048553A (ja) * 2006-12-19 2010-03-04 Panasonic Corp 複眼測距装置の検査方法およびそれに用いるチャート
JP2010096723A (ja) * 2008-10-20 2010-04-30 Funai Electric Co Ltd 物体の距離導出装置
KR20130059813A (ko) * 2011-11-29 2013-06-07 엘지이노텍 주식회사 거리 측정 장치 및 시스템
KR101638022B1 (ko) * 2015-09-21 2016-07-12 광주과학기술원 다수의 렌즈를 이용한 촬상장치

Also Published As

Publication number Publication date
US10484585B2 (en) 2019-11-19
US20180041673A1 (en) 2018-02-08
KR20180015830A (ko) 2018-02-14

Similar Documents

Publication Publication Date Title
Eltner et al. Analysis of different methods for 3D reconstruction of natural surfaces from parallel‐axes UAV images
US8582805B2 (en) Synthetic foveal imaging technology
US8587686B1 (en) Hybrid differential optical sensing imager
EP2926543B1 (en) A method of calibrating a camera and a system therefor
JP6858415B2 (ja) 海面計測システム、海面計測方法および海面計測プログラム
KR101865126B1 (ko) 촬상장치, 촬상방법, 거리측정장치, 및 거리측정방법
Baptista et al. A new and practical method to obtain grain size measurements in sandy shores based on digital image acquisition and processing
KR101692428B1 (ko) 다수의 렌즈를 이용한 촬상장치
KR101638022B1 (ko) 다수의 렌즈를 이용한 촬상장치
Elhabiby et al. Second generation curvelet transforms Vs Wavelet transforms and Canny edge detector for edge detection from worldview-2 data
Kowalczyk et al. Application of mathematical morphology operations for simplification and improvement of correlation of images in close-range photogrammetry
Wang et al. Terra MODIS band 5 Stripe noise detection and correction using MAP-based algorithm
Ambikumar et al. Extending the depth of field in microscopy: A review
Gao et al. Gradient based interpolation for division of focal plane polarization imaging sensors
Xu et al. A correlation-based interpolation algorithm for division-of-focal-plane polarization sensors
Karnaukhov et al. Analysis of linear distortion characteristics in problems of restoration of multispectral images
Nielsen et al. Kernel principal component and maximum autocorrelation factor analyses for change detection
Shankar et al. Ultra-thin multiple-channel LWIR imaging systems
CN111222544B (zh) 一种卫星颤振对相机成像影响的地面模拟测试系统
Türkmenoğlu et al. On-orbit modulation transfer function estimation For RASAT
Li et al. A combined global and local approach for automated registration of high-resolution satellite images using optimum extrema points
Hussein et al. Characterization of the sources of degradation in remote sensing satellite images
KR20160082659A (ko) 다채널 연속 촬영 영상을 이용한 구조물의 입체적인 진동 자동 측정 방법
Anand et al. Techniques for pixel based image fusion of real image
Ma et al. A Self-Calibration Method of Linear-Array CCD with Asynchronous Image for Optical Satellite

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right