KR102565513B1 - 다중 기술 심도 맵 취득 및 융합을 위한 방법 및 장치 - Google Patents

다중 기술 심도 맵 취득 및 융합을 위한 방법 및 장치 Download PDF

Info

Publication number
KR102565513B1
KR102565513B1 KR1020177019335A KR20177019335A KR102565513B1 KR 102565513 B1 KR102565513 B1 KR 102565513B1 KR 1020177019335 A KR1020177019335 A KR 1020177019335A KR 20177019335 A KR20177019335 A KR 20177019335A KR 102565513 B1 KR102565513 B1 KR 102565513B1
Authority
KR
South Korea
Prior art keywords
depth
sensing
depth map
map
depth sensing
Prior art date
Application number
KR1020177019335A
Other languages
English (en)
Other versions
KR20170106325A (ko
Inventor
알브레히트 요하네스 린드너
칼린 미트코브 아타나소브
세르지우 라두 고마
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20170106325A publication Critical patent/KR20170106325A/ko
Application granted granted Critical
Publication of KR102565513B1 publication Critical patent/KR102565513B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/507—Depth or shape recovery from shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

하나 이상의 개개의 심도 맵들로부터 융합된 심도 맵을 생성하기 위한 시스템들, 장치, 및 방법들로서, 융합된 심도 맵은 심도 맵 내의 포인트들에 대한 강건한 심도 추정을 제공하도록 구성된다. 방법들, 장치, 또는 시스템들은 시야 (FOV) 의 이미지를 캡처하고 그리고 제 1 심도 센싱 방법을 선택하도록 구성된 이미징 디바이스의 FOV 를 식별하는 컴포넌트들을 포함할 수도 있다. 시스템 또는 방법은 제 1 선택된 심도 센싱 방법을 이용하여 이미징 디바이스에 대한 FOV 의 심도를 센싱하고 그리고 제 1 선택된 심도 센싱 방법의 센싱된 심도에 기초하여 FOV 의 제 1 심도 맵을 생성할 수도 있다. 시스템 또는 방법은 또한, 하나 이상의 부정확한 심도 측정들을 갖는 제 1 심도 맵의 하나 이상의 포인트들의 영역을 식별하고 그리고 추가적인 심도 센싱이 필요한지를 결정할 수도 있다.

Description

다중 기술 심도 맵 취득 및 융합을 위한 방법 및 장치{METHOD AND APPARATUS FOR MULTIPLE TECHNOLOGY DEPTH MAP ACQUISITION AND FUSION}
본 출원은 일반적으로 시야 (field of view; FOV) 의 심도 맵의 생성에 관한 것으로, 보다 구체적으로는, 개별적으로 생성된 심도 맵들에 의해 도입될 수도 있는 약점들을 보상하도록 구성되는 FOV 의 융합된 또는 집성 심도 맵을 자동으로 생성하기 위한 시스템들, 방법들, 및 디바이스들에 관한 것이다.
사용자들은 종종 사진 또는 비디오에서, 그들이 캡처하고 싶어하는 순간들 또는 이벤트들을 경험하고, 예를 들어, 자식의 첫걸음 또는 첫마디, 졸업식, 경치가 좋은 뷰, 또는 결혼식을 후일에 및/또는 나중에 리뷰한다. 종종, 이들 순간들 또는 이벤트들은 정적일 수도 있고 그들의 발생은 일반적으로 예측가능하며 (예를 들어, 결혼식, 졸업식, 고요한 풍경, 또는 초상화) 이미징 장비, 예를 들어, 카메라, 비디오 레코더, 또는 스마트폰 등을 활용하여 사용자에 의해 특정 심도에서 완전히 캡처될 수도 있다. 그러나, 때때로 적절한 시기에 특정 심도에서 오브젝트들 또는 이벤트들을 가진 장면들을 캡처하는 것은, 특히 그 장면이 움직이는 오브젝트들을 포함하는 경우나 또는 카메라가 패닝되는 경우에, 도전과제를 제시할 수도 있다. 예를 들면, 한 무리의 나무들을 통해 날아가는 새를 캡처하는 것 또는 카메라가 아이와 함께 패닝해야 하는 동안에 걷는 아이를 캡처하는 것. 이것은, 적어도 부분적으로, FOV 의 심도 맵을 생성하는데 있어서 이미징 장비가 가질 수도 있는 어려움으로 인한 것일 수도 있다. 심도 맵핑 시스템은 타겟 오브젝트의 상대적 심도를 결정하는데 이용될 수도 있고 다수의 프로세스들, 그 중에서도, 예를 들어 오토 포커싱, 오브젝트 검출, 얼굴 인식 중 임의의 것을 제어하는데 이용될 수도 있다. 이에 따라, 정확하고 신뢰가능한 심도 맵을 생성하는데 있어서의 어려움들은 그의 기능들에서 심도 맵핑 시스템을 이용하는 이미징 디바이스에 대해 어려움들을 야기할 수도 있다. 이에 따라, 이미징 장비에서의 이용을 위한 장면의 심도 맵의 생성을 용이하게 하기 위한 시스템들 및 방법들이 유익할 것이다.
본 발명의 시스템들, 방법들, 및 디바이스들 각각은 여러 양태들을 가지며, 그 양태들 중 어떤 단일의 양태도 그의 바람직한 속성들을 단독으로 담당하지는 않는다. 본 명세서에서 개시된 구현들 각각은 여러 혁신적인 양태들을 가지며, 그 양태들 중 어떤 단일의 양태도 본 발명의 바람직한 속성들을 단독으로 담당하지는 않는다. 다음에 오는 청구항들에 의해 표현한 바와 같이 본 발명의 범위를 제한함 없이, 일부 피처들이 이제 간략하게 논의될 것이다. 이 논의를 고려한 후에, 그리고 특히 "상세한 설명" 이란 제목이 붙여진 섹션을 읽은 후에, 본 발명의 다양한 실시형태들의 피처들이 향상된 캡처를 포함하거나 또는 원하는 심도에서 프레임에서의 타겟 오브젝트들을 식별하는 이점들을 제공하는 방법을 이해할 것이다.
본 개시에서 설명된 요지의 하나의 양태는 심도 맵을 생성하기 위한 장치를 제공한다. 장치는 이미지 캡처 디바이스의 시야 (FOV) 의 이미지를 센싱 및 레코딩하도록 구성된 이미지 캡처 디바이스 (또는 이미징 디바이스) 를 포함한다. 이미지 캡처 디바이스는 이미지 캡처 디바이스의 FOV 에서의 장면을 나타내는, 복수의 픽셀들을 포함하는 이미지를 전자적으로 레코딩하도록 구성된 적어도 하나의 센서를 포함한다. 일부 실시형태들은 하나보다 더 많은 센서를 포함할 수도 있다. 장치 (및 본 명세서에서 설명된 방법들) 는 복수의 "심도 센싱 모듈들" 을 더 포함할 수도 있고, 그 심도 센싱 모듈들의 각각은 소정의 프로세싱 기법들을 이용하여 시야의 심도 맵을 생성하도록 구성된다. 이러한 심도 센싱 모듈들은 예를 들어, 소프트웨어 모듈들, 하드웨어에서 구현된 기능성, 또는 양자의 조합일 수도 있다. 다시 말해서, "심도 센싱 모듈들" 은 본 명세서에서 사용한 바와 같이, 이미지 캡처 디바이스의 FOV 의 적어도 부분의 심도 정보를 결정하기 위한 액션들을 수행하는, 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어 양자 모두에서 구현된 기능성을 지칭할 수도 있다. 심도 정보는 예를 들어, 센서 (또는 이미지 캡처 디바이스의 다른 부분) 로부터 이미지 캡처 디바이스의 FOV (또는 그 일부) 에서의 다양한 오브젝트들, 피처들 또는 백그라운드까지의 거리를 표시하는 정보를 포함할 수도 있다. 이미지 캡처 디바이스는 복수의 심도 센싱 모듈들의 각각에 대해 시야의 심도 맵들을 생성하도록 구성된 컴포넌트들을 포함하거나, 또는 이러한 컴포넌트들에 접속되고 및/또는 이러한 컴포넌트들과 통신하고 있을 수도 있다. 장치는 또한 프로세싱 시스템을 포함한다. 프로세싱 시스템은 복수의 심도 센싱 모듈들로부터 제 1 심도 센싱 모듈을 선택하고 제 1 선택된 심도 센싱 모듈을 이용하여 이미징 디바이스의 시야의 제 1 심도를 센싱하도록 구성된다. 프로세싱 시스템은 또한, 제 1 선택된 심도 센싱 모듈의 제 1 센싱된 심도에 기초하여 시야의 제 1 심도 맵을 생성하도록 구성된다. 제 1 심도 맵은 시야에서의 모든 포인트에 대한 심도 측정을 포함하고 제 1 심도 맵에서 하나 이상의 부정확한 심도 측정들을 갖는 제 1 심도 맵의 하나 이상의 포인트들의 영역을 식별한다. 프로세싱 시스템은, 하나 이상의 부정확한 심도 측정들을 갖는 하나 이상의 포인트들을 갖는 영역의 식별에 기초하여 복수의 심도 센싱 모듈들 중 제 2 선택된 심도 센싱 모듈을 통한 추가적인 심도 센싱이 보장되는지를 결정하도록 구성된다.
본 개시에서 설명된 요지의 다른 양태는 심도 맵을 생성하기 위한 방법을 제공한다. 방법은 이미징 디바이스의 시야를 식별하는 단계를 포함한다. 이미징 디바이스는 시야의 적어도 하나의 이미지를 캡처하도록 구성된다. 방법은 복수의 심도 센싱 방법들로부터 제 1 심도 센싱 방법을 선택하는 단계를 더 포함한다. 방법은 또한, 제 1 선택된 심도 센싱 방법을 이용하여 이미징 디바이스의 시야의 제 1 심도를 센싱하는 단계 및 제 1 선택된 심도 센싱 방법의 센싱된 심도에 기초하여 적어도 하나의 시야의 제 1 심도 맵을 생성하는 단계를 포함한다. 제 1 심도 맵은 시야에서의 모든 포인트에 대한 심도 측정을 포함한다. 방법은 또한, 제 1 심도 맵에서 하나 이상의 부정확한 심도 측정들을 갖는 제 1 심도 맵의 하나 이상의 포인트들의 영역을 식별하는 단계를 포함한다. 방법은, 하나 이상의 부정확한 심도 측정들을 갖는 하나 이상의 포인트들을 갖는 영역의 식별에 기초하여 제 2 선택된 심도 센싱 방법을 통한 추가적인 심도 센싱이 보장되는지를 결정하는 단계를 더 포함한다.
설명된 요지의 다른 양태는 심도 맵을 생성하기 위한 다른 장치를 제공한다. 장치는 시야의 이미지 캡처 수단을 포함한다. 장치는 시야의 심도를 센싱하도록 각각 구성되는 복수의 심도 센싱 수단 및 복수의 심도 센싱 수단으로부터 제 1 심도 센싱 수단을 선택하기 위한 수단을 더 포함한다. 장치는 또한, 제 1 선택된 심도 센싱 수단을 이용하여 이미지 캡처 수단의 시야의 제 1 심도를 센싱하기 위한 수단 및 제 1 선택된 심도 센싱 수단의 센싱된 심도에 기초하여 시야의 제 1 심도 맵을 생성하기 위한 수단으로서, 제 1 심도 맵은 시야에서의 모든 포인트에 대한 심도 측정을 포함하는, 상기 제 1 심도 맵을 생성하기 위한 수단을 포함한다. 장치는 또한, 제 1 심도 맵에서 하나 이상의 부정확한 심도 측정들을 갖는 제 1 심도 맵의 하나 이상의 포인트들의 영역을 식별하기 위한 수단을 포함한다. 장치는, 하나 이상의 부정확한 심도 측정들을 갖는 영역의 식별에 기초하여 복수의 심도 센싱 수단의 제 2 선택된 심도 센싱 수단을 통한 추가적인 심도 센싱이 보장되는지를 결정하기 위한 수단을 더 포함한다.
상기 언급된 양태들 뿐만 아니라 본 기술의 다른 피처들, 양태들, 및 이점들이 이제 첨부한 도면들을 참조하여, 다양한 실시형태들과 관련하여 설명될 것이다. 예시된 실시형태들은, 그러나, 단지 예들일 뿐이고 제한하는 것으로 의도되지 않는다. 도면들 전반에 걸쳐, 유사한 심볼들은 문맥에 다르게 규정되어 있지 않는 한, 통상적으로 유사한 컴포넌트들을 식별한다. 다음의 도면들의 상대적 치수들은 일정 비율로 그려지지 않을 수도 있다는 것에 유의한다.
도 1a 는 예시적인 실시형태에 따른, 이미지 캡처 시스템의 FOV 의 심도 맵을 생성하도록 구성된 스테레오 카메라 시스템의 단순화된 블록 다이어그램을 예시한다.
도 1b 는 예시적인 실시형태에 따른, 셰이딩으로부터의 심도 시스템을 이용하여 이미지 캡처 시스템의 FOV 의 심도 맵을 생성하도록 구성된 이미지 캡처 시스템의 단순화된 블록 다이어그램을 예시한다.
도 1c 는 예시적인 실시형태에 따른, 구조광 시스템을 이용하여 이미지 캡처 시스템의 FOV 의 심도 맵을 생성하도록 구성된 이미지 캡처 시스템의 단순화된 블록 다이어그램을 예시한다.
도 2 는 본 명세서에서 설명된 사용 사례들에 대한, 예시적인 실시형태에 따른, 독립적인 또는 융합된 심도 맵들을 생성하는데 이용될 수도 있는 이미지 캡처 디바이스의 하나의 실시형태의 블록 다이어그램을 예시한다.
도 3 은 예시적인 실시형태에 따른, 도 2 의 이미지 캡처 디바이스의 컴포넌트들이 스테레오 카메라, 셰이딩으로부터의 심도, 또는 구조광 시스템들 중 적어도 하나를 이용하여 하나 이상의 심도 맵들을 생성하기 위해 이용될 수도 있기 때문에 그 컴포넌트들을 묘사하는 차트를 예시한다.
도 4 는 예시적인 실시형태에 따른, 심도 맵을 생성하고 그것을 필요에 따라 추가적인 심도 맵과 융합하기 위한 예시적인 방법을 구체화하는 플로우 차트를 예시한다.
상세한 설명
신규한 시스템들, 장치들, 및 방법들의 다양한 양태들이 첨부한 도면들을 참조하여 아래에 보다 완전히 설명된다. 본 개시는, 그러나, 다수의 상이한 형태들로 구체화될 수도 있고 본 개시 전반에 걸쳐 제시된 임의의 특정 구조 또는 기능에 제한되는 것으로서 해석되지 않아야 한다. 오히려, 이들 양태들은 본 개시가 철저하고 완전할 수도 있고 당업자들에게 본 개시의 범위를 완전히 전달할 수도 있도록 제공된다. 본 명세서의 교시들에 기초하여 당업자는 본 개시의 범위가 본 발명의 임의의 다른 양태에 독립적으로 구현되든, 또는 본 발명의 임의의 다른 양태와 결합되든 간에, 본 명세서에서 개시된 신규한 시스템들, 장치들, 및 방법들의 임의의 양태를 커버하도록 의도된다는 것을 인식해야 한다. 예를 들어, 본 명세서에 기재된 임의의 수의 양태들을 이용하여 장치가 구현될 수도 있거나 또는 방법이 실시될 수도 있다. 추가로, 본 발명의 범위는 본 명세서에 기재된 본 발명의 다양한 양태들에 더하여 또는 그 다양한 양태들 이외의 다른 구조, 기능성, 또는 구조 및 기능성을 이용하여 실시되는 그러한 장치 또는 방법을 커버하도록 의도된다. 본 명세서에서 개시된 임의의 양태는 청구항의 하나 이상의 엘리먼트들에 의해 구체화될 수도 있는 것으로 이해되어야 한다.
특정한 양태들이 본 명세서에서 설명되지만, 이들 양태들의 많은 변동들 및 치환들이 본 개시의 범위에 포함된다. 선호된 양태들의 일부 이익들 및 이점들이 언급되지만, 본 개시의 범위는 특정한 이익들, 용도들, 또는 목적들에 제한되도록 의도되지 않는다. 상세한 설명 및 도면들은 첨부된 청구항들 및 그 등가물들에 의해 정의된 본 개시의 범위를 제한하기 보다는 본 개시의 단지 예시가 될 뿐이다.
사진에서, 사용자는 이미징 디바이스의 시야 (FOV) 에서, 캡처된 장면 내의 다양한 심도들에서 오브젝트들 또는 이벤트들을 포함하는, 이미지들을 캡처하길 원할 수도 있다. 이미징 장비가 이용되는 것에 의존하여, 타겟 오브젝트 또는 장면 또는 FOV 의 심도 맵 (심도 추정치) 을 결정하기 위한 하나 이상의 방법들이 오토포커싱, 포어/백그라운드 분리, 얼굴 인식 또는 검출, 3D 스캐닝, 자동 실내/실외 로케이션 검출, 프레임 내의 오브젝트 검출, 및 많은 다른 피처들과 같은 피처들을 가능하게 하는데 이용될 수도 있다. 그러나, 심도 맵들을 생성하기 위한 다양한 시스템들은 상이한 단점들을 가질 수도 있다. 예를 들어, 일부 시스템들은 계산 집약적이거나 또는 복잡한 알고리즘들을 활용할 수도 있다. 일부 시스템들은 심도 맵을 생성하기 위해 이용되는 다양한 컴포넌트들, 예를 들어, 다수의 플래시 전구 컴포넌트들 또는 다수의 카메라들 또는 옵틱스 (optics) 에 공급될 추가적인 전력을 활용할 수도 있다. 대안적으로, 다수의 이미지 캡처 시스템들이 심도 맵을 생성하기 위해 요구될 수도 있으며, 이는 추가적인 계산 처리량을 요구할 수도 있거나, 또는 FOV 에 추가적인 노출 시간을 요구할 수도 있다. 이에 따라, 이용가능한 심도 맵핑 시스템들 중 하나 이상은 이미징 장비의 상태 또는 환경에 의존하여 적절하거나 이용가능하지 않을 수도 있다.
사용자가 이미징 장비를 능동으로 모니터링하고 있고 이미징 장비를 수동으로 제어하고 있을 때, 사용자는 타겟 오브젝트가 시야 (FOV) 에서 원하는 심도에 있을 때 타겟 오브젝트의 이미지를 캡처하거나 또는 타겟 오브젝트가 포커스에 있을 때 장면을 캡처하는 것이 가능할 수도 있다. 그러나, 이미징 장비를 수동으로 제어할 때에도, 원하는 심도에서 타겟 오브젝트를 캡처하는 것은, 장면이 다수의 움직이는 오브젝트들을 포함할 때 또는 이미징 장비가 패닝중인 경우 (예를 들어, 타겟 오브젝트를 뒤따르도록 이동되거나 또는 타겟 오브젝트를 검출하도록 이동되는 경우), 또는 디폴트 또는 선택된 심도 맵핑 방법에 의해 생성된 심도 맵이 전적으로 정확한 것은 아닌 경우에 어려울 수도 있다. 추가적으로, 사용자가 주어진 환경 및 대상 (subject matter) 에 이용할 최상의 심도 맵핑 시스템을 결정하는 것은 어려울 수도 있거나, 또는 이미징 장비는 캡처된 FOV 의 불완전하게 전개된 심도 맵들을 생성할 수도 있다. 예를 들어, 장비는 밀접하게 스페이싱된 스테레오 옵틱스를 포함할 수도 있고, 이는 이미징 장비로부터 상당한 거리 (예를 들어, 10 미터 초과) 에서 FOV 내의 오브젝트들에 대한 심도 맵을 효과적으로 그리고 신뢰가능하게 제공하는 것이 불가능할 수도 있다.
사용자가 이미징 장비를 능동으로 제어중이지 않을 때, 예를 들어, 이미징 장비가 이미지들을 자동으로 캡처하도록 셋업될 때, 정확하고 신뢰가능한 심도 맵을 이용한 FOV 의 캡처는, 특히 이미징 장비가 단일의 심도 맵핑 방법 또는 시스템을 포함하는 경우에 더욱 복잡해질 수도 있다. 불행히도, 이미징 장비에 의해 생성된 심도 맵들은 오토포커싱, 포어/백그라운드 분리, 얼굴 검출/인식, 3D 스캐닝, 오브젝트 검출, 로케이션 검출, 및 자동화 이미징 장비의 다양한 다른 피처들에 의한 이용을 위해 불충분한 정보를 포함할 수도 있다. 이것은 단일의 심도 맵핑 방법 또는 시스템이 다양한 환경들에서 FOV 의 심도를 정확하게 그리고 신뢰가능하게 결정하는 어려움으로 인한 것일 수도 있다. FOV 의 심도를 정확하게 그리고 신뢰가능하게 결정하는 것은 FOV 에서의 각각의 오브젝트에 대한 정확한 심도를 표시하는 FOV 에 대한 심도 맵을 생성하는 것이 가능한 것을 포함할 수도 있다. 일부 실시형태들에서, 정확하고 신뢰가능한 심도 맵은 FOV 에서의 오브젝트들의 75% 에 대해 정확한 심도를 표시할 수도 있다. 일부 실시형태들에서, 정확하고 신뢰가능한 심도 맵은 FOV 에서의 오브젝트들의 90% 에 대해 정확한 심도를 표시할 수도 있다. 일부 실시형태들에서, 사용자는 정확하고 신뢰가능한 심도 맵들에 대응할 FOV 내의 오브젝트들에 대한 정확한 심도 측정들의 퍼센티지를 선택 및/또는 결정할 수도 있다. 정확하고 신뢰가능한 심도는 1 미터의 거리에서 1cm 내에 있는 것으로서 측정될 수도 있다. 일부 실시형태들에서, 사용자는 정확하고 신뢰가능한 심도들에 대한 범위들 및 측정치들을 선택 및/또는 결정할 수도 있다.
심도 맵들을 생성하는 상이한 시스템들의 정확도 및 신뢰도는 가변할 수도 있다. 예를 들어, 제한된 외부 조명을 가진 10'×10' 실내 룸 내에서 기능하도록 구성된 심도 맵핑 시스템을 갖는 밀접하게-스페이싱된 스테레오 카메라 시스템은 구조광 심도 맵핑 시스템이 실외 장면들을 위해 구성될 때 20 미터의 거리에서 타겟 오브젝트를 가진 실외 장면에서의 심도 맵을 정확하거나 또는 신뢰가능한 것으로서 제공하지 않을 수도 있다. 따라서, FOV 에 의존하여, FOV 의 심도 맵을 생성하는 상이한 시스템들 또는 방법들 중 하나 이상은 FOV 의 심도 맵을 생성하는 다른 시스템들 또는 방법들보다 더 정확하고 신뢰가능할 수도 있다. 추가적으로, 심도 맵들을 생성하는 상이한 시스템들 또는 방법들의 각각은 상이한 단점들을 가질 수도 있다. 예를 들어, 셰이딩으로부터의 심도 시스템 (depth from shading system) 의 단점은 스테레오 카메라 시스템의 단점과는 상이할 수도 있다.
심도 맵들을 생성하기 위해 이용될 수도 있는 상이한 방법들의 내재하는 한계들 및 단점들을 고려해 볼 때, 다양한 프로세스들 또는 구성들이 원하는 심도에서 타겟 오브젝트를 캡처할 가능성을 향상시키기 위해 시도될 수도 있다. 일부 실시형태들에서, 원하는 심도에서 타겟 오브젝트의 이미지를 캡처하기 위하여, 이미징 장비는 계속하여 다수의 프레임들을 캡처 (예를 들어, 단일-카메라 멀티-샷, 또는 버스트의 프레임 캡처들, 모드를 구현) 하도록 구성될 수도 있다. 이미징 장비는 타겟 오브젝트가 이미징 장비의 심도 맵핑 시스템이 결정할 수 있는 만큼 최상으로 이상적인 심도에 가까울 때 멀티-샷 버스트를 시작할 수도 있다. 그러나, 이러한 멀티-샷 구현들은 다수의 프레임들을 캡처하고 그들을 사용자 리뷰를 위해 메모리에 저장하기 위해 메모리 및 프로세싱 시간 및 전력에 있어서 상당한 오버헤드를 요구한다. 추가적으로, 이러한 멀티-샷 버스트들은 원하는 오브젝트 또는 액션을 전부 캡처하는 것을 보장할 수 없다. 대안적으로, 타겟 오브젝트는 프레임에서 캡처될 수도 있지만 원하는 심도에서 캡처되지 않을 수도 있다. 원하는 오브젝트 또는 액션이 원하는 심도에서 멀티-샷 버스트의 프레임에서 캡처되면, 멀티-샷 구현은 타겟 오브젝트에 적절히 포커싱하지 않고 그 대신에 프레임에서의 백그라운드 또는 다른 오브젝트에 포커싱할 수도 있거나, 또는 특히 타겟 오브젝트가 이동중인 경우 및/또는 이미징 장비가 이동중인 경우 FOV 에서의 어떤 오브젝트에도 포커싱하지 않을 수도 있다. 단일의 심도 맵핑 시스템을 갖는 시스템에 존재할 수도 있는 기술적 어려움들에 더하여, 사용자 및/또는 이미징 장비는, 캡처된 프레임들을 리뷰하고 만약 있다면 어느 프레임이 원하는 심도에서 그리고 적절히 멀티-샷 버스트의 모든 캡처된 프레임들의 포커스에서 타겟 오브젝트를 캡처했는지를 결정하기 위해 시간을 소비한다.
일부 실시형태들에서, 이미징 장비는 개개의 심도 맵들을 생성하기 위한 다수의 시스템들을 포함할 수도 있다. 예를 들어, 이미징 장비는 그 중에서도, 스테레오 버전 심도 맵핑이 가능한 시스템, 구조광 심도 맵핑이 가능한 시스템, 및 셰이딩으로부터의 심도 맵핑이 가능한 시스템을 포함할 수도 있다. 추가적으로, 이미징 장비는 개개의 심도 맵들을, 대다수의 정확하고 신뢰가능한 영역들을 단일의 융합된 심도 맵에 제공할 수도 있는 결합된 심도 맵에 동적으로 융합하도록 구성된 융합 시스템을 포함할 수도 있다. 융합된 심도 맵은 단일의 심도 맵들 중 임의의 것의 한계들을 극복할 수도 있다. 단일의 심도 맵에 융합될 때, 각 개개의 심도 맵은 다른 심도 맵들이 실패할 수도 있거나 또는 부정확하거나 신뢰가능하지 않을 (또는 덜 정확하거나 또는 덜 신뢰가능할) 수도 있는 시나리오들 및 용도들에 대해 최적화될 수도 있고, 따라서 각 개개의 심도 맵이 그 강도들에 따라 이용되는 것을 허용하고 그의 약점을 무시할 수도 있다.
이에 따라, 이미징 장비는 FOV 의 복수의 심도 맵들을 생성하는데 필요한 컴포넌트들 또는 장비를 포함할 수도 있다. 예를 들어, 상기 설명한 바와 같이, 스테레오 비전을 이용하여 심도 맵을 생성하기 위한 컴포넌트들은 2 개의 이미징 센서들 (또는 카메라들 또는 옵틱스) 및 단일의 광원을 포함할 수도 있고, 셰이딩을 이용하여 심도 맵을 생성하기 위한 컴포넌트들은 2 개의 광원들 및 단일의 이미징 센서를 포함할 수도 있고, 구조광을 이용하여 심도 맵을 생성하기 위한 컴포넌트들은 단일의 구조광원 (structured light source) 및 단일의 이미징 센서를 포함할 수도 있다. 광원들 및 이미징 센서들에 더하여, 심도 맵들을 생성하기 위한 개개의 시스템들의 각각은 캡처된 FOV 또는 장면에서의 각각의 포인트에 대한 심도를 측정하고 이미징 센서(들)에 의해 캡처된 데이터로부터 연관된 심도 맵들을 생성하도록 구성된 개개의 프로세싱 시스템들 및 회로부를 포함할 수도 있지만, 일부 실시형태들에서, 복수의 심도 맵핑 시스템들은 프로세싱 시스템들 및 회로부를 공유할 수도 있다.
도 1a 는 예시적인 실시형태에 따른, 이미지 캡처 시스템의 시야의 심도 맵을 생성하는데 이용될 수도 있는 스테레오 카메라 시스템 (100) 의 예시적인 블록 다이어그램의 예시를 제공한다. 도 1a 에 도시한 바와 같이, 스테레오 카메라 시스템 (100) 은 복수의 컴포넌트들을 포함할 수도 있다. 복수의 컴포넌트들은 단일의 광원 (105), 제 1 카메라 (110), 및 제 2 카메라 (115) 를 포함한다. 일부 실시형태들에서, 단일의 인클로저는, 인클로저 (120) 로 나타낸 바와 같이, 광원 (105), 제 1 카메라 (110), 및 제 2 카메라 (115) 의 각각을 하우징할 수도 있다. 일부 실시형태들에서, 광원 (105), 제 1 카메라 (110), 및 제 2 카메라 (115) 는 하나보다 더 많은 인클로저에서 하우징될 수도 있고, 여기서 컴포넌트들 중 하나 이상은 스테레오 카메라 시스템 (100) 의 하나 이상의 다른 컴포넌트들로부터 떨어져 스페이싱된다. 제 1 카메라 (110) 및 제 2 카메라 (115) 는 포인트 (127) 로의 포커스 라인들 (126) 을 가지고 도시된다. 이들 포커스 라인들은 제 1 및 제 2 카메라들 (110 및 115) 에 대한 상이한 고정 포인트들을 나타낼 수도 있다. 추가적으로, 거리 (125) 는 2 개의 제 1 및 제 2 카메라들 (110 및 115) 사이에 도시된다. 거리 (125) 는 스테레오 카메라의 심도 계산 또는 맵핑의 범위에 영향을 줄 수도 있다. 예를 들어, 제 1 및 제 2 카메라들 (110 및 115) 이 밀접하게 스페이싱되면, 제 1 및 제 2 카메라들 양자 모두에 의해 캡처된 프레임들 내의 오브젝트들의 인지된 심도는, 제 1 카메라 (110) 와 제 2 카메라 (115) 사이의 거리 (125) 가 큰 경우보다 더 많이 제한될 것이다 (예를 들어, 인지된 심도는 멀리 떨어져 있지 않을 것이다).
상이한 유리한 포인트들로부터 오브젝트 또는 에지를 뷰잉하는 것은 오브젝트 또는 에지를 상이한 로케이션들에 있는 것으로 보이게 할 수도 있다. 예를 들어, 제 1 카메라 (110) 가 포인트 (135) 를 뷰잉할 때, 포인트 (135) 는 동시에 제 2 카메라 (115) 에 의해 뷰잉된 동일한 포인트 (135) 와는 상이한 로케이션에 있는 것으로 보일 수도 있다. 이것은 제 1 카메라 (110) 및 제 2 카메라 (115) 가 상이한 (또는 이질적인) 로케이션들에 있기 때문이다. 이에 따라, 제 1 및 제 2 카메라들 (110 및 115) 에 의존하여, 타겟 오브젝트는 각각 제 1 및 제 2 카메라들 (110 및 115) 의 포지션에 관하여 하나의 방향으로 약간 시프트될 수도 있다. 제 1 카메라 (110) 와 제 2 카메라 (115) 사이의 거리 (125) 및 각각 제 1 및 제 2 카메라들 (110 및 115) 에서의 포인트 (135) 의 결과로 생긴 이미지의 관찰된 디스패리티 (disparity) 를 이용하는 것에 의해, 스테레오 카메라 시스템 (100) 은 제 1 및 제 2 카메라들 (110 및 115) 에 의해 공유된 시야에서의 오브젝트들의 심도 맵을 생성하는 것이 가능할 수도 있다. 이 방법은 제 1 및 제 2 카메라들 (110 및 115) 의 FOV 또는 장면에서의 모든 포인트들에 적용될 수도 있고, 여기서 그 포인트 (135) 는 FOV 또는 장면에서의 모든 포인트들에 배치된다.
이 도면에 도시되어 있지는 않지만, 스테레오 카메라 시스템 (100) 은 이미지를 캡처하고 및/또는 심도 맵을 생성하기 위해 광원 (105), 제 1 카메라 (110), 및 제 2 카메라 (115) 를 제어하도록 구성된 하나 이상의 프로세싱 컴포넌트들을 더 포함할 수도 있다. 일부 실시형태들에서, 이들 하나 이상의 컴포넌트들은 제어기 또는 프로세서를 포함할 수도 있다. 제어기 또는 프로세서는 스테레오 카메라 시스템의 하나 이상의 컴포넌트들을 제어 (즉, 시야의 이미지들을 캡처하기 위해 광원 (105) 및 제 1 및 제 2 카메라들 (110 및 115) 을 활성화) 하고 제 1 및 제 2 카메라들 (110 및 115) 사이에 공유된 FOV 의 심도 맵을 생성하기 위해 각각 제 1 및 제 2 카메라들 (110 및 115) 에 의해 생성된 이미지들을 프로세싱하도록 구성될 수도 있다. 일부 실시형태들에서, 하나 이상의 프로세싱 컴포넌트들은 생성된 심도 맵의 저장을 위한 메모리 (이 도면에는 도시되지 않음) 를 또한 포함할 수도 있다.
스테레오 카메라 시스템 (100) 을 이용한 심도 센싱은 많은 이유들로 유익할 수도 있다. 예를 들어, 스테레오 카메라 시스템 (100) 은 능동으로 또는 수동으로 중 어느 하나로 FOV 의 심도 맵을 생성하도록 구성될 수도 있다. 추가적으로, 일부 실시형태들에서, 스테레오 카메라 시스템 (100) 은 일반적으로 양호한 정확도를 가질 수도 있고 종종 스테레오 카메라 시스템 (100) 에 밀접하게 스페이싱된 FOV 에서의 타겟 오브젝트들의, 스테레오 카메라 시스템 (100) 으로부터 무한한 거리에 스페이싱된 FOV 에서의 그 타겟 오브젝트들에 대한 심도를 결정하는 것이 가능한 범위를 포함할 수도 있다. 그러나, 스테레오 카메라 시스템 (100) 은 관찰된 FOV 의 정확하고 신뢰가능한 심도 맵들을 생성하는 것에 관해 몇몇 부정적인 양태들을 가질 수도 있다. 일부 실시형태들에서, 양호한 정확도의 결정은 스테레오 카메라 시스템 (100) 으로부터 타겟 오브젝트의 거리에 대응할 수도 있으며, 여기서 그 거리가 증가함에 따라, 에러가 증가한다. 또한, 일부 실시형태들에서, 양호한 정확도의 결정은 스테레오 카메라 시스템 (100) 의 이용에 의존할 수도 있다. 예를 들어, 식별과 같은 더 안전한 목적들을 위해 이용될 때, 예를 들어, 모션 검출 등과 같은 덜 안전한 목적들을 위해 이용될 때보다 더 큰 정확도가 요구될 수도 있다.
상기 설명한 바와 같이, 일부 실시형태들에서, 제 1 카메라 (110) 와 제 2 카메라 (115) 사이의 거리 (125) 는 양자의 카메라들 (110 및 115) 에 의해 뷰잉된 오브젝트의 인지된 심도에 영향을 줄 수도 있다. 이에 따라, FOV 에서의 오브젝트들의 인지된 심도는 제 1 및 제 2 카메라들 (110 및 115) 에 의해 캡처된 이미지들로부터 FOV 에 대한 심도 맵을 정확하게 그리고 신뢰가능하게 생성하는 프로세싱 컴포넌트(들)에 대한 능력에 영향을 줄 수도 있다. 따라서, 스테레오 카메라 시스템 (100) 에 의해 생성된 심도 맵은, 제 1 및 제 2 카메라들 (110 및 115) 이 밀접하게 스페이싱될 때 (예를 들어, 거리 (125) 가 작을 때 (예를 들어, 수 밀리미터 떨어져 있음)) 또는 제 1 및 제 2 카메라들 (110 및 115) 이 스테레오 카메라 시스템 (100) 에서 멀리 떨어져 스페이싱될 때 (예를 들어, 거리 (125) 가 더 큼 (예를 들어, 수 인치 이상)) 의 영향을 받기 쉬울 수도 있다 (즉, 덜 정확하고 및/또는 덜 신뢰가능할 수도 있다). 스테레오 카메라 심도 센싱 방법에 관한 하나의 잠재적인 부정은 제 1 및 제 2 카메라들 (110 및 115) 양자 모두가 포인팅되고 포커싱되는 FOV 에서의 포커스 포인트들을 이용한다는 것이다. 이들 장면 의존적 "키 포인트 (key point) 들" 없이, 2 개의 카메라들 (110 및 115) 은, 개별적으로 제 1 카메라 (110) 및 제 2 카메라 (115) 로부터 획득된 이미지들이 FOV 에서의 동일한 타겟 오브젝트 또는 로케이션에 대응하지 않을 수도 있기 때문에 FOV 에서의 오브젝트들의 심도를 결정하는 것이 불가능할 수도 있다.
도 1b 는 예시적인 실시형태에 따른, 시스템의 시야 (FOV) 의 심도 맵을 생성하는데 이용될 수도 있는 셰이딩으로부터의 심도 시스템 (130) 의 예시적인 블록 다이어그램의 예시를 제공한다. 도 1b 에 도시한 바와 같이, 셰이딩으로부터의 심도 시스템 (130) 은 복수의 컴포넌트들을 포함할 수도 있다. 복수의 컴포넌트들은 제 1 광원 (140), 제 2 광원 (145), 및 카메라 (135) 를 포함한다. 일부 실시형태들에서, 단일의 인클로저는, 인클로저 (150) 로 나타낸 바와 같이, 제 1 광원 (140), 제 2 광원 (145), 및 카메라 (135) 의 각각을 하우징할 수도 있다. 일부 실시형태들에서, 제 1 광원 (140), 제 2 광원 (145), 및 카메라 (135) 는 하나보다 더 많은 인클로저에서 하우징될 수도 있고, 여기서 컴포넌트들 중 하나 이상은 셰이딩으로부터의 심도 시스템 (130) 의 하나 이상의 다른 컴포넌트들로부터 떨어져 스페이싱된다. 제 1 광원 (140) 및 제 2 광원 (145) 은 오브젝트 (155) 에서 반사될 수도 있는 광을 생성하는 것으로 도시된다. 카메라 (135) 는 오브젝트 (155) 에서 반사되는 광을 흡수할 수도 있다. 오브젝트 (155) 에서 반사된 광의 세기는 그 광이 다시 이미지 센서 (135) 로 반사되는 표면의 형상에 기초하여 가변할 수도 있다. 따라서, 반사된 광의 세기의 변화들은 광이 반사되었던 오브젝트 (155) 의 표면의 형상 정보를 결정하는데 이용될 수도 있다.
오브젝트 (155) 의 표면의 형상 정보는 오브젝트 (155) 상의 각각의 포인트에 대응하는 표면의 배향을 계산하는 것에 의해 결정될 수도 있다. 셰이딩으로부터의 심도 시스템 (130) 은 오브젝트 (155) 상의 각각의 포인트로부터 반사된 광의 세기를 이용하여 그 포인트 (오브젝트 (155) 의 포인트가 향하고 있는 방향) 에서 오브젝트 (155) 의 표면의 법선 (normal) 을 결정할 수도 있다. 오브젝트 (155) 의 표면의 법선은 오브젝트 (155) 를 그 후 복원하는데 이용될 수도 있다. 그러나, 셰이딩으로부터의 심도 시스템 (130) 은 오브젝트 (155) 의 표면이 매끄럽다는 것을 가정할 수도 있고, 여기서 그 표면의 컨투어 (contour) 들은 오브젝트 (155) 를 복원하는데 있어서 어려움을 증가시킬 수도 있다.
이 도면에 도시되어 있지는 않지만, 셰이딩으로부터의 심도 시스템 (130) 은 이미지를 캡처하고 및/또는 심도 맵을 생성하기 위해 제 1 광원 (140), 제 2 광원 (145), 및 카메라 (135) 를 제어하도록 구성된 하나 이상의 프로세싱 컴포넌트들을 더 포함할 수도 있다. 일부 실시형태들에서, 이들 하나 이상의 컴포넌트들은 제어기 또는 프로세서를 포함할 수도 있다. 제어기 또는 프로세서는 셰이딩으로부터의 심도 시스템 (130) 의 하나 이상의 컴포넌트들을 제어하도록 구성될 수도 있다. 이것은 오브젝트 (155) 를 조명하기 위해 각각 제 1 및 제 2 광원들 (140 및 145) 을 활성화하는 것 및 시야의 이미지들을 캡처하기 위해 카메라 (135) 를 활성화하는 것을 포함할 수도 있다. 제어기 또는 프로세서는 카메라 (135) 에 의해 생성된 이미지들을 프로세싱하고 복원된 오브젝트 (155) 에 기초하여 (예를 들어, 오브젝트 (155) 의 표면의 라이트 오프 (light off) 의 계산들에 기초하여) FOV 의 간접적인 심도 맵을 생성하도록 추가로 구성될 수도 있다. 일부 실시형태들에서, 하나 이상의 프로세싱 컴포넌트들은 생성된 심도 맵의 저장을 위한 메모리 (이 도면에는 도시되지 않음) 를 또한 포함할 수도 있다.
셰이딩으로부터의 심도 시스템 (130) 을 이용한 심도 센싱은 많은 이유들로 유익할 수도 있다. 예를 들어, 셰이딩으로부터의 심도 시스템 (130) 은 셰이딩 시스템 (130) 의 FOV 내의 키 포인트들을 이용하지 않을 수도 있고, 따라서 셰이딩으로부터의 심도 시스템 (130) 이 캡처되는 FOV 에 독립적이게 할 수도 있다. 추가적으로, 셰이딩으로부터의 심도 시스템 (130) 은 능동으로 FOV 의 심도 맵을 생성하도록 구성될 수도 있다. 그러나, 셰이딩으로부터의 심도 시스템 (130) 은 관찰된 FOV 의 넓은 범위의 거리들에 대한 정확하고 신뢰가능한 심도 맵들을 생성하는 것에 관해 좀 더 부정적인 양태들을 가질 수도 있다. 예를 들어, 일부 실시형태들에서, 스테레오 카메라 시스템 (100) 은 일반적으로 양호한 정확도 (예를 들어, 일 미터의 거리에서 일 센티미터 미만의 에러를 가짐) 를 가질 수도 있고 종종 스테레오 카메라 시스템 (100) 에 밀접하게 스페이싱된 FOV 에서의 타겟 오브젝트들의, 스테레오 카메라 시스템 (100) 으로부터 거의 무한한 거리에 스페이싱된 FOV 에서의 그 타겟 오브젝트들에 대한 심도를 결정하는 것이 가능한 범위를 포함할 수도 있지만, 셰이딩 시스템 (130) 은 셰이딩 시스템 (130) 에 가까운 오브젝트들을 셰이딩 시스템 (130) 으로부터 먼 거리에 타겟팅하도록 제한될 수도 있지만 스테레오 카메라 시스템 (100) 의 무한한 범위를 갖지 않을 수도 있다. 상기 설명한 바와 같이, 일부 실시형태들에서, 오브젝트 (155) 의 표면은 표면의 텍스처가 다시 카메라 (135) 로 오브젝트 (155) 의 표면의 반사 속성들을 변화시킬 수도 있기 때문에 셰이딩으로부터의 심도 센싱의 심도 센싱에 영향을 줄 수도 있고, 따라서 오브젝트 (155) 의 표면의 인지된 심도에 영향을 줄 수도 있다. 이에 따라, FOV 에서의 오브젝트 (155) 의 인지된 심도는 오브젝트 (155) 에 의해 반사된 그리고 카메라 (135) 에 의해 캡처된 광에 기초하여 FOV 에 대한 심도 맵을 정확하게 그리고 신뢰가능하게 생성하는 프로세싱 컴포넌트에 대한 능력에 영향을 줄 수도 있다. 추가적으로, 상기 논의한 바와 같이, 셰이딩으로부터의 심도 시스템 (130) 으로부터 생성된 심도 맵의 정확도는 스테레오 카메라 시스템 (100) 에 의해 생성된 심도 맵과 비교하여 단지 "Ok" 일 수도 있다. 또한, 셰이딩으로부터의 심도 시스템은 FOV 또는 장면에 존재하는 밝은 외부광에 영향을 받기 쉬울 수도 있다.
도 1c 는 예시적인 실시형태에 따른, 시스템의 시야 (FOV) 의 심도 맵을 생성하는데 이용될 수도 있는 구조광 센싱 시스템 (160) 의 예시적인 블록 다이어그램의 예시를 제공한다. 도 1c 에 도시한 바와 같이, 구조광 센싱 시스템 (160) 은 복수의 컴포넌트들을 포함할 수도 있다. 복수의 컴포넌트들은 구조광원 (165) 및 카메라 (170) 를 포함한다. 일부 실시형태들에서, 단일의 인클로저는, 인클로저 (180) 로 나타낸 바와 같이, 구조광원 (165) 및 카메라 (170) 양자 모두를 하우징할 수도 있다. 일부 실시형태들에서, 구조광원 (165) 및 카메라 (170) 는 하나보다 더 많은 인클로저에서 하우징될 수도 있고, 여기서 구조광원 (165) 및 카메라 (170) 는 서로 떨어져 스페이싱된다. 도 1c 에 도시한 바와 같이, 구조광원 (165) 및 카메라 (170) 는 거리 (185) 만큼 떨어져 있을 수도 있다. 구조광원 (165) 은 오브젝트 (186) 에서 반사될 수도 있는 광을 생성하는 것으로 도시된다. 구조광원 (165) 에 의해 생성된 광은 기지의 (known) 패턴일 수도 있다. 카메라 (170) 는 오브젝트 (186) 에서 반사되는 광을 흡수할 수도 있다. 표면들을 반사 또는 스트라이킹할 때 기지의 패턴의 광이 반사되거나 또는 변형되는 방식은 카메라 (170) 가 장면 또는 FOV 에서의 오브젝트들의 심도 및 표면 정보를 계산하는 것을 허용한다. 따라서, 반사들은 오브젝트 (186) 의 심도 정보를 결정하는데 이용될 수도 있다. 다양한 타입들의 구조광 시스템들 (160), 예를 들어, 광 평면들, 그레이-코드 패턴들, 일련의 사인파들이 존재할 수도 있다.
이 도면에 도시되어 있지는 않지만, 구조광 시스템 (160) 은 이미지를 캡처하고 및/또는 심도 맵을 생성하기 위해 구조광원 (165) 및 카메라 (170) 를 제어하도록 구성된 하나 이상의 프로세싱 컴포넌트들을 더 포함할 수도 있다. 일부 실시형태들에서, 이들 하나 이상의 컴포넌트들은 제어기 또는 프로세서를 포함할 수도 있다. 제어기 또는 프로세서는 구조광 시스템 (160) 의 하나 이상의 컴포넌트들을 제어하도록 구성될 수도 있다. 이것은 기지의 광 패턴으로 오브젝트 (186) 를 생성 및 조명하기 위해 구조광원 (165) 을 활성화하는 것 및 시야의 이미지들을 캡처하기 위해 카메라 (170) 를 활성화하는 것을 포함할 수도 있다. 제어기 또는 프로세서는 카메라 (170) 에 의해 생성된 이미지들을 프로세싱하고 FOV 또는 장면에서의 오브젝트 (186) 및 임의의 오브젝트의 표면에서 반사된 광의 계산들에 기초하여 FOV 의 심도 맵을 생성하도록 추가로 구성될 수도 있다. 일부 실시형태들에서, 하나 이상의 프로세싱 컴포넌트들은 생성된 심도 맵의 저장을 위한 메모리 (이 도면에는 도시되지 않음) 를 또한 포함할 수도 있다.
구조광 시스템 (160) 을 이용한 심도 센싱은 많은 이유들로 유익할 수도 있다. 예를 들어, 셰이딩으로부터의 심도 시스템 (130) 처럼, 구조광 시스템 (160) 은 FOV 또는 장면 내의 키 포인트들을 이용하지 않을 수도 있고, 따라서 구조광 시스템 (160) 이 캡처되는 FOV 에 독립적이게 할 수도 있다. 추가적으로, 구조광 시스템 (160) 은 능동으로 FOV 의 심도 맵을 생성하도록 구성될 수도 있다. 또한, 구조광 시스템 (160) 에 의해 생성된 심도 맵은 양호한 정확도 및 신뢰도를 가질 수도 있다. 그러나, 구조광 시스템 (160) 은 관찰된 FOV 의 넓은 범위의 거리들에 대한 정확하고 신뢰가능한 심도 맵들을 생성하는 것에 관해 몇몇 부정적인 양태들을 가질 수도 있다. 일부 실시형태들에서, 오브젝트 (186) 또는 카메라 (170) 의 움직임은 오브젝트 (186) 에서 반사될 기지의 패턴의 광을 검출하는 구조광 시스템에 대한 능력을 방해할 수도 있다. 추가적으로, 구조광 시스템 (160) 은 제한된 범위를 가질 수도 있고, 따라서 오브젝트 (186) 의 인지된 심도에 영향을 미칠 수도 있다. 이에 따라, FOV 에서의 오브젝트 (186) 의 인지된 심도는 FOV 에 대한 정확하고 신뢰가능한 심도 맵들을 생성하는 프로세싱 컴포넌트에 대한 능력에 영향을 미칠 수도 있다. 또한, 구조광 시스템은 FOV 또는 장면에 존재하는 밝은 외부광에 영향을 받기 쉬울 수도 있다.
본 명세서에서 설명된 심도 맵핑 시스템들은 예시적인 것으로 의도되고 본 발명에 의해 커버된 심도 맵핑 시스템들에 대해 제한하는 것은 아니다. 추가적인 심도 맵핑 시스템들이 부정확하거나 또는 신뢰가능하지 않은 심도의 최소 구역들 또는 영역들을 갖는 융합된 심도 맵을 생성하기 위한 시스템 또는 방법에 통합될 수도 있다.
도 2 는 복수의 카메라들 또는 옵틱스 (215a 내지 215n) 에 그리고 복수의 광원들 (216a 내지 216m) 에 링크된 이미지 프로세서 (220) 를 포함하는 컴포넌트들의 세트를 갖는 이미지 캡처 디바이스 (200) 의 하나의 가능한 실시형태의 하이-레벨 블록 다이어그램을 예시한다. 이미지 프로세서 (220) 는 또한, 작업 메모리 (205), 메모리 (230), 및 디바이스 프로세서 (250) 와 통신하고 있을 수도 있고, 디바이스 프로세서 (250) 는 차례로 전자 저장 모듈 (210), 전자 디스플레이 (225), 및 심도 센싱 시스템 (260) 과 통신하고 있을 수도 있다. 일부 실시형태들에서, 단일의 프로세서는 도 2 에 예시한 바와 같이 2 개의 별도의 프로세서들 대신에 이미지 프로세서 (220) 및 디바이스 프로세서 (250) 양자 모두를 포함할 수도 있다. 일부 실시형태들은 3 개 이상의 프로세서들을 포함할 수도 있다. 일부 실시형태들에서, 상기 설명된 컴포넌트들 중 일부는 이미지 캡처 디바이스 (200) 에 포함되지 않을 수도 있거나 또는 상기 설명되지 않은 추가적인 컴포넌트들이 이미지 캡처 디바이스 (200) 에 포함될 수도 있다. 일부 실시형태들에서, 상기 설명되거나 또는 이미지 캡처 디바이스 (200) 에 포함되는 것으로서 설명된 컴포넌트들 중 하나 이상은 이미지 캡처 디바이스 (200) 의 임의의 다른 컴포넌트에 결합되거나 또는 통합될 수도 있다.
이미지 캡처 디바이스 (200) 는 셀 폰, 디지털 카메라, 태블릿 컴퓨터, 개인 휴대 정보 단말기 등일 수도 있거나, 또는 이들의 부분일 수도 있다. 본 명세서에서 설명한 바와 같은 심도 맵 융합 시스템이 유리할 많은 휴대용 컴퓨팅 디바이스들이 존재한다. 이미지 캡처 디바이스 (200) 는 또한, 심도 맵 융합 시스템이 유리할 정지된 컴퓨팅 디바이스 또는 임의의 디바이스일 수도 있다. 복수의 애플리케이션들은 이미지 캡처 디바이스 (200) 상의 사용자에게 이용가능할 수도 있다. 이들 애플리케이션들은 전통적인 사진 및 비디오 애플리케이션들, 고동적 범위 이미징 (high dynamic range imaging), 파노라마 사진 및 비디오, 또는 3D 이미지들 또는 3D 비디오와 같은 스테레오스코픽 이미징을 포함할 수도 있다.
이미지 캡처 디바이스 (200) 는 외부 이미지들을 캡처하기 위한 카메라들 또는 옵틱스 (215a 내지 215n) 를 포함한다. 각각의 카메라 또는 옵틱스 (215) 는 적어도 하나의 센서, 적어도 하나의 센서 (예를 들어, 렌즈 시스템) 에 이미지 캡처 디바이스 (200) 의 FOV 로부터 수신된 광을 포커싱하는 적어도 하나의 광학 이미징 컴포넌트, 및/또는 적어도 하나의 광학 이미징 컴포넌트에 커플링된 오토포커스 어셈블리를 포함할 수도 있다. 일반적으로 N 개의 카메라들 (215a 내지 215n) 이 이용될 수도 있고, 여기서 N≥1 이다. 그러나, 일부 실시형태들은 단 하나의 이미지 센서 어셈블리를 채용할 수도 있고, 카메라들 또는 옵틱스 (215a 내지 215n) 가 본 명세서에서 설명된 심도 맵 융합 시스템의 구현에 적합한 임의의 수의 이미지 센서 어셈블리들을 포함할 수도 있는 것으로 이해될 것이다. 카메라들 또는 옵틱스의 수는 주어진 시야의 능력들을 결정하는 더 큰 심도를 달성하도록 증가될 수도 있다. 카메라들 또는 옵틱스 (215a 내지 215n) 는 이미지 프로세서 (220) 에 캡처된 이미지를 송신하기 위해 이미지 프로세서 (220) 에 커플링될 수도 있다. 카메라들 또는 옵틱스 (215a 내지 215n) 에 의해 캡처된 이미지들은 광원들 (216a 내지 216m) 에 의해 조명될 수도 있다. 광원들 (216a 내지 216m) 은 그 중에서도, 플래시 전구, 리플렉터, 및 기하학적 광 패턴 생성기를 포함할 수도 있다. 일반적으로, M 개의 광원들 (216a 내지 216m) 이 이용될 수도 있고, 여기서 M≥2 이다. 이미지 프로세서 (220) 또는 디바이스 프로세서 (250) 는 캡처된 이미지(들)를 수신하고 이에 따라 그 안에서 캡처된 장면 또는 FOV 의 심도를 결정하도록 구성될 수도 있다. 일부 실시형태들에서, 카메라들 또는 옵틱스 (215) 는 장면 또는 FOV 의 심도 맵을 생성하는데 이용되는 "예비적" 이미지들을 캡처할 수도 있다. 일부 실시형태들에서, 카메라 또는 옵틱스 (215a 내지 215n) 및 그에 커플링된 프로세싱 장비는 오브젝트들의 심도를 결정하기 위해 이미지들을 캡처하지 않을 수도 있고 오히려 이미지를 실제로 캡처함 없이 "라이브 (live)" 뷰로부터 FOV 의 심도 맵을 생성할 수도 있다.
이미지 프로세서 (220) 는 고품질 이미지를 출력하기 위하여 타겟 이미지의 부분들을 포함하는 수신된 이미지 데이터에 대해 다양한 프로세싱 동작들을 수행하도록 구성될 수도 있다. 프로세서 (220) 는 범용 프로세싱 유닛 또는 이미징 애플리케이션들을 위해 특별히 설계된 프로세서일 수도 있다. 이미지 프로세싱 동작들의 예들은 심도 맵핑, 심도 매칭, 심도 결정 동작들, 또는 심도 맵 융합 동작들을 포함한다. 이들 동작들은 크롭핑, (예를 들어, 상이한 해상도로의) 스케일링, 이미지 스티칭, 이미지 포맷 변환, 컬러 보간, 컬러 프로세싱, 이미지 필터링 (예를 들어, 공간 이미지 필터링), 렌즈 아티팩트 또는 결함 보정, 렌즈 광 감쇠 (roll-off) 또는 비네트 (vignette) 에 의해 야기된 광 레벨의 감소, 등을 수행하는 동일한 또는 상이한 프로세서에 의해 수행될 수도 있다. 프로세서 (200) 는 일부 실시형태들에서, 복수의 프로세서들을 포함할 수도 있다. 소정의 실시형태들은 각각의 이미지 센서에 전용된 프로세서를 가질 수도 있다. 이미지 프로세서 (220) 는 하나 이상의 전용 이미지 신호 프로세서들 (ISP들) 또는 프로세서의 소프트웨어 구현일 수도 있다.
도시한 바와 같이, 이미지 프로세서 (220) 는 메모리 (230) 및 작업 메모리 (205) 에 접속된다. 예시된 실시형태에서, 메모리 (230) 는 캡처 제어 모듈 (235), 심도 맵 융합 모듈 (240), 오퍼레이팅 시스템 (245), 및 오토포커스 모듈 (255) 을 저장한다. 추가적인 모듈들은 일부 실시형태들에 포함될 수도 있거나, 또는 더 적은 모듈들이 일부 실시형태들에 포함될 수도 있다. 이들 모듈들은 다양한 이미지 프로세싱 및 디바이스 관리 태스크들을 수행하도록 디바이스 (200) 의 이미지 프로세서 (220) 를 구성하는 명령들을 포함한다. 작업 메모리 (205) 는 메모리 (230) 의 모듈들에 포함된 프로세서 명령들의 작업 세트를 저장하도록 이미지 프로세서 (220) 에 의해 이용될 수도 있다. 대안적으로, 작업 메모리 (205) 는 또한, 디바이스 (200) 의 동작 동안 생성된 동적 데이터 (예를 들어, 단일의 융합된 심도 맵에 융합될 하나 이상의 심도 맵들) 을 저장하도록 이미지 프로세서 (200) 에 의해 이용될 수도 있다. 외부 디바이스들 또는 하드웨어에 대한 추가적인 모듈들 또는 커넥션들이 이 도면에 도시되어 있지 않을 수도 있지만, 그들은 다른 심도-트리거된 옵션들 또는 액션들을 제공하기 위해 존재할 수도 있다.
상기 언급한 바와 같이, 이미지 프로세서 (200) 는 메모리 (230) 에 저장된 여러 모듈들에 의해 구성될 수도 있다. 캡처 제어 모듈 (235) 은 디바이스 (200) 의 전체 이미지 캡처 기능들 및 심도 결정 기능들을 제어하는 명령들을 포함할 수도 있다. 예를 들어, 캡처 제어 모듈 (235) 은 카메라들/옵틱스 (215a 내지 215n) 를 이용하여 타겟 이미지 장면의 원시 이미지 데이터를 캡처하도록 이미지 프로세서 (220) 를 구성하는 명령들을 포함할 수도 있다. 캡처 제어 모듈 (235) 은 그 후 다수의 심도 맵들을 함께 융합하도록 심도-융합 모듈 (240) 을 호출할 수도 있다.
심도 맵 융합 모듈 (240) 은 이미지 프로세서 (220) 또는 디바이스 프로세서 (250) 가 다수의 심도 맵들을 단일의, 공간 의존적 심도 맵에 융합 또는 결합하는 것을 허용하는 명령들을 포함할 수도 있다. 융합된 심도 맵의 포인트들의 각각은 다수의 심도 센싱 모듈들 (265a 내지 265o) 로부터 가장 신뢰가능하고 정확한 심도 정보를 포함할 수도 있다. 공간 의존도는 심도 맵-융합 모듈 (240) 이 하나의 심도 맵의 부정확하거나 또는 신뢰가능하지 않은 부분을 심도 맵의 FOV 에서의 동일한 물리적 로케이션에 대응하는 다른 심도 맵의 정확하고 신뢰가능한 부분으로 대체하도록 이미지 프로세서 (220) 를 구성하는 것을 확실하게 하는 것을 포함할 수도 있다. 예를 들어, 심도 맵-융합 모듈 (240) 은 셰이딩으로부터의 시스템에 의해 생성된 심도 맵과 스테레오 카메라 시스템에 의해 생성된 심도 맵을 융합하도록 이미지 프로세서 (220) 를 구성할 수도 있다. 결과의 융합된 심도 맵은 2 개의 개개의 심도 맵들의 단점들을 회피하면서, 각각의 심도 맵의 이점들 (스테레오 카메라 심도 맵으로부터의 양호한 정확도 및 셰이딩 심도 맵으로부터의 키 포인트들에 대한 필요성 없음) 로부터 이익을 얻을 수도 있다. 이에 따라, 심도 맵들의 각각에 의해 맵핑된 FOV들 또는 장면들은 실질적으로 동일할 수도 있거나 또는 상기 설명한 바와 같이, 공간 의존적일 융합된 심도 맵에 대한 실질적으로 동일한 오브젝트들을 포함할 수도 있다.
오퍼레이팅 시스템 모듈 (245) 은 작업 메모리 (205) 및 디바이스 (200) 의 프로세싱 리소스들을 관리하도록 이미지 프로세서 (220) 를 구성한다. 예를 들어, 오퍼레이팅 시스템 모듈 (245) 은 카메라들 (215a 내지 215n) 과 같은 하드웨어 리소스들을 관리하기 위해 디바이스 드라이버들을 포함할 수도 있다. 따라서, 일부 실시형태들에서, 상기 논의된 이미지 프로세싱 모듈들에 포함된 명령들은 직접 이들 하드웨어 리소스들과 상호작용하지 않을 수도 있고, 그 대신 오퍼레이팅 시스템 컴포넌트 (245) 에 위치된 표준 서브루틴들 또는 API들을 통해 상호작용할 수도 있다. 오퍼레이팅 시스템 (245) 내의 명령들은 그 후 이들 하드웨어 컴포넌트들과 직접 상호작용할 수도 있다. 오퍼레이팅 시스템 모듈 (245) 은 디바이스 프로세서 (250) 와 정보를 공유하도록 이미지 프로세서 (220) 를 추가로 구성할 수도 있다.
오토포커스 모듈 (255) 은 예를 들어, 대응하는 오토포커스 어셈블리들의 움직임 및 포지셔닝을 제어하는 것에 의해, 카메라들 (215a 내지 215n) 의 각각의 포커스 포지션을 조정하도록 이미지 프로세서 (220) 를 구성하는 명령들을 포함할 수 있다. 오토포커스 모듈 (255) 은 일부 실시형태들에서 포커스 분석들을 수행하고 그리고 포커스 파라미터들을 자동으로 결정하도록 이미지 프로세서 (220) 를 구성하는 명령들을 포함할 수 있고, 일부 실시형태들에서 사용자-입력 포커스 커맨드들에 응답하도록 이미지 프로세서 (220) 를 구성하는 명령들을 포함할 수 있다. 일부 실시형태들에서, 오토포커스 모듈 (255) 은 FOV 에서의 타겟 오브젝트가 타겟 오브젝트 상의 특정 심도 및 적절한 포커스에 있을 때를 결정하기 위해 심도 맵-융합 모듈 (240) 에 의해 생성된 융합된 심도 맵으로부터의 정보를 이용할 수도 있다. 일부 실시형태들에서, 어레이에서의 각각의 카메라의 렌즈 시스템은 별도로 포커싱될 수 있다. 일부 실시형태들에서, 어레이에서의 각각의 카메라의 렌즈 시스템은 그룹으로서 포커싱될 수 있다. 일부 실시형태들에서, 오토포커스 모듈 (255) 은 심도 맵-융합 모듈 (240) 로부터 또는 프로세서들 (220 또는 250) 중 하나로부터 커맨드를 수신하도록 구성될 수도 있다.
디바이스 프로세서 (250) 는 캡처된 이미지, 또는 캡처된 이미지의 프리뷰를 사용자에게 디스플레이하기 위해 디스플레이 (225) 를 제어하도록 구성될 수도 있다. 디스플레이 (225) 는 이미징 디바이스 (200) 의 외부에 있을 수도 있거나 또는 이미징 디바이스 (200) 의 부분일 수도 있다. 디스플레이 (225) 는 또한, 이미지를 캡처하기 이전에 사용자에 대해 프리뷰 이미지를 디스플레이하는 뷰파인더를 제공하도록 구성될 수도 있거나, 또는 메모리에 저장되거나 또는 사용자에 의해 최근에 캡처되는 캡처된 이미지를 디스플레이하도록 구성될 수도 있다. 디스플레이 (225) 는 패널 디스플레이, 예를 들어, LCD 스크린, LED 스크린, 또는 다른 디스플레이 기술들을 포함할 수도 있고, 터치 감응 기술들을 구현할 수도 있다. 디바이스 프로세서 (250) 는 또한, 사용자로부터 입력을 수신하도록 구성될 수도 있다. 예를 들어, 디스플레이 (225) 는 또한, 터치스크린인 것으로 구성될 수도 있고, 따라서 사용자로부터 입력을 수신하도록 구성될 수도 있다. 사용자는 프로세서가 심도 맵-융합 모듈 (240) 에 제공할 수도 있는 정보를 입력하기 위해 터치스크린 디스플레이 (225) 를 이용할 수도 있다. 예를 들어, 사용자는 디스플레이 (225) 상에 도시된 시야로부터 타겟 오브젝트를 선택하거나 또는 융합된 심도 맵에 대한 최소 정확도 또는 신뢰도를 확립하기 위해 터치스크린을 이용할 수도 있다. 디바이스 프로세서 (250) 는 그 입력을 수신하고 그것을 심도 맵-융합 모듈 (240) 에 제공할 수도 있고, 이는 융합 동작들을 위한 심도 맵들을 선택하기 위해 입력을 이용할 수도 있거나 또는 장면 또는 FOV 에서의 이용을 위한 특정 심도 맵핑 방법들을 선택할 수도 있다.
일부 실시형태들에서, 디바이스 프로세서 (250) 는 심도 센싱 시스템 (260) 을 제어하거나 또는 심도 센싱 시스템 (260) 으로부터 입력들을 수신하도록 구성될 수도 있다. 심도 센싱 시스템 (260) 은 이미지 캡처 디바이스 (200) 의 특정한 FOV 또는 장면의 심도 맵을 생성하기 위해 어느 하나 이상의 심도 센싱 모듈 (265a 내지 265o) 을 이용할지를 결정하도록 구성될 수도 있다. 예를 들어, 심도 센싱 시스템 (260) 은 이용가능한 작업 메모리 (205) 및/또는 이용가능한 배터리 또는 전력을 평가하고 심도 센싱 모듈들 (265a 내지 265o) 중 어느 모듈이 시간의 순간에 주어진 조건들에 가장 적절할 수도 있는지를 결정하기 위해 그 정보를 이용할 수도 있다. 추가적으로, 심도 센싱 시스템 (260) 은 어느 심도 센싱 모듈 (265a 내지 265o) 이 심도 맵이 생성될 환경 또는 장면 또는 FOV 에 최상으로 적합한지를 결정하기 위해 카메라들 또는 옵틱스 (215a 내지 215n) 로부터의 "라이브" 뷰를 평가할 수도 있다. 일부 실시형태들에서, 심도 센싱 시스템 (260) 은 FOV 또는 장면의 이전에 캡처된 프레임들을 뷰잉하여 후속 심도 맵들에서의 FOV 또는 장면에 대해 어느 심도 센싱 모듈 (265a 내지 265o) 을 이용할지를 평가 또는 결정할 수도 있다.
일부 실시형태들에서, 디바이스 프로세서 (250) 또는 심도 센싱 시스템 (260) 은 다수의 심도 센싱 모듈들 (265a 내지 265o) 을 선택할 수도 있고 선택된 심도 센싱 모듈들 (265a 내지 265o) 에 의해 생성된 개개의 심도 맵들로부터 단일의 융합된 심도 맵을 생성하기 위해 심도 맵-융합 모듈 (240) 을 이용하기로 결정할 수도 있다. 다수의 심도 센싱 모듈들 (265a 내지 265o) 의 선택은 이미지 캡처 디바이스 (200) 의 환경 또는 장면 또는 FOV 중 하나 이상, 이미지 캡처 디바이스의 하나 이상의 파라미터들에 기초할 수도 있다. 일반적으로, O 개의 심도 센싱 모듈들 (265a 내지 265o) 이 이용될 수도 있고, 여기서 O≥2 이다. 일부 실시형태들에서, 심도 센싱 모듈 (265a) 은 스테레오 카메라 시스템 (100) 을 포함할 수도 있고, 심도 센싱 모듈 (265b) 은 셰이딩으로부터의 심도 시스템 (130) 을 포함할 수도 있고, 그리고 심도 센싱 모듈 (265c) 은 구조광 시스템 (160) 을 포함할 수도 있다.
디바이스 프로세서 (250) 는 저장 모듈 (210) 에 데이터, 예를 들어, 캡처된 이미지들을 나타내는 데이터를 기입할 수도 있다. 저장 모듈 (210) 은 전통적인 디스크 디바이스로서 그래픽적으로 나타내지지만, 일부 실시형태들에서, 저장 모듈 (210) 은 임의의 저장 매체들 디바이스로서 구성될 수도 있다. 예를 들어, 저장 모듈 (210) 은 디스크 드라이브, 이를 테면 플로피 디스크 드라이브, 하드 디스크 드라이브, 광학 디스크 드라이브 또는 자기-광학 디스크 드라이브, 또는 고체 상태 메모리, 이를 테면 FLASH 메모리, RAM, ROM, 및/또는 EEPROM 을 포함할 수도 있다. 저장 모듈 (210) 은 또한, 다수의 메모리 유닛들을 포함할 수 있고, 메모리 유닛들 중 임의의 하나는 이미지 캡처 디바이스 (200) 내에 있는 것으로 구성될 수도 있거나, 또는 이미지 캡처 디바이스 (200) 의 외부에 있을 수도 있다. 예를 들어, 저장 모듈 (210) 은 이미지 캡처 디바이스 (200) 내에 저장된 시스템 프로그램 명령들을 포함하는 ROM 메모리를 포함할 수도 있다. 저장 모듈 (210) 은 또한, 카메라로부터 착탈가능할 수도 있는 캡처된 이미지들을 저장하도록 구성된 메모리 카드들 또는 고속 메모리들을 포함할 수도 있다.
도 2 는 프로세서, 이미징 센서, 및 메모리를 포함하도록 별도의 컴포넌트들을 갖는 디바이스를 묘사하지만, 일부 실시형태들에서, 이들 별도의 컴포넌트들은 특정한 설계 목적들을 달성하기 위해 다양한 방식들로 결합될 수도 있다. 예를 들어, 대안의 실시형태에서, 메모리 컴포넌트들은 비용을 절감하고 성능을 향상시키기 위해 프로세서 컴포넌트들과 결합될 수도 있다.
추가적으로, 도 2 는 여러 모듈들을 포함한 메모리 컴포넌트 (230) 및 작업 메모리를 포함한 별도의 메모리 (205) 를 포함하는, 다수의 메모리 컴포넌트들을 예시하지만, 일부 실시형태들에서, 상이한 메모리 아키텍처들이 활용될 수도 있다. 예를 들어, 설계는 메모리 (230) 에 포함된 모듈들을 구현하는 프로세서 명령들의 저장을 위해 ROM 또는 정적 RAM 메모리를 활용할 수도 있다. 프로세서 명령들은 이미지 프로세서 (220) 에 의한 실행을 용이하게 하기 위해 RAM 으로 로드될 수도 있다. 예를 들어, 작업 메모리 (205) 는 이미지 프로세서 (220) 에 의한 실행 전에 작업 메모리 (205) 로 로드된 명령을 가진 RAM 메모리를 포함할 수도 있다. 일부 실시형태들에서, 심도 센싱 시스템 (260) 은 메모리 (230) 에 저장된 소프트웨어일 수도 있거나 또는 소프트웨어 컴포넌트들과 결합된 하드웨어 시스템일 수도 있다.
도 3 은 예시적인 실시형태에 따른, 도 2 의 이미지 캡처 디바이스 (200) 의 컴포넌트들이 스테레오 옵틱스, 셰이딩, 구조광 기법들 중 적어도 하나를 이용하여 하나 이상의 심도 맵들을 생성하기 위해 이용될 수도 있기 때문에 그 컴포넌트들을 묘사하는 차트 (300) 를 예시한다. 도 3 의 차트 (300) 는 차트의 상부 로우 (top row) 를 따라, 제 1 카메라 (215a), 제 1 광원 (216a), 제 2 카메라 (215b), 제 2 광원 (216b), 및 제 3 광원 (216c) 을 포함한, 도 2 의 이미지 캡처 디바이스 (200) 의 다양한 컴포넌트들을 포함한다. 일부 실시형태들에서, 카메라들 (215a 또는 215b) 중 하나 이상은 적/녹/청색 카메라 (RGB 카메라) 또는 적외선 카메라 (IR 카메라) 또는 조합 RGB/IR 카메라를 포함할 수도 있다. 일부 실시형태들에서, 광원들 (216a 내지 216c) 중 하나 이상은 구조광원을 포함할 수도 있고, 여기서 구조광원은 기지의 패턴 (예를 들어, 기하학적 또는 시간 경과된 패턴) 을 갖는 광을 생성 및 방출한다. 차트 (300) 의 수직 축은 시간 (페이지 아래로 진행) 및 3 개의 예시적인 심도 맵핑 시스템들, 즉 스테레오 카메라 시스템 (100), 셰이딩으로부터의 심도 시스템 (130), 및 구조광 시스템 (160) 을 포함한다.
차트 (300) 는 또한, 이미지 캡처 디바이스 (200) 의 컴포넌트들이 심도 맵핑 시스템들의 각각에 의해 이용될 수도 있다는 것을 도시한다. 예를 들어, 스테레오 카메라 시스템에 대해, 로우 (310) 에 도시한 바와 같이, 제 1 카메라 (215a), 제 1 광원 (216a), 및 제 2 카메라 (215b) 가 이미지 캡처 디바이스 (200) 에 의해 캡처될 FOV 또는 장면에서의 모든 포인트들의 심도를 측정하고 그리고 FOV 또는 장면에 대한 심도 맵을 생성하는데 이용될 수도 있다. 로우 (312) 에 도시된 셰이딩에 의한 심도 시스템에 대해, 제 1 광원 (216a), 제 2 카메라 (215b), 및 제 2 광원 (216b) 이 FOV 또는 장면에서의 모든 포인트들의 심도를 측정하고 그리고 FOV 또는 장면에 대한 심도 맵을 생성하는데 이용될 수도 있다. 유사하게, 로우 (314) 의 구조광 시스템에 대해, 제 2 카메라 (215b) 및 제 3 광원 (216c) 이 FOV 또는 장면에서의 모든 포인트들의 심도를 측정하고 그리고 FOV 또는 장면에 대한 심도 맵을 생성하는데 이용될 수도 있다.
차트의 시간 엘리먼트는 본 발명의 예시적인 실시형태에 따라 이미지 캡처 디바이스 (200) 가 활용할 수도 있는 프로세스를 표시한다. 상기 논의한 바와 같이, 임의의 다른 심도 맵핑 시스템들 중에서, 스테레오 카메라 시스템, 셰이딩으로부터의 심도 시스템, 및 구조광 시스템 중 하나 이상은 단점들을 포함할 수도 있거나 또는 FOV 또는 장면에 대한 생성된 심도 맵들로 부정확성들 또는 비신뢰성을 도입할 수도 있다. 이에 따라, 본 명세서에서 설명된 시스템들, 방법들, 및 장치를 이용하여, 하나보다 더 많은 심도 맵이 하나보다 더 많은 심도 맵핑 시스템을 이용하여 생성될 수도 있고, 개별적으로 생성된 심도 맵들은 단일의, 공간 의존적 심도 맵에 융합될 수도 있다.
융합된 심도 맵은 제 1 심도 맵핑 시스템에 의해 생성된 제 1 심도 맵의 정확하고 신뢰가능한 포인트들과 제 2 심도 맵핑 시스템에 의해 생성된 제 2 심도 맵의 정확하고 신뢰가능한 포인트들을 결합하는 것에 의해 생성될 수도 있다. 일부 실시형태들에서, 제 1 심도 맵핑 시스템은 이미지 캡처 디바이스 (200) 에 의해 캡처될 FOV 또는 장면 또는 이미지 캡처 디바이스 (200) 의 하나 이상의 파라미터들에 기초하여 선택될 수도 있다. 예를 들어, 이미지 캡처 디바이스 (200) 또는 타겟 FOV 또는 장면에서의 하나 이상의 오브젝트들이 움직이고 있다면, 스테레오 카메라 시스템 (100) 은, 스테레오 카메라 시스템 (100) 이 움직이고 있는 FOV 또는 장면의 가장 완전하고 정확한 심도 맵을 생성하는 것이 가능할 수도 있기 때문에, 셰이딩으로부터의 심도 시스템 (130) 또는 구조광 시스템 (160) 에 대한 제 1 심도 맵핑 시스템인 것으로 선택될 수도 있다. 일부 실시형태들에서, 이미지 캡처 디바이스 (200) 가 작업 메모리가 없거나 또는 임시로 다수의 이미지들을 저장하는 능력이 없다면, 셰이딩으로부터의 심도 시스템 (130) 은 스테레오 캡처 시스템 (100) 및 구조광 시스템 (160) 에 대한 제 1 심도 맵핑 시스템으로서 선택될 수도 있다. 제 1 심도 맵이 제 1 심도 맵핑 시스템에 의해 생성된 정보 및 측정들로부터 생성된 후에, 이미지 캡처 디바이스 (200) 는 제 1 생성된 심도 맵과 융합할 제 2 심도 맵을 생성할 필요성을 결정할 수도 있다. 일부 실시형태들에서, 이미지 캡처 디바이스 (200) 가 제 2 심도 맵이 필요하다고 결정할 때, 제 2 심도 맵핑 시스템은 나머지 이용가능한 심도 맵핑 시스템들로부터 선택될 수도 있다. 제 2 심도 맵핑 시스템은 결점들 (즉, 제 1 심도 맵의 부정확하고 신뢰가능하지 않은 부분들) 의 인식 또는 식별에 기초하여 선택될 수도 있다. 따라서, 제 2 심도 맵은 제 1 심도 맵의 부정확하거나 또는 신뢰가능하지 않은 심도 측정치들을 대신할 작정으로 선택될 수도 있다. 이미지 캡처 디바이스 (200) 가 추가적인 심도 맵이 필요하지 않다고 결정하면, 이미지 캡처 디바이스 (200) 는 제 2 심도 맵을 생성하지 않을 수도 있다. 이에 따라, 이미지 캡처 디바이스 (200) 는 이미지 캡처 디바이스 (200) 에 대한 최소 요구로 가장 완전하고 정확한 심도 맵을 생성할 수도 있다.
상기 언급한 바와 같이, 이미지 캡처 디바이스 (200) 는 캡처될 장면 또는 FOV 에 기초하여 심도 맵핑 시스템들 중 하나를 선택할 수도 있다. 예를 들어, FOV 또는 장면이 양호한 텍스처를 포함할 때, 스테레오 카메라 시스템 (100) 는 이미지 캡처 디바이스 (200) 의 광원 없이 FOV 또는 장면이 얼마나 잘 비춰지는지에 의존하여, 수동 (또는 저전력) 모드 또는 능동 (또는 보다 고전력) 모드 중 어느 하나에서 제 1 심도 맵을 생성하도록 이용될 수도 있다. 추가적으로, 스테레오 카메라 시스템 (100) 은 밝은 외부광이 존재하거나 또는 실외 세팅으로 있을 때 이용될 수도 있다. 일부 실시형태들에서, FOV 또는 장면이 텍스처를 거의 포함하지 않을 때, 스테레오 카메라 시스템 (100) 은 심도 측정치들을 획득하는 어려움을 가질 수도 있고, 스테레오 카메라 시스템 (100) 에 의해 생성된 제 1 심도 맵은 셰이딩으로부터의 심도 시스템 (130) 또는 구조광 시스템 (160) 중 하나로부터 생성된 제 2 심도 맵과 융합될 수도 있다. FOV 또는 장면이 어떤 텍스처도 포함하지 않거나 또는 단지 평평한 구역 (flat area) 들만을 포함할 때, 셰이딩으로부터의 심도 시스템 (130) 또는 구조광 시스템 (160) 중 어느 하나가 제 1 심도 맵을 생성하기 위해 선택될 수도 있다. FOV 또는 장면에서의 오브젝트들이 낮은 광 레벨에서 중간 거리 (예를 들어, 0.5m 내지 5 미터) 에 있을 때, 구조광 시스템 (160) 이 제 1 심도 맵을 생성하기 위해 이용될 수도 있다. 그러나, FOV 또는 장면에서의 오브젝트들이 FOV 또는 장면에서 무한대로 있을 때, 스테레오 카메라 시스템 (100) 또는 셰이딩으로부터의 심도 시스템 (130) 은 제 1 심도 맵을 생성하는데 이용될 수도 있다. 작은 거리는 0m 내지 0.5m 일 수도 있고 무한대는 10m 를 넘은 임의의 거리일 수도 있다.
또한 상기 언급한 바와 같이, 이미지 캡처 디바이스 (200) 는 이미지 캡처 디바이스 (200) 의 하나 이상의 파라미터들에 기초하여 심도 맵핑 시스템들 중 하나를 선택할 수도 있다. 예를 들어, 배터리 용량 또는 전력이 보존될 때, 이미지 캡처 디바이스 (200) 는, 셰이딩으로부터의 심도 시스템 (130) 또는 구조광 시스템 (160) 중 어느 하나보다 더 적은 전력을 소비하기 때문에 스테레오 카메라 시스템 (100) 을 선택할 수도 있다. 그러나, 상기 언급한 바와 같이, 메모리가 품귀 상태일 때, 이미지 캡처 디바이스 (200) 는 셰이딩으로부터의 심도 시스템 (130) 또는 구조광 시스템 (160) 중 하나를 선택할 수도 있다. 추가적으로, 셰이딩으로부터의 심도 시스템 (130) 은, 셰이딩으로부터의 심도 시스템 (130) 이 캡처될 정적 이미지가 수명이 짧을 수도 있을 때 가장 적절할 수도 있도록, FOV 또는 장면에서 최소 노출 시간을 요구할 수도 있다. 추가적으로, 이미지 캡처 디바이스 (200) 는 원하는 심도 해상도에 기초하여 심도 맵핑 시스템들 중 하나를 선택할 수도 있다. 일부 실시형태들에서, 이미지 캡처 디바이스 (200) 의 하나 이상의 파라미터들은 캡처될 FOV 또는 장면을 비추어 고려될 수도 있다.
일부 실시형태들에서, 이미지 캡처 디바이스 (200) 의 사용자는 파라미터들의 평가 및 상기 열거된 장면 또는 FOV 특성들에 기초하여 주어진 순간에 이용할 심도 맵핑 시스템을 선택할 수도 있다. 일부 실시형태들에서, 이미지 캡처 디바이스 (200) 는 파라미터들의 그의 분석 및 상기 열거된 장면 또는 FOV 특성들에 기초하여 이용할 심도 맵핑 시스템을 자동으로 선택할 수도 있다. 추가적으로, 일부 실시형태들에서, 이미지 캡처 디바이스 (200) 는 심도 맵핑 시스템들의 선택이 동적일 수도 있도록, 이전에 캡처된 장면 또는 FOV 의 콘텐츠에 기초하여 심도 맵핑 시스템들의 선택을 자동으로 수정하도록 구성될 수도 있다.
도 4 는 예시적인 실시형태에 따른, 심도 맵을 생성하고 그것을 필요에 따라 추가적인 심도 맵과 융합하기 위한 예시적인 방법을 구체화하는 플로우 차트를 예시한다. 도 4 의 방법 (400) 은 임의의 이미징 디바이스 또는 그 디바이스의 FOV 또는 장면의 심도 맵들을 생성하는 것이 가능한 이미징 장비를 포함하는 임의의 다른 전자 디바이스에 의해 구현될 수도 있다. 일부 실시형태들에서, 상기 설명한 바와 같이, 이미징 디바이스 또는 다른 전자 디바이스는 스테레오 옵틱 카메라 시스템, 구조광 카메라 시스템, 및/또는 셰이딩으로부터의 심도 카메라 시스템, 또는 이미징 디바이스의 FOV 또는 장면의 심도 맵을 생성하는 것이 가능한 임의의 다른 타입의 카메라 시스템을 포함하는 복수의 심도 맵핑 시스템들을 포함할 수도 있다. 방법 (400) 은 블록 402 에서 시작할 수도 있다. 시작 블록 402 는 이미징 디바이스의 적어도 하나의 시야를 식별하는 것을 포함하는 방법 (400) 의 블록 404 로 나아간다. 이미징 디바이스의 식별된 시야는 이미징 디바이스에 의해 캡처될 수도 있는 장면 또는 이미징 디바이스에 의해 보여질 수도 있는 뷰를 포함할 수도 있다. 일부 실시형태들에서, 시야를 식별하는 것은 원하는 장면 또는 오브젝트가 이미징 디바이스가 캡처할 수 있는 프레임 내에 있도록 이미징 디바이스를 재포지셔닝하는 것을 포함할 수도 있다. 일부 실시형태들에서, 적어도 하나의 시야는 방법 (400) 을 수행하는 이미징 디바이스에 의해 자동으로 식별될 수도 있거나 또는 사용자에 의해 식별될 수도 있다. 적어도 하나의 시야가 식별된 후에, 방법 (400) 은 블록 406 으로 나아간다.
블록 406 은 복수의 심도 센싱 방법들로부터 제 1 심도 센싱 방법을 선택하는 것을 포함한다. 일부 실시형태들에서, 복수의 심도 센싱 방법들로부터 제 1 심도 센싱 방법을 선택하는 것은 이미징 디바이스의 사용자에 의해 수행될 수도 있다. 일부 실시형태들에서, 그 선택하는 것은 이미징 디바이스 자체에 의해 자동으로 수행될 수도 있다. 일부 실시형태들에서, 그 선택하는 것은 심도 센싱 방법들 중 하나 이상이 심도 센싱 방법들 중 다른 것보다 더 신뢰가능하고 정확한 심도 맵을 생성한다는 결정에 기초하여 수행될 수도 있다. 일부 실시형태들에서, 그 선택하는 것은 이미징 디바이스의 하나 이상의 파라미터들, 예를 들어, 이용가능한 메모리, 이용가능한 전력, 감도, 또는 임계 심도 레벨에 기초하여 수행될 수도 있다. 일부 실시형태들에서, 그 선택하는 것은 적어도 하나의 오브젝트의 심도, 적어도 하나의 오브젝트의 환경, 적어도 하나의 오브젝트의 프레임 내의 로케이션, 또는 이미징 디바이스의 특성에 적어도 부분적으로 기초하여 수행될 수도 있다. 제 1 심도 센싱 방법이 선택된 후에, 방법 (400) 은 블록 408 로 나아간다.
블록 408 은 제 1 선택 심도 센싱 방법을 이용하여 이미징 디바이스에 대한 적어도 하나의 시야의 심도를 센싱하는 것을 포함한다. 적어도 하나의 시야의 심도를 센싱하는 것은 이미징 디바이스에 의해 캡처된 장면의 심도를 측정하기 위해 스테레오 카메라 시스템을 이용하는 것을 포함할 수도 있다. 일부 실시형태들에서, 심도를 센싱하는 것은 셰이딩으로부터의 심도 시스템 또는 구조광 시스템을 이용하는 것을 포함할 수도 있다. 일부 실시형태들에서, 센싱하는 것은 식별된 적어도 하나의 시야에 디스패리티 매칭을 적용하는 것을 포함하고 이미징 디바이스들은 스테레오 옵틱스를 포함한다. 일부 실시형태들에서, 심도를 센싱하는 것은 심도를 측정하는 것을 포함할 수도 있고, 여기서 시야 또는 장면의 각각의 포인트의 심도가 측정된다. 시야의 심도가 제 1 선택된 심도 센싱 방법을 이용하여 센싱된 후에, 방법은 블록 410 으로 나아간다.
블록 410 은 제 1 선택된 심도 센싱 방법의 센싱된 심도에 기초하여 적어도 하나의 시야의 제 1 심도 맵을 생성하는 것을 포함한다. 제 1 심도 맵을 생성하는 것은 시야 또는 장면의 각각의 포인트의 센싱된 또는 측정된 심도들을 전체 시야 또는 장면의 단일의 맵으로 컴파일링하는 것을 포함할 수도 있고, 여기서 모든 심도들은 단일의 심도 맵에 있다. 제 1 심도 맵이 생성된 후에, 방법 (400) 은 블록 412 로 넘어간다.
블록 412 는 부정확한 심도 측정들을 갖는 제 1 심도 맵의 하나 이상의 포인트들의 영역을 식별하는 것을 포함한다. 일부 실시형태들에서, 제어기 또는 다른 프로세서는 제 1 심도 맵을 분석하고 심도 맵의 하나 이상의 포인트들의 심도 측정들이 정확하지 않거나 또는 신뢰가능하지 않다고 결정할 수도 있다. 신뢰성 없음 또는 부정확성의 결정은 블록 406 에서 선택된 심도 센싱 방법에 적어도 부분적으로 기초하여 이루어질 수도 있다. 일부 실시형태들에서, 그 결정은 심도 맵의 장면에서의 포인트들의 기지의 심도 측정들과의 비교에 기초하여 이루어질 수도 있다. 일부 실시형태들에서, 심도 측정들은 심도들이 소정의 임계치들 내에 있는지 없는지를 결정하는 것에 의해 부정확한 것으로 결정될 수도 있다. 일부 실시형태들에서, 심도 측정들은 예를 들어, 심도들의 가변성을 비교하고 및/또는 심도들의 가변성이 장면에서의 오브젝트의 대응하는 에지들과 일치하는지를 결정하는, 데이터의 부정확한 통계 분석인 것으로 결정될 수도 있다. 부정확한 심도 측정들을 갖는 영역들이 블록 412 에서 식별된 후에, 방법 (400) 은 블록 414 로 나아간다.
블록 414 에서, 방법 (400) 은 하나 이상의 부정확한 심도 측정들을 갖는 영역의 식별의 하나 이상의 특성들에 기초하여 제 2 선택된 심도 센싱 방법을 통한 추가적인 심도 센싱이 필요한지를 결정한다. 예를 들어, 방법 (400) 이 심도 맵이 임계치를 초과하거나 또는 추가적인 심도 센싱을 수행하기 위한 다른 요건들을 충족하는 부정확한 영역을 갖는다고 결정하면, 방법 (400) 은 복수의 심도 센싱 방법들로부터 제 2 심도 센싱 방법을 선택하고 방법 (400) 이 심도 맵이 어떤 부정확하거나 또는 신뢰가능하지 않은 영역들을 갖지 않는다 (또는 최소 부정확성, 비신뢰성, 또는 추가적인 심도 센싱 방법들을 요구하는 에러 임계치를 충족하지 않는다) 고 결정할 때까지 블록 408 내지 블록 414 를 반복할 수도 있다. 블록 414 에서의 결정은 이용가능한 심도 맵핑 시스템들 중 임의의 것이 기존의 심도 맵에 정보를 추가할 수 있다는 결정에 또한 기초할 수도 있다. 추가적인 심도 맵이 필요한 것으로 결정되면, 생성된 심도 맵들은 단일의, 공간 의존적 심도 맵에 융합될 수도 있다. 이 포인트에서, 방법 (400) 은 블록 416 에서 종료한다. 일부 실시형태들에서, 방법 (400) 은 복수의 심도 센싱 방법들의 각각이 심도 맵을 생성하는데 이용될 때까지 종료하지 않을 수도 있다.
본 명세서에서 사용한 바와 같이, 용어 "결정하는 것" 은 매우 다양한 액션들을 포괄한다. 예를 들어, "결정하는 것" 은 계산하는 것, 컴퓨팅하는 것, 프로세싱하는 것, 유도하는 것, 조사하는 것, 룩업하는 것 (예를 들어, 테이블, 데이터베이스 또는 다른 데이터 구조에서 룩업하는 것), 확인하는 것 등을 포함할 수도 있다. 또한, "결정하는 것" 은 수신하는 것 (예를 들어, 정보를 수신하는 것), 액세스하는 것 (예를 들어, 메모리 내의 데이터에 액세스하는 것), 등을 포함할 수도 있다. 또한, "결정하는 것" 은 해결하는 것, 선택하는 것, 선정하는 것, 확립하는 것 등을 포함할 수도 있다. 게다가, 본 명세서에서 사용한 바와 같은 "채널 폭" 은 소정의 양태들에서 대역폭을 포괄할 수도 있거나 또는 대역폭으로 또한 지칭될 수도 있다.
본 명세서에서 사용한 바와 같이, 아이템들의 리스트 "중 적어도 하나" 를 지칭하는 어구는 단일의 멤버들을 포함하여, 그 아이템들의 임의의 조합을 지칭한다. 일 예로서, "a, b, 또는 c 중 적어도 하나" 는 a, b, c, a-b, a-c, b-c, 및 a-b-c 를 커버하도록 의도된다.
상기 설명된 방법들의 다양한 동작들은 다양한 하드웨어 및/또는 소프트웨어 컴포넌트(들), 회로, 및/또는 모듈(들)과 같이, 동작들을 수행하는 것이 가능한 임의의 적합한 수단에 의해 수행될 수도 있다. 일반적으로, 도면들에 예시된 임의의 동작들은 동작들을 수행하는 것이 가능한 대응하는 기능적 수단에 의해 수행될 수도 있다.
본 명세서에서 사용한 바와 같이, 용어 인터페이스는 하드웨어 또는 소프트웨어가 2 개 이상의 디바이스들을 함께 접속하도록 구성되는 것을 지칭할 수도 있다. 예를 들어, 인터페이스는 프로세서 또는 버스의 부분일 수도 있고 디바이스들 사이의 정보 또는 데이터의 통신을 허용하도록 구성될 수도 있다. 인터페이스는 칩 또는 다른 디바이스에 통합될 수도 있다. 예를 들어, 일부 실시형태들에서, 인터페이스는 다른 디바이스에서 디바이스로부터 정보 또는 통신물들을 수신하도록 구성된 수신기를 포함할 수도 있다. (예를 들어, 프로세서 또는 버스의) 인터페이스는 전단 또는 다른 디바이스에 의해 프로세싱된 정보 또는 데이터를 수신할 수도 있거나 또는 수신된 정보를 프로세싱할 수도 있다. 일부 실시형태들에서, 인터페이스는 다른 디바이스에 정보 또는 데이터를 송신 또는 통신하도록 구성된 송신기를 포함할 수도 있다. 따라서, 인터페이스는 정보 또는 데이터를 송신할 수도 있거나 또는 (예를 들어, 버스를 통한) 송신을 위한 출력용 정보 또는 데이터를 준비할 수도 있다.
본 개시와 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들 및 회로들은 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 집적 회로 (ASIC), 필드 프로그래밍가능 게이트 어레이 신호 (FPGA) 또는 다른 프로그래밍가능 로직 디바이스 (PLD), 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들 또는 본 명세서에서 설명된 기능들을 수행하도록 설계된 그 임의의 조합으로 구현 또는 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안으로, 프로세서는 임의의 상업적으로 입수가능한 프로세서, 제어기, 마이크로제어기 또는 상태 머신일 수도 있다. 프로세서는 또한, 컴퓨팅 디바이스들의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 다른 이러한 구성으로서 구현될 수도 있다.
하나 이상의 양태들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 그 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되면, 기능들은 컴퓨터 판독가능 매체 상에 하나 이상의 명령들 또는 코드로서 저장되거나 또는 이를 통해 송신될 수도 있다. 컴퓨터 판독가능 매체들은 일 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 통신 매체들 및 컴퓨터 저장 매체들 양자 모두를 포함한다. 저장 매체들은 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체들일 수도 있다. 제한이 아닌 일 예로, 이러한 컴퓨터 판독가능 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 저장 디바이스들, 또는 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 반송 또는 저장하는데 이용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 커넥션이 컴퓨터 판독가능 매체로 적절히 불리게 된다. 예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 트위스티드 페어, 디지털 가입자 회선 (DSL), 또는 적외선, 라디오, 및 마이크로파와 같은 무선 기술들을 이용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 송신되면, 매체의 정의에는, 동축 케이블, 광섬유 케이블, 트위스티드 페어, DSL, 또는 적외선, 라디오, 및 마이크로파와 같은 무선 기술들이 포함된다. 디스크 (disk) 및 디스크 (disc) 는 본 명세서에서 사용한 바와 같이, 콤팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루-레이 디스크를 포함하고, 여기서 디스크 (disk) 들은 보통 데이터를 자기적으로 재생하는 한편, 디스크 (disc) 들은 레이저들로 데이터를 광학적으로 재생한다. 따라서, 일부 양태들에서 컴퓨터 판독가능 매체는 비일시적 컴퓨터 판독가능 매체 (예를 들어, 유형의 매체들) 를 포함할 수도 있다. 추가로, 일부 양태들에서 컴퓨터 판독가능 매체는 일시적 컴퓨터 판독가능 매체 (예를 들어, 신호) 를 포함할 수도 있다. 상기의 조합들이 또한 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.
본 명세서에서 개시된 방법들은 설명된 방법을 달성하기 위한 하나 이상의 단계들 또는 액션들을 포함한다. 방법 단계들 및/또는 액션들은 청구항들의 범위로부터 벗어남 없이 서로 상호교환될 수도 있다. 다시 말해서, 단계들 또는 액션들의 특정 순서가 특정되면, 특정 단계들 및/또는 액션들의 순서 및/또는 이용은 청구항들의 범위로부터 벗어남 없이 변형될 수도 있다.
설명된 기능들은 하드웨어, 소프트웨어, 펌웨어 또는 그 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되면, 기능들은 컴퓨터 판독가능 매체 상에 하나 이상의 명령들로서 저장될 수도 있다. 저장 매체들은 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체들일 수도 있다. 제한이 아닌 일 예로, 이러한 컴퓨터 판독가능 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 저장 디바이스들, 또는 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 반송 또는 저장하는데 이용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 디스크 (disk) 및 디스크 (disc) 는 본 명세서에서 사용한 바와 같이, 콤팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크, 블루-레이® 디스크를 포함하고, 여기서 디스크 (disk) 들은 보통 데이터를 자기적으로 재생하는 한편, 디스크 (disc) 들은 레이저들로 데이터를 광학적으로 재생한다.
따라서, 소정의 양태들은 본 명세서에서 제시된 동작들을 수행하기 위한 컴퓨터 프로그램 제품을 포함할 수도 있다. 예를 들어, 이러한 컴퓨터 프로그램 제품은 본 명세서에서 설명된 동작들을 수행하도록 하나 이상의 프로세서들에 의해 실행가능한 명령들을 저장한 (및/또는 인코딩한) 컴퓨터 판독가능 매체를 포함할 수도 있다. 소정의 양태들에 대해, 컴퓨터 프로그램 제품은 패키징 재료를 포함할 수도 있다.
소프트웨어 또는 명령들은 송신 매체를 통해 또한 송신될 수도 있다. 예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 트위스티드 페어, 디지털 가입자 회선 (DSL), 또는 적외선, 라디오, 및 마이크로파와 같은 무선 기술들을 이용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 송신되면, 매체의 정의에는 동축 케이블, 광섬유 케이블, 트위스티드 페어, DSL, 또는 적외선, 라디오, 및 마이크로파와 같은 무선 기술들이 포함된다.
게다가, 본 명세서에서 설명된 방법들 및 기법들을 수행하기 위한 모듈들 및/또는 다른 적절한 수단이 다운로드되고 및/또는 다르게는 적용가능할 때 사용자 단말기 및/또는 기지국에 의해 획득될 수 있다는 것이 인식되어야 한다. 예를 들어, 이러한 디바이스는 본 명세서에서 설명된 방법들을 수행하기 위한 수단의 전송을 용이하게 하도록 서버에 커플링될 수 있다. 대안적으로, 본 명세서에서 설명된 다양한 방법들은, 사용자 단말기 및/또는 기지국이 저장 수단을 디바이스에 커플링 또는 제공할 때 다양한 방법들을 획득할 수 있도록, 저장 수단 (예를 들어, RAM, ROM, 콤팩트 디스크 (CD) 또는 플로피 디스크와 같은 물리적 저장 매체, 등) 을 통해 제공될 수 있다. 더욱이, 본 명세서에서 설명된 방법들 및 기법들을 디바이스에 제공하기 위한 임의의 다른 적합한 기법이 활용될 수 있다.
청구항들은 상기 예시된 정확한 구성 및 컴포넌트들에 제한되지 않는 것으로 이해될 것이다. 다양한 변형들, 변화들 및 변동들은 청구항들의 범위로부터 벗어남 없이 상기 설명된 방법들 및 장치의 어레인지먼트, 동작 및 상세들에 있어서 이루어질 수도 있다.
전술한 것은 본 개시의 양태들과 관련되지만, 본 개시의 다른 및 추가의 양태들은 그 기본적인 범위로부터 벗어남 없이 고안될 수도 있고, 그 범위는 다음에 오는 청구항들에 의해 결정된다.

Claims (30)

  1. 심도 맵을 생성하기 위한 장치로서,
    이미징 디바이스의 시야 (field-of-view; FOV) 에서의 장면의 적어도 이미지를 캡처하도록 구성된 상기 이미징 디바이스;
    상기 장면의 심도 맵을 생성하도록 각각 구성된 복수의 심도 센싱 모듈들; 및
    프로세서를 포함하는 프로세싱 시스템
    을 포함하고,
    상기 프로세싱 시스템은 :
    상기 복수의 심도 센싱 모듈들로부터 제 1 심도 센싱 모듈을 선택하고;
    선택된 상기 제 1 심도 센싱 모듈 및 상기 이미징 디바이스를 이용하여 상기 이미징 디바이스의 FOV 에서의 상기 장면의 제 1 심도 정보를 센싱하고;
    상기 제 1 심도 정보에 기초하여 제 1 심도 맵을 생성하는 것으로서, 상기 제 1 심도 맵은 상기 장면에서의 복수의 포인트들에 대한 심도 측정을 포함하는, 상기 제 1 심도 맵을 생성하고;
    하나 이상의 부정확한 심도 측정들을 갖는 상기 제 1 심도 맵의 하나 이상의 포인트들의 적어도 하나의 영역을 식별하고; 그리고
    식별된 상기 적어도 하나의 영역의 특성들에 기초하여 상기 복수의 심도 센싱 모듈들 중 제 2 선택된 심도 센싱 모듈을 이용하여 추가적인 심도 센싱을 수행할지 여부를 결정하도록
    구성되고,
    상기 프로세싱 시스템은 또한:
    추가적인 심도 센싱을 수행하기 위한 결정에 기초하여, 상기 복수의 심도 센싱 모듈들로부터 제 2 심도 센싱 모듈을 선택하고;
    선택된 상기 제 2 심도 센싱 모듈을 이용하여 상기 이미징 디바이스의 상기 FOV 에서의 상기 장면의 제 2 심도 정보를 센싱하고;
    상기 제 2 심도 정보에 기초하여 제 2 심도 맵을 생성하고;
    상기 제 2 심도 맵 및 상기 제 1 심도 맵의 적어도 부분을 함께 이용하여 융합된 심도 맵을 생성하는 것으로서, 상기 융합된 심도 맵은 하나 이상의 부정확한 심도 측정들을 갖는 상기 제 1 심도 맵에서의 상기 적어도 하나의 영역에 대응하는 상기 제 2 심도 맵의 적어도 부분을 이용하는, 상기 융합된 심도 맵을 생성하고,
    하나 이상의 부정확한 심도 측정들을 갖는 상기 융합된 심도 맵의 하나 이상의 포인트들의 적어도 제 2 영역을 식별하고; 그리고
    식별된 상기 제 2 영역의 특성들에 기초하여 제 3 선택된 심도 센싱 모듈을 이용하여 추가적인 심도 센싱을 수행할지 여부를 결정하도록
    구성되는, 심도 맵을 생성하기 위한 장치.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 프로세싱 시스템은 또한, 상기 제 1 심도 맵 및 상기 제 2 심도 맵의 공간 의존적 융합을 생성하는 것에 의해 상기 제 1 심도 맵 및 상기 제 2 심도 맵을 융합하도록 구성되는, 심도 맵을 생성하기 위한 장치.
  5. 제 1 항에 있어서,
    상기 복수의 심도 센싱 모듈들로부터 제 2 심도 센싱 모듈을 선택하도록 구성된 상기 프로세싱 시스템은, 상기 FOV 의 이전에 캡처된 프레임의 리뷰에 기초하여 상기 제 1 심도 맵의 심도 측정들을 향상시키지 않을 상기 복수의 심도 센싱 모듈들 중의 하나 이상의 심도 센싱 모듈들을 식별하도록 구성된 상기 프로세싱 시스템을 포함하는, 심도 맵을 생성하기 위한 장치.
  6. 제 1 항에 있어서,
    상기 복수의 심도 센싱 모듈들 중 제 3 선택된 심도 센싱 모듈을 통해 추가적인 심도 센싱을 수행할지 여부를 결정하도록 구성된 상기 프로세싱 시스템은, 상기 복수의 심도 센싱 모듈들 중의 어떤 심도 센싱 모듈이 상기 융합된 심도 맵의 심도 측정들보다 더 양호한 심도 측정들을 제공할지를 결정하도록 구성된 상기 프로세싱 시스템을 포함하는, 심도 맵을 생성하기 위한 장치.
  7. 제 1 항에 있어서,
    상기 복수의 심도 센싱 모듈들 중 제 2 선택된 심도 센싱 모듈을 통해 추가적인 심도 센싱을 수행할지 여부를 결정하도록 구성된 상기 프로세싱 시스템은, 상기 복수의 심도 센싱 모듈들 중의 어떤 심도 센싱 모듈이 상기 제 1 심도 맵의 심도 측정들보다 더 양호한 심도 측정들을 제공할지를 결정하도록 구성된 상기 프로세싱 시스템을 포함하는, 심도 맵을 생성하기 위한 장치.
  8. 제 1 항에 있어서,
    상기 제 1 심도 센싱 모듈은 스테레오 비전 심도 센싱 모듈, 구조광 심도 센싱 모듈, 또는 셰이딩 심도 센싱 모듈 중 적어도 하나로부터 선택되는, 심도 맵을 생성하기 위한 장치.
  9. 제 8 항에 있어서,
    상기 스테레오 비전 심도 센싱 모듈, 상기 구조광 심도 센싱 모듈, 및 상기 셰이딩 심도 센싱 모듈은 상기 이미징 디바이스에서의 하드웨어 컴포넌트들을 공유하는, 심도 맵을 생성하기 위한 장치.
  10. 제 1 항에 있어서,
    상기 제 1 심도 센싱 모듈의 상기 선택은 상기 이미징 디바이스에서의 이용가능한 저장 공간, 상기 이미징 디바이스의 이용가능한 배터리 전력, 이용가능한 심도 해상도들, 상기 이미징 디바이스의 환경, 또는 상기 이미징 디바이스에 의해 캡처될 장면 중 적어도 하나에 기초하는, 심도 맵을 생성하기 위한 장치.
  11. 제 1 항에 있어서,
    상기 제 1 심도 센싱 모듈의 상기 선택은 적어도 하나의 오브젝트의 심도, 상기 적어도 하나의 오브젝트의 환경, 상기 적어도 하나의 오브젝트의 프레임 내의 로케이션, 또는 상기 이미징 디바이스의 특성에 적어도 부분적으로 기초하는, 심도 맵을 생성하기 위한 장치.
  12. 제 1 항에 있어서,
    상기 이미징 디바이스는 스테레오 이미징 시스템을 포함하고 상기 장면의 2 개 이상의 이미지들을 캡처하고, 상기 프로세싱 시스템은 상기 2 개 이상의 이미지들에 대해 디스패리티 매칭을 수행하는 것에 의해 제 1 심도 정보를 센싱하도록 구성되는, 심도 맵을 생성하기 위한 장치.
  13. 심도 맵을 생성하기 위한 방법으로서,
    이미징 디바이스의 시야를 식별하는 단계로서, 상기 이미징 디바이스는 상기 시야의 적어도 하나의 이미지를 캡처하도록 구성된, 상기 이미징 디바이스의 시야를 식별하는 단계;
    복수의 심도 센싱 방법들로부터 제 1 심도 센싱 방법을 선택하는 단계;
    선택된 상기 제 1 심도 센싱 방법을 이용하여 상기 이미징 디바이스의 상기 시야의 제 1 심도를 센싱하는 단계;
    선택된 상기 제 1 심도 센싱 방법의 센싱된 상기 제 1 심도에 기초하여 상기 시야의 제 1 심도 맵을 생성하는 단계로서, 상기 제 1 심도 맵은 상기 시야에서의 모든 포인트에 대한 심도 측정을 포함하는, 상기 제 1 심도 맵을 생성하는 단계;
    상기 제 1 심도 맵에서 하나 이상의 부정확한 심도 측정들을 갖는 상기 제 1 심도 맵의 하나 이상의 포인트들의 영역을 식별하는 단계;
    하나 이상의 부정확한 심도 측정들을 갖는 하나 이상의 포인트들을 갖는 상기 영역의 상기 식별에 기초하여 제 2 선택된 심도 센싱 방법을 통한 추가적인 심도 센싱이 보장되는지를 결정하는 단계;
    상기 복수의 심도 센싱 방법들로부터 제 2 심도 센싱 방법을 선택하는 단계;
    추가적인 심도 센싱이 보장된다는 결정에 기초하여 선택된 상기 제 2 심도 센싱 방법을 이용하여 상기 이미징 디바이스에 대한 적어도 하나의 시야의 제 2 심도를 센싱하는 단계;
    선택된 상기 제 2 심도 센싱 방법의 센싱된 상기 제 2 심도에 기초하여 상기 적어도 하나의 시야의 제 2 심도 맵을 생성하는 단계;
    융합된 심도 맵을 생성하기 위해 함께 상기 제 1 심도 맵과 상기 제 2 심도 맵을 융합하는 단계로서, 상기 융합된 심도 맵은 상기 제 1 심도 맵 및 상기 제 2 심도 맵의 각각보다 더 적은 신뢰가능하지 않은 영역들을 갖도록 구성된, 상기 제 1 심도 맵과 상기 제 2 심도 맵을 융합하는 단계;
    상기 융합된 심도 맵에서 하나 이상의 부정확한 심도 측정들을 갖는 상기 융합된 심도 맵의 하나 이상의 포인트들의 제 2 영역을 식별하는 단계; 및
    하나 이상의 부정확한 심도 측정들을 갖는 상기 융합된 심도 맵의 하나 이상의 포인트들의 상기 제 2 영역의 상기 식별에 기초하여 제 3 선택된 심도 센싱 방법을 통한 추가적인 심도 센싱이 보장되는지를 결정하는 단계
    를 포함하는, 심도 맵을 생성하기 위한 방법.
  14. 삭제
  15. 제 13 항에 있어서,
    상기 제 1 심도 맵과 상기 제 2 심도 맵을 융합하는 단계는 상기 제 1 심도 맵 및 상기 제 2 심도 맵의 공간 의존적 융합을 생성하는 단계를 포함하는, 심도 맵을 생성하기 위한 방법.
  16. 제 13 항에 있어서,
    상기 복수의 심도 센싱 방법들로부터 제 2 심도 센싱 방법을 선택하는 단계는 상기 시야의 이전에 캡처된 프레임의 리뷰에 기초하여 상기 복수의 심도 센싱 방법들 중의 심도 센싱 방법들을 식별하는 단계를 포함하는, 심도 맵을 생성하기 위한 방법.
  17. 제 13 항에 있어서,
    상기 제 3 선택된 심도 센싱 방법을 통한 추가적인 심도 센싱이 보장되는지를 결정하는 단계는, 상기 복수의 심도 센싱 방법들 중의 어떤 심도 센싱 방법이 상기 융합된 심도 맵의 심도 측정들보다 더 양호한 심도 측정들을 제공할지를 결정하는 단계를 포함하는, 심도 맵을 생성하기 위한 방법.
  18. 제 13 항에 있어서,
    상기 제 2 선택된 심도 센싱 방법을 통한 추가적인 심도 센싱이 보장되는지를 결정하는 단계는, 상기 복수의 심도 센싱 방법들 중의 어떤 심도 센싱 방법이 상기 제 1 심도 맵의 심도 측정들보다 더 양호한 심도 측정들을 제공할지를 결정하는 단계를 포함하는, 심도 맵을 생성하기 위한 방법.
  19. 제 13 항에 있어서,
    상기 제 1 심도 센싱 방법은 스테레오 비전 심도 센싱 방법, 구조광 심도 센싱 방법, 및 셰이딩 심도 센싱 방법 중 적어도 하나로부터 선택되는, 심도 맵을 생성하기 위한 방법.
  20. 제 19 항에 있어서,
    상기 스테레오 비전 심도 센싱 방법, 상기 구조광 심도 센싱 방법, 및 상기 셰이딩 심도 센싱 방법은 상기 이미징 디바이스에서의 하드웨어 컴포넌트들을 공유하는, 심도 맵을 생성하기 위한 방법.
  21. 제 13 항에 있어서,
    상기 제 1 심도 센싱 방법의 상기 선택은 상기 이미징 디바이스에서의 이용가능한 저장 공간, 상기 이미징 디바이스의 이용가능한 배터리 전력, 이용가능한 심도 해상도들, 상기 이미징 디바이스의 환경, 및 상기 이미징 디바이스에 의해 캡처될 장면 중 적어도 하나에 기초하는, 심도 맵을 생성하기 위한 방법.
  22. 제 13 항에 있어서,
    상기 제 1 심도 센싱 방법의 상기 선택은 적어도 하나의 오브젝트의 심도, 상기 적어도 하나의 오브젝트의 환경, 상기 적어도 하나의 오브젝트의 프레임 내의 로케이션, 또는 상기 이미징 디바이스의 특성에 적어도 부분적으로 기초하는, 심도 맵을 생성하기 위한 방법.
  23. 제 13 항에 있어서,
    상기 시야의 제 1 심도를 센싱하는 단계는 식별된 상기 시야에 디스패리티 매칭을 적용하는 단계를 포함하고, 상기 이미징 디바이스들은 스테레오 옵틱스를 포함하는, 심도 맵을 생성하기 위한 방법.
  24. 심도 맵을 생성하기 위한 장치로서,
    시야의 이미지 캡처 수단;
    상기 시야의 심도 맵을 생성하도록 각각 구성된 복수의 심도 센싱 수단;
    상기 복수의 심도 센싱 수단으로부터 제 1 심도 센싱 수단을 선택하기 위한 수단;
    선택된 상기 제 1 심도 센싱 수단을 이용하여 상기 이미지 캡처 수단의 상기 시야의 제 1 심도를 센싱하기 위한 수단;
    선택된 상기 제 1 심도 센싱 수단의 센싱된 상기 제 1 심도에 기초하여 상기 시야의 제 1 심도 맵을 생성하기 위한 수단으로서, 상기 제 1 심도 맵은 상기 시야에서의 모든 포인트에 대한 심도 측정을 포함하는, 상기 제 1 심도 맵을 생성하기 위한 수단;
    상기 제 1 심도 맵에서 하나 이상의 부정확한 심도 측정들을 갖는 상기 제 1 심도 맵의 하나 이상의 포인트들의 영역을 식별하기 위한 수단;
    하나 이상의 부정확한 심도 측정들을 갖는 하나 이상의 포인트들을 갖는 상기 영역의 상기 식별에 기초하여 상기 복수의 심도 센싱 수단 중 제 2 선택된 심도 센싱 수단을 통한 추가적인 심도 센싱이 보장되는지를 결정하기 위한 수단;
    상기 복수의 심도 센싱 수단으로부터 제 2 심도 센싱 수단을 선택하기 위한 수단;
    추가적인 심도 센싱이 보장된다는 결정에 기초하여 선택된 상기 제 2 심도 센싱 수단을 이용하여 상기 이미지 캡처 수단에 대한 상기 시야의 제 2 심도를 센싱하기 위한 수단;
    선택된 상기 제 2 심도 센싱 수단의 센싱된 상기 제 2 심도에 기초하여 상기 시야의 제 2 심도 맵을 생성하기 위한 수단;
    융합된 심도 맵을 생성하기 위해 함께 상기 제 1 심도 맵과 상기 제 2 심도 맵을 융합하기 위한 수단으로서, 상기 융합된 심도 맵은 상기 제 1 심도 맵 및 상기 제 2 심도 맵의 각각보다 더 적은 신뢰가능하지 않은 영역들을 갖도록 구성된, 상기 제 1 심도 맵과 상기 제 2 심도 맵을 융합하기 위한 수단;
    상기 융합된 심도 맵에서 하나 이상의 부정확한 심도 측정들을 갖는 상기 융합된 심도 맵의 하나 이상의 포인트들의 제 2 영역을 식별하기 위한 수단; 및
    하나 이상의 부정확한 심도 측정들을 갖는 상기 융합된 심도 맵의 하나 이상의 포인트들의 상기 제 2 영역의 상기 식별에 기초하여 제 3 선택된 심도 센싱 수단을 통한 추가적인 심도 센싱이 보장되는지를 결정하기 위한 수단
    을 포함하는, 심도 맵을 생성하기 위한 장치.
  25. 삭제
  26. 제 24 항에 있어서,
    상기 제 1 심도 맵과 상기 제 2 심도 맵을 융합하기 위한 수단은 상기 제 1 심도 맵 및 상기 제 2 심도 맵의 공간 의존적 융합을 생성하도록 구성되는, 심도 맵을 생성하기 위한 장치.
  27. 제 24 항에 있어서,
    상기 복수의 심도 센싱 수단으로부터 제 2 심도 센싱 수단을 선택하기 위한 수단은 상기 시야의 이전에 캡처된 프레임의 리뷰에 기초하여 상기 제 1 심도 맵의 심도 측정들을 향상시키지 않을 상기 복수의 심도 센싱 수단 중의 하나 이상의 심도 센싱 수단을 식별하도록 구성되는, 심도 맵을 생성하기 위한 장치.
  28. 제 24 항에 있어서,
    상기 복수의 심도 센싱 수단 중 상기 제 3 선택된 심도 센싱 수단을 통한 추가적인 심도 센싱이 보장되는지를 결정하기 위한 수단은, 상기 복수의 심도 센싱 수단 중의 어떤 심도 센싱 수단이 상기 융합된 심도 맵의 심도 측정들보다 더 양호한 심도 측정들을 제공할지를 결정하도록 구성되는, 심도 맵을 생성하기 위한 장치.
  29. 제 24 항에 있어서,
    상기 복수의 심도 센싱 수단 중 제 2 선택된 심도 센싱 수단을 통한 추가적인 심도 센싱이 보장되는지를 결정하기 위한 수단은 상기 복수의 심도 센싱 수단 중의 어떤 심도 센싱 수단이 상기 제 1 심도 맵의 심도 측정들보다 더 양호한 심도 측정들을 제공할지를 결정하도록 구성되는, 심도 맵을 생성하기 위한 장치.
  30. 제 24 항에 있어서,
    상기 제 1 심도 센싱 수단은 스테레오 심도 이미지를 캡처하기 위한 수단, 구조광 심도 이미지를 캡처하기 위한 수단, 및 셰이딩 심도 이미지를 캡처하기 위한 수단 중 적어도 하나로부터 선택되는, 심도 맵을 생성하기 위한 장치.
KR1020177019335A 2015-01-20 2016-01-04 다중 기술 심도 맵 취득 및 융합을 위한 방법 및 장치 KR102565513B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/601,073 US10404969B2 (en) 2015-01-20 2015-01-20 Method and apparatus for multiple technology depth map acquisition and fusion
US14/601,073 2015-01-20
PCT/US2016/012069 WO2016118313A1 (en) 2015-01-20 2016-01-04 Method and apparatus for multiple technology depth map acquisition and fusion

Publications (2)

Publication Number Publication Date
KR20170106325A KR20170106325A (ko) 2017-09-20
KR102565513B1 true KR102565513B1 (ko) 2023-08-09

Family

ID=55182612

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177019335A KR102565513B1 (ko) 2015-01-20 2016-01-04 다중 기술 심도 맵 취득 및 융합을 위한 방법 및 장치

Country Status (8)

Country Link
US (1) US10404969B2 (ko)
EP (1) EP3248374B1 (ko)
JP (2) JP6946188B2 (ko)
KR (1) KR102565513B1 (ko)
CN (1) CN107113415B (ko)
BR (1) BR112017015501A2 (ko)
CA (1) CA2969482C (ko)
WO (1) WO2016118313A1 (ko)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015159323A1 (en) * 2014-04-17 2015-10-22 Sony Corporation Depth assisted scene recognition for a camera
US10531071B2 (en) * 2015-01-21 2020-01-07 Nextvr Inc. Methods and apparatus for environmental measurements and/or stereoscopic image capture
JP2016142676A (ja) * 2015-02-04 2016-08-08 ソニー株式会社 情報処理装置と情報処理方法とプログラムおよび撮像装置
US9716876B2 (en) * 2015-04-01 2017-07-25 Sony Corporation Power efficient multiple camera system
US9872011B2 (en) * 2015-11-24 2018-01-16 Nokia Technologies Oy High-speed depth sensing with a hybrid camera setup
US10701244B2 (en) 2016-09-30 2020-06-30 Microsoft Technology Licensing, Llc Recolorization of infrared image streams
CN106525004A (zh) * 2016-11-09 2017-03-22 人加智能机器人技术（北京）有限公司 双目立体视觉系统及深度测量方法
US11042984B2 (en) * 2016-11-10 2021-06-22 Movea Systems and methods for providing image depth information
US10389948B2 (en) * 2016-12-06 2019-08-20 Qualcomm Incorporated Depth-based zoom function using multiple cameras
CN109087235B (zh) * 2017-05-25 2023-09-15 钰立微电子股份有限公司 图像处理器和相关的图像系统
TWI647661B (zh) * 2017-08-10 2019-01-11 緯創資通股份有限公司 影像深度感測方法與影像深度感測裝置
WO2019044608A1 (ja) * 2017-08-29 2019-03-07 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体
WO2019061064A1 (zh) * 2017-09-27 2019-04-04 深圳市大疆创新科技有限公司 图像处理方法和设备
CN109870116B (zh) * 2017-12-05 2021-08-03 光宝电子(广州)有限公司 深度成像装置及其驱动方法
US10798368B2 (en) * 2018-03-13 2020-10-06 Lyft, Inc. Exposure coordination for multiple cameras
US10958897B2 (en) * 2018-04-02 2021-03-23 Mediatek Inc. Method and apparatus of depth fusion
CN110349196B (zh) * 2018-04-03 2024-03-29 联发科技股份有限公司 深度融合的方法和装置
CN108924408B (zh) * 2018-06-15 2020-11-03 深圳奥比中光科技有限公司 一种深度成像方法及系统
CN108924407B (zh) * 2018-06-15 2020-12-18 深圳奥比中光科技有限公司 一种深度成像方法及系统
WO2020010561A1 (zh) * 2018-07-12 2020-01-16 华为技术有限公司 测量物体参数的方法及装置
CN110442235B (zh) * 2019-07-16 2023-05-23 广东虚拟现实科技有限公司 定位跟踪方法、装置、终端设备及计算机可读取存储介质
KR102552923B1 (ko) * 2018-12-03 2023-07-10 삼성전자 주식회사 복수의 카메라들 또는 깊이 센서 중 적어도 하나를 이용하여 깊이 정보를 획득하는 전자 장치
KR102606824B1 (ko) * 2018-12-14 2023-11-27 삼성전자주식회사 멀티 카메라를 포함하는 장치 및 이의 이미지 처리방법
US11151993B2 (en) * 2018-12-28 2021-10-19 Baidu Usa Llc Activating voice commands of a smart display device based on a vision-based mechanism
US10686980B1 (en) 2019-01-22 2020-06-16 Daqri, Llc Systems and methods for generating composite depth images based on signals from an inertial sensor
WO2020192039A1 (en) * 2019-03-27 2020-10-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Three-dimensional localization using light-depth images
WO2020209491A1 (en) 2019-04-11 2020-10-15 Samsung Electronics Co., Ltd. Head-mounted display device and operating method of the same
US11361458B2 (en) * 2019-04-19 2022-06-14 Mitutoyo Corporation Three-dimensional geometry measurement apparatus and three-dimensional geometry measurement method
US10867220B2 (en) 2019-05-16 2020-12-15 Rpx Corporation Systems and methods for generating composite sets of data from different sensors
US11763433B2 (en) 2019-11-14 2023-09-19 Samsung Electronics Co., Ltd. Depth image generation method and device
CN113141496A (zh) * 2020-01-20 2021-07-20 北京芯海视界三维科技有限公司 3d拍摄方法、装置及3d显示终端
US11836940B2 (en) * 2020-06-15 2023-12-05 Zebra Technologies Corporation Three-dimensional sensor acuity recovery assistance
KR20220030007A (ko) * 2020-09-02 2022-03-10 삼성전자주식회사 이미지 생성 장치 및 방법
US11496660B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and depth map calculation method thereof
KR102609829B1 (ko) * 2020-11-27 2023-12-04 연세대학교 산학협력단 생성적 적대 신경망을 이용한 스테레오 매칭 신뢰도 추정 장치 및 방법
CN112598711B (zh) * 2020-12-25 2022-12-20 南京信息工程大学滨江学院 一种基于联合光谱降维和特征融合的高光谱目标跟踪方法
CN113902785B (zh) * 2021-09-15 2022-04-15 珠海视熙科技有限公司 一种深度图像的处理方法、系统、装置及计算机存储介质
JP2023104131A (ja) * 2022-01-17 2023-07-28 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008096162A1 (en) 2007-02-09 2008-08-14 Vodafone Group Plc Improvements in the implementation of telecommunications network access restrictions
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
JP2012123296A (ja) * 2010-12-10 2012-06-28 Sanyo Electric Co Ltd 電子機器
WO2012107574A1 (en) 2011-02-10 2012-08-16 Technische Universität München Forschungsförderung Und Technologietransfer Method of enhanced depth image acquisition
JP2013156109A (ja) * 2012-01-30 2013-08-15 Hitachi Ltd 距離計測装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852672A (en) * 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
US6084979A (en) * 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
JPH10243281A (ja) * 1997-02-28 1998-09-11 Canon Inc 測距装置及び測距方法
JP2000105105A (ja) * 1998-09-29 2000-04-11 Junichi Takeno 回転・移動視差を用いた虚像とオクリュ―ジョンの発見手法およびその手法を現実化するための機構
US6868191B2 (en) * 2000-06-28 2005-03-15 Telefonaktiebolaget Lm Ericsson (Publ) System and method for median fusion of depth maps
EP1371019A2 (en) * 2001-01-26 2003-12-17 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
JP2006107093A (ja) * 2004-10-05 2006-04-20 Konica Minolta Medical & Graphic Inc 画像処理装置、およびプログラム
US20110057930A1 (en) 2006-07-26 2011-03-10 Inneroptic Technology Inc. System and method of using high-speed, high-resolution depth extraction to provide three-dimensional imagery for endoscopy
JP4452951B2 (ja) * 2006-11-02 2010-04-21 富士フイルム株式会社 距離画像生成方法及びその装置
US20090322859A1 (en) * 2008-03-20 2009-12-31 Shelton Damion M Method and System for 3D Imaging Using a Spacetime Coded Laser Projection System
US8774512B2 (en) * 2009-02-11 2014-07-08 Thomson Licensing Filling holes in depth maps
US8164617B2 (en) * 2009-03-25 2012-04-24 Cisco Technology, Inc. Combining views of a plurality of cameras for a video conferencing endpoint with a display wall
KR20110124473A (ko) * 2010-05-11 2011-11-17 삼성전자주식회사 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법
US8447098B1 (en) 2010-08-20 2013-05-21 Adobe Systems Incorporated Model-based stereo matching
WO2012075631A1 (en) 2010-12-08 2012-06-14 Industrial Technology Research Institute Methods for generating stereoscopic views from monoscopic endoscope images and systems using the same
US8878950B2 (en) * 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
KR101210625B1 (ko) * 2010-12-28 2012-12-11 주식회사 케이티 빈공간 채움 방법 및 이를 수행하는 3차원 비디오 시스템
EP2742695A4 (en) * 2011-08-10 2016-08-31 Ericsson Telefon Ab L M METHOD AND APPARATUS FOR CREATING A DISOCLEMENT CARD USED FOR 3D VIDEO CODING
EP2745517A1 (en) * 2011-08-15 2014-06-25 Telefonaktiebolaget LM Ericsson (PUBL) Encoder, method in an encoder, decoder and method in a decoder for providing information concerning a spatial validity range
US9129183B2 (en) * 2011-09-28 2015-09-08 Pelican Imaging Corporation Systems and methods for encoding light field image files
US9098908B2 (en) 2011-10-21 2015-08-04 Microsoft Technology Licensing, Llc Generating a depth map
US9161010B2 (en) 2011-12-01 2015-10-13 Sony Corporation System and method for generating robust depth maps utilizing a multi-resolution procedure
US9117295B2 (en) * 2011-12-20 2015-08-25 Adobe Systems Incorporated Refinement of depth maps by fusion of multiple estimates
ITTO20120413A1 (it) * 2012-05-08 2013-11-09 Sisvel Technology Srl Metodo per la generazione e ricostruzione di un flusso video tridimensionale, basato sull'utilizzo della mappa delle occlusioni, e corrispondente dispositivo di generazione e ricostruzione.
US8633970B1 (en) * 2012-08-30 2014-01-21 Google Inc. Augmented reality with earth data
WO2014050830A1 (ja) * 2012-09-25 2014-04-03 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
RU2012154657A (ru) 2012-12-17 2014-06-27 ЭлЭсАй Корпорейшн Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной
US20140363097A1 (en) * 2013-06-06 2014-12-11 Etron Technology, Inc. Image capture system and operation method thereof
DE102013110615B3 (de) * 2013-09-26 2014-11-27 Sick Ag 3D-Kamera nach dem Stereoskopieprinzip und Verfahren zum Erfassen von Tiefenkarten
TWI573433B (zh) * 2014-04-30 2017-03-01 聚晶半導體股份有限公司 優化深度資訊的方法與裝置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008096162A1 (en) 2007-02-09 2008-08-14 Vodafone Group Plc Improvements in the implementation of telecommunications network access restrictions
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
JP2012123296A (ja) * 2010-12-10 2012-06-28 Sanyo Electric Co Ltd 電子機器
WO2012107574A1 (en) 2011-02-10 2012-08-16 Technische Universität München Forschungsförderung Und Technologietransfer Method of enhanced depth image acquisition
JP2013156109A (ja) * 2012-01-30 2013-08-15 Hitachi Ltd 距離計測装置

Also Published As

Publication number Publication date
CN107113415B (zh) 2019-06-14
JP2018510324A (ja) 2018-04-12
EP3248374B1 (en) 2019-02-27
CA2969482A1 (en) 2016-07-28
JP6946188B2 (ja) 2021-10-06
BR112017015501A2 (pt) 2018-01-30
US20160212411A1 (en) 2016-07-21
WO2016118313A1 (en) 2016-07-28
EP3248374A1 (en) 2017-11-29
CN107113415A (zh) 2017-08-29
KR20170106325A (ko) 2017-09-20
CA2969482C (en) 2023-05-09
US10404969B2 (en) 2019-09-03
JP2021170007A (ja) 2021-10-28

Similar Documents

Publication Publication Date Title
KR102565513B1 (ko) 다중 기술 심도 맵 취득 및 융합을 위한 방법 및 장치
US9918065B2 (en) Depth-assisted focus in multi-camera systems
US11210799B2 (en) Estimating depth using a single camera
US9544574B2 (en) Selecting camera pairs for stereoscopic imaging
CN111052727B (zh) 电子装置及其控制方法
US9154697B2 (en) Camera selection based on occlusion of field of view
KR102480245B1 (ko) 패닝 샷들의 자동 생성
CN106713755B (zh) 全景图像的处理方法及装置
KR20200031689A (ko) 이미지 처리 방법, 장치 및 기기
KR20180109918A (ko) 다중 카메라들을 사용하여 심리스 줌 기능을 구현하기 위한 시스템들 및 방법들
WO2019109805A1 (zh) 图像处理方法和装置
CN113129241B (zh) 图像处理方法及装置、计算机可读介质、电子设备
US20170171456A1 (en) Stereo Autofocus
CN108053438B (zh) 景深获取方法、装置及设备
KR20190075654A (ko) 복수 개의 카메라를 포함하는 전자 장치 및 그 동작 방법
EP2750391B1 (en) Method, apparatus and computer program product for processing of images
US20230033956A1 (en) Estimating depth based on iris size
KR20160123757A (ko) 이미지 촬영 장치 및 이미지 촬영 방법
WO2018161322A1 (zh) 基于深度的图像处理方法、处理装置和电子装置
JP2017215851A (ja) 画像処理装置および画像処理方法、造形システム
KR20140031085A (ko) 노출 보정 기능을 갖는 촬상 장치 및 이를 구비한 전자 기기

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant