KR20180109918A - 다중 카메라들을 사용하여 심리스 줌 기능을 구현하기 위한 시스템들 및 방법들 - Google Patents
다중 카메라들을 사용하여 심리스 줌 기능을 구현하기 위한 시스템들 및 방법들 Download PDFInfo
- Publication number
- KR20180109918A KR20180109918A KR1020187022538A KR20187022538A KR20180109918A KR 20180109918 A KR20180109918 A KR 20180109918A KR 1020187022538 A KR1020187022538 A KR 1020187022538A KR 20187022538 A KR20187022538 A KR 20187022538A KR 20180109918 A KR20180109918 A KR 20180109918A
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- image
- zoom level
- preview
- images
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 117
- 230000015654 memory Effects 0.000 claims abstract description 91
- 230000009466 transformation Effects 0.000 claims description 76
- 230000004913 activation Effects 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 24
- 230000003287 optical effect Effects 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 48
- 230000008569 process Effects 0.000 description 35
- 238000003384 imaging method Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 18
- 230000007704 transition Effects 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 14
- 238000013507 mapping Methods 0.000 description 12
- 230000003068 static effect Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 238000005192 partition Methods 0.000 description 5
- 230000001186 cumulative effect Effects 0.000 description 4
- 238000005562 fading Methods 0.000 description 4
- 238000005375 photometry Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000003936 working memory Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000000701 chemical imaging Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000003750 conditioning effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011968 cross flow microfiltration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H04N5/23296—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T3/14—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
- H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H04N5/2258—
-
- H04N5/23229—
-
- H04N5/23238—
-
- H04N5/23241—
-
- H04N5/23293—
-
- H04N5/247—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
-
- H04N9/045—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
2 이상의 비대칭 카메라들을 갖는 멀티 카메라 디바이스들에 대해 심리스 미리보기 이미지등를 제공하기 위한 디바이스들 및 방법들. 멀티 카메라 디바이스는 타겟 장면을 이미징하도록 배치된 2 개의 비대칭 카메라들을 포함할 수도 있다. 멀티 카메라 디바이스는, 메모리 컴포넌트 및 디스플레이에 커플링된 프로세서를 더 포함하고, 프로세서는 메모리 컴포넌트로부터 제 1 카메라에 의해 생성된 이미지를 취출하고, 메모리 컴포넌트로부터 제 2 카메라에 의해 생성된 제 2 이미지를 취출하고, 미리보기 줌 레벨에 대응하는 입력을 수신하고, 메모리로부터 공간 변환 정보 및 포토메트릭 변환 정보를 취출하고, 공간 변환 및 포토메트릭 변환에 의해 제 1 및 제 2 카메라들에 의해 수신된 적어도 하나의 이미지를 수정하고, 그리고 미리보기 줌 레벨에 기초하여 제 1 이미지 또는 제 2 이미지 중 어느 하나의 일부 및 적어도 하나의 수정된 이미지의 적어도 일부를 포함하는 미리보기 이미지를 디스플레이 상에 제공하도록 구성된다.
Description
본 명세서에 개시된 시스템들 및 방법들은 이미지 프로세싱에 관한 것이고, 특히 멀티 카메라 디바이스들을 사용하여 이미지들을 생성하는 것에 관한 것이다.
일부 이미징 디바이스들은 줌 기능을 구현하기 위해 2 이상의 카메라들을 사용한다. 이들 디바이스들에서, 각각의 카메라는 그 자신의 연관된 회로부, 렌즈들 및 센서들을 포함한다. 따라서, 이들 카메라들의 출력은, 동일한 장면을 이미징할 때에도, 이미지 파라미터들, 예를 들어 시야 (field of view) 및 컬러가 상이할 수 있다. 사용자의 입력으로부터 수신된 줌 커맨드에 의존하여, 이미징 디바이스는 적절한 카메라를 활성화하고 그 출력을 이미지 미리보기 화면으로 지향시킬 수 있다. 하지만, 이미징 디바이스가 활성 카메라를 스위칭할 때, 사용자는 이미징 디바이스의 미리보기 모드에서 이미지 장면을 구성하면서 미리보기 화면에서 갑작스런 변화를 바람직하지 않게 인식할 수 있다. 결과적으로, 사용자가 이미지 장면을 구성할 수 있고 활성 카메라들 사이에서 이미징 디바이스가 스위칭할 때 이미징 디바이스의 미리보기 모드에서 바람직하지 않은 시프트를 인지하지 않으면서 줌 커맨드를 입력할 수 있는 심리스 (seamless) 줌을 구현하기 위한 시스템들 및 방법들이 필요하다.
본 개시물의 시스템들, 방법들 및 디바이스들은 각각 몇몇 혁신적인 양태들을 가지며, 이들 중 단 하나만이 본 명세서에 개시된 바람직한 속성들을 담당하지 않는다. 소정의 혁신들은 2 개의 상이한 카메라들, 예를 들어, 광각 이미지 캡처를 위해 구성된 카메라 및 텔레포토 (telephoto) 이미지 캡처를 위해 구성된 카메라를 가지며, 하나의 카메라로부터 디스플레이된 뷰와 그 후 다른 카메라로부터 디스플레이된 뷰 사이에서 천이 (transition) 하는 이미징 시스템에 관련된다. 2 개의 카메라들은 일반적으로 동일한 타겟 장면을 이미징하도록 포지셔닝되고 구성된다. 천이는 지능형 상태 머신을 사용하여 2 개의 카메라들에 의해 생성된 이미지들 사이에서 공간 정렬 및 포토메트릭 (photometric) 정렬을 "페이딩(fading)" (천이) 하는 것에 의해 수행될 수 있다. 상태 머신은 하나의 카메라로부터의 뷰를 디스플레이하고, 이미징 파라미터가 변화할 때 (예를 들어, 원하는 줌 레벨), 다른 카메라로부터의 뷰를 천이하도록 구성된다. 천이는 (예를 들어, 2 개의 카메라들로부터의 이미지들 사이의 공간 정렬 차이를 모델링하는) 공간 변환, 및/또는 (예를 들어, 2 개의 카메라들로부터의 이미지들 사이의 컬러 및/또는 강도 차이를 모델링하는) 포토메트릭 변환을 사용하는 것을 포함할 수 있다.
공간 변환 및 포토메트릭 변환을 사용하면, 사용자에게 제시된 "미리보기" 이미지는 어느 카메라가 이미지(들) 을 제공 (또는 서빙) 하는데 사용되고 있는지에 관계없이 구분될 수 없다. 2 개의 카메라들로부터의 이미지들 사이의 변환은 결정되므로 이들은 알려진다. 양자의 카메라들은 궁극적으로 미리보기 이미지로서 디스플레이되는 이미지 정보를 제공하는 것일 수도 있다. 일부 실시형태들에서, 하나의 카메라 ("소스 카메라") 로부터 다른 카메라 ("목적지 카메라") 로의 스위칭 동안, 변환들은 목적지 카메라 이미지(들) 과 공간적 및 포토메트릭 정렬하도록 소스 카메라 이미지(들) 을 변화시킬 수도 있어서 소스 카메라는 목적지 카메라가 미리보기 이미지를 제공하고 있으면 절전을 위해 파워 다운될 수도 있다. 소스 카메라로부터 목적지 카메라로의 변환 동안, (다시 소스 카메라로) 스위칭이 요망되면, 시스템은 천이 (또는 페이딩) 프로세스의 현재 정보를 설명할 수 있는 역 변환을 수행하도록 구성된다.
하나의 혁신은 멀티 카메라 디바이스를 포함하며, 이 멀티 카메라 디바이스는, 시야 (FOV) 를 갖는 제 1 카메라로서, 제 1 카메라는 하나 이상의 제 1 이미지들을 생성하도록 구성된, 상기 제 1 카메라, 제 1 카메라의 FOV 보다 작은 FOV 를 갖는 제 2 카메라로서, 제 2 카메라는 하나 이상의 제 2 이미지들을 생성하도록 구성되고, 제 1 카메라 및 제 2 카메라는 제 2 카메라의 FOV 에서의 타겟 장면이 제 1 카메라의 FOV 에도 있도록 포지셔닝되는, 상기 제 2 카메라, 디스플레이, 메모리 컴포넌트, 및 메모리 컴포넌트에 커플링된 프로세서를 포함한다. 프로세서는, 메모리 컴포넌트로부터 제 1 이미지를 취출하고, 메모리 컴포넌트로부터 제 2 이미지를 취출하고, 제 1 이미지의 화소들 및 제 2 이미지의 대응 화소들을 공간적으로 정렬하는 공간 변환을 결정하고, 그리고 메모리 컴포넌트에 공간 변환을 저장하고, 제 1 이미지의 화소들과 제 2 이미지의 대응 화소들 사이의 컬러 및 강도에서의 차이 정보를 포함하는 포토메트릭 변환을 결정할 수도 있다. 프로세서는 또한, 메모리 컴포넌트에 포토메트릭 변환을 저장하고, 다음 미리보기 줌 레벨에 대응하는 입력을 수신하고, 메모리로부터 공간 변환 및 포토메트릭 변환의 정보를 취출하고, 다음 미리보기 줌 레벨에 기초하여 공간 변환 정보 및 포토메트릭 변환 정보를 사용하여 취출된 제 1 및 제 2 이미지들 중 적어도 하나를 수정하며, 그리고 디스플레이 상에 미리보기 이미지를 제공하는 것으로서, 디스플레이 이미지는 제 1 카메라로부터의 이미지, 제 2 카메라로부터의 이미지, 또는 다음 미리보기 줌 레벨에 기초한, 제 1 카메라 또는 제 2 카메라로부터의 이미지의 일부 및 수정된 이미지의 일부를 포함하는 이미지를 포함하는, 미리보기 이미지를 제공하도록 구성될 수도 있다.
멀티 카메라 디바이스는 혁신의 다른 양태들을 포함할 수도 있다. 일 양태에서, 제 1 카메라는 57 도 이상의 시야각을 갖도록 제 1 카메라에 대해 구성된 광학 및 센서 어레이를 포함하고; 그리고 제 2 카메라는 50 도 미만의 시야각을 갖도록 제 2 카메라에 대해 구성된 광학 및 센서 어레이를 포함한다. 다른 양태에서, 메모리 컴포넌트는 제 1 및 제 2 카메라의 상대적 정렬에 관하여 미리결정된 정렬 정보를 저장하도록 구성되고, 그리고 프로세서는 또한 메모리 컴포넌트로부터 미리결정된 정렬 정보를 취출하고, 미리결정된 정렬 정보를 사용하여 공간 변화를 결정하도록 구성된다. 다른 양태에서, 제 1 카메라는 광각 렌즈를 포함하고 제 2 카메라는 텔레포토 렌즈를 포함한다. 다른 양태에서, 적어도 하나의 수정된 이미지는 제 1 카메라로부터의 이미지이고, 미리보기 이미지는 제 2 카메라로부터의 이미지의 일부를 포함한다. 다른 양태에서, 수신된 입력은 디스플레이 상에 현재 보여지고 있는 이미지에 대해 줌-인되는 미리보기 이미지를 디스플레이하는 것을 표시한다. 다른 양태에서, 적어도 하나의 수정된 이미지는 제 2 카메라로부터의 이미지이고 미리보기 이미지는 제 1 카메라로부터의 이미지의 일부를 포함한다. 다른 양태에서, 수신된 입력은 디스플레이 상에 현재 보여지고 있는 이미지에 대해 줌-아웃되는 미리보기 이미지를 디스플레이하는 것을 표시한다.
다양한 실시형태들에서, 프로세서는 또한 제 1 카메라 및 제 2 카메라가 미리보기 줌 레벨에 기초하여 다수의 활성화 상태들 중 하나에 있도록 제어하도록 구성될 수도 있고, 활성화 상태들은 제 1 카메라 및 제 2 카메라의 각각이 온 또는 오프인지 여부를 결정하며, 그리고 제 1 카메라 및 제 2 카메라로부터의 이미지들이 미리보기 이미지에서 사용되는지를 결정한다. 멀티 카메라 디바이스의 다른 양태에서, 프로세서는 또한, 다음 미리보기 줌 레벨을 줌 레벨 제 1 임계값 (T1) 및 줌 레벨 제 2 임계값 (T2) 과 비교하는 것으로서, 줌 레벨 제 2 임계값 (T2) 는 줌 레벨 제 1 임계값 (T1) 보다 큰 줌-인 레벨을 표시하는, 상기 다음 미리보기 줌 레벨을 줌 레벨 제 1 임계값 (T1) 및 줌 레벨 제 2 임계값 (T2) 과 비교하고, 그리고 제 1 카메라 및 제 2 카메라를, 다음 미리보기 줌 레벨이 제 1 임계 (T1) 미만일 때 제 1 카메라 온 및 제 2 카메라 오프인 제 1 활성화 상태에 배치하고, 다음 미리보기 줌 레벨이 제 2 임계값 (T2) 이상일 때 제 2 활성화 상태에 제 1 카메라 오프 및 제 2 카메라 온을 배치하며, 그리고 다음 미리보기 줌 레벨이 제 1 임계값 (T1) 과 제 2 임계값 (T2) 사이에 있을 때 제 1 카메라 및 제 2 카메라가 온인 제 3 활성화 상태에 제 1 카메라 온 및 제 2 카메라를 배치하도록 구성된다. 일 양태에서, 미리보기 이미지는, 미리보기 줌 레벨이 제 1 임계값 (T1) 보다 작을 때 제 1 카메라로부터의 적어도 하나의 이미지, 미리보기 줌 레벨이 임계값 (T2) 보다 클 때 제 2 카메라로부터의 적어도 하나의 이미지, 및 미리보기 줌 레벨이 제 1 임계값 (T1) 과 제 2 임계값 (T2) 사이에 있을 때 제 1 카메라 또는 제 2 카메라로부터의 이미지의 일부 및 수정된 이미지의 일부에 기초한다. 일 양태에서, 프로세서는 또한, 미리보기 줌 레벨이 제 1 임계값 (T1) 미만의 줌 레벨을 나타낼 때 제 2 카메라에 대한 전력을 감소시키는 것으로서, 미리보기 이미지는 제 1 카메라로부터의 이미지만을 포함하는 제 2 카메라에 대한 전력을 감소시키고, 그리고 다음 미리보기 줌 레벨이 제 2 임계값 (T2) 이상의 줌 레벨을 나타낼 때 제 1 카메라에 대한 전력을 감소시키는 것으로서, 제 2 카메라로부터의 이미지만을 포함하는, 제 1 카메라에 대한 전력을 감소시키도록 구성된다.
또 다른 혁신은 미리보기 이미지를 디스플레이하는 방법을 포함하고, 방법은, 프로세서에 의해 메모리 컴포넌트로부터 제 1 이미지를 취출하는 단계로서, 제 1 이미지는 시야 (FOV) 를 갖는 제 1 카메라에 의해 캡처되는, 상기 제 1 이미지를 취출하는 단계, 프로세서에 의해 메모리 컴포넌트로부터 제 2 이미지를 취출하는 단계로서, 제 2 이미지는 제 1 카메라의 FOV 보다 작은 FOV 를 갖는 제 2 카메라에 의해 캡처되고, 제 1 카메라 및 제 2 카메라는 제 2 카메라의 FOV 에서의 타겟 장면이 또한 제 1 카메라의 FOV 에도 있도록 포지셔닝되는, 상기 제 2 이미지를 취출하는 단계, 프로세서에 의해 제 1 이미지의 화소들 및 제 2 이미지의 대응 화소들을 공간적으로 정렬하는 공간 변환을 결정하는 단계, 메모리 컴포넌트에 공간 변환을 저장하는 단계, 프로세서에 의해 제 1 이미지의 화소들과 제 2 이미지의 대응 화소들 사이의 컬러 및 강도에서의 차이 정보를 포함하는 포토메트릭 변환을 결정하는 단계, 메모리 컴포넌트에 포토메트릭 변환을 저장하는 단계, 다음 미리보기 줌 레벨에 대응하는 입력을 수신하는 단계, 메모리로부터 공간 변환 및 포토메트릭 변환의 정보를 취출하는 단계, 다음 미리보기 줌 레벨에 기초하여 공간 변환 정보 및 포토메트릭 변환 정보를 사용하여 취출된 제 1 및 제 2 이미지들 중 적어도 하나를 수정하는 단계, 및 디스플레이 상에 미리보기 이미지를 제공하는 단계로서, 디스플레이 이미지는 제 1 카메라로부터의 이미지, 제 2 카메라로부터의 이미지, 또는 다음 미리보기 줌 레벨에 기초한, 제 1 카메라 또는 제 2 카메라로부터의 이미지의 일부 및 수정된 이미지의 일부를 포함하는 이미지를 포함하는, 상기 미리보기 이미지를 제공하는 단계를 포함한다. 제 1 카메라는 57 도 이상의 시야각을 갖도록 제 1 카메라에 대해 구성된 광학 및 센서 어레이를 포함할 수도 있고, 그리고 제 2 카메라는 50 도 미만의 시야각을 갖도록 제 2 카메라에 대해 구성된 광학 및 센서 어레이를 포함할 수도 있다. 일부 양태들에서, 메모리 컴포넌트는 제 1 및 제 2 카메라의 상대적 정렬에 관하여 미리결정된 정렬 정보를 저장하도록 구성되고, 그리고 프로세서는 또한 메모리 컴포넌트로부터 미리결정된 정렬 정보를 취출하고, 미리결정된 정렬 정보를 사용하여 공간 변화를 결정하도록 구성된다.
방법의 일 양태에서, 제 1 카메라는 광각 렌즈를 포함하고 제 2 카메라는 텔레포토 렌즈를 포함한다. 다른 양태에서, 적어도 하나의 수정된 이미지는 제 1 카메라로부터의 이미지이고, 미리보기 이미지는 제 2 카메라로부터의 이미지의 일부를 포함하며, 그리고 수신된 입력은 디스플레이 상에 현재 보여지고 있는 이미지에 대해 줌-인되는 미리보기 이미지를 디스플레이하는 것을 표시한다. 다른 양태에서, 적어도 하나의 수정된 이미지는 제 2 카메라로부터의 이미지이고 미리보기 이미지는 제 1 카메라로부터의 이미지의 일부를 포함하며, 그리고 수신된 입력은 디스플레이 상에 현재 보여지고 있는 이미지에 대해 줌-아웃되는 미리보기 이미지를 디스플레이하는 것을 표시한다. 다른 양태에서, 프로세서에 의해 제 1 카메라 및 제 2 카메라가 미리보기 줌 레벨에 기초하여 다수의 활성화 상태들 중 하나에 있도록 제어하는 단계를 더 포함하고, 활성화 상태들은 제 1 카메라 및 제 2 카메라의 각각이 온 또는 오프인지 여부를 결정하며, 그리고 제 1 카메라 및 제 2 카메라로부터의 이미지들이 미리보기 이미지에서 사용되는지를 결정한다. 다른 양태에서, 방법은, 프로세서에 의해, 다음 미리보기 줌 레벨을 줌 레벨 제 1 임계값 (T1) 및 줌 레벨 제 2 임계값 (T2) 과 비교하는 단계로서, 줌 레벨 제 2 임계값 (T2) 는 줌 레벨 제 1 임계값 (T1) 보다 큰 줌-인 레벨을 표시하는, 상기 다음 미리보기 줌 레벨을 줌 레벨 제 1 임계값 (T1) 및 줌 레벨 제 2 임계값 (T2) 과 비교하는 단계, 및 제 1 카메라 및 제 2 카메라를, 다음 미리보기 줌 레벨이 제 1 임계 (T1) 미만일 때 제 1 카메라 온 및 제 2 카메라 오프인 제 1 활성화 상태에 배치하고, 다음 미리보기 줌 레벨이 제 2 임계값 (T2) 이상일 때 제 2 활성화 상태에 제 1 카메라 오프 및 제 2 카메라 온을 배치하며, 그리고 다음 미리보기 줌 레벨이 제 1 임계값 (T1) 과 제 2 임계값 (T2) 사이에 있을 때 제 1 카메라 및 제 2 카메라가 온인 제 3 활성화 상태에 제 1 카메라 온 및 제 2 카메라를 배치하는 단계를 더 포함한다. 일 양태에서, 미리보기 이미지를 디스플레이 상에 제공하는 단계는, 미리보기 줌 레벨이 제 1 임계값 (T1) 보다 작을 때 제 1 카메라로부터의 적어도 하나의 이미지, 미리보기 줌 레벨이 임계값 (T2) 보다 클 때 제 2 카메라로부터의 적어도 하나의 이미지, 및 미리보기 줌 레벨이 제 1 임계값 (T1) 과 제 2 임계값 (T2) 사이에 있을 때 제 1 카메라 또는 제 2 카메라로부터의 이미지의 일부 및 수정된 이미지의 일부를 제공한다.
다른 양태에서, 혁신의 방법은, 프로세서에 의해, 미리보기 줌 레벨이 제 1 임계값 (T1) 미만의 줌 레벨을 나타낼 때 제 2 카메라에 대한 전력을 감소시키는 단계로서, 미리보기 이미지는 제 1 카메라로부터의 이미지만을 포함하는, 상기 제 2 카메라에 대한 전력을 감소시키는 단계, 및 다음 미리보기 줌 레벨이 제 2 임계값 (T2) 이상의 줌 레벨을 나타낼 때 제 1 카메라에 대한 전력을 감소시키는 것으로서, 제 2 카메라로부터의 이미지만을 포함하는, 상기 제 1 카메라에 대한 전력을 감소시키는 단계를 더 포함한다. 다른 양태에서, 방법은 제 1 카메라 및 제 2 카메라가 미리보기 줌 레벨에 기초하여 다수의 활성화 상태들 중 하나에 있도록 제어하는 단계를 더 포함하고, 활성화 상태들은 제 1 카메라 및 제 2 카메라의 각각이 온 또는 오프인지 여부를 결정하며, 그리고 제 1 카메라 및 제 2 카메라로부터의 이미지들이 미리보기 이미지에서 사용되는지를 결정한다. 다른 양태에서, 방법은, 다음 미리보기 줌 레벨을 제 1 임계값 (T1) 및 제 1 임계 레벨 (T1) 보다 큰 줌-인 레벨을 표시하는 제 2 임계 레벨 (T2) 를 갖는 줌 레벨들의 범위와 비교하는 단계, 다음 미리보기 줌 레벨이 제 1 임계 (T1) 보다 작은 제 1 활성화 상태에서 제 1 카메라는 온되도록 그리고 제 2 카메라는 오프되도록 제어하는 단계, 다음 미리보기 줌 레벨이 제 2 임계 레벨 (T2) 이상일 때 제 2 활성화 상태에서 제 1 카메라는 오프되도록 그리고 제 2 카메라는 온되도록 제어하는 단계, 및 다음 미리보기 줌 레벨이 제 1 임계 레벨 (T1) 및 제 2 임계 레벨 (T2) 사이에 있을 때 제 3 활성화 상태에서 제 1 카메라 및 제 2 카메라 모두가 온되도록 제어하는 단계를 더 포함한다. 방법은, 프로세서에 의해 다음 미리보기 줌 레벨이 제 1 임계값 (T1) 보다 작을 때 제 1 카메라로부터의 적어도 하나의 이미지에 기초하여 디스플레이에 미리보기 이미지를 제공하는 단계, 프로세서에 의해 다음 미리보기 줌 레벨이 임계값 (T1) 보다 클 때 제 2 카메라로부터의 적어도 하나의 이미지에 기초하여 미리보기 이미지를 제공하는 단계, 및 다음 미리보기 줌 레벨이 제 1 임계값 (T1) 과 제 2 임계값 (T2) 사이에 일을 때 제 1 카메라로부터의 적어도 하나의 이미지 및 제 2 카메라로부터의 적어도 하나의 이미지에 기초하여 미리보기 이미지를 제공하는 단계를 더 포함할 수도 있다.
또 다른 혁신은 멀티 카메라 디바이스를 포함하며, 멀티 카메라 디바이스는, 하나 이상의 제 1 이미지들을 생성하기 위한 제 1 수단으로서, 시야 (FOV) 를 갖는, 생성하기 위한 제 1 수단, 하나 이상의 제 2 이미지들을 생성하기 위한 제 2 수단으로서, 하나 이상의 제 1 이미지를 생성하기 위한 제 1 수단은 하나 이상의 제 1 이미지들을 생성하기 위한 제 1 수단의 FOV 보다 작은 FOV 를 갖고, 상기 하나 이상의 제 1 이미지들을 생성하기 위한 제 1 수단 및 하나 이상의 제 1 이미지들을 생성하기 위한 제 2 수단은 하나 이상의 제 1 이미지들을 생성하기 위한 제 2 수단의 FOV 에서의 타겟 장면이 또한 하나 이상의 제 1 이미지들을 생성하기 위한 제 1 수단의 FOV 에도 있도록 포지셔닝되는, 상기 하나 이상의 제 2 이미지들을 생성하기 위한 제 2 수단, 이미지들을 디스플레이하기 위한 수단, 전자 이미지들 및 변환 정보를 저장하기 위한 수단, 및 저장하기 위한 수단에 커플링된 프로세싱하기 위한 수단을 포함한다. 일부 실시형태들에서, 프로세싱하기 위한 수단은, 저장하기 위한 수단으로부터 제 1 이미지를 취출하고, 저장하기 위한 수단으로부터 제 2 이미지를 취출하고, 제 1 이미지의 화소들 및 제 2 이미지의 대응 화소들을 공간적으로 정렬하는 공간 변환을 결정하고, 저장하기 위한 수단에 공간 변환을 저장하고, 제 1 이미지의 화소들과 제 2 이미지의 대응 화소들 사이의 컬러 및 강도에서의 차이 정보를 포함하는 포토메트릭 변환을 결정하고, 저장하기 위한 수단에 포토메트릭 변환을 저장하고, 다음 미리보기 줌 레벨에 대응하는 입력을 수신하고, 메모리로부터 공간 변환 및 포토메트릭 변환의 정보를 취출하고, 다음 미리보기 줌 레벨에 기초하여 공간 변환 정보 및 포토메트릭 변환 정보를 사용하여 취출된 제 1 및 제 2 이미지들 중 적어도 하나를 수정하며, 그리고 디스플레이하기 위한 수단 상에 미리보기 이미지를 제공하는 것으로서, 디스플레이 이미지는 제 1 카메라로부터의 이미지, 제 2 카메라로부터의 이미지, 또는 다음 미리보기 줌 레벨에 기초한, 제 1 카메라 또는 제 2 카메라로부터의 이미지의 일부 및 수정된 이미지의 일부를 포함하는 이미지를 포함하는, 미리보기 이미지를 제공하도록 구성된다.
멀티 카메라 디바이스의 일부 실시형태들에서, 하나 이상의 제 1 이미지들을 생성하기 위한 제 1 수단은 57 도 이상의 시야각을 갖도록 구성된 광학 및 센서 어레이를 포함하고, 그리고 하나 이상의 제 2 이미지들을 생성하기 위한 제 2 수단은 50 도 미만의 시야각을 갖도록 구성된 광학 및 센서 어레이를 포함한다. 일부 실시형태들에서, 저장하기 위한 수단은 제 1 및 제 2 카메라의 상대적 정렬에 관하여 미리결정된 정렬 정보를 저장하도록 구성되고, 그리고 프로세싱하기 위한 수단은 하나 이상의 프로세서들을 포함한다.
또 다른 혁신은 코드를 포함하는 비일시적 컴퓨터 판독가능 매체를 포함하고, 코드는 실행될 때, 전자 하드웨어 프로세서로 하여금 제 1 카메라 및 제 2 이미지로부터의 하나 이상의 이미지들을 포함하는 미리보기 이미지를 제공하는 방법을 수행하게 하고, 방법은, 메모리 컴포넌트로부터 제 1 이미지를 취출하는 단계, 메모리 컴포넌트로부터 제 2 이미지를 취출하는 단계, 제 1 이미지의 화소들 및 제 2 이미지의 대응 화소들을 공간적으로 정렬하는 공간 변환을 결정하는 단계, 메모리 컴포넌트에 공간 변환을 저장하는 단계, 제 1 이미지의 화소들과 제 2 이미지의 대응 화소들 사이의 컬러 및 강도에서의 차이 정보를 포함하는 포토메트릭 변환을 결정하는 단계, 메모리 컴포넌트에 포토메트릭 변환을 저장하는 단계, 다음 미리보기 줌 레벨에 대응하는 입력을 수신하는 단계, 메모리로부터 공간 변환 및 포토메트릭 변환의 정보를 취출하는 단계, 다음 미리보기 줌 레벨에 기초하여 공간 변환 정보 및 포토메트릭 변환 정보를 사용하여 취출된 제 1 및 제 2 이미지들 중 적어도 하나를 수정하는 단계, 및 디스플레이 상에 미리보기 이미지를 제공하는 것으로서, 디스플레이 이미지는 제 1 카메라로부터의 이미지, 제 2 카메라로부터의 이미지, 또는 다음 미리보기 줌 레벨에 기초한, 상기 제 1 카메라 또는 제 2 카메라로부터의 이미지의 일부 및 수정된 이미지의 일부를 포함하는 이미지를 포함하는, 미리보기 이미지를 제공하는 단계를 포함한다. 일부 실시형태들에서, 방법은, 다음 미리보기 줌 레벨을 줌 레벨 제 1 임계값 (T1) 및 줌 레벨 제 2 임계값 (T2) 과 비교하는 단계로서, 줌 레벨 제 2 임계값 (T2) 는 줌 레벨 제 1 임계값 (T1) 보다 큰 줌-인 레벨을 표시하는, 상기 다음 미리보기 줌 레벨을 줌 레벨 제 1 임계값 (T1) 및 줌 레벨 제 2 임계값 (T2) 과 비교하는 단계, 및 제 1 카메라 및 제 2 카메라를, 다음 미리보기 줌 레벨이 제 1 임계 (T1) 미만일 때 제 1 카메라 온 및 제 2 카메라 오프인 제 1 활성화 상태에 배치하고, 다음 미리보기 줌 레벨이 제 2 임계값 (T2) 이상일 때 제 2 활성화 상태에 제 1 카메라 오프 및 제 2 카메라 온을 배치하며, 그리고 다음 미리보기 줌 레벨이 제 1 임계값 (T1) 과 제 2 임계값 (T2) 사이에 있을 때 제 1 카메라 및 제 2 카메라가 온인 제 3 활성화 상태에 제 1 카메라 온 및 제 2 카메라를 배치하는 단계를 더 포함한다. 일부 실시형태들에서, 미리보기 이미지를 제공하는 단계는, 미리보기 줌 레벨이 제 1 임계값 (T1) 보다 작을 때 제 1 카메라로부터의 적어도 하나의 이미지, 미리보기 줌 레벨이 임계값 (T2) 보다 클 때 제 2 카메라로부터의 적어도 하나의 이미지, 및 미리보기 줌 레벨이 제 1 임계값 (T1) 과 제 2 임계값 (T2) 사이에 있을 때 제 1 카메라 또는 제 2 카메라로부터의 이미지의 일부 및 수정된 이미지의 일부로부터 미리보기 이미지를 생성하는 단계를 포함한다.
이하, 개시된 양태들을 제한하지 않으며 예시를 위해 제공된, 첨부된 도면들과 함께 개시된 양태들이 설명될 것이며, 도면에서 같은 지칭들은 같은 엘리먼트들을 나타낸다.
도 1 은 멀티 카메라 디바이스의 상이한 카메라들 또는 렌즈들에 대응한 상이한 시야의 다이어그램의 일 예를 도시한다.
도 2 (a) 내지 (f) 는 일부 실시형태들에 따른, 사용자로부터의 줌 커맨드에 응답하여 디스플레이가 장면의 미리보기를 나타내는 장면을 이미징하는 2 개의 카메라 디바이스의 일 예를 도시한다.
도 3 은 심리스 줌 능력을 갖는 멀티 카메라 디바이스의 일 실시형태의 일 예를 도시하는 블록 다이어그램이다.
도 4 는 멀티 카메라가 줌-인 또는 줌-아웃될 때, 제 1 카메라로부터의 사용자 이미지들 (A) 및 제 2 카메라로부터의 이미지들 (B) 로 심리스 디스플레이하는 프로세스를 도시하는 블록 다이어그램이며, 제 1 및 제 2 카메라들은 멀티 카메라의 부분이다.
도 5 는 일부 실시형태들에 따른 정적 교정 절차 (static calibration procedure) 의 예시적인 셋업 및 스테이지를 도시한다.
도 6 은 심리스 줌 기능을 구현하기 위해 2 개의 이미지들 상에서 공간 정렬을 수행하는데 사용될 수 있는 공간 정렬 기능의 일 실시형태의 일 예를 도시하는 블록 다이어그램이다.
도 7 은 줌 기능을 구현하는 포토메트릭 정렬 (또는 강도 균등화) 을 위한 프로세스를 실행하는데 사용될 수 있는 모듈들의 일 예를 도시하는 블록 다이어그램이다.
도 8 은 심리스 줌 기능을 위해 사용자에게 이미지들을 디스플레이하기 위한 공간 정렬, 강도 정렬 및 상태 머신을 포함하는 프로세스 플로우의 일 예를 도시하는 블록 다이어그램이다.
도 9 는 일부 실시형태들에 따른, 멀티 카메라 디바이스에서의 심리스 줌 기능을 위한 프로세스의 상이한 상태들을 도시하는 상태 다이어그램이다.
도 10 은 일부 실시형태들에 따른 멀티 카메라 디바이스에서의 줌 기능 (y 축) 대 시간 (x 축) 의 일 예를 도시하는 그래프이다.
도 11 은 일부 실시형태들에 따른 제 1 및 제 2 비대칭 카메라에 의해 생성될 수도 있는 이미지들을 디스플레이하기 위해 멀티 카메라 디바이스에서 심리스 줌 기능을 구현하는 프로세스를 도시한다.
도 1 은 멀티 카메라 디바이스의 상이한 카메라들 또는 렌즈들에 대응한 상이한 시야의 다이어그램의 일 예를 도시한다.
도 2 (a) 내지 (f) 는 일부 실시형태들에 따른, 사용자로부터의 줌 커맨드에 응답하여 디스플레이가 장면의 미리보기를 나타내는 장면을 이미징하는 2 개의 카메라 디바이스의 일 예를 도시한다.
도 3 은 심리스 줌 능력을 갖는 멀티 카메라 디바이스의 일 실시형태의 일 예를 도시하는 블록 다이어그램이다.
도 4 는 멀티 카메라가 줌-인 또는 줌-아웃될 때, 제 1 카메라로부터의 사용자 이미지들 (A) 및 제 2 카메라로부터의 이미지들 (B) 로 심리스 디스플레이하는 프로세스를 도시하는 블록 다이어그램이며, 제 1 및 제 2 카메라들은 멀티 카메라의 부분이다.
도 5 는 일부 실시형태들에 따른 정적 교정 절차 (static calibration procedure) 의 예시적인 셋업 및 스테이지를 도시한다.
도 6 은 심리스 줌 기능을 구현하기 위해 2 개의 이미지들 상에서 공간 정렬을 수행하는데 사용될 수 있는 공간 정렬 기능의 일 실시형태의 일 예를 도시하는 블록 다이어그램이다.
도 7 은 줌 기능을 구현하는 포토메트릭 정렬 (또는 강도 균등화) 을 위한 프로세스를 실행하는데 사용될 수 있는 모듈들의 일 예를 도시하는 블록 다이어그램이다.
도 8 은 심리스 줌 기능을 위해 사용자에게 이미지들을 디스플레이하기 위한 공간 정렬, 강도 정렬 및 상태 머신을 포함하는 프로세스 플로우의 일 예를 도시하는 블록 다이어그램이다.
도 9 는 일부 실시형태들에 따른, 멀티 카메라 디바이스에서의 심리스 줌 기능을 위한 프로세스의 상이한 상태들을 도시하는 상태 다이어그램이다.
도 10 은 일부 실시형태들에 따른 멀티 카메라 디바이스에서의 줌 기능 (y 축) 대 시간 (x 축) 의 일 예를 도시하는 그래프이다.
도 11 은 일부 실시형태들에 따른 제 1 및 제 2 비대칭 카메라에 의해 생성될 수도 있는 이미지들을 디스플레이하기 위해 멀티 카메라 디바이스에서 심리스 줌 기능을 구현하는 프로세스를 도시한다.
개시물의 실시형태들은 멀티 카메라 디바이스, 예를 들어 2 개의 카메라들을 갖는 디바이스에서 심리스 줌 기능을 구현하기 위한 시스템들 및 기법들에 관련된다. 본 명세서에서 사용된 바와 같이 "카메라" 는 통상적으로 센서 어레이 (또는 "센서) 및 타겟 장면으로부터의 광이 센서 어레이에 도달하기 전에 전파하는 하나 이상의 광학 컴포넌트들 (예를 들어, "광학" 또는 "광학의 세트" 로서 때때로 지칭되는, 하나 이상의 렌즈들 또는 광 재지향 (re-direct) 컴포넌트들) 및 센서 어레이 (또는 "센서") 를 포함하는 이미지 센싱 컴포넌트들의 세트를 지칭한다. 일부 실시형태들에서, 멀티 카메라 디바이스는 각각이 광학의 세트 및 대응 센서 어레이를 포함하는, 다중 카메라들을 포함할 수도 있다. 다중 카메라들을 갖는 디바이스들의 다른 예들에서, 특정 광학 세트는 2 이상의 센서들에 대응할 수도 있으며, 즉 2 이상의 센서들에 광을 제공할 수도 있다. 본 명세서에 기재된 예들의 일부는 비대칭 렌즈들/카메라들, 예를 들어 광각 카메라 및 텔레포토 카메라를 갖는 멀티 카메라 디바이스를 기재하지만, 멀티 카메라 디바이스들의 다른 예들이 또한 고려되며, 이 개시물은 기재된 특정 예들에 제한되도록 의도되지 않는다.
2 이상의 카메라들을 갖는 이미징 디바이스에 의해 뷰잉 이미지들이 생성되었을 때, 카메라들 사이의 스위칭은 디스플레이 상의 이미지들을 뷰잉하는 사용자에 의해 인지될 수도 있는 바람직하지 않은 이미지 속성들을 야기할 수 있다. 예를 들어, 동일한 타겟 장면에 대해 2 개의 카메라들에 의해 생성된 이미지들은 공간 배향에 있어서 상이하고 컬러들을 갖는 것으로 보일 수도 있다. 이 개시물의 방법들 및 시스템들은, 예를 들어 제 1 카메라는 타겟 장면의 광각 이미지들을 캡처하도록 구성되고 광각 렌즈를 포함하고, 제 2 카메라는 동일한 타겟 장면의 텔레포토 이미지들을 캡처하도록 구성되고 텔레포토 렌즈들을 포함하는, 2 개의 카메라 시스템 사이에서 스위칭하는 것을 언급한다. 다중 카메라 시스템의 바람직한 특징은, 줌-인 커맨드가 수신되고 스위칭이 심리스일 때, 즉 사용자에 의해 인지되는 것이 가능하지 않거나 카메라들 사이의 스위칭의 그러한 인지가 최소화될 때, 광각 카메라 뷰로부터 타겟 장면의 텔레포토 카메라로 스위칭하는 것이다.
이미징 장치 상의 다중 카메라들로, 캡처된 이미지들은 카메라들의 물리적 위치가 상이한 것으로 인해 상이한 뷰포인트들에 있을 수도 있다. 예를 들어, 카메라들은 멀티 카메라 디바이스 상에서 일 (1) cm 의 거리만큼 이격될 수도 있다. 이미지들이 뷰잉될 때 원시 (raw) 이미지들에서 존재하는 차이들이 인지될 수 없도록 이미지들을 정렬하기 위해, 이미지들은 공간적으로 정렬될 수도 있고, 이미지들의 컬러 (및 강도들) 이 정렬될 수도 있으며, 그 후 이미지들은 2 개 (또는 그 이상) 의 상이한 카메라들에 의해 생성된 이미지들 사이의 인지가능한 차이를 더 최소화하는 융합 프로세스에서 뷰잉을 위해 제시될 수도 있다. 일부 예들에서, 뷰잉되고 있는 오브젝트에 대한 거리에 기초하여, 광각 카메라로부터의 이미지들이 디스플레이 상에 제시되거나, 텔레포토 카메라로부터의 이미지들이 디스플레이 상에 제시되거나, 또는 융합된 이미지가 디스플레이 상에 제시되며, 여기서 융합된 이미지의 일 부분은 광각 카메라로부터의 데이터에 기초하고 융합된 이미지의 또 다른 부분은 텔레포토 카메라에 의해 수신된 데이터에 기초한다. 그러한 융합된 이미지는 다양한 실시형태들에 따라, 제 2 카메라 (예를 들어, 텔레포토 카메라) 로부터의 이미지들과 매칭하기 위한 제 1 카메라 (예를 들어, 광각 카메라) 로부터의 변환 이미지들, 또는 제 1 카레라 (예를 들어, 광각 카메라) 로부터의 이미지들과 매칭하기 위한 제 2 카메라 (예를 들어, 텔레포토 카메라) 로부터의 변환 이미지들, 또는 하나, 또는 양자, 제 1 및 제 2 카메라로부터의 변환 이미지들에 기초하여 융합된 이미지들을 생성한다.
시스템들 및 방법들은 "스틸(still)" 미리보기 이미지들 또는 비디오 미리보기 이미지들 상의 동작들을 포함할 수도 있다. 일부 실시형태들에서, 스틸 이미지들에 대해, 미리보기 이미지는 2 개의 카메라들로부터 형성된 이미지를 포함할 수도 있다. 예를 들어, 미리보기 이미지는 광각 카메라로부터인 외부 부분 및 텔레포토 카메라로부터인 중심 부분을 가질 수도 있으며, 이 부분들은 함께 스티칭되어 뷰어에게 심리스 (또는 거의 그렇게) 를 보인다. 즉, 텔레포토 카메라에 의해 캡처되는 타겟 장면의 광각 이미지의 부분은 타겟 장면의 텔레포토 이미지의 대응 부분에 의해 대체된다. 그러한 예에서, 공간 정렬 및 포토메트릭 정렬 동작들은 하나 또는 양자의 이미지의 화소들을 변환시켜 심리스 복합 이미지를 제공한다. 심리스 복합 이미지를 제공하기 위해서, 2 개의 이미지들의 보더 (border) 들의 부분이 등록될 수도 있다. 보더 영역에서의 화소들의 포토메트릭 변환은 이미지가 미리보기 이미지에서 제시될 때 보더들이 심리스이도록 한다.
일부 실시형태들에서, 팩토리에서 정적 교정이 먼저 수행될 수도 있으며, 이는 양자의 이미지들의 세트에서의 대응 영역들을 식별하는 것 및 일 카메라에 의해 캡처된 이미지로부터의 화소들을 다른 카메라에 의해 캡처된 이미지에서의 화소들에 매칭하는 수학적 함수 (변환) 를 추정하는 것을 포함한다. 교정은 매칭되고 있는 2 개의 이미지들에서 키포인트들을 검출하는 것, 이미지들 사이의 키포인트들을 매칭하는 것, 및 제 1 카메라로부터의 이미지들 및 제 2 카메라로부터의 이미지들에서의 대응 화소들 사이의 공간적 관계를 정의하는 공간 변환을 생성하기 위해 그 매칭의 파라미터들을 추정하는 것을 포함할 수도 있다. 공간 변환을 위한 파라미터들은, 예를 들어 스케일 시프트, 각도 회전, 또는 수평 또는 수직 방향에서의 시프트를 포함할 수도 있다.
제 1 및 제 2 카메라로부터의 이미지들이 공간적으로 정렬된 후, 포토메트릭 정렬이 수행되어 컬러 및 강도에서의 이미지들의 대응 부분들을 매칭할 수도 있다. 일부 실시형태들에서, 제 1 카메라 (예를 들어, 광각 카메라) 로부터 및 제 2 카메라 (예를 들어, 텔레포토 카메라) 로부터의 이미지들은 영역들로 파티셔닝되며, 히스토그램 균등화가 이미지들에서의 다수의 영역들에서 수행된다. 예를 들어, 제 1 및 제 2 카메라들로부터의 이미지들은 N 개의 영역들로 분할되고 로컬 히스토그램들은 영역들의 각각에 대해 계산된다. 대응 영역들의 히스토그램들은 이미지를 구성하는 컬러 채널들의 강도에 대해 균등화될 수도 있다. 인접 영역들은 보간되어서 영역들의 경계들이 심리스된다. 일부 예들에서, 포토메트릭 정렬은 저장되고 그 후 취출되고 제 1 및/또는 제 2 카메라의 후속 이미지들에 적용되어 이미지들을 포토메트릭으로 정렬할 수 있는 포토메트릭 변환 파라미터들을 생성한다. 변환 파라미터들은 적응적일 수 있다. 환언하면, 변환 파라미터들은 제 1 카메라 및 제 2 카메라로부터의 부가 이미지들이 공간적으로 및 포토메트릭으로 결정되기 때문에 이후의 사용을 위해 동적으로 업데이트되고 재저장될 수도 있다.
도 1 은 멀티 카메라 디바이스 (100) 의 상이한 카메라들에 대응하는 상이한 시야들의 일 예를 도시한다. 이 예에서, 멀티 카메라 디바이스 (100) 는 광각 렌즈를 포함하는 광학을 갖는 제 1 카메라 (115) 및 텔레포토 렌즈를 포함하는 광학을 갖는 제 2 카메라 (116) 를 포함한다. 제 1 카메라 (115) 및 제 2 카메라 (116) 는 모두 동일한 타겟 장면을 포함하지만 각각이 타겟 장면의 상이한 시야각을 갖는 시야 (field-of-view; FOV) 를 갖도록 포지셔닝된다. 이러한 예의 구현에서, 제 1 카메라 (115)(광각 카메라 (115) 로도 또한 지칭됨) 는 시야각 (θ1)을 가지며, 제 2 카메라 (116)(텔레포토 카메라 (116) 로도 또한 지칭됨) 은 시야각 (θ2) 을 갖는다. 광각 카메라 (115) 에 대한 시야각 (θ1) 은 텔레포토 카메라 (116) 에 대한 시야각 (θ2) 보다 크다. 따라서, 광각 카메라 (115) 는 "더 좁은" 시야 (108) 를 갖는 이미지들을 생성하는 텔레포토 카메라 (104) 와 비교하여 "더 넓은" 시야 (106) 를 갖는 이미지들을 생성한다. 도 1 에 도시된 바와 같이, 멀티 카메라 디바이스 (100) 의 광각 카메라 (115) 는 하기에서 더 논의될 바와 같이, 텔레포토 카메라 (116) 로부터 알려진 거리 "b" 에 포지셔닝될 수 있다.
예시적인 구현에서, 제 1 카메라 (115) 는 메인 카메라이고, 예를 들어, 3.59 mm 의 초점 길이를 갖는 광각 렌즈를 갖는다. 제 1 카메라 (115) 의 FOV 각도는 67 도이다. 제 1 카메라 (116) 의 센서는 1.12 ㎛ 화소들을 갖는 길이 치수를 따라 4208 화소들의 어레이를 포함하고, 4:3 애스펙트를 가지며, 오토포커스 기능을 갖는다. 일 예의 구현에서, 제 2 카메라는 보조 카메라이며 6 mm의 초점 길이를 갖는 텔레포토 렌즈를 갖는다. 이러한 예시의 구현에서, 제 2 카메라 (116) 의 시야각은 34 도이고, 제 2 카메라 (116) 의 센서는 1.12 ㎛ 화소들을 갖는, 길이 치수를 따라 3208 화소들의 어레이를 포함하고, 4 : 3 애스펙트를 가지며, 또한 오토포커스 기능을 갖는다.
멀티 카메라 디바이스 (100) 의 각각의 카메라에 의해 캡처된 이미지들은 사용자에 의한 뷰잉을 위해 디스플레이 디바이스에 제공될 수 있다. 멀티 카메라 디바이스 (100) 가 타겟 장면을 겨냥하고 줌-인 커맨드를 수신할 때, 사용자가 디스플레이 상의 타겟 장면을 수신하고 있는 동안 및/또는 이미지들이 멀티 카메라 디바이스 (100) 에 의해 캡처되고 있을 때 멀티 카메라 디바이스 (100) 는 광각 카메라 (115) 로부터 텔레포토 카메라 (116) 로 스위칭할 수도 있다. 텔레포토 렌즈는 광각 렌즈보다 더 좁은 시야를 가지며 상이한 센서 및 상이한 이미징 파라미터들을 가질 수도 있기 때문에, 사용자가 인지할 수도 있고, 비디오에서, 멀티 카메라 디바이스는 디스플레이 상에 나타낸 미리보기 이미지들에서의 갑작스런 바람직하지 않은 변화를 캡처할 수도 있다. 유사하게, 줌-아웃 커맨드는 멀티 카메라 디바이스가 텔레포토 카메라 (116) 로부터 광각 카메라 (116) 로 스위칭하게 할 수도 있으며, 텔레포토 렌즈는 광각 렌즈보다 더 좁은 시야를 가지기 때문에, 인지가능한 갑작스런, 이미지들에서의 바람직하지 않은 변화가 디스플레이 디바이스 상에 보여지고 멀티 카메라 디바이스 (100) 에 의해 캡처된 이미지들에서 캡처될 수도 있다.
도 2 (a) 내지 (f) 는 일부 실시형태들에 따른, 디스플레이 (203) 가 줌 커맨드 (212) 에 응답하여 장면 (202) 의 미리보기를 나타내는, 장면 (202) 을 이미징하는 멀티 카메라 디바이스 (204) 의 일 예를 도시한다. 이 예에서, 멀티 카메라 디바이스 (204) 는 광각 렌즈 (광각 카메라)(206) 를 갖는 제 1 카메라 및 텔레포토 렌즈 (텔레포토 카메라)(208) 를 갖는 제 2 카메라를 포함한다. 도시된 멀티 카메라 디바이스 (204) 는 또한 디스플레이 (203) 를 포함한다. 디스플레이 (203) 는 이미지들이 캡처되고 메모리에 저장되기 전의 이미지들 (즉, 미리보기 이미지들), 또는 캡처되고 메모리에 저장되고 있는 이미지들을 뷰잉하는데 사용될 수 있다. 도 2 (a) 내지 (f) 에서, 영역 (205) 은 텔레포토 카메라 (208) 의 시야를 나타내는 한편 영역 (210) 은 광각 카메라 (206) 의 시야를 나타낼 수 있다. 멀티 카메라 디바이스 (204) 가 줌-인 커맨드를 프로세싱함에 따라, 디스플레이 (203) 는 따라서 도 2 (b) 내지 (f) 에 의해 도시된 바와 같이 장면 (202) 의 줌-인된 표현을 나타낸다. 줌 슬라이더들 (212) 은 사용자에 의해 입력된 줌 커맨드의 레벨 또는 범위를 도시한다.
도 2 (b) 는 줌-인 커맨드가 광각 카메라 (206) 를 사용하여 캡처된 이미지의 출력이 디스플레이 (203) 에 제공되고 디스플레이를 채울 수 있는 줌 레벨을 나타낼 때를 도시한다. 도 2 (b) 에서, 텔레포토 카메라 (204) 의 시야는 영역 (205) 에 의해 나타낸다. 영역 (205) 의 실제 경계들은 사용자에게 (디스플레이되는 바와 같이) 인지될 수 없을 수도 있다. 도 2 (c) 에서, 수신된 줌-인 커맨드는 멀티 카메라 디바이스 (204) 가 텔레포토 카메라 (208) 를 활성화하고 텔레포토 카메라 (208) 를 사용하여 캡처된 이미지를 사용하여 더 많은 줌-인 이미지를 디스플레이하는 줌 레벨을 표시한다. 광각 카메라 (206) 및 텔레포토 카메라 (208) 는 영역 (205) 에서 컬러 및 공간 정렬들에 있어서 상이한 이미지들을 생성할 수도 있다. 도 2 (d) 에서, 광각 카메라 (206) 의 이미징 제한들이 도달될 때 (또는 그 포인트 근방의 일부 임계값들에 있을 때), 멀티 카메라 디바이스 (204) 는 광각 카메라 (206) 및 텔레포토 카메라 (208) 의 출력을 결합하는, 융합된 (또는 결합된) 이미지를 생성할 수도 있다. 즉, 융합된 이미지의 중심 부분은 텔레포토 카메라로부터의 이미지 데이터를 포함하는 영역 (205) 에 대응하고 영역들 (205 및 210) 사이의 나머지 부분들은 광각 카메라 (206) 로부터의 이미지 데이터를 포함하는 융합된 이미지를 생성한다. 도 2 (c) 및 (b) 에서의 디스플레이 (203) 상에 나타낸 미리보기 이미지들은 사용자에게 유사하거나 동일하게 보일 수도 있다. 등록은 융합된 이미지에서의 보더 영역들에서 수행될 수도 있으며, 여기서 2 개의 이미지들의 각각의 부분들은 서로 인접하여, 심리스 (또는 거의 그렇게) 융합된 이미지를 보장한다. 도 2 (e) 및 (f) 에서, 멀티 카메라 디바이스 (204) 가 줌-인 커맨드를 수신하는 것을 계속하는 경우, 멀티 카메라 디바이스 (204) 는 영역을 줌-인하는 것을 계속하고 타겟 장면의 이미지들을 미리보기하기 위한 이미지 데이터는 더 일찍 수행된 이미지 융합 동작의 결과로서 이미 이용가능할 수 있다.
대조적으로, 도 2 (f) 에서, 멀티 카메라 디바이스 (204) 는 줌-아웃 커맨드를 수신하는 것을 시작하고, 줌-아웃에서, 도 2 (e) 에 도시된 텔레포토 카메라 (208) 로부터의 이미지 데이터의 제한들에 도달될 수도 있다. 도 2 (e) 와 (d) 사이에서, 멀티 카메라 디바이스 (204) 는 또 다른 이미지 융합 동작을 수행하여, 광각 카메라 (206) 및 텔레포토 카메라 (208) 의 출력을 결합하는 이미지를 생성하여, 영역 (205) 에 대응하는 중심 부분이 텔레포토 카메라 (208) 로부터의 이미지 데이터를 포함하고 영역들 (205 및 210) 사이의 나머지 부분들이 광각 카메라 (206) 로부터의 이미지 데이터를 포함하는 이미지를 생성할 수 있다.
본 명세서에 기재된 공간 변환 및 포토메트릭 변환이 수행되지 않는 경우, 사용자는 줌-인 커맨드가 광각 카메라 (206) 의 외부 제한에서 또는 그 근방에서 수신되고 디스플레이된 이미지가 광각 카메라 (206) 로부터 텔레포토 카메라 (208) 로 변화할 때 도 2 (c) 에서 (e) 로 가는 디스플레이 (203) 에서 급작스런 변화를 볼 수도 있다. 부가적으로, 사용자는 줌-아웃 커맨드가 수신되고 디스플레이된 이미지가 텔레포토 카메라 (208) 의 제한에서 또는 그 근방에서 디스플레이될 때 도 2 (e) 에서 (c) 로 가는 디스플레이 (203) 에서 급작스런 변화를 볼 수도 있다. 이러한 쟁점들을 해결하기 위해, 천이 이미지가 생성되어 광각 카메라 (206) 및 텔레포토 카메라 (208) 양자 모두의 공간적으로 정렬된 그리고 포토메트릭으로 정렬된 이미지들을 결합할 수도 있어서, 2 개의 카메라들 사이의 스위칭이 사용자에게 인지가능하지 않은 또는 거의 인지가능하지 않은 심리스 방식으로 수행될 수 있다.
위에서 논의된 바와 같이, 광각 카메라 (206) 및 텔레포토 카메라 (208) 에 의해 생성된 이미지들은 공간 정렬 및/또는 포토메트릭 특징들 (예를 들어, 컬러, 강도) 에서 상이할 수 있다. 일부 실시형태들에서, 공간 정렬 및/또는 컬러 강도 매칭 또는 균등화가 수행되어 광각 카메라 (206) 및 텔레포토 카메라 (208) 로부터 이미지들의 평활한 변환을 생성할 수 있다. 이미지 정렬 기능은 이미지 정렬을 위한 영역 매칭에서의 강도 균등화와 함께 이미지 공간 정렬을 포함할 수도 있다. 이미지들의 세트에서의 각각의 이미지는 예를 들어 상이한 뷰포인트들로부터, 상이한 조명에서, 또는 전자기 스펙트럼의 상이한 부분들에서 실질적으로 동일한 이미지를 묘사할 수 있다. 세트에서의 이미지들의 각각은 화소들의 블록들을 포함하는 다수의 영역들로 분할될 수 있다. 영역들은 이미지들 사이의 대응 피처들을 묘사하는 영역들을 결정하기 위해, 즉 이미지들에서의 어느 영역이 동일한 피처를 묘사하는지를 결정하기 위해 매칭될 수 있다. 대응 피처들은 공간적으로 그리고 강도에 대해 매칭될 수 있다. 대응 피처들을 묘사하는 영역들 사이의 공간적 또는 강도 대응은 예를 들어, 정확한 다운스트림 이미지 정렬 및/또는 깊이 맵 구성을 유도하는 영역들을 사용하여 정확한 매칭을 허용할 수 있다.
일부 실시형태들에서, 영역들은 이미지들의 세트에서의 각각의 이미지에서, 키포인트로서 지칭되는, 특유의 피처들을 식별하는 것에 적어도 부분적으로 기초하여 결정될 수 있다. 키포인트들은 이미지 스케일 변화들 및/또는 회전에 변화하지 않도록 선택되고 및/또는 프로세싱되고, 상당한 범위의 왜곡, 뷰의 포인트에서의 변화들, 및/또는 노이즈에 걸쳐 강건한 매칭을 제공할 수도 있다. 영역 위치, 형상, 및 사이즈는, 예를 들어 추출된 피처들의 위치, 형상 및 사이즈에 기초하여 결정될 수 있다. 대응 영역들 사이의 공간 및/또는 강도 균등화는 키포인트들의 형상과 같은 로컬 구조 콘텐츠에 적응할 수 있다. 따라서, 키포인트 매칭에 대한 공간 및/또는 강도 변동들의 영향은 키포인트 검출 후 대응 영역들의 영역 매칭 및/또는 균등화 강도에 의해 완화되거나 제거될 수 있다.
대응 영역들 사이의 강도값들의 공간 정렬 또는 균등화는 그 영역들에 포함된 키포인트들의 구조를 수용할 수 있다. 일부 예들에서, 각각의 대응 영역의 히스토그램은 공간 강도 변동을 결정하기 위해 분석될 수 있고, 대응 영역들의 강도들 사이의 공간 매핑은 특유의 피처들과 같은 로컬 구조 콘텐츠에 적응되는 균등화된 강도를 제공하도록 수행될 수 있다. 예를 들어, 한 쌍의 이미지들에서의 블록들의 히스토그램 분석에 기초하여 균등화 함수를 결정한 후에, 제 1 이미지에서의 강도값은 제 1 이미지가 제 2 이미지의 히스토그램과 가장 근접하여 유사하거나 이에 매칭되는 히스토그램을 갖도록 변환되도록 제 2 이미지에서의 강도값에 매칭될 수 있다. 결정된 영역들 모두는 강도값들의 측면에서 매우 유사하게 보일 수도 있으며, 따라서 이들이 상이한 센서들, 광학 및/또는 광 파장들로 생성되었더라도 각각의 이미지에서 대응 영역들로서 후속 프로세싱에 의해 식별될 수 있다.
본 개시물에 기재된 실시형태들의 양태들이 스테레오 이미지 쌍들의 콘택스트 내에서 영역 매칭에 초점을 맞출 것이지만, 이는 예시를 위해서이며 본 명세서에 기재된 공간 정렬 및 로컬 균등화 기법들의 사용을 제한하도록 의도되지 않는다. 비 스테레오 이미지 쌍들에 대한 영역 매칭을 사용한 공간 및/또는 강도 정렬은 또한 본 명세서에 기재된 공간 정렬 및/또는 로컬 강도 균등화 기법들을 사용하여 보다 정확하게 수행될 수 있다. 예를 들어, 본 명세서에 기재된 실시형태들에 따른 공간 정렬 및/또는 로컬 강도 균등화는 보다 정확한 멀티스펙트럼 이미지 정렬을 제공할 수 있다 - 광의 스펙트럼의 상이한 부분들로부터의 이미지들을 매칭함 - 예컨대 동일한 이미지 장면의 캡처된 가시 컬러 (예를 들어, RGB) 이미지 및 근적외선 (NIR) 이미지. 공간 정렬 및/또는 로컬 강도 균등화는 또한, 예를 들어 분광법 (sepectroscopy) 을 수행하기 위해 굴절 그레이팅을 사용하여 광학 시스템들에 의해 상이한 파장들에서 취해진 이미지들의 세트를 정렬하기 위해, 보다 정확한 분광 이미지 정렬을 제공할 수 있다. 본 명세서에 기재된 공간 정렬 및/또는 로컬 강도 균등화 기법들은 다양한 실시형태들에서 3 이상의 이미지들의 세트 또는 한 쌍의 이미지들을 정렬하는데 사용될 수 있다. 또한, 본 명세서에 기재된 공간 정렬 및/또는 로컬 강도 균등화 기법들은 영역 매칭에 의한 정렬에 제한되지 않으며 임의의 이미지 정렬 또는 개정 (rectification) 기법에 통합될 수 있다.
도 3 은 심리스 줌 능력을 갖는 멀티 카메라 디바이스 (300) 의 일 실시형태를 도시하는 블록 다이어그램이다. 이 예에서, 멀티 카메라 디바이스 (300) 는 2 이상의 카메라들, 이 예에서는 제 1 카메라 (315) 및 제 2 카메라 (316) 에 커플링된 이미지 프로세서 (320) 를 포함한다. 멀티 카메라 디바이스 (300) 는 또한 이미지 프로세서 (320) 에 모두 커플링되고 이와 통신하는 작업 메모리 (305), 스토리지 (310), 디스플레이 (325) 및 메모리 (330) 를 포함할 수도 있다. 도 3 에 도시된 실시형태를 포함하는 일부 실시형태들에서, 디스플레이 (325) 및 스토리지 (310) 를 포함하는 멀티 카메라 디바이스 (300) 의 컴포넌트들은 디바이스 프로세서 (360) 를 통해 이미지 프로세서 (320) 에 커플링되고 및/또는 이와 통신할 수도 있다. 이 예에서, 메모리 (300) 는 심리스 줌 기능을 포함하는 다양한 동작들을 수행하도록 이미지 프로세서를 구성하는 명령들을 갖는 모듈들을 포함할 수도 있다.
다양한 실시형태들에서, 멀티 카메라 디바이스 (300) 는 셀 폰, 디지털 카메라, 태블릿 컴퓨터, 개인용 디지털 보조기 등일 수도 있다. 복수의 이미징 어플리케이션들이 멀티 카메라 디바이스 (300) 상의 사용자에게 이용가능할 수도 있다. 이러한 어플리케이션들은 전형적인 사진 및 비디오 어플리케이션들, 높은 동적 범위 이미징, 파노라마 사진 및 비디오, 3D 이미지 또는 3D 비디오와 같은 입체 이미징 또는 멀티스펙트럼 이미징을 포함할 수도 있다. 도시된 바와 같은 멀티 카메라 디바이스 (300) 는 외부 이미지들을 캡처하기 위한 제 1 카메라 (315) 및 제 2 카메라 (316) 를 포함한다. 제 1 카메라 (315) 및 제 2 카메라 (316) 각각은 예를 들어 센서, 렌즈 어셈블리 및 오토포커스 모듈을 포함한, 도 3 에서는 명료함을 위해 명시적으로 나타내지 않은 다양한 컴포넌트들을 포함할 수도 있다. 제 1 카메라 (315) 및 제 2 카메라 (316) 는 일부 실시형태들에서 전하 커플형 디바이스들 (CCD) 또는 상보형 금속 산화물 반도체 (CMOS) 일 수도 있다. 제 1 카메라 (315) 및 제 2 카메라 (316) 는 상이한 컴포넌트들 (예를 들어, 광학, 센서들) 로 구성되고, 따라서 그들 자신의 특정 광학 및 센서들에 기초하여 형성된 이미지들을 생성한다. 따라서, 타겟 이미지 장면은 센서의 강도 응답에 따라 제 1 카메라 (315) 가 이미지 A 를 캡처하고 제 1 카메라 제 2 카메라 (316) 가 센서의 강도 응답에 따라 이미지 B 를 캡처하는 이미지들의 세트로서 캡처될 수도 있다. 부가적으로, 캡처된 이미지들 A 및 B 는 센서 어셈블리들 A 및 B 에서의 카메라들 또는 렌즈들 사이의 롤, 피치 및 요 (yaw), 카메라들 사이의 물리적 오프셋으로 인해 공간 정렬에서 상이할 수 있다. 2 개의 카메라들 (즉, 제 1 카메라 (315) 및 제 2 카메라 (316)) 가 나타나 있지만, 이는 예시의 목적을 위한 것이며 본 명세서에 기재된 공간 정렬 및 강도 균등화 기법들을 구현할 수 있는 시스템의 유형을 제한하도록 의도되지 않는다. 다른 실시형태들에서, 3 이상의 카메라들이 타겟 장면의 이미지 세트를 캡처할 수 있으며, 이미지 세트는 적어도 일부 공간 오정렬 및/또는 로컬 강도 변동을 나타낸다. 또 다른 실시형태들에서, 단일 카메라는 타겟 장면의 이미지들의 세트를 캡처할 수 있으며, 이미지들의 세트는 적어도 일부 로컬 강도 변동을 나타낸다. 일부 실시형태들에서, 하나 이상의 카메라는 멀티 카메라 디바이스 (300) 의 부분이 아닐 수도 있으며, 대신 하나 이상의 카메라들로부터의 정보가 프로세싱을 위해 멀티 카메라 디바이스 (300) 에 제공된다. 예를 들어, 카메라들은 다른 이미징 시스템의 부분일 수도 있고, 그러한 시스템으로부터의 정보는 멀티 카메라 디바이스 (300) 에 대해 기재된 기능을 사용하여 프로세싱되도록 제공될 수도 있다. 일부 실시형태들에서, 이러한 정보는 먼저 저장되고, 그 후 프로세싱을 위해 멀티 카메라 디바이스 (300) 에 제공된다. 센서 어셈블리들의 수는 이미징 시스템 (300) 의 필요성들에 따라 증가되거나 감소될 수도 있다. 제 1 카메라 (315) 및 제 2 카메라 (316) 는 이미지 프로세서 (320) 에 캡처된 이미지들을 송신하기 위해 이미지 프로세서 (320) 에 커플링될 수도 있다.
이미지 프로세서 (320) 는 하기에서 보다 상세히 설명될 바와 같이, 정확하게 정렬된 이미지 세트를 출력하기 위해서 이미지 장면의 이미지들의 수를 포함하는 수신된 이미지 데이터 상에서 다양한 프로세싱 동작들을 수행하도록 구성될 수도 있다. 이미지 프로세서 (320) 는 범용 프로세싱 유닛 또는 이미징 어플리케이션을 위해 특별히 설계된 프로세서일 수도 있다. 이미지 프로세싱 동작들의 예들은 크로핑, 스케일링 (예를 들어, 상이한 해상도로), 이미지 스티칭, 이미지 포맷 컨버전, 컬러 보간, 컬러 프로세싱, 이미지 필터링 (예를 들어, 공간 이미지 필터링), 렌즈 아티팩트 또는 결함 보정 등을 포함한다. 일부 실시형태들에서, 이미지 프로세서 (320) 는 복수의 프로세서들을 포함할 수도 있다. 소정의 실시형태들은 각각의 이미지 센서에 전용된 프로세서를 가질 수도 있다. 이미지 프로세서 (320) 는 하나 이상의 전용 이미지 신호 프로세서들 (ISP들) 또는 프로세서의 소프트웨어 구현일 수도 있다.
이미지 프로세서 (320) 는 메모리 (330) 및 작업 메모리 (305) 에 접속된다. 도시된 예에서, 메모리 (330) 는 캡처 제어 모듈 (335), 강도 정렬 모듈 (340), 공간 정렬 모듈 (255), 상태 머신 모듈 (370) 및 오퍼레이팅 시스템 (350) 을 저장한다. 이들 모듈들은 다양한 이미지 프로세싱 및 디바이스 관리 태스크들을 수행하기 위해 이미지 프로세서 (320) 및/또는 디바이스 프로세서 (360) 를 구성하는 명령들을 포함한다. 작업 메모리 (305) 는 이미지 프로세서 (320) 에 의해 사용되어 메모리 (330) 의 모듈들에 포함된 프로세서 명령들의 작업 세트를 저장할 수도 있다. 대안으로, 작업 메모리 (305) 는 또한 멀티 카메라 디바이스 (300) 의 동작 동안 생성된 동적 데이터를 저장하기 위해 이미지 프로세서 (320) 에 의해 사용될 수도 있다.
상술한 바와 같이, 이미지 프로세서 (320) 는 메모리, 예를 들어 메모리 (330) 에 저장된 몇몇 모듈들에 의해 구성되거나 제어될 수도 있다. 캡처 제어 모듈 (335) 은 제 1 카메라 (315) 및 제 2 카메라 (316) 의 포커스 포지션을 조정하도록 이미지 프로세서 (320) 를 구성하는 명령들을 포함할 수도 있다. 캡처 제어 모듈 (335) 은 멀티 카메라 디바이스 (300) 의 전체 이미지 캡처 기능들을 제어하는 명령들을 더 포함할 수도 있다. 예를 들어, 캡처 제어 모듈 (335) 은 제 1 카메라 (315) 및 제 2 카메라 (316) 를 사용하여 타겟 이미지 장면의 원시 이미지 데이터를 캡처하도록 이미지 프로세서 (320) 를 구성하기 위해 서브루틴들을 호출하는 명령들을 포함할 수도 있다. 캡처 제어 모듈 (335) 은 그 후 제 1 카메라 (315) 및 제 2 카메라 (316) 에 의해 캡처된 이미지들 상에서 공간 정렬 및/또는 로컬 강도 균등화를 수행하고, 정렬된 이미지 데이터를 이미지 프로세서 (320) 에 출력하기 위해 공간 정렬 모듈 (355) 및/또는 강도 정렬 모듈 (340) 을 호출할 수도 있다. 캡처 제어 모듈 (335) 은 또한, 일부 실시형태들에서 캡처될 장면의 미리보기 이미지를 디스플레이 (325) 상에 출력하기 위해서 원시 이미지 데이터 상에서 공간 정렬 및/또는 강도 균등화를 수행하기 위해, 그리고 원시 이미지 데이터에서의 장면이 변화할 때 또는 소정의 시간 간격들에서 미리보기 이미지를 업데이트하기 위해 공간 정렬 모듈 (355) 및/또는 강도 정렬 모듈 (340) 을 호출할 수도 있다.
공간 정렬 모듈 (355) 은 캡처된 이미지 데이터 상에서 공간 정렬을 수행하도록 이미지 프로세서 (320) 를 구성하는 명령들을 포함할 수도 있다. 예를 들어, 제 1 카메라 (315) 및 제 2 카메라 (316) 의 각각은 각각의 카메라의 상이한 파라미터들 및 특징들에 따라 타겟 장면을 묘사하는 이미지를 캡처할 수도 있다. 위에 논의된 바와 같이, 제 1 카메라 (315) 및 제 2 카메라 (316) 로부터의 동일한 타겟 장면의 생성된 이미지들은 센서 이득들, 롤-오프들, 피치, 요, 감도, 시야, 화이트 밸런스, 기하학적 왜곡, 및 노이즈 감도들에서의 불일치들, 제 1 카메라 (115) 및 제 2 카메라 (116) 에서의 렌즈들 사이의 차이, 및 온-보드 이미지 신호 컨디셔닝으로 인해 상이할 수도 있다. 이미지들의 정확한 공간 정렬을 수행하기 위해, 공간 정렬 모듈 (355) 은 제 1 카메라 (315) 로부터의 이미지들 사이의 대응 피처들을 검출하고, 적절한 변환 (또는 대응 영역들 사이의 매핑) 을 추정하며, 그리고 서로 상단 상에 정확히 병치 (juxtaposed) 될 수 있는 이미지들을 생성하는 영역 매칭을 수행하도록 이미지 프로세서 (320) 를 구성할 수도 있다. 부가적으로, 공간 정렬 모듈 (355) 은 이미지들 사이의 대응 피처들이 검출될 수 없을 때에도 2 개의 이미지들을 정렬하도록 이미지 프로세서 (320) 를 구성할 수도 있다.
공간 정렬 모듈 (355) 은 이미지 데이터에서 특유의 피처들 또는 키포인트들을 검출하도록 이미지 프로세서 (320) 를 구성하는 명령들을 포함하는 피처 검출기 (357) 를 포함할 수 있다. 이러한 피처들은 고도의 정확도로 매칭될 수 있는 이미지에서의 포인트에 대응할 수 있다. 예를 들어, 특유의 피처들은 주변 화소 영역들과 비교하여 특성들, 예를 들어 사이즈, 형상, 치수, 휘도 또는 컬러에서 상이한 에지들 또는 라인들, 코너들, 융기들 또는 얼룩 (blob) 들의 존재 또는 선명도에 의해 적어도 부분적으로 특징화될 수도 있다. 일반적으로, 오브젝트 또는 피처 인식은 피처 식별을 위해 이미지에서의 관심의 포인트들 (또는 키포인트들이라고도 함) 및/또는 그러한 키포인트들 주위의 국부화된 피처들을 식별하는 것을 부산할 수도 있다. 오브젝트 또는 피처는 하나 이상의 키포인트들을 식별하는 디스크립터들에 의해 특징화될 수도 있다. 키포인트들은 몇 가지 예를 들면, 임의의 알려진 피처 검출 기법, 예를 들어, 제곱 차들의 합, 가우시안의 라플라시안 (Laplacian of Gaussian; LoG), 가우시안의 차이 (difference of Gaussian; DoG) 및 헤시안의 결정요인 (determinant of the Hessian; DoH) 에 의해 식별될 수 있다.
피처 검출기 (357) 는 또한 식별된 키포인트들에 적어도 부분적으로 기초하여 화소 블록들을 포함하는 영역들로 이미지 데이터를 파티셔닝하도록 이미지 프로세서 (320) 를 구성하는 명령들을 포함할 수 있다. 화소 블록 위치, 형상 및 사이즈는 예를 들어 식별된 키포인트들의 위치, 형상 및 사이즈에 기초하여 결정될 수 있다. 일부 입체적 정렬 어플리케이션들과 같은 일부 실시형태들에서, 피처 검출기 (357) 는 화소 블록 사이즈를 디스패리티 (disparity) 값보다 크게 및/또는 롤-오프 변동값보다 작게 제한하도록 이미지 프로세서 (320) 를 구성하는 명령들을 포함할 수 있다.
공간 정렬 모듈 (355) 은 또한 제 1 카메라 (315) 및 제 2 카메라 (316) 에 의해 생성된 하나 이상의 이미지들의 대응 영역과 매칭하도록 하나 이상의 변환들을 추정하고 적용하도록 프로세서 (320) 를 구성하는 명령들을 포함하는 매칭 모듈 (359) 을 포함할 수 있다.
강도 정렬 모듈 (340) 은 캡처된 이미지 데이터에 대한 로컬 강도 균등화 기법들을 사용하여 이미지 강도 정렬 (또한 포토메트릭 정렬로 지칭될 수도 있음) 을 수행하도록 이미지 프로세서 (320) 를 구성하는 명령들을 포함할 수도 있다. 예를 들어, 제 1 카메라 (315) 및 제 2 카메라 (316) 의 각각은 각각의 센서의 강도 응답에 따라 타겟 장면을 묘사하는 이미지를 캡처할 수도 있다. 위에 논의된 바와 같이, 강도 응답들은 센서 이득들, 롤 오프들, 감도, 시야, 화이트 밸런스, 기하학적 왜곡, 및 노이즈 감도들의 불일치로 인해, 특히 렌즈들 및/또는 센서들 제 1 카메라 (315) 및 제 2 카메라 (316) 에서의 차이들, 및 온 보드 이미지 신호 컨디셔닝으로 인해 상이할 수도 있다. 이미지들 사이의 로컬 강도 변화에도 불구하고 이미지들의 정확한 강도 정렬을 수행하기 위해, 강도 정렬 모듈 (340) 은 이미지들을 다수의 영역들로 파티셔닝하고, 대응 영역의 로컬 강도값들을 균등하게 하며, 그리고 강도 균등화 영역들을 사용하여 영역 매칭을 수행하도록 이미지 프로세서 (320) 를 구성할 수도 있다.
예를 들어, 강도 정렬 모듈 (340) 은 이미지 데이터에서 특유의 피처들 또는 키포인트들을 검출하도록 이미지 프로세서 (320) 를 구성하는 명령들을 포함하는 피처 검출기 (342) 를 포함할 수 있다. 이러한 피처들은 고도의 정확도로 매칭 될 수 있는 이미지에서의 포인트들에 대응할 수 있다. 예를 들어, 특유의 피처들은 주변 화소 영역들과 비교하여 특성들, 예를 들어 사이즈, 형상, 치수, 휘도 또는 컬러가 상이한 에지들 또는 라인들, 코너들, 융기들 또는 얼룩들의 존재 또는 선명도에 의해 적어도 부분적으로 특징화될 수도 있다. 일반적으로, 오브젝트 또는 피처 인식은 피처 식별을 위해 이미지에서의 관심의 포인트들 (또한, 키포인트로 칭함) 및/또는 그러한 키포인트들 주위의 국부화된 피처들을 식별하는 것을 수반할 수도 있다. 오브젝트 또는 피처는 하나 이상의 키포인트들을 식별하는 디스크립터들에 의해 특징화될 수도 있다. 키포인트들은 몇 가지 예를 들어, 임의의 알려진 피처 검출 기법, 예를 들어, 제곱 차들의 합, 가우시안의 라플라시안 (LoG), 가우시안 (DoG) 의 차이, 및 헤시안의 결정요인 (DoH) 에 의해 식별될 수 있다.
피처 검출기 (342) 는 또한 식별된 키포인트들에 적어도 부분적으로 기초하여 화소 블록들을 포함하는 영역들로 이미지 데이터를 파티셔닝하도록 이미지 프로세서 (320) 를 구성하는 명령들을 포함할 수 있다. 화소 블록 위치, 형상 및 사이즈는 예를 들어, 식별된 키포인트들의 위치, 형상 및 사이즈에 따라 결정될 수 있다. 일부 입체적 정렬 어플리케이션들과 같은 일부 실시형태들에서, 피처 검출기 (342) 는 화소 블록 사이즈를 디스패리치 값보다 크게 및/또는 롤 오프 변동값보다 작게 제한하도록 이미지 블록 (320) 을 구성하는 명령들을 포함할 수 있다.
강도 정렬 모듈 (340) 은 또한 영역의 히스토그램을 생성 및 분석하고 히스토그램 분석에 적어도 부분적으로 기초하여 강도 균등화 함수를 생성하도록 프로세서 (320) 를 구성하는 명령들을 포함하는 히스토그램 모듈 (344) 을 포함할 수 있다. 히스토그램 모듈 (344) 은 각각의 블록의 확률 질량 함수 (probability mass function; PMF) 를 결정하고 PMF 에서의 질량을 합산하여 누적 질량 함수 (cumulative mass function CMF) 를 계산하며, CMF 를 사용하여 제 1 카메라 (315) 에 의해 캡처된 이미지에서의 화소들로부터의 강도값들을 제 2 카메라 (316) 에 의해 캡처된 이미지에서의 화소들에 매핑 (또는 그 반대로) 하도록 프로세서 (320) 를 구성하는 명령들을 포함할 수 있다. 따라서, 대응 영역들 사이의 강도 균등화는 키포인트들의 형상과 같은 로컬 구조 콘텐츠에 적응할 수 있다.
강도 정렬 모듈 (340) 은 또한 히스토그램 모듈 (344) 에 의해 생성된 강도 균등화된 이미지 데이터를 사용하여 영역 매칭을 수행하도록 프로세서 (320) 를 구성하는 명령들을 포함하는 매칭 모듈 (346) 을 포함할 수 있다. 로컬 적응 강도 균등화로 인해, 대응 키포인트 영역들은 강도값들의 관점에서 서로 매우 유사하게 보일 수도 있어서, 공간적으로 변동하는 강도를 나타내는 이미지들에서도 키포인트 구조들 주위의 매우 정확한 매칭을 가능하게 한다.
상태 머신 모듈 (370) 은 제 1 카메라 (315) 및 제 2 카메라 (316) 를 턴 온 및 턴 오프하여, 제 1 및 제 2 카메라들 (115, 116) 로부터의 이미지 피드들을 취하여, 제 1 및 제 2 카메라들 (115, 116) 로부터의 이미지들의 부분들 또는 전부를 디스플레이 상에 나타내도록 이미지 프로세서 (320) 및/또는 디바이스 프로세서 (360) 를 구성한다. 상태 머신 (370) 에 의해 지시된 바와 같은 결과의 상태는 이미지 변환 파라미터들이 스토리지에 저장되거나 이로부터 취출되도록 할 수도 있으며, 이는 멀티 카메라 디바이스 (300) 의 사용자에 의해 입력된 줌 커맨드에 의존하여 변환의 역 또는 변환 파라미터들을 재적용하는데 사용될 수도 있다.
오퍼레이팅 시스템 모듈 (350) 은 다양한 동작 태스크들을 위해 멀티 카메라 디바이스 (300) 의 프로세싱 리소스들 및 작업 메모리 (305) 를 관리하도록 이미지 프로세서 (320) 를 구성할 수도 있다. 예를 들어, 오퍼레이팅 시스템 모듈 (345) 은 제 1 카메라 (315) 및 제 2 카메라 (316) 와 같은 하드웨어 리소스들을 관리하는 디바이스 드라이버들을 포함할 수도 있다. 따라서, 일부 실시형태들에서, 위에 논의된 이미지 프로세싱 모듈들에 포함된 명령들은 이들 하드웨어 리소스들과 직접 상호작용하지 않고, 대신에 오퍼레이팅 시스템 모듈 (350) 에 위치된 표준 서브루틴들 또는 API들을 통해 상호작용할 수도 있다. 그 후 오퍼레이팅 시스템 모듈 (350) 내의 명령들은 이들 하드웨어 컴포넌트들과 직접 상호작용할 수도 있다. 오퍼레이팅 시스템 모듈 (350) 은 또한 디바이스 프로세서 (360) 와 정보를 공유하도록 이미지 프로세서 (320) 를 구성할 수도 있다.
디바이스 프로세서 (360) 는 사용자에게 캡처된 이미지 또는 캡처된 이미지의 미리보기를 디스플레이하기 위해 디스플레이 (325) 를 제어하도록 구성될 수도 있다. 디스플레이 (325) 는 멀티 카메라 디바이스 (300) 외부에 있을 수도 있고, 또는 멀티 카메라 디바이스 (300) 의 부분일 수도 있다. 디스플레이 (325) 는 또한, 이미지를 캡처하기 전에 사용을 위한 미리보기 이미지를 디스플레이하는 뷰 파인더를 제공하도록 구성될 수도 있고, 또는 최근에 사용자에 의해 캡처되거나 메모리에 저장된 캡처된 이미지를 디스플레이하도록 구성될 수도 있다. 디스플레이 (325) 는 LCD 또는 LED 화면을 포함할 수도 있고, 터치 감지 기술들을 구현할 수도 있다.
디바이스 프로세서 (360) 는 저장 모듈 (310) 에 데이터, 예를 들어 캡처된 이미지들을 나타내는 데이터, 이미지 정렬 데이터, 강도값 데이터 등을 기입할 수도 있다. 저장 모듈 (310) 은 전형적인 디스크 디바이스로서 그래픽으로 표현되어 있지만, 당업자는 저장 모듈 (310) 이 임의의 저장 매체 디바이스로서 구성 될 수 있음을 이해할 것이다. 예를 들어, 저장 모듈 (310) 은 플로피 디스크 드라이브, 하드 디스크 드라이브, 광학 디스크 드라이브 또는 자기 광학 디스크 드라이브와 같은 디스크 드라이브, 또는 플래시 메모리, RAM, ROM 및/또는 EEPROM 과 같은 고체 상태 메모리를 포함할 수도 있다. 저장 모듈 (310) 은 또한 다수의 메모리 유닛들을 포함할 수 있으며, 메모리 유닛들 중 어느 하나는 멀티 카메라 디바이스 (300) 내에 있도록 구성될 수도 있고, 또는 멀티 카메라 디바이스 (300) 외부에 있을 수도 있다. 예를 들어, 저장 모듈 (310) 은 멀티 카메라 디바이스 (300) 내에 저장된 시스템 프로그램 명령들을 포함하는 ROM 메모리를 포함할 수도 있다. 저장 모듈 (310) 은 또한, 카메라로부터 제거가능할 수도 있는 캡처된 이미지를 저장하도록 구성된 메모리 카드들 또는 고속 메모리들을 포함할 수도 있다.
도 3 은 프로세서, 이미징 센서 및 메모리를 포함하는 별도의 컴포넌트들을 갖는 디바이스를 도시하지만, 당업자는 이러한 별도의 컴포넌트들이 특정 설계 목적들을 달성하기 위해 다양한 방식으로 결합될 수 있다는 것을 인식할 것이다. 예를 들어, 대안의 실시형태들에서, 메모리 컴포넌트들은 프로세서 컴포넌트들과 결합되어 비용을 절감하고 성능을 개선할 수도 있다. 또한, 도 3 은 몇몇 모듈들을 포함하는 메모리 컴포넌트 (330) 및 별도의 작업 메모리 (305) 를 포함하는 2 개의 메모리 컴포넌트들을 도시하지만, 다른 실시형태들은 상이한 메모리 아키텍처들을 활용할 수도 있다. 예를 들어, 설계는 메모리 (330) 에 포함된 모듈들을 구현하는 프로세서 명령들의 저장을 위해 ROM 또는 정적 RAM 메모리를 활용할 수도 있다. 프로세서 명령들은 이미지 프로세서 (320) 에 의한 실행을 용이하게 하기 위해 RAM 에 로딩될 수도 있다. 예를 들어, 작업 메모리 (305) 는 프로세서 (320) 에 의한 실행 이전에 작업 메모리 (305) 에 로딩된 명령들을 갖는 RAM 메모리를 포함할 수도 있다.
도 4 는 줌-인 또는 줌-아웃되고 있을 때, 멀티 카메라 디바이스의 시야를 나타내는 타겟 장면의 이미지 또는 일련의 이미지들을 심리스로 디스플레이하기 위한 프로세스 및/또는 시스템 (400) 의 개요의 일 예를 도시하는 블록 다이어그램이며, 디스플레이된 이미지는 멀티 카메라 디바이스의 하나 이상의 카메라들로부터의 데이터를 포함한다. 이러한 프로세스/시스템에서, 다중 카메라들로부터의 이미지들은 디스플레이될 때, 각각의 카메라가 상이한 이미징 특징들을 가짐에도 불구하고, 일 카메라 또는 다른 카메라, 또는 양자 모두로부터 디스플레이된 이미지가 제공되고 있을 때 사용자에게 인지가능한 차이가 없도록 프로세싱된다. 도 4 의 예에서, 멀티 카메라 디바이스는 2 개의 카메라들을 갖는다. 다른 예들에서, 멀티 카메라 디바이스는 3 개 이상의 카메라들을 가질 수 있다. 프로세스/시스템 (400) 의 도시된 블록들의 각각이 본 명세서에서 더 설명된다.
제 1 카메라로부터의 이미지 A (405) 및 제 2 카메라로부터의 이미지 B (410) 가 수신되고 정적 교정 (412) 이 수행된다. 편의를 위해 이미지 A (405) 및 이미지 B (410) 로 지칭되었지만, 이미지 A (405) 는 멀티 카메라 디바이스의 제 1 카메라로부터의 일련의 이미지들을 지칭할 수도 있다. 이러한 일련의 이미지들은 "스틸" 이미지 또는 비디오로서 캡처된 일련의 이미지들을 포함할 수도 있다. 유사하게, 이미지 B (410) 는 멀티 카메라 디바이스의 제 1 카메라로부터의 일련의 이미지들을 지칭할 수도 있다. 이러한 일련의 이미지에는 "스틸"이미지 또는 비디오로 캡처된 일련의 이미지가 포함될 수 있다. 정적 교정 (412) 은 알려진 타겟 장면, 예를 들어 테스트 타겟을 사용하여 수행될 수도 있다. 일부 예들에서, 정적 교정은 멀티 카메라 디바이스의 초기 교정 단계로서 "팩토리에서" 수행될 수도 있다. 정적 교정의 양태들은 예를 들어, 도 5 에서 더 설명된다. 정적 교정 (412) 으로부터 결정된 파라미터들은 후속하여 공간 정렬 (440) 을 위해 및/또는 포토메트릭 정렬 (455) 을 위해 메모리에 저장될 수도 있다.
이 예에서, 공간 정렬 (440) 은 또한 이미지 A 및 이미지 B 를 공간적으로 정렬하여, 이미지 A 로부터 화소들을 이미지 B 의 대응 화소들로 화소들에 매핑한다. 환언하면, 공간 정렬 (440) 은 이미지 B 의 화소들의 대응 화소와 동일한 피처를 나타내는 이미지 A 에서의 화소 또는 복수의 화소들을 결정할 수도 있다. 공간 정렬의 소정의 양태는 도 6 을 참조하여 더 설명된다.
프로세스/시스템 (400) 은 또한 포토메트릭 정렬 (455) 을 포함하는데, 이는 본 명세서에서 강도 정렬로도 또한 지칭된다. 포토메트릭 정렬 (455) 은 이미지 B 로의 이미지 A 의 대응 화소들의 컬러 및/또는 강도 변환을 표시하는 변환 파라미터를 결정하며, 그 역 또한 마찬가지이다. 공간 정렬 정보와 함께, 포토메트릭 정렬 정보를 사용하여, 이미지 A 및 이미지 B 의 대응하는 화소들은 이미지의 일부가 제 1 카메라로부터 생성되었고 디스플레이된 이미지의 일부는 제 2 카메라에 의해 생성되었다는 것을 사용자가 인지할 수 없으면서 융합된 이미지에서 함께 디스플레이될 수도 있다. 포토메트릭 정렬의 소정의 양태들은 도 7 을 참조하여 더 설명된다.
또한, 프로세스/시스템 (400) 은 멀티 카메라 디바이스에 의해 캡처되는 타겟 장면을 보여주기 위해 사용자에게 제시될 수 있는 디스플레이 가능한 이미지 (470) 를 제작하기 위해 이미지 A 의 일부 및 이미지 B 의 일부의 융합 (460) 을 포함하며, 디스플레이된 이미지가 하나의 카메라로부터 나온 것으로 보이도록 심리스로 다른 것과 결합된다. 다수의 카메라들에 의해 생성된 이미지들의 융합은 예를 들어 도 8 을 참조하여 더 설명된다.
일부 실시형태들에서, 공간 정렬 및 강도 균등화를 정확히 수행하기 위해, 정적 교정 동작이 멀티 카메라 디바이스 상에서 수행될 수 있다. 도 5 는 일 실시형태에 따른 정적 교정 절차의 셋업 및 스테이지들의 일 실시형태의 일 예를 설명한다. 일부 실시형태들에서, 멀티 카메라 디바이스 (510) 는 2 개의 카메라들 (520 및 530) 일 수 있다. 카메라 (520) 는 광각 카메라일 수 있고 카메라 (530) 는 텔레포토 카메라일 수 있다. 정적 교정 동작은 교정 리그 (540) 가 사용될 수 있는 멀티 카메라 디바이스 (510) 를 제조하는 팩토리에서 수행될 수 있다. 교정 리그 (540) 는 알려진 사이즈의 도트 패턴 또는 체크보드를 갖는 평면 교정 플레이트일 수 있다. 카메라들 (520, 530) 는 교정 리그 (540) 의 이미지들을 취할 수 있다. 교정 리그 상의 알려진 피처들 및 거리들을 사용하여, 변환 (550) 이 추정될 수 있다. 변환 (550) 은 2 개의 비대칭 카메라들 (520 및 530) 의 모델들 및 파라미터들을 포함할 수 있다. 이러한 파라미터들은 스케일링 팩터를 포함할 수 있다. 스케일링 팩터는 2 개의 비대칭 카메라들 (520 및 530) 의 초점 길이의 비로 대략 정의될 수 있다. 2 개의 비대칭 카메라들 (520 및 530) 은 상이한 초점 길이 및 배율을 가지며, 서로에 대해 그들의 이미지를 매핑하거나 병치시키기 위해, 스케일링 팩터가 결정될 수 있다. 변환 (550) 의 다른 파라미터들은 카메라 (520) 의 이미지들을 카메라 (530) 에 관련시키는 뷰포인트 매칭 매트릭스, 주요 오프셋, 기하학적 교정 및 다른 파라미터들을 포함할 수 있다.
변환 파라미터들 (550) 을 사용하면, 카메라 (520) 로부터의 이미지들을 카메라 (530) 로부터의 이미지들에 또는 그 반대로 관련시키는 매핑 (560) 이 생성될 수 있다. 매핑 (560) 및 변환 파라미터들 (550) 은 멀티 카메라 디바이스 (510) 의 메모리 (570) 에 또는 멀티 카메라 디바이스 (510) 의 부분이 아닌 메모리 컴포넌트에 저장될 수 있다. 멀티 카메라 디바이스 (510) 가 마모 및 찢김, 그리고 그 초기 팩터 교정에 영향을 미치는 다른 팩터들에 종속되기 때문에, 본 명세서에 기재된 실시형태들은 변환 파라미터들 (550) 및 매핑 (560) 을 리파인 (refine), 재조정 또는 튜닝하는데 사용될 수 있다. 예를 들어, 본 명세서에 기재된 공간 정렬 및 강도 균등화 실시형태들은 멀티 카메라 디바이스 (510) 가 변환 파라미터들 (550) 및 매핑 (560) 에서의 시프트를 처리하기 위해 사용자에 의해 사용될 때 동적으로 적용될 수 있다.
도 6 은 상이한 이미지 특징들을 갖는 2 이상의 카메라들에 의해 생성된 이미지 데이터의 공간 정렬을 수행하는데 사용될 수 있는 공간 정렬 모듈 (655) 의 일 실시형태의 일 예를 도시하는 블록 다이어그램이다. 도 6 을 참조하여 기재된 바와 같은 하나의 예에서, 광각 카메라에 의해 생성된 이미지 A (605) 는 텔레포토 카메라에 의해 생성된 이미지 B 와 공간적으로 정렬될 수 있다. 즉, 공간 정렬은 이미지 B (610) 에서의 대응 화소들과 정렬하기 위한 이미지 A (605) 에서의 화소들의 매핑이다. 매핑은 또한 변환으로서 지칭될 수도 있다. 매핑 (또는 변환) 의 결과로서, 2 개의 카메라들로부터의 이미지들은 이미지들이 전체적으로 또는 부분적으로 사용될 때 (예를 들어, 이미지 A (605) 및 이미지 B (610) 각각의 일부를 포함하는 융합된 이미지에 대해), 공간적으로 이미지들은 동일한 카메라 (및 시점) 로부터인 것으로 보이도록 공간적으로 정렬될 수 있다.
도 6 에 도시된 실시형태들에서, 이미지 A (605) 및 이미지 B (610) 가 공간 정렬 모듈 (655) 에 제공된다. 다양한 실시형태들에서, 공간 정렬 모듈 (655) 은 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어의 조합으로 구현될 수도 있다. 공간 정렬 모듈 (655) 은 미리결정된 정렬 정보 (예를 들어, 메모리 컴포넌트로부터 그러한 정보를 취출하는 것) 를 사용할 수도 있다. 이전에 결정된 정렬 정보는 2 개의 카메라들에 의해 제공된 이미지들의 공간 정렬을 위한 시작포인트로 사용될 수도 있다. 공간 정렬 모듈 (655) 은 피처 검출기 (642) 및 피처 매칭기 (646) 를 포함할 수 있다. 피처 검출기 (642) 는 당업자에게 알려진 다양한 피처 검출 기법들 중 하나 이상에 의해 미리결정될 수도 있는 기준에 기초하여 이미지 A (605) 및 이미지 B (610) 의 각각에서 피처들 (또는 키포인트들) 을 검출하는 명령들 (또는 기능) 을 포함할 수도 있다. 피처 매칭기 (646) 는 피처 매칭 기법, 예를 들어, 이미지 상관을 사용하여 이미지 A (605) 에서 식별된 피처들을 이미지 B (610) 에 매칭한다. 일부 실시형태들에서, 정렬될 이미지는 블록들로 파티셔닝될 수도 있고, 피처 식별 및 매칭은 블록 대 블록 (block-to-block) 레벨 상에서 수행될 수도 있다.
공간 정렬 모듈 (655) 은 이미지 A (605) 로부터의 화소들을 이미지 B (610) 의 대응 화소들로 공간적으로 매핑하는데 사용될 수 있는, 피처 매칭에 기초한 공간 변환 파라미터들, 예를 들어 스케일, 회전, 시프트를 결정할 수 있는 동적 정렬 (648) 을 또한 포함할 수 있다. 일부 실시형태들에서, 이미지 데이터 A (605) 는 이미지 데이터 B (610) 와 공간적으로 정렬되도록 변환될 수 있다. 다른 실시형태들에서, 이미지 데이터 B (610) 는 이미지 데이터 A (605) 와 공간적으로 정렬되도록 변환될 수 있다. 피처 검출, 매칭 및 동적 정렬의 결과로서, 이미지 A (605) 에서 각각의 화소 또는 화소들의 그룹에 행해질 필요가 있는 동작들 (예를 들어, 스케일, 회전, 시프트) 을 나타내는 공간 변환 (또는 매핑) 정보가 생성되며, 그 역 또한 마찬가지이다. 그 후, 이러한 공간 변환 정보 (657) 는 광각 카메라 또는 텔레포토 카메라로부터의 다른 이미지 또는 이미지들의 공간 정렬을 수행하기 위해 프로세서 (예를 들어, 이미지 프로세서) 에 의해 나중에 취출되도록 메모리 컴포넌트에 저장된다. 일부 구현들에서, 변환된 이미지 데이터 (658) 는 또한 나중에 사용하기 위해 메모리 컴포넌트에 저장될 수도 있다.
도 7 은 포토메트릭 정렬 (740) 의 일 실시형태의 예의 블록 다이어그램을 도시한다. 포토메트릭 정렬의 구현은 예를 들어, 메모리 또는 하드웨어 또는 양자 모두에 저장된 모듈에서의 명령들의 세트로 소프트웨어로 구현될 수 있다. 포토메트릭 정렬 (740) 은 제 1 이미지에서의 화소들의 컬러 및 강도를 제 2 이미지에서의 대응 화소들과 매칭하는데 사용될 수도 있다. 따라서, 이것은 제 1 이미지의 일부가 제 2 이미지의 일부와 함께 미리보기 이미지에서 디스플레이되도록 할 수도 있어서 그 부분들은 상이한 이미지 파라미터들을 갖는 2 개의 상이한 카메라들 대신 동일한 카메라로부터 생성된 것으로 보이는데, 이는 그러한 파라미터들이 강도 및 컬러에 영향을 미치기 때문이다. 일부 실시형태들에서, 포토메트릭 정렬은 비대칭 카메라들로 생성된 2 개의 이미지들, 예를 들어 광각 카메라로부터 생성된 이미지들 및 텔레포토 카메라로부터 생성된 이미지들 상에서 수행될 수도 있다.
도 7 에 도시된 실시형태에서, 이미지 A (705) 를 나타내는 데이터는 광각 카메라로부터 수신되고 이미지 B (710) 를 나타내는 데이터는 텔레포토 카메라로부터 수신된다. 도 7 에서, 정렬된 이미지 A 데이터 (705) 및 정렬된 이미지 B 데이터 (704) 는 이미지들 중 하나로부터의 화소들이 다른 이미지의 대응 화소들과 공간적으로 정렬되도록 공간적으로 정렬되었다. 다른 실시형태들에서, 포토메트릭 정렬 (740) 에 제공된 정보는 제 1 카메라 및 제 2 카메라로부터 생성된 미리결정된 정렬 정보 및/또는 정렬되지 않은 이미지들을 포함할 수도 있다. 일부 예들에서, 이미지 A (705) 를 나타내는 데이터는 도 6 에서 공간 정렬 모듈 (655) 로부터 수신된 공간적으로 변환된 이미지 데이터 A 일 수 있고 이미지 B (704) 를 나타내는 데이터는 공간 정렬 모듈 (644)(도 6) 로부터 수신된 공간적으로 변환된 이미지 데이터 B 일 수 있다. 이미지 A (705) 및 이미지 B (704) 는 강도값들의 변동들, 예를 들어 키포인트 피처들에서 및 이 피처들 주위의 화소 강도값들을 가질 수 있다. 도시된 실시형태는 2 개의 이미지들의 강도값들을 동일하게 하도록 구현되지만, 다른 실시형태들에서는 3 개 이상의 이미지들이 강도 정렬 모듈 (740) 로 전송될 수 있다. 3 개 이상의 이미지들 사이의 강도 정렬의 일부 실시형태들에서, 하나의 이미지는 다른 이미지들의 강도값들을 참조 이미지의 강도값들에 매칭하기 위한 참조로서 식별될 수 있다. 일부 실시형태들에서, 제 1 이미지 센서 및 제 2 이미지 센서는 비대칭이 아니다.
이 예에서, 포토메트릭 정렬 (740) 은 하기에서 설명되는 몇몇 기능적 피처들 또는 모듈들을 포함한다. 이미지 A 데이터 (705) 는 파티션 모듈 A (714A) 에서 수신되어 화소 블록의 K 영역들로 파티셔닝될 수 있다. 이미지 B 데이터 (704) 는 파티션 모듈 B (714B) 에서 수신되어 화소 블록들의 동일한 수의 K 영역들로 파티셔닝될 수 있다. 화소 블록들의 수, 사이즈, 위치 및 형상은 이미지 A 및 이미지 B 에서의 키포인트들의 식별에 기초할 수도 있다. 일부 실시형태들에서, 이미지들은 미리결정된 블록 수 및 구성에 따라 파티셔닝될 수 있다.
파티셔닝된 이미지 데이터 A 는 히스토그램 분석 모듈 A (744A) 에서 수신될 수 있고 파티셔닝된 이미지 데이터 B 는 히스토그램 분석 모듈 B (744B) 에서 수신될 수 있다. 별도의 모듈들로 도시되어 있지만, 일부 실시형태들에서, 히스토그램 분석 모듈 A 및 히스토그램 분석 모듈 B 는 단일 모듈로서 구현될 수 있다. 히스토그램 분석 모듈 A 및 B (744A, 744B) 는 하나 이상의 컬러들, 예를 들어 적색, 녹색 및 청색 각각에 대한 히스토그램을 결정하도록 동작할 수 있지만, 각각이 본 명세서에서 별도로 기재되지 않는다. 이미지들 (A 및 B) 의 각각에서 K 블록들의 각각의 블록에 대해, 히스토그램 분석 모듈 A 및 히스토그램 분석 모듈 B 는 하기에 나타낸 바와 같은 확률 질량 함수 (hi) 를 1 내지 K 인 i 값들에 대해 그리고 블록 N 당 엘리먼트들의 총 수에 의해 분할된 레벨 j 에 대한 값들의 수인 j = 0, 1..255 에 대해 계산할 수 있다.
따라서, hi 는 블록의 확률 질량 함수 (PMF) 이다. 이것은 영역에서 공간 구조 콘텐츠에 대한 정보를 부여하는 블록에서 발생하는 레벨 j 의 가능도를 표시한다. 다른 예시의 구현들에서, 히스토그램 분석의 다른 기법들이 사용될 수도 있다.
균등화 함수 (H1) 는 히스토그램 분석 모듈 A (744A) 에 의한 히스토그램 출력에 대한 균등화 모듈 A (745A) 에 의해 결정될 수 있다. 예를 들어, 균등화 모듈 A (745A) 는 다음 식에 따라 PMF 에서의 질량을 합산하여 누적 질량 함수 (CMF) 를 계산할 수 있다.
균등화 분석 모듈 B (745B) 은 히스토그램 분석 모듈 B (744B) 에 의해 출력된 히스토그램에 대해 유사한 함수 (H2) 를 계산할 수 있다. 균등화 분석 모듈 A (745A) 및 균등화 분석 모듈 B (745B) 의 각각은, 본 명세서에서 각각이 별도로 기재되지는 않았지만, 하나 이상의 컬러들, 예를 들어, 적색, 녹색 및 청색 각각에 대해 본 명세서에 기재된 바와 같은 동작을 결정하도록 동작할 수 있다. CMF 는 예를 들어 블록에서의 피처로 인해 공간 강도값들이 블록 내에서 어떻게 변화하는지를 표시할 수 있다.
강도 매칭 모듈 (746) 은 균등화 모듈들 A 및 B 에 의해 결정된 누적 질량 함수에 기초하여 이미지들 A 및 이미지들 B 의 강도들 사이의 공간 매핑을 수행할 수 있다. 일부 실시형태들에서, 균등화 함수는, 모든 블록들 및 모든 센서들에 대해 CMF들이 결정되면, 다음에 따라 적용될 수 있다.
이것은 이미지 B 에서의 강도값들을 이미지 A 에서의 강도값들에 매핑할 수 있어서 이미지 B 가 이미지 A 의 히스토그램과 아주 유사하거나 이에 매칭되는 히스토그램을 갖도록 변환된다. 그 결과, 영역들은 매우 유사하게 보일 수도 있으며 비대칭 센서들로 생성되었더라도 각각의 이미지에서의 대응 영역으로서 후속 프로세싱에 의해 식별될 수 있다. 결과의 강도 매칭된 이미지들 A 및 B 는 다음에 따라 표현될 수 있다.
다른 예시의 구현들에서, 강도 매칭의 다른 기법들이 사용될 수 있으며, 때때로 컬러 변환들 또는 강도 변환들로 지칭되고 있다. 일부 실시형태들에서, 이미지 B 의 화소들에 대한 새로운 강도값들을 결정하기 위해, 매칭 모듈은 쌍선형 (bilinear) 히스토그램 보간을 수행할 수 있다. 예를 들어, 각각의 화소에 대해, 로딩된 히스토그램으로부터 테이블 조회에 의해 4 개의 새로운 루마 (luma) 값들이 결정될 수 있다. 그 후 타겟 화소에 대한 새로운 루마값은 이웃한 히스토그램 정보로부터 균등화된 화소값을 생성하기 위해, 적절한 보간 기법, 예를 들어 쌍선형으로 결정될 수도 있다.
도 8 은 심리스 줌 기능을 구현하기 위해 공간 정렬 및 포토메트릭 정렬을 사용하여 융합된 이미지를 생성하기 위한 스테이지들을 도시하는 프로세스 플로우의 실시형태의 일 예를 도시하는 블록 다이어그램이다. 프로세스 플로우는 이미지를 개정하거나 그렇지 않으면 수정하기 위해 메모리에 저장되어 있는 미리결정된 교정 파라미터들을 사용하는 것을 포함할 수도 있으며, 교정 파라미터들은 미리보기 해상도에서 적용될 수도 있다. 프로세스는 또한, 예를 들어 프로세싱 (또는 이미지) 해상도에서 변환을 계산하는 것을 포함할 수도 있다. 공간 변환 (예를 들어, 시프트 및 스케일링) 이 계산될 수도 있다. 또한, 포토메트릭 변환 (예를 들어, 히스토그램 매칭) 이 계산될 수도 있다. 상태 (도 9 및 도 10 을 참조하여 더 논의됨) 에 의존하여, 변환은 최종 적용된 변환과 관련하여 계산될 수도 있다. 변환들 (공간 및 포토메트릭) 은 그 후 미리보기 해상도에서 적용될 수도 있고, 결과의 이미지(들)는 미리보기 이미지로서 출력 디스플레이에 제공될 수도 있다.
이미지 캡처 (840) 동안, 이미지 A (805) 및 이미지 B (810) 는 타겟 장면 (동시에 또는 상이한 시간에 취해진) 의 적어도 일부 오버랩하는 부분의, 또는 단일 타겟 장면 (예를 들어, 동시에 또는 상이한 시간에 취해진 단일 타겟 장면의 동일 또는 일부) 의 캡처된 이미지 정보를 묘사할 수도 있다. 이미지 A (805) 및 이미지 B (810) 의 각각은 이미지에 포함되는 화소들과 연관된 정보, 예를 들어 이미징 시스템에 의해 감지된 바와 같은 화소들의 강도 또는 휘도값 (또는 측정된 신호) 을 포함한다. 일부 실시형태들에서, 이미지 데이터 A 및/또는 B 에서의 화소는 또한 그와 연관된 화소에 관한 다른 정보, 예를 들어 컬러 또는 다른 이미지 특징에 관한 정보를 가질 수도 있다.
포토메트릭 정렬 (832) 을 위한 프로세스 및 기법들은 RGB 컬러 공간에서의 각각의 컬러, 적색, 녹색 및 청색에 대한 강도 균등화 기법들을 반복함으로써 이미지 A (805) 및 이미지 B (810) 의 컬러 공간들과 매칭하기 위해 컬러 이미지들 (예를 들어, RGB 컬러 공간으로) 에 대해 사용될 수도 있다. 동일한 강도 균등화 기법들은 예를 들어 CMYK 컬러 공간에서, 다른 컬러 공간들에서의 컬러에 대해 사용될 수도 있다.
이미지 A (805) 및 이미지 B (810) 는 상이한 조명으로 떨어진 거리에 배치된 비대칭 카메라들을 사용하여 생성될 수도 있어서, 이미지들에서 공간 오정렬 및 강도 변동들을 초래한다. 일부 실시형태들에서, 이미지 A (805) 및 이미지 B (810) 는 멀티스펙트럼 이미지를 구축하는데 또는 다른 멀티스펙트럼 이미징 어플리케이션을 위해 사용되는 상이한 파장들 (예를 들어, 적외선 (IR) 및 가시광) 을 갖는 방사선을 감지함으로써 형성될 수도 있다.
변환 프로세싱 (845) 에서, 캡처된 이미지 A (805) 및 이미지 B (810) 는 공간 정렬 및 강도 균등화를 사용하여 프로세싱되어 이미지 데이터에서의 정확한 매칭을 가능하게 할 수 있다. 일부 실시형태들에서, 영역 매칭이 사용될 수 있다. 예를 들어, 변환 프로세싱 (845) 은 키포인트들에 대한 특유의 피처들을 결정하도록 구성될 수 있는 (또는 명령들을 포함할 수 있는) 피처 검출을 포함할 수 있는 공간 정렬 모듈 (820) 을 구현할 수 있다. 이미지 A (805) 및 이미지 B (810) 각각으로부터 특유의 피처들이 추출될 수 있다. 이러한 피처들은 고도의 정확도로 매칭될 수 있는 이미지들의 포인트들에 대응할 수 있다. 예를 들어, 특유의 특징들은 주변 화소 영역들에 비교되는 사이즈, 형상, 치수, 휘도 또는 컬러를 포함하지만 이에 제한되지 않는 특성들에서 상이한 에지들 또는 라인들, 코너들, 융기들 또는 얼룩들의 존재에 의해 적어도 부분적으로 특징화될 수도 있다. 위에 논의된 바와 같이, 이러한 키포인트 피처들은 몇 가지 예를 들면 임의의 알려진 피처 검출 기법, 예를 들어, 제곱 차들의 합, 가우시안의 라플라시안 (LoG), 가우시안의 차이 (DoG) 및 헤시안의 결정요인 (DoH) 의 합에 의해 식별될 수 있다.
하지만, 기재된 실시형태들은 특유의 피처들이 결정될 수 있는 이미지 장면들에 제한되지 않는다. 예를 들어, 공간 정렬 (820) 은 핵심 피처들이 검출될 수 없거나 핵심 피처 이미지 데이터에 기초하여 공간 정렬을 수행하기에 정보가 불충분할 때 투영 (projection) 기반 정렬을 사용할 수 있다.
변환 프로세싱 스테이지 (845) 는 또한 이미지 A (805) 및 이미지 B (810) 를 매핑하고 정렬하는 투영 변환 함수를 추정하도록 구성되는 (또는 명령들을 포함하는) 피처 매칭을 구현할 수 있어서 2 개의 이미지들이 균등화된 뷰들을 갖는다.
또한, 변환 프로세싱 (845) 은 이미지 A (805) 및 이미지 B (810) 를 식별 된 키포인트들에 기초한 화소 블록을 포함하는 영역들로 파티셔닝할 수도 있는 포토메트릭 정렬 (832) 을 포함할 수도 있다. 영역 사이즈는 개개의 이미지 캡처 시스템의 광학 및 이미징 파라미터들로부터 결정될 수도 있다. 블록 사이즈는 로컬 변동들을 캡처하고 키포인트 피처들은 포괄하기에 충분히 작고 로컬 강도 확률 밀도 함수를 충분히 샘플링하기 충분히 클 수 있다. 일부 실시형태들에서, 이미지를 4, 8 및 16 블록들로 분할하는 것은 균등화된 블록들을 사용하는 영역 매칭의 양호한 성능을 초래할 수 있다. 일부 실시형태들은 키포인트 피처들에 기초하여 적응적으로 블록들을 사이징할 수 있고, 강도 균등화되고 적응적으로 사이징된 블록들을 사용하여 영역 매칭에서의 성능 이득들을 달성할 수도 있다. 예를 들어, 화소 블록 위치, 형상 및 사이즈는 식별된 키포인트들의 위치, 형상 및 사이즈에 기초하여 결정될 수 있다. 일부 입체적 정렬 어플리케이션들과 같은 일부 실시형태들에서, 화소 블록 사이즈는 디스패리티 값보다 크고 롤 오프 변동값보다 작은 범위 내에 있을 수 있다. 포토메트릭 정렬 (832) 은 또한, 동일한 피처를 묘사하는 화소 블록들의 쌍을 식별하기 위해 이미지 A (805) 및 이미지 B (810) 의 영역들 사이의 대응을 결정하기 위해 핵심 영역들을 결정하는 것을 포함할 수도 있다.
포토메트릭 정렬 모듈 (832) 은 예를 들어 히스토그램 분석 (예를 들어, 도 7 에서 상술한 바와 같음) 에 적어도 부분적으로 기초하여, 이미지 A 및 이미지 B 에서의 대응 영역들의 쌍에 대한 강도 균등화 함수를 생성할 수 있다. 일 실시형태에서, 로컬 강도를 균등화하기 위해, 각각의 블록의 확률 질량 함수 (PMF) 가 결정될 수 있고, 누적 질량 함수 (CMF) 를 계산하기 위해 PMF 에서의 질량이 합산될 수 있으며, CMF 가 제 1 이미지에서의 화소들로부터의 강도값들을 제 2 이미지의 화소들에 매칭하는데 사용될 수 있다. 따라서, 대응 영역들 사이의 강도 균등화는 영역들 내의 키포인트들의 강도 구조로서 고려된다.
이미지 융합 (850) 동안, 2 개 (또는 그 이상) 의 이미지들의 전부 또는 일부는 결합되거나 "융합" 되어 미리보기 이미지를 형성할 수도 있다. 이미지 융합 (850) 은 이미지 A 및 이미지 B 를 수신하고, 데이터 (833) 를 공간적으로 변환하고 그 이미지들을 서로에 대해 포토메트릭으로 정렬할 수도 있다. 입력으로서 수신된 줌 레벨에 기초하여, 미리보기 이미지가 생성되고 디스플레이될 수도 있다. 광각 카메라 및 텔레포토 카메라가 각각 이미지 A 및 이미지 B 를 생성하는데 사용되는 일부 실시형태들에서, 미리보기 이미지는 정렬된 이미지 A 및 B 의 전부 또는 일부를 사용하여 생성될 수도 있다. 예를 들어, 줌-아웃 (또는 거의 그렇게) 된 입력이 수신될 때, 이미지 A 로부터만 형성된 미리보기 이미지가 디스플레이될 수도 있다. 완전히 줌-인 (또는 거의 그렇게) 된 입력이 수신될 때, 이미지 B로부터만 형성된 미리보기 이미지가 디스플레이될 수도 있다. 다른 경우들에 대해, 이미지 A 의 일부는 미리보기 이미지의 일부 (예를 들어, 외부 부분) 을 형성하는데 사용될 수도 있고, 또한 이미지 B 의 일부 또는 전부는 미리보기 이미지의 일부를 형성하는데 사용될 수도 있다 (예를 들어, 이미지 A 의 일부에 의해 둘러싸일 수도 있는 중심 부분). 미리보기 이미지들은 더 작은 또는 더 큰 줌 레벨들을 기준으로 제공되기 때문에, 사용되는 이미지 A 및 B 의 부분들이 달라질 수도 있고, 하나의 이미지는 입력이 일 방향으로 줌 팩터를 표시할 때 약해질 수도 (또는 페이딩될 수도) 있으며, 다른 이미지는 입력이 다른 방향으로 줌 팩터를 표시할 때 약해질 수도 (또는 페이딩될 수도) 있다. 상태 머신 (835) 은 복수의 카메라들을 제어하는데 사용될 수도 있고, 다양한 줌 팩터들로서 사용되는 이미지 A 및 B 의 각각의 양은 입력 (예를 들어, 사용자 입력) 으로서 수신된다. 상태 머신의 일 예가 도 9 및 도 10 을 참조하여 설명된다.
상태 머신 모듈 (835) 은 공간 정렬 및 포토메트릭 정렬 모듈로부터 생성된 변환 파라미터들을 취출하고 그러한 파라미터들을 사용하여 이미지들을 융합하여 미리보기 이미지를 형성할 수도 있다. 상태 머신 (835) 은 또한, 사용자로부터의 줌 팩터 입력에 의존하여 역변환이 적용될 수 있도록 이미지 (예를 들어, 이미지 A (805) 및/또는 이미지 B (810)) 에 적용된 최종 변환을 저장하거나 취출하도록 구성될 수도 있다. 영역 매칭 모듈 (855) 은 이미지 융합 (850) 에서 사용될 수도 있다. 예를 들어, 이미지 A 및/또는 이미지 B 의 공간적 및 포토메트릭으로 정렬된 표현은 이미지 데이터 A 와 이미지 데이터 B 사이의 키포인트들에서 대응 화소들을 결정하는데 사용될 수 있다. 피처가 상이한 위치들, 배향들 및 스케일로 나타날 수 있기 때문에, 강도 매칭된 영역 데이터는 대응 키포인트들 사이의 정확한 기하학적 변형 (translation) 을 결정하는데 사용된다. 이러한 대응 키포인트들은 미리보기 이미지에서의 심리스로서 사용되어 이미지들을 함께 결합하여 미리보기 이미지를 형성할 수 있다.
도 9 는 예를 들어, 광각 카메라 (예를 들어, 도 3 의 제 1 카메라 (315)), 텔레포토 카메라 (예를 들어, 도 3 의 제 2 카메라 (316)) 를 포함하는 멀티 카메라 디바이스에서 심리스 줌 기능을 구현하는데 사용될 수 있는 상태 머신 (910) 의 일 실시형태의 예를 도시하는 다이어그램이다. 도 10 은 멀티 카메라 디바이스에서의 줌 기능 (y 축) 대 시간 (x 축) 의 일 예를 도시하는 그래프 (1000) 이다. 도 10 에 도시된 그래프 (1000) 는 도 9를 참조하여 기재된 상태 머신에 대응한다. 예를 들어, 상태들 1-6 은 도 10 에서 x 축을 따라 그리고 x 축 바로 위의 그래프의 상이한 부분들에, 그리고 도 9 에 도시된 원의 상단 및 내측에서 굵은 숫자들로 도시된다. F(z) 는 도 9 및 도 10 에 열거된 함수이고, 함수 F(z) 는 y 축을 따라 도시되고 줌 레벨을 나타낸다. 줌의 양 (또는 줌 레벨) 은 그래프 (1000) 에 대해 수직 방향으로 y 축을 따라 증가한다. 줌 레벨 F(z) 가 y 축을 따라 증가함에 따라, 디스플레이 상에 나타낸 미리보기 이미지의 타겟 장면은 더 가깝게 보인다. 이 예에서, 상태 머신 (900) 은 상태들 1-6 에 있을 수 있다.
도 9 를 참조하면, 이 예에서, 멀티 카메라 디바이스는 일부 기능에 의해 요구되거나, 사용자에 의해 요망되는 "줌" 의 레벨 (예를 들어, 사용자에 의한 입력) 을 표시하는 입력을 수신한다. 줌의 레벨은 함수 F(z) 로 표현된다. 상태 1 에서, F(z) 는 그래프 (1000)(도 10) 의 y 축에 도시된 임계 레벨인 제 1 임계값 (T1) 보다 작다 (도 10). 상태 1 에서, 제 1 임계값 (T1) 보다 작은 비교적 작은 줌 레벨에서, 광각 카메라는 온 그리고 텔레포토 카메라는 오프이다.
제 1 임계값 (T1) 과 제 2 임계값 (T2)(도 10) 사이의 줌 레벨 F(z) 을 표시하는 줌 커맨드가 수신되는 경우, 상태 머신은 상태 2 로 천이한다. 상태 2에서, 광각 카메라는 온이고 광각 카메라에 의해 생성된 이미지는 디스플레이에 제공된다. 일부 경우들에서, 디스플레이에 제공되는 이미지들은 디스플레이되기 전에 공간 및 포토메트릭 변환에 의해 수정된다. 상태 2 에서 텔레포토 카메라가 또한 온이다. 제 2 임계값 (T2) 보다 큰 줌 레벨 F(z) 을 표시하는 줌 커맨드가 수신되는 경우, 상태 머신은 상태 3 으로 천이한다. 상태 3 에서 광각 카메라는 턴 오프될 수도 있고, 텔레포토 카메라는 온 상태를 유지한다. 텔레포토 카메라의 출력은 광각 카메라의 디스플레이된 이미지로부터 텔레포토 카메라의 디스플레이된 이미지로의 천이를 용이하게 하기 위해 광각 카메라의 출력으로 페이딩될 수 있다. 일부 실시형태들에서, 광각 카메라로부터의 이미지들을 디스플레이하는 것으로부터 텔레포토 카메라들로부터의 이미지들로의 이러한 그리고 다른 천이들에서, 광각 카메라 이미지들은 텔레포토 카메라로부터의 이미지들과 매칭하기 위해 공간 변환 및 포토메트릭 변환을 통해 변환될 수도 있으며, 천이가 상태 3 에서 완료되고 광각 카메라가 턴 오프될 때, 텔레포토 카메라로부터의 이미지들만이 미리보기 이미지 디스플레이로 라우팅되며, 그러한 이미지들은 이들을 공간적으로 또는 포토메트릭으로 변환하지 않으면서 디스플레이될 수도 있다. 유사하게, 일부 예들에서, 텔레포토 카메라로부터의 이미지를 디스플레이하는 것으로부터 광각 카메라로부터의 이미지로의 천이들에서, 텔레포토 카메라 이미지는 광각 카메라로부터 이미지들과 매칭하기 위해 공간 변환 및 광도 변환을 통해 변환될 수도 있고, 천이가 완료되고 텔레포토 카메라가 턴 오프될 때 (예들 들어, 상태 1 에서), 광각 카메라로부터의 이미지들만이 미리보기 이미지 디스플레이로 라우팅되며, 이러한 이미지들은 이들을 공간적 또는 포토메트릭 변환하지 않으면서 디스플레이될 수도 있다. 일부 예들에서, 상태 머신은, 줌 레벨이 제 2 임계값 미만이고 시간 상수 (Cnt) 가 시간 상수 임계 (TC) 보다 작은 경우, 시스템 안정화를 돕고 제 2 임계값 (T1) 또는 제 2 임계값 (T2) 중 어느 하나 근방에서 줌 레벨의 작은 변화들에서 광각 카메라 및 텔레포토 카메라로부터의 디스플레이를 위한 제공 이미지들 사이의 발진을 방지하기 위해 상태 (예를 들어, 상태 3) 에서 유지된다. 일부 실시형태들에서, 시간 상수 (TC) 는 미리결정되고, 일부 실시형태들에서, 시간 상수 (TC) 는 예를 들어, 줌 레벨 입력의 변화 레이트에 기초하여 동적으로 결정된다. 일부 실시형태들에서, 시간 상수 임계 (TC) 는 미리보기 이미지 디스플레이 상에 나타난 이미지들의 프레임들의 수에 기초할 수 있다.
제 1 임계값 (T1) 및 제 2 임계값 (T2) 은 광각 카메라 및/또는 텔레포토 카메라의 시야에 기초하여 선택될 수도 있다. 예를 들어, 제 1 임계값 (T1) 은 광각 카메라의 배율 및 오토포커스 범위 내의 시야 범위를 포괄하도록 선택될 수도 있다. 제 1 임계값 (T1) 과 제 2 임계값 (T2) 사이의 줌 함수 F(z) 값들에 대해, 상태 머신은 텔레포토 카메라 (906) 가 턴 온되는 상태 2 에서 그로부터의 이미지들을 사용하기 위해 준비한다. 줌 커맨드 F(z) 가 제 2 임계값 (T2) 위로 증가하는 경우, 상태 머신은 광각 카메라가 턴 오프될 수도 있고 텔레포토 카메라의 출력이 미리보기 이미지로서 디스플레이에 제공될 수 있는 상태 4 로 천이한다. 상태 머신은 줌 커맨드가 제 2 임계값 (T2) 이상인 경우 상태 4 를 유지할 수 있다.
줌 커맨드 F(z) 가 제 1 임계값 (T1) 과 제 2 임계값 (T2) 사이에 있고, 상태 머신이 상태 3 에 있는 경우, 상태 머신은 광각 카메라가 광각 카메라로부터의 이미지들을 디스플레이하는 것을 표시할 수 있는 줌 커맨드 F(z) 를 위한 준비 시 턴 온될 수 있는, 상태 5 로 천이할 수 있어서, 광각 카메라 및 텔레포토 카메라의 양자 모두가 온이고 텔레포토 카메라는 "활성" (디스플레이 상에 미리보기 이미지로서 적어도 하나의 이미지를 제공함) 이다. 상태 머신이 상태 4 에 있고 줌 커맨드 F(z) 가 제 1 임계값 (T1) 과 제 2 임계값 (T2) 사이에 있는 경우, 상태 머신은 미리보기 이미지로서 디스플레이에 제공될 광각 카메라의 출력에 대한 필요성을 시그널링하는 줌 커맨드 F(z) 를 수신하기 위한 준비 시 턴 온될 수도 있다. 하지만, 줌 커맨드 F(z) 가 제 2 임계값 (T2) 이상인 경우, 상태 머신은 텔레포토 카메라가 온 그리고 광각 카메라가 턴 오프되는 상태 4 로 천이한다.
상태 머신이 상태 5 에 있고 줌 커맨드 F(z) 가 제 1 임계값 (T1) 보다 작을 때, 상태 머신은 상태 6 으로 천이할 수 있고, 여기서 텔레포토 카메라의 출력은 페이드 아웃되고 광각 카메라의 출력은 페이드 인되며, 텔레포토 카메라는 절전을 위해 턴 오프될 수도 있다. 줌 커맨드 F(z) 가 제 1 임계값 (T1) 과 제 2 임계값 (T2) 사이에 있고 상태 머신이 상태 6 에 있는 경우, 상태 머신은 상태 2 로 천이할 수 있고, 여기서 광각 카메라 및 텔레포토 카메라 양자 모두는 턴 온된다. 상태 머신이 상태 6 에 있고 줌 커맨드 F(z) 가 제 1 임계값 (T1) 미만이고 시간 상수 (CnT) 가 시간 상수 임계 (TC) 미만인 경우, 상태 머신은 상태 6 을 유지할 수 있으며, 여기서 광각 카메라는 온이고, 디스플레이 상의 미리보기 이미지에서 알 수 있는 바와 같이 텔레포토 카메라의 출력은 페이드 아웃되며, 광각 카메라의 출력은 페이드 인된다. 텔레포토 카메라는 후속하여 절전을 위해 턴 오프될 수도 있다. 상태 머신이 상태 6 에 있고 줌 커맨드 F(z) 가 제 1 임계값 (T1) 보다 작고 시간 상수 (Cnt) 가 시간 상수 임계 (TC) 보다 큰 경우, 상태 머신은 상태 1 로 천이할 수 있으며, 여기서 광각 카메라는 온이고 텔레포토 카메라는 오프이며, 광각 카메라의 출력은 디스플레이에 미리보기 이미지로서 제공될 수 있다.
도 11 은 제 1 및 제 2 비대칭 카메라에 의해 생성될 수도 있는 이미지들을 디스플레이하기 위해 멀티 카메라 디바이스에서 심리스 줌 기능을 위한 프로세스의 일 실시형태의 일 예를 도시한다. 블록 (1105) 에서, 프로세서는 메모리 컴포넌트로부터 제 1 이미지를 취출하며, 제 1 이미지는 시야 (FOV) 를 갖는 제 1 카메라에 의해 캡처된다. 이것은 예를 들어, 이미지 프로세서 (320) 및 메모리 컴포넌트 (310) 에 의해 수행될 수도 있다. 일부 실시형태들에서, 제 1 카메라는 광각 카메라일 수도 있다.
블록 (1105) 에서, 프로세스 (1100) 는 또한, 프로세서를 사용하여, 메모리 컴포넌트로부터 제 2 이미지를 취출하며, 제 2 이미지는 제 1 카메라의 시야보다 작은 FOV 를 갖는 제 2 카메라에 의해 캡처되고, 제 1 카메라 및 제 2 카메라는 제 2 카메라의 FOV 에서의 타겟 장면이 또한 제 1 카메라의 FOV 에도 있도록 포지셔닝된다. 일부 실시형태들에서, 제 2 카메라는 텔레포토 카메라일 수도 있다.
블록 (1110) 에서, 프로세스 (1100) 는 프로세서를 사용하여 공간 변환을 결정한다. 공간 변환은 제 1 이미지의 화소들 및 제 2 이미지의 대응 화소들을 공간적으로 정렬하기 위한 정보를 포함한다. 프로세스 (1100) 는 그 후 메모리 컴포넌트에 공간 변환을 저장한다.
블록 (1115) 에서, 프로세스 (1100) 는 프로세서에 의해 포토메트릭 변환을 결정한다. 포토메트릭 변환은 제 1 이미지의 화소들과 제 2 이미지의 대응 화소들 사이의 컬러 및 강도에서의 차이 정보를 포함하며, 메모리 컴포넌트에 포토메트릭 변환을 저장한다.
블록 (1120) 에서, 프로세스 (1100) 는 다음 미리보기 줌 레벨에 대응하는 입력을 수신한다. 입력은 사용자로부터 입력을 수신하고 사용자 입력을 나타내는 신호를 제공하도록 구성된 멀티 카메라 디바이스 상에 컴포넌트에 의해 제공될 수도 있다.
블록 (1125) 에서, 프로세스 (1100) 는 메모리로부터 공간 변환 정보 및 포토메트릭 변환 정보를 취출하고, 공간 변환 정보 및 포토메트릭 변환 정보에 의해 제 1 및 제 2 카메라들로부터 취출된 적어도 하나의 이미지를 수정한다.
블록 (1130) 에서, 프로세스 (1100) 는 다음 미리보기 줌 레벨에 기초하여 제 1 이미지 또는 제 2 이미지 중 어느 하나의 일부 및 적어도 하나의 수정된 이미지의 적어도 일부를 포함하는 미리보기 이미지를 디스플레이 상에 제공한다.
구현 시스템들 및 용어
본 명세서에 개시된 구현들은 영역 매칭 기법들에서 로컬 강도 균등화를 위한 시스템들, 방법들 및 장치를 제공한다. 당업자는 이들 실시형태들은 하드웨어, 소프트웨어, 펌웨어, 또는 그 임의의 조합일 수도 있음을 인식할 것이다.
일부 실시형태들에서, 위에 논의된 회로들, 프로세스들, 및 시스템들은 무선 통신 디바이스에서 활용될 수도 있다. 무선 통신 디바이스는 다른 전자 디바이스들과 무선으로 통신하는데 사용된 일종의 전자 디바이스일 수도 있다. 무선 통신 디바이스들의 예들은 셀룰러 전화기들, 스마트 폰들, 개인용 디지털 보조기들 (PDA들), e-리더들, 게이밍 시스템들, 뮤직 플레이어들, 넷북들, 무선 모뎀들, 랩탑 컴퓨터들, 테블릿 디바이스들 등을 포함한다.
무선 통신 시스템은 하나 이상의 이미지 센서들, 하나 이상의 신호 프로세서들, 및 위에 논의된 로컬 강도 균등화 기법들을 실행하기 위한 명령들 및 모듈들을 포함하는 메모리를 포함할 수도 있다. 디바이스는 또한, 데이터, 메모리로부터의 프로세서 로딩 명령들 및/또는 데이터, 하나 이상의 통신 인터페이스들, 하나 이상의 입력 디바이스들, 하나 이상의 출력 디바이스들, 예컨대 디스플레이 디바이스 및 전원/인터페이스를 가질 수도 있다. 무선 통신 디바이스는 부가적으로 송신기 및 수신기를 포함할 수도 있다. 송신기 및 수신기는 공동으로 트랜시버로 지칭될 수도 있다. 트랜시버는 무선 신호들을 송신하고 및/또는 수신하기 위해 하나 이상의 안테나들에 커플링될 수도 있다.
무선 통신 디바이스는 또 다른 전자 디바이스 (예를 들어, 기지국) 에 무선으로 접속할 수도 있다. 무선 통신 디바이스는 대안으로 모바일 디바이스, 이동국, 가입자국, 사용자 장비 (UE), 원격국, 액세스 단말기, 모바일 단말기, 단말기, 사용자 단말기, 가입자 유닛 등으로 지칭될 수도 있다. 무선 통신 디바이스들의 예들은 랩탑 또는 데스크탑 컴퓨터들, 셀룰러 폰들, 스마트 폰들, 무선 모뎀들, e-리더들, 테블릿 디바이스들, 게이밍 시스템들 등을 포함한다. 무선 통신 디바이스들은 제 3 세대 파트너쉽 프로젝트 (3GPP) 와 같은 하나 이상의 산업 표준들에 따라 동작할 수도 있다. 따라서, 일반적인 용어 "무선 통신 디바이스" 는 산업 표준들 (예를 들어, 액세스 단말기, 사용자 장비 (UE), 원격 단말기 등) 에 따라 명명법을 변화시키는 것으로 기재된 무선 통신 디바이스들을 포함할 수도 있다.
본 명세서에 기재된 기능들은 프로세서 판독가능 또는 컴퓨터 판독가능 매체 상에 하나 이상의 명령들로서 저장될 수도 있다. 용어 "컴퓨터 판독가능 매체" 는 컴퓨터 또는 프로세서에 의해 액세스될 수 있는 임의의 이용가능한 매체를 지칭한다. 제한이 아닌 예시로서, 그러한 매체들은 RAM, ROM, EEPROM, 플래시 메모리, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 컴퓨터에 의해 액세스될 수 있고 명령들 또는 데이터 명령들의 형태로 원하는 프로그램 코드를 저장하는데 사용될 수 있는 임의의 다른 매체를 포함할 수도 있다. 본원에서 사용된 바와 같이 디스크 (disk) 와 디스크 (disc) 는, 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크, 및 블루레이 디스크를 포함하며, 여기서 디스크 (disk) 들은 통상 자기적으로 데이터를 재생하는 반면, 디스크(disc) 들은 레이저들을 이용하여 광학적으로 데이터를 재생한다. 컴퓨터 판독가능 매체는 유형이고 비일시적일 수도 있음에 유의해야 한다. 용어 "컴퓨터 프로그램 제품" 은 컴퓨팅 디바이스 또는 프로세서에 의해 실행, 프로세싱, 또는 컴퓨팅될 수도 있는 코드 또는 명령들 (예를 들어, "프로그램") 과 조합하는 컴퓨팅 디바이스 또는 프로세서를 지칭한다. 본원에서 사용된 바와 같은 용어 "코드" 는 컴퓨팅 디바이스나 프로세서에 의해 실행될 수 있는 소프트웨어, 명령들, 코드, 또는 데이터를 지칭할 수도 있다.
소프트웨어 또는 명령들은 또한 송신 매체를 통해 송신될 수도 있다. 예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 송신되는면, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의 내에 포함된다.
본원에 개시된 방법들은 설명된 방법을 달성하기 위한 하나 이상의 단계들 또는 액션들을 포함한다. 방법 단계들 및/또는 액션들은 청구항들의 범위를 벗어나지 않으면서 서로 상호 교환될 수도 있다. 다시 말해, 설명된 방법들의 적절한 동작을 위해 단계들 또는 액션들의 특정한 순서가 요구되지 않는 한, 특정한 단계들 및/또는 액션들의 순서 및/또는 이용은 청구항들의 범위를 벗어나지 않으면서 수정될 수도 있다.
본 명세서에서 사용된 바와 같이 용어들 "커플", "커플링", "커플링된" 또는 단어 커플의 다른 변형들은 간접 접속 또는 직접 접속 중 어느 하나를 나타낼 수도 있다. 예를 들어, 제 1 컴포넌트가 제 2 컴포넌트에 "커플링된" 경우, 제 1 컴포넌트는 제 2 컴포넌트에 간접적으로 접속되거나 제 2 컴포넌트에 직접적으로 접속될 수도 있다. 본 명세서에서 사용된 바와 같이, 용어 "복수" 는 2 이상을 지시한다. 예를 들어, 복수의 컴포넌트들은 2 이상의 컴포넌트들을 나타낸다.
용어 "결정하는 것" 은 매우 다양한 액션들을 망라하므로, "결정하는 것" 은 산출하는 것, 계산하는 것, 프로세싱하는 것, 도출하는 것, 조사하는 것, 검색하는 것 (예를 들어, 테이블, 데이터베이스, 또는 다른 데이터 구조에서 검색하는 것), 확인하는 것 등을 포함할 수 있다. 또한, "결정하는 것" 은 수신하는 것 (예를 들어, 정보를 수신하는 것), 액세스하는 것 (예를 들어, 메모리에서의 데이터에 액세스하는 것) 등을 포함할 수도 있다. 또한, "결정하는 것" 은 해결하는 것, 선택하는 것, 선정하는 것, 확립하는 것 등을 포함할 수 있다.
구절 "에 기초하는" 은 달리 명백히 명시되지 않는 한 "에만 기초하는" 을 의미하지 않는다. 다시 말해, 구절 "에 기초하는" 은 "에만 기초하는" 및 "에 적어도 기초하는" 양자 모두를 설명한다.
상기 설명에서, 예들에 대한 완전한 이해를 제공하기 위해 특정 세부사항들이 주어진다. 그러나, 예들은 이러한 특정 세부사항들이 없이 실시될 수도 있음이 당업자에 의해 이해될 것이다. 예를 들어, 불필요한 세부사항으로 예들을 모호하게 하지 않기 위해 전기 컴포넌트들/디바이스들은 블록 다이어그램들로 보여질 수도 있다. 다른 경우들에서, 이러한 컴포넌트들, 다른 구조들, 및 기법들은 예들을 추가로 설명하기 위해 상세히 도시될 수도 있다.
헤딩들이 다양한 섹션들을 위치시키는 것을 돕고 참조를 위해 본 명세서에 포함된다. 이들 헤딩들은 그에 대해 기재된 개념들의 범위를 제한하도록 의도되지 않는다. 그러한 개념들은 전체 명세서를 통해 적용가능성을 가질 수도 있다.
예들은 프로세스로서 설명될 수도 있으며, 프로세스는 플로우차트, 플로우 다이어그램, 유한 상태 다이어그램, 구조 다이어그램, 또는 블록 다이어그램으로 도시되는 것이 주목된다. 플로우차트가 동작들을 순차적인 프로세스로 설명할 수도 있지만, 동작들 중 많은 동작들은 병렬로, 또는 동시에 수행될 수 있고, 프로세스는 반복될 수 있다. 또한, 동작들의 순서는 재배열될 수도 있다. 프로세스는 프로세스의 동작들이 완료되는 경우 종료된다. 프로세스는 방법, 기능, 절차, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 소프트웨어 기능에 대응하면, 그 종료는 호출 기능 또는 메인 기능으로의 그 기능의 리턴에 대응한다.
개시된 실시형태들의 상기 설명들은 임의의 당업자가 본 발명을 실시하거나 이용하는 것을 가능하게 하도록 하기 위해 제공된다. 이들 구현들에 대한 다양한 수정예들이 당업자에게는 자명할 것이고, 본원에서 정의된 일반적인 원리들은 본 청구항의 사상 또는 범위를 벗어나지 않으면서 다른 구현들에 적용될 수도 있다. 따라서, 본 발명은 본원에서 보여진 예시적인 실시예들로 제한되도록 의도된 것은 아니며 본원의 개시된 원칙들과 신규의 특징들과 일치하는 최광의 범위를 제공하기 위한 것이다.
Claims (30)
- 멀티 카메라 디바이스로서,
시야 (field-of-view; FOV) 를 갖는 제 1 카메라로서, 상기 제 1 카메라는 하나 이상의 제 1 이미지들을 생성하도록 구성된, 상기 제 1 카메라;
상기 제 1 카메라의 FOV 보다 작은 FOV 를 갖는 제 2 카메라로서, 상기 제 2 카메라는 하나 이상의 제 2 이미지들을 생성하도록 구성되고, 상기 제 1 카메라 및 상기 제 2 카메라는 상기 제 2 카메라의 FOV 에서의 타겟 장면이 또한 상기 제 1 카메라의 FOV 에도 있도록 포지셔닝되는, 상기 제 2 카메라;
디스플레이;
메모리 컴포넌트; 및
상기 메모리 컴포넌트에 커플링된 프로세서를 포함하고,
상기 프로세서는,
상기 메모리 컴포넌트로부터 제 1 이미지를 취출하고;
상기 메모리 컴포넌트로부터 제 2 이미지를 취출하고;
공간 변환을 결정하는 것으로서, 상기 공간 변환은 상기 제 1 이미지의 화소들 및 상기 제 2 이미지의 대응 화소들을 공간적으로 정렬하는 정보를 포함하는, 상기 공간 변환을 결정하고, 상기 메모리 컴포넌트에 상기 공간 변환을 저장하며;
포토메트릭 (photometric) 변환을 결정하는 것으로서, 상기 포토메트릭 변환은 상기 제 1 이미지의 화소들과 상기 제 2 이미지의 대응 화소들 사이의 컬러 및 강도에서의 차이 정보를 포함하는, 상기 포토메트릭 변환을 결정하고, 상기 메모리 컴포넌트에 상기 포토메트릭 변환을 저장하며;
다음 미리보기 줌 레벨에 대응하는 입력을 수신하고;
메모리로부터 상기 공간 변환 및 상기 포토메트릭 변환의 정보를 취출하고;
상기 다음 미리보기 줌 레벨에 기초하여 공간 변환 정보 및 포토메트릭 변환 정보를 사용하여 취출된 상기 제 1 및 제 2 이미지들 중 적어도 하나를 수정하며; 그리고
상기 디스플레이 상에 미리보기 이미지를 제공하는 것으로서, 디스플레이 이미지는 상기 제 1 카메라로부터의 이미지, 상기 제 2 카메라로부터의 이미지, 또는 상기 다음 미리보기 줌 레벨에 기초한, 상기 제 1 카메라 또는 상기 제 2 카메라로부터의 이미지의 일부 및 수정된 상기 이미지의 일부를 포함하는 이미지를 포함하는, 상기 미리보기 이미지를 제공하도록 구성된, 멀티 카메라 디바이스. - 제 1 항에 있어서,
상기 제 1 카메라는 57 도 이상의 시야각을 갖도록 상기 제 1 카메라에 대해 구성된 광학 및 센서 어레이를 포함하고; 그리고
상기 제 2 카메라는 50 도 미만의 시야각을 갖도록 상기 제 2 카메라에 대해 구성된 광학 및 센서 어레이를 포함하는, 멀티 카메라 디바이스. - 제 1 항에 있어서,
상기 메모리 컴포넌트는 상기 제 1 및 제 2 카메라의 상대적 정렬에 관하여 미리결정된 정렬 정보를 저장하도록 구성되고, 그리고
상기 프로세서는 또한, 상기 메모리 컴포넌트로부터 상기 미리결정된 정렬 정보를 취출하고, 상기 미리결정된 정렬 정보를 사용하여 상기 공간 변환을 결정하도록 구성되는, 멀티 카메라 디바이스. - 제 1 항에 있어서,
상기 제 1 카메라는 광각 렌즈를 포함하고 상기 제 2 카메라는 텔레포토 렌즈를 포함하는, 멀티 카메라 디바이스. - 제 1 항에 있어서,
적어도 하나의 상기 수정된 이미지는 상기 제 1 카메라로부터의 이미지이고, 상기 미리보기 이미지는 상기 제 2 카메라로부터의 이미지의 일부를 포함하는, 멀티 카메라 디바이스. - 제 5 항에 있어서,
수신된 상기 입력은 상기 디스플레이 상에 현재 보여지고 있는 이미지에 대해 줌-인되는 미리보기 이미지를 디스플레이하는 것을 표시하는, 멀티 카메라 디바이스. - 제 1 항에 있어서,
적어도 하나의 상기 수정된 이미지는 상기 제 2 카메라로부터의 이미지이고 상기 미리보기 이미지는 상기 제 1 카메라로부터의 이미지의 일부를 포함하는, 멀티 카메라 디바이스. - 제 7 항에 있어서,
수신된 상기 입력은 상기 디스플레이 상에 현재 보여지고 있는 이미지에 대해 줌-아웃되는 미리보기 이미지를 디스플레이하는 것을 표시하는, 멀티 카메라 디바이스. - 제 1 항에 있어서,
상기 프로세서는 또한, 상기 미리보기 줌 레벨에 기초하여 다수의 활성화 상태들 중 하나에 있도록 상기 제 1 카메라 및 상기 제 2 카메라를 제어하도록 구성되고, 상기 활성화 상태들은 상기 제 1 카메라 및 상기 제 2 카메라의 각각이 온 또는 오프인지 여부를 결정하며, 그리고 상기 제 1 카메라 및 상기 제 2 카메라로부터의 이미지들이 상기 미리보기 이미지에서 사용되는지를 결정하는, 멀티 카메라 디바이스. - 제 9 항에 있어서,
상기 프로세서는 또한, 상기 다음 미리보기 줌 레벨을 줌 레벨 제 1 임계값 (T1) 및 줌 레벨 제 2 임계값 (T2) 과 비교하는 것으로서, 줌 레벨 제 2 임계값 (T2) 은 줌 레벨 제 1 임계값 (T1) 보다 큰 줌-인 레벨을 표시하는, 상기 다음 미리보기 줌 레벨을 줌 레벨 제 1 임계값 (T1) 및 줌 레벨 제 2 임계값 (T2) 과 비교하고, 그리고 상기 제 1 카메라 및 상기 제 2 카메라를 상기 다음 미리보기 줌 레벨이 제 1 임계값 (T1) 미만일 때 상기 제 1 카메라 온 및 상기 제 2 카메라 오프인 제 1 활성화 상태에 배치하고, 상기 다음 미리보기 줌 레벨이 제 2 임계값 (T2) 이상일 때 제 2 활성화 상태에 상기 제 1 카메라 오프 및 상기 제 2 카메라 온을 배치하며, 그리고 상기 다음 미리보기 줌 레벨이 제 1 임계값 (T1) 과 제 2 임계값 (T2) 사이에 있을 때 상기 제 1 카메라 및 상기 제 2 카메라가 온인 제 3 활성화 상태에 상기 제 1 카메라 온 및 상기 제 2 카메라를 배치하도록 구성되는, 멀티 카메라 디바이스. - 제 10 항에 있어서,
상기 미리보기 이미지는,
상기 미리보기 줌 레벨이 제 1 임계값 (T1) 보다 작을 때 상기 제 1 카메라로부터의 적어도 하나의 이미지,
상기 미리보기 줌 레벨이 임계값 (T2) 보다 클 때 상기 제 2 카메라로부터의 적어도 하나의 이미지, 및
상기 미리보기 줌 레벨이 제 1 임계값 (T1) 과 제 2 임계값 (T2) 사이에 있을 때 상기 제 1 카메라 또는 상기 제 2 카메라로부터의 이미지의 일부 및 상기 수정된 이미지의 일부
에 기초하는, 멀티 카메라 디바이스. - 제 1 항에 있어서,
상기 프로세서는 또한, 상기 다음 미리보기 줌 레벨이 제 1 임계값 (T1) 미만의 줌 레벨을 나타내고 상기 미리보기 이미지가 상기 제 1 카메라로부터의 이미지만을 포함할 때 상기 제 2 카메라에 대한 전력을 감소시키고, 그리고 상기 다음 미리보기 줌 레벨이 제 2 임계값 (T2) 이상의 줌 레벨을 나타내고 상기 미리보기 이미지가 상기 제 2 카메라로부터의 이미지만을 포함할 때 상기 제 1 카메라에 대한 전력을 감소시키도록 구성되는, 멀티 카메라 디바이스. - 미리보기 이미지를 디스플레이하는 방법으로서,
프로세서에 의해 메모리 컴포넌트로부터 제 1 이미지를 취출하는 단계로서, 상기 제 1 이미지는 시야 (FOV) 를 갖는 제 1 카메라에 의해 캡처되는, 상기 제 1 이미지를 취출하는 단계;
상기 프로세서에 의해 상기 메모리 컴포넌트로부터 제 2 이미지를 취출하는 단계로서, 상기 제 2 이미지는 상기 제 1 카메라의 FOV 보다 작은 FOV 를 갖는 제 2 카메라에 의해 캡처되고, 상기 제 1 카메라 및 상기 제 2 카메라는 상기 제 2 카메라의 FOV 에서의 타겟 장면이 또한 상기 제 1 카메라의 FOV 에도 있도록 포지셔닝되는, 상기 제 2 이미지를 취출하는 단계;
상기 프로세서에 의해 공간 변환을 결정하는 것으로서, 상기 공간 변환은 상기 제 1 이미지의 화소들 및 상기 제 2 이미지의 대응 화소들을 공간적으로 정렬하는 정보를 포함하는, 상기 공간 변환을 결정하고, 상기 메모리 컴포넌트에 상기 공간 변환을 저장하는 단계;
상기 프로세서에 의해 포토메트릭 변환을 결정하는 것으로서, 상기 포토메트릭 변환은 상기 제 1 이미지의 화소들과 상기 제 2 이미지의 대응 화소들 사이의 컬러 및 강도에서의 차이 정보를 포함하는, 상기 포토메트릭 변환을 결정하고, 상기 메모리 컴포넌트에 상기 포토메트릭 변환을 저장하는 단계;
다음 미리보기 줌 레벨에 대응하는 입력을 수신하는 단계;
메모리로부터 공간 변환 정보 및 포토메트릭 변환 정보를 취출하는 단계;
상기 공간 변환 정보 및 상기 포토메트릭 변환 정보에 의해 상기 제 1 및 제 2 카메라들로부터 취출된 적어도 하나의 이미지를 수정하는 단계; 및
상기 다음 미리보기 줌 레벨에 기초한 상기 제 1 이미지 또는 상기 제 2 이미지 중 어느 하나의 일부 및 적어도 하나의 수정된 이미지의 적어도 일부를 포함하는 미리보기 이미지를 디스플레이 상에 제공하는 단계를 포함하는, 미리보기 이미지를 디스플레이하는 방법. - 제 13 항에 있어서,
상기 제 1 카메라는 57 도 이상의 시야각을 갖도록 상기 제 1 카메라에 대해 구성된 광학 및 센서 어레이를 포함하고; 그리고 상기 제 2 카메라는 50 도 미만의 시야각을 갖도록 상기 제 2 카메라에 대해 구성된 광학 및 센서 어레이를 포함하는, 미리보기 이미지를 디스플레이하는 방법. - 제 13 항에 있어서,
상기 메모리 컴포넌트는 상기 제 1 및 제 2 카메라의 상대적 정렬에 관하여 미리결정된 정렬 정보를 저장하도록 구성되고, 그리고
상기 프로세서는 또한, 상기 메모리 컴포넌트로부터 상기 미리결정된 정렬 정보를 취출하고, 상기 미리결정된 정렬 정보를 사용하여 상기 공간 변환을 결정하도록 구성되는, 미리보기 이미지를 디스플레이하는 방법. - 제 13 항에 있어서,
상기 제 1 카메라는 광각 렌즈를 포함하고 상기 제 2 카메라는 텔레포토 렌즈를 포함하는, 미리보기 이미지를 디스플레이하는 방법. - 제 13 항에 있어서,
상기 적어도 하나의 수정된 이미지는 상기 제 1 카메라로부터의 이미지이고, 상기 미리보기 이미지는 상기 제 2 카메라로부터의 이미지의 일부를 포함하며, 그리고 수신된 상기 입력은 상기 디스플레이 상에 현재 보여지고 있는 이미지에 대해 줌-인되는 미리보기 이미지를 디스플레이하는 것을 표시하는, 미리보기 이미지를 디스플레이하는 방법. - 제 13 항에 있어서,
상기 적어도 하나의 수정된 이미지는 상기 제 2 카메라로부터의 이미지이고 상기 미리보기 이미지는 상기 제 1 카메라로부터의 이미지의 일부를 포함하며, 그리고 수신된 상기 입력은 상기 디스플레이 상에 현재 보여지고 있는 이미지에 대해 줌-아웃되는 미리보기 이미지를 디스플레이하는 것을 표시하는, 미리보기 이미지를 디스플레이하는 방법. - 제 13 항에 있어서,
상기 프로세서에 의해 상기 다음 미리보기 줌 레벨에 기초하여 상기 제 1 카메라 및 상기 제 2 카메라의 활성화 상태를 제어하는 단계를 더 포함하고, 상기 활성화 상태는 상기 제 1 카메라 및 상기 제 2 카메라의 각각이 온 또는 오프인지 여부를 결정하며, 그리고 상기 제 1 카메라 및 상기 제 2 카메라로부터의 이미지들이 상기 미리보기 이미지에서 사용되는지를 결정하는, 미리보기 이미지를 디스플레이하는 방법. - 제 13 항에 있어서,
상기 프로세서에 의해, 상기 다음 미리보기 줌 레벨을 줌 레벨 제 1 임계값 (T1) 및 줌 레벨 제 2 임계값 (T2) 과 비교하는 단계로서, 줌 레벨 제 2 임계값 (T2) 은 줌 레벨 제 1 임계값 (T1) 보다 큰 줌-인 레벨을 표시하는, 상기 다음 미리보기 줌 레벨을 줌 레벨 제 1 임계값 (T1) 및 줌 레벨 제 2 임계값 (T2) 과 비교하는 단계,
상기 제 1 카메라 및 상기 제 2 카메라를, 상기 다음 미리보기 줌 레벨이 제 1 임계값 (T1) 미만일 때 상기 제 1 카메라 온 및 상기 제 2 카메라 오프인 제 1 활성화 상태에 배치하는 단계,
상기 다음 미리보기 줌 레벨이 제 2 임계값 (T2) 이상일 때 제 2 활성화 상태에 상기 제 1 카메라 오프 및 상기 제 2 카메라 온을 배치하는 단계, 및
상기 다음 미리보기 줌 레벨이 제 1 임계값 (T1) 과 제 2 임계값 (T2) 사이에 있을 때 상기 제 1 카메라 및 상기 제 2 카메라가 온인 제 3 활성화 상태에 상기 제 1 카메라 온 및 상기 제 2 카메라를 배치하는 단계를 더 포함하는, 미리보기 이미지를 디스플레이하는 방법. - 제 13 항에 있어서,
상기 미리보기 이미지를 디스플레이 상에 제공하는 단계는,
상기 다음 미리보기 줌 레벨이 제 1 임계값 (T1) 보다 작을 때 상기 제 1 카메라로부터의 적어도 하나의 이미지로부터 형성된 미리보기 이미지,
상기 다음 미리보기 줌 레벨이 임계값 (T2) 보다 클 때 상기 제 2 카메라로부터의 적어도 하나의 이미지, 및
상기 다음 미리보기 줌 레벨이 제 1 임계값 (T1) 과 제 2 임계값 (T2) 사이에 있을 때 상기 제 1 카메라 또는 상기 제 2 카메라로부터의 이미지의 일부 및 상기 수정된 이미지의 일부
를 제공하는 단계를 포함하는, 미리보기 이미지를 디스플레이하는 방법. - 제 13 항에 있어서,
상기 프로세서에 의해, 상기 다음 미리보기 줌 레벨이 제 1 임계값 (T1) 미만의 줌 레벨을 나타내고 상기 미리보기 이미지가 상기 제 1 카메라로부터의 이미지만을 포함할 때 상기 제 2 카메라에 대한 전력을 감소시키는 단계; 및 상기 다음 미리보기 줌 레벨이 제 2 임계값 (T2) 이상의 줌 레벨을 나타내고 상기 미리보기 이미지가 상기 제 2 카메라로부터의 이미지만을 포함할 때 상기 제 1 카메라에 대한 전력을 감소시키는 단계를 더 포함하는, 미리보기 이미지를 디스플레이하는 방법. - 제 13 항에 있어서,
상기 다음 미리보기 줌 레벨에 기초하여 다수의 활성화 상태들 중 하나에 있도록 상기 제 1 카메라 및 상기 제 2 카메라를 제어하는 단계를 더 포함하고, 상기 활성화 상태들은 상기 제 1 카메라 및 상기 제 2 카메라의 각각이 온 또는 오프인지 여부를 결정하며, 그리고 상기 제 1 카메라 및 상기 제 2 카메라로부터의 이미지들이 상기 미리보기 이미지에서 사용하기 위해 출력되고 있는지를 결정하는, 미리보기 이미지를 디스플레이하는 방법. - 제 13 항에 있어서,
표시된 상기 다음 미리보기 줌 레벨을 제 1 임계값 (T1) 및 제 1 임계 레벨 (T1) 보다 큰 줌-인 레벨을 표시하는 제 2 임계 레벨 (T2) 를 갖는 줌 레벨들의 범위와 비교하는 단계;
상기 다음 미리보기 줌 레벨이 제 1 임계값 (T1) 보다 작은 제 1 활성화 상태에서 상기 제 1 카메라는 온이도록 그리고 상기 제 2 카메라는 오프이도록 제어하는 단계;
상기 다음 미리보기 줌 레벨이 제 2 임계 레벨 (T2) 이상일 때 제 2 활성화 상태에서 상기 제 1 카메라는 오프이도록 그리고 상기 제 2 카메라는 온이도록 제어하는 단계; 및
상기 다음 미리보기 줌 레벨이 제 1 임계 레벨 (T1) 및 제 2 임계 레벨 (T2) 사이에 있을 때 제 3 활성화 상태에서 상기 제 1 카메라 및 상기 제 2 카메라 양자 모두가 온이도록 제어하는 단계를 더 포함하는, 미리보기 이미지를 디스플레이하는 방법. - 제 24 항에 있어서,
상기 프로세서에 의해 상기 다음 미리보기 줌 레벨이 제 1 임계값 (T1) 보다 작을 때 상기 제 1 카메라로부터의 적어도 하나의 이미지에 기초하여 상기 디스플레이에 미리보기 이미지를 제공하는 단계;
상기 프로세서에 의해 상기 다음 미리보기 줌 레벨이 임계값 (T2) 보다 클 때 상기 제 2 카메라로부터의 적어도 하나의 이미지에 기초하여 미리보기 이미지를 제공하는 단계; 및
상기 다음 미리보기 줌 레벨이 제 1 임계값 (T1) 과 제 2 임계값 (T2) 사이에 있을 때 상기 제 1 카메라로부터의 적어도 하나의 이미지 및 상기 제 2 카메라로부터의 적어도 하나의 이미지에 기초하여 미리보기 이미지를 제공하는 단계를 더 포함하는, 미리보기 이미지를 디스플레이하는 방법. - 멀티 카메라 디바이스로서,
하나 이상의 제 1 이미지들을 생성하기 위한 제 1 수단으로서, 시야 (FOV) 를 갖는, 상기 생성하기 위한 제 1 수단;
하나 이상의 제 2 이미지들을 생성하기 위한 제 2 수단으로서, 상기 하나 이상의 제 1 이미지들을 생성하기 위한 제 2 수단은 상기 하나 이상의 제 1 이미지들을 생성하기 위한 제 1 수단의 FOV 보다 작은 FOV 를 갖고, 상기 하나 이상의 제 1 이미지들을 생성하기 위한 제 1 수단 및 상기 하나 이상의 제 1 이미지들을 생성하기 위한 제 2 수단은 상기 하나 이상의 제 1 이미지들을 생성하기 위한 상기 제 2 수단의 FOV 에서의 타겟 장면이 또한 상기 하나 이상의 제 1 이미지들을 생성하기 위한 제 1 수단의 FOV 에도 있도록 포지셔닝되는, 상기 하나 이상의 제 2 이미지들을 생성하기 위한 제 2 수단;
이미지들을 디스플레이하기 위한 수단;
전자 이미지들 및 변환 정보를 저장하기 위한 수단; 및
상기 저장하기 위한 수단에 커플링된 프로세싱하기 위한 수단을 포함하고,
상기 프로세싱하기 위한 수단은,
상기 저장하기 위한 수단으로부터 제 1 이미지를 취출하고;
상기 저장하기 위한 수단으로부터 제 2 이미지를 취출하고;
공간 변환을 결정하는 것으로서, 상기 공간 변환은 상기 제 1 이미지의 화소들 및 상기 제 2 이미지의 대응 화소들을 공간적으로 정렬하는 정보를 포함하는, 상기 공간 변환을 결정하고, 상기 저장하기 위한 수단에 상기 공간 변환을 저장하며;
포토메트릭 변환을 결정하는 것으로서, 상기 포토메트릭 변환은 상기 제 1 이미지의 화소들과 상기 제 2 이미지의 대응 화소들 사이의 컬러 및 강도에서의 차이 정보를 포함하는, 상기 포토메트릭 변환을 결정하고, 상기 저장하기 위한 수단에 상기 포토메트릭 변환을 저장하며;
다음 미리보기 줌 레벨에 대응하는 입력을 수신하고;
상기 저장하기 위한 수단으로부터 상기 공간 변환 및 상기 포토메트릭 변환의 정보를 취출하고;
상기 다음 미리보기 줌 레벨에 기초하여 공간 변환 정보 및 포토메트릭 변환 정보를 사용하여 취출된 상기 제 1 및 제 2 이미지들 중 적어도 하나를 수정하며; 그리고
상기 디스플레이하기 위한 수단 상에 미리보기 이미지를 제공하는 것으로서, 디스플레이 이미지는 상기 하나 이상의 제 1 이미지들을 생성하기 위한 제 1 수단으로부터의 이미지, 상기 하나 이상의 제 2 이미지들을 생성하기 위한 제 2 수단으로부터의 이미지, 또는 상기 다음 미리보기 줌 레벨에 기초한, 상기 하나 이상의 제 1 이미지들을 생성하기 위한 제 1 수단 또는 상기 하나 이상의 제 2 이미지들을 생성하기 위한 제 2 수단으로부터의 이미지의 일부 및 수정된 상기 이미지의 일부를 포함하는 이미지를 포함하는, 상기 미리보기 이미지를 제공하도록 구성된, 멀티 카메라 디바이스. - 제 26 항에 있어서,
상기 하나 이상의 제 1 이미지들을 생성하기 위한 제 1 수단은 57 도 이상의 시야각을 갖도록 구성된 광학 및 센서 어레이를 포함하고; 그리고
상기 하나 이상의 제 2 이미지들을 생성하기 위한 제 2 수단은 50 도 미만의 시야각을 갖도록 구성된 광학 및 센서 어레이를 포함하는, 멀티 카메라 디바이스. - 제 26 항에 있어서,
상기 저장하기 위한 수단은 하나 이상의 저장 컴포넌트들을 포함하고, 상기 상기 프로세싱하기 위한 수단은 하나 이상의 프로세서들을 포함하는, 멀티 카메라 디바이스. - 코드를 포함하는 비일시적 컴퓨터 판독가능 저장 매체로서,
상기 코드는 실행될 때, 전자 하드웨어 프로세서로 하여금 제 1 카메라 및 제 2 이미지로부터의 하나 이상의 이미지들을 포함하는 미리보기 이미지를 제공하는 방법을 수행하게 하고, 상기 방법은,
메모리 컴포넌트로부터 제 1 이미지를 취출하는 단계;
상기 메모리 컴포넌트로부터 제 2 이미지를 취출하는 단계;
상기 제 1 이미지의 화소들 및 상기 제 2 이미지의 대응 화소들을 공간적으로 정렬하는 정보를 포함하는 공간 변환을 결정하고, 상기 메모리 컴포넌트에 상기 공간 변환을 저장하는 단계;
상기 제 1 이미지의 화소들과 상기 제 2 이미지의 대응 화소들 사이의 컬러 및 강도에서의 차이 정보를 포함하는 포토메트릭 변환을 결정하고, 상기 메모리 컴포넌트에 상기 포토메트릭 변환을 저장하는 단계;
다음 미리보기 줌 레벨에 대응하는 입력을 수신하는 단계;
메모리로부터 상기 공간 변환 및 상기 포토메트릭 변환의 정보를 취출하는 단계;
상기 다음 미리보기 줌 레벨에 기초하여 공간 변환 정보 및 포토메트릭 변환 정보를 사용하여 취출된 상기 제 1 및 제 2 이미지들 중 적어도 하나를 수정하는 단계; 및
디스플레이 상에 미리보기 이미지를 제공하는 것으로서, 디스플레이 이미지는 상기 제 1 카메라로부터의 이미지, 상기 제 2 카메라로부터의 이미지, 또는 상기 다음 미리보기 줌 레벨에 기초한, 상기 제 1 카메라 또는 상기 제 2 카메라로부터의 이미지의 일부 및 수정된 상기 이미지의 일부를 포함하는 이미지를 포함하는, 상기 미리보기 이미지를 제공하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체. - 제 29 항에 있어서,
상기 방법은,
상기 다음 미리보기 줌 레벨을 줌 레벨 제 1 임계값 (T1) 및 줌 레벨 제 2 임계값 (T2) 과 비교하는 단계로서, 줌 레벨 제 2 임계값 (T2) 은 줌 레벨 제 1 임계값 (T1) 보다 큰 줌-인 레벨을 표시하는, 상기 다음 미리보기 줌 레벨을 줌 레벨 제 1 임계값 (T1) 및 줌 레벨 제 2 임계값 (T2) 과 비교하는 단계;
상기 제 1 카메라 및 상기 제 2 카메라를, 상기 다음 미리보기 줌 레벨이 제 1 임계값 (T1) 미만일 때 상기 제 1 카메라 온 상기 제 2 카메라 오프인 제 1 활성화 상태에 배치하는 단계;
상기 다음 미리보기 줌 레벨이 제 2 임계값 (T2) 이상일 때 제 2 활성화 상태에 상기 제 1 카메라 오프 및 상기 제 2 카메라 온을 배치하는 단계; 및
상기 다음 미리보기 줌 레벨이 제 1 임계값 (T1) 과 제 2 임계값 (T2) 사이에 있을 때 상기 제 1 카메라 및 상기 제 2 카메라가 온인 제 3 활성화 상태에 상기 제 1 카메라 온 및 상기 제 2 카메라를 배치하는 단계를 더 포함하고,
상기 미리보기 이미지를 제공하는 단계는, 상기 다음 미리보기 줌 레벨이 제 1 임계값 (T1) 보다 작을 때 상기 제 1 카메라로부터의 적어도 하나의 이미지, 상기 다음 미리보기 줌 레벨이 임계값 (T2) 보다 클 때 상기 제 2 카메라로부터의 적어도 하나의 이미지, 및 상기 미리보기 줌 레벨이 제 1 임계값 (T1) 과 제 2 임계값 (T2) 사이에 있을 때 상기 제 1 카메라 또는 상기 제 2 카메라로부터의 이미지의 일부 및 상기 수정된 이미지의 일부를 생성하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/017,898 | 2016-02-08 | ||
| US15/017,898 US10194089B2 (en) | 2016-02-08 | 2016-02-08 | Systems and methods for implementing seamless zoom function using multiple cameras |
| PCT/US2017/012927 WO2017139061A1 (en) | 2016-02-08 | 2017-01-11 | Systems and methods for implementing seamless zoom function using multiple cameras |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180109918A true KR20180109918A (ko) | 2018-10-08 |
Family
ID=58018207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187022538A KR20180109918A (ko) | 2016-02-08 | 2017-01-11 | 다중 카메라들을 사용하여 심리스 줌 기능을 구현하기 위한 시스템들 및 방법들 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10194089B2 (ko) |
| EP (1) | EP3414735A1 (ko) |
| KR (1) | KR20180109918A (ko) |
| CN (1) | CN108604373B (ko) |
| WO (1) | WO2017139061A1 (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200134568A (ko) * | 2019-05-22 | 2020-12-02 | 아이엔에이시스템스 주식회사 | 표적 탐지, 인지 및 추적을 위한 감시 시스템 및 그 제어 방법 |
| KR20200138021A (ko) * | 2019-05-31 | 2020-12-09 | 애플 인크. | 미디어 캡처 및 보유를 위한 비디오 분석 및 관리 기술 |
| US11115598B2 (en) | 2019-02-19 | 2021-09-07 | Samsung Electronics Co., Ltd. | Electronic device and method for changing magnification of image using multiple cameras |
| WO2021230567A1 (ko) * | 2020-05-15 | 2021-11-18 | 삼성전자 주식회사 | 복수의 카메라를 이용한 이미지 촬영 방법 및 그 전자 장치 |
| WO2022114801A1 (ko) * | 2020-11-25 | 2022-06-02 | 삼성전자 주식회사 | 복수의 카메라를 포함하는 전자 장치 및 그 전자 장치의 제어 방법 |
| KR102471543B1 (ko) * | 2021-08-12 | 2022-11-28 | 엘아이지넥스원 주식회사 | 표적 탐지 추적 시스템 및 표적 탐지 추적 방법 |
Families Citing this family (84)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3008890A4 (en) * | 2013-06-13 | 2016-05-04 | Corephotonics Ltd | ZOOM OF A DIGITAL CAMERA WITH DUAL IRIS |
| EP3286915B1 (en) | 2015-04-23 | 2021-12-08 | Apple Inc. | Digital viewfinder user interface for multiple cameras |
| US9948914B1 (en) * | 2015-05-06 | 2018-04-17 | The United States Of America As Represented By The Secretary Of The Air Force | Orthoscopic fusion platform |
| KR102349428B1 (ko) * | 2015-08-12 | 2022-01-10 | 삼성전자주식회사 | 이미지 처리 방법 및 이를 지원하는 전자장치 |
| AU2016370395A1 (en) | 2015-12-14 | 2018-06-28 | Red.Com, Llc | Modular digital camera and cellular phone |
| JP6687103B2 (ja) * | 2016-03-22 | 2020-04-22 | 株式会社リコー | 画像処理システム、画像処理方法及びプログラム |
| CN106097244A (zh) * | 2016-06-03 | 2016-11-09 | 上海小蚁科技有限公司 | 用于拼接图像的方法和装置以及用于组合图像的方法 |
| US10009536B2 (en) | 2016-06-12 | 2018-06-26 | Apple Inc. | Applying a simulated optical effect based on data received from multiple camera sensors |
| WO2018007951A1 (en) * | 2016-07-07 | 2018-01-11 | Corephotonics Ltd. | Dual-camera system with improved video smooth transition by image blending |
| KR20180018086A (ko) * | 2016-08-12 | 2018-02-21 | 엘지전자 주식회사 | 이동 단말기 및 그의 동작 방법 |
| US20180070010A1 (en) * | 2016-09-02 | 2018-03-08 | Altek Semiconductor Corp. | Image capturing apparatus and image zooming method thereof |
| US10432869B2 (en) * | 2016-09-07 | 2019-10-01 | Multimedia Image Solution Limited | Method of utilizing wide-angle image capturing element and long-focus image capturing element for achieving clear and precise optical zooming mechanism |
| US10297034B2 (en) | 2016-09-30 | 2019-05-21 | Qualcomm Incorporated | Systems and methods for fusing images |
| US10389948B2 (en) * | 2016-12-06 | 2019-08-20 | Qualcomm Incorporated | Depth-based zoom function using multiple cameras |
| US20180234674A1 (en) * | 2017-02-14 | 2018-08-16 | Axon Enterprise, Inc. | Systems and methods for determining a field of view |
| JP2018170630A (ja) * | 2017-03-30 | 2018-11-01 | キヤノン株式会社 | 撮像装置、撮像システムおよび撮像制御プログラム |
| DK180859B1 (en) | 2017-06-04 | 2022-05-23 | Apple Inc | USER INTERFACE CAMERA EFFECTS |
| US10554957B2 (en) * | 2017-06-04 | 2020-02-04 | Google Llc | Learning-based matching for active stereo systems |
| US10972672B2 (en) * | 2017-06-05 | 2021-04-06 | Samsung Electronics Co., Ltd. | Device having cameras with different focal lengths and a method of implementing cameras with different focal lengths |
| KR102351542B1 (ko) * | 2017-06-23 | 2022-01-17 | 삼성전자주식회사 | 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치 |
| US11218626B2 (en) * | 2017-07-28 | 2022-01-04 | Black Sesame International Holding Limited | Fast focus using dual cameras |
| KR102348504B1 (ko) * | 2017-08-23 | 2022-01-10 | 삼성전자주식회사 | 복수 개의 카메라들 간의 시차를 감소시키는 방법 및 이를 지원하는 전자 장치 |
| KR102372808B1 (ko) * | 2017-09-11 | 2022-03-15 | 삼성전자주식회사 | 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법 |
| US10372298B2 (en) | 2017-09-29 | 2019-08-06 | Apple Inc. | User interface for multi-user communication session |
| CN107566751B (zh) * | 2017-09-30 | 2019-11-26 | 北京金山安全软件有限公司 | 图像处理方法、装置、电子设备及介质 |
| US10462370B2 (en) | 2017-10-03 | 2019-10-29 | Google Llc | Video stabilization |
| KR102318013B1 (ko) | 2017-10-13 | 2021-10-27 | 삼성전자 주식회사 | 복수의 이미지들을 합성하는 전자장치 및 방법 |
| JP2019110361A (ja) * | 2017-12-15 | 2019-07-04 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | 撮像装置、撮像方法及び撮像プログラム |
| WO2019117549A1 (en) | 2017-12-15 | 2019-06-20 | Samsung Electronics Co., Ltd. | Imaging apparatus, imaging method, and computer program product |
| US11112964B2 (en) | 2018-02-09 | 2021-09-07 | Apple Inc. | Media capture lock affordance for graphical user interface |
| US10687046B2 (en) * | 2018-04-05 | 2020-06-16 | Fyusion, Inc. | Trajectory smoother for generating multi-view interactive digital media representations |
| US10171738B1 (en) | 2018-05-04 | 2019-01-01 | Google Llc | Stabilizing video to reduce camera and face movement |
| DK201870364A1 (en) | 2018-05-07 | 2019-12-03 | Apple Inc. | MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE |
| US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
| US10375313B1 (en) | 2018-05-07 | 2019-08-06 | Apple Inc. | Creative camera |
| US20190356866A1 (en) * | 2018-05-15 | 2019-11-21 | Eaton Intelligent Power Limited | Frame Stitching And Other Functions Using Multiple Cameras |
| WO2019230813A1 (ja) * | 2018-05-30 | 2019-12-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元再構成方法および三次元再構成装置 |
| TWI693828B (zh) | 2018-06-28 | 2020-05-11 | 圓展科技股份有限公司 | 顯示擷取裝置與其操作方法 |
| US20200053255A1 (en) * | 2018-08-08 | 2020-02-13 | Qualcomm Incorporated | Temporal alignment of image frames for a multiple camera system |
| CN108965742B (zh) * | 2018-08-14 | 2021-01-22 | 京东方科技集团股份有限公司 | 异形屏显示方法、装置、电子设备及计算机可读存储介质 |
| US10728529B2 (en) | 2018-09-06 | 2020-07-28 | Qualcomm Incorporated | Synchronization of frame captures from multiple cameras with different fields of capture |
| DK201870623A1 (en) | 2018-09-11 | 2020-04-15 | Apple Inc. | USER INTERFACES FOR SIMULATED DEPTH EFFECTS |
| KR20200034528A (ko) * | 2018-09-21 | 2020-03-31 | 엘지전자 주식회사 | 이동 단말기 |
| US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
| US10645294B1 (en) | 2019-05-06 | 2020-05-05 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11321857B2 (en) | 2018-09-28 | 2022-05-03 | Apple Inc. | Displaying and editing images with depth information |
| US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
| US11653097B2 (en) | 2018-10-12 | 2023-05-16 | Samsung Electronics Co., Ltd. | Method and electronic device for switching between first lens and second lens |
| CN115866394A (zh) * | 2018-10-12 | 2023-03-28 | 三星电子株式会社 | 用于在第一镜头和第二镜头之间切换的方法和电子设备 |
| EP3877951A1 (en) * | 2018-11-06 | 2021-09-15 | Flir Commercial Systems, Inc. | Automatic co-registration of thermal and visible image pairs |
| KR102641287B1 (ko) * | 2018-12-27 | 2024-02-27 | 주식회사 주원테크놀러지 | 카메라 시스템의 센터 보정 방법 및 장치 |
| CN111510618B (zh) * | 2019-01-30 | 2022-04-05 | 虹软科技股份有限公司 | 变焦方法及应用其的电子设备 |
| CN110430357B (zh) * | 2019-03-26 | 2021-01-29 | 华为技术有限公司 | 一种图像拍摄方法与电子设备 |
| EP3946056A4 (en) * | 2019-03-29 | 2022-11-02 | Shenzhen Xpectvision Technology Co., Ltd. | IMAGE SENSOR WITH A CALIBRATION PATTERN |
| US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
| WO2021000063A1 (en) * | 2019-06-29 | 2021-01-07 | Qualcomm Incorporated | Automatic focus distance extension |
| US20210006730A1 (en) * | 2019-07-07 | 2021-01-07 | Tangible Play, Inc. | Computing device |
| USD907032S1 (en) * | 2019-07-07 | 2021-01-05 | Tangible Play, Inc. | Virtualization device |
| CN110809101B (zh) * | 2019-11-04 | 2022-05-17 | RealMe重庆移动通信有限公司 | 图像变焦处理方法及装置、电子设备、存储介质 |
| CN110944113B (zh) * | 2019-11-25 | 2021-04-27 | 维沃移动通信有限公司 | 对象显示方法及电子设备 |
| CN111083381B (zh) * | 2019-12-31 | 2021-10-22 | 深圳市道通智能航空技术股份有限公司 | 一种图像融合的方法、装置及双光相机、无人机 |
| US11513667B2 (en) | 2020-05-11 | 2022-11-29 | Apple Inc. | User interface for audio message |
| US11509837B2 (en) * | 2020-05-12 | 2022-11-22 | Qualcomm Incorporated | Camera transition blending |
| USD937868S1 (en) | 2020-05-21 | 2021-12-07 | Tangible Play, Inc. | Display screen or portion thereof with a transitional graphical user interface |
| US11054973B1 (en) | 2020-06-01 | 2021-07-06 | Apple Inc. | User interfaces for managing media |
| CN113837937A (zh) * | 2020-06-24 | 2021-12-24 | Oppo广东移动通信有限公司 | 多媒体处理芯片、电子设备图像融合方法和图像裁剪方法 |
| US11928799B2 (en) * | 2020-06-29 | 2024-03-12 | Samsung Electronics Co., Ltd. | Electronic device and controlling method of electronic device |
| US11190689B1 (en) * | 2020-07-29 | 2021-11-30 | Google Llc | Multi-camera video stabilization |
| US11212449B1 (en) | 2020-09-25 | 2021-12-28 | Apple Inc. | User interfaces for media capture and management |
| CN112333389B (zh) * | 2020-10-30 | 2023-04-07 | 维沃移动通信（杭州）有限公司 | 图像显示控制方法、装置及电子设备 |
| US11405563B2 (en) * | 2020-11-10 | 2022-08-02 | Qualcomm Incorporated | Spatial alignment transform without FOV loss |
| US11671697B2 (en) | 2021-01-31 | 2023-06-06 | Apple Inc. | User interfaces for wide angle video conference |
| US11388337B1 (en) | 2021-03-24 | 2022-07-12 | Raytheon Company | Readout integrated circuit containing image stabilization capabilities |
| US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
| US11539876B2 (en) | 2021-04-30 | 2022-12-27 | Apple Inc. | User interfaces for altering visual media |
| US11907605B2 (en) | 2021-05-15 | 2024-02-20 | Apple Inc. | Shared-content session user interfaces |
| US11893214B2 (en) | 2021-05-15 | 2024-02-06 | Apple Inc. | Real-time communication user interface |
| US11360634B1 (en) | 2021-05-15 | 2022-06-14 | Apple Inc. | Shared-content session user interfaces |
| WO2023281250A1 (en) * | 2021-07-07 | 2023-01-12 | Mo-Sys Engineering Limited | Image stitching |
| US11812135B2 (en) | 2021-09-24 | 2023-11-07 | Apple Inc. | Wide angle video conference |
| TWI807449B (zh) | 2021-10-15 | 2023-07-01 | 國立臺灣科技大學 | 多視角立體影像產生方法及系統 |
| KR20230060304A (ko) * | 2021-10-27 | 2023-05-04 | 삼성전자주식회사 | 복수의 렌즈들을 구비하는 전자 장치 및 그 제어 방법 |
| CN116723394A (zh) * | 2022-02-28 | 2023-09-08 | 荣耀终端有限公司 | 多摄策略调度方法及其相关设备 |
| WO2024072722A1 (en) * | 2022-09-29 | 2024-04-04 | Google Llc | Smooth continuous zooming in a multi-camera system by image-based visual features and optimized geometric calibrations |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0342419B1 (de) | 1988-05-19 | 1992-10-28 | Siemens Aktiengesellschaft | Verfahren zur Beobachtung einer Szene und Einrichtung zur Durchführung des Verfahrens |
| US7015954B1 (en) * | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
| EP3388784B1 (en) | 2001-05-04 | 2019-07-17 | Vexcel Imaging GmbH | Method and large format camera for acquiring a large format image of a large area object |
| US6754010B2 (en) * | 2001-11-01 | 2004-06-22 | Canon Kabushiki Kaisha | Image taking apparatus, control method therefor, and control program |
| JP4198449B2 (ja) | 2002-02-22 | 2008-12-17 | 富士フイルム株式会社 | デジタルカメラ |
| US20050286753A1 (en) * | 2004-06-25 | 2005-12-29 | Triant Technologies Inc. | Automated inspection systems and methods |
| WO2006040687A2 (en) | 2004-07-19 | 2006-04-20 | Grandeye, Ltd. | Automatically expanding the zoom capability of a wide-angle video camera |
| US7206136B2 (en) | 2005-02-18 | 2007-04-17 | Eastman Kodak Company | Digital camera using multiple lenses and image sensors to provide an extended zoom range |
| KR20070104716A (ko) | 2006-04-24 | 2007-10-29 | 김현애 | 입체카메라적용 휴대용 멀티미디어 재생장치 |
| US20080030592A1 (en) | 2006-08-01 | 2008-02-07 | Eastman Kodak Company | Producing digital image with different resolution portions |
| US7729602B2 (en) | 2007-03-09 | 2010-06-01 | Eastman Kodak Company | Camera using multiple lenses and image sensors operable in a default imaging mode |
| US7859588B2 (en) | 2007-03-09 | 2010-12-28 | Eastman Kodak Company | Method and apparatus for operating a dual lens camera to augment an image |
| WO2009097552A1 (en) | 2008-02-01 | 2009-08-06 | Omnivision Cdm Optics, Inc. | Image data fusion systems and methods |
| US8526779B2 (en) | 2008-11-07 | 2013-09-03 | Looxcie, Inc. | Creating and editing video recorded by a hands-free video recording device |
| US20120026366A1 (en) | 2009-04-07 | 2012-02-02 | Nextvision Stabilized Systems Ltd. | Continuous electronic zoom for an imaging system with multiple imaging devices having different fixed fov |
| KR20100132739A (ko) | 2009-06-10 | 2010-12-20 | 건국대학교 산학협력단 | 듀얼 카메라를 이용한 모니터링 시스템 및 그 방법 |
| CN101950242A (zh) * | 2010-09-19 | 2011-01-19 | 电子科技大学 | 一种多视点场景成像缩放显示控制方法 |
| US8274552B2 (en) * | 2010-12-27 | 2012-09-25 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
| US8847968B2 (en) * | 2011-07-12 | 2014-09-30 | Qualcomm Incorporated | Displaying static images |
| IL214894A (en) | 2011-08-30 | 2016-09-29 | Rafael Advanced Defense Systems Ltd | A combination of narrow field of view images and wide field of view |
| WO2014083489A1 (en) * | 2012-11-28 | 2014-06-05 | Corephotonics Ltd. | High-resolution thin multi-aperture imaging systems |
| US20140184854A1 (en) | 2012-12-28 | 2014-07-03 | Motorola Mobility Llc | Front camera face detection for rear camera zoom function |
| EP3008890A4 (en) | 2013-06-13 | 2016-05-04 | Corephotonics Ltd | ZOOM OF A DIGITAL CAMERA WITH DUAL IRIS |
| US10297034B2 (en) * | 2016-09-30 | 2019-05-21 | Qualcomm Incorporated | Systems and methods for fusing images |
-
2016
- 2016-02-08 US US15/017,898 patent/US10194089B2/en active Active
-
2017
- 2017-01-11 EP EP17704850.1A patent/EP3414735A1/en active Pending
- 2017-01-11 WO PCT/US2017/012927 patent/WO2017139061A1/en active Application Filing
- 2017-01-11 KR KR1020187022538A patent/KR20180109918A/ko unknown
- 2017-01-11 CN CN201780009835.5A patent/CN108604373B/zh active Active
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11115598B2 (en) | 2019-02-19 | 2021-09-07 | Samsung Electronics Co., Ltd. | Electronic device and method for changing magnification of image using multiple cameras |
| US11509830B2 (en) | 2019-02-19 | 2022-11-22 | Samsung Electronics Co., Ltd. | Electronic device and method for changing magnification of image using multiple cameras |
| KR20200134568A (ko) * | 2019-05-22 | 2020-12-02 | 아이엔에이시스템스 주식회사 | 표적 탐지, 인지 및 추적을 위한 감시 시스템 및 그 제어 방법 |
| KR20200138021A (ko) * | 2019-05-31 | 2020-12-09 | 애플 인크. | 미디어 캡처 및 보유를 위한 비디오 분석 및 관리 기술 |
| WO2021230567A1 (ko) * | 2020-05-15 | 2021-11-18 | 삼성전자 주식회사 | 복수의 카메라를 이용한 이미지 촬영 방법 및 그 전자 장치 |
| US11877072B2 (en) | 2020-05-15 | 2024-01-16 | Samsung Electronics Co., Ltd. | Image capturing method using plurality of cameras, and electronic device |
| WO2022114801A1 (ko) * | 2020-11-25 | 2022-06-02 | 삼성전자 주식회사 | 복수의 카메라를 포함하는 전자 장치 및 그 전자 장치의 제어 방법 |
| US11949985B2 (en) | 2020-11-25 | 2024-04-02 | Samsung Electronics Co., Ltd. | Electronic device including multiple cameras and method of controlling electronic device |
| KR102471543B1 (ko) * | 2021-08-12 | 2022-11-28 | 엘아이지넥스원 주식회사 | 표적 탐지 추적 시스템 및 표적 탐지 추적 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10194089B2 (en) | 2019-01-29 |
| CN108604373A (zh) | 2018-09-28 |
| WO2017139061A1 (en) | 2017-08-17 |
| EP3414735A1 (en) | 2018-12-19 |
| CN108604373B (zh) | 2021-11-30 |
| US20170230585A1 (en) | 2017-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20180109918A (ko) | 다중 카메라들을 사용하여 심리스 줌 기능을 구현하기 위한 시스템들 및 방법들 | |
| US10389948B2 (en) | Depth-based zoom function using multiple cameras | |
| US11210799B2 (en) | Estimating depth using a single camera | |
| US9544574B2 (en) | Selecting camera pairs for stereoscopic imaging | |
| CN106210501B (zh) | 图像合成方法与图像处理装置 | |
| KR102565513B1 (ko) | 다중 기술 심도 맵 취득 및 융합을 위한 방법 및 장치 | |
| US9918065B2 (en) | Depth-assisted focus in multi-camera systems | |
| US9325899B1 (en) | Image capturing device and digital zooming method thereof | |
| US10013764B2 (en) | Local adaptive histogram equalization | |
| US10708486B2 (en) | Generation of a depth-artificial image by determining an interpolated supplementary depth through interpolation based on the original depths and a detected edge | |
| KR20160095060A (ko) | 시야의 가리움에 기초한 카메라 선택 | |
| JP2016525840A (ja) | 画像アーティファクトを補正するシステム及び方法 | |
| KR20070121717A (ko) | 컬러 디지털 이미지를 사용하여 선명도 변경과 같은 액션을제어하는 방법 | |
| CN109691080B (zh) | 拍摄图像方法、装置和终端 | |
| US9479689B2 (en) | Imaging device and focusing-verification display method | |
| CN108259759A (zh) | 对焦方法、装置及存储介质 | |
| US20230033956A1 (en) | Estimating depth based on iris size | |
| US20100079582A1 (en) | Method and System for Capturing and Using Automatic Focus Information | |
| US9743007B2 (en) | Lens module array, image sensing device and fusing method for digital zoomed images | |
| CN114723637A (zh) | 一种色差调整方法及系统 | |
| JP2018046372A (ja) | 撮像装置、システム、プログラム |