CN106576143A - 图像拍摄装置和图像拍摄方法 - Google Patents

图像拍摄装置和图像拍摄方法 Download PDF

Info

Publication number
CN106576143A
CN106576143A CN201580045345.1A CN201580045345A CN106576143A CN 106576143 A CN106576143 A CN 106576143A CN 201580045345 A CN201580045345 A CN 201580045345A CN 106576143 A CN106576143 A CN 106576143A
Authority
CN
China
Prior art keywords
image
shooting
amplification
image capturing
capturing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580045345.1A
Other languages
English (en)
Other versions
CN106576143B (zh
Inventor
李太熙
金哉坤
S.图利亚科夫
李星昊
田承龙
金冏荣
洪贤石
韩熙喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN106576143A publication Critical patent/CN106576143A/zh
Application granted granted Critical
Publication of CN106576143B publication Critical patent/CN106576143B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

提供了一种图像拍摄装置和图像拍摄方法。该图像拍摄装置包括：多个图像捕获器，分别包括具有不同焦距的镜头，并且分别被配置为捕获具有不同分辨率的多个图像；存储器，被配置为存储由所述多个图像捕获器捕获的所述多个图像；图像处理器，被配置为将所述多个图像的属性调整为彼此对应；控制器，被配置为响应于输入的放大率改变命令，控制图像处理器合成其属性被调整的多个图像，并生成根据所述放大率改变命令改变了放大率的合成图像；以及显示器，被配置为显示所述合成图像。

Description

图像拍摄装置和图像拍摄方法
技术领域
与一个或多个示例性实施例一致的装置和方法涉及图像拍摄装置和图像拍摄方法，更具体地，涉及用于通过多个拍摄单元获得的多个图像生成合成图像的图像拍摄装置和图像拍摄方法。
背景技术
随着电子技术的发展，已经开发和发布了各种类型的电子产品。具体地，诸如电视机(TV)、蜂窝式电话、个人计算机(PC)、笔记本PC、个人数字助理(PDA)等的各种拍摄装置被广泛地用于一般家庭中。
由于拍摄装置使用的增加，用户对更多功能的需求也增加了。因此，制造商也更加努力以满足用户的需求，并且因此具有新功能的产品一个接一个地出现。
特别地，最近开发的智能电话或平板PC通常包括多个相机。这些设备包括在其前表面和后表面上的相机，用以在自拍或视频对话期间提供方便。
然而，尽管考虑到智能电话或平板PC的便携性和重量而使用了单焦镜头，但是如果用户在拍摄期间使用变焦功能，则由于单焦镜头的光学限制而实施了数字变焦(digitalzooming)。
发明内容
技术问题
当使用这种数字变焦来扩大放大率时，出现噪声，这成问题地使图像质量劣化。
因此，通过使用多个相机来获得具有良好的图像质量和扩大的放大率的图像的需求增加了。
问题的解决方案
一个或多个示例性实施例的各方面克服了上述缺点和上面没有描述的其他缺点。此外，示例性实施例不要求克服上述缺点，并且示例性实施例可以不克服上述任何问题。
一个或多个示例性实施例的各方面提供了图像拍摄装置和图像拍摄方法，用于在通过使用多个拍摄单元实现变焦(zooming)功能时从多个图像生成合成图像。
根据示例性实施例的一个方面，提供了图像拍摄装置，包括：多个图像捕获器，分别包括具有不同焦距的镜头，并且分别被配置为捕获具有不同分辨率的多个图像；存储器，被配置为存储由多个图像捕获器捕获的所述多个图像；图像处理器，被配置为将多个图像的属性调整为彼此对应；控制器，被配置为响应于输入的放大率(magnification)改变命令，控制图像处理器合成其属性被调整的多个图像，并生成根据放大率改变命令改变了放大率的合成图像；以及显示器，被配置为显示合成图像。
控制器可以被配置为控制图像处理器从多个图像中检测与改变的放大率相对应的尺寸的每个局部区域(local region)，并且合成检测到的局部区域以生成合成图像。
控制器可以被配置为使提供给包括在多个图像捕获器中的每个图像传感器的复位信号的定时同步，并且同步多个图像捕获器的捕获定时。
控制器可以被配置为基于包括在多个图像中的公共区域来确定是否同步多个图像，并且被配置为如果多个图像处于非同步状态，则对至少一个图像帧执行延迟处理并同步多个图像。
控制器可以被配置为基于包括在多个图像中的公共区域来确定是否同步多个图像，并且被配置为如果多个图像处于非同步状态，则同步多个图像捕获器的捕获定时。
控制器可以被配置为基于包括在多个图像中的公共区域中的被摄体(subject)的移动程度来调整多个图像中的每一个的合成率(synthesis rate)。
多个图像的属性可以包括颜色和白平衡；并且控制器可以被配置为根据多个图像当中的一个图像的颜色和白平衡来调整多个图像当中的另一个图像的颜色和白平衡。
多个图像捕获器可以包括：包括广角镜头的第一图像捕获器和包括长焦镜头的至少一个第二图像捕获器；以及控制器可以被配置为根据从第一图像捕获器获得的第一图像的颜色和白平衡来调整从至少一个第二图像捕获器获得的至少一个第二图像的颜色和白平衡。
多个图像捕获器还可以分别包括具有彩色像素的图像传感器，彩色像素具有相同模式(pattern)或不同模式；以及控制器可以被配置为基于从包括具有相同模式或不同模式的彩色像素的图像传感器获得的多个色谱信息来生成表示被摄体的物理属性的合成图像。
图像传感器当中的至少一个图像传感器可以包括检测被摄体的深度信息的像素；以及控制器可以被配置为基于检测到的深度信息生成改变了放大率的三维(3D)图像。
控制器可以被配置为输出指示符用于显示，该指示符指示包括在根据放大率改变命令改变了放大率的合成图像中的具有不同分辨率的多个区域，并且被配置为响应于相对于指示符输入的用户命令，显示与多个区域中的每一个相对应的多个图像中的至少一个。
包括在多个图像捕获器中的镜头可以面向不同的方向；图像处理器可以被配置为对由镜头的不同方向产生的差异执行校准和校正中的至少一个，并且将多个图像修改为当镜头面向相同方向时捕获的图像；以及控制器可以被配置为控制图像处理器连接和合成修改的图像并生成单个整体图像。
根据另一个示例性实施例的一个方面，提供了由包括使用具有不同焦距的镜头的多个图像捕获器的图像拍摄装置执行的图像拍摄方法，该方法包括：存储具有由多个图像捕获器捕获的不同分辨率的多个图像；调整多个图像的属性以彼此对应；响应于输入的放大率改变命令，合成其属性被调整的多个图像以生成根据放大率改变命令改变了放大率的合成图像；以及输出合成图像。
生成合成图像可以包括从多个图像中检测与改变的放大率相对应的尺寸的每个局部区域，并合成检测到的局部区域以生成合成图像。
图像拍摄方法还可以包括：同步提供给包括在多个图像捕获器中的每个图像传感器的复位信号的定时，以及同步多个图像捕获器的捕获定时。
图像拍摄方法还可以包括基于包括在多个图像中的公共区域来确定是否同步多个图像，并且，如果多个图像处于非同步状态，则对至少一个图像帧执行延迟处理并同步多个图像。
图像拍摄方法还可以包括基于包括在多个图像中的公共区域来确定是否同步多个图像，并且，如果多个图像处于非同步状态，则同步多个图像捕获器的捕获定时。
生成合成图像可以包括基于包括在多个图像中的公共区域中的被摄体的移动程度来调整多个图像中的每一个的合成率。
多个图像的属性可以包括颜色和白平衡；并且所述调整可以包括根据多个图像当中的一个图像的颜色和白平衡来调整多个图像当中的另一个图像的颜色和白平衡。
多个图像捕获器可以包括：包括广角镜头的第一图像捕获器和包括长焦镜头的至少一个第二图像捕获器；并且所述调整可以包括根据从第一图像捕获器获得的第一图像的颜色和白平衡来调整从至少一个第二图像捕获器获得的至少一个第二图像的颜色和白平衡。
根据另一个示例性实施例的一个方面，提供了图像拍摄装置，包括：多个图像捕获器，分别被配置为捕获具有不同分辨率的多个图像；以及控制器，被配置为响应于输入的放大率改变命令，控制图像处理器合成其属性被调整的多个图像，并生成根据放大率改变命令而改变了放大率的合成图像。
图像拍摄装置还可以包括图像处理器，其中，控制器可以被配置为控制图像处理器从多个图像中检测与改变的放大率相对应的尺寸的每个局部区域，并且合成检测到的局部区域以生成合成图像。
控制器可以被配置为使提供给包括在多个图像捕获器中的每个图像传感器的复位信号的定时同步，并且同步多个图像捕获器的捕获定时。
控制器可以被配置为基于包括在多个图像中的公共区域来确定是否同步多个图像，并且被配置为如果多个图像处于非同步状态，则对至少一个图像帧执行延迟处理并同步多个图像。
控制器可以被配置为基于包括在多个图像中的公共区域来确定是否同步多个图像，并且被配置为如果多个图像处于非同步状态，则同步多个图像捕获器的捕获定时。
控制器可以被配置为基于包括在多个图像中的公共区域中的被摄体的移动程度来调整多个图像中的每一个的合成率。
图像拍摄装置还可以包括：图像处理器，被配置为调整多个图像的属性以彼此对应；其中，多个图像的属性可以包括颜色和白平衡，并且其中，控制器可以被配置为根据多个图像当中的一个图像的颜色和白平衡来调整多个图像当中的另一个图像的颜色和白平衡。
多个图像捕获器可以包括：包括广角镜头的第一图像捕获器和包括长焦镜头的至少一个第二图像捕获器；并且控制器可以被配置为根据从第一图像捕获器获得的第一图像的颜色和白平衡来调整从至少一个第二图像捕获器获得的至少一个第二图像的颜色和白平衡。
多个图像捕获器还可以分别包括具有彩色像素的图像传感器，彩色像素具有相同模式或不同模式；以及控制器可以被配置为基于从包括具有相同模式或不同模式的彩色像素的图像传感器获得的多个色谱信息来生成表示被摄体的物理属性的合成图像。
图像传感器当中的至少一个图像传感器可以包括检测被摄体的深度信息的像素；以及控制器可以被配置为基于检测到的深度信息生成改变了放大率的三维(3D)图像。
控制器可以被配置为输出指示符用于显示，该指示符指示包括在根据放大率改变命令改变了放大率的合成图像中的具有不同分辨率的多个区域，并且被配置为响应于相对于指示符输入的用户命令，显示与多个区域中的每一个相对应的多个图像中的至少一个。
图像拍摄装置还可以包括：图像处理器，其中，多个图像捕获器可以分别包括面向不同方向的镜头，其中，图像处理器可以被配置为对由镜头的不同方向所产生的差异执行校准和校正中的至少一个，并且将多个图像修改为当镜头面向相同方向时捕获的图像；并且其中，控制器可以被配置为控制图像处理器连接和合成修改的图像并生成单个整体图像。
根据另一个示例性实施例的一个方面，提供了图像处理装置，包括：图像处理器，被配置为调整多个图像的属性以彼此对应，多个图像具有不同的分辨率，并且分别从具有不同焦距的多个图像捕获器中获得；以及控制器，被配置为响应于输入的放大率改变命令，控制图像处理器合成其属性被调整的多个图像，并生成根据放大率改变命令而改变了放大率的合成图像。
根据另一个示例性实施例的一个方面，提供了其上记录有可由用于执行上述方法的计算机执行的程序的非暂时性计算机可读记录介质。
另外的和/或其他的方面和优点将在下面的描述中部分地阐述，并且部分地，将从描述中变得明显，或者可以通过对示例性实施例的实践而习得。
附图说明
通过参考附图描述示例性实施例，上述和/或其他方面将更加明显，其中：
图1是根据示例性实施例的图像拍摄装置的示图；
图2是根据示例性实施例的图像拍摄装置的配置的框图；
图3是用于解释根据示例性实施例的生成通过放大率改变命令改变了放大率的合成图像的过程的示图；
图4A和图4B是用于解释根据一个或多个示例性实施例的合成图像的效果的示图；
图5是用于解释根据示例性实施例的多个拍摄单元的拍摄定时的示图；
图6是用于解释根据示例性实施例的确定是否彼此同步多个图像的过程的示图；
图7是用于解释根据示例性实施例的同步处于非同步状态的图像的过程的示图；
图8是示出根据示例性实施例的合成率的图形；
图9是根据示例性实施例的控制单元的详细配置的框图；
图10是根据示例性实施例的用于处理另一个图像的属性的图像拍摄装置的配置的框图；
图11是根据示例性实施例的不同模式的彩色像素的示图；
图12和图13是根据示例性实施例的包括深度传感器的图像传感器的示图；
图14到图16是根据示例性实施例的用户界面的示图；
图17是根据示例性实施例的图像拍摄装置的电路的配置的框图；
图18到图25是用于解释根据一个或多个示例性实施例的图像拍摄装置的结构和耦合结构的示图；以及
图26是根据示例性实施例的由包括使用具有不同焦距的镜头的多个拍摄单元的图像拍摄装置执行的图像拍摄方法的流程图。
具体实施方式
示例性实施例可以进行各种修改。因此，在附图中示出了具体的示例性实施例，并且在详细描述中详细描述了这些具体的示例性实施例。提供描述中定义的事物，诸如详细的结构和元素，以帮助全面理解本发明的(多个)概念。因此，很明显，可以在没有那些具体定义的事物的情况下执行示例性实施例。此外，不详细描述公知的功能或结构，因为它们将以不必要的细节模糊示例性实施例。在下文中，应当理解，诸如“至少一个”的表达当出现在一列元素之前时，修饰整列元素，并且不修饰列表中的单个元素。
图1是根据示例性实施例的图像拍摄装置100的示图。
参考图1，图像拍摄装置100在其后表面包括两个拍摄单元111和112(例如，相机、图像捕获器等)。因此，图像拍摄装置100可以通过两个拍摄单元111和112相对于同一个被摄体执行拍摄来获得两个图像，并且可以通过处理所获得的两个图像来生成合成图像。
同时，尽管在图1中示出了两个拍摄单元111和112，但是应当理解，一个或多个其他示例性实施例不限于此，并且可以包括多于两个拍摄单元。也就是说，图像拍摄装置100的结构不限于此，并且在其他示例性实施例中可以变化。这将在下面详细描述。
图2是根据示例性实施例的图像拍摄装置100的配置的框图。
参考图2，图像拍摄装置100包括多个拍摄单元110、存储单元120(例如，存储器)、图像处理单元130(例如，图像处理器)、控制单元140(例如，控制器)、以及显示单元150(例如，显示器)。关于这一点，图像拍摄装置100可以被实现为各种类型的电子装置，诸如电视机(TV)、电子板、电子表格、大型显示器(large format display，LFD)、智能电话、平板、台式个人计算机(PC)、笔记本、上网本、便携式多媒体播放器(PMP)、数字相机等。
多个拍摄单元110包括不同焦距的镜头，并且拍摄具有不同分辨率的图像。焦距越短，则光圈值越小，使得入射光的量增加，从而获得具有亮的质量的图像。焦距越长，则光圈值越大，使得入射光的量减少，从而获得暗的质量的图像。
具有短焦距的镜头被称为广角镜头(wide-angle lens)。具有长焦距的镜头被称为长焦镜头(telephoto lens)。关于这一点，从广角镜头获得的图像被定义为宽图像(wideimage)，而从长焦镜头获得的图像被定义为远摄图像(tele image)。通过具有不同焦距的镜头获得的图像具有不同的分辨率。
更详细地，多个拍摄单元110可以包括镜头、快门、光圈、固态成像设备(solidimaging device)、模拟前端(AFE)、定时发生器(TG)和图像传感器。快门调整从被摄体反射的光传到图像传感器的时间。光圈通过机械地增加或减少光进入的开口(opening)的尺寸来调整入射到镜头上的光的量。如果从被摄体反射的光被累积为光电荷，则固态成像设备通过光电荷输出图像作为电信号。TG输出用于读出固态成像设备的像素数据的定时信号。AFE对从固态成像设备输出的电信号进行采样和数字化。下面将提供每个元件的详细描述。
存储单元120存储由多个拍摄单元110拍摄的多个图像。存储单元120可以被实现为存储介质，诸如非易失性存储器(例如，闪存和电可擦除只读存储器(EEROM))、硬盘等。存储单元120可以将多个存储的图像提供给图像处理单元130。
图像处理单元130将多个图像的属性调整为彼此对应。更详细地，图像处理单元130可以处理由多个拍摄单元110拍摄的原始图像数据以生成YCbCr数据。图像处理单元130确定图像黑色电平并调整每种颜色的灵敏度比率。另外，图像处理单元130调整白平衡并执行伽马校正、颜色插值、颜色校正和分辨率转换。具体地，图像处理单元130可以调整由多个拍摄单元110拍摄的多个图像的颜色校正和白平衡，以允许多个图像的属性相同。
控制单元140控制图像拍摄装置100的一般操作。控制单元140控制多个拍摄单元110以获得原始图像数据，并控制图像处理单元130在显示单元150上显示实时取景图像(live view image)。如果接收到诸如按下快门的拍摄命令，则控制单元140对原始图像数据执行图像处理以生成静止图像。在运动图像拍摄模式中，控制单元140控制图像处理单元130生成运动图像。
具体地，如果输入了放大率改变命令，则控制单元140可以控制图像处理单元130来合成其属性被调整的多个图像，并且生成根据放大率改变命令改变了放大率的合成图像。关于这一点，放大率(magnification)可以包括拍摄期间的拍摄放大率，并且可以包括当通过显示单元150显示拍摄的图像时扩大或减小显示的图像的放大率。拍摄放大率(photographing magnification)指的是在拍摄期间通过显示单元150显示的实时取景图像的放大率。
更详细地，如果在显示单元150上显示实时取景图像的同时输入了放大率改变命令，则控制单元140可以合成其属性被调整的多个图像，并且生成和显示根据放大率改变命令改变了放大率的合成图像。如果输入了用于扩大或减小通过显示单元150显示的拍摄图像(即，用于在图像的再现期间改变放大率)的命令，则控制单元140可以合成其属性被调整的多个图像，并且生成和显示与改变的拍摄放大率相对应的合成图像。
显示单元150可以显示合成图像。为此，显示单元150可以被实现为液晶显示器(LCD)、有机发光显示器(OLED)、有源矩阵OLED(AMOLED)、等离子体显示面板(PDP)等。
图3是用于解释根据示例性实施例的生成与改变的拍摄放大率相对应的合成图像的过程的示图。
图3示出了在多个拍摄单元110包括1x放大镜头和5x放大镜头的情况下，从多个拍摄单元110中的每一个获得的图像中生成与改变的拍摄放大率相对应的合成图像的过程。
控制单元140可以控制图像处理单元130从多个图像中检测与改变的拍摄放大率对应的尺寸的每个局部区域，并合成检测到的局部区域以生成合成图像。
例如，如果从包括1x放大镜头的拍摄单元110获得的1x放大率图像是宽视图图像310，并且从包括5x放大镜头的拍摄单元110获得的5x放大率图像是远摄视图图像320，则控制单元140控制图像处理单元130从1x放大率的宽视图图像310中检测与2x、3x和4x放大率尺寸相对应的区域。
更详细地，控制单元140从宽视图图像310中检测与2x放大率尺寸相对应的区域311。由于2x放大率图像是与1x放大率图像相比扩大的图像，因此与2x放大率尺寸相对应的区域311小于宽视图图像310的尺寸。控制单元140控制图像处理单元130将检测到的与2x放大率尺寸相对应的区域311扩大为1x放大率图像的尺寸，并且将扩大的1x放大率图像显示在全屏幕上。
控制单元140可以控制图像处理单元130将5x放大率远摄视图图像320缩小(downsize)到2x放大率图像321。控制单元140可以控制图像处理单元130合成从宽视图图像310中检测到的与2x放大率尺寸相对应的区域311扩大的1x放大率图像和通过缩小5x放大率远摄视图图像320而生成的2x放大率图像321，以生成2x放大率合成图像330。
同样地，控制单元140可以控制图像处理单元130从宽视图图像310中检测与3x放大率尺寸相对应的区域312，将检测到的与3x放大率尺寸相对应的区域312扩大到1x放大率图像的尺寸，并且在全屏幕上显示扩大的1x放大率图像。控制单元140可以控制图像处理单元130将5x放大率远摄视图图像320缩小到3x放大率图像322。控制单元140可以控制图像处理单元130合成从宽视图图像310中检测到的与3x放大率尺寸相对应的区域312扩大的1x放大率图像和通过缩小5x放大率远摄视图图像320而生成的3x放大率图像322，以生成3x放大率合成图像330。
类似地，控制单元140可以控制图像处理单元130从宽视图图像310中检测与4x放大率尺寸相对应的区域313，将检测到的与4x放大率尺寸相对应的区域313扩大为1x放大率图像的尺寸，并在全屏幕上显示扩大的1x放大率图像。控制单元140可以控制图像处理单元130将5x放大率远摄视图图像320缩小到4x放大率图像323。控制单元140可以控制图像处理单元130合成从宽视图图像310中检测到的与4x放大率尺寸相对应的区域313扩大的1x放大率图像和通过缩小5x放大率远摄视图图像320而生成的4x放大率图像323，以生成4x放大率合成图像330。
关于这一点，通过扩大从宽视图图像310中检测到的与2x、3x和4x放大率尺寸相对应的区域311、312和313而生成的1x放大率图像，和通过缩小远摄(tele)视图图像320而生成的2x、3x和4x放大率图像321、322和323具有不同的分辨率。更详细地，由于通过缩小远摄视图图像320而生成的2x、3x和4x放大率图像321、322和323是5x放大率图像的缩减(reduction)，所以2x、3x和4x放大率图像321、322和323与通过扩大从宽视图图像310检测到的与2x、3x和4x放大率尺寸相对应的区域311、312和313而生成的1x放大率图像相比具有相对较高的分辨率。
因此，2x、3x和4x放大率合成图像330包括通过扩大从宽视图图像310中检测到的与2x、3x和4x放大率尺寸相对应的区域311、312和313而生成的所有1x放大率图像，以及通过缩小远摄视图图像320而生成的2x、3x和4x放大率图像321、322和323。
因此，当用户放大或缩小(zoom in or out)通过缩小远摄视图图像320而生成的2x、3x和4x放大率图像321、322和323时，2x、3x和4x放大率图像321、322和323可以在维持5x放大率的高分辨率的同时被扩大。
生成和显示包括包括不同分辨率的区域的合成图像330的操作可以应用于如上所述当在显示实时取景图像的同时输入用于改变拍摄放大率的改变命令时的情况和输入用于扩大或减小拍摄的图像(即，用于在图像的再现期间改变放大率)的命令的情况。
因此，与使用包括固定的放大镜头的单个拍摄单元执行数字变焦以及拍摄或再现图像的情况相比，用户可以获得更高分辨率的图像。
图4A和图4B是用于解释根据一个或多个示例性实施例的合成图像的效果的示图。
参考图4A，通过合成从每一个都包括了长焦镜头和广角镜头的多个拍摄单元110获得的长焦镜头图像41和广角镜头图像42，生成了指示失焦效果(outfocusing effect)的合成图像43。
更详细地，当通过使用广角镜头拍摄被摄体时，由于焦距较短，所以视角较宽，并且产生由于景深(depth of field)较深而看起来使整个图像聚焦的扇形聚焦效果(fanfocus effect)。也就是说，通过广角镜头获得的图像对于整个图像具有一致的分辨率。
相比之下，当通过使用长焦镜头拍摄被摄体时，由于焦距较长，所以视角较窄，并且由于景深较浅，所聚焦的被摄体具有高分辨率，而产生了表示使除了被摄体之外的背景模糊的模糊效果(例如，散景效果(bokeh effect))的失焦效果。也就是说，通过长焦镜头获得的图像在被摄体和除了被摄体之外的背景之间具有不同的分辨率。
例如，如图4A所示，如果控制单元140合成具有扇形聚焦效果的广角镜头图像42和相对于广角镜头图像42具有失焦效果的长焦镜头图像41，则生成通过模糊包括在广角镜头图像42中的被摄体的周围而具有失焦效果的合成图像43。也就是说，在这种情况下，控制单元140进行控制以使包括在广角镜头图像42中的被摄体的周围模糊。
合成图像43的方形区域43-1是其中长焦镜头图像41被合成到广角镜头图像42的区域(例如，合成区域)。具有更高分辨率的长焦镜头图像41的被摄体的区域和长焦镜头图像41的被摄体的周围的模糊区域被合成在方形区域43-1中，因此产生失焦效果。
关于这一点，除了方形以外，其中存在长焦镜头图像41的方形区域43-1可以具有各种形状，并且通过为了长焦镜头图像41和广角镜头图像42的自然合成而避免被摄体的主边缘组件，可以具有像任意齿轮的多边形形状。
由于合成的长焦镜头图像41的分辨率高于广角镜头图像42的分辨率，因此当对合成图像43的方形区域43-1执行拍摄或再现时，虽然扩大了放大率，但是在维持较高分辨率的同时可以显示长焦镜头图像41。然而，模糊区域对应于用于失焦效果的有意的模糊效果，并且因此，模糊区域的分辨率较低，并且聚焦的被摄体的分辨率增加。
如图4B所示，如果控制单元140合成具有扇形聚焦效果的广角镜头图像45和具有失焦效果的长焦镜头图像44，则生成了增加了包括在长焦镜头图像41中的模糊的被摄体周围的分辨率的具有扇形聚焦效果的合成图像46。
合成图像46的方形区域46-1是其中广角镜头图像45被合成到长焦镜头图像44的区域(例如，合成区域)。广角镜头图像45的被摄体的周围的非模糊区域被合成在方形区域46-1中，并且因此，长焦镜头图像44的被摄体的周围的模糊区域的分辨率增加，从而产生了扇形聚焦效果。
由于合成的长焦镜头图像44的分辨率高于广角镜头图像45的分辨率，因此如果长焦镜头图像44的模糊区域的分辨率也通过广角镜头图像45增加，则长焦镜头图像44的整体分辨率增加，并且当执行拍摄或再现时，虽然扩大了放大率，但是可以在维持高分辨率的同时显示长焦镜头图像44。
当用户通过使用包括多个拍摄单元110的图像拍摄装置100拍摄被摄体时，控制单元140可以允许用户通过实时取景图像选择失焦效果或扇形聚焦效果，并且通过根据选择结果生成合成图像来提供合成图像。当再现所拍摄的图像时，控制单元140可以通过合成多个拍摄的图像的全部来允许再现指示失焦效果的图像或指示扇形聚焦效果的图像。
图5是用于解释根据示例性实施例的多个拍摄单元111和112的拍摄定时的示图。
参考图5，如果假设多个拍摄单元111和112包括2x放大率长焦镜头和1x放大率广角镜头，则远摄(tele)2x图像410在时间t1被拍摄并通过2x放大率长焦镜头获得，并且宽1x图像420在时间t2被拍摄并通过1x放大率广角镜头获得。也就是说，图像通过2x放大率长焦镜头和1x放大率广角镜头被拍摄和获得的定时可以不同。具体地，当被摄体移动或者包括多个拍摄单元111和112的图像拍摄装置100移动时，通过2x放大率长焦镜头和1x放大率广角镜头获得的图像可以是不同定时的图像，因此可以获得不同的图像。
这样，当合成不同的图像以生成合成图像时，可以向用户呈现通过合成两个不同的图像而获得的不清楚的图像。因此，在合成从多个拍摄单元111和112获得的图像中，可以实施检测和合成通过拍摄同一个被摄体而获得的相同的图像的技术。
当包括多个拍摄单元110的图像拍摄装置100移动或者被摄体移动时(即，响应于检测到这样的移动)，控制单元140可以不合成多个获得的图像，而是可以只显示多个获得的图像中的一个。关于这一点，可以根据用户的选择、默认设定等来设置所显示的图像。
控制单元140可以使包括在多个拍摄单元110中的每个图像传感器的复位信号的提供定时同步，并且可以使多个拍摄单元110的拍摄定时同步。
更详细地，如果控制单元140使提供给包括在多个拍摄单元110中的每个图像传感器的复位信号的定时同步，则图像传感器接收光的时间，即曝光时间是相同的。如果光开始进入包括在多个拍摄单元110中的每一个中的图像传感器的时间和光被阻挡的时间是相同的，则通过多个拍摄单元110获得的图像是相同的，使得控制单元140可以通过多个拍摄单元110获得多个同步的图像。关于这一点，所获得的图像是相同的，这意味着通过拍摄同一被摄体获得相同的图像，而不管放大率的差异。
也就是说，如果曝光时间相同，尽管包括多个拍摄单元110的图像拍摄装置100移动或者被摄体移动，由于从移动被摄体反射的光同时进入每个图像传感器，因此，通过多个拍摄单元110获得的多个图像是关于同一被摄体的图像。因此，控制单元140可以不执行单独的(separate)同步操作，而是合成多个获得的图像以生成合成图像。
虽然在上述示例性实施例中曝光时间可以被控制为相同，但是应当理解，一个或多个其他示例性实施例不限于此。例如，根据另一示例性实施例，控制单元140可以控制或同步提供给包括在多个拍摄单元110中的每个图像传感器的复位信号的定时，使得图像传感器接收光的时间可以重叠(例如，在曝光时间、快门速度等在多个拍摄单元110之间不同的情况下)。在这种情况下，可以提供复位信号，使得对于各个拍摄单元110的曝光时间同时开始，同时结束等。
同时，可以通过在电子快门中使由控制单元140提供给图像传感器的复位信号的定时同步来执行图像传感器的曝光时间控制，而在使用电子第一帘式快门(curtainshutter)的机械快门中，可以通过使在用于控制电子第一帘式的信号之后输入的电子前快门(EFS)信号的定时同步来执行图像传感器的曝光时间控制。
如上所述，当不直接控制图像传感器的曝光时间时，控制单元140可以根据检测到的被摄体和/或图像拍摄装置100的移动或者根据检测到的所获得的图像之间的差异来确定是否同步所获得的图像。更详细地，控制单元140可以基于包括在多个图像中的公共区域来确定是否同步多个图像。
图6是用于解释根据示例性实施例的确定是否彼此同步多个图像的过程的示图。
参考图6，控制单元140相对于包括在从多个拍摄单元110获得的多个图像10-1、20-1和30-1中的公共区域510设置感兴趣区域(ROI)区域520。关于这一点，ROI区域520是设置为确定是否同步多个图像10-1、20-1和30-1的感兴趣区域，并且其尺寸和数量可以被改变或变化。
控制单元140可以通过使用诸如绝对差之和(SAD)的技术来确定是否根据包括在ROI区域520中的像素的时间来同步信息改变。当使用SAD技术时，如果SAD的值暂时近似于0，则控制单元140可以确定输入图像相同，并且确定输入图像是同步的。
关于这一点，SAD技术处理数字图像，其是测量多个图像之间的相似性的算法技术。SAD技术基于构成每个图像的像素当中的每个对应的像素的信息对像素之间的差异进行数字化和求和，从而测量多个图像之间的相似性。
在图6中，排列了从三个拍摄单元时间连续获得的(time serially obtained)图像10、20和30。三个拍摄单元的拍摄定时是不同的，并且因此，基于在图像10-1、20-1和30-1之间设置的公共区域510中的ROI区域520，控制单元140可以确定在所测量的SAD的值是0的时间530，图像10-1、20-1和30-1是同步的。因此，控制单元140可以合成与确定多个图像同步的时间相对应的多个图像，而不必分别(separately)同步多个图像，生成合成图像，以及显示或输出合成图像。
然而，由于在除了SAD的值为0的时间530之外的时间区域中从三个拍摄单元获得的图像10、20和30的SAD的值不接近0并且不相同，所以控制单元140确定多个图像每次都处于非同步状态。当确定多个图像每次都处于非同步状态时，控制单元140可以延迟处理并且每次都同步至少一个图像帧。
图7是用于解释根据示例性实施例的同步处于非同步状态的图像的过程的示图。
图7示出了从每1秒拍摄30帧的拍摄单元1获得的多个图像，从每1秒拍摄15帧的拍摄单元2获得的多个图像，以及从每1秒可变地拍摄7到15帧的拍摄单元3获得的多个图像。
当确定从拍摄单元1、2和3获得的多个图像同步时(620)，控制单元140合成图像以生成和显示合成图像。当确定从拍摄单元1、2和3获得的多个图像不同步时，如果控制单元140合成图像以生成合成图像，则合成了不同的图像而生成了不清楚的图像。
因此，控制单元140可以确定输入图像之间的拍摄定时的相对延迟时间，延迟处理，并且使在相对快的拍摄定时拍摄的图像帧同步。例如，在图6中，由拍摄单元1和2获得的图像具有相同的定时，而由拍摄单元3获得的图像是在可变定时获得的图像，因此图像可以具有快或慢的拍摄定时。
控制单元140可以基于拍摄单元1或2确定拍摄单元3的拍摄定时的延迟时间610，将处理由拍摄单元3获得的以相对快的拍摄定时拍摄的图像帧延迟所确定的延迟时间610，并且同步和合成该图像帧和由拍摄单元1或2获得的图像。
同时，控制单元140可以基于包括在多个图像中的公共区域来确定是否同步多个图像，并且如果多个图像处于非同步状态，则使多个拍摄单元中的每一个的拍摄定时同步。
更详细地，当作为如上所述参考图6基于相对于包括在通过多个拍摄单元110获得的多个图像中的公共区域510设置的ROI区域520确定是否同步多个图像的结果，难以通过延迟处理图7的图像帧来同步多个图像时，控制单元140可以向多个拍摄单元110中的每一个发送拍摄定时控制信号，以使拍摄定时信号彼此相同。
同时，控制单元140可以基于包括在多个图像中的公共区域中的被摄体的移动程度来调整多个图像中的每一个的合成率。
图8是示出根据示例性实施例的合成率的图形。
参考图8，水平轴表示被摄体或包括多个拍摄单元110的图像拍摄装置100的移动尺寸，而垂直轴表示通过多个拍摄单元110获得的多个图像之间的合成率。图形710和720示出了在移动尺寸和合成率之间的关系，并且相对于相同的移动尺寸表示不同的合成率。
例如，当移动尺寸是10时，根据第一图形710，合成率是0.6，因此控制单元140可以通过将通过多个拍摄单元110获得的图像中的一个图像的合成率调整为0.6，将其他图像的合成率调整为0.4，来合成所述一个图像和其他图像。
当移动尺寸是10时，根据第二图形720，合成率为0.1，因此控制单元140可以通过将通过多个拍摄单元110获得的图像中的一个图像的合成率调整为0.1，将其他图像的合成率调整为0.9，来合成所述一个图像和其他图像。
也就是说，即使被摄体移动或图像拍摄装置100移动，控制单元140也可以调整通过多个拍摄单元110获得的多个图像中的每一个的合成率，合成没有失真的图像，并且显示合成后的图像。
同时，描述了当包括多个拍摄单元110的图像拍摄装置100移动或被摄体移动时，控制单元140停止合成多个获得的图像，并且仅显示多个获得的图像中的一个的示例。在这样的示例性实施例中，参考图8，当移动尺寸非常大时，合成率为1，并且因此控制单元140可以通过将通过多个拍摄单元110获得的图像中的一个图像的合成率调整为1，将其他图像的合成率调整为0，来合成所述一个图像和其他图像。
如上所述，控制单元140可以通过根据被摄体或图像拍摄装置100的移动尺寸的程度调整多个图像之间的合成率，来生成并向用户提供没有失真的合成图像。关于这一点，可以通过多个图像之间的差分图像、SAD的值和单独的移动检测单元(例如，移动检测器)(诸如包括在图像拍摄装置100中的陀螺仪传感器)中的至少一个来计算移动尺寸。
图9是根据示例性实施例的控制单元140的详细配置的框图。
参考图9，控制单元140可以包括图像同步确定单元141(例如，图像同步确定器)、图像同步控制单元142(例如，图像同步控制器)、帧延迟控制单元143(例如，帧延迟控制器)、控制信号输出单元144(例如，控制信号输出设备或者控制信号输出器)、图像输出单元145(例如，图像输出设备或者图像输出器)、以及图像同步信息输出单元146(例如，图像同步信息输出设备或者图像同步信息输出器)。
更详细地，图像同步确定单元141确定是否使从多个拍摄单元111和112输入的多个图像同步。如图6所示，图像同步确定单元141可以相对于包括在从多个拍摄单元111和112获得的多个图像中的公共区域510设置ROI区域520，并且通过使用诸如SAD的技术来确定是否根据构成设置的ROI区域520的像素的时间来同步信息改变。当使用SAD时，如果确定SAD的时间方差(variance)在每个输入图像中是相同的，则图像同步确定单元141可以确定多个图像是同步的。关于这一点，SAD技术处理数字图像，其是测量多个图像之间的相似性的算法技术。SAD技术基于构成每个图像的像素当中的每个对应像素的信息对像素之间的差异进行数字化和求和，从而测量多个图像之间的相似性。
图像同步确定单元141基于测量的多个图像之间的相似性来确定是否同步多个图像，并将确定的结果提供给图像同步控制单元142。
图像同步控制单元142不对与多个图像被同步的确定时间相对应的多个图像单独地执行同步，而是通过图像输出单元145直接合成多个图像，以生成和显示合成图像。
然而，作为通过图像同步确定单元141基于所测量的多个图像之间的相似性来确定是否同步多个图像的结果，当多个图像处于非同步状态时，即当SAD的方差不同时，则图像同步控制单元142可以控制帧延迟控制单元143延迟处理并同步至少一个图像帧。
更详细地，帧延迟控制单元143可以确定输入图像之间的拍摄定时的相对延迟时间，延迟处理，并且同步以相对快的拍摄定时拍摄的图像帧。
例如，如上面参考图6所描述的，当从多个拍摄单元111和112获得的图像的拍摄定时不同时，帧延迟控制单元143可以确定拍摄单元11和112之间的拍摄定时的延迟时间，并且当拍摄单元112具有与拍摄单元111相比相对更快的拍摄定时时，帧延迟控制单元143可以将处理从拍摄单元112获得的图像帧延迟所确定的延迟时间，并且同步和合成该图像帧和从拍摄单元111获得的图像。
作为通过图像同步确定单元141基于所测量的多个图像之间的相似性来确定是否同步多个图像的结果，当多个图像处于非同步状态时，即当SAD的方差不同时，则图像同步控制单元142可以控制控制信号输出单元144生成用于使多个拍摄单元111和112的拍摄定时同步的控制信号。
更详细地，如上面参考图7所描述的，当仅通过延迟处理图像帧难以同步多个图像时，图像同步控制单元142可以控制控制信号输出单元144向多个拍摄单元111和112中的每一个发送拍摄定时控制信号，以使拍摄定时信号彼此相同。
图像同步信息输出单元146可以与合成图像一起输出多个图像之间的同步信息。
同时，当合成从多个拍摄单元110获得的多个图像时，虽然仅合成具有相同属性的图像，但是合成图像可以被显示为具有一个属性的一个图像。现在将描述多个获得的图像的属性的调整。
根据示例性实施例的图像的属性可以包括颜色和白平衡中的至少一个，但是应当理解，一个或多个其他示例性实施例不限于此。例如，图像的属性还可以包括锐度、对比度、国际标准组织(ISO)灵敏度等中的至少一个。
控制单元140可以以关于多个图像之一的颜色和白平衡相同的方式来调整多个图像中的其他图像的颜色和白平衡。
通常，通过分析拍摄的图像来预测光源的色温，以便调整颜色和白平衡。关于这一点，控制单元140通过以下过程来调整颜色和白平衡：通过从图像信号提取被确定为灰色的区域的值来调整红色(R)、绿色(G)和蓝色(B)的每个颜色通道的增益值。然而，在这种情况下，可能难以找到多个图像之间的精确匹配位置，因此可能难以重建精确的颜色，并且发生颜色噪声。
因此，根据示例性实施例的控制单元140以关于多个图像中的一个图像的颜色和白平衡相同的方式调整多个图像中的其他图像的颜色和白平衡。更详细地，基于通过广角镜头获得的图像的属性来调整其他图像的属性。这将在下面详细描述。
多个拍摄单元包括：包括广角镜头的第一拍摄单元和包括长焦镜头的至少一个第二拍摄单元。控制单元140可以相对于从第一拍摄单元获得的第一图像的颜色和白平衡来调整从至少一个第二拍摄单元获得的至少一个第二图像的颜色和白平衡。
同时，以上参考图9描述的元件可以被实现为硬件或软件，其可以存储在存储器单元或中央处理单元(CPU)中，来以相同方式执行上述元件的处理。
图10是根据示例性实施例的用于处理图像的属性的图像拍摄装置100的配置的框图。
参考图10，图像拍摄装置100可以包括第一拍摄单元111(例如，第一相机、第一图像捕获器等)、第二拍摄单元112(例如，第二相机、第二图像捕获器等)、存储单元120(例如，存储器)、图像处理单元130(例如，图像处理器)、控制单元140(例如，控制器)和显示单元150(例如，显示器)。关于这一点，存储单元120、图像处理单元130和显示单元150如上所述，因此省略其冗余描述。
第一拍摄单元111是包括广角镜头的拍摄单元。第二拍摄单元112是包括长焦镜头的拍摄单元。尽管在图10中仅示出了一个第二拍摄单元112，但是在各种其他示例性实施例中，图像拍摄装置100可以包括多个第二拍摄单元112，其包括具有不同放大率的长焦镜头。
控制单元140从通过包括广角镜头的第一拍摄单元111获得的广角图像中检测灰度测量信息，将对应的信息发送到另一个拍摄单元，即第二拍摄单元112，并且调整所有拍摄单元的颜色和白平衡。也就是说，广角镜头具有短焦距和宽视角，并且可以获得亮的质量的图像，使得控制单元140基于通过广角镜获得的图像的属性信息调整包括长焦镜头的拍摄单元的颜色和白平衡。
同时，这种调整图像属性的操作可以应用于以下操作：在显示实时取景图像的同时显示通过调整通过多个拍摄单元110获得的图像的属性而合成的图像的操作，以及显示通过如上所述合成拍摄的图像而获得的图像的操作。
虽然上面描述了调整图像的属性当中的颜色和白平衡的示例，但是在各种其他示例性实施例中，控制单元140还可以调整图像的属性，诸如锐度、对比度、ISO等。在锐度和对比度方面，控制单元140不仅可以基于从广角镜头获得的图像的属性来调整从长焦镜头获得的图像的属性，而且还可以比较从广角镜头获得的图像和从长焦镜头获得的图像，选择具有更好的锐度和对比度的图像，并且基于所选择的图像调整另一图像的锐度和对比度。
同时，包括在多个拍摄单元中的每一个中的图像传感器可以包括相同模式的彩色像素，或者可以包括不同模式的彩色像素。
图11是根据示例性实施例的不同模式的彩色像素的示图。
图11中示出了CMY拜尔模式1110和RGB拜尔模式1120。
更详细地，拜尔模式涉及布置在图像传感器中的彩色像素的排列模式，并且可以用于诸如数字相机、摄像机、扫描仪等的用于生成彩色图像的设备中。
具体地，CMY拜尔模式1110涉及青色、品红色和黄色的彩色像素的排列模式，并且RGB拜尔模式1120涉及红色、绿色和蓝色的彩色像素的排列模式。关于这一点，在CMY拜尔模式1110中，C、M和Y分别呈现青色的彩色像素、品红色的彩色像素和黄色的彩色像素。在RGB拜尔模式1120中，R、G和B分别呈现红色的彩色像素、绿色的彩色像素和蓝色的彩色像素。
参考图10，假设根据CMY拜尔模式1110，彩色像素被配置在包括广角镜头的第一拍摄单元111的图像传感器中，并且根据RGB拜尔模式1120，彩色像素被配置在包括长焦镜头的第二拍摄单元112的图像传感器中。
控制单元140可以基于从包括相同模式或不同模式的彩色像素的每个图像传感器获得的多条色谱信息来生成表示被摄体的物理属性的合成图像。
也就是说，控制单元140可以通过根据CMY拜尔模式1110配置彩色像素的第一拍摄单元111的图像传感器和根据RGB拜尔模式1120配置颜色像素的第二拍摄单元112的图像传感器获得同一被摄体的不同的色谱信息，并且基于不同的色谱信息通过超光谱成像技术生成表示被摄体的物理属性的合成图像。基于不同的色谱信息生成表示被摄体的物理属性的图像的技术被称为超光谱成像技术。
关于这一点，在一个或多个其他示例性实施例中，不同模式的彩色像素不限于RGB拜尔模式1120和CMY拜尔模式1110，并且每个图像传感器可以包括各种模式的彩色像素。因此，控制单元140可以不显示表示被摄体的轮廓和颜色的图像，而是显示表示被摄体的物理属性的图像。
图12和图13是根据示例性实施例的包括深度传感器的图像传感器1200的示图。
参考图12，除了根据多个不同模式1110和1120当中的一个模式排列的颜色像素之外，图像传感器1200还可以包括检测被摄体的深度信息的像素1210。关于这一点，检测深度信息的像素1210被定义为深度传感器。
关于这一点，当检测深度信息的像素1210被实现为其中像素在图像传感器上以均匀间隙间隔和分布的离散结构时，可以获得整个输入图像信息的三维(3D)深度，并且可以获得整个图像的图像。
当检测深度信息的像素1210被实现为其中在图像传感器上的预定区域中收集像素的结构时，可以获得整个输入图像信息的特定区域的3D深度。在这种情况下，可以通过另一相机的图像获得其中收集了检测深度信息的像素1210的特定区域的图像。
在图12中描述了将深度传感器1210定位在图像传感器1200的边缘中的示例，但是应当理解，一个或多个其他示例性实施例不限于此。
控制单元140可以基于检测到的深度信息生成根据放大率改变命令而改变了放大率的3D图像。
更详细地，参考图13，多个拍摄单元110当中包括广角镜头的拍摄单元的图像传感器不包括深度传感器，并且包括长焦镜头的拍摄单元的图像传感器包括彩色像素1110和深度传感器1210，即检测被摄体的深度信息的像素。
控制单元140可以从多个拍摄单元110当中包括广角镜头的拍摄单元的图像传感器获得宽图像1310，并且从包括长焦镜头的拍摄单元的图像传感器获得远摄图像1320。关于这一点，远摄图像1320不仅包括关于图像的信息，还包括被摄体之间的深度信息。因此，控制单元140可以从包括深度信息的远摄图像1320中检测深度信息，并且生成映射检测到的深度信息的深度图1330。控制单元140可以基于生成的深度图1330合成宽图像1310和远摄图像1320，并且可以生成改变的拍摄放大率的3D图像1340。
这样的通过使用深度信息生成3D图像的操作可以应用于在如上所述显示实时取景图像的同时输入用于改变拍摄放大率的改变命令的情况，以及在再现图像的同时输入用于扩大或缩小拍摄的图像(即，改变放大率)的命令的情况。
因此，控制单元140可以在显示被实现为3D图像的实时取景图像，并且允许用户通过显示单元150查看实时取景图像用于拍摄的同时增加活力(liveliness)，并且如果在显示实时取景图像的同时输入用于改变拍摄放大率的改变命令，可以在维持3D图像状态的同时显示与拍摄放大率相对应的合成图像。
控制单元140可以在再现拍摄的图像的同时再现(例如，控制以输出)二维(2D)图像，或者可以基于深度信息来转换和再现3D图像，并且如果在转换和再现3D图像的同时输入用于改变拍摄放大率的改变命令，可以在维持3D图像状态的同时显示与拍摄放大率相对应的合成图像。
同时，图14到图16是根据一个或多个示例性实施例的用户界面的示图。
控制单元140可以显示指示符，该指示符显示具有包括在与改变的拍摄放大率相对应的合成图像中的不同分辨率的多个区域，并且如果输入了用于指示符的用户命令，则可以显示与多个区域中的每一个相对应的多个图像中的至少一个。
参考图14，控制单元140可以显示指示符1410，该指示符1410显示包括在宽图像和远摄图像的合成图像上的远摄图像的区域，并且如果相对于显示在显示单元150上的合成图像中的指示符1410输入了用于扩大放大率的用户命令，则可以显示与用户命令相对应的远摄图像。
当用户输入用于相对于包括远摄图像的区域扩大放大率的命令时，控制单元140可以在维持高分辨率的同时提供与用户输入的扩大的放大率相对应的远摄图像，因此用户可以查看具有高分辨率的扩大的图像。
参考图15，在包括提供多个远摄图像的多个拍摄单元的图像拍摄装置100中，控制单元140可以提供包括所有远摄图像1510、1520和1530的宽图像1540，并且可以显示指示符，该指示符显示包括合成的宽图像1540中的远摄图像1510、1520和1530的不同的区域。
当用户相对于包括远摄图像1510、1520和1530的不同区域输入用于扩大放大率的命令时，控制单元140可以在维持高分辨率的同时显示与用户输入的扩大的放大率相对应的远摄图像1510、1520和1530。
同时，当用户相对于显示指示符的操作输入用于扩大放大率的命令时，该指示符显示包括以上参考图14和图15描述的在宽图像和远摄图像的合成图像上的远摄图像的区域和包括远摄图像的区域，在维持高分辨率的同时提供与用户输入的扩大的放大率相对应的远摄图像的操作可以应用于其中实时取景图像被显示和拍摄的图像被扩大或缩小，即，图像被再现的情况。
参考图16，控制单元140可以在显示实时取景图像的同时显示宽图像1620和与改变的拍摄放大率相对应的合成图像1610。
控制单元140还可以显示指示宽图像1620的区域的指示符1630，对于该区域显示与改变的拍摄放大率相对应的合成图像1610，以允许用户在维持改变的拍摄放大率的同时容易地选择期望的视角。
同时，尽管参考图16描述了显示实时取景图像的情况，但是根据一个或多个其他示例性实施例，当在扩大或缩小拍摄的图像(即，再现图像)的同时输入用于改变放大率的命令时，可以同时显示宽图像和与改变的放大率相对应的合成图像。
图17是根据示例性实施例的图像拍摄装置100的电路的配置的框图。
参考图17，图像拍摄装置100包括镜头111、固态成像设备112、TG 114、模拟前端(AFE)113、电机驱动器115、组合单元120(例如，组合器)、输入单元125(例如，输入设备或输入器)、图像处理单元130(例如，图像处理器)、通信单元135(例如，通信器)、控制单元140(例如，控制器)、显示单元150(例如，显示器)、同步动态随机存取存储器(SDRAM)模块160、存储卡170和通用串行总线(USB)模块190。
镜头111可以包括作为从被摄体反射的光入射的元件的单焦镜头。此外，根据示例性实施例的图像拍摄装置100可以包括多个镜头。此外，图像拍摄装置100还可以包括光圈(iris)。
光圈是用于调节通过镜头111入射到图像传感器上的光量的元件。光圈具有能够逐渐增大或减小开口尺寸以便调节入射光量的机械结构。光圈通过使用被称为F数值的光圈数值来显示开口程度。光圈的值越小，开口尺寸越宽，并且因此入射光的量增加，从而产生明亮的图像。然而，由于根据示例性实施例的镜头111可以用于假定单焦镜头，尽管光圈的值被改变并不常见，但是根据示例性实施例的图像同步和属性处理操作可以通过只假定单焦镜头来应用，并且操作可以应用于使用变焦镜头的情况。因此，当使用变焦镜头时，可以通过如上所述调节光圈的值来调节入射光量。
固态成像设备112是其中被摄体的图像通过镜头111并被形成的元件。固态成像设备112包括以矩阵形式排列的多个像素。多个像素中的每一个根据入射光累积光电荷，并且通过光电荷来输出图像作为电信号。固态成像设备112可以被配置为互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)。固态成像设备112的数量可以改变，或者可以根据镜头的数量而变化。
固态成像设备112可以包括光电二极管PD、传输晶体管TX、复位晶体管RX和浮动扩散节点FD。光电二极管PD产生并累积与被摄体的光学图像相对应的光电荷。传输晶体管TX响应于传输信号将由光电二极管PD产生的光电荷传输到浮动扩散节点FD。复位晶体管RX响应于复位信号而对存储在浮动扩散节点FD中的电荷进行放电。存储在浮动扩散节点FD中的电荷在施加复位信号之前输出。相关双采样(CDS)图像传感器执行CDS处理。然后，模数转换器(ADC)将执行CDS处理的模拟信号转换为数字信号。然而，应当理解，一个或多个其他示例性实施例不限于此，并且可以实现多种类型的成像设备(例如，2T像素、3T像素、4T像素、5T像素、伪CDS处理等)中的任何一种。
TG 114输出用于读出固态成像设备112的像素数据的定时信号。TG 114由控制单元140控制。
AFE 113对从固态成像设备112输出的被摄体上的电信号进行采样和数字化。AFE113由控制单元140控制。
然而，AFE 113和TG 114可以被提供为可替换元件。特别地，当固态成像设备112被实现为CMOS型时，可以省略AFE 113和TG 114。
电机驱动器115驱动聚焦镜头，并基于通过读出相位差像素获得的信息来设置聚焦。然而，当第一图像拍摄装置100被实现为其中用于聚焦的镜头未被驱动并且可以以软件方式处理的设备(例如，智能电话或蜂窝式电话)时，图像拍摄装置100可以不包括电机驱动器115。
图像处理单元130通过控制单元140的控制对原始图像数据执行图像处理，并将原始图像数据记录在SDRAM 160中。将SDRAM 160的图像处理数据传送到显示单元150。
在使用相位差的自动聚焦中，图像处理单元130在从固态成像设备112输出并由AFE 113采样的信号当中分离用于生成图像的信号(从正常像素读出的信号)和用于计算相位差的信号(从相位差像素读出的信号)。这是通过在通过使用用于计算相位差的信号快速计算相位差的同时，以并行方式生成实时取景图像之类的图像，来执行快速自动聚焦。
图像处理单元130将原始图像数据处理为YCbCr数据。原始图像数据的像素缺陷主要由校正电路校正。校正电路通过参考其中寄存缺陷像素的地址的校正表来校正像素缺陷。校正具有与缺陷像素的地址相同的地址的像素周围的像素。
图像处理单元130包括确定图像的黑色电平的光学黑(OB)钳位电路。固态成像设备112具有OB区域，检测OB区域的信号平均值，并且通过像素值的差来确定黑色电平。
图像处理单元130通过使用灵敏率调整电路对每种颜色执行不同的灵敏率调整。灵敏率调整电路调整在标准光源下的R、G和B颜色的灵敏度。通常，G的增益值被固定为1，R和B的灵敏度被设置为1。
当输出静止图像时，在执行灵敏率调整之后通过输出缓冲器输出图像数据。在这种情况下，以隔行方式生成图像，可以不立即执行后处理，而输出实时取景图像，以逐行方式生成图像，因此可以立即执行后处理。
图像处理单元130通过使用水平跳读(skip readout)电路对一些像素线执行读出，并且对其他像素线执行跳读，并且因此减少了原始图像的像素数。具体地，图像拍摄装置100可以显示其中迅速发生视场干扰的实时取景图像。在这种情况下，可以通过使用跳读方法来实时显示拍摄图像。
图像处理单元130通过使用WB调整电路来调整图像数据上的白平衡(WB)。由于照明光的光谱分布根据拍摄环境而不同，所以虽然拍摄了白色的被摄体，但是白色被摄体的图像可能不是白色的。通过给予R、G和B像素不同的增益值来设置信号电平。通常，G的增益值被固定为1，R和B的信号电平被设置为1。
图像处理单元130对图像数据执行伽马校正。根据显示单元150的输出的灰度转换通过伽马校正来执行。
图像处理单元130通过使用颜色插值电路从每像素配置为1颜色的拜耳信号生成被配置为每像素3颜色的一般彩色图像信号。
根据输出的颜色空间转换和颜色校正通过使用颜色转换/颜色校正电路来执行。如果需要，可以使用查找表(LUT)。图像数据在颜色转换/颜色校正之后改变为YCbCr数据。
图像处理单元130通过使用分辨率转换电路来转换分辨率并执行尺寸调整(resizing)。
图像处理单元130通过使用空间滤波器电路来处理图像数据上的空间滤波器。执行Y信号的边缘加重。执行Cb/Cr信号的低通滤波器(LPF)处理。
图像处理单元130通过使用CbCr跳读电路对Cb/Cr信号执行跳读，并将图像数据转换为YCbCr4:2:2的图像数据。图像数据通过输出缓冲器输出，并且经由总线被记录在SDRAM160中。
可以以隔行方式对静止图像执行读出。在这种情况下，由于不存在相邻的像素线，因此可以不直接处理颜色插值。因此，在执行预处理之后，通过输出缓冲器调整像素线顺序，并且图像数据以逐行方式存储在SDRAM 160中。这样的图像数据被再次读取，并且通过输入缓冲器被输入到图像处理单元130。
然而，应当理解，一个或多个其他示例性实施例不限于关于静止图像的隔行方式。可以以逐行方式读出静止图像。
同时，对于静止图像，可以生成在被拍摄之后被视为小图像或缩略图图像的预览图像。这可以通过省略一些像素的数据(如跳读)来完成。
图像处理单元130通过使用AF信号内插电路来内插相位差像素部分作为一般像素值。由于相位差像素被布置在一般像素之间，因此当照原样使用相位差像素部分时，可能发生分辨率损坏。因此，可以通过使用一般像素来执行内插。
根据上述图像处理单元130的处理，图像处理单元130可以在控制单元140的控制下基于通过多个拍摄单元110获得的多个图像之一的属性，以相同的方式调整多个图像当中的其他图像的属性。
同时，在分离电路中分离的相位差像素的信号经由第一总线被记录在SDRAM 160中。可以对所有的多个像素执行读出和分离，因此在很短的时间期间在SDRAM 160中累积每个相位差像素信号。
存储的相位差像素信号经由第一总线输入到相位差运算电路。相位差运算电路执行相位差像素之间的相位差运算，并计算聚焦镜头的移动方向和移动量。计算出的移动量被临时记录在包括在相位差运算电路中的寄存器中，并且由控制单元140(例如，CPU)读取。
控制单元140读取所计算的聚焦镜头的移动量以产生控制命令。所生成的控制命令被传送到电机驱动器115以驱动聚焦镜头。然而，如上所述，图像拍摄装置100可以不包括电机驱动器115。
可以提供JPEG编解码器来压缩YCbCr数据。压缩的图像数据被记录在SDRAM 160中。控制单元140读取记录在SDRAM 160中的压缩的图像数据，并将读取的图像数据记录在存储卡170中，因此生成图像的过程结束。
通信单元135用于执行与另一设备的通信。通信单元135可以以各种无线通信技术来实现。通信单元135可以包括在设备之间在没有中继设备的情况下执行直接通信的局域通信模块。当通信单元135被实现为有线通信模块时，通信单元135可以被包括作为组合单元120的组成部分。
组合单元120可以用于与另一设备耦合和固定，并用于执行有线通信。下面将描述组合单元120用于与另一设备组合的情况。
通信单元135可以包括WIFI直接通信模块、蓝牙模块、红外数据协会(IrDA)模块、近场通信(NFC)模块、Zigbee模块等中的至少一个。
应当理解，另一通信技术装置或接口可以包括在一个或多个其他示例性实施例中。例如，通信单元135可以包括蜂窝通信模块、第三代(3G)移动通信模块、第四代(4G)移动通信模块、4G长期演进(LTE)通信模块等中的至少一个。
USB模块190提供与外部设备的接口。当USB模块190通过USB电缆连接到PC或另一外部设备时，USB模块190处理图像数据的发送和接收。USB模块190处理用于执行固件升级的固件发送和接收。
输入单元125用于接收用户输入。输入单元125可以包括至少一个按钮。输入单元125可以包括位于显示单元150上的触摸屏。也就是说，输入单元125可以接收用于拍摄或捕获图像的触摸输入。
输入单元125不仅可以接收拍摄命令或图像捕获命令，而且可以接收用于调整拍摄图像的放大率的用户命令。
拍摄放大率调整命令可以是用于按下包括在图像拍摄装置100中的按钮的用户命令。例如，当输入单元125包括顶部按钮和底部按钮时，在显示实时取景图像的同时，如果输入用于按下顶部按钮的用户命令，则可以放大实时取景图像。在显示实时取景图像的同时，如果输入用于按下底部按钮的用户命令，则可以减小实时取景图像。
输入单元125可以被实现为触摸屏，以通过显示单元150接收用于调整拍摄图像的放大率的用户命令。
SDRAM 160用于存储图像或者通过CPU用于图像作业。在示例性实施例中，可以使用双倍数据速率(DDR)SDRAM，其允许系统时钟的上升端和下降端两者的输出，与上升端的输出相比，将上升端和下降端的输出提升了2倍。
存储卡170可以被配置为包括闪存，并且可以被实现为可从图像拍摄装置100拆卸的卡类型。存储卡170可以存储拍摄的图像文件。参考图1描述的存储单元120可以包括在存储卡170中。
虽然在上述示例性实施例中多个拍摄单元110被安装在图像拍摄装置100的固定位置，但是多个拍摄单元110中的至少一个可以被布置为在图像拍摄装置100中可移动，或者可以被实现为可连接到图像拍摄装置100的单独的独立设备(separate independentdevice)。现在将在下面详细描述根据各种示例性实施例的图像拍摄装置100的拍摄单元的配置。
图18到图25是用于解释根据一个或多个示例性实施例的图像拍摄装置的拍摄单元的结构的示图。
参考图18，多个拍摄单元111和112当中的第一拍摄单元111被布置在固定位置，而第二拍摄单元112被以可移动的形状制造。可以使用各种连接结构以允许第二拍摄单元112可连接到图像拍摄装置100。作为示例，可以在图像拍摄装置100的一个表面中形成(例如，提供)凹槽或轨道。在这种情况下，第二拍摄单元112可以根据其中第二拍摄单元112插入到凹槽或轨道中的突起结构与图像拍摄装置100组合，并且可以沿着凹槽或轨道移动。
因此，用户可以拍摄期望的视场和期望的被摄体，并且可以在调整第二拍摄单元112的位置的同时通过实时取景图像确认期望的视场和期望的被摄体。
如上所述，第一拍摄单元111和第二拍摄单元112可以被设计为具有诸如类型、拍摄放大率、视场等的不同规格。例如，第一拍摄单元111可以包括广角镜头，而第二拍摄单元112可以包括长焦镜头。
由图像处理单元130和控制单元140执行的图像处理过程和生成与改变的拍摄放大率相对应的合成图像的过程可以以同样的方式应用于图18的图像拍摄装置100的结构。
或者，如图19所示，图像拍摄装置100可以连接到外部拍摄单元110并执行拍摄。在这种情况下，诸如没有拍摄功能的TV或膝上型PC的图像拍摄装置可以如上所述作为图像拍摄装置100来操作。
虽然用户可以通过使用包括多个拍摄单元110的图像拍摄装置100来亲自执行拍摄，但是当多个拍摄单元110连接到图像拍摄装置100以执行拍摄时，可以以同样的方式应用由图像处理单元130和控制单元140执行的图像处理过程和生成与改变的拍摄放大率相对应的合成图像的过程。
例如，图19示出了TV，作为图像拍摄装置100。TV的控制单元140可以调整通过连接到TV的第一拍摄单元111和第二拍摄单元112获得的图像的属性以彼此对应，并且如果通过遥控器或包括在显示单元150中的触摸屏输入用于改变拍摄放大率的改变命令，则控制单元140可以合成其属性被调整的多个图像，可以生成与改变的拍摄放大率对应的合成图像并且可以在TV的显示单元150上输出合成图像。
尽管在图19中第一拍摄单元111和第二拍摄单元112通过线连接到TV，无线通信方法可以用于通过以上参考图17描述的通信单元135执行通信。
根据上述图19，即使当多个拍摄单元110没有整体提供在图像拍摄装置100(或者在图像处理装置)中时，用户将多个独立拍摄单元110有线地或者无线地连接到图像拍摄装置100。因此，如果通过图像拍摄装置100输入期望的拍摄放大率，则图像拍摄装置100的控制单元140可以调整由多个拍摄单元110拍摄的多个图像的属性以彼此对应，可以合成调整了属性的多个图像，可以生成与改变的拍摄放大率对应的合成图像，并且可以将合成图像显示为实时取景图像。如果在再现所拍摄的图像的同时输入用户所期望的再现放大率，则图像拍摄装置100的控制单元140可以合成调整了属性的多个图像，可以生成与改变的再现放大率相对应的合成图像，并可以显示合成图像。
以与图19中相同的方式，在图20中示出了其中多个拍摄单元110没有被包括在图像拍摄装置100中，而是独立地表示，并且被连接到图像拍摄装置100的情况，在图20中智能电话被示出为图像拍摄装置100。
同样，如以上参考图19所述，即使当多个拍摄单元110没有被整体提供在智能电话100中时，用户也将多个独立拍摄单元110有线地或者无线地连接到智能电话100。因此，如果通过智能电话100输入期望的拍摄放大率，则智能电话100的控制单元140可以调整由多个拍摄单元110拍摄的多个图像的属性以彼此对应，可以合成调整了属性的多个图像，可以生成与改变的拍摄放大率对应的合成图像，并且可以将合成图像显示为实时取景图像。如果在再现所拍摄的图像的同时输入用户所期望的再现放大率，则智能电话100的控制单元140可以合成调整了属性的多个图像，可以生成与改变的再现放大率相对应的合成图像，并可以显示合成图像。
同时，不仅对于多个拍摄单元110包括在或者连接到一个图像拍摄装置100的情况，而且对于拍摄装置100和200分别包括拍摄单元100-1和200-1的情况，可以以相同的方式应用由图像处理单元130和控制单元140执行的图像处理过程和生成与改变的拍摄放大率相对应的合成图像的过程。
在图21中，拍摄装置100和200被实现为智能电话。用户可以通过像图21那样重叠多个拍摄装置100和200(或者通过并排放置多个拍摄装置100和200)来执行拍摄。在这种情况下，如果用于相互连接的连接结构(例如，不平坦结构、连接环、磁性构件、闩锁等)被提供在多个拍摄装置100和200中，则用户可以通过使用连接结构固定地连接多个拍摄装置100和200。如果没有连接结构，则用户可以通过用户亲自用手同时持有多个拍摄装置100和200来执行拍摄。
用户可以通过有线或无线通信接口连接两个拍摄装置100和200，以通过使用多个拍摄装置100和200来执行拍摄。
在这个状态下，如果输入拍摄命令，则多个拍摄装置100和200的各个拍摄单元100-1和200-1执行拍摄，多个拍摄的图像被存储在多个拍摄装置100和200中的每一个的存储单元中，并且多个拍摄装置100和200中的每一个的控制单元可以调整多个拍摄的图像的属性，合成调整了其属性的多个拍摄的图像，并且生成合成图像。
在拍摄期间，如果从用户输入用于改变拍摄放大率的改变命令，则多个拍摄装置100和200中的每一个的控制单元可以显示与改变的拍摄放大率相对应的合成图像。
多个拍摄装置100和200中的每一个的视点或视场是不同的，因此多个拍摄装置100和200中的每一个的控制单元可以组合视点和视场以生成各种形式的拍摄图像。例如，控制单元可以生成具有由位于左侧的图像拍摄装置拍摄的图像作为左眼图像、和由位于右侧的图像拍摄装置拍摄的图像作为右眼图像的3D内容。可替代地，控制单元可以生成合成图像，该合成图像用由使用长焦镜头的图像拍摄装置拍摄的图像的至少一部分替换由使用广角镜头的图像拍摄装置拍摄的图像的一部分。可替代地，控制单元可以允许第一拍摄单元100-1拍摄运动图像，而第二拍摄单元200-1拍摄静止图像，或者允许第一拍摄单元100-1拍摄静止图像，而第二拍摄单元200-1拍摄运动图像，并且可以生成运动图像和静止图像的合成图像。
同时，可以自动执行多个拍摄装置100和200之间的通信连接。例如，如果在第一图像拍摄装置100中输入公共拍摄命令，则第一图像拍摄装置100可以通过使用诸如蓝牙或NFC的近场通信来搜索位于预先设置的距离内的另一图像拍摄装置。作为搜索的结果，如果找到第二图像拍摄装置200，则第一图像拍摄装置100可以连接以与找到的第二图像拍摄装置200通信。可替代地，如果在多个拍摄装置100和200之间执行标记，则可以自动执行通信。
如果连接通信，则用户可以一次通过使用拍摄装置来拍摄图像，并且控制单元可以通过包括在一个拍摄装置中的显示单元来显示实时取景或拍摄图像。用户可以通过至少一个拍摄装置输入诸如捕获命令、拍摄放大率改变命令、存储命令等的各种用户命令。
同时，在图21中描述了其中将拍摄装置100和200实现为分别包括拍摄单元100-1和200-1的智能电话的示例。然而，这仅仅是示例性实施例，并且图像拍摄装置100可以实现为各种电子设备，诸如平板PC、数字相机、摄像机、PDA、包括相机单元的PMP等。
在图22中示出了包括不同类型的拍摄装置100和2200的图像拍摄装置的组合结构。
参照图22，用户可以通过连接实现为蜂窝式电话的第一图像拍摄装置100和实现为相机的第二图像拍摄装置2200来产生拍摄系统。图22的第二图像拍摄装置2200可以以与第一图像拍摄装置100可物理组合的结构来制造。图22示出了在其中拍摄单元100-1被布置在第一图像拍摄装置100中的表面方向上连接第二图像拍摄装置2200的状态。在这种情况下，可以通过去除第一图像拍摄装置100的后表面的电池盖，以及通过使用电池盖和主体之间的连接结构将第二图像拍摄装置2200连接到第一图像拍摄装置100来制造多个拍摄装置。为了便于描述，这种类型的图像拍摄装置被称为盖型(cover type)拍摄装置。将参照图23和图24详细描述盖型图像拍摄装置。
图23示出了去除了第一图像拍摄装置100的电池盖的状态。电池盖可以包括可插入形成在第一图像拍摄装置100的主体的后表面中的各种槽中的多个突起。用户可以通过使用突起和凹槽来附接和拆卸电池盖。电池以及接口单元2300(例如，接口或接口设备)可以包括在由电池盖封装的图像拍摄装置100的后表面中。也就是说，如果从图像拍摄装置100移除电池盖，则可以暴露接口单元2300。
图24示出了要耦合到第一图像拍摄装置100的第二图像拍摄装置2200的外部后表面。第二图像拍摄装置2200可以通过在去除第一图像拍摄装置100的电池盖的表面上替换电池盖，以可连接的壳体类型来实现。
第二图像拍摄装置2200可以包括将耦合到第一图像拍摄装置100的接口单元2300-1、拍摄单元2200-1和快门按钮2200-2。
第二图像拍摄装置2200可以包括将耦合并固定到第一图像拍摄装置100的凹槽的耦合单元。如果去除用于覆盖第一图像拍摄装置100的一个表面的盖子，则第二图像拍摄装置2200可以耦合到去除盖子的位置。
第二图像拍摄装置2200可以在与第一图像拍摄装置100的拍摄单元100-1相对应的位置中包括开口区域235，以便不隐藏第一图像拍摄装置100的拍摄单元100-1，并且因此，如果第一图像拍摄装置100和第二图像拍摄装置2200彼此耦合，则第一图像拍摄装置100的拍摄单元100-1可以位于开口区域235中。
第二图像拍摄装置2200的接口单元2300-1可以被定位成与第一图像拍摄装置100的接口单元2300接触。
如果如上所述第一图像拍摄装置100和第二图像拍摄装置2200彼此连接，则第二图像拍摄装置2200的拍摄单元2200-1可以与第一图像拍摄装置100的拍摄单元100-1分开执行拍摄。具体地，第二图像拍摄装置2200的拍摄单元2200-1可以包括具有与包括在第一图像拍摄装置100的拍摄单元100-1中的镜头不同的视场的镜头。例如，第一图像拍摄装置100的拍摄单元100-1可以包括广角镜头，而第二图像拍摄装置2200的拍摄单元2200-1可以包括长焦镜头。
同时，第二图像拍摄装置2200可以包括输入单元。输入单元可以包括至少一个按钮、可旋转拨盘等。也就是说，按钮可以形成为按压型或触摸型，并且可以包括电源/锁定按钮、快门按钮、菜单按钮、主页按钮、后退按钮和搜索按钮中的至少一个。具体地，第二图像拍摄装置2200可以包括用于捕获图像的快门按钮2200-1。
如果通过快门按钮2200-1输入图像捕获命令，则第二图像拍摄装置2200可以捕获通过拍摄单元2200-1拍摄的图像，并且可以通过接口单元2300-1将图像捕获命令传送到第一图像拍摄装置100。
可替代地，如果通过快门按钮2200-1输入图像捕获命令，则第二图像拍摄装置2200可以通过接口单元2300-1将图像捕获命令传送到第一图像拍摄装置100。然后，第一图像拍摄装置100可以同时捕获由第一图像拍摄装置100和第二图像拍摄装置2200拍摄的图像。
因此，如果通过快门按钮2200-1输入图像捕获命令，则可以同时捕获通过第一图像拍摄装置100和第二图像拍摄装置2200的拍摄单元100-1和2200-1拍摄的图像。
第一图像拍摄装置100的控制单元140可以调整通过第一图像拍摄装置100和第二图像拍摄装置2200的拍摄单元100-1和2200-1获得的图像的属性以彼此对应，并且，如果输入用于改变拍摄放大率的改变命令，则可以合成调整了属性的多个图像，并且可以生成并显示与改变的拍摄放大率相对应的合成图像。
同时，参考图25，镜头2500可以具有与第二图像拍摄装置2200可拆卸的形式。也就是说，图25示出了其中使用可拆卸镜头2500的第二图像拍摄装置2200和第一图像拍摄装置100彼此连接的结构。
用户可以根据拍摄图像的类型、拍摄放大率等来改变各种类型的镜头2500，并且可以将镜头2500附接到第二图像拍摄装置2200。例如，长焦镜头可以被附接到第二图像拍摄装置2200。因此，可以通过不同地改变与第一图像拍摄装置100一起使用的第二图像拍摄装置2200的性能来实现各种拍摄效果。
同时，在上述图25的示例性实施例中，单焦镜头以及变焦镜头可以是可拆卸的。也就是说，根据示例性实施例，虽然通过使用1x放大镜头和5x放大镜头生成2x、3x和4x放大率的合成图像，但是可以通过使用1x放大镜头和10x放大镜头来生成2x、3x和4x放大率的合成图像。上述由图像处理单元130和控制单元140执行的图像处理过程和生成与改变的拍摄放大率相对应的合成图像的过程可以以同样的方式应用于通过单焦镜头和变焦镜头获得的多个图像。
同样地，上述由图像处理单元130和控制单元140执行的图像处理过程和生成与改变的拍摄放大率相对应的合成图像的过程可以以同样的方式应用于如图21到图25中所示的多个拍摄装置之间的各种耦合结构。
同时，根据示例性实施例的包括在多个拍摄单元110中的镜头可以面向不同的方向。关于这一点，图像处理单元130可以对由镜头的不同方向产生的差异执行校准和校正中的至少一个，并且可以将多个图像修改为当镜头面向相同方向时拍摄的图像，并且控制单元140可以控制图像处理单元130连接并合成经修改的图像并生成单个整体图像。
更详细地，当包括在多个拍摄单元110中的镜头所面向的方向不同时，通过多个拍摄单元110拍摄的图像是不同的，因此图像处理单元130可以校正通过多个拍摄单元110拍摄的不同图像以修改图像，就好像它们是通过面向相同方向的镜头所拍摄的一样。在这种情况下，控制单元140可以控制图像处理单元130连接修改的图像并生成单个整体图像。关于这一点，单个整体图像可以是例如全景图像。
虽然包括在多个拍摄单元110中的镜头所面向的方向没有不同，即，虽然镜头面向相同方向，但是当多个拍摄单元110之间的距离很远时，通过多个拍摄单元110拍摄的图像是不同的。在这种情况下，控制单元140可以控制图像处理单元130连接通过多个拍摄单元110拍摄的不同图像，并生成单个整体图像。例如，在图1中，拍摄单元111和112可以被实现为移动，使得拍摄单元111和112之间的距离可以改变。
同时，控制单元140可以控制图像处理单元130基于通过多个拍摄单元110拍摄的不同图像执行特征匹配。也就是说，控制单元140可以控制图像处理单元130提取特征点，其是来自每个不同图像的参考，并且比较提取的特征点。
具体地，当在通过多个拍摄单元110拍摄的不同图像之间存在重叠区域时，控制单元140可以控制图像处理单元130基于重叠区域执行特征匹配。
控制单元140可以控制图像处理单元130基于比较提取的特征点的结果来排列不同图像以自然地连接。
控制单元140可以控制图像处理单元130通过在不同的图像被排列为自然连接的状态下对每个像素给予权重来混合(blend)不同的图像。关于这一点，混合方法可以包括阿尔法混合、拉普拉斯混合、梯度域混合等。
这样的合成的图像表示单个整体图像，并且可以主要实现为全景图像。
这样的单个整体图像可以根据包括在多个拍摄单元110中的每个镜头的视场、镜头之间的距离、镜头的放大率等中的至少一个而进行各种改变。
图26是根据示例性实施例的由包括使用具有不同焦距的镜头的多个拍摄单元的图像拍摄装置执行的图像拍摄方法的流程图。
根据图26中所示的方法，存储由多个拍摄单元拍摄的不同分辨率的多个图像(操作S2610)。
调整多个图像的属性以彼此对应(操作S2620)。
关于这一点，图像的属性包括颜色和白平衡。在操作S2620中，以关于多个图像之一的颜色和白平衡相同的方式调整其他图像的颜色和白平衡。
多个拍摄单元包括：包括广角镜头的第一拍摄单元和包括长焦镜头的至少一个第二拍摄单元。在操作S2620中，相对于从第一拍摄单元获得的第一图像的颜色和白平衡，调整从至少一个第二拍摄单元获得的至少一个第二图像的颜色和白平衡。
此后，如果输入放大率改变命令，则合成其属性被调整的多个图像，以生成根据放大率改变命令改变了放大率的合成图像(操作S2630)。
关于这一点，在操作S2630中，可以通过从多个图像中检测并合成与改变的拍摄放大率相对应的尺寸的局部区域来生成合成图像。
在操作S2630中，基于包括在多个图像中的公共区域中的被摄体的移动程度来调整多个图像中的每一个的合成率。
包括在多个拍摄单元中的每一个中的图像传感器包括具有不同模式的彩色像素。在操作S2630中，基于从具有不同模式的彩色像素获得的多个不同的色谱信息来生成表示被摄体的物理属性的合成图像。
至少一个图像传感器还包括检测被摄体的深度信息的像素。在操作S2630中，基于检测到的深度信息生成根据放大率改变命令改变了放大率的3D图像。
显示合成图像(操作S2640)。
同时，由根据示例性实施例的图像拍摄装置执行的图像拍摄方法还可以包括以下操作：同步提供给包括在多个拍摄单元中的每一个中的图像传感器的复位信号的定时，以及同步多个拍摄单元的拍摄定时。
由根据示例性实施例的图像拍摄装置执行的图像拍摄方法还可以包括以下操作：基于包括在多个图像中的公共区域确定是否同步多个图像，并且如果多个图像处于非同步状态，则对至少一个图像帧执行延迟处理，以及同步多个图像。
由根据示例性实施例的图像拍摄装置执行的图像拍摄方法还可以包括以下操作：基于包括在多个图像中的公共区域确定是否同步多个图像，并且如果多个图像处于非同步状态，则同步所述多个拍摄单元的拍摄定时。
由根据示例性实施例的图像拍摄装置执行的图像拍摄方法还可以包括以下操作：显示指示符，该指示符指示包括在根据放大率改变命令改变了放大率的合成图像中的具有不同分辨率的多个区域，并且，如果相对于指示符输入用户命令，则显示与多个区域中的每一个相对应的多个图像中的至少一个。
由根据示例性实施例的图像拍摄装置执行的图像拍摄方法还可以包括以下操作：对由包括在多个拍摄单元中的镜头所面向的不同方向产生的差异进行校准/校正，以及修改多个图像为镜头面向相同方向时拍摄的图像，以及连接和合成修改的图像并生成单个整体图像。
同时，可以提供存储顺序地执行根据示例性实施例的图像拍摄方法的程序的非暂时性计算机可读介质。
作为示例，可以提供存储执行以下操作的程序的非暂时性计算机可读介质：存储由多个拍摄单元拍摄的多个图像，所述多个拍摄单元通过包括具有不同焦距的镜头来拍摄具有不同分辨率的图像，调整多个图像的属性以彼此对应，如果输入用于改变拍摄放大率的改变命令，则合成其属性被调整的多个图像，并且生成与改变的拍摄放大率相对应的合成图像。
作为另一示例，可以提供存储执行以下操作的程序的非暂时性计算机可读介质：同步提供给包括在多个拍摄单元中的每一个中的图像传感器的复位信号的定时，以及同步多个拍摄单元的拍摄定时，基于包括在多个图像中的公共区域来确定是否同步多个图像，并且，如果多个图像处于非同步状态，则对至少一个图像帧执行延迟处理，并且同步多个图像，基于包括在多个图像中的公共区域来确定是否同步多个图像，并且如果多个图像处于非同步状态，则同步多个拍摄单元和拍摄定时，并且显示指示包括在与改变的拍摄放大率相对应的合成图像中的具有不同分辨率的多个区域的指示符，并且，如果针对指示符输入了用户命令，则显示与多个区域中的每一个相对应的多个图像中的至少一个图像。
非暂时性计算机可读介质不是用于短瞬时存储数据的介质，诸如寄存器、缓存、存储器等，而是半永久存储数据并且能够由设备读取的介质。更详细地，上述各种应用或程序可以通过存储在诸如光盘(CD)、数字多功能盘(DVD)、硬盘、蓝光盘、USB、存储卡、ROM等的非暂时性计算机可读介质中来提供。
在上述图像拍摄装置的框图中，可以经由总线执行图像拍摄装置的组成部分之间的通信。每个设备还可以包括执行上述各种操作的处理器，诸如CPU、微处理器等。
根据如上所述的一个或多个示例性实施例，可以通过在维持良好图像质量的同时合成通过多个拍摄单元获得的多个图像来生成具有扩大的放大率的图像。
根据示例性实施例的装置可以包括处理器、存储和运行程序数据的存储器、诸如磁盘驱动器的永久存储器、与外部装置通信的通信端口、以及诸如触摸面板的用户接口装置、按键和按钮。用软件模块或算法实现的方法是在处理器上可执行并且可由计算机读取的代码或程序命令，并且可以存储在计算机可读的记录介质中。计算机可读的记录介质可以包括磁存储介质(例如，只读存储器、随机存取存储器、软盘、硬盘等)和光学可读介质(例如，光盘只读存储器(CD-ROM)、数字多功能盘(DVD)等)。计算机可读的记录介质可分散在通过网络连接的计算机系统中，使得计算机可读的代码可以以分散式方法存储和执行。该介质可以由计算机读取，存储在存储器中，以及由处理器执行。
示例性实施例可以由功能块组件和不同的处理步骤来表示。功能块可以用运行特定功能的各种数量的硬件和/或软件组件来实现。例如，示例性实施例可以使用通过控制一个或多个微处理器或其他控制装置来运行各种功能的直接电路组件，诸如存储器、处理、逻辑和查找表。由于组件作为软件编程或软件元素来执行，示例性实施例可以以诸如C、C++、Java和汇编程序的编程或脚本语言来实现，包括用数据结构、过程、例程或其他编程组件的组合来实现的各种算法。功能因素可以用由一个或多个处理器运行的算法来实现。另外，示例性实施例可以采用用于电子配置、信号处理和/或数据处理的相关技术。术语“机构”、“元素”，“装置”和“组件”可以在广义上使用，并且不限于机械或物理组件。这些术语可以包括与处理器连接的软件的例程的集合。
前述示例性实施例和优点仅仅是示例性的，并且不应被解释为限制本发明构思。为了简化说明书，可以省略相关技术中的电子组件、控制系统、软件和其他功能因素。另外，附图中的组件之间的线路或连接构件的连接示出了功能连接和/或物理或电路连接作为示例，并且因此在实际装置中，可以提供可替换或附加的各种功能连接、物理连接或电路连接。
在本说明书(以及权利要求书)中，术语“所述”和类似的参考术语的使用可以指单数和复数两者。此外，当写入范围时，包括该范围内的单个值(如果没有相反叙述)。因此，其与构成在详细描述中撰写的范围的各个值相同。最后，如果没有明确撰写顺序或者没有相反的叙述，则可以以适当的顺序来执行构成该方法的步骤。示例性实施例不总是限于撰写步骤的顺序。此外，示例性实施例的描述旨在是说明性的，而不是限制权利要求的范围，并且许多替代、修改和变化对于本领域技术人员将是明显的。

Claims (15)

1.一种图像拍摄装置，包括：
多个图像捕获器，分别包括具有不同焦距的镜头，并且分别被配置为捕获具有不同分辨率的多个图像；
存储器，被配置为存储由所述多个图像捕获器捕获的所述多个图像；
图像处理器，被配置为将所述多个图像的属性调整为彼此对应；
控制器，被配置为响应于输入的放大率改变命令，控制所述图像处理器合成其属性被调整的多个图像，并生成根据所述放大率改变命令改变了放大率的合成图像；以及
显示器，被配置为显示所述合成图像。
2.如权利要求1所述的图像拍摄装置，其中，所述控制器被配置为控制所述图像处理器从所述多个图像中检测与所述改变的放大率相对应的尺寸的每个局部区域，并且合成所检测到的局部区域以生成所述合成图像。
3.如权利要求1所述的图像拍摄装置，其中，所述控制器被配置为使提供给包括在所述多个图像捕获器中的每个图像传感器的复位信号的定时同步，并且使所述多个图像捕获器的捕获定时同步。
4.如权利要求1所述的图像拍摄装置，其中，所述控制器被配置为基于包括在所述多个图像中的公共区域来确定是否同步所述多个图像，并且被配置为如果所述多个图像处于非同步状态，则对至少一个图像帧执行延迟处理并同步所述多个图像。
5.如权利要求1所述的图像拍摄装置，其中，所述控制器被配置为基于包括在所述多个图像中的公共区域来确定是否同步所述多个图像，并且被配置为如果所述多个图像处于非同步状态，则同步所述多个图像捕获器的捕获定时。
6.如权利要求1所述的图像拍摄装置，其中，所述控制器被配置为基于包括在所述多个图像中的公共区域中的被摄体的移动程度来调整所述多个图像中的每一个的合成率。
7.如权利要求1所述的图像拍摄装置，其中：
所述多个图像的属性包括颜色和白平衡；以及
所述控制器被配置为根据所述多个图像当中的一个图像的颜色和白平衡来调整所述多个图像当中的另一个图像的颜色和白平衡。
8.如权利要求7所述的图像拍摄装置，其中：
所述多个图像捕获器包括第一图像捕获器和至少一个第二图像捕获器，第一图像捕获器包括广角镜头，而至少一个第二图像捕获器包括长焦镜头；以及
所述控制器被配置为根据从所述第一图像捕获器获得的第一图像的颜色和白平衡来调整从所述至少一个第二图像捕获器获得的至少一个第二图像的颜色和白平衡。
9.如权利要求1所述的图像拍摄装置，其中：
所述多个图像捕获器还分别包括具有彩色像素的图像传感器，所述彩色像素具有相同模式或不同模式；以及
所述控制器被配置为基于从包括具有相同模式或不同模式的彩色像素的图像传感器获得的多个色谱信息来生成表示被摄体的物理属性的合成图像。
10.如权利要求9所述的图像拍摄装置，其中：
所述图像传感器中的至少一个图像传感器包括检测所述被摄体的深度信息的像素；以及
所述控制器被配置为基于检测到的深度信息生成改变了放大率的三维(3D)图像。
11.如权利要求2所述的图像拍摄装置，其中，所述控制器被配置为输出指示符用于显示，所述指示符指示包括在根据所述放大率改变命令改变了放大率的所述合成图像中的具有不同分辨率的多个区域，并且被配置为响应于相对于所述指示符输入的用户命令，显示与所述多个区域中的每一个相对应的所述多个图像中的至少一个。
12.如权利要求11所述的图像拍摄装置，其中：
包括在所述多个图像捕获器中的镜头面向不同的方向；
所述图像处理器被配置为对由所述镜头的不同方向产生的差异执行校准和校正中的至少一个，并且将所述多个图像修改为当所述镜头面向相同方向时捕获的图像；以及
所述控制器被配置为控制所述图像处理器连接并合成修改的图像并生成单个整体图像。
13.一种由包括使用具有不同焦距的镜头的多个图像捕获器的图像拍摄装置执行的图像拍摄方法，该方法包括：
存储由所述多个图像捕获器捕获的具有不同分辨率的多个图像；
调整所述多个图像的属性以彼此对应；
响应于输入的放大率改变命令，合成其属性被调整的多个图像以生成根据放大率改变命令改变了放大率的合成图像；以及
输出所述合成图像。
14.如权利要求13所述的图像拍摄方法，其中，所述生成合成图像包括：从多个图像中检测与改变的放大率相对应的尺寸的每个局部区域，以及合成检测到的局部区域以生成所述合成图像。
15.如权利要求13所述的图像拍摄方法，还包括：同步提供给包括在所述多个图像捕获器中的每个图像传感器的复位信号的定时，以及同步所述多个图像捕获器的捕获定时。
CN201580045345.1A 2014-07-25 2015-07-24 图像拍摄装置和图像拍摄方法 Expired - Fee Related CN106576143B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020140094830A KR102157675B1 (ko) 2014-07-25 2014-07-25 촬영 장치 및 그 촬영 방법
KR10-2014-0094830 2014-07-25
PCT/KR2015/007727 WO2016013902A1 (en) 2014-07-25 2015-07-24 Image photographing apparatus and image photographing method

Publications (2)

Publication Number Publication Date
CN106576143A true CN106576143A (zh) 2017-04-19
CN106576143B CN106576143B (zh) 2020-03-03

Family

ID=55163358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580045345.1A Expired - Fee Related CN106576143B (zh) 2014-07-25 2015-07-24 图像拍摄装置和图像拍摄方法

Country Status (5)

Country Link
US (1) US9813615B2 (zh)
EP (1) EP3172894B1 (zh)
KR (1) KR102157675B1 (zh)
CN (1) CN106576143B (zh)
WO (1) WO2016013902A1 (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107800961A (zh) * 2017-10-17 2018-03-13 珠海市魅族科技有限公司 一种无损放大图片方法及装置、终端及可读存储介质
CN108012134A (zh) * 2017-12-25 2018-05-08 广东欧珀移动通信有限公司 拍摄方法及装置、计算机可读存储介质和计算机设备
CN108012135A (zh) * 2017-12-25 2018-05-08 广东欧珀移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备
CN108156434A (zh) * 2017-12-25 2018-06-12 广东欧珀移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备
CN108307114A (zh) * 2018-01-31 2018-07-20 广东欧珀移动通信有限公司 图像的处理方法、装置、存储介质及电子设备
CN108616691A (zh) * 2018-04-28 2018-10-02 北京小米移动软件有限公司 基于自动白平衡的拍照方法、装置、服务器及存储介质
CN109639956A (zh) * 2017-10-06 2019-04-16 广达电脑股份有限公司 双镜头图像处理装置及方法
CN109672827A (zh) * 2017-10-13 2019-04-23 三星电子株式会社 用于组合多个图像的电子装置及其方法
CN109756763A (zh) * 2017-11-03 2019-05-14 三星电子株式会社 用于基于优先级处理图像的电子装置及其操作方法
CN109937568A (zh) * 2016-11-17 2019-06-25 索尼公司 图像处理装置和图像处理方法
CN111034166A (zh) * 2017-08-16 2020-04-17 高通股份有限公司 多相机捕获后图像处理
WO2020107186A1 (en) * 2018-11-26 2020-06-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Systems and methods for taking telephoto-like images
CN111541845A (zh) * 2020-04-30 2020-08-14 维沃移动通信（杭州）有限公司 图像处理方法、装置及电子设备
CN111565284A (zh) * 2019-02-13 2020-08-21 佳能株式会社 摄像装置、透镜装置、照相机系统及摄像装置的控制方法
CN112104841A (zh) * 2020-11-05 2020-12-18 深圳市万佳安人工智能数据技术有限公司 一种用于移动目标监测的多摄像头智能监控方法及装置
CN113261272A (zh) * 2019-01-11 2021-08-13 株式会社理光 图像捕获装置，图像捕获方法和记录介质
WO2021243554A1 (en) * 2020-06-02 2021-12-09 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electric device, method of controlling electric device, and computer readable storage medium
CN113837937A (zh) * 2020-06-24 2021-12-24 Oppo广东移动通信有限公司 多媒体处理芯片、电子设备图像融合方法和图像裁剪方法
CN113840098A (zh) * 2021-11-23 2021-12-24 深圳比特微电子科技有限公司 用于在全景拼接中同步画面的方法和全景拼接设备
CN113840075A (zh) * 2020-06-24 2021-12-24 Oppo广东移动通信有限公司 电子设备和基于电子设备的图像融合方法
CN113873177A (zh) * 2020-06-30 2021-12-31 北京小米移动软件有限公司 多视角拍摄方法、装置、电子设备及存储介质
CN113890984A (zh) * 2020-07-03 2022-01-04 华为技术有限公司 拍照方法、图像处理方法和电子设备
WO2023221141A1 (zh) * 2022-05-20 2023-11-23 北京小米移动软件有限公司 拍摄装置以及对焦控制程序

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108718376B (zh) 2013-08-01 2020-08-14 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
CN105100615B (zh) * 2015-07-24 2019-02-26 青岛海信移动通信技术股份有限公司 一种图像的预览方法、装置及终端
TWI547177B (zh) * 2015-08-11 2016-08-21 晶睿通訊股份有限公司 視角切換方法及其攝影機
US10178414B2 (en) 2015-10-14 2019-01-08 International Business Machines Corporation Aggregated region-based reduced bandwidth video streaming
US9667859B1 (en) 2015-12-28 2017-05-30 Gopro, Inc. Systems and methods for determining preferences for capture settings of an image capturing device
US9967457B1 (en) * 2016-01-22 2018-05-08 Gopro, Inc. Systems and methods for determining preferences for capture settings of an image capturing device
JP2017158123A (ja) * 2016-03-04 2017-09-07 ソニー株式会社 信号処理装置および撮像装置
WO2017221106A1 (en) * 2016-06-19 2017-12-28 Corephotonics Ltd. Frame synchronization in a dual-aperture camera system
KR102547104B1 (ko) * 2016-09-06 2023-06-23 삼성전자주식회사 전자 장치 및 복수의 영상을 처리하는 방법
US10432869B2 (en) * 2016-09-07 2019-10-01 Multimedia Image Solution Limited Method of utilizing wide-angle image capturing element and long-focus image capturing element for achieving clear and precise optical zooming mechanism
KR102622754B1 (ko) * 2016-09-07 2024-01-10 삼성전자주식회사 이미지 합성 방법 및 이를 지원하는 전자 장치
CN109716746B (zh) * 2016-09-13 2021-06-01 Lg伊诺特有限公司 双相机模块、光学装置、相机模块及用于操作相机模块的方法
CN106385541A (zh) * 2016-09-30 2017-02-08 虹软(杭州)科技有限公司 利用广角摄像组件及长焦摄像组件实现变焦的方法
CN106791377B (zh) * 2016-11-29 2019-09-27 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
EP3337153A1 (en) * 2016-12-16 2018-06-20 Vestel Elektronik Sanayi ve Ticaret A.S. Camera system and method
TWI626620B (zh) * 2016-12-20 2018-06-11 廣東歐珀移動通訊有限公司 圖像處理方法與裝置、電子裝置及計算機可讀儲存介質
CN106791400B (zh) * 2016-12-23 2019-08-20 维沃移动通信有限公司 一种图像显示方法及移动终端
WO2018174505A1 (en) * 2017-03-20 2018-09-27 Samsung Electronics Co., Ltd. Methods and apparatus for generating video content
JP2018170657A (ja) * 2017-03-30 2018-11-01 ソニーセミコンダクタソリューションズ株式会社 撮像装置、カメラモジュール、撮像システム、および、撮像装置の制御方法
CN110622499B (zh) * 2017-05-16 2021-02-05 富士胶片株式会社 图像生成装置、图像生成系统、图像生成方法及记录介质
KR102204596B1 (ko) 2017-06-02 2021-01-19 삼성전자주식회사 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법
KR102351542B1 (ko) * 2017-06-23 2022-01-17 삼성전자주식회사 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
US10687119B2 (en) 2017-06-27 2020-06-16 Samsung Electronics Co., Ltd System for providing multiple virtual reality views
KR102328539B1 (ko) * 2017-07-27 2021-11-18 삼성전자 주식회사 복수의 카메라를 이용하여 영상을 획득하기 위한 전자 장치 및 이를 이용한 영상 처리 방법
KR102344104B1 (ko) * 2017-08-22 2021-12-28 삼성전자주식회사 이미지의 표시 효과를 제어할 수 있는 전자 장치 및 영상 표시 방법
KR102385333B1 (ko) * 2017-09-15 2022-04-12 삼성전자주식회사 복수의 이미지 센서들을 제어하기 위한 전자 장치 및 방법
KR102385360B1 (ko) * 2017-09-19 2022-04-12 삼성전자주식회사 이미지 보정을 수행하는 전자 장치 및 그 동작 방법
JP6971767B2 (ja) * 2017-10-16 2021-11-24 キヤノン株式会社 撮像装置、その制御方法及びプログラム
KR102438201B1 (ko) 2017-12-01 2022-08-30 삼성전자주식회사 사진 촬영과 관련된 추천 정보를 제공하는 방법 및 시스템
EP4109174A1 (en) 2018-04-23 2022-12-28 Corephotonics Ltd. An optical-path folding-element with an extended two degree of freedom rotation range
US10817996B2 (en) * 2018-07-16 2020-10-27 Samsung Electronics Co., Ltd. Devices for and methods of combining content from multiple frames
CN112219218A (zh) 2018-07-20 2021-01-12 三星电子株式会社 用于推荐图像捕获模式的方法和电子设备
EP4387257A2 (en) * 2018-10-12 2024-06-19 Samsung Electronics Co., Ltd. Method and electronic device for switching between first lens and second lens
US11653097B2 (en) 2018-10-12 2023-05-16 Samsung Electronics Co., Ltd. Method and electronic device for switching between first lens and second lens
KR102203272B1 (ko) * 2018-12-18 2021-01-15 한국전자기술연구원 관심 객체 처리 장치 및 그 방법
KR102664705B1 (ko) 2019-02-19 2024-05-09 삼성전자주식회사 복수의 카메라들을 이용하여 이미지의 배율을 변경하기 위한 전자 장치 및 방법
KR20220017480A (ko) * 2019-06-06 2022-02-11 어플라이드 머티어리얼스, 인코포레이티드 합성 이미지들을 생성하는 방법 및 이미징 시스템
CN110381272B (zh) * 2019-08-22 2022-05-13 睿镞科技(北京)有限责任公司 图像传感器组合系统及产生单一和复合视野图像的装置
CN110493526B (zh) 2019-09-10 2020-11-20 北京小米移动软件有限公司 基于多摄像模块的图像处理方法、装置、设备及介质
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
KR20210141070A (ko) 2020-05-15 2021-11-23 삼성전자주식회사 복수의 카메라를 이용한 이미지 촬영 방법 및 그 전자 장치
KR20220021728A (ko) * 2020-08-14 2022-02-22 삼성전자주식회사 카메라 모듈을 포함하는 전자 장치
CN112422833A (zh) * 2020-11-20 2021-02-26 季速漫 一种图像处理装置
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information
CN117441185A (zh) 2021-06-03 2024-01-23 三星电子株式会社 用于校正图像的方法和电子设备
US11769311B1 (en) * 2023-02-23 2023-09-26 Illuscio, Inc. Systems and methods for editing three-dimensional image data with realistic camera and lens effects

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070025714A1 (en) * 2005-07-29 2007-02-01 Hidenori Shiraki Image capturing apparatus
US20080030592A1 (en) * 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
CN101668115A (zh) * 2008-09-03 2010-03-10 中国科学院自动化研究所 一种多镜头多分辨率摄像机
CN102356630A (zh) * 2009-03-19 2012-02-15 弗莱克斯电子有限责任公司 双传感器照相机
CN102739959A (zh) * 2011-04-07 2012-10-17 卡西欧计算机株式会社 生成预定的纵横比的合成图像的图像处理装置
CN102859987A (zh) * 2010-04-05 2013-01-02 高通股份有限公司 组合来自多个图像传感器的数据
WO2014083489A1 (en) * 2012-11-28 2014-06-05 Corephotonics Ltd. High-resolution thin multi-aperture imaging systems

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050270387A1 (en) * 2004-05-25 2005-12-08 Fuji Photo Film Co., Ltd. Photographing system and photographing method
US7206136B2 (en) 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
JP4513905B2 (ja) * 2008-06-27 2010-07-28 ソニー株式会社 信号処理装置、信号処理方法、プログラム及び記録媒体
JP5413002B2 (ja) * 2008-09-08 2014-02-12 ソニー株式会社 撮像装置および方法、並びにプログラム
TW201200959A (en) * 2010-06-29 2012-01-01 Fujifilm Corp One-eyed stereo photographic device
JP5779959B2 (ja) * 2011-04-21 2015-09-16 株式会社リコー 撮像装置
KR101373856B1 (ko) 2011-04-29 2014-03-11 휴앤에스(주) 어레이형 카메라 장치 및 어레이 영상획득방법
KR101954192B1 (ko) * 2012-11-15 2019-03-05 엘지전자 주식회사 어레이 카메라, 휴대 단말기 및 그 동작 방법
KR102345886B1 (ko) * 2016-06-20 2022-01-03 코그넥스코오포레이션 알려진 이동 중에 이동하는 물체의 3차원 측정을 위한 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070025714A1 (en) * 2005-07-29 2007-02-01 Hidenori Shiraki Image capturing apparatus
US20080030592A1 (en) * 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
CN101668115A (zh) * 2008-09-03 2010-03-10 中国科学院自动化研究所 一种多镜头多分辨率摄像机
CN102356630A (zh) * 2009-03-19 2012-02-15 弗莱克斯电子有限责任公司 双传感器照相机
CN102859987A (zh) * 2010-04-05 2013-01-02 高通股份有限公司 组合来自多个图像传感器的数据
CN102739959A (zh) * 2011-04-07 2012-10-17 卡西欧计算机株式会社 生成预定的纵横比的合成图像的图像处理装置
WO2014083489A1 (en) * 2012-11-28 2014-06-05 Corephotonics Ltd. High-resolution thin multi-aperture imaging systems

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109937568B (zh) * 2016-11-17 2021-03-09 索尼公司 图像处理装置和图像处理方法
CN109937568A (zh) * 2016-11-17 2019-06-25 索尼公司 图像处理装置和图像处理方法
CN111034166A (zh) * 2017-08-16 2020-04-17 高通股份有限公司 多相机捕获后图像处理
US11956527B2 (en) 2017-08-16 2024-04-09 Qualcomm Incorporated Multi-camera post-capture image processing
CN114189626A (zh) * 2017-08-16 2022-03-15 高通股份有限公司 多相机捕获后图像处理方法、系统和媒体
US11233935B2 (en) 2017-08-16 2022-01-25 Qualcomm Incorporated Multi-camera post-capture image processing
CN111034166B (zh) * 2017-08-16 2021-11-19 高通股份有限公司 多相机捕获后图像处理方法和系统
CN109639956A (zh) * 2017-10-06 2019-04-16 广达电脑股份有限公司 双镜头图像处理装置及方法
CN109672827A (zh) * 2017-10-13 2019-04-23 三星电子株式会社 用于组合多个图像的电子装置及其方法
CN107800961A (zh) * 2017-10-17 2018-03-13 珠海市魅族科技有限公司 一种无损放大图片方法及装置、终端及可读存储介质
CN109756763A (zh) * 2017-11-03 2019-05-14 三星电子株式会社 用于基于优先级处理图像的电子装置及其操作方法
CN108156434B (zh) * 2017-12-25 2019-07-05 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备
CN108012135A (zh) * 2017-12-25 2018-05-08 广东欧珀移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备
CN108156434A (zh) * 2017-12-25 2018-06-12 广东欧珀移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备
CN108012134A (zh) * 2017-12-25 2018-05-08 广东欧珀移动通信有限公司 拍摄方法及装置、计算机可读存储介质和计算机设备
CN108307114B (zh) * 2018-01-31 2020-01-14 Oppo广东移动通信有限公司 图像的处理方法、装置、存储介质及电子设备
CN108307114A (zh) * 2018-01-31 2018-07-20 广东欧珀移动通信有限公司 图像的处理方法、装置、存储介质及电子设备
CN108616691A (zh) * 2018-04-28 2018-10-02 北京小米移动软件有限公司 基于自动白平衡的拍照方法、装置、服务器及存储介质
CN108616691B (zh) * 2018-04-28 2020-07-10 北京小米移动软件有限公司 基于自动白平衡的拍照方法、装置、服务器及存储介质
WO2020107186A1 (en) * 2018-11-26 2020-06-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Systems and methods for taking telephoto-like images
CN113261272A (zh) * 2019-01-11 2021-08-13 株式会社理光 图像捕获装置，图像捕获方法和记录介质
CN113261272B (zh) * 2019-01-11 2024-01-12 株式会社理光 图像捕获装置，图像捕获方法和记录介质
CN111565284B (zh) * 2019-02-13 2022-05-31 佳能株式会社 摄像装置、透镜装置、照相机系统及摄像装置的控制方法
CN111565284A (zh) * 2019-02-13 2020-08-21 佳能株式会社 摄像装置、透镜装置、照相机系统及摄像装置的控制方法
CN111541845A (zh) * 2020-04-30 2020-08-14 维沃移动通信（杭州）有限公司 图像处理方法、装置及电子设备
CN111541845B (zh) * 2020-04-30 2022-06-24 维沃移动通信（杭州）有限公司 图像处理方法、装置及电子设备
WO2021243554A1 (en) * 2020-06-02 2021-12-09 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electric device, method of controlling electric device, and computer readable storage medium
CN113840075B (zh) * 2020-06-24 2022-08-16 Oppo广东移动通信有限公司 电子设备和基于电子设备的图像融合方法
CN113837937A (zh) * 2020-06-24 2021-12-24 Oppo广东移动通信有限公司 多媒体处理芯片、电子设备图像融合方法和图像裁剪方法
WO2021258865A1 (zh) * 2020-06-24 2021-12-30 Oppo广东移动通信有限公司 电子设备和基于电子设备的图像融合方法
CN113840075A (zh) * 2020-06-24 2021-12-24 Oppo广东移动通信有限公司 电子设备和基于电子设备的图像融合方法
CN113873177A (zh) * 2020-06-30 2021-12-31 北京小米移动软件有限公司 多视角拍摄方法、装置、电子设备及存储介质
CN113890984A (zh) * 2020-07-03 2022-01-04 华为技术有限公司 拍照方法、图像处理方法和电子设备
CN113890984B (zh) * 2020-07-03 2022-12-27 华为技术有限公司 拍照方法、图像处理方法和电子设备
CN112104841A (zh) * 2020-11-05 2020-12-18 深圳市万佳安人工智能数据技术有限公司 一种用于移动目标监测的多摄像头智能监控方法及装置
CN113840098A (zh) * 2021-11-23 2021-12-24 深圳比特微电子科技有限公司 用于在全景拼接中同步画面的方法和全景拼接设备
WO2023221141A1 (zh) * 2022-05-20 2023-11-23 北京小米移动软件有限公司 拍摄装置以及对焦控制程序

Also Published As

Publication number Publication date
US20160028949A1 (en) 2016-01-28
EP3172894A4 (en) 2018-04-11
KR102157675B1 (ko) 2020-09-18
US9813615B2 (en) 2017-11-07
EP3172894B1 (en) 2022-08-31
EP3172894A1 (en) 2017-05-31
CN106576143B (zh) 2020-03-03
WO2016013902A1 (en) 2016-01-28
KR20160012743A (ko) 2016-02-03

Similar Documents

Publication Publication Date Title
CN106576143A (zh) 图像拍摄装置和图像拍摄方法
JP2020162139A (ja) 撮像装置およびその設定画面
US8633998B2 (en) Imaging apparatus and display apparatus
US8878910B2 (en) Stereoscopic image partial area enlargement and compound-eye imaging apparatus and recording medium
KR101913837B1 (ko) 파노라마 영상 생성 방법 및 이를 적용한 영상기기
JP2014120844A (ja) 画像処理装置および撮像装置
US20110018970A1 (en) Compound-eye imaging apparatus
US9684988B2 (en) Imaging device, image processing method, and recording medium
JP2013201752A5 (zh)
US20110304693A1 (en) Forming video with perceived depth
JP2009147730A (ja) 動画生成装置、動画撮影装置、動画生成方法及びプログラム
JP2012044564A (ja) 撮像装置
US20090027487A1 (en) Image display apparatus and image display method
JP2011075675A (ja) 複眼撮像装置
JP2018207497A (ja) 画像処理装置及び画像処理方法、撮像装置、プログラム、並びに記憶媒体
JP2020025305A (ja) 撮像装置
KR20160123757A (ko) 이미지 촬영 장치 및 이미지 촬영 방법
JP2016039409A (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体
JP2017184007A (ja) 画像処理装置、撮像装置、制御方法およびプログラム
JP2021002803A (ja) 画像処理装置、その制御方法、プログラム
JP6564295B2 (ja) 合成画像作成装置
JP6585890B2 (ja) 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
JP2019208214A (ja) 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
JP5653665B2 (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
JP2006261914A (ja) 画像表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200303