CN109672827B - 用于组合多个图像的电子装置及其方法 - Google Patents

用于组合多个图像的电子装置及其方法 Download PDF

Info

Publication number
CN109672827B
CN109672827B CN201811187234.6A CN201811187234A CN109672827B CN 109672827 B CN109672827 B CN 109672827B CN 201811187234 A CN201811187234 A CN 201811187234A CN 109672827 B CN109672827 B CN 109672827B
Authority
CN
China
Prior art keywords
image
camera
images
brightness
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811187234.6A
Other languages
English (en)
Other versions
CN109672827A (zh
Inventor
张驯槿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109672827A publication Critical patent/CN109672827A/zh
Application granted granted Critical
Publication of CN109672827B publication Critical patent/CN109672827B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本公开的各种实施方式涉及将多个图像进行组合的电子装置。电子装置可包括具有第一视角的第一相机、具有比第一视角小的第二视角的第二相机、存储器和处理器，处理器使用第一相机获取包括第一亮度并与外部对象对应的第一图像、使用第二相机获取包括第二亮度并与外部对象对应的多个第二图像、至少基于包括第二亮度的多个第二图像生成被校正成包括与第一亮度对应的亮度的图像并且至少基于包括第一亮度的第一图像的至少一部分和校正后的图像的至少一部分生成与外部对象对应的合成图像。此外，其它实施方式也是可行的。

Description

用于组合多个图像的电子装置及其方法
技术领域
本公开涉及一种用于组合多个图像的电子装置和方法。
背景技术
随着技术的发展，便携式电子装置可以配备有多个相机。安装在便携式电子装置中的多个相机可具有不同的放大率，以使得多个相机被不同功能性地利用。此外，可基于布置有相机的内部结构来确定具有不同放大率的相机的布置。
配备有多个相机的便携式电子装置可使用多个相机生成至少一个图像，并可基于至少一个图像生成单个合成图像。
上述信息仅作为背景信息呈现以帮助理解本公开。至于上述内容中的任何一项是否可以适合作为本公开的现有技术，没有做出确定，也没有做出断言。
发明内容
便携式电子装置可包括多个相机，并且多个相机可具有不同的放大率。具有不同放大率的相机可在相同的曝光时间期间接收不同量的光。放大率彼此不同可表明相机具有不同的视角，或者可表明与相机对应的F值(例如，F值、表明相机镜头的亮度的值以及表明所接收的光的量的值)不同。在将由多个相机拍摄的多个图像组合时，需要将待被组合的各个图像控制成具有类似的亮度。
例如，多个相机可以被划分为第一相机和第二相机。经由第一相机接收的光的量可以是经由第二相机接收的光的量的两倍。第一相机可生成第一图像，并且第二相机可生成第二图像。便携式电子装置可确定用于图像校正的帧的数量，以控制第一图像和第二图像具有类似的亮度。例如，第一相机可基于其数量为第一值的帧(例如，两个帧)来校正第一图像。与第一相机相比，第二相机可基于其数量为第一值的两倍的帧(例如，四个帧)来校正第二图像。通常，当所接收的光的量是另一个相机接收的光的量的一半时，便携式电子装置可能需要用来进行合成的帧的数量可能是另一个的两倍。
根据各种实施方式，便携式电子装置可基于其数量比理论上使用的帧的数量少的帧来组合多个图像。根据各种实施方式，便携式电子装置可基于其数量比理论上使用的帧的数量少的帧生成合成图像，并因而，可减少用于图像合成所耗费的内存和处理时间。
根据本公开的各种实施方式的电子装置可包括具有第一视角的第一相机、具有比第一视角小的第二视角的第二相机、存储器和处理器，处理器可使用第一相机获取具有第一亮度且与外部对象对应的第一图像，可使用第二相机获取具有第二亮度且与外部对象对应的多个第二图像，可至少基于具有第二亮度的多个第二图像生成被校正成具有与第一亮度对应的亮度的图像，并可至少基于具有第一亮度的第一图像的至少一部分和校正后的图像中的至少一部分来生成与外部对象对应的合成图像。
根据本公开的各种实施方式的方法可使用具有第一视角的第一相机获取具有第一亮度并且与外部对象对应的第一图像，可使用具有比第一视角窄的第二视角的第二相机获取具有第二亮度并且与外部对象对应的多个第二图像，可至少基于具有第二亮度的多个第二图像生成被校正成具有与第一亮度对应的亮度的图像，并可至少基于具有第一亮度的第一图像的至少一部分和校正后的图像的至少一部分生成与外部对象对应的合成图像。
当将由具有不同放大率(例如，视角)的多个相机拍摄的多个图像进行组合时，本公开的各种实施方式可控制所使用的帧的数量。本公开的各种实施方式可使用其数量比基于由第一相机获取的第一图像的亮度与由第二相机获取的第二图像的亮度之间的差异而设置的帧的数量少的帧来将多个图像进行组合。本公开的各种实施方式可减少用于合成的帧的数量，从而可减少用于帧处理的内存和帧处理时间。根据本公开的各种实施方式的电子装置可使用具有不同视角的多个相机拍摄图像，并且将所拍摄的图像进行组合，从而可高效利用电子装置的性能。
在进行下文的详细描述之前，说明在本专利文件全文中使用的某些单词和短语的定义可能是有益的：措辞“包括”和“包含”以及它们的衍生词意为包括而非限制；措辞“或”是包括性的，意为和/或；短语“与...相关”和“与其相关”及其衍生词可意味着包括、包括在...内、与...互相连接、包含、包含在...内、连接至或与...连接、联接至或与...联接、可与...通信、与...合作、交错、并列、接近于、结合至或与...结合、具有、具有...的性质等；以及措辞“控制器”意为控制至少一个操作的任何装置、系统或其一部分，这样的装置例如可以以硬件、固件或软件来实施，或以硬件、固件或软件中的至少两项的一些组合来实施。应注意的是，与任何特定控制器关联的功能均可以是集中式的或分布式的，无论是本地还是远程。
此外，以下描述的各种功能可由一个或多个计算机程序实施或支持，该计算机程序中的每个均由计算机可读程序代码形成并且实施于计算机可读介质中。措辞“应用”和“程序”指代适于在适当的计算机可读程序代码中实施的一个或多个计算机程序、软件组件、指令集、过程、功能、对象、类别、实例、相关数据、或上述项的一部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。措辞“计算机可读介质”包括能够被计算机访问的任何类型的介质，如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、压缩盘(CD)、数字视频盘(DVD)或任何其它类型的存储器。“非易失性”计算机可读介质排除传输易失性的电信号或易失性的其它信号的有线链路、无线链路、光学链路或其它通信链路。非易失性计算机可读介质包括可供数据永久存储的介质以及可供数据存储并随后被覆盖的介质，诸如可重写光盘或可擦除存储装置。
本专利文件全文中提供对某些词语或短语的定义。本领域普通技术人员应理解，在许多情况下(如果不是大多数情况)，这种定义适用于现有技术，也适用于这样定义的词语和短语的将来的使用。
附图说明
为了更完整地理解本公开及其有益效果，现参考下文结合附图而作出的描述，在附图中相同的附图标记表示相同的部分，在附图中：
图1示出了根据各种实施方式的网络环境中的电子装置的框图；
图2示出了根据各种实施方式的相机模块的框图；
图3示出了根据各种实施方式的包括多个相机的相机模块的框图；
图4示出了根据各种实施方式的配备有多个相机的电子装置的外观的示意图；
图5示出了根据各种实施方式的用于组合基于多个相机的多个图像的方法的示意图；
图6A和图6B示出了根据各种实施方式的用于组合基于多个相机的多个图像的实施方式的图；以及
图7A至图7D示出了根据各种实施方式的组合与RGB颜色对应的图像的实施方式的图。
具体实施方式
下文讨论的图1至图7D以及用于在本专利文件中描述本公开的原理的各种实施方式仅通过说明的方式作出，而不应被解释为以任何方式对本公开的范围的进行限制。本领域技术人员将理解，本公开的原理可实施于任何适当布局的系统或装置。
图1是示出根据各种实施方式的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施方式，电子装置101可经由服务器108与电子装置104进行通信。根据实施方式，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施方式中，可从电子装置101中省略所述部件中的至少一个(例如，显示装置160或相机模块180)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施方式中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施方式，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施方式，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123可控制与电子装置101(而非主处理器121)的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施方式，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标或键盘。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施方式，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施方式，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块170可将声音转换为电信号，反之亦可。根据实施方式，音频模块170可经由输入装置150获取声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施方式，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施方式，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施方式，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施方式，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施方式，相机模块180可包括一个或更多个镜头、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施方式，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施方式，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施方式，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施方式，天线模块197可包括一个或更多个天线，并且因此，可由例如通信模块190(例如，无线通信模块192)选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施方式，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施方式，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
图2是示出根据各种实施方式的相机模块180的框图200。参照图2，相机模块180可包括镜头组件210、闪光灯220、图像传感器230、图像稳定器240、存储器250(例如，缓冲存储器)或图像信号处理器260。镜头组件210可采集从将被拍摄图像的物体发出或反射的光。镜头组件210可包括一个或更多个镜头。根据实施方式，相机模块180可包括多个镜头组件210。在这种情况下，相机模块180可形成例如双相机、360度相机或球形相机。多个镜头组件210中的一些镜头组件210可具有相同的镜头属性(例如，视角、焦距、自动对焦、f数或光学变焦)，或者至少一个镜头组件可具有与另外的镜头组件的镜头属性不同的一个或更多个镜头属性。镜头组件210可包括例如广角镜头或长焦镜头。
闪光灯220可发光，其中，发出的光用于增强从物体反射的光。根据实施方式，闪光灯220可包括一个或更多个发光二极管(LED)(例如，红绿蓝色(RGB)LED、白色LED、红外(IR)LED或紫外(UV)LED)或氙灯。
图像传感器230可通过将从物体发出或反射并经由镜头组件210透射的光转换为电信号来获取与物体相应的图像。根据实施方式，图像传感器230可包括从具有不同属性的多个图像传感器中选择的一个图像传感器(例如，RGB传感器、黑白(BW)传感器、IR传感器或UV传感器)、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。可使用例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现包括在图像传感器230中的每个图像传感器。
图像稳定器240可沿特定方向移动图像传感器230或包括在镜头组件210中的至少一个镜头，或者响应于相机模块180或包括相机模块180的电子装置101的移动来控制图像传感器230的可操作属性(例如，调整读出时序)。这样，允许补偿由于正被捕捉的图像的移动而产生的负面效果(例如，图像模糊)的至少一部分。根据实施方式，图像稳定器240可使用布置在相机模块180之内或之外的陀螺仪传感器(未示出)或加速度传感器(未示出)来感测相机模块180或电子装置101的这样的移动。根据实施方式，可将图像稳定器240实现为例如光学图像稳定器。
存储器250可至少暂时地存储经由图像传感器230获取的图像的至少一部分以用于后续的图像处理任务。例如，如果快速捕捉了多个图像或者由于快门时滞而导致图像捕捉延迟，则可将获取的原始图像(例如，拜耳图案图像、高分辨率图像)存储在存储器250中，并且可经由显示装置160来预览其相应的副本图像(例如，低分辨率图像)。然后，如果满足了指定的条件(例如，通过用户的输入或系统命令)，则可由例如图像信号处理器260来获取和处理存储在存储器250中的原始图像的至少一部分。根据实施方式，可将存储器250配置为存储器130的至少一部分，或者可将存储器250配置为独立于存储器130进行操作的分离的存储器。
图像信号处理器260可对经由图像传感器230获取的图像或存储在存储器250中的图像执行一个或更多个图像处理。所述一个或更多个图像处理可包括例如深度图生成、三维(3D)建模、全景图生成、特征点提取、图像合成或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊、锐化或柔化)。另外或可选地，图像信号处理器260可对包括在相机模块180中的部件中的至少一个部件(例如，图像传感器230)执行控制(例如，曝光时间控制或读出时序控制)。可将由图像信号处理器260处理的图像存储回存储器250以用于进一步处理，或者可将该图像提供给在相机模块180之外的外部部件(例如，存储器130、显示装置160、电子装置102、电子装置104或服务器108)。根据实施方式，可将图像信号处理器260配置为处理器120的至少一部分，或者可将图像信号处理器260配置为独立于处理器120进行操作的分离的处理器。如果将图像信号处理器260配置为与处理器120分离的处理器，则可由处理器120经由显示装置160将由图像信号处理器260处理的至少一个图像按照其原样显示，或者可将所述至少一个图像在被进一步处理后进行显示。
根据实施方式，电子装置101可包括具有不同属性或功能的多个相机模块180。在这种情况下，所述多个相机模块180中的至少一个相机模块180可形成例如广角相机，并且所述多个相机模块180中的至少另一个相机模块180可形成长焦相机。类似地，所述多个相机模块180中的至少一个相机模块180可形成例如前置相机，并且所述多个相机模块180中的至少另一个相机模块180可形成后置相机。
根据各种实施方式，包括在相机模块180中的镜头组件210可包括至少一个镜头，并且镜头可包括具有第一视角的第一镜头和具有比第一视角窄的第二视角的第二镜头。根据各种实施方式，可通过将与第一视角对应的第一图像和与第二视角对应的第二图像进行校正和结合来生成单个合成图像。
图3示出了根据各种实施方式的包括多个相机的相机模块180的框图300。
参照图3，相机模块180可包括第一相机310和第二相机320，并且第一相机310和第二相机320可以同步。根据各种实施方式，第一相机310和第二相机320可被包括在图像传感器230中，其中，该图像传感器230被包括在相机模块180中，并且第一相机310和第二相机320可在图像传感器230的控制下操作。根据各种实施方式，第一相机310和第二相机320中的每个均可实施为包括图2的元件的结构。
根据各种实施方式，电子装置(例如，图1的电子装置101)的处理器(例如，图1的处理器120)可使用第一相机310和第二相机320拍摄图像。例如，处理器120可使用第一相机310拍摄第一图像，并可使用第二相机320拍摄第二图像。第一相机310和第二相机320具有不同的放大率并可具有不同的F值。放大率不同可表明在相同曝光时间期间由相机接收的光的量彼此不同。通常，相机的F值(例如，F数、表明相机镜头的亮度的值或表明所接收的光的量的值)可基于相机的镜头来确定。例如，F值小可表明接收到大量的光，并且拍摄的图像可被显示得明亮。根据各种实施方式，第一相机310和第二相机320可具有不同的视角。在下文中，假设第一相机310的F值小于第二相机320的F值，本公开不限于此。F值小可表明经由相机的镜头接收到大量的光。与第一相机310对应的第一图像的亮度可比与第二相机320对应的第二图像的亮度亮。处理器120可识别第一图像与第二图像之间在亮度上的差异，并可控制第二图像的亮度与第一图像的亮度对应。
根据各种实施方式，处理器120可基于第一图像与第二图像之间在亮度上的差异来确定用于校正第二图像的帧的数量，并可基于所确定的帧的数量校正第二图像的亮度。根据各种实施方式，处理器120可基于第一图像和亮度被校正的第二图像生成合成图像。
根据各种实施方式，处理器120可基于帧来校正图像，该帧的数量小于理论上使用的帧的数量。根据各种实施方式，处理器可减少待处理的帧的数量，从而可减少用于帧处理的内存和帧处理时间。
根据各种实施方式的电子装置可包括具有第一视角的第一相机、具有小于第一视角的第二视角的第二相机、存储器和处理器，处理器可使用第一相机获取具有第一亮度且与外部对象对应的第一图像，使用第二相机获取具有第二亮度且与外部对象对应的多个第二图像，至少基于具有第二亮度的多个第二图像生成被校正成具有与第一亮度对应的亮度的图像，并可至少基于具有第一亮度的第一图像的至少一部分和被校正的图像中的至少一部分来生成与外部对象对应的合成图像。
根据各种实施方式的电子装置的处理器可基于针对第一相机设置的第一曝光时间获取第一图像，并可基于针对第二相机设置的并与第一曝光时间大致相同的第二曝光时间获取多个第二图像。
根据各种实施方式，第一相机具有第一f数，第二相机具有比第一f数大的第二f数，处理器配置成至少基于第一f数与第二f数之间的差异确定多个第二图像的数量，这作为获取多个第二图像的步骤的至少一部分。
根据各种实施方式，处理器可至少基于多个第二图像的数量校正多个第二图像的至少一部分，这作为生成校正后的图像的步骤的一部分。
根据各种实施方式，处理器可使用第一指定校正方案来校正与第一图像对应的第一噪声，并可使用第二指定校正方案来校正与多个第二图像的至少一部分对应的第二噪声。
根据各种实施方式，处理器可执行：作为第一指定校正方案的至少一部分，使用其数量与第一值对应的图像校正第一噪声；并且作为第二指定校正方案的至少一部分，使用其数量与大于第一值的第二值对应的图像校正第二噪声。
根据各种实施方式，第一相机和第二相机中的一项是用于执行基于单色像素的拍摄的相机，并且第一相机和第二相机中的另一项是用于执行基于RGB像素的拍摄的相机。
根据各种实施方式，处理器可使用基于单色像素的校正方案作为第一指定校正方案的至少一部分，并可使用基于RGB像素的校正方案作为第二指定校正方案的至少一部分。
根据各种实施方式，处理器可执行：作为基于单色像素的校正方案，使用其数量为第一值的图像来校正通过基于单色像素的拍摄而获取的图像；并且作为基于RGB像素的校正方案，使用其数量为比第一值大的第二值的图像来校正通过基于RGB像素的拍摄而获取的图像。
根据各种实施方式的电子装置可包括执行基于单色像素的拍摄的第一相机、执行基于RGB像素的拍摄的第二相机、存储器和处理器。处理器可使用第一相机获取与外部对象对应的具有第一亮度的第一图像，可使用第二相机获取与外部对象对应的具有第二亮度的多个第二图像，可至少基于具有第二亮度的多个第二图像生成被校正成具有与第一亮度对应的亮度的图像，并可至少基于具有第一亮度的第一图像的至少一部分和校正后的图像中的至少一部分来生成与外部对象对应的合成图像。
图4示出了根据各种实施方式的配备有多个相机的电子装置的外观的图。
参照图4，电子装置400(例如，电子装置101)可包括相机模块410(例如，相机模块180)，并且相机模块410可包括多个相机。例如，相机模块410可包括第一相机411和第二相机412。第一相机411和第二相机412可以是同步的。虽然图4的电子装置400被示出为使得两个相机被包括在单个相机模块410中，但本公开不限于此。
根据各种实施方式，电子装置400可使用第一相机411拍摄预定对象的第一图像，并可使用第二相机412拍摄预定对象的第二图像。根据实施方式，第一相机411和第二相机412可具有不同的放大率。放大率不同可表明与相机对应的F值(例如，F数、表明相机镜头的亮度的值或表明所接收的光的量的值)不同。在相同曝光时间期间经由第一相机411接收的光的量和经由第二相机412接收的光的量可以不同。例如，随着F值减小，相机接收的光的量可以增加，并且相机拍摄的图像的亮度可以变得更亮。根据各种实施方式，第一相机411和第二相机412可具有不同的视角。例如，当第一相机411的视角比第二相机412的视角宽时，第一相机411接收的光的量可大于第二相机412接收的光的量。例如，表述“视角宽”可表明“接收的光的量(例如，相机所接收的光的量)大”，并且“F值小”。
根据各种实施方式，第一相机411和第二相机412可设置在电子装置400的正面或背面中，以使得第一相机411和第二相机412可拍摄相同的主题。根据各种实施方式，电子装置400可配备有第一相机411和第二相机412，以使得第一相机411和第二相机412设置在正面和背面中的相同的面中。根据各种实施方式，第一相机411和第二相机412可设置在电子装置400的上部、中部、下部等中，并且第一相机411和第二相机412的位置不限于预定的位置。
图5示出了根据各种实施方式的组合基于多个相机的多个图像的方法的流程图。
参照图5，在操作501中，电子装置(例如，图1的电子装置101)的处理器(例如，图1的处理器120)可使用被包括在相机模块(例如，图1的相机模块180)中的第一相机(例如，图3的第一相机310)拍摄具有第一亮度的第一图像。在操作503中，处理器120可使用被包括在相机模块180中的第二相机(例如，图3的第二相机320)拍摄具有第二亮度的第二图像。第一相机310和第二相机320具有不同的放大率，并可在相同的曝光时间期间经由相机的镜头接收不同量的光。放大率不同可表明第一相机310和第二相机320具有不同的视角。与第一相机310对应的F值(例如，F数、表明相机镜头的亮度的值或表示所接收的光的量的值)可不同于与第二相机320对应的F值。F值小可表明接收到的光的量大。例如，当与第一相机310对应的F值小于与第二相机320对应的F值时，由第一相机310拍摄的第一图像可输出为比由第二相机320拍摄的第二图像亮。根据各种实施方式，具有第一亮度的第一图像可比具有第二亮度的第二图像亮。
在操作505中，处理器120可将第二图像的第二亮度校正成与第一图像的第一亮度对应。根据各种实施方式，处理器120可基于第一图像与第二图像之间在亮度上的差异来确定第二图像的帧的数量。例如，处理器120可对第一图像的第一亮度和第二图像的第二亮度进行比较，并可识别两个图像之间在亮度上的差异。基于所识别的亮度上的差异，处理器120可确定第二图像的帧的数量。
根据各种实施方式，处理器120可基于所确定的帧的数量来校正第二图像的第二亮度。校正后的第二图像的第二亮度可实施为具有与第一图像的第一亮度类似的亮度。例如，当第一图像与第二图像之间在亮度上的差异相当于两倍的差异时(例如，当第一图像的亮度是第二图像的亮度的两倍时)，在理论上，用于校正第二图像的第二图像的帧的数量可以是第一图像的帧的数量的两倍。根据各种实施方式，处理器120可基于其数量为第一值的帧(例如，第一图像的帧)来校正第一图像。处理器120可基于其数量为比第一值大的第二值的帧(例如，第二图像的帧)来校正第二图像。
根据各种实施方式，取决于拍摄环境，处理器120所需的第二图像的帧的数量可小于理论上使用的帧的数量。处理器120可基于其数量小于理论上使用的帧的数量的帧，将第二图像的第二亮度校正成具有与第一图像的第一亮度类似的亮度。根据各种实施方式，处理器120可基于第一图像与第二图像之间在亮度上的差异来确定第二图像的帧的数量。
根据各种实施方式，处理器120可基于所确定的帧的数量来校正第二图像的第二亮度。例如，所确定的帧的数量为四，处理器120可基于四个帧来校正第二图像的第二亮度。亮度被校正的第二图像可具有与第一图像的第一亮度类似的亮度。根据各种实施方式，当确定了与第一图像的第一亮度对应的值并且测量到与第二图像的第二亮度对应的值在所确定的值的误差范围内时，确定第一图像的第一亮度与第二图像的第二亮度类似。该误差范围可在设计期间确定，并且在误差范围内用户可能几乎无法用肉眼识别图像之间在亮度上的差异。
根据各种实施方式，校正第二图像的操作可以是降低与第二图像对应的噪声的操作。处理器120可基于所确定的帧的数量来校正第二图像，由此可将第二图像变得更亮并可降低与第二图像对应的噪声。
在操作507中，处理器120可基于第一图像和亮度被校正的第二图像生成合成图像。根据各种实施方式，为了将第一图像与第二图像组合，处理器120可控制第一图像的第一亮度和第二图像的第二亮度彼此类似。此外，处理器120可降低与第二图像对应的噪声，由此可将与第一图像对应的噪声和与第二图像对应的噪声控制成彼此类似。
根据各种实施方式，处理器120可将第二图像校正成使得第二图像的第二亮度变得与第一图像的第一亮度类似，并可基于第一图像和亮度被校正的第二图像生成合成图像。根据各种实施方式，处理器120可基于第一图像和第二图像之间在亮度上的差异来确定与第二图像对应的帧的数量，并可基于所确定的帧的数量来校正第二图像。
图6A和图6B示出了根据各种实施方式的组合基于多个相机的多个图像的实施方式的图。
图6A示出了基于具有相对较低F值的第一相机610和具有相对较高F值的第二相机620来生成合成图像的过程。例如，第一相机610具有比第二相机620的F值小的F值，并可在相同的曝光时间期间接收第二相机620所接收的光的量的两倍的光的量(例如，光接收量)。相反，第二相机620具有比第一相机610的F值大的F值，并且在相同曝光时间期间的光接收量可以是第一相机610的光接收量的一半。由第一相机610拍摄的第一图像的亮度可以是由第二相机620拍摄的第二图像的亮度的两倍。与第一相机610对应的曝光时间可以是第一曝光时间，而与第二相机620对应的曝光时间可以是第二曝光时间。第一曝光时间和第二曝光时间可以相同。
第一相机610和第二相机620的快门速度(拍摄速度或曝光时间)可被设置成相同。快门速度可以是设置在图像传感器与相机的镜头之间的快门打开和关闭时所花费的时间量。快门速度可表示为秒。在快门打开时接收光，并因此，当快门速度短时，光接收量低。例如，与1/1000s的快门速度对应的拍摄图像可比与1/250s的快门速度对应的拍摄图像暗。根据各种实施方式，第一相机610的快门速度和第二相机620的快门速度可设置成在误差范围内相同。该误差范围可在设计期间确定，并且在误差范围内用户可能几乎无法用肉眼识别图像之间在亮度上的差异。
根据各种实施方式，第一相机610和第二相机620可每秒获取四帧。处理器120可以将使用第一相机610拍摄的第一图像与使用第二相机620拍摄的第二图像组合。为了组合第一图像和第二图像，处理器120可将第一图像和第二图像校正成使得第一图像的亮度和第二图像的亮度彼此类似。第二图像比第一图像暗，并因而在执行图像校正时可使用更多数量的帧。例如，第二图像的亮度相当于第一图像的亮度的一半，并因而理论上可使用其数量为第一图像的帧的数量的两倍的第二图像的帧来校正第二图像。根据各种实施方式，处理器120可基于第一图像的亮度来确定第二图像的帧的数量。根据各种实施方式，帧的数量可确定成小于理论上使用的帧的数量。根据各种实施方式，减少了待处理的帧的数量，并因而可减少待使用的内存和处理时间。
在操作611中，第一相机610可基于四个帧来校正第一图像。在操作621中，第二相机620可通过再添加两个帧来基于六个帧校正第二图像。处理器120可在操作612中生成与第一图像对应的校正图像，并可在操作622中生成与第二图像对应的校正图像。校正图像的过程可以是将第二图像的亮度控制为与第一图像的亮度类似的过程，或者可以是将第二图像的噪声降低为与第一图像的噪声类似的过程。具有相对较小光接收量的第二图像可具有比第一图像的噪声量相对大的噪声量。操作612和操作622可以是与多个帧有关的降噪(NR)过程。即，这些操作可以是为了组合第一图像与第二图像而降低被包括在第一图像和第二图像中的噪声的过程。
在操作630中，处理器120可通过将校正的第一图像与校正后的第二图像组合来生成合成图像。根据各种实施方式，处理器120可生成合成图像，合成图像的亮度与第一图像的亮度类似并且合成图像的与第二图像对应的噪声得以降低。
图6B详细示出了基于具有相对较低F值的第一相机610和具有相对较高F值的第二相机620生成合成图像的过程。
电子装置101的处理器120可使用第一相机610和第二相机620拍摄预定主题(例如，人)。第一相机610和第二相机620的放大率可与彼此不同。当在相同曝光时间期间执行拍摄时，由第一相机610拍摄的第一图像650和由第二相机620拍摄的第二图像660可具有不同的亮度和不同的拍摄范围。例如，由第一相机610拍摄的第一图像650可包括主题的形状，但由第二相机620拍摄的第二图像660可包括主题的至少一部分。由第一相机610拍摄的第一图像650的亮度可以大约是由第二相机620拍摄的第二图像660的亮度的两倍。根据各种实施方式的电子装置101可使用多个相机拍摄多个图像，并可通过组合多个图像来生成单个合成图像。
为了组合第一图像650和第二图像660，处理器120可基于第一图像650的亮度来控制第二图像660的亮度。例如，处理器120可基于与第二图像660对应的多个帧来校正第二图像660，从而控制第二图像660的亮度。处理器120可在操作651中基于与第一图像650对应的四个帧来校正第一图像650，并可在操作661中基于与第二图像660对应的六个帧来校正第二图像660。根据各种实施方式，第二图像660的亮度比第一图像650的亮度暗，并因而，用于校正第二图像660的帧的数量可大于用于校正第一图像650的帧的数量。根据各种实施方式，处理器120可基于第一图像650的亮度确定用于校正第二图像660的帧的数量。根据各种实施方式，处理器120可基于其数量比理论上使用的帧的数量少的帧来校正第二图像660。根据各种实施方式，用于校正第二图像660的待处理的帧的数量比理论上使用的帧的数量少，并因而，可减少用于帧处理的内存和帧处理时间。
参照操作653和操作663，校正第一图像650和第二图像660的过程可以是降低与第一图像650和第二图像660对应的噪声的过程。
在操作670中，处理器120可基于第一图像650和校正后的第二图像660生成合成图像671。根据各种实施方式，由于亮度与第一图像650的亮度类似且从第一图像650和第二图像660中去除了噪声，所以合成图像671可被显示得更清晰。
图7A至图7D示出了根据各种实施方式的组合与RGB颜色对应的图像的实施方式的图。
图7A是示出了与用于显示颜色的RGB像素对应的光接收量的图。RGB像素可被划分为三种颜色，即红色、绿色和蓝色。所接收的与每种颜色对应的光的量可大约是光接收总量的1/3。RGB像素可被划分为与红色对应的R滤光器710、与绿色对应的G滤光器720和与蓝色对应的B滤光器730。R滤光器710可接收总光量的1/3以展现红色。G滤光器720可接收总光量的1/3以展现绿色，并且B滤光器730可接收总光量的1/3以展现蓝色。如上所述，电子装置(例如，图1的电子装置101)接收总光量的约1/3，并因而显示图像的亮度可能较暗。即，该图像可包括高噪声。
图7B是示出了RGB像素和单色像素的光透射率的曲线图。RGB像素可展现诸如红色、绿色、蓝色等颜色，而单色像素可展现一种颜色。参照曲线图，x轴表示波长，而y轴表示量子效率(例如，所接收的光量或光接收量)。RGB像素可基于与可见光对应的波长段(400nm至760nm)展现红色715、绿色725、蓝色735等。例如，RGB像素可接收与设定波长段对应的光，并且可不接收设定波长段之外的光。根据各种实施方式，对于每种颜色(例如，红色715、绿色725和蓝色735)，RGB像素可接收与单色像素740的光接收量的约1/3对应的光。根据各种实施方式，与RGB像素715、725和735对应的光接收量可小于与单色像素740对应的光接收量。根据各种实施方式，由于光接收量小，因而与RGB像素对应的图像可显示得比与单色像素740对应的图像暗。根据各种实施方式，为了将与单色像素740对应的图像和与RGB像素对应的图像组合，通过多次执行拍摄来获取与RGB对应的图像，并基于通过多次执行拍摄而获取的多个图像来执行图像校正。根据各种实施方式的电子装置101可通过将与单色像素740对应的图像和与RGB像素对应的校正图像组合来生成合成图像。
图7C示出了正常拍摄的图像和基于单色像素和RGB像素获取的合成图像。
参照图7C，当电子装置(例如，图1的电子装置101)执行拍摄而没有组合多个图像的过程时，电子装置101可显示第一图像760，在第一图像760中，包括与RGB像素对应的颜色的一部分显示得较暗。与RGB像素对应的区域的光接收量减少到光接收总量的1/3，并因而，与RGB像素对应的区域可显示得较暗。根据各种实施方式，电子装置101拍摄多个帧以将与RGB像素对应的区域显示得明亮，并可基于所拍摄的多个帧来校正与RGB像素对应的区域的亮度。
根据各种实施方式，电子装置101可基于其数量比校正亮度理论上使用的帧的数量少的帧校正与RGB像素对应的区域的亮度。例如，当第一图像760的亮度是与RGB像素对应的区域的亮度的两倍时，理论上可使用四个帧来校正亮度。根据各种实施方式，本公开可基于例如两个帧(其数量比四个帧小)来校正与RGB像素对应的区域的亮度。根据各种实施方式，由于减少了待处理的帧的数量，因而电子装置101可节省与待处理的帧对应的存储(例如，图1的存储器130)，并可减少帧处理时间。
根据各种实施方式，电子装置101可将第一图像760和其亮度被校正的与RGB像素对应的区域组合，并可生成合成图像770。在合成图像770中与RGB像素对应的颜色可被清楚地显示。
图7D示出了基于红外线(IR)传感器和彩色相机获取的合成图像。参照图7D，电子装置101可基于红外线传感器(例如，基于红外线执行拍摄的相机)和彩色相机(例如，RGB相机)拍摄预定主题。根据各种实施方式，彩色相机的光接收量相当于总光量的约1/3，并因而，在与颜色对应的区域可能出现噪声并且与颜色对应的区域可能显示得较暗。参照图7D，电子装置101可输出第一图像780，在第一图像780中主题的颜色不清楚。
根据各种实施方式，电子装置101可执行拍摄以使用彩色相机获取多个帧，并可基于经由拍摄获取的多个帧来校正基于彩色相机的图像的亮度。例如，电子装置101可根据基于红外线传感器拍摄的图像的亮度来校正基于彩色相机的图像的亮度。校正图像亮度的操作可表示降低图像噪声的操作。例如，降低图像的噪声可以表示将图像的亮度校正成使得图像的颜色被显示得清晰的操作。根据各种实施方式，电子装置101可比较基于红外线传感器的图像的亮度和基于彩色相机的图像的亮度，并可基于比较结果确定与彩色相机对应的帧的数量。根据各种实施方式，电子装置101可基于其数量比理论上使用的帧的数量少的帧来校正图像。
根据各种实施方式，电子装置101可将基于红外线传感器拍摄的第一图像780与通过校正由彩色相机拍摄的图像而获取的校正图像组合。根据各种实施方式，电子装置101可生成其颜色被显示得比第一图像780的颜色更清晰的合成图像790。
根据本公开的各种实施方式的方法可使用具有第一视角的第一相机获取具有第一亮度并且与外部对象对应的第一图像，可使用具有比第一视角窄的第二视角的第二相机获取具有第二亮度并且与外部对象对应的多个第二图像，可至少基于具有第二亮度的多个第二图像生成被校正成具有与第一亮度对应的亮度的图像，并可至少基于具有第一亮度的第一图像的至少一部分和校正后的图像的至少一部分生成与外部对象对应的合成图像。
根据各种实施方式，获取第一图像的操作可包括基于针对第一相机设置的第一曝光时间来获取第一图像，并且获取多个第二图像的操作可包括基于针对第二相机设置的且与第一曝光时间大致相同的第二曝光时间获取多个第二图像。
根据各种实施方式，第一相机具有第一f数，并且第二相机具有大于第一f数的第二f数。根据各种实施方式，获取多个第二图像的操作可包括至少基于第一f数与第二f数之间的差异确定多个第二图像的数量。
根据各种实施方式，生成校正后的图像的操作可包括至少基于多个第二图像的数量来校正多个第二图像的至少一部分。
根据各种实施方式的方法还可包括：使用第一指定校正方案校正与第一图像对应的第一噪声；并且使用第二指定校正方案校正与多个第二图像的至少一部分对应的第二噪声。
根据各种实施方式，作为第一指定校正方案的至少一部分，校正第一噪声的操作可包括使用其数量为第一值的图像校正第一噪声；并且作为第二指定校正方案的至少一部分，校正第二噪声的操作可包括使用其数量为比第一值大的第二值的图像校正第二噪声。
根据各种实施方式，第一相机和第二相机中的一项是用于执行基于单色像素拍摄的相机，并且第一相机和第二相机中的另一项是用于执行基于RGB像素拍摄的相机。
根据各种实施方式，基于单色像素的校正方案被用作第一指定校正方案的至少一部分，并且基于RGB像素的校正方案被用作第二指定校正方案的至少一部分。根据各种实施方式的方法还可包括：作为基于单色像素的校正方案，通过使用其数量为第一值的图像来校正通过基于单色像素的拍摄而获取的图像；并且作为基于RGB像素的校正方案，通过使用其数量为比第一值大的第二值的图像来校正通过基于RGB像素的拍摄而获取的图像。
根据各种实施方式的方法可使用执行基于单色像素的拍摄的第一相机获取与外部对象对应的具有第一亮度的第一图像，可使用执行基于RGB像素的拍摄的第二相机获取与外部对象对应的具有第二亮度的多个第二图像，可至少基于具有第二亮度的多个第二图像生成被校正成具有与第一亮度对应的亮度的图像，并可至少基于具有第一亮度的第一图像的至少一部分和校正后的图像的至少一部分生成与外部对象对应的合成图像。
根据各种实施方式，可提供在计算机中记录用于实施将多个图像进行组合的方法的程序的计算机可读记录介质，并且该方法可使用具有第一视角的第一相机获取具有第一亮度并且与外部对象对应的第一图像，可使用具有比第一视角窄的第二视角的第二相机获取具有第二亮度并且与外部对象对应的多个第二图像，可基于具有第二亮度的多个第二图像的至少一部分生成被校正成具有与第一亮度对应的亮度的图像，并可至少基于具有第一亮度的第一图像的至少一部分和校正后的图像的至少一部分生成与外部对象对应的合成图像。
根据各种实施方式的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施方式，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施方式以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施方式，而是包括针对相应实施方式的各种改变、等同形式或替换形式。对于附图的描述，类似的参考标号可用来指代类似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确表明。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)组合”、“组合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其它术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施方式，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施方式实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施方式，可在计算机程序产品中包括和提供根据本公开的各种实施方式的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施方式，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施方式，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施方式，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或类似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施方式，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
尽管已经利用各种实施方式描述了本公开，但本领域技术人员可得到多种改变和修改的启示。本公开旨在包括落入所附权利要求范围内的这些改变和修改。

Claims (11)

1.一种用于组合图像的电子装置，所述电子装置包括：
第一相机，所述第一相机包括第一视角并具有第一f数；
第二相机，所述第二相机包括比所述第一视角小的第二视角并具有比所述第一f数大的第二f数；
存储器；以及
处理器，
其中，所述处理器配置成：
使用所述第一相机获取第一图像，所述第一图像具有第一亮度并与外部对象对应；
使用所述第二相机获取多个第二图像，所述多个第二图像具有第二亮度并与所述外部对象对应，其中，所述第一图像的所述第一亮度比所述多个第二图像的所述第二亮度亮；
至少基于所述第一f数与所述第二f数之间的差异来确定所述多个第二图像的数量；
基于所述多个第二图像的数量，生成被校正成具有与所述第一亮度对应的亮度的图像；以及
基于具有所述第一亮度的所述第一图像的至少一部分和校正后的图像，生成与所述外部对象对应的合成图像。
2.根据权利要求1所述的电子装置，其中，所述处理器还配置成：
基于针对所述第一相机设置的第一曝光时间来获取所述第一图像；以及
基于所述第一曝光时间来获取所述多个第二图像。
3.根据权利要求1所述的电子装置，其中，所述处理器还配置成：
使用所述第一相机获取包括所述第一亮度的第一数量的多个第一图像；
使用所述多个第一图像通过执行降噪过程来生成校正的第一图像；
其中，所述校正后的图像还使用所确定的数量的第二图像通过执行降噪过程来校正，其中，所确定的第二图像的数量大于所述第一图像的所述第一数量。
4.根据权利要求1所述的电子装置，其中，所述第一相机和所述第二相机中的一项是用于执行基于单色像素的拍摄的相机，以及所述第一相机和所述第二相机中的另一项是用于执行基于RGB像素的拍摄的相机。
5.根据权利要求4所述的电子装置，其中，所述处理器还配置成：
使用基于单色像素的校正方案作为用于校正与所述第一图像对应的第一噪声的第一指定校正方案的至少一部分；以及
使用基于RGB像素的校正方案作为用于校正与所述多个第二图像的至少一部分对应的第二噪声的第二指定校正方案的至少一部分。
6.根据权利要求5所述的电子装置，其中，所述处理器配置成：
作为所述基于单色像素的校正方案，使用第一数量的图像校正通过基于单色像素的拍摄而获取的图像；以及
作为所述基于RGB像素的校正方案，使用第二数量的图像校正通过基于RGB像素的拍摄而获取的图像，其中，所述第二数量大于所述第一数量。
7.一种用于组合图像的方法，包括：
使用包括第一视角并具有第一f数的第一相机获取第一图像，所述第一图像具有第一亮度并与外部对象对应；
使用包括比所述第一视角小的第二视角并具有比所述第一f数大的第二f数的第二相机来获取多个第二图像，所述多个第二图像具有第二亮度并与所述外部对象对应，其中，所述第一图像的所述第一亮度比所述多个第二图像的所述第二亮度亮；
至少基于所述第一f数与所述第二f数之间的差异来确定所述多个第二图像的数量；
基于所述多个第二图像的数量，生成被校正成具有与所述第一亮度对应的亮度的图像；以及
基于具有所述第一亮度的所述第一图像的至少一部分和校正后的图像，生成与所述外部对象对应的合成图像。
8.根据权利要求7所述的方法，其中，
获取所述第一图像包括基于针对所述第一相机设置的第一曝光时间来获取所述第一图像；以及
获取所述多个第二图像包括基于所述第一曝光时间来获取所述多个第二图像。
9.根据权利要求7所述的方法，还包括：
使用所述第一相机获取包括所述第一亮度的第一数量的多个第一图像；
使用所述多个第一图像通过执行降噪过程来生成校正的第一图像；
其中，所述校正后的图像还使用所确定的数量的第二图像通过执行降噪过程来校正，其中，所确定的第二图像的数量大于所述第一图像的所述第一数量。
10.根据权利要求7所述的方法，其中，
所述第一相机和所述第二相机中的一项是用于执行基于单色像素的拍摄的相机；以及
所述第一相机和所述第二相机中的另一项是用于执行基于RGB像素的拍摄的相机。
11.根据权利要求10所述的方法，还包括：
作为基于单色像素的校正方案，通过使用第一数量的图像校正通过基于单色像素的拍摄而获取的图像；以及
作为基于RGB像素的校正方案，通过使用第二数量的图像校正通过基于RGB像素的拍摄而获取的图像，其中，所述第二数量大于所述第一数量，
其中，所述基于单色像素的校正方案被用作用于校正与所述第一图像对应的第一噪声的第一指定校正方案的至少一部分，以及所述基于RGB像素的校正方案被用作用于校正与所述多个第二图像的至少一部分对应的第二噪声的第二指定校正方案的至少一部分。
CN201811187234.6A 2017-10-13 2018-10-12 用于组合多个图像的电子装置及其方法 Active CN109672827B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170132972A KR102318013B1 (ko) 2017-10-13 2017-10-13 복수의 이미지들을 합성하는 전자장치 및 방법
KR10-2017-0132972 2017-10-13

Publications (2)

Publication Number Publication Date
CN109672827A CN109672827A (zh) 2019-04-23
CN109672827B true CN109672827B (zh) 2021-10-22

Family

ID=64051300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811187234.6A Active CN109672827B (zh) 2017-10-13 2018-10-12 用于组合多个图像的电子装置及其方法

Country Status (4)

Country Link
US (1) US10785409B2 (zh)
EP (1) EP3471396B1 (zh)
KR (1) KR102318013B1 (zh)
CN (1) CN109672827B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11196943B2 (en) * 2019-05-31 2021-12-07 Apple Inc. Video analysis and management techniques for media capture and retention
KR20210117566A (ko) * 2020-03-19 2021-09-29 삼성전자주식회사 플래시를 사용하여 촬영을 수행하는 전자 장치
CN113518172B (zh) * 2020-03-26 2023-06-20 华为技术有限公司 图像处理方法和装置
CN112422815B (zh) * 2020-09-30 2022-07-05 深圳中科飞测科技股份有限公司 一种基于压电陶瓷的相机控制系统及方法
CN112714255B (zh) * 2020-12-30 2023-02-21 维沃移动通信（杭州）有限公司 拍摄方法、装置、电子设备及可读存储介质
KR20230050617A (ko) * 2021-10-08 2023-04-17 삼성전자주식회사 이미지를 제공하는 방법 및 이를 지원하는 전자 장치
WO2023080520A1 (ko) * 2021-11-03 2023-05-11 삼성전자 주식회사 이미지의 화질을 개선하기 위한 전자 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9185291B1 (en) * 2013-06-13 2015-11-10 Corephotonics Ltd. Dual aperture zoom digital camera
CN107005627A (zh) * 2014-11-21 2017-08-01 富士胶片株式会社 摄像装置、摄像方法及程序

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101933454B1 (ko) * 2012-09-25 2018-12-31 삼성전자주식회사 촬영 이미지 생성 방법 및 장치와 그 방법에 대한 프로그램 소스를 저장한 기록 매체
CN105556944B (zh) 2012-11-28 2019-03-08 核心光电有限公司 多孔径成像系统和方法
JP5843751B2 (ja) 2012-12-27 2016-01-13 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
CN109246339B (zh) * 2013-08-01 2020-10-23 核心光电有限公司 用于对对象或场景进行成像的双孔径数字摄影机
JP6598479B2 (ja) * 2014-03-31 2019-10-30 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
KR102157675B1 (ko) * 2014-07-25 2020-09-18 삼성전자주식회사 촬영 장치 및 그 촬영 방법
US10194089B2 (en) * 2016-02-08 2019-01-29 Qualcomm Incorporated Systems and methods for implementing seamless zoom function using multiple cameras
EP3439301B1 (en) 2016-03-30 2021-01-13 LG Electronics Inc. -1- Image processing apparatus and mobile terminal
US10432869B2 (en) * 2016-09-07 2019-10-01 Multimedia Image Solution Limited Method of utilizing wide-angle image capturing element and long-focus image capturing element for achieving clear and precise optical zooming mechanism
CN106534689A (zh) * 2016-11-22 2017-03-22 珠海格力电器股份有限公司 基于多个摄像头合成图像的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9185291B1 (en) * 2013-06-13 2015-11-10 Corephotonics Ltd. Dual aperture zoom digital camera
CN107005627A (zh) * 2014-11-21 2017-08-01 富士胶片株式会社 摄像装置、摄像方法及程序

Also Published As

Publication number Publication date
US10785409B2 (en) 2020-09-22
US20190116313A1 (en) 2019-04-18
EP3471396B1 (en) 2020-07-29
EP3471396A1 (en) 2019-04-17
CN109672827A (zh) 2019-04-23
KR20190041586A (ko) 2019-04-23
KR102318013B1 (ko) 2021-10-27

Similar Documents

Publication Publication Date Title
CN109525774B (zh) 用于校正图像的电子装置及操作该电子装置的方法
US10924677B2 (en) Electronic device and method for providing notification related to image displayed through display and image stored in memory based on image analysis
CN109672827B (zh) 用于组合多个图像的电子装置及其方法
US11461910B2 (en) Electronic device for blurring image obtained by combining plural images based on depth information and method for driving the electronic device
CN109309796B (zh) 使用多个相机获取图像的电子装置和用其处理图像的方法
CN109756671B (zh) 使用多个相机记录图像的电子装置及其操作方法
US11363199B2 (en) Apparatus and method for estimating optical image stabilization motion
US11924550B2 (en) Method for processing image by using artificial neural network, and electronic device supporting same
CN113454982A (zh) 用于使图像稳定化的电子装置及其操作方法
CN109756763B (zh) 用于基于优先级处理图像的电子装置及其操作方法
US11107198B2 (en) Method and apparatus for incorporating noise pattern into image on which bokeh processing has been performed
CN112840644A (zh) 利用相机或深度传感器中的至少一个获取深度信息的电子装置和方法
CN114846608A (zh) 包括图像传感器的电子设备及其操作方法
CN111788568B (zh) 利用相机感测多个波长带宽生成多个信息的方法及其设备
US11146720B2 (en) Electronic device for providing function by using RGB image and IR image acquired through one image sensor
US11582430B2 (en) Electronic device comprising image sensor and method of operation thereof
US20200204747A1 (en) Electronic device and method for obtaining data from second image sensor by means of signal provided from first image sensor
US11354777B2 (en) Image processing device and method of electronic device
US20230085017A1 (en) Electronic device and method for improving quality of image by using multiple cameras
US20220159168A1 (en) Electronic device for adjusting exposure value of image including face
KR20190111506A (ko) 외부 전자 장치와 이미지를 처리하는 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant