CN109905594A - 提供图像的方法和用于支持该方法的电子装置 - Google Patents

提供图像的方法和用于支持该方法的电子装置 Download PDF

Info

Publication number
CN109905594A
CN109905594A CN201811494842.1A CN201811494842A CN109905594A CN 109905594 A CN109905594 A CN 109905594A CN 201811494842 A CN201811494842 A CN 201811494842A CN 109905594 A CN109905594 A CN 109905594A
Authority
CN
China
Prior art keywords
image
attribute
registration
reference picture
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811494842.1A
Other languages
English (en)
Other versions
CN109905594B (zh
Inventor
文盛焕
朴大润
许胜淍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109905594A publication Critical patent/CN109905594A/zh
Application granted granted Critical
Publication of CN109905594B publication Critical patent/CN109905594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)

Abstract

提供了一种提供图像的方法和用于支持该方法的电子装置。所述电子装置包括相机、存储器和处理器。处理器被配置为：(1)通过使用相机获取关于外部对象的具有第一属性的多个图像，(2)在获取多个图像的至少部分期间，通过对来自多个图像当中的包括在第一图像集中的图像进行校正来生成至少一个第一图像，(3)显示所生成的至少一个第一图像，(4)在获取多个图像的至少部分期间，基于接收到与外部对象的图像捕获相对应的信号，获取关于外部对象的具有第二属性的多个图像，以及(5)存储通过基于第一图像集对具有第二属性的多个图像进行校正所生成的至少一个第二图像。

Description

提供图像的方法和用于支持该方法的电子装置
相关申请的交叉引用
本申请要求于2017年12月7日在韩国知识产权局提交的韩国专利申请No.10-2017-0167369的权益，其全部公开内容通过引用并入本文。
技术领域
本公开涉及提供图像的方法和用于支持该方法的电子装置。
背景技术
随着信息通信技术和半导体技术的发展，各种电子装置的分布和使用迅速增加。随着电子装置的广泛分布，电子装置被配置为支持诸如相机功能等的各种功能。
电子装置能够通过对由相机获得的图像应用各种图像处理算法来生成高质量的图像。在基于由相机获得的图像生成运动图像的同时，电子装置能够基于用户输入生成关于外部对象的静止图像。
发明内容
当相关技术的电子装置在生成运动图像的同时生成静止图像时，电子装置不使用在生成运动图像的操作中生成的信息用于生成静止图像的操作，因此，为了执行生成运动图像的操作和生成静止图像的操作，不得不执行过多的计算。因此，由于电子装置执行用于图像处理的过多的计算，可能出现发热、功耗增加和计算时间增加等问题。
本公开提供了一种提供图像的方法和一种用于支持该方法的电子装置，借助于该方法，通过使用在生成运动图像时计算的信息来生成静止图像。
根据本公开的一方面，提供了一种包括相机、存储器和处理器的电子装置，其中，所述处理器被配置为：通过使用相机获取关于外部对象的具有第一属性的多个图像；在所述多个图像的所述获取的至少部分期间，通过对所述多个图像当中的第一图像集中所包括的图像进行校正来生成至少一个第一图像；显示所述至少一个第一图像；在所述多个图像的所述获取的所述至少部分期间，基于接收到的信号，获取关于所述外部对象的具有第二属性的多个图像，所述信号对应于关于所述外部对象的图像捕获；以及存储通过基于所述第一图像集对具有所述第二属性的所述多个图像进行校正所生成的至少一个第二图像。
根据本公开的另一方面，提供了一种提供图像的方法，所述方法包括：通过使用相机获取关于外部对象的具有第一属性的多个图像；在所述多个图像的所述获取的至少部分期间，通过对所述多个图像当中的第一图像集中所包括的图像进行校正来生成至少一个第一图像；显示所生成的至少一个第一图像；在所述多个图像的所述获取的所述至少部分期间，基于接收到的信号来获取关于所述外部对象的具有第二属性的多个图像，所述信号对应于关于所述外部对象的图像捕获；以及存储通过基于所述第一图像集对具有所述第二属性的所述多个图像进行校正所生成的至少一个第二图像。
附图说明
通过以下结合附图的详细描述，将更清楚地理解本公开的实施例，其中：
图1是根据实施例的网络环境中的电子装置的框图；
图2是根据实施例的相机模块的框图；
图3是根据实施例的用于描述用于提供图像的装置的总体框图；
图4是根据实施例的用于描述配准图像的方法的视图；
图5是根据示例实施例的用于描述用于提供图像的装置的框图；
图6是根据示例实施例的用于描述用于提供图像的装置的框图；
图7是根据示例实施例的用于描述用于提供图像的装置的框图；
图8是根据实施例的用于描述提供图像的方法的一般流程图；
图9A和图9B是根据示例实施例的用于描述提供图像的方法的流程图；
图10是根据示例实施例的用于描述提供图像的方法的流程图；
图11是根据示例实施例的用于描述提供图像的方法的流程图；以及
图12是根据实施例的用于描述提供图像的方法的效果的视图。
具体实施方式
图1是根据实施例的网络环境100中的电子装置101的框图。参照图1,网络环境100中的电子装置101可以经由网络198(例如，短距离无线通信)与电子装置102通信，或者可以经由第二网络199(例如，长距离无线通信)与电子装置104或服务器108通信。根据实施例，电子装置101可以经由服务器108与电子装置104通信。根据实施例，电子装置101可以包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电源管理模块188、电池189、通信模块190、用户识别模块196和天线模块197。在一些实施例中，可以省略这些部件中的至少一个(例如，显示装置160或相机模块180)，或者可以进一步添加其他部件。在一些实施例中，例如，如在传感器模块176(例如，指纹传感器、虹膜传感器或照度传感器)嵌入在显示装置160(例如，显示器)中的情况下，可以集成一个或更多个部件。
处理器120可以例如驱动软件(例如，程序140)来控制电子装置101的连接到处理器120的至少其他部件(例如，软件部件或硬件部件)，并且可以执行各种数据处理和计算。处理器120可以将从其他部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132，并对所加载的命令或数据进行处理。此外，处理器120可以将结果数据存储在非易失性存储器134中。根据实施例，处理器120可以包括主处理器121(例如，中央处理装置或应用处理器)以及与主处理器121分开操作的辅助处理器123(例如，图形处理装置、图像信号处理器、传感器中枢(hub)处理器或通信处理器)，另外地或者可选地，辅助处理器123比主处理器121耗电更少，或者专用于指定的功能。这里，辅助处理器123可以与主处理器121分离地操作，或者嵌入在主处理器121中来操作。
在主处理器121处于未激活(例如，休眠)状态时，辅助处理器123可以控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)(而非主处理器121)相关的至少一些功能或状态，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123与主处理器121一起进行上述控制。根据实施例，辅助处理器123(例如，图像信号处理器或通信处理器)可以被实现为在功能上相关的其他部件(例如，相机模块180或通信模块190)中的一个或更多个部件。存储器130可以存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据，诸如软件(例如，程序140)以及与关于软件的命令相关的输入数据或输出数据。存储器130可以包括易失性存储器132或非易失性存储器134。
程序140可以是存储在存储器130中的软件，并且可以包括例如操作系统142、中间件144或应用146。
输入装置150可以是被配置为从电子装置101的外部(例如，用户)接收要由电子装置101的其他部件(例如，处理器120)使用的命令或数据的装置。例如，输入装置150可以包括麦克风、鼠标或键盘。
声音输出装置155可以是被配置为将声音信号输出到电子装置101外部的装置，并且可以包括例如用于诸如多媒体再现或者记录和再现的通用目的的扬声器，以及专门用于接听电话的接收器。根据实施例，接收器可以形成为与扬声器集成在一起，或者与扬声器分离。
显示装置160可以是被配置为可视地向电子装置101的用户提供信息的装置，并且可以包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置或投影仪的控制电路。根据实施例，显示装置160可以包括被配置为测量关于触摸操作的压力的强度的触摸电路或压力传感器。
音频模块170可以将声音信号和电信号彼此转换。根据实施例，音频模块170可以经由输入装置150获得声音，或者可以经由声音输出装置155或与电子装置101有线或无线连接的外部电子装置(例如，电子装置102(例如，扬声器或耳机))输出声音。
传感器模块176可以生成与电子装置101的内部操作状态(例如，功耗或温度)或外部环境状态相对应的电信号或数据值。传感器模块176可以包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可以支持可以通过有线或无线连接到外部电子装置(例如，电子装置102)的指定协议。根据实施例，接口177可以包括高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端子178可以包括可以将电子装置101与外部电子装置(例如，电子装置102)物理连接的连接器，并且可以包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可以将电信号转换为用户可经由触觉或动觉识别的机械刺激(例如，振动或运动)或者电刺激。触觉模块179可以包括例如电机、压电装置或电刺激装置。
相机模块180可以捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电源管理模块188可以是用于管理供应给电子装置101的电力的模块，并且可以例如形成为电源管理集成电路(PMIC)的至少一部分。
电池189可以是被配置为向电子装置101的至少一个部件供电的装置，并且可以包括例如不可再充电的一次电池、可再充电的二次电池或燃料电池。
通信模块190可以支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立有线通信信道或无线通信信道，并且可以支持经由建立的通信信道执行通信。通信模块190可以包括被配置为支持有线通信或无线通信的至少一个通信处理器，其中至少一个通信处理器与处理器120(例如，应用处理器)独立操作。根据实施例，通信模块190可以包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信模块)，并且可以通过第一网络198(例如，短距离无线通信网络，诸如蓝牙、Wifi直连或红外数据协会(IrDA))或第二网络(例如，远程通信网络，诸如蜂窝网络、互联网或计算机网络(例如，LAN或WAN))，使用对应的通信模块与外部电子装置通信。上述各种类型的通信模块190可以集成为一个芯片，或者可以形成为分离的多个芯片。
根据实施例，无线通信模块192可以通过使用存储在用户识别模块196中的用户信息来区分或认证通信网络中的电子装置101。
天线模块197可以包括被配置为向外部传输信号或电力或者从外部接收信号或电力的一个或更多个天线。根据实施例，通信模块190(例如，无线通信模块192)可以经由适合于通信模块的天线向外部电子装置发送信号或者从外部电子装置接收信号。
上述部件中的一个或更多个可以经由外围装置之间的通信方法(例如，总线、通用输入/输出(GPIO)、串行外围接口(SPI)或移动工业处理器接口(MIPI))相互连接，并且可以彼此交换信号(例如，命令或数据)。
根据实施例，可以经由连接到第二网络199的服务器108在电子装置101与外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以与电子装置101相同或不同。根据实施例，由电子装置101执行的全部或部分操作可以由另一外部电子装置或多个外部电子装置执行。根据实施例，当电子装置101要自动地或者响应于请求而执行功能或服务时，电子装置101可以另外地向外部电子装置请求与所述功能或服务相关的至少一个功能，而不是直接执行所述功能或服务。接收来自电子装置101的请求的外部电子装置可以执行所请求的功能或附加功能，并且可以将执行的结果发送到电子装置101。电子装置101可以提供所请求的功能或所请求的服务作为接收到的结果，或者通过另外地处理接收到的结果来提供所请求的功能或所请求的服务。为此，例如，可以使用云计算、分布式计算或客户端-服务器计算。
图2是根据实施例的相机模块180的框图。参照图2，相机模块180可包括透镜组件210、闪光灯220、图像传感器230、图像稳定器240、存储器250(例如，缓冲存储器)或图像信号处理器260。透镜组件210可以收集从对象发出的光以进行图像捕获。透镜组件210可以包括一个或更多个透镜。根据实施例，相机模块180可以包括多个透镜组件210。在这种情况下，相机模块180可以是例如双相机、360度相机或球形相机。多个透镜组件210可以具有相同的透镜特性(例如，视角、焦距、自动对焦、光圈数或光学变焦)，或者至少一个透镜组件可以与至少另一透镜组件具有不同的特性。透镜组件210可以包括例如广角透镜或远摄透镜。闪光灯220可以发射用于增强从对象发射的光的光源。闪光灯220可以包括一个或更多个发光二极管(例如，红-绿-蓝(RGB)发光二极管(LED)、白光LED、红外LED或紫外LED)或氙灯。
图像传感器230可以通过使用透镜组件210将从对象传输的光转换成电信号来获取与对象相对应的图像。根据实施例，图像传感器230可以包括从具有不同特性的诸如RGB传感器、黑白(BW)传感器，红外(IR)传感器和超紫外(UV)传感器的图像传感器中选择的图像传感器、具有相同特性的多个图像传感器或者具有不同特性的多个图像传感器。包括在图像传感器230中的每个图像传感器可以被实现为例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。
响应于相机模块180或包括相机模块180的电子装置101的运动，图像稳定器240可以在特定方向上移动或控制(例如，调整读出定时等)包括在透镜组件210中的至少一个透镜或者图像传感器230，以便至少部分地补偿由运动引起的对于拍摄图像的负面影响(例如，图像抖动)。根据实施例，图像稳定器240可以例如实现为光学图像稳定器，并且可以通过使用设置在相机模块180内部或外部的陀螺仪传感器(未示出)或加速度传感器(未示出)来感测运动。
存储器250可以至少临时存储经由图像传感器230获取的图像的至少一部分，以用于接下来的图像处理操作。例如，当由于快门而使获取图像的操作延迟或者以高速获取多个图像时，所获取的原始图像(例如，具有高分辨率的图像)可以存储在存储器250中，并且可以通过显示装置160预览与原始图像相对应的复制图像(例如，具有低分辨率的图像)。此后，当满足指定条件(例如，用户输入或系统命令)时，可以由图像信号处理器260例如获取并处理存储在存储器250中的原始图像的至少一部分。根据实施例，存储器250可以形成为存储器130的至少一部分，或者形成为与存储器130分离地操作的分离的存储器。
图像信号处理器260可以对经由图像传感器230获取的图像或存储在存储器250中的图像执行图像处理(例如，深度图生成、三维建模、全景生成、特征提取、图像混合或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊化、锐化或柔化))。附加地或可选地，图像信号处理器260可以控制(例如，曝光时间控制、读出定时控制等)包括在相机模块180中的部件中的至少一个(例如，图像传感器230)。由图像信号处理器260处理的图像可以被重新存储在存储器250中以用于附加处理或者可以被发送到在相机模块180外部的部件(例如，存储器130、显示装置160、电子装置102、电子装置104或服务器108)。根据实施例，图像信号处理可以形成为处理器120的至少一部分，或者形成为与处理器120分离地操作的分离的处理器。当图像信号处理器260形成为分离的处理器时，由图像信号处理器260处理的图像可以直接经由显示装置160显示，或者可以由处理器120进行附加处理并通过显示装置160显示。
根据实施例，电子装置101可以包括具有不同属性或功能的两个以上的相机模块180。在这种情况下，例如，至少一个相机模块180可以是广角相机或前置相机，至少另一相机模块180可以是远摄相机或后置相机。
在本说明书中公开的根据实施例的电子装置可以是各种类型的装置。电子装置可以包括例如便携式通信装置(例如，智能手机)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置和家用电器装置中的至少一种。根据实施例的电子装置不限于此。
本说明书中的各种实施例可以被实现为包括存储在机器(例如，计算机)可读存储介质(例如，嵌入式存储器136或外部存储器138)中的指令的软件(例如，程序140)。机器可以是能够调用存储在存储介质中的指令并响应于所调用的指令而执行操作的装置，并且可以包括本文所公开的实施例的电子装置(例如，电子装置101)。当指令由处理器(例如，处理器120)运行时，处理器可以直接地或通过在处理器的控制下使用其他部件执行与指令相对应的功能。指令可以包括由编译器或解释器生成或运行的代码。机器可读存储介质可以被提供为非暂时性存储介质。在本文中，术语“非临时性”可以表示存储介质不包括信号并且是有形的，而且可以不区分数据是半永久地还是临时地存储在存储介质中。
根据实施例，本说明书中公开的根据各种实施例的方法可以通过被包括在计算机程序产品中来提供。计算机程序产品可以作为产品在购买者与销售者之间进行交易。计算机程序产品可以作为机器可读存储介质(例如，光盘只读存储器(CD-ROM))分发，或者可以通过应用商店(例如，PlayStore TM)在线分发。在在线分发的情况下，计算机程序产品的至少一部分可以至少临时地存储在诸如制造商的服务器、应用商店的服务器或广播服务器的存储器之类的存储介质中，例如，或者可以是临时生成的。
各种实施例的每个部件(例如，模块或程序)可以形成为单个部件或多个部件，并且可以省略上述的子部件中的一个或更多个，或者其他子组件可以进一步包括在各种实施例中。可选地或另外地，一个或更多个部件(例如，模块或程序)可以集成为一个单元，并且可以以相同或基本相同的方式执行在部件被集成之前由每个对应的部件执行的功能。根据各种实施例的由模块、程序或其他部件执行的操作可以以顺序、并行、迭代或启发式方式执行。此外，可以以改变的顺序执行至少一个操作或可以省略至少一个操作，或者可以向所述操作添加其他操作。
图3是根据实施例的用于描述用于提供图像的装置的总体框图。
参照图3，处理器120可以包括第一配准部分310、第一混合部分320、第二配准部分330和第二混合部分340。
根据实施例，第一配准部分310和第一混合部分320可以通过校正从相机模块180获取的图像来生成要经由显示装置160输出的运动图像所基于的图像，从而输出运动图像(或视频)。根据实施例，第一配准部分310和第一混合部分320可以通过对从相机模块180获取的关于外部对象的具有第一属性的多个图像(在下文中，称为“第一属性图像”)中的一个或更多个进行校正，来生成要经由显示装置160输出的运动图像所基于的每个图像。例如，第一配准部分310和第一混合部分320可以通过校正第一属性图像中的指定(或预设或预定)数目的图像(称为“第一图像集”)，来生成一个图像(在下文中，称为“第一图像”)。然而，本公开不限于此，第一配准部分310和第一混合部分320可以通过校正第一图像集来产生两个以上的第一图像。处理器120可以控制显示装置160顺序地输出第一图像，以向用户提供运动图像。
根据实施例，第二配准部分330和第二混合部分340可以通过至少部分地基于用于生成第一图像的信息执行校正操作，来生成静止图像(在下文中，称为“第二图像”)。根据实施例，第二配准部分330和第二混合部分340可以至少部分地基于用于生成第一图像的信息，通过校正从相机模块180获取的关于外部对象的具有第二属性的多个图像(在下文中，称为“第二属性图像”)，来生成第二图像。根据实施例，第二属性图像可以是由第二配准部分330在与接收到对应于外部对象的图像捕获的信号的时间点相对应的时间点从相机模块180获取的图像。例如，第二属性图像可以包括以下各项中的至少一项：(1)由第二配准部分330在接收到与外部对象的图像捕获相对应的信号的时间点从相机模块180获取的第一图像帧，(2)紧接在第一图像帧之前获取的第二图像帧，以及(3)紧接在第一图像帧之后获取的第三图像帧。然而，本公开不限于此。
根据实施例，第二配准部分330和第二混合部分340可以通过校正指定数目(例如，3个至5个)的第二属性图像来生成一个第二图像。然而，本公开不限于此，第二配准部分330和第二混合部分340可以通过校正第二属性图像来生成两个以上的第二图像。
根据实施例，第一属性图像(或第一图像集)中的每个图像的大小(或数据容量)可以小于每个第二属性图像的大小。例如，第一属性图像可以是由图像信号处理器260通过将从图像传感器230获取的图像转换(或缩小(downsizing)或按比例缩小(downscaling))成更小大小而生成的图像。然而，本公开不限于此。
根据实施例，每个第二属性图像的大小可以大于每个第一属性图像的大小。根据实施例，第二属性图像可以是由图像信号处理器260从图像传感器230获取的且未被转换成更小大小的图像，但是不限于此。
根据实施例，在第一配准部分310和第一混合部分320生成第一图像的同时，第二配准部分330和第二混合部分340可以至少部分地基于用户输入来生成第二图像。根据实施例，由第一配准部分310和第一混合部分320执行的校正操作可以与由第二配准部分330和第二混合部分340执行的校正操作并行地执行。
在下文中，为了便于说明，将假设第一图像集是由第一配准部分310在与接收到对应于外部对象的图像捕获的信号的时间点相对应的时间点(例如，接收到用于获取静止图像的用户输入的时间点)从相机模块180获取的第一属性图像。
在下文中，将详细描述第一配准部分310、第一混合部分320、第二配准部分330和第二混合部分340的操作。
根据实施例，第一配准部分310可以对从相机模块180获取的第一图像集进行预处理。例如，第一配准部分310可以通过使用图像处理算法来校正第一图像集，以校正相机模块180的光学缺陷或制造缺陷。然而，通过预处理校正的缺陷不限于此。根据实施例，可以省略由第一配准部分310执行的预处理操作。根据实施例，用于执行预处理操作的部件可以与第一配准部分310分离，并且可以被包括在处理器120中。根据实施例，用于执行预处理操作的部件可以与处理器120分离(例如，相机模块180)。根据实施例，预处理操作可以由与处理器120分离的部件重复地执行。例如，在相机模块180对一个图像进行预处理之后，处理器120可以再次对由相机模块180预处理后的图像进行预处理。
根据实施例，第一配准部分310可以检测(或提取)包括在第一图像集中的每个图像的属性。例如，第一配准部分310可以检测包括以下项中的至少一项的属性：第一图像集中的每个图像的参考轴、外部对象的位置和边缘的位置。然而，由第一配准部分310检测的属性不限于此。
根据实施例，第一配准部分310可以至少部分地基于检测到的属性，来计算用于配准第一图像集的信息(或者配准所需的信息)(在下文中，称为“第一配准信息”)。根据实施例，用于配准第一图像集的信息可以包括关于从包括在第一图像集中的图像中指定的图像(在下文中，称为第一参考图像(或第一参考图像帧))的属性与除第一参考图像之外的至少一个图像(在下文中，称为“第一剩余图像”)的属性之间的差异的信息。例如，当第一图像集包括第一图像帧、第二图像帧和第三图像帧时，第一图像帧是第一参考图像，并且用于在图像帧之间进行比较的属性是参考轴(或参考轴的位置))。用于配准第一图像集的信息可以包括：(1)关于第一图像帧的参考轴与第二图像帧的参考轴之间的差异的信息，以及(2)关于第一图像帧的参考轴与第三图像的参考轴之间的差异的信息。
根据实施例，处理器120可以在从相机模块180获取的第一图像集中所包括的图像中指定(或设置)最后获取的图像或图像帧作为参考图像。然而，指定参考图像的方法不限于此。例如，处理器120可以将在从相机模块180获取的第一图像集中所包括的图像之中的具有最大分辨率(或清晰度)(或者具有最低模糊度或者在对应于外部对象的图像区域与背景区域之间具有最大对比度差异)的图像确定为参考图像。根据实施例，处理器120可以在第一配准部分310从相机模块180获取第一图像集的时间点与第一配准部分310计算配准信息的时间点之间，执行针对包括在第一图像集中的图像来确定参考图像的操作。
根据实施例，第一配准部分310可以将第一配准信息存储在缓冲器(或存储器130)中。
根据实施例，第一配准部分310可以至少部分地基于第一配准信息和预处理后的第一图像集来配准(或变换(warp))第一图像集。根据实施例，第一配准部分310可以将第一剩余图像配准为对应于第一参考图像(或者与第一参考图像交叠)。例如，第一配准部分310可以至少部分地基于第一参考图像的参考轴与第一剩余图像的参考轴之间的差异，来执行第一剩余图像的参考轴(或参考轴的坐标)的平移和旋转操作中的至少一个，使得该参考轴对应于第一参考图像的参考轴。
根据实施例，第一混合部分320可以至少部分地基于配准后的第一图像集和第一配准信息，来计算用于混合包括在第一图像集中的图像的信息(或者执行合成所需的信息)(在下文中，称为“第一混合信息”)。根据实施例，第一混合部分320可以将关于包括在第一图像集中的图像的权重(在下文中，称为“第一权重”)确定为第一混合信息。根据实施例，第一混合部分320可以至少部分地基于第一配准信息，来确定包括在第一图像集中的图像的每个像素的权重。将参考下面的等式描述确定第一权重的操作。
[等式1]
Wpix＝WGl×WL0
[等式2]
WGl＝[frameref-framenon]Nor×[Rotref-Rotnon]Nor×[Tranref-Transnon]Nor
[等式3]
WLo＝[D(non，ref)]Nor，D(non，ref)＝Pixnon-Pixref
在上述等式中，Wpix(第一剩余图像的像素的权重)可以表示第一剩余图像的每个像素的权重，WGl(第一剩余图像的全局(global)权重)可以表示基于第一参考图像与第一剩余图像之间的差异计算出的权重，WL0(第一剩余图像的局部(local)权重)可以表示基于第一剩余图像的像素值与第一参考图像的像素值之间的差异(例如，亮度差异、色差(colordifference)、色像差(chromatic difference)或它们的组合)计算出的权重。
根据实施例，可以通过将第一剩余图像的全局权重与第一剩余图像的局部权重相乘来计算第一剩余图像的像素的权重。
根据实施例，可以通过将以下三项相乘来计算第一剩余图像的全局权重：通过将第一参考图像帧frameref与第一剩余图像帧framenon之间的距离差进行归一化所获得的值[frameref-framenon]Nor、通过将第一参考图像的参考轴与第一剩余图像的参考轴之间的角度差(或者，第一剩余图像的参考轴在配准操作中为了对应于第一参考图像的参考轴所旋转的角度)进行归一化所获得的值[Rotref-Rotnon]Nor、通过将第一参考图像的参考轴与第一剩余图像的参考轴之间的位置(或坐标)差(或者，第一剩余图像的参考坐标在配准操作中为了对应于第一参考图像的参考轴所平移的坐标值)进行归一化所获得的值[Tranref-Transnon]Nor。关于第一参考图像帧frameref与第一剩余图像帧framenon之间的距离差，例如，当第一图像集包括顺序地(根据时间)获得的第一图像帧、第二图像帧和第三图像帧并且第一图像帧是第一参考图像时，第一图像帧与第二图像帧之间的距离差可以确定为1，第一图像帧与第三图像帧之间的距离差可以确定为2。
根据实施例，可以将第一剩余图像的局部权重计算为通过将第一剩余图像的像素的值与第一参考图像的像素的值之间的差D(non，ref)＝Pixnon-Pixref归一化所获得的值[D(non，ref)]Nor，第一参考图像的像素的坐标与第一剩余图像的像素的坐标相对应。
然而，计算第一剩余图像的像素的权重的方法不限于此，而是可以包括各种方法。
根据实施例，可以确定第一参考图像的像素的权重大于第一剩余图像的像素的权重。
根据实施例，第一混合部分320可以至少部分地基于第一参考图像的像素的权重和第一剩余图像的像素的权重，来生成第一参考图像和第一剩余图像中的每一者的混合映射。
根据实施例，第一混合部分320可以将计算出的第一混合信息存储在缓冲器中。
根据实施例，第一混合部分320可以至少部分地基于配准后的第一图像集和第一混合信息来混合第一图像集(或者可以执行混合第一图像集的操作)。例如，第一混合部分320可以至少部分地基于通过将包括在第一图像集中的每个图像的像素的值与包括在第一图像集中的每个图像的像素的权重相乘而获得的值，来混合第一图像集。例如，混合图像的值可以对应于通过将包括在第一图像集中的每个图像的像素的值与包括在第一图像集中的每个图像的像素的权重相乘而获得的值。
根据实施例，第一混合部分320可以对混合后的第一图像集进行后处理以生成第一图像。例如，第一混合部分320可以通过应用用于将混合后的第一图像集处理为高质量的彩色图像(例如，具有增强的高动态范围(high dynamic range，HDR)的图像、超分辨率(super resolution)图像、低光拍摄(low light shot)图像和具有减少的运动模糊(motion blur reduction)的图像)的处理算法来生成第一图像。
根据实施例，用于执行后处理操作的部件可以作为与第一混合部分320分离的部件包括在处理器120中。根据实施例，用于执行后处理操作的部件可以由与处理器120分离(或除处理器120之外)的部件来执行。根据实施例，后处理操作可以由单独的部件重复执行。例如，在处理器120对图像进行后处理之后，与处理器120分离的部件可以再次对经过处理器120后处理的图像进行后处理。
根据实施例，处理器120可以控制显示装置160显示第一图像。根据实施例，第一图像可以是实时输出的预览图像或者输出然后被存储的视频图像。
根据实施例，第二配准部分330可以基于接收到与外部对象的图像捕获相对应的信号，从相机模块180获取第二属性图像。根据实施例，第二属性图像中的至少一个或更多个可以对应于第一图像集。根据实施例，当图像传感器在第一小时内生成原始图像时，第一图像集可以对应于图像信号处理器260通过对在第一小时内从图像传感器230获取的原始图像进行处理而生成的图像，以使第一图像集具有第一属性；第二属性图像可以对应于图像信号处理器260通过对在第一小时内从图像传感器230获取的原始图像进行处理而生成的图像(或者图像信号处理器260未对其执行处理操作的原始图像)，以使第二属性图像具有第二属性。例如，当第一图像集包括(1)第一配准部分310在接收到与外部对象的图像捕获相对应的信号的第一时间点从相机模块180获取的具有第一属性的第一图像帧以及(2)第一配准部分310在紧接在第一时间点之前的第二时间点从相机模块180获取的具有第一属性的第二图像帧时，第二属性图像可以包括：(a)第二配准部分330在第一时间点从相机模块180获取的具有第二属性的第三图像帧，以及(b)第二配准部分330在第二时间点从相机模块180获取的具有第二属性的第四图像帧。然而，本公开不限于此，第二属性图像还可以包括除与第一图像集相对应的图像以外的图像(例如，紧接在第二时间点之前的第三时间点获取的图像帧)，或者可以不包括与第一图像集相对应的图像中的至少一个。
根据实施例，第二配准部分330可以对从相机模块180获取的第二属性图像进行预处理。根据实施例，经由第二配准部分330对第二属性图像进行预处理的操作的至少一部分可以与经由第一配准部分310对包括在第一图像集中的图像进行预处理的操作相同或基本上相同，因此，将省略其详细描述。
根据实施例，第二配准部分330可以至少部分地基于第一配准信息来配准第二属性图像。根据实施例，第二配准部分330可以通过使用从第一配准部分310获取的第一配准信息来计算(或确定)第二配准信息，而无需执行检测每个第二属性图像的特征的操作和计算用于至少部分地基于每个第二属性图像的特征来配准第二属性图像的信息(在下文中，称为“第二配准信息”)的操作。根据实施例，第二配准信息可以包括关于第二属性图像中的指定图像(在下文中，称为“第二参考图像(或第二参考图像帧)”)的特征与除了第二参考图像之外的至少一个图像(在下文中，称为“第二剩余图像”)的特征之间的差异的信息。例如，当(1)第二属性图像包括第一图像帧、第二图像帧和第三图像帧，(2)第三图像帧是第二参考图像，以及(3)用于在图像帧之间进行比较的特征是参考轴(或参考轴的位置)时，第二配准信息可以包括：(a)关于第三图像帧的参考轴与第一图像帧的参考轴之间的差异的信息，(b)关于第三图像帧的参考轴与第二图像帧的参考轴之间的差异的信息。
根据实施例，处理器120可以将从相机模块180获取的第二属性图像中的具有最大分辨率(或清晰度)的图像(或者具有最低模糊度或者在对应于外部对象的图像区域与背景区域之间具有最大对比度差异的图像)确定为参考图像。根据实施例，处理器120可以在第二配准部分330从相机模块180获取第二属性图像的时间点与第二配准部分330从第一配准信息获取第二配准信息的时间点之间执行从第二属性图像中确定参考图像的操作。
根据另一实施例，处理器120可以将从相机模块180获取的第二属性图像中最后获取的图像指定(或设置)为参考图像。然而，指定参考图像的方法不限于此。
根据实施例，第二配准部分330可以确定以下各项中的至少一项：第二参考图像是否对应于第一参考图像；以及包括在第一图像集中的图像的大小是否等于包括在第二属性图像中的图像的大小。
根据实施例，当第二配准部分330确定出第二参考图像对应于第一参考图像并且包括在第一图像集中的图像的大小等于包括在第二属性图像中的图像的大小时，第二配准部分330可以将第一配准信息确定为第二配准信息。
根据另一实施例，当第二配准部分330确定出第二参考图像不对应于第一参考图像时，第二配准部分330可以通过至少部分地基于第二参考图像改变第一配准信息，来计算第二配准信息。
根据另一实施例，当第二配准部分330确定出包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小时，第二配准部分330可以通过对第一配准信息进行缩放(或调整大小)来获取第二配准信息。
根据另一实施例，当第二配准部分330确定出第二参考图像不对应于第一参考图像并且包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小时，第二配准部分330可以通过至少部分地基于第二参考图像执行改变第一配准信息的操作和对第一配准信息进行缩放(或调整大小)的操作来获取第二配准信息。
将参照图4描述至少部分地基于第一配准信息来获取第二配准信息的操作。
图4是根据实施例的用于描述配准图像的方法的视图。
参照图4，当第一图像集包括第一-第一图像帧、第二-第一图像帧和第三-第一图像帧时，第一-第一图像帧是第一参考图像帧，第一配准信息包括关于参考轴之间的差异的信息。P0可以表示第一-第一图像帧的参考轴的中心坐标。P1可以表示相对于第一-第一图像帧的参考轴的第二-第一图像帧的参考轴的中心坐标。P2可以表示第三-第一图像帧的参考轴的中心坐标，第三-第一图像帧的参考轴相对于第一-第一图像帧的参考轴。当P被表示为x轴坐标、y轴坐标以及参考图像帧的参考轴与剩余图像帧的参考轴之间的角度差时，P0、P1和P2可以表示为P0(0，0，0)、P1(X1，Y1，θ1)、P2(X2，Y2，θ2)。
根据实施例，当(1)第二属性图像包括对应于第一-第一图像帧的第一-第二图像帧、对应于第二-第一图像帧的第二-第二图像帧和对应于第三-第一图像帧的第三-第二图像帧，并且(2)第二参考图像是第二-第二图像帧时，(a)相对于第二-第二图像帧的参考轴的第二-第一图像帧的参考轴的中心坐标P3可以被计算为P3(0-X1，0-Y1，0-θ1)，(b)第二-第二图像帧的参考轴的中心坐标P4可以被计算为P4(X1，Y1，θ1)，以及(c)相对于第二-第二图像帧的参考轴的第三-第二图像的参考轴的中心坐标P5可以被计算为P5(X2-X1，Y2-Y1，θ2-θ1)。
根据实施例，当第一参考图像的参考轴的中心坐标是P0(0，0，0)时，相对于第一参考图像的参考轴，包括在第一图像集中的每个图像帧的参考轴的中心坐标是Pn(Xn，Yn，θn)。第二参考图像的参考轴的中心坐标是Pa(Xa，Ya，θa)。每个第二属性图像的参考轴的中心坐标可以被计算为P'(Xn-Xa，Yn-Ya，θn-θa)。根据实施例，当第二配准部分330确定出第二参考图像不对应于第一参考图像时，第二配准部分330可以通过基于第二参考图像对第一配准信息进行平移来计算第二配准信息。
根据实施例，当第一参考图像与第二参考图像彼此对应时，参考轴相对于第一参考图像的参考轴，包括在第一图像集中的每个图像帧的参考轴的中心坐标是Pm(Xm，Ym，θm)。包括在第一图像集中的每个图像帧的水平大小(或宽度)是Wv，包括在第一图像集中的每个图像帧的竖直大小(或高度)是Hv，每个第二属性图像的水平大小(或宽度)是Ws，每个第二属性图像的竖直大小(或高度)是Hs，每个第二属性图像的参考轴的中心坐标可以被计算为P'(Xm×(Ws/Wv)，Ym，Hs/Hv)，θm)。根据实施例，当第二配准部分330确定出包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小时，第二配准部分330可以通过例如相对于图像的水平轴按Ws/Wv以及相对于图像的竖直轴按Hs/Hv对第一配准信息进行缩放(或调整大小)，来确定第二配准信息。
根据实施例，当第二配准部分330确定出第二参考图像不对应于第一参考图像并且包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小时，第二配准部分330可以通过执行基于第二参考图像平移第一配准信息的操作或者缩放第一配准信息的操作来确定第二配准信息。
根据实施例，第二配准部分330可以在不使用第一配准信息的情况下计算第二配准信息。例如，第二配准部分330可以检测(或提取)每个第二属性图像的属性。第二配准部分330可以通过计算检测到的第二属性图像的特征之间的差异来计算第二配准信息。
根据实施例，第二配准部分330可以至少部分地基于第二配准信息和预处理后的第二属性图像来配准第二属性图像。根据实施例，第二配准部分330可以配准第二剩余图像以对应于第二参考图像(或与第二参考图像交叠)。例如，第二配准部分30可以至少部分地基于第二参考图像的参考轴与第二剩余图像的参考轴之间的差异，对第二剩余图像的参考轴执行平移和旋转操作中的至少一种，以对应于第二参考图像的参考轴。
根据实施例，第二混合部分340可以至少部分地基于配准后的第二属性图像和第一混合信息，确定用于混合第二属性图像的信息(或者执行混合操作所需的信息)(在下文中，称为“第二混合信息”)。根据实施例，第二混合部分340可以通过使用从第一混合部分320获取的第一混合信息来计算(或确定)第二混合信息，而不执行至少部分地基于配准后的第二属性图像和第二配准信息来计算混合信息的操作。
根据实施例，第二混合部分340可以确定关于第二属性图像的权重(在下文中，称为“第二权重”)作为第二混合信息。
根据实施例，第二混合部分340可以确定以下各项中的至少一项：第二参考图像是否对应于第一参考图像；包括在第一图像集中的图像的数目是否等于第二属性图像的数目；以及包括在第一图像集中的图像的大小是否等于包括在第二属性图像中的图像的大小。
根据实施例，当：(1)第二参考图像对应于第一参考图像，(2)包括在第一图像集中的图像的数目等于第二属性图像的数目，并且(3)包括在第一图像集中的图像的大小等于包括在第二属性图像中的图像的大小时，第二混合部分340可以将第一混合信息确定为第二混合信息。
根据实施例，当第二参考图像不对应于第一参考图像时，第二混合部分340可以通过改变第一混合信息以对应于第二参考图像(或者基于第二参考图像改变第一混合信息，或者相对于第二参考图像自适应地改变第二混合信息)，来计算第二混合信息。将通过参考下面的等式来描述通过基于第二参考图像改变第一混合信息来计算第二混合信息的操作。
[等式4]
Wpix＝WGl×WL0
[等式5]
WGl＝
[Blurref-Blurnon]Nor×[frameref-framenon]Nor×[Rotref-Rotnon]Nor×[Tranref-Transnon]Nor
[等式6]
WL0＝[D(non，ref)]Nor，D(non，ref)＝Pixnon-Pixref
在上述等式中，Wpix(第二剩余图像的每个像素的权重)可以表示第二剩余图像的每个像素的权重，WGl(第二剩余图像的全局权重)可以表示基于第二参考图像与第二剩余图像之间的差异所计算的权重，WL0(第二剩余图像的局部权重)可以表示基于第二剩余图像的像素的值与第二参考图像的像素的值之间的差异(例如，亮度差异、色差、色像差或它们的组合)所计算的权重。
根据实施例，可以通过将第二剩余图像的全局权重与第二剩余图像的局部权重相乘来计算第二剩余图像的像素的权重。
根据实施例，可以通过将通过对在数值上表示第二参考图像帧的模糊度(或分辨度)的值与在数值上表示第二剩余图像帧的模糊度(或分辨度)的值之间的差进行归一化所获得的值与以下三项相乘，来计算第二剩余图像的全局权重：(1)通过将第二参考图像帧frameref与第二剩余图像帧framenon之间的距离差进行归一化所获得的值[frameref-framenon]Nor，(2)通过将第一参考图像的参考轴与第一剩余图像的参考轴之间的角度差(或者，第一剩余图像的参考轴为了对应于第一参考图像的参考轴所旋转的角度)进行归一化所获得的值[Rotref-Rotnon]Nor，以及(3)通过将第一参考图像的参考轴与第一剩余图像的参考轴之间的位置(坐标)差(或者，第一剩余图像的参考坐标在配准操作中为了对应于第一参考图像的参考轴所平移的坐标值)进行归一化所获得的值[Tranref-Transnon]Nor。根据实施例，当处理器120基于模糊度从第二属性图像中确定第二参考图像时，处理器120可以计算第二参考图像帧和第二剩余图像帧的模糊度，以确定第二参考图像。
根据实施例，第二参考图像的局部权重可以是通过对第二剩余图像的像素值与第二参考图像的像素值之间的差D(non，ref)＝Pixnon-Pixref进行归一化而获得的值[D(non，ref)]Nor，第二参考图像的像素的坐标与第二剩余图像的像素的坐标相对应。根据实施例，第二配准部分330可以通过使用由第一配准部分310计算的第一剩余图像的局部权重来计算第二剩余图像的局部权重。根据实施例，第二配准部分330可以通过对由第一配准部分310计算出的第一剩余图像的局部权重执行矢量计算，来计算第二剩余图像的局部权重。
例如，可以假设：包括在第一图像集中的(1)第一-第一图像帧、(2)第二-第一图像帧以及(3)第三-第一图像帧分别对应于包括在第二属性图像中的(a)第一-第二图像帧、(b)第二-第二图像帧以及(c)第三-第二图像帧。第一参考图像是第三-第一图像帧，第二参考图像是第一-第二图像帧。第二混合部分340可以获得关于以下各项的信息：(A)第一-第一图像帧的像素值与第三-第一图像帧的像素值之间的差D(1，3)，第三-第一图像帧的像素的坐标与第一-第一图像帧的像素的坐标相对应；以及(B)第二-第一图像帧的像素值与第三-第一图像帧的像素值之间的差D(2，3)，第三-第一图像帧的像素的坐标与第二-第一图像帧的像素的坐标相对应。第二混合部分340可以计算第二-第二图像帧的像素值与第一-第二图像帧的像素值之间的差D(2，1)，第一-第二图像帧的像素的坐标与第二-第二图像帧的像素的坐标相对应。可以通过从D(2，3)减去D(1，3)(或通过执行从D(2，3)减去D(1，3)的操作)来计算差值。第二混合部分340可以将关于D(1，3)的符号改变为负(-)号，来计算第三-第二图像帧的像素值与第一-第二图像帧的像素值之间的差D(2，1)，第一-第二图像帧的像素的坐标与第三-第二图像帧的像素的坐标相对应。
根据实施例，可以确定第二参考图像的像素的权重大于第一剩余图像的像素的权重。
根据实施例，当包括在第一图像集中的图像的数目不等于第二属性图像的数目时，第二混合部分340可以通过改变第一混合信息以对应于第二属性图像的数目，来计算第二混合信息。根据实施例，当包括在第一图像集中的图像的数目不等于第二属性图像的数目时，第二配准部分330可以通过使用等式7的外推法(extrapolation)来计算第二混合信息。
[等式7]
可以假设包括在第一图像集中的第一-第一图像帧、第二-第一图像帧和第三-第一图像帧分别对应于包括在第二属性图像中的第一-第二图像帧、第二-第二图像帧和第三-第二图像帧。第二属性图像包括在紧跟在获得第三-第二图像帧的时间点之后的时间点获得的第四-第二图像帧。在等式7中，Bn+1是第四-第二图像帧的每个像素的权重，Bn可以是第三-第一图像帧的每个像素的权重，Bn-1可以是第二-第一图像帧的像素权重。在等式7中，xn+1-xn可以表示第四-第二图像帧与第三-第二图像帧之间的距离差，xn-xn-1可以表示第三-第二图像帧与第二-第二图像帧之间的距离差。然而，其不限于此。例如，xn+1-xn可以是通过以下各项确定的值：第四-第二图像帧与第三-第二图像帧之间的距离差、第四-第二图像帧的参考轴与第三-第二图像帧的参考轴之间的角度差、第四-第二图像帧的参考轴与第二-第三图像帧的参考轴之间的位置差或者它们的组合。例如，xn-xn-1可以是通过以下各项确定的值：第三-第二图像帧与第二-第二图像帧之间的距离差、第三-第二图像帧的参考轴与第二-第二图像帧的参考轴之间的角度差、第三-第二图像帧的参考轴与第二-第二图像帧的参考轴之间的位置差或者它们的组合。
根据实施例，当包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小时，第二混合部分340可以通过插值法来计算像素的权重以对应于第二属性图像的大小。根据实施例，当包括在第一图像集中的图像的像素的数目小于包括在第二属性图像中的图像的像素的数目时，可以通过对包括在第二属性图像中的图像的第二像素的权重应用插值法，来计算包括在第二属性图像中的图像的第一像素的权重。包括在第二属性图像中的图像的第一像素位于除了包括在第二属性图像中的图像的第二像素的坐标之外的坐标。包括在第二属性图像中的图像的第二像素的坐标对应于包括在第一图像集中的图像的像素的坐标。包括在第二属性图像中的图像的第二像素位于与包括在第一图像集中的图像的像素的坐标对应的坐标处。
根据实施例，所应用的插值法可以包括双线性插值法(bi-linearinterpolation)、双三次插值法(bi-cubic interpolation)、低通滤波器、边缘检测滤波器等。然而，其不限于此。
根据实施例，当第二参考图像不对应于第一参考图像并且包括在第一图像集中的图像的数目不等于第二属性图像的数目时，第二混合部分340可以通过计算像素的权重以对应于第二参考图像并且对计算出的像素的权重应用外推法，来计算第二混合信息。
根据实施例，当第二参考图像不对应于第一参考图像并且包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小时，第二混合部分340可以通过计算像素的权重以对应于第二参考图像并且对计算出的像素的权重应用插值法，来计算第二混合信息。
根据实施例，当包括在第一图像集中的图像的数目不等于第二属性图像的数目并且包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小时，第二混合部分340可以通过对第一权重应用外推法和插值法来计算第二混合信息。根据实施例，第二混合部分340可以通过在对第一权重应用外推法之后，对计算出的像素的权重应用插值法来计算第二混合信息，或者在对第一权重应用插值法之后，对计算出的像素的权重应用外推法来计算第二混合信息。
根据实施例，当(1)第二参考图像不对应于第一参考图像，(2)包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小，并且(3)包括在第一图像集中的图像的数目不等于第二属性图像的数目时，第二混合部分340可以通过以下方式计算第二混合信息：(a)计算像素的权重，以对应于第二参考图像，以及(b)对计算出的像素的权重应用外推法和插值法。
根据实施例，第二混合部分340可以至少部分地基于由第二配准部分330配准的第二属性图像和由第二配准部分330计算出的第二配准信息，而不使用由第一混合部分320获取的第一混合信息，来计算第二混合信息。至少部分地基于由第二配准部分330配准的第二属性图像和由第二配准部分330计算出的第二配准信息来计算第二混合信息的方法，可以与至少部分地基于由第一配准部分310配准的第一图像集和由第一配准部分310计算出的第一配准信息来计算第一混合信息的方法至少部分地相同或基本上相同，因此省略其详细描述。
根据实施例，计算第二混合信息的方法不限于此，并且可以包括各种方法。
根据实施例，第二混合部分340可以至少部分地基于第二参考图像的像素的权重和第二剩余图像的像素的权重，针对第二参考图像和第二剩余图像中的每个图像生成混合映射。
根据实施例，第二混合部分340可以将计算出的第二混合信息存储在缓冲器中。
根据实施例，第二混合部分340可以至少部分地基于配准后的第二属性图像和第二混合信息来混合第二属性图像(或者可以执行混合第二属性图像的操作)。例如，第二混合部分340可以至少部分地基于通过将每个第二属性图像的像素的值与每个第二属性图像的像素的权重相乘而获得的值，来混合第二属性图像。例如，混合图像的像素的值可以对应于通过将每个第二属性图像的像素的值与每个第二属性图像的像素的权重相乘而获得的值。
根据实施例，第二混合部分340可以对混合后的第二属性图像进行后处理以生成第二图像。例如，第二混合部分340可以通过应用用于将混合后的第一图像集处理为高质量的彩色图像的处理算法来生成第二图像。
根据实施例，用于执行后处理操作的部件可以作为与第二混合部分340分离的部件包括在处理器120中。根据实施例，用于执行后处理操作的组件可以由与处理器120分离(或除处理器120之外)的部件来执行。根据实施例，后处理操作可以由分离的部件重复执行。例如，在处理器120执行后处理之后，与处理器120分离的部件可以再次执行后处理。
根据实施例，处理器120可以将经过后处理的第二图像存储在存储器130中。
图5是根据示例实施例的用于描述用于提供图像的装置的框图。
参照图5，处理器120可以包括第一配准部分510、第一混合部分520、第二配准部分530和第二混合部分540。
根据实施例，第一配准部分510可以包括第一预处理部分511、第一特征检测部分513、第一配准信息计算部分515、第一缓冲器517和第一配准执行部分518。
根据实施例，第一预处理部分511可以对从相机模块180获取的第一图像集进行预处理。例如，第一预处理部分511可以通过使用图像处理算法来校正第一图像集，以校正相机模块180的光学缺陷或制造缺陷。然而，通过预处理校正的缺陷不限于此。根据实施例，可以省略由第一预处理部分511执行的预处理操作。根据实施例，第一预处理部分511可以作为与第一配准部分510分离的部件包括在处理器120中。
根据实施例，第一特征检测部分513可以检测(或提取)包括在第一图像集中的每个图像的属性。例如，第一特征检测部分513可以检测包括以下各项中的至少一项在内的属性：包括在第一图像集中的每个图像的参考轴、外部对象的位置和边缘的位置。然而，第一特征检测部分513检测的属性不限于此。
根据实施例，第一配准信息计算部分515可以至少部分地基于由第一特征检测部分513检测的属性来计算第一配准信息。根据实施例，第一配准信息可以包括关于第一参考图像帧的属性与第一剩余图像的属性之间的差异的信息。
根据实施例，处理器120可以将从相机模块180获取的第一图像集中所包括的图像中最后获取的图像指定为参考图像。然而，指定参考图像的方法不限于此。例如，处理器120可以将从相机模块180获取的第一图像集中所包括的图像中具有最大分辨率(或清晰度)(或者具有最低模糊度或者在对应于外部对象的图像区域与背景区域之间具有最大对比度差异)的图像确定为参考图像。根据实施例，处理器120可以在第一特征检测部分513从相机模块180获取第一图像集的时间点与第一配准信息计算部分515计算第一配准信息的时间点之间，执行相对于包括在第一图像集中的图像确定参考图像的操作。
根据实施例，第一配准信息计算部分515可以将第一配准信息存储在第一缓冲器517中。
根据实施例，第一配准执行部分518可以至少部分地基于第一配准信息和预处理后的第一图像集来配准第一图像集。根据实施例，第一配准执行部分518可以配准第一剩余图像，以对应于第一参考图像(或者与第一参考图像交叠)。例如，第一配准执行部分518可以至少部分地基于第一参考图像的参考轴与第一剩余图像的参考轴之间的差异，执行第一剩余图像的参考轴的平移操作和旋转操作中的至少一种，以使第一剩余图像的参考轴对应于第一参考图像的参考轴。
根据实施例，第一混合部分520可以包括第一混合信息计算部分521、第二缓冲器523、第一混合执行部分525和第一后处理部分527。
根据实施例，第一混合信息计算部分521可以至少部分地基于配准后的第一图像集和第一配准信息来计算第一混合信息。根据实施例，第一混合信息计算部分521可以将第一混合信息确定为第一权重。根据实施例，第一混合信息计算部分521可以至少部分地基于第一配准信息，确定包括在第一图像集中的图像的每个像素的权重。
根据实施例，第一混合信息计算部分521计算第一混合信息的方法与图3的描述至少部分相同或基本上相同，因此将省略其详细描述。
根据实施例，第一混合信息计算部分521可以将计算出的第一混合信息存储在第二缓冲器523中。
根据实施例，第一混合执行部分525可以至少部分地基于配准后的第一图像集和从第二缓冲器获取的第一混合信息来混合第一图像集(或可以执行混合第一图像集的操作)。例如，第一混合执行部分525可以至少部分地基于通过将包括在第一图像集中的每个图像的像素的值与包括在第一图像集中的每个图像的像素的权重相乘所获得的值，来混合第一图像集。例如，混合图像的像素的值可以对应于通过将包括在第一图像集中的每个图像的像素的值与包括在第一图像集中的每个图像的像素的权重相乘所获得的值。
根据实施例，第一后处理部分527可以对混合后的第一图像集进行后处理以生成第一图像。例如，第一后处理部分527可以通过应用用于将混合后的第一图像集处理为高质量的彩色图像来生成第一图像。
根据实施例，第一后处理部分527可以作为与第一混合部分520分离的部件包括在处理器120中。根据实施例，第一后处理部分527可以形成为与处理器120分离(或者独立于处理器120)。根据实施例，后处理操作可以由与处理器120分离的部件重复执行。例如，在处理器120对图像执行后处理之后，与处理器120分离的部件可以再次对经处理器120后处理的图像进行后处理。
根据实施例，第二配准部分530可以包括第二预处理部分531、配准控制部分539和第二配准执行部分538。
根据实施例，第二预处理部分531可以对从相机模块180获取的第二属性图像进行后处理。根据实施例，经由第二预处理部分531对第二属性图像进行预处理的操作可以与经由第一预处理部分511对包括在第一图像集中的图像进行预处理的操作至少部分相同或基本上相同，因此，将省略其详细描述。
根据实施例，配准控制部分539可以从第一缓冲器517获取第一配准信息。
根据实施例，配准控制部分539可以通过使用所获取的第一配准信息来计算(或确定)第二配准信息。根据实施例，第二配准信息可以包括关于第二属性图像中的第二参考图像的特征与第二剩余图像的特征之间的差异的信息。
根据实施例，处理器120可以将从相机模块180获取的第二属性图像中具有最大分辨率(或清晰度)(或者具有最低模糊度或者在对应于外部对象的图像区域与背景区域之间具有最大对比度差异)的图像确定为第二参考图像。根据实施例，可以在配准控制部分539执行确定第二配准信息的操作之前，执行从第二属性图像中确定第二参考图像的操作。
根据另一实施例，处理器120可以将从相机模块180获取的第二属性图像中最后(或在最近的时间点)获取的图像指定(或设置)为第二参考图像。然而，指定参考图像的方法不限于此。
根据实施例，配准控制部分539可以确定以下各项中的至少一项：第二参考图像是否对应于第一参考图像；以及包括在第一图像集中的图像的大小是否等于包括在第二属性图像中的图像的大小。
根据实施例，当配准控制部分539确定出第二参考图像对应于第一参考图像并且包括在第一图像集中的图像的大小等于包括在第二属性图像中的图像的大小时，配准控制部分539可以将第一配准信息确定为第二配准信息。
根据另一实施例，当配准控制部分539确定出第二参考图像不对应于第一参考图像时，配准控制部分539可以通过至少部分地基于第二参考图像改变第一配准信息，来计算第二配准信息。
根据另一实施例，当配准控制部分539确定出包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小时，配准控制部分539可以通过对第一配准信息进行缩放或调整大小来确定第二配准信息。
根据另一实施例，当配准控制部分539确定出第二参考图像不对应于第一参考图像并且包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小时，配准控制部分539可以通过至少部分地基于第二参考图像改变第一配准信息以及对改变后的第一配准信息进行缩放，来确定第二配准信息。
根据实施例，第二配准执行部分538可以至少部分地基于第二配准信息和预处理后的第二属性图像，来配准第二属性图像。根据实施例，第二配准执行部分538可以配准第二剩余图像，以对应于第二参考图像(或者与第二参考图像交叠)。例如，第二配准执行部分538可以至少部分地基于第二参考图像的参考轴与第二剩余图像的参考轴之间的差异，来执行对第二剩余图像的参考轴的平移操作和旋转操作中的至少一种，以对应于第二参考图像的参考轴。
根据实施例，第二混合部分540可以包括混合控制部分549、第二混合执行部分545和第二后处理部分547。
根据实施例，混合控制部分549可以通过使用从第二缓冲器523获取的第一混合信息来计算第二混合信息。
根据实施例，混合控制部分549可以确定以下各项中的至少一项：第二参考图像是否对应于第一参考图像；以及包括在第一图像集中的图像的大小是否等于包括在第二属性图像中的图像的大小。
根据实施例，当混合控制部分549确定出第二参考图像对应于第一参考图像并且包括在第一图像集中的图像的大小等于包括在第二属性图像中的图像的大小时，混合控制部分549可以将第一混合信息确定为第二混合信息。
根据另一实施例，当第二参考图像不对应于第一参考图像时，混合控制部分549可以通过改变第一混合信息来计算第二混合信息，以对应于第二参考图像。混合控制部分549通过基于第二参考图像改变第一混合信息来计算第二混合信息的操作与图3的第二混合部分540通过使用等式4至等式6计算第二混合信息的方法至少部分相同或基本上相同，因此，将省略其详细描述。
根据实施例，当包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小时，混合控制部分549可以通过使用插值法计算像素的权重，以对应于第二属性图像的大小。混合控制部分549通过使用插值法计算像素的权重的方法与图3的第二混合部分540通过使用插值法计算像素的权重的方法至少部分相同或基本上相同，因此，将省略其详细描述。
根据实施例，当第二参考图像不对应于第一参考图像并且包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小时，混合控制部分549可以通过计算像素的权重以对应于第二参考图像以及对计算出的像素的权重应用插值法，来计算第二混合信息。
根据实施例，混合控制部分549可以至少部分地基于第二参考图像的像素的权重和第二剩余图像的像素的权重，来生成关于第二参考图像和第二剩余图像中的每个图像的混合映射。
根据实施例，第二混合执行部分545可以至少部分地基于配准后的第二属性图像和第二混合信息来混合第二属性图像。例如，第二混合执行部分545可以至少部分地基于通过将每个第二属性图像的像素的值与每个第二属性图像的像素的权重相乘而获得的值，来混合第二属性图像。例如，混合图像的像素的值可以对应于通过将每个第二属性图像的像素的值与每个第二属性图像的像素的权重相乘而获得的值。
根据实施例，第二后处理部分547可以对混合后的第二属性图像进行后处理以生成第二图像。例如，第二后处理部分547可以通过应用用于将混合后的第一图像集处理为高质量的彩色图像的处理算法来生成第二图像。
根据实施例，第二后处理部分547可以作为与第二混合部分540分离的部件包括在处理器120中。根据实施例，第二后处理部分547可以由与处理器120分离(或除处理器120之外)的部件执行。根据实施例，后处理操作可以由分离的部件重复执行。例如，在处理器120执行后处理之后，与处理器120分离的部件可以再次执行后处理。
根据实施例，处理器120可以将经过后处理的第二图像存储在存储器130中。
图6是根据示例实施例的用于描述用于提供图像的装置的框图。
参照图6，处理器120可以包括第一配准部分610、第一混合部分620、第二配准部分630和第二混合部分640。
根据实施例，第一配准部分610可以包括第一预处理部分611、第一特征检测部分613、第一配准信息计算部分615、第一缓冲器617和第一配准执行部分618。
根据实施例，第一混合部分620可以包括第一混合信息计算部分621、第二缓冲器623、第一混合执行部分625和第一后处理部分627。
根据实施例，第二配准部分630可以包括第二预处理部分631、配准控制部分639和第二配准执行部分638。
图6的第一配准部分610、第一混合部分620和第二配准部分630可以执行与图5的第一配准部分510、第一混合部分520和第二配准部分530至少部分相同或基本相同的操作。因此，将省略对它们的详细描述。
根据实施例，第二混合部分640可以包括第二混合信息计算部分641、第三缓冲器643、第二混合执行部分645和第二后处理部分647。
根据实施例，第二混合信息计算部分641可以从配准控制部分639获取第二配准信息和由第二配准执行部分638配准后的第二属性图像。
根据实施例，第二混合信息计算部分641可以至少部分地基于所获取的第二配准信息和配准后的第二属性图像来计算第二混合信息。
根据实施例，第二混合信息计算部分641可以通过使用第二混合信息来计算第二权重。根据实施例，第二混合信息计算部分641可以至少部分地基于第二配准信息来确定关于包括在第二属性图像中的图像的每个像素的权重。将参考下面的等式描述确定第二权重的操作。
[等式8]
Wpix＝WGl×WL0
[等式9]
WGl＝[frameref-framenon]Nor×[Rotref-Rotnon]Nor×[Tanref-Transnon]Nor
[等式10]
WL0＝[D(non，ref)]Nor，D(non，ref)＝Pixnon-Pixref
在上面的等式中，Wpix(第二剩余图像的每个像素的权重)可以表示第二剩余图像的每个像素的权重，WGl(第二剩余图像的全局权重)可以表示基于第二参考图像与第二剩余图像之间的差异计算出的权重，WL0(第二剩余图像的局部权重)可以表示基于第二剩余图像的像素值与第二参考图像的像素值之间的差异(例如，亮度差异、色差、饱和度差异或它们的组合)计算出的权重。
根据实施例，可以通过将第二剩余图像的全局权重与第二剩余图像的局部权重相乘来计算第二剩余图像的像素的权重。
根据实施例，可以通过将对第二参考图像帧frameref与第二剩余图像帧framenon之间的距离差进行归一化所获得的值[frameref-framenon]Nor与以下两项相乘来计算第二剩余图像的全局权重：(1)通过将第二参考图像的参考轴与第二剩余图像的参考轴之间的角度差(或者，第二剩余图像的参考轴为了对应于第二参考图像的参考轴所旋转的角度)进行归一化所获得的值[Rotref-Rotnon]Nor，以及(2)通过将第二参考图像的参考轴与第二剩余图像的参考轴之间的位置(或坐标)差(或者，第二剩余图像的参考坐标在配准操作中为了对应于第二参考图像的参考轴所平移的坐标值)进行归一化所获得的值[Tranref-Transnon]Nor。
根据实施例，可以将第二剩余图像的局部权重计算为通过将第二剩余图像的像素的值与第二参考图像的像素值之间的差D(non，ref)＝Pixnon-Pixref进行归一化所获得的值[D(non，ref)]Nor，其中，第二参考图像的像素的坐标与第二剩余图像的像素的坐标相对应。
然而，计算第二剩余图像的像素的权重的方法不限于此，并且可以包括各种方法。
根据实施例，可以确定第二参考图像的像素的权重大于第二剩余图像的像素的权重。
根据实施例，第二混合信息计算部分641可以至少部分地基于第二参考图像的像素的权重和第二剩余图像的像素的权重，来生成关于第二参考图像和第二剩余图像中的每一者的混合映射。
根据实施例，第三缓冲器643可以存储计算出的第一混合信息。
根据实施例，第二混合执行部分645可以至少部分地基于配准后的第二属性图像和第二混合信息来混合第二属性图像。例如，第二混合执行部分645可以至少部分地基于通过将每个第二属性图像的像素的值与每个第二属性图像的像素的权重相乘而获得的值来混合第二属性图像。例如，混合图像的像素的值可以对应于通过将包括在第一图像集中的每个图像的像素的值与包括在第一图像集中的每个图像的像素的权重相乘而获得的值。
根据实施例，由第二后处理部分647执行的操作可以与由图5的第一后处理部分527执行的操作至少部分相同或基本相同，因此，将省略其详细描述。
图7是根据示例实施例的用于描述用于提供图像的装置的框图。
参照图7，处理器120可包括第一配准部分710、第一混合部分720、第二配准部分730和第二混合部分740。第一配准部分710可以包括第一预处理部分711、第一特征检测部分713、第一配准信息计算部分715、第一缓冲器717和第一配准执行部分718。
根据实施例，第一混合部分720可以包括第一混合信息计算部分721、第二缓冲器723、第一混合执行部分725和第一后处理部分727。
图7的第一配准部分710和第一混合部分720可以执行与图5的第一配准部分510和第一混合部分520至少部分相同或基本相同的操作，因此，将省略对它们的详细描述。
根据实施例，第二配准部分730可以包括第二预处理部分731、第二特征检测部分733、第二配准信息计算部分735、第四缓冲器736和第二配准执行部分738。
根据实施例，第二预处理部分731可以对从相机模块180获取的第二属性图像进行预处理。
根据实施例，第二特征检测部分733可以检测(或提取)每个第二属性图像的特征。例如，第二特征检测部分733可以检测包括每个第二属性图像的参考轴、外部对象的位置和边缘的位置中的至少之一的特征。然而，第二特征检测部分733检测的特征不限于此。
根据实施例，第二配准信息计算部分735可以至少部分地基于由第二特征检测部分733检测的特征来计算第二配准信息。根据实施例，第二配准信息可以包括关于第二参考图像的特征与第二剩余图像的特征之间的差异的信息。
根据实施例，第二配准信息计算部分735可以将第二配准信息存储在第四缓冲器736中。
根据实施例，第二配准执行部分738可以至少部分地基于第二配准信息和预处理后的第二属性图像来配准第二属性图像。根据实施例，第二配准执行部分可以配准第二剩余图像以对应于第二参考图像(或与第二参考图像交叠)。例如，第二配准执行部分738可以至少部分地基于第二参考图像的参考轴与第二剩余图像的参考轴之间的差异，执行第二剩余图像的参考轴的平移和旋转中的至少一种，以便对应于第二参考图像的参考轴。
根据实施例，第二混合部分740可以包括混合控制部分749、第二混合执行部分745和第二后处理部分747。
根据实施例，混合控制部分749可以从第二缓冲器723获取第一混合信息。
根据实施例，混合控制部分749可以至少部分地基于第一混合信息来计算第二混合信息。
根据实施例，混合控制部分749可以基于第二混合信息确定第二权重。
根据实施例，混合控制部分749可以确定以下各项中的至少一项：第二参考图像是否对应于第一参考图像；包括在第一图像集中的图像的数目是否等于第二属性图像的数目；以及包括在第一图像集中的图像的大小是否等于包括在第二属性图像中的图像的大小。
根据实施例，当(1)第二参考图像对应于第一参考图像，(2)包括在第一图像集中的图像的数目等于第二属性图像的数目，并且(3)包括在第一图像集中的图像的大小等于包括在第二属性图像中的图像的大小时，混合控制部分749可以将第一混合信息确定为第二混合信息。
根据实施例，当第二参考图像不对应于第一参考图像时，混合控制部分749可以通过改变第一混合信息来计算第二混合信息，以对应于第二参考图像。例如，混合控制部分749可以通过使用等式4至等式6来计算第二混合信息。
根据实施例，当包括在第一图像集中的图像的数目不等于第二属性图像的数目时，混合控制部分749可以通过改变第一混合信息来计算第二混合信息，以对应于第二属性图像的数目。根据实施例，当包括在第一图像集中的图像的数目不等于第二属性图像的数目时，混合控制部分749可以通过使用外推法来计算第二混合信息。
根据实施例，当包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小时，混合控制部分749可以通过使用插值法来计算像素的权重，以对应于第二属性图像的大小。
根据实施例，当第二参考图像不对应于第一参考图像并且包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小时，混合控制部分749可以通过计算像素的权重以对应于第二参考图像以及对计算出的像素的权重应用插值法，来计算第二混合信息。
根据实施例，当包括在第一图像集中的图像的数目不等于第二属性图像的数目并且包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小时，混合控制部分749可以通过对第一权重应用外推法和插值法来计算第二混合信息。根据实施例，第二混合部分740可以通过以下方式计算第二混合信息：将插值法应用于通过对第一权重应用外推法计算出的像素的权重，或者将外推法应用于通过对第一权重应用插值法计算出的像素的权重。
根据实施例，当(1)第二参考图像不对应于第一参考图像，(2)包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小，以及(3)包括在第一图像集中的图像的数目不等于第二属性图像的数目时，混合控制部分749可以通过计算像素的权重以对应于第二参考图像以及对计算出的像素的权重应用外推法和插值法，来计算第二混合信息。
根据实施例，混合控制部分749可以至少部分地基于第二参考图像的像素的权重和第二剩余图像的像素的权重，生成关于第二参考图像和第二剩余图像中的每一者的混合映射。
根据实施例，第二混合执行部分745可以至少部分地基于配准后的第二属性图像和第二混合信息来混合第二属性图像。例如，第二混合执行部分745可以至少部分地基于通过将每个第二属性图像的像素的值与每个第二属性图像的像素的权重相乘而获得的值，来混合第二属性图像。例如，混合图像的像素的值可以对应于通过将每个第二属性图像的像素的值与每个第二属性图像的像素的权重相乘而获得的值。
根据实施例，第二后处理部分747可以对混合后的第二属性图像进行后处理以生成第二图像。
根据实施例，处理器120可以将经过后处理的第二图像存储在存储器130中。
根据实施例的电子装置可以包括相机、存储器和处理器。处理器可以被配置为通过使用相机获取关于外部对象的具有第一属性的多个图像，来生成至少一个第一图像，并且在获取多个图像的至少一部分操作期间，对包括在来自多个图像中的第一图像集中的图像进行校正。处理器可以显示所生成的至少一个第一图像。此外，处理器可以存储通过以下方式生成的至少一个第二图像：在获取多个图像的至少一部分操作期间，基于接收到与关于外部对象的图像捕获相对应的信号，获取关于外部对象的具有第二属性的多个图像。处理器可以基于第一图像集校正具有第二属性的多个图像。
根据实施例，当处理器被配置为生成至少一个第一图像时，处理器还可以被配置为至少部分地基于来自包括在第一图像集中的图像当中的至少一个第一图像与来自包括在第一图像集中的图像当中的第一参考图像的比较，来配准至少一个第一图像。处理器可以生成通过将配准后的至少一个第一图像与第一参考图像混合而校正的至少一个第一图像。
根据实施例，当处理器被配置为配准至少一个第一图像时，处理器还可以被配置为确定用于配准至少一个第一图像的第一配准信息。并且当处理器被配置为生成至少一个第一图像时，处理器还可以被配置为确定用于将配准后的至少一个第一图像与第一参考图像混合的第一混合信息。
根据实施例，当处理器被配置为存储至少一个第二图像时，处理器还可以被配置为至少部分地基于来自具有第二属性的多个图像当中的至少一个第二图像与来自具有第二属性的多个图像当中的第二参考图像的比较，来配准至少一个第二图像。处理器可以生成通过将配准后的至少一个第二图像与第二参考图像进行混合而校正的至少一个第二图像。
根据实施例，当处理器被配置为配准至少一个第二图像时，处理器还可以被配置为至少部分地基于第一配准信息来确定用于配准至少一个第二图像的第二配准信息。
根据实施例，处理器还可以被配置为执行以下操作中的至少一个：(1)当第二参考图像不对应于第一参考图像时，改变第一配准信息，使得第一配准信息对应于第二参考图像；以及(2)当包括在第一图像集中的每个图像的大小不等于具有第二属性的多个图像中的每个图像的大小时，对第一配准信息进行缩放。
根据实施例，当处理器被配置为将配准后的至少一个第二图像与第二参考图像混合时，处理器还可以被配置为至少部分地基于第一混合信息来确定用于将配准后的至少一个第二图像与第二参考图像混合的第二混合信息。
根据实施例，处理器还可以被配置为通过执行以下操作中的至少一个来确定第二混合信息：(1)当第二参考图像不对应于第一参考图像时，改变第一混合信息，使得第一混合信息对应于第二参考图像；(2)当具有第二属性的图像的数目大于包括在第一图像集中的图像的数目时，应用外推法；以及(3)当包括在第一图像集中的每个图像的大小小于具有第二属性的多个图像中的每个图像的大小时，应用插值法。
根据实施例，处理器还可以被配置为将所生成的至少一个第一图像显示为预览图像。
根据实施例，包括在第一图像集中的每个图像的大小可以不等于具有第二属性的多个图像中的每个图像的大小。
图8是根据实施例的提供图像的方法的总体流程图。
参照图8，在操作801中，处理器120(例如，第一配准部分310)可以从相机模块180获取第一属性图像。
根据实施例，每个第一属性图像(或第一图像集)的大小(或数据容量)可以小于每个第二属性图像的大小。例如，可以通过将处理器120从图像传感器230获取的图像转换为更小的大小来生成第一属性图像。然而，其不限于此。
在操作803中，处理器120可以通过校正第一属性图像来生成至少一个第一图像。
根据实施例，处理器120(例如，第一配准部分310)可以对从相机模块180获取的第一图像集进行预处理。
根据实施例，处理器120(例如，第一配准部分310)可以检测(或提取)包括在第一图像集中的每个图像的特征。例如，处理器120(例如，第一配准部分310)可以检测包括下述项中的至少一项的特征：包括在第一图像集中的每个图像的参考轴、外部对象的位置和边缘的位置。然而，处理器120检测的特征不限于上述示例。
根据实施例，处理器120(例如，第一配准部分310)可以至少部分地基于检测的特征来计算第一配准信息。
根据实施例，处理器120可以将从相机模块180获取的第一图像集中所包括的图像中的最后(或在最近的时间点)获取的图像指定为参考图像。然而，指定参考图像的方法不限于此。例如，处理器120可以将包括在从相机模块180获取的第一图像集中的图像中的具有最大分辨率(或分辨度)(或者具有最低模糊度或者在对应于外部对象的图像区域与背景区域之间具有最大对比度差异)的图像确定为参考图像。
根据实施例，处理器120(例如，第一配准部分310)可以将第一配准信息存储在缓冲器(或存储器)中。
根据实施例，处理器120(例如，第一配准部分310)可以至少部分地基于第一配准信息和经过预处理的第一图像集来配准第一图像集。根据实施例，处理器120(例如，第一配准部分310)可以配准第一剩余图像以对应于第一参考图像(或与第一参考图像交叠)。例如，处理器120(第一配准部分310)可以至少部分地基于第一参考图像的参考轴和第一剩余图像的参考轴之间的差异，来执行第一剩余图像的参考轴的平移操作和旋转操作中的至少一种操作，使得第一剩余图像的参考轴对应于第一参考图像的参考轴。
根据实施例，处理器120(例如，第一混合部分320)可以至少部分地基于配准后的第一图像集和第一配准信息来计算第一混合信息。
处理器120(例如，第一混合部分320)计算第一混合信息的方法与图3的第一混合部分计算第一混合信息的方法至少部分相同或基本相同，因此，将省略其详细描述。
根据实施例，处理器120(例如，第一混合部分320)可以将计算出的第一混合信息存储在缓冲器中。
根据实施例，处理器120(例如，第一混合部分320)可以至少部分地基于配准后的第一图像集和第一混合信息来混合第一图像集。例如，处理器120(例如，第一混合部分320)可以至少部分地基于通过将包括在第一图像集中的每个图像的像素的值与包括在第一图像集中的每个图像的像素的权重相乘而获得的值，来混合第一图像集。例如，混合图像的像素的值可以对应于通过将包括在第一图像集中的每个图像的像素的值与包括在第一图像集中的每个图像的像素的权重相乘而获得的值。
根据实施例，处理器120(例如，第一混合部分320)可以通过对混合后的第一图像集进行后处理来生成第一图像。
在操作805中，处理器120可以显示至少一个第一图像。根据实施例，处理器120可以控制显示装置160显示第一图像。根据实施例，第一图像可以是实时输出的预览图像或在输出后存储的视频图像。
在操作807中，处理器120(例如，第二配准部分330)可以在获取第一属性图像的同时，基于接收到与关于外部对象的图像捕获相对应的信号，从相机模块180获取第二属性图像。根据实施例，第二属性图像中的至少一个或更多个可以对应于第一图像集。例如，当图像传感器230在第一小时内生成原始图像时，(1)第一图像集可以对应于由图像信号处理器260通过对在第一小时内生成的原始图像进行处理而生成的图像，从而具有第一属性；以及(2)第二属性图像可以对应于由图像信号处理器260通过对在第一小时内生成的原始图像进行处理而生成的图像(或者图像信号处理器260未对其执行处理操作的原始图像)，从而具有第二属性。根据实施例，第二属性图像可以是图像信号处理器260从图像传感器230获取的并且为被转换为更小大小的图像。根据实施例，当第一图像集包括：(1)处理器120(例如，第一配准部分310)在接收到与外部对象的图像捕获相对应的信号的第一时间点从相机模块180获取的具有第一属性的第一图像帧，以及(2)处理器120(例如，第一配准部分310)在紧接在第一时间点之前的第二时间点从相机模块180获取的具有第一属性的第二图像帧时，第二属性图像可以包括：(a)处理器120(例如，第二配准部分330)在第一时间点从相机模块180获取的具有第二属性的第三图像帧，以及(b)处理器120(第二配准部分330)在第二时间点从相机模块180获取的具有第二属性的第四图像帧。然而，本公开不限于此，并且除了对应于第一图像集的图像之外，第二属性图像还可以包括其他图像(例如，在紧接在第二时间点之前的时间点获取的图像帧)，或者可以不包括与第一图像集对应的图像中的至少一个图像。
在操作809中，处理器120(例如，第二配准部分330)可以通过校正第二属性图像来生成至少一个第二图像。
根据实施例，处理器120(例如，第二配准部分330)可以对从相机模块180获取的第二属性图像进行预处理。
根据实施例，处理器120(例如，第二配准部分330)可以至少部分地基于第一配准信息来配准第二属性图像。根据实施例，处理器120(例如，第二配准部分330)可以通过使用第一配准信息来计算(或确定)第二配准信息。根据实施例，第二配准信息可以包括关于来自第二属性图像当中的第二参考图像的特征与除了第二参考图像之外的第二剩余图像的特征之间的差异的信息。
根据实施例，处理器120可以将从相机模块180获取的第二属性图像当中的具有最高分辨率的图像确定为第二参考图像。
根据另一实施例，处理器120可以将第二属性图像当中的最后(或者在最近的时间点)获取的图像指定(设置)为参考图像。然而，指定参考图像的方法不限于此。
根据实施例，处理器120(例如，第二配准部分330)可以确定以下各项中的至少一项：第二参考图像是否对应于第一参考图像；以及包括在第一图像集中的图像的大小是否等于包括在第二属性图像中的图像的大小。
根据实施例，当处理器120(例如，第二配准部分330)确定出第二参考图像对应于第一参考图像并且包括在第一图像集中的图像的大小等于包括在第二属性图像中的图像的大小时，处理器120(例如，第二配准部分330)可以将第一配准信息确定为第二配准信息。
根据另一实施例，当处理器120(例如，第二配准部分330)确定出第二参考图像不对应于第一参考图像时，处理器120(例如，第二配准部分330)可以通过至少部分地基于第二参考图像改变第一配准信息，来计算第二配准信息。
根据另一实施例，当处理器120(例如，第二配准部分330)确定出包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小时，处理器120(例如，第二配准部分330)可以通过缩放第一配准信息来确定第二配准信息。
根据另一实施例，当处理器120(例如，第二配准部分330)确定出第二参考图像不对应于第一参考图像并且包括在第一图像集中的图像的大小与包括在第二属性图像中的图像的大小不相等时，处理器120(例如，第二配准部分330)可以通过至少部分地基于第二参考图像对第一配准信息进行改变和缩放(或调整大小)，来确定第二配准信息。
根据实施例，处理器120(例如，第二配准部分330)可以在不基于第一配准信息的情况下计算第二配准信息。例如，处理器120(例如，第二配准部分330)可以检测(或提取)每个第二属性图像的特征。处理器120(例如，第二配准部分330)可以通过计算检测的第二属性图像的特征之间的差异来计算第二配准信息。
根据实施例，处理器120(例如，第二配准部分330)可以至少部分地基于第二配准信息和经过预处理的第二属性图像来配准第二属性图像。根据实施例，处理器120(例如，第二配准部分330)可以配准第二剩余图像，以对应于第二参考图像(或者与第二参考图像交叠)。例如，处理器120(例如，第二配准部分330)可以至少部分地基于第二参考图像的参考轴与第二剩余图像的参考轴之间的差异，执行第二剩余图像的参考轴的平移和旋转中的至少一种，以使第二剩余图像的参考轴对应于第二参考图像的参考轴。
根据实施例，处理器120(例如，第二混合部分340)可以至少部分地基于配准后的第二属性图像和第一混合信息来确定第二混合信息。根据实施例，处理器120(例如，第二混合部分340)可以通过使用第一混合信息来计算(或确定)第二混合信息，而不是通过至少部分地基于配准后的第二属性图像和第二配准信息来计算混合信息。
根据实施例，处理器120(例如，第二混合部分340)可以确定以下各项中的至少一项：第二参考图像是否对应于第一参考图像；包括在第一图像集中的图像的数目是否等于第二属性图像的数目；以及包括在第一图像集中的图像的大小是否等于包括在第二属性图像中的图像的大小。
根据实施例，当(1)第二参考图像对应于第一参考图像，(2)包括在第一图像集中的图像的数目等于第二属性图像的数目，(3)包括在第一图像集中的图像的大小等于包括在第二属性图像中的图像的大小时，处理器120(例如，第二混合部分340)可以将第一混合信息确定为第二混合信息。
根据实施例，当第二参考图像不对应于第一参考图像时，处理器120(例如，第二混合部分340)可以通过改变第一混合信息以对应于第二参考图像(或者基于第二参考图像改变第一混合信息，或者自适应地改变第一混合信息以对应于第二参考图像)，来计算第二混合信息。
根据实施例，当包括在第一图像集中的图像的数目不等于第二属性图像的数目时，处理器120(例如，第二混合部分340)可以通过改变第一混合信息来计算第二混合信息，以对应于第二属性图像的数目。根据实施例，当包括在第一图像集中的图像的数目不等于第二属性图像的数目时，处理器120(例如，第二混合部分340)可以通过使用外推法来计算第二混合信息。
根据实施例，当包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小时，处理器120(例如，第二混合部分340)可以通过使用插值法来计算像素的权重以对应于第二属性图像的大小。根据实施例，当包括在第一图像集中的图像的像素的数目小于包括在第二属性图像中的图像的像素的数目时，处理器120(例如，第二混合部分340)可以通过对包括在第二属性图像中的图像的像素的权重应用插值法，来计算包括在第二属性图像中的图像的像素的权重。包括在第二属性图像中的图像的像素位于除了包括在第二属性图像中的图像的像素的坐标之外的坐标处。包括在第二属性图像中的图像的像素的坐标对应于包括在第一图像集中的图像的像素的坐标。包括在第二属性图像中的图像的像素位于与包括在第一图像集中的图像的像素的坐标相对应的坐标处。
根据实施例，所应用的插值法可以包括双线性插值法、双三次插值法、低通滤波器、边缘检测滤波器等。然而，其不限于此。
根据实施例，当第二参考图像不对应于第一参考图像并且包括在第一图像集中的图像的数目不等于第二属性图像的数目时，处理器120(例如，第二混合部分340)可以通过计算像素的权重以对应于第二参考图像以及对计算出的像素的权重应用外推法，来计算第二混合信息。
根据实施例，当第二参考图像不对应于第一参考图像并且包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小时，处理器120(第二混合部分340)可以通过计算像素的权重以对应于第二参考图像以及对计算出的像素的权重应用插值法，来计算第二混合信息。
根据实施例，当包括在第一图像集中的图像的数目不等于第二属性图像的数目并且包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小时，处理器120(例如，第二混合部分340)可以通过对第一权重应用外推法和插值法来计算第二混合信息。根据实施例，处理器120(例如，第二混合部分340)可以通过在对第一权重应用外推法之后，对计算出的像素的权重应用插值法，来计算第二混合信息；或者在对第一权重应用插值法之后，对计算出的像素的权重应用外推法，来计算第二混合信息。
根据实施例，当(1)第二参考图像不对应于第一参考图像，(2)包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小，以及(3)包括在第一图像集中的图像的数目不等于第二属性图像的数目时，处理器120(例如，第二混合部分340)可以通过计算像素的权重以对应于第二参考图像以及对计算出的像素的权重应用外推法和插值法，来计算第二混合信息。
根据实施例，处理器120(例如，第二混合部分340)可以至少部分地基于配准后的第二属性图像和第二配准信息来计算第二混合信息，而不使用第一混合信息。
根据实施例，计算第二混合信息的方法不限于上述示例，并且可以包括各种方法。
根据实施例，处理器120(例如，第二混合部分340)可以至少部分地基于第二参考图像的像素的权重和第二剩余图像的像素的权重，来生成关于第二参考图像和第二剩余图像中的每一者的混合映射。
根据实施例，处理器120(例如，第二混合部分340)可以将计算出的第二混合信息存储在缓冲器中。
根据实施例，处理器120(例如，第二混合部分340)可以至少部分地基于配准后的第二属性图像和第二混合信息，来混合第二属性图像(或者执行混合第二属性图像的操作)。例如，处理器120(例如，第二混合部分340)可以至少部分地基于通过将每个第二属性图像的像素的值与每个第二属性图像的像素的权重相乘而获得的值，来混合第二属性图像。例如，混合图像的像素的值可以对应于通过将每个第二属性图像的像素的值与每个第二属性图像的像素的权重相乘而获得的值。
根据实施例，处理器120(例如，第二混合部分340)可以通过对混合后的第二属性图像进行后处理来生成至少一个第二图像。
在操作811中，处理器120可以存储所生成的至少一个第二图像。
图9A和图9B是根据参照图5所描述的示例实施例的提供图像的方法的流程图。图9A和图9B是根据参照图5所描述的示例实施例的与生成至少一个第二图像的操作有关的流程图，并且可以包括与图5中所描述的操作至少部分相同或基本相同的操作。
参照图9A、图9B和图5，在操作901中，配准控制部分539可以从第一缓冲器517获取第一配准信息。
在操作903中，配准控制部分539可以确定第二参考图像是否对应于第一参考图像。
在操作905中，配准控制部分539可以确定包括在第一图像集中的图像的大小是否等于包括在第二属性图像中的图像的大小。
在操作907中，当存在下述情况中的至少一种时：(1)在操作903中确定出第二参考图像不对应于第一参考图像，以及(2)在操作905中确定出包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小，配准控制部分539可以至少部分地基于第一配准信息来计算第二配准信息。
根据实施例，当配准控制部分539确定出第二参考图像不对应于第一参考图像时，配准控制部分539可以通过至少部分地基于第二参考图像改变第一配准信息，来计算第二配准信息。
根据实施例，当配准控制部分539确定出包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小时，配准控制部分539可以通过对第一配准信息进行缩放(或调整大小)来确定第二配准信息。
根据实施例，当配准控制部分539确定出第二参考图像不对应于第一参考图像并且包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小时，配准控制部分539可以通过至少部分地基于第二参考图像改变第一配准信息且然后对改变后的第一配准信息进行缩放来确定第二配准信息。
在操作909中，当配准控制部分539在操作903中确定出第二参考图像对应于第一参考图像并且在操作905中确定出包括在第一图像集中的图像的大小等于包括在第二属性图像中的图像的大小时，第二配准执行部分538可以至少部分地基于第一配准信息执行配准。
根据实施例，第二配准执行部分538可以至少部分地基于第一配准信息和经过预处理的第二属性图像来配准第二属性图像。
在操作911中，第二配准执行部分538可以至少部分地基于在操作907中计算出的第二配准信息来执行配准。
根据实施例，第二配准执行部分538可以至少部分地基于第二配准信息和经过预处理的第二属性图像来配准第二属性图像。
在操作913中，混合控制部分549可以从第二缓冲器获取第一混合信息。
在操作915中，混合控制部分549可以确定第二参考图像是否对应于第一参考图像。
在操作917中，混合控制部分549可以确定包括在第一图像集中的图像的大小是否等于包括在第二属性图像中的图像的大小。
在操作919中，当出现下述情况中的至少一种时：(1)在操作915中确定出第二参考图像不对应于第一参考图像，以及(2)在操作917中确定出包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小，混合控制部分549可以至少部分地基于第一混合信息来计算第二混合信息。
根据实施例，当第二参考图像不对应于第一参考图像时，混合控制部分549可以通过改变第一混合信息以对应于第二参考图像，来计算第二混合信息。
根据实施例，当包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小时，混合控制部分549可以通过使用插值法来计算像素的权重，以对应于第二属性图像。
根据实施例，当第二参考图像不对应于第一参考图像并且包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小时，混合控制部分549可以计算像素的权重以对应于第二参考图像，并且可以将插值法应用于计算出的像素的权重，从而计算第二混合信息。
在操作921中，当混合控制部分549在操作915中确定出第二参考图像对应于第一参考图像并且在操作917中确定出包括在第一图像集中的图像的大小等于包括在第二属性图像中的图像的大小时，第二混合执行部分545可以至少部分地基于第一混合信息执行混合操作。
根据实施例，第二混合执行部分545可以至少部分地基于配准后的第二属性图像和第一混合信息来混合第二属性图像。
在操作923中，第二混合执行部分545可以至少部分地基于在操作919中计算出的第二混合信息来执行混合操作。
图10是根据参照图6描述的示例实施例的提供图像的方法的流程图。图10是根据参照图6描述的示例实施例的与生成至少一个第二图像的操作有关的流程图，并且可以包括与图6中描述的操作至少部分相同或基本相同的操作。
操作1001至1011与操作901至911至少部分相同或基本相同，因此，将省略对它们的详细描述。
在操作1013中，第二混合信息计算部分641可以至少部分地基于所获取的第二配准信息和配准后的第二属性图像来计算第二混合信息。
根据实施例，第二混合信息计算部分641可以基于第二混合信息计算第二权重。根据实施例，第二混合信息计算部分641可以至少部分地基于第二配准信息来确定包括在第二属性图像中的图像的每个像素的权重。
第二混合信息计算部分641确定第二权重的操作与图6中的通过使用等式8至等式10确定第二权重的操作至少部分相同或基本相同，因此，将省略其详细描述。
在操作1015中，第二混合执行部分545可以至少部分地基于配准后的第二属性图像和第二混合信息来混合第二属性图像。例如，第二混合执行部分545可以至少部分地基于通过将包括在第二属性图像中的每个图像的像素的值与每个第二属性图像的像素的权重相乘而获得的值，来混合第二属性图像。例如，混合图像的值可以对应于通过将包括在第二属性图像中的每个图像的像素的值与包括在第二属性图像中的每个图像的像素的权重相乘而获得的值。
图11是根据参照图7描述的示例实施例的提供图像的方法的流程图。图11是根据参照图7描述的示例实施例的与生成至少一个第二图像的操作有关的流程图，并且可以包括与图7中描述的操作至少部分相同或基本相同的操作。
在操作1101中，第二配准部分730可以至少部分地基于从相机模块180获取的第二属性图像来配准第二属性图像。
在操作1103中，混合控制部分749可以从第二缓冲器723获取第一混合信息。
在操作1105中，混合控制部分749可以确定第二参考图像是否对应于第一参考图像。
在操作1107中，混合控制部分749可以确定包括在第一图像集中的图像的数目是否等于第二属性图像的数目。
在操作1109中，混合控制部分749可以确定包括在第一图像集中的图像的大小是否等于包括在第二属性图像中的图像的大小。
在操作1111中，混合控制部分749可以至少部分地基于第一混合信息来计算第二混合信息。
根据实施例，当第二参考图像不对应于第一参考图像时，混合控制部分749可以通过改变第一混合信息以对应于第二参考图像，来计算第二混合信息。
根据实施例，当包括在第一图像集中的图像的数目不等于第二属性图像的数目时，混合控制部分749可以通过改变第一混合信息以对应于第二属性图像的数目来计算第二混合信息。根据实施例，当包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小时，混合控制部分749可以通过使用外推法来计算第二混合信息。
根据实施例，当包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小时，混合控制部分749可以通过使用插值法计算像素的权重以对应于第二属性图像的大小。
根据实施例，当第二参考图像不对应于第一参考图像并且包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小时，混合控制部分749可以通过计算像素的权重以对应于第二参考图像并且对计算出的像素的权重应用插值法，来计算第二混合信息。
根据实施例，当包括在第一图像集中的图像的数目不等于第二属性图像的数目并且包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小时，混合控制部分749可以通过对第一权重应用外推法和插值法来计算第二混合信息。根据实施例，混合控制部分749可以通过在对第一权重应用外推法之后，对计算出的像素的权重应用插值法，来计算第二混合信息；或者在对第一权重应用插值法之后，对计算出的像素的权重应用外推法，来计算第二混合信息。
根据实施例，当(1)第二参考图像不对应于第一参考图像，(2)包括在第一图像集中的图像的大小不等于包括在第二属性图像中的图像的大小，以及(3)包括在第一图像集中的图像的数目不等于包括在第二属性图像中的图像的数目时，混合控制部分749可以通过计算像素的权重以对应于第二参考图像并且对计算出的像素的权重应用外推法和插值法来计算第二混合信息。
根据实施例，混合控制部分749可以至少部分地基于第二参考图像的像素的权重和第二剩余图像的像素的权重来生成关于第二参考图像和第二剩余图像中的每一者的混合映射。
在操作1113中，当第二参考图像对应于第一参考图像并且包括在第一图像集中的图像的大小等于包括在第二属性图像中的图像的大小时，混合控制部分749可以至少部分地基于第一混合信息执行混合操作。
根据实施例，第二混合执行部分745可以至少部分地基于配准后的第二属性图像和第一混合信息来混合第二属性图像。
在操作1115中，混合控制部分549可以至少部分地基于在操作1111中计算出的第二混合信息来执行混合操作。
图12示出了现有技术的处理时间与本公开的实施例的处理时间的比较。
参照图12，本公开的其中在生成运动图像的操作中生成的信息用于生成静止图像的操作的图像处理时间可以少于现有技术的其中在生成运动图像的操作中生成的信息未用于生成静止图像的操作的图像处理时间。例如，根据现有技术的图像处理时间(例如，静止图像的混合时间)可以是265毫秒，而根据参照图5描述的示例实施例的本公开的图像处理时间可以是210毫秒。
依照根据实施例的提供图像的方法和用于支持该方法的电子装置，在生成运动图像时计算的信息可以用于生成静止图像，因此，可以减少用于生成静止图像的软件资源或硬件资源的数目，并且可以改善加热、功耗、操作时间等。
根据实施例的提供图像的方法可以包括：(1)通过使用相机获取关于外部对象的具有第一属性的多个图像；(2)在获取多个图像的至少部分操作期间，通过校正来自多个图像当中的包括在第一图像集中的图像来生成至少一个第一图像；(3)显示所生成的至少一个第一图像；(4)在获取多个图像的至少部分操作期间，基于接收到与关于外部对象的图像捕获相对应的信号，获取关于外部对象的具有第二属性的多个图像；以及(5)存储通过基于第一图像集校正具有第二属性的多个图像而生成的至少一个第二图像。
根据实施例，生成至少一个第一图像可以包括：至少部分地基于来自包括在第一图像集中的图像当中的至少一个第一图像与来自包括在第一图像集中的图像当中的第一参考图像的比较，来配准至少一个第一图像，并生成通过将配准后的至少一个图像与第一参考图像混合而校正的至少一个第一图像。
根据实施例，配准至少一个第一图像可以包括确定用于配准至少一个第一图像的第一配准信息。生成至少一个第一图像可以包括确定用于将配准后的至少一个第一图像与第一参考图像进行混合的第一混合信息。
根据实施例，存储至少一个第二图像可以包括：(1)至少部分地基于来自具有第二属性的多个图像当中的至少一个第二图像与来自具有第二属性的多个图像当中的第二参考图像的比较，来配准至少一个第二图像；以及(2)生成通过将配准后的至少一个第二图像与第二参考图像混合而校正的至少一个第二图像。
根据实施例，配准至少一个第二图像可以包括：至少部分地基于第一配准信息来确定用于配准至少一个第二图像的第二配准信息。
根据实施例，配准至少一个第二图像可以包括执行以下操作中的至少一个：(1)当第二参考图像不对应于第一参考图像时，改变第一配准信息以对应于第二参考图像；以及(2)当包括在第一图像集中的每个图像的大小不等于具有第二属性的多个图像中的每个图像的大小时，对第一配准信息进行缩放。
根据实施例，将配准后的至少一个第二图像与第二参考图像混合可以包括：至少部分地基于第一混合信息，确定用于将配准后的至少一个第二图像与第二参考图像混合的第二混合信息。
根据实施例，确定第二混合信息可以包括通过执行以下操作中的至少一个来确定第二混合信息：(1)当第二参考图像不对应于第一参考图像时，改变第一混合信息，使得第一混合信息对应于第二参考图像；(2)当具有第二属性的图像的数目大于包括在第一图像集中的图像的数目时，应用外推法；以及(3)当包括在第一图像集中的每个图像的大小小于具有第二属性的多个图像中的每个图像的大小时，应用插值法。
根据实施例，显示所生成的至少一个第一图像可以包括：将所生成的至少一个第一图像显示为预览图像。
根据实施例，包括在第一图像集中的每个图像的大小可以不等于具有第二属性的多个图像中的每个图像的大小。
此外，可以通过各种手段将上述实施例中使用的数据结构记录到计算机可读记录介质。计算机可读记录介质可以包括诸如磁性存储介质(例如，ROM、软盘、硬盘等)和光学读取介质(例如，CD-ROM、DVD等)的存储介质。
根据实施例，计算机可读记录介质可以记录程序，以通过电子装置执行以下操作：(1)通过使用相机获取关于外部对象的具有第一属性的多个图像；(2)在获取多个图像的至少部分期间，通过对来自多个图像当中的包括在第一图像集中的图像进行校正来生成至少一个第一图像；(3)显示所生成的至少一个第一图像；(4)在获取多个图像的至少部分期间，基于接收到与关于外部对象的图像捕获相对应的信号，获取关于外部对象的具有第二属性的多个图像；以及(5)存储通过基于第一图像集校正具有第二属性的多个图像而生成的至少一个第二图像。
如本领域中传统的那样，可以就执行所描述的一个或更多个功能的块而言来描述和说明实施例。这些块(在本文中，可以称为单元或模块等)在物理上由模拟电路和/或数字电路(例如逻辑门、集成电路、微处理器、微控制器、存储电路、无源电子部件、有源电子部件、光学部件、硬连线电路等)实现，并且可以可选地由固件和/或软件驱动。例如，电路可以体现在一个或更多个半导体芯片中，或者体现在诸如印刷电路板等的基板支撑件上。构成块的电路可以由专用硬件实现，或者由处理器(例如，一个或更多个被编程的微处理器和相关电路)实现，或者由执行块的一些功能的专用硬件和执行块的其他功能的处理器的组合实现。在不脱离本公开的范围的情况下，实施例的每个块可以在物理上分成两个以上的交互的和离散的块。同样地，在不脱离本公开的范围的情况下，可以将实施例的块在物理上组合成更复杂的块。
虽然已经参考本公开的实施例具体示出和描述了本公开，但是应当理解的是，在不脱离所附权利要求的精神和范围的情况下，可以在其中做出形式和细节上的各种改变。

Claims (20)

1.一种电子装置，所述电子装置包括：
相机；
存储器；以及
处理器，所述处理器执行以下操作：
借助于相机获取关于外部对象的具有第一属性的多个图像，
在获取具有所述第一属性的所述多个图像的同时，通过对具有所述第一属性的所述多个图像当中的第一图像集中所包括的图像进行校正来生成第一图像，
显示所述第一图像，
在获取具有所述第一属性的所述多个图像的同时，基于接收到的与所述外部对象的图像捕获相对应的信号，获取关于所述外部对象的具有第二属性的多个图像，以及
将通过基于所述第一图像集对具有所述第二属性的所述多个图像进行校正所生成的第二图像存储在所述存储器中。
2.根据权利要求1所述的电子装置，其中，所述处理器：
基于所述第一图像集中所包括的所述图像当中的至少一个第三图像与所述第一图像集中所包括的所述图像当中的第一参考图像的比较，将所述至少一个第三图像配准为配准后的至少一个第三图像；以及
通过将所述配准后的所述至少一个第三图像与所述第一参考图像进行混合来生成所述第一图像。
3.根据权利要求2所述的电子装置，其中，所述处理器：
确定当配准所述至少一个第三图像时用于配准所述至少一个第三图像的第一配准信息，以及
确定当生成所述第一图像时用于将所述配准后的至少一个第三图像与所述第一参考图像进行混合的第一混合信息。
4.根据权利要求3所述的电子装置，其中，所述处理器：
基于所述第二图像与具有所述第二属性的所述多个图像当中的第二参考图像的比较，将所述第二图像配准为配准后的第二图像，以及
将所述配准后的第二图像与所述第二参考图像进行混合。
5.根据权利要求4所述的电子装置，其中，所述处理器基于所述第一配准信息来确定用于配准所述第二图像的第二配准信息。
6.根据权利要求5所述的电子装置，其中，所述处理器：
当所述第二参考图像不对应于所述第一参考图像时，改变所述第一配准信息，以对应于所述第二参考图像，或者
当包括在所述第一图像集中的每个图像的大小不等于具有所述第二属性的所述多个图像中的每个图像的大小时，对所述第一配准信息进行缩放。
7.根据权利要求4所述的电子装置，其中，所述处理器基于所述第一混合信息来确定用于将所述配准后的第二图像与所述第二参考图像进行混合的第二混合信息。
8.根据权利要求7所述的电子装置，其中，所述处理器：
当所述第二参考图像不对应于所述第一参考图像时，改变所述第一混合信息，以对应于所述第二参考图像，
当具有所述第二属性的图像的数目大于包括在所述第一图像集中的图像的数目时，应用外推法，或者
当包括在所述第一图像集中的每个图像的大小小于具有所述第二属性的所述多个图像中的每个图像的大小时，应用插值法。
9.根据权利要求1所述的电子装置，其中，所述处理器将所述第一图像显示为预览图像。
10.根据权利要求1所述的电子装置，其中，包括在所述第一图像集中的每个图像的大小不等于具有所述第二属性的所述多个图像中的每个图像的大小。
11.一种提供图像的方法，所述方法包括：
借助于相机获取关于外部对象的具有第一属性的多个图像；
在获取具有所述第一属性的所述多个图像的同时，通过对所述多个图像当中的第一图像集中所包括的图像进行校正来生成第一图像；
显示所述第一图像；
在获取具有所述第一属性的所述多个图像的同时，基于接收到的与所述外部对象的图像捕获相对应的信号，获取关于所述外部对象的具有第二属性的多个图像；以及
存储通过基于所述第一图像集对具有所述第二属性的所述多个图像进行校正所生成的第二图像。
12.根据权利要求11所述的方法，其中，生成所述第一图像包括：
基于所述第一图像集中所包括的所述图像当中的至少一个第三图像与所述第一图像集中所包括的所述图像当中的第一参考图像的比较，将所述至少一个第三图像配准为配准后的至少一个第三图像；以及
将所述配准后的至少一个第三图像与所述第一参考图像进行混合来生成所述第一图像。
13.根据权利要求12所述的方法，其中：
配准所述至少一个第三图像包括：确定用于配准所述至少一个第三图像的第一配准信息，以及
生成所述第一图像包括：确定用于将所述配准后的至少一个第三图像与所述第一参考图像进行混合的第一混合信息。
14.根据权利要求13所述的方法，所述方法还包括：
基于所述第二图像与具有所述第二属性的所述多个图像当中的第二参考图像的比较，将所述第二图像配准为配准后的第二图像，以及
将所述配准后的第二图像与所述第二参考图像进行混合。
15.根据权利要求14所述的方法，所述方法还包括：
基于所述第一配准信息来确定用于配准所述第二图像的第二配准信息。
16.根据权利要求15所述的方法，所述方法还包括：
当所述第二参考图像不对应于所述第一参考图像时，改变所述第一配准信息，以对应于所述第二参考图像，或者
当包括在所述第一图像集中的每个图像的大小不等于具有所述第二属性的所述多个图像中的每个图像的大小时，对所述第一配准信息进行缩放。
17.根据权利要求14所述的方法，所述方法还包括：基于所述第一混合信息，确定用于将所述配准后的第二图像与所述第二参考图像进行混合的第二混合信息。
18.根据权利要求17所述的方法，所述方法还包括：
当所述第二参考图像不对应于所述第一参考图像时，改变所述第一混合信息，以对应于所述第二参考图像，
当具有所述第二属性的所述多个图像的数目大于包括在所述第一图像集中的所述图像的数目时，应用外推法，或者
当包括在所述第一图像集中的每个图像的大小小于具有所述第二属性的所述多个图像中的每个图像的大小时，应用插值法。
19.根据权利要求11所述的方法，所述方法还包括：将所述第一图像显示为预览图像。
20.根据权利要求11所述的方法，其中，包括在所述第一图像集中的每个图像的大小不等于具有所述第二属性的所述多个图像中的每个图像的大小。
CN201811494842.1A 2017-12-07 2018-12-07 提供图像的方法和用于支持该方法的电子装置 Active CN109905594B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0167369 2017-12-07
KR1020170167369A KR102650217B1 (ko) 2017-12-07 2017-12-07 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치

Publications (2)

Publication Number Publication Date
CN109905594A true CN109905594A (zh) 2019-06-18
CN109905594B CN109905594B (zh) 2022-02-11

Family

ID=66696557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811494842.1A Active CN109905594B (zh) 2017-12-07 2018-12-07 提供图像的方法和用于支持该方法的电子装置

Country Status (4)

Country Link
US (1) US10848686B2 (zh)
KR (1) KR102650217B1 (zh)
CN (1) CN109905594B (zh)
TW (1) TWI785162B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111446694A (zh) * 2019-10-23 2020-07-24 奥菲(泰州)光电传感技术有限公司 驱动电机紧急制动平台及方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102584187B1 (ko) * 2016-03-30 2023-10-05 삼성전자주식회사 이미지를 처리하기 위한 전자 장치 및 방법
US11039079B1 (en) 2019-05-07 2021-06-15 Lux Optics Incorporated Generating long exposure images
US11394900B1 (en) 2020-05-07 2022-07-19 Lux Optics Incorporated Synthesizing intermediary frames for long exposure images

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101521751A (zh) * 2008-02-26 2009-09-02 佳能株式会社 摄像设备
CN102104727A (zh) * 2009-12-21 2011-06-22 奥林巴斯映像株式会社 摄像装置以及摄像方法
US20120002082A1 (en) * 2010-07-05 2012-01-05 Johnson Garrett M Capturing and Rendering High Dynamic Range Images
US20150054985A1 (en) * 2013-08-26 2015-02-26 Samsung Electronics Co., Ltd. Method and apparatus for capturing images
US20150092075A1 (en) * 2013-09-27 2015-04-02 Inha Industry Partnership Institute Method, apparatus, and system for generating high dynamic range image
US20160227092A1 (en) * 2013-09-12 2016-08-04 Canon Kabushiki Kaisha Image capturing apparatus and method of controlling the same

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000008860A1 (en) 1998-08-05 2000-02-17 Koninklijke Philips Electronics N.V. Static image generation method and device
US7085409B2 (en) 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
JP4533266B2 (ja) 2005-07-05 2010-09-01 キヤノン株式会社 光学機器およびその制御プログラム
WO2007119680A1 (ja) * 2006-04-11 2007-10-25 Panasonic Corporation 撮像装置
KR100871595B1 (ko) 2007-10-09 2008-12-02 박선의 고속카메라를 이용한 구형물체의 비행정보 측정 시스템
WO2010058334A1 (en) 2008-11-21 2010-05-27 Koninklijke Philips Electronics N.V. Merging of a video and still pictures of the same event, based on global motion vectors of this video
KR101244044B1 (ko) 2012-03-19 2013-03-15 정미애 스테레오 카메라를 이용하는 구형물체의 비행속도 추정 방법
US9282253B2 (en) 2014-02-18 2016-03-08 Qualcomm Technologies, Inc. System and method for multiple-frame based super resolution interpolation for digital cameras
US9196022B2 (en) * 2014-03-10 2015-11-24 Omnivision Technologies, Inc. Image transformation and multi-view output systems and methods
JP6343200B2 (ja) * 2014-07-31 2018-06-13 キヤノン株式会社 撮像装置およびその制御方法ならびにプログラム
US20160205291A1 (en) * 2015-01-09 2016-07-14 PathPartner Technology Consulting Pvt. Ltd. System and Method for Minimizing Motion Artifacts During the Fusion of an Image Bracket Based On Preview Frame Analysis
JP2016128946A (ja) 2015-01-09 2016-07-14 キヤノン株式会社 画像処理装置
KR102584187B1 (ko) 2016-03-30 2023-10-05 삼성전자주식회사 이미지를 처리하기 위한 전자 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101521751A (zh) * 2008-02-26 2009-09-02 佳能株式会社 摄像设备
CN102104727A (zh) * 2009-12-21 2011-06-22 奥林巴斯映像株式会社 摄像装置以及摄像方法
US20120002082A1 (en) * 2010-07-05 2012-01-05 Johnson Garrett M Capturing and Rendering High Dynamic Range Images
US20150054985A1 (en) * 2013-08-26 2015-02-26 Samsung Electronics Co., Ltd. Method and apparatus for capturing images
US20160227092A1 (en) * 2013-09-12 2016-08-04 Canon Kabushiki Kaisha Image capturing apparatus and method of controlling the same
US20150092075A1 (en) * 2013-09-27 2015-04-02 Inha Industry Partnership Institute Method, apparatus, and system for generating high dynamic range image

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111446694A (zh) * 2019-10-23 2020-07-24 奥菲(泰州)光电传感技术有限公司 驱动电机紧急制动平台及方法
CN111446694B (zh) * 2019-10-23 2021-08-10 宣城市泰力磁业有限公司 驱动电机紧急制动平台及方法

Also Published As

Publication number Publication date
KR20190067438A (ko) 2019-06-17
KR102650217B1 (ko) 2024-03-21
TW201931303A (zh) 2019-08-01
TWI785162B (zh) 2022-12-01
US10848686B2 (en) 2020-11-24
CN109905594B (zh) 2022-02-11
US20190182434A1 (en) 2019-06-13

Similar Documents

Publication Publication Date Title
CN111052727B (zh) 电子装置及其控制方法
US10956774B2 (en) Electronic device for acquiring image using plurality of cameras and method for processing image using the same
CN109905594A (zh) 提供图像的方法和用于支持该方法的电子装置
CN109525774A (zh) 用于校正图像的电子装置及操作该电子装置的方法
KR20210130773A (ko) 이미지 처리 방법 및 머리 장착형 디스플레이 디바이스
CN110012224A (zh) 摄像头防抖系统、方法、电子设备和计算机可读存储介质
CN109218628A (zh) 图像处理方法、装置、电子设备及存储介质
CN110035228A (zh) 摄像头防抖系统、方法、电子设备和计算机可读存储介质
CN101422035A (zh) 光源推定装置、光源推定系统与光源推定方法以及图像高分辨率化装置与图像高分辨率化方法
KR20190032818A (ko) 롤링 셔터 방식을 이용한 복수의 카메라를 포함하는 전자 장치
KR102452575B1 (ko) 광학식 이미지 안정화 움직임에 의한 이미지의 변화를 보상하기 위한 장치 및 방법
KR102318013B1 (ko) 복수의 이미지들을 합성하는 전자장치 및 방법
KR102383134B1 (ko) 우선 순위에 기반하여 이미지를 처리하는 전자 장치 및 그 동작 방법
EP3571670B1 (en) Mixed reality object rendering
WO2022068326A1 (zh) 一种图像帧预测的方法及电子设备
CN109413399A (zh) 使用深度图合成对象的装置及其方法
US20210368093A1 (en) Electronic device and method for processing image of same
US11144197B2 (en) Electronic device performing function according to gesture input and operation method thereof
KR102330264B1 (ko) 움직임 정보에 기반하여 동영상을 재생하기 위한 장치 및 그의 동작 방법
JP2018163648A (ja) 画像処理装置、画像処理方法、及びプログラム
EP3675477B1 (en) Electronic device for providing function by using rgb image and ir image acquired through one image sensor
CN109427089B (zh) 基于环境光照条件的混合现实对象呈现
CN115908120B (zh) 图像处理方法和电子设备
CN107087114B (zh) 一种拍摄的方法及装置
Lo et al. Three dimensional high dynamic range veillance for 3D range-sensing cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant