CN109525774B - 用于校正图像的电子装置及操作该电子装置的方法 - Google Patents

用于校正图像的电子装置及操作该电子装置的方法 Download PDF

Info

Publication number
CN109525774B
CN109525774B CN201811093261.7A CN201811093261A CN109525774B CN 109525774 B CN109525774 B CN 109525774B CN 201811093261 A CN201811093261 A CN 201811093261A CN 109525774 B CN109525774 B CN 109525774B
Authority
CN
China
Prior art keywords
camera
image
electronic device
images
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811093261.7A
Other languages
English (en)
Other versions
CN109525774A (zh
Inventor
周佑泫
金宰湖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109525774A publication Critical patent/CN109525774A/zh
Application granted granted Critical
Publication of CN109525774B publication Critical patent/CN109525774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

提供了一种用于校正图像的电子装置及操作该电子装置的方法。所述电子装置包括：第一相机；第二相机，具有与第一相机不同的视角；和至少一个处理器，被配置为：使用第一相机获得针对外部对象的第一图像集并使用第二相机获得针对外部对象的第二图像集，识别在获得第一图像集和第二图像集的时间的一部分时间内与第一相机相应的运动，至少基于与第一相机相应的运动，使用第一图像集的至少一些图像来获得校正区域，至少基于校正区域或与第一相机相应的运动来识别第二图像集的至少一些图像中的补偿区域，并且使用校正区域和补偿区域获得针对外部对象的经过运动校正的图像。其他各种实施例也是可能的。

Description

用于校正图像的电子装置及操作该电子装置的方法
技术领域
本公开涉及用于使用多个相机校正图像的电子装置及控制所述电子装置的方法。
背景技术
针对数码相机的图像稳定(IS)指校正由相机抖动或主体的运动引起的模糊图像，该项技术广泛应用于相机或其他各种电子装置。IS有各种类型，例如，光学IS(OIS)和数字IS(DIS)。DIS使电子装置能够通过数字处理来补偿运动模糊，而不是通过使用光学装置。通过移动镜头或传感器或通过减少传感器的曝光时间来光学地减轻运动模糊的技术可被统称为OIS。
当电子装置在单传感器系统或多传感器系统中执行IS时，电子装置可对使用单传感器获得的图像执行DIS。例如，当获得的图像由于电子装置的运动而模糊时，电子装置可从图像的边缘移除模糊部分，并将其余部分确定为经过校正的图像。
以上信息仅作为背景信息呈现，以帮助理解本公开。关于上述任何内容是否可适合作为关于本公开的现有技术，没有做出确定，也没有做出断言。
发明内容
使用单传感器的配备DIS的电子装置可通过传感器获得原始图像，移除原始图像的一部分，并将图像的其余部分放大到原始尺寸，从而产生经过校正的图像。在这种情况下，然而，经过校正的图像可能会受到视角减小和质量恶化。因此，采用单传感器的IS有其自身的局限性。
本公开的各方面在于至少解决以上提到的问题和/或缺点，并至少提供以下描述的优点。因此，本公开的一方面在于提供一种配备有多个相机的电子装置，其中，所述多个相机包括第一相机和具有与第一相机的视角不同的视角的第二相机。例如，根据公开的各种实施例，电子装置可配备有包括广角传感器和望远传感器的多个相机。电子装置可使用由广角传感器捕获的图像来获得校正由望远传感器捕获的图像所必需的图像区域，减轻对望远传感器的视角损失或者质量劣化。
另外的方面将部分地在下面的描述中阐述，并且部分地将从描述中显而易见，或者可通过实践所呈现的实施例来获知。
根据本公开的一方面，提供了一种电子装置。所述电子装置包括：第一相机，具有第一视角；第二相机，具有与第一视角不同的第二视角；和处理器，被配置为：使用第一相机获得针对外部对象的第一图像集并使用第二相机获得针对外部对象的第二图像集，确定在获得第一图像集和第二图像集的时间的至少一部分时间内与第一相机相应的运动，至少基于与第一相机相应的运动，使用第一图像集的至少一些图像来产生校正区域，至少基于校正区域或与第一相机相应的运动来确定第二图像集的至少一些图像中的补偿区域，并且使用校正区域和补偿区域产生针对外部对象的经过运动校正的图像。
根据本公开的一方面，提供了一种用于控制电子装置的方法。所述方法包括：使用第一相机获得针对外部对象的第一图像集，并且使用第二相机获得针对外部对象的第二图像集，其中，第一相机具有第一视角，第二相机具有与第一视角不同的第二视角；确定在获得第一图像集和第二图像集的时间的一部分时间与第一相机相应的运动；至少基于与第一相机相应的运动，使用第一图像集的至少一些图像产生校正区域；至少基于校正区域或与第一相机相应的运动，确定第二图像集的至少一些图像中的补偿区域；并且使用校正区域和补偿区域获得针对外部对象的经过运动校正的图像。
根据本公开的一方面，提供了一种电子装置。所述电子装置包括第一相机、与第一相机具有不同的视角的第二相机和处理器，其中，处理器被配置为使用第一相机获得第一图像并使用第二相机获得第二图像，并且产生包括与第一图像相应的第一区域和与第二图像相应的第二区域的经过校正的图像。
从下面结合附图进行的公开了本公开的各种实施例的详细描述，本公开的其他方面、优点和显著特征对于本领域中的技术人员将变得明显。
附图说明
从下面结合附图进行的描述，本公开的特定实施例的以上和其他方面、特征和优点将更加明显，其中：
图1是示出根据本公开的实施例的包括电子装置的网络环境的视图；
图2是示出根据本公开的实施例的相机模块的框图；
图3是示出根据本公开的实施例的第一相机和第二相机的示例的视图；
图4是示出根据本公开的实施例的第一相机和第二相机的视角的示例的视图；
图5A、图5B和图5C是示出根据本公开的实施例的电子装置产生针对外部对象的经过运动校正的图像的配置的视图；
图6A、图6B和图6C是示出根据本公开的实施例的电子装置设置补偿区域的配置的视图；
图7A、图7B和图7C是示出根据本公开的实施例的电子装置使用第一相机和第二相机执行图像稳定(IS)的配置的视图；
图8A、图8B和图8C是示出根据本公开的实施例的电子装置产生经过运动模糊校正的望远图像的配置的框图；
图9A和图9B是示出根据本公开的实施例的当电子装置不移动时电子装置执行IS的配置的视图；
图10A和图10B是示出根据本公开的实施例的电子装置通过控制第二相机的帧率来产生经过运动校正的图像的配置的视图；
图11A和图11B是示出根据本公开的实施例的电子装置使用深度传感器产生经过运动校正的图像的配置的视图；
图12A和图12B是示出根据本公开的实施例的电子装置通过对图像执行弯曲变形来产生经过运动校正的图像的配置的视图。
在整个附图中，相同的标号将被理解为表示相同的部件、组件和结构。
具体实施方式
提供参照附图的以下描述以帮助全面理解由权利要求和它们的等同物限定的本公开的各种实施例。它包括各种具体的细节以帮助理解，但这些细节将被视为仅是示例性的。因此，本领域中的普通技术人员将认识到：在不脱离本公开的范围和精神的情况下，可进行对这里描述的各种实施例的各种改变和修改。此外，为了清楚和简洁，公知的功能和结构的描述可被省略。
在下面的描述和权利要求中使用的术语和词语不限于书面意思，而是仅由发明者使用来使本公开能够被清楚和一致地理解。因此，对于本领域中的技术人员应是明显的是：提供本公开的各种实施例的以下描述仅是为了说明目的，而不是为了限制由权利要求和它们的等同物限定的本公开的目的。
应理解：除非上下文另有明确规定，否则单数形式包括复数指示物。因此，例如，提及“组件表面”包括提及一个或更多个这样的表面。
图1是示出根据本公开的各种实施例的网络环境100中的电子装置101的框图。
参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，电子装置101可排除这些组件中的至少一个(例如，显示装置160或相机模块180)，或者添加其他组件。在一些实施例中，可将一些组件实现为集成在一起，例如，如同将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)嵌入在显示装置160(例如，显示器)中。
处理器120可驱动例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它组件(例如，硬件组件或软件组件)，并可处理或计算各种数据。处理器120可将从另一组件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132上，并处理该命令或数据，并且处理器120可将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器)，另外地或者可选地，可包括独立于主处理器121操作的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器、传感器中枢处理器或通信处理器(CP))，其中，辅助处理器123可比主处理器121耗电更少，或者被指定用于指定的功能。这里，辅助处理器123可与主处理器121分离地操作，或者可嵌入在主处理器121中。
在这种情况下，在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123可代替主处理器121来控制与电子装置101的组件中的至少一个组件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，执行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的组件中的至少一个组件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一组件(例如，相机模块180或通信模块190)的一部分。存储器130可存储由电子装置101的至少一个组件(例如，处理器120)使用的各种数据，例如，软件(例如，程序140)以及针对与该软件相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
作为存储在存储器130中的软件的程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入装置150可以是用于从电子装置101的外部(例如，用户)接收将由电子装置101的组件(例如，处理器120)使用的命令或数据的装置。输入装置150可包括例如麦克风、鼠标或键盘。
声音输出装置155可以是用于将声音信号输出到电子装置101的外部的装置。声音输出装置155可包括例如扬声器或接收器，其中，扬声器用于诸如播放多媒体或录播的通用目的，接收器仅用于呼叫接收目的。根据实施例，可将接收器与扬声器集成地或分开地形成。
显示装置160可以是用于向电子装置101的用户视觉地提供信息的装置。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置或投影仪的控制电路。根据实施例，显示装置160可包括触摸电路或能够测量触摸压力的强度的压力传感器。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可通过输入装置150获得声音，或者通过声音输出装置155或与电子装置101有线或无线地连接的外部电子装置(例如，电子装置102(例如，扬声器或耳机))输出声音。
传感器模块176可产生与电子装置101的内部操作状态(例如，功率或温度)或电子装置101的外部环境状态相应的电信号或数据值。传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持使能与外部电子装置(例如，电子装置102)有线或无线地连接的指定协议。根据实施例，接口177可包括高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，例如，HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)，其中，连接器能够将电子装置101与外部电子装置(例如，电子装置102)物理连接。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个镜头、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可以是用于管理对电子装置101的供电的模块。可将电力管理模块188配置为例如电力管理集成电路(PMIC)的至少一部分。
电池189可以是用于对电子装置101的至少一个组件供电的装置。电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立有线通信信道或无线通信信道，并通过建立的通信信道执行通信。通信模块190可包括与处理器120(例如，应用处理器)独立操作并支持有线通信或无线通信的一个或更多个通信处理器。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。无线通信模块192和有线通信模块194中的相应一个可被用于通过第一网络198(例如，短距离通信网络，诸如蓝牙(BT)、Wi-Fi直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或通信网络(例如，局域网(LAN)或广域网(WAN)))与外部电子装置进行通信。可将上面列举的类型的通信模块190实现为单个芯片，或单独地实现为多个芯片。
根据实施例，无线通信模块192可使用存储在用户识别模块196中的用户信息区分并验证通信网络中的电子装置101。
天线模块197可包括用于将信号或电力发送到外部或者从外部接收信号或电力的一个或更多个天线。根据实施例，通信模块190(例如，无线通信模块192)可通过适于通信方案的天线向外部电子装置发送信号或从外部电子装置接收信号。
上述组件中的一些可通过外设间通信方案(例如，总线、通用输入/输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))连接在一起并在它们之间传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。第一外部电子装置102和第二外部电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，在电子装置101上运行的全部操作或一些操作可在一个或更多个其他外部电子装置上运行。根据实施例，当电子装置101应该自动执行特定功能或服务或者应该按照请求执行特定功能或服务时，电子装置101可请求外部电子装置执行与之相关的至少一些功能，而不自己执行所述功能或服务，或者电子装置101除了自己执行所述功能或服务以外，还可请求外部电子装置执行与之相关的至少一些功能。接收到所述请求的外部电子装置可执行所述请求的功能或者另外的功能，并将执行的结果传送到电子装置101。电子装置101可按照接收的结果本身提供请求的功能或服务，或者在对接收的结果进行进一步处理的情况下，提供请求的功能或服务。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
图2是示出根据本公开的实施例的相机模块180的框图200。
参照图2，相机模块180可包括镜头组件210、闪光灯220、图像传感器230、图像稳定器240、存储器250(例如，缓冲存储器)或图像信号处理器260。镜头组件210可采集从将被拍摄图像的对象发出或反射的光。镜头组件210可包括一个或更多个镜头。根据实施例，相机模块180可包括多个镜头组件210。在这种情况下，相机模块180可以是例如双相机、360度相机或球形相机。多个镜头组件210可具有相同的镜头属性(例如，视角、焦距、自动对焦、f数或光学变焦)，或者至少一个镜头组件可与其他镜头组件具有至少一个不同的镜头属性。镜头组件210可包括例如广角镜头或望远镜头。闪光灯220可发光，其中，发出的光用于增强来自对象的光。闪光灯220可包括一个或更多个发光二极管(LED)(例如，红绿蓝(RGB)LED、白色LED、红外(IR)LED或紫外(UV)LED)或氙灯。
图像传感器230可通过将从对象经由镜头组件210发送的光转换为电信号来获得与对象相应的图像。根据实施例，图像传感器230可包括从具有不同属性的图像传感器(诸如，RGB传感器、黑白(BW)传感器、IR传感器或UV传感器)中选择的一个图像传感器、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。图像传感器230中包括的每个图像传感器可被实现为例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。
图像稳定器240可沿特定方向移动或者控制(例如，调整读出时序)图像传感器230或镜头组件210中包括的至少一个镜头以响应于运动来至少部分地补偿由相机模块180或包括相机模块180的电子装置101的运动而引起的捕获图像的负面效果(例如，图像模糊)。根据实施例，可将图像稳定器240实现为例如光学图像稳定器。图像稳定器240可使用布置在相机模块180内部或外部的陀螺仪传感器(未示出)或加速度传感器(未示出)来感测这样的移动。
存储器250可至少暂时地存储经由图像传感器230获得的图像的至少一部分以用于后续的图像处理任务。例如，当由于快门时滞而导致图像捕捉延迟或者快速捕捉了多个图像时，可将获得的原始图像(例如，高分辨率图像)存储在存储器250中，并且可通过显示装置160来预览其相应的副本(例如，低分辨率图像)。随后，如果满足了指定的条件(例如，通过用户的输入或系统命令)，则可由例如图像信号处理器260来获得和处理存储在存储器250中的原始图像的至少一部分。根据实施例，可将存储器250配置为存储器130的至少一部分，或者可将存储器250配置为独立于存储器130进行操作的单独的存储器。
图像信号处理器260可对通过图像传感器230获得的图像或存储在存储器250中的图像执行图像处理(例如，深度图产生、三维(3D)建模、全景图产生、特征点提取、图像合成或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊、锐化或柔化))。另外或可选地，图像信号处理器260可对相机模块180中包括的组件中的至少一个组件(例如，图像传感器230)执行控制(例如，曝光时间控制或读出时序控制)。可将由图像信号处理器260处理的图像存储回存储器250以用于进一步处理，或者可将该图像传送给在相机模块180外部的外部组件(例如，存储器130、显示装置160、电子装置102、电子装置104或服务器108)。根据实施例，可将图像信号处理器260配置为处理器120的至少一部分，或者可将图像信号处理器260配置为独立于处理器120进行操作的单独的处理器。当将图像信号处理器260配置为单独的处理器时，由图像信号处理器260处理的图像可按照其原样通过显示装置160显示，或者由图像信号处理器260处理的图像可在被处理器120进一步处理之后通过显示装置160显示。
根据实施例，电子装置101可包括具有不同属性或功能的两个或更多个相机模块180。在这种情况下，所述两个或更多个相机模块180中的至少一个相机模块可以是例如广角相机或前置相机，而所述两个或更多个相机模块180中的至少另一个相机模块可形成望远相机或后置相机。或者，所述至少两个或更多个相机模块可以是前置相机，或者可以是后置相机。
图3是示出根据本公开的实施例的第一相机和第二相机的示例的视图。
图4是示出根据本公开的实施例的第一相机和第二相机的视角的示例的视图。
参照图3，电子装置300可包括捕获第一图像集的第一相机310、具有与第一相机310不同的视角并捕获第二图像集的第二相机320以及处理器(例如，处理器120)，其中，处理器使用分别从第一相机310和第二相机320获得的第一图像集和第二图像集产生针对外部对象的经过运动校正的图像。根据实施例，第一相机310可具有比第二相机320更长的焦距和更窄的视角。与第一相机310相比，第二相机320可在较宽范围内捕获图像。与第二相机320相比，第一相机310可捕获位于更远处的对象。
参照图4，第一相机410可具有与图3的第一相机310相同的配置，第二相机420可具有与图3的第二相机320相同的配置。第一相机410和第二相机420可面向相同方向并且可在相同方向上捕获图像。第一相机410的视角411可比第二相机420的视角421更窄。其中，第一相机410和第二相机420在相同方向上捕获图像，由于与第一相机410相比，第二相机420可在更宽的视角捕获图像，因此由第二相机420获得的图像可包含由第一相机410获得的图像––也就是说，由第二相机420获得的图像可进一步具有由第一相机410获得的图像中未显示的图像。尽管未在附图中示出，但是第一相机410可具有与第二相机420相同的视角。例如，电子装置400可包括多个第二相机420。例如，可在第一相机410周围部置四个或八个第二相机420，并且处理器(例如，图1的处理器120)可合成由多个第二相机420获得的图像，呈现这样的效果，如同通过具有比第一相机410更宽视角的相机获得图像。尽管以下描述主要介绍了采用具有比第一相机410更宽视角的一个第二相机420，但是可使用具有与第一相机410相同视角的多个第二相机420对如上所述的电子装置执行IS。
图5A、图5B和图5C是示出根据本公开的实施例的电子装置产生针对外部对象的经过运动校正的图像的配置的视图。
参照图5A，示出根据实施例的电子装置(例如，处理器120)产生针对外部对象的经过运动校正的图像的方法的流程图。在操作501，电子装置(例如，电子装置101或处理器120)可使用第一相机获得针对外部对象的第一图像集并使用第二相机获得针对外部对象的第二图像集。
参照图5B，电子装置101可获得构成至少一个图像集的图像帧(例如，图像帧511-527)。例如，电子装置101可使用第一相机连续捕获图像帧。可选地，电子装置101可经由通信模块获得由具有多个相机的另一电子装置捕获的图像帧。
在操作503，电子装置(例如，电子装置101或处理器120)可确定电子装置101的运动。例如，电子装置101可确定与连接到电子装置101的第一相机310相应的运动。例如，电子装置101可确定多个图像帧之间的差异，并且可基于所确定的差异来确定运动。例如，电子装置101可确定第三图像帧513和第四图像帧514之间的差异。电子装置101可基于第三图像帧513中的第一对象的位置与第四图像帧514中的第一对象的位置之间的距离(例如，像素距离)来确定运动。电子装置101可获得与第一对象在第三图像帧513中的位置有关的坐标和与第一对象在第四图像帧514中的位置有关的坐标，并且可基于所获得的坐标之间的差异来确定运动。电子装置101可确定在电子装置101获得第一图像集和第二图像集的时间中的至少一部分时间内的运动，并且该部分时间可具有由处理器或用户预设的值。根据实施例，处理器可使用从与处理器电连接的传感器或与第一相机310和第二相机320电连接的图像传感器获得的传感器信息获得关于电子装置101的运动信息。处理器可基于所获得的运动信息确定电子装置101的运动。
在操作505，电子装置(例如，电子装置101或处理器120)可使用第一图像集的至少一些图像并且至少基于与第一相机相应的运动来产生校正区域。可选地，不是使用第一图像集，电子装置101可使用从包括多个相机并且与电子装置101电连接的另一电子装置接收的图像集中包括的一些图像帧和从与第一相机电连接的传感器接收的传感器信息来产生校正区域。例如，电子装置101可基于与在操作503中确定的第一相机相应的运动产生校正区域，从而通过将校正区域与将在操作507中获得的补偿区域组合，来产生针对外部对象的经过运动校正的图像。
参照图5C，电子装置可从第三图像帧513产生校正区域533，其中，第三图像帧513包括在第一图像集中，并且在第三图像帧513中发生与第一相机相应的运动。电子装置101可基于与第一相机相应的运动矢量551的方向，将与运动发生前的图像帧共有的区域确定为校正区域533。
在操作507，电子装置(例如，电子装置101或处理器120)可至少基于校正区域或与第一相机相应的运动，确定第二图像集的至少一些图像中的补偿区域。电子装置101可确定用于对除了从第一图像集的至少一些图像中移除的校正区域之外的其余部分执行IS的补偿区域。例如，处理器可基于在第一图像集的第三图像帧513中确定的校正区域，从第二图像集的第三图像帧523确定补偿区域。可选地，在不使用第一图像集的第三图像帧513的情况下，处理器可基于从第一相机接收的与第一相机相应的运动信息来确定第二图像集的第三图像帧523中的补偿区域。例如，处理器可从第一相机中包括的图像传感器获得运动信息，并确定补偿区域。参照图5C，处理器可确定第二图像集的第三图像帧523中的补偿区域543，以校正由于运动导致的第一图像集的图像帧518的运动模糊。例如，处理器可从第二图像集的第三图像帧523，在电子装置101的运动发生的方向上的运动矢量551的逆矢量552的方向上设置补偿区域543。由于由第二相机获得的图像具有比由第一相机获得的图像更宽的视角，因此补偿区域543包括在由第二相机获得的图像中，但可能不在由第一相机获得的图像中。
根据实施例，校正区域533可大于补偿区域543。在确定电子装置101移动预定程度或更多时，处理器120可放弃执行IS。补偿区域543可与校正区域533的角部组合，并且由于仅在电子装置101移动小于预定程度时执行IS，所以校正区域533可大于补偿区域543。
在操作509，电子装置101(例如，处理器120)可使用与第一图像集中包括的图像帧相应的校正区域和与第二图像集中包括的图像帧相应的补偿区域，产生针对外部对象的经过运动校正的图像。参照图5B，电子装置101可使用第一图像集的第三图像帧513的校正区域和第二图像集的第三图像帧523的补偿区域，产生针对外部对象的经过运动校正的图像。参照图5C，电子装置101可通过将在第一图像集中包括的图像帧518中确定的校正区域533和在第二图像集中包括的第三图像帧523中确定的补偿区域543组合来产生一个图像。在这种情况下，补偿区域543的至少一部分可不包括在由第一相机获得的图像帧518中。
图6A、图6B和图6C是示出根据本公开的实施例的电子装置设置补偿区域的配置的视图。
参照图6A，示出根据实施例的电子装置(例如，电子装置101或处理器120)设置补偿区域的方法的示例的流程图。
参照图6B，示出用于设置补偿区域的电子装置(例如，电子装置101)的示例的框图。
在操作601，电子装置(例如，电子装置101或处理器120)可使用从与电子装置101可操作地连接的传感器获得的运动信息或基于第一图像集的至少一些图像之间的比较的矢量信息来确定与第一相机相应的运动。根据实施例，电子装置可包括：处理器610，用于产生针对外部对象的经过运动校正的图像；第一图像传感器611，与第一相机电连接以向处理器提供关于第一图像集中包括的图像的运动信息；第二图像传感器612，与第二相机电连接以向处理器提供关于第二图像集中包括的图像的运动信息；和传感器620，用于确定电子装置101的运动。处理器610可具有与图1的处理器120相同的配置。传感器620可具有与图1的传感器模块176相同的配置，并且可包括用于确定电子装置101的运动的运动传感器或陀螺仪传感器。电子装置的处理器610可对由第一图像传感器611获得的第一图像集的一些图像进行比较。处理器610可提取关于电子装置的运动的矢量信息以确定电子装置101的运动，或者处理器610可使用从传感器620获得的关于电子装置的运动信息来确定电子装置的运动。
根据实施例，电子装置(例如，电子装置101或处理器120)可检测与第二相机相应的运动，并可使用与第一相机相应的运动和与第二相机相应的运动来确定补偿区域。
参照图6B，处理器610可使用与第一相机相应的运动信息和与第二相机相应的运动信息来从第二图像集的一些图像确定补偿区域。像与第一相机相应的运动信息一样，可使用从传感器620获得的关于电子装置101的运动信息和通过对从第二图像传感器612获得的第二图像集的一些图像进行比较而获得的关于运动的矢量信息来获得与第二相机相应的运动信息。
在操作602，电子装置(例如，电子装置101或处理器120)可使用关于与从可操作地与电子装置101连接的传感器获得的运动的方向相反的方向的运动信息或关于基于第一图像集的至少一些图像之间的比较的矢量的逆矢量的信息，从第二图像集的一些图像确定补偿区域。如上面结合图5C所述，电子装置101可基于由第一图像传感器611获得的矢量的逆矢量或关于与从传感器620获得的电子装置101的运动的方向相反的方向的运动信息，确定第二图像集的图像中包含的补偿区域。处理器610可基于从第一图像传感器611获得的逆矢量信息、从第二图像传感器612获得的逆矢量信息或关于与从传感器620获得的运动的方向相反的方向的矢量信息中的至少一个，确定补偿区域。
参照图6C，示出电子装置(例如，电子装置101或处理器120)根据是否对第一图像集和第二图像集执行OIS处理来设置补偿区域的方法的示例的流程图。
在操作651，电子装置(例如，电子装置101或处理器120)可从第一图像传感器获得第一图像集，并从第二图像传感器获得第二图像集。从第一图像传感器获得的第一图像集的图像具有比从第二图像传感器获得的第二图像集的图像更窄的视角。
在操作652，电子装置(例如，电子装置101或处理器120)可在获得第一图像集和第二图像集的同时经由另一传感器获得电子装置的运动。参照图6B，处理器610(例如，处理器120)可在从第一图像传感器611和第二图像传感器612获得图像集的同时使用第一图像传感器611和传感器620或使用第一图像传感器611、第二图像传感器612和传感器620来获得用于确定补偿区域的关于运动的信息。
在操作653，电子装置(例如，电子装置101或处理器120)可识别从第一图像传感器611获得的图像是否是经过OIS处理的图像。OIS表示图像稳定技术，或者可指防止或修复由电子装置的运动引起的运动模糊的任何技术，其中，电子装置的运动可在电子装置不稳定地静止或用户抓握电子装置时出现。第一图像传感器611或第二图像传感器612可具有OIS功能。取决于具有OIS功能，第一图像传感器611或第二图像传感器612可将经过OIS处理的图像集发送到处理器610。在处理器从具有OIS功能的图像传感器接收图像集的情况下，尽管组合了校正区域和补偿区域，但是在确定补偿区域时未能反映与OIS处理一样多的运动信息可能无法呈现期望的图像。根据实施例，电子装置可确定从第一图像传感器获得的图像集中包括的图像帧和从第二图像传感器获得的图像集中包括的图像帧是否是经过OIS处理的图像。例如，处理器610可仅使用第一图像传感器611获得运动后的图像帧之间的矢量信息，或者可使用第一图像传感器611和第二图像传感器612两者获得关于电子装置的运动的矢量信息。
在操作654，在电子装置(例如，电子装置101或处理器120)从第一图像传感器获得的图像是经过OIS处理的图像的情况下，处理器610可基于OIS处理信息和关于从第一图像传感器611和传感器620获得的电子装置的运动信息来确定补偿区域。可选地，处理器610可基于从第一图像传感器611和第二图像传感器612的每一个获得的OIS处理信息和从第一图像传感器611、第二图像传感器612和传感器620获得的关于电子装置的运动信息来确定补偿区域。在操作655，在确定从第一图像传感器611获得的图像不是经过OIS处理的图像时，处理器610可仅使用所获得的运动信息来确定补偿区域。处理器610可通过反映由例如手抖动引起的所有运动来确定校正区域，并且可基于所确定的校正区域来确定补偿区域。
图7A、图7B和图7C是示出根据本公开的实施例的电子装置(例如，电子装置101或处理器120)使用第一相机和第二相机执行IS的配置的视图。
参照图7A，示出使用第一相机和第二相机获得的图像的示例的视图。
根据实施例，电子装置(例如，处理器120)可从第一相机获得第一图像集的图像710，并从第二相机获得第二图像集的图像720。第一图像集的图像710可具有比第二图像集的图像720更窄的视角和更小的深度。第二图像集的图像720可包括第一图像集的图像710中不包括的区域。当第一图像集的图像710被移动时，第一图像集的图像710中不包括但第二图像集的图像720中包括的区域可用于确定补偿区域。
参照图7B，示出当第一图像集的图像710和第二图像集的图像720移动时用于确定校正区域和补偿区域的配置的示例的视图。
根据实施例，电子装置(例如，电子装置101或处理器120)可获得与第一相机相应的运动信息。电子装置101可获得与第一相机相应的运动信息和与第二相机相应的运动信息两者。
参照图7B，处理器可确定第一图像集的图像710的抖动方向741和与抖动方向741相反的校正方向742。处理器可基于与第一图像集的图像710的抖动方向741相应的矢量信息从第一图像集的图像710确定校正区域730。可基于关于第一图像集的图像710的抖动方向741的信息确定校正区域730，或者在确定校正区域730时，可进一步使用关于第二图像集的图像720的抖动方向的信息。电子装置101可从第一图像集的图像710中移除除了校正区域730之外的区域740。电子装置101可基于与校正方向742相应的矢量和第一图像集的图像710的校正区域730，设置与将要从第二图像集的图像720获得的补偿区域相应的区域750。电子装置101可基于与第二图像集的图像720中的校正区域730相应的区域，确定补偿区域760和补偿区域770。电子装置101可通过划分为块来设置补偿区域760和补偿区域770，但是这仅是示例，并且确定补偿区域760和补偿区域770不限于此。
根据实施例，在不使用连接到第一相机的第一图像传感器和连接到第二相机的第二图像传感器的情况下，电子装置(例如，电子装置101或处理器120)可基于对象711的位置通过校正第一图像集的图像710或者第二图像集的图像720内存在的对象711的运动来产生经过运动校正的图像。例如，电子装置可基于对象711在第一图像集的图像710或者第二图像集的图像720中的坐标来识别对象711的运动。可选地，电子装置可在预设时间内通过连续跟踪对象711来识别对象711的位置，并将跟踪位置与对象711的位置进行比较，在该预设时间之后识别物体的运动。在识别出对象711的位置已经移动时，处理器可基于关于移动后的位置的信息从第一图像集的图像710确定校正区域730，并且可使用运动信息和校正区域从第二图像集确定补偿区域760和补偿区域770。上面已经详细描述了校正区域和补偿区域的确定，并且下面不再给出其进一步的描述。
图7C是示出电子装置(例如，电子装置101或处理器120)使用校正区域和补偿区域产生经过运动校正的图像的配置的示例的视图。
参照图7C，电子装置(例如，电子装置101或处理器120)可通过将在第一图像集的图像710中确定的校正区域730与在第二图像集的图像720中确定的补偿区域760和770组合来产生经过运动校正的图像。例如，电子装置101可通过以块为单位将校正区域730与补偿区域760和770组合，产生经过运动校正的图像。由第一相机和第二相机捕获的校正区域730和补偿区域760和770可在深度或弯曲上相互有所不同。下面参照图11A、图11B、图12A和图12B详细描述校正深度或弯曲。
图8A、图8B和图8C是示出根据本公开的实施例的电子装置(例如，电子装置101或处理器120)产生经过运动模糊校正的望远图像的配置的框图。
参照图8A，根据实施例，电子装置(例如，电子装置101)可包括第一相机810、第二相机820和处理器830。处理器830可具有与图1的处理器相同的配置。从第一相机810获得的第一图像集可以是望远图像集，从第二相机820获得的第二图像集可以是广角图像集。处理器830可从第一相机810或第二相机820获得图像，并可通过比较图像获得运动信息。处理器830可仅从第一相机810或仅从第二相机820获得运动信息。
参照图8B和图8C，电子装置(例如，电子装置101或处理器120)可包括第一相机810、第二相机820和处理器830。处理器830可包括组合模块831和校正模块832。组合模块831和校正模块832可以是例如逻辑模块。因此，由组合模块831和校正模块832执行的操作可由处理器830(例如，处理器120)执行。根据实施例，组合模块831和校正模块832中的至少一个可被实现在处理器830内部的硬件中。参照图8B，处理器830的组合模块831可从第一相机810和第二相机820获得图像集，并且可从第一相机810或第二相机820中的至少一个接收运动信息。组合模块831可通过组合接收到的运动信息来产生整体运动信息，并将所产生的运动信息发送到校正模块832。校正模块832可使用从组合模块831接收到的运动信息以及从第一相机和第二相机获得的图像集来产生经过运动校正的图像。
参照图8C，第一相机810可将图像集和运动信息发送到处理器830中的组合模块831和校正模块832两者，第二相机820仅可将图像集和运动信息发送到组合模块831。组合模块831可通过组合从第一相机810和第二相机820获得的运动信息，产生整体运动信息，并且校正模块832可基于从第一相机810接收的运动信息和从组合模块831接收的运动信息，产生经过运动校正的图像。
图9A和图9B是示出根据本公开的实施例的当没有抖动时电子装置(例如，电子装置101或处理器120)执行IS的配置的示例的视图。
参照图9A，在操作901，电子装置(例如，电子装置101或处理器120)可分别从第一相机和第二相机获得第一图像集和第二图像集。例如，处理器(例如，处理器120)可分别从第一相机和第二相机获得第一图像集的图像910和第二图像集的图像920。第二图像集的图像920可包括第一图像集的图像910不包括的区域911，处理器可将区域911设置为第一图像集的图像910的边缘。例如，在处理器执行图像校正之前输入的图像921可以是第一图像集的图像910和第二图像集的图像920彼此重叠的图像。
在操作902，电子装置(例如，电子装置101或处理器120)可确定电子装置101的运动是否是阈值或更大。电子装置101可基于从与电子装置耦合的传感器(例如，传感器模块176)接收的信息来识别电子装置是否移动，并且可确定电子装置的运动是否是阈值或更大。在检测电子装置的运动时，电子装置101可根据电子装置的运动是否在例如OIS可校正的范围内来设置电子装置的运动的阈值。在操作903，在确定电子装置的运动是阈值或更大时，电子装置101可使用第一图像集的图像910和第二图像集的图像920两者来产生经过运动校正的图像。例如，电子装置101可基于校正区域和运动信息从第一图像集的图像910确定校正区域，并从第二图像集的图像920确定补偿区域。电子装置101可基于所确定的校正区域和补偿区域产生经过运动校正的图像。上面已经详细描述了用于产生经过运动校正的图像的配置，并且不再给出其进一步的描述。
在操作904，在确定电子装置的运动小于阈值时，电子装置(例如，电子装置101或处理器120)可按原样输出第一图像集的图像910作为经过校正的图像。
参照图9B，处理器可移除不在第一图像集的图像910中的区域911，从而在第一图像集中产生图像910和图像931作为经过校正的图像。根据实施例，电子装置101将从第二相机获得的第二图像集的图像中的一些图像设置为边缘，而不从第一相机获得的第一图像集的图像中单独设置边缘，从而防止当电子装置中没有发生抖动时在执行图像校正时在第一图像集中的图像910和图像931图像中发生损失。
图10A和图10B是示出根据本公开的实施例的电子装置(例如，电子装置101或处理器120)通过控制第二相机的帧率来产生经过运动校正的图像的配置的视图。
根据实施例，电子装置(例如，电子装置101或处理器120)可调整从每个光学系统获得的帧率，以克服由于从第一相机获得的望远图像和从第二相机获得的广角图像之间的差异而可能出现的缺陷。帧率表示在单位时间内由第一相机或第二相机获得的图像帧的数量，并且“帧率高”可指可在单位时间内获得更多图像。电子装置101可调整第一相机和第二相机中的每一个的帧率。
在操作1001，电子装置(例如，电子装置101或处理器120)可从第一相机获得第一图像集，从第二相机获得第二图像集。第一图像集和第二图像集的细节与上述相同，并且下面不再进一步描述。
在操作1002，电子装置(例如，电子装置101或处理器120)可识别第一图像集的图像中的对象是否存在于图像的视角区域内。根据实施例，电子装置101可基于第一图像集的至少一些图像中的对象的位置来确定针对外部对象的第一图像集的图像的数量和针对外部对象的第二图像集的图像的数量。根据实施例，处理器1030可包括帧率控制模块1040、组合模块1050和校正模块1060。帧率控制模块1040、组合模块1050和校正模块1060可以是例如逻辑模块，并且因此，帧率控制模块1040、组合模块1050和校正模块1060的操作可由处理器1030(例如，处理器120)执行。根据实施例，帧率控制模块1040、组合模块1050和校正模块1060中的至少一个可被实现在处理器1030内的硬件中。帧率控制模块1040可根据用作执行IS的参考的图像中的对象的位置来调整第一相机1010或第二相机1020的帧率。
在操作1003，电子装置(例如，电子装置101或处理器120)可在确定第一图像集的图像中的对象存在于第一图像集的图像的视角区域内时，减小第二相机的帧率。尽管图10A示出了基于第一图像集中的对象的位置来调整帧率，但是在调整帧率时可一起考虑第二图像集中的对象的位置。例如，在对象存在于第一图像集的图像的视角区域内的情况下，尽管对象的位置改变，但是对象不太可能从第一图像集的图像中逃脱并且被扭曲。因此，可相对减少对捕获第二图像集的图像的第二相机1020的需求。帧率控制模块1040可通过在保持第一相机的帧率的同时减小第二相机的帧率来允许有效使用电源或电子装置的其他资源。这里，可用时钟频率、分配给相机的存储空间、分配给相机的电力、网络数据量或压缩率来代替帧率，并且这可与用于获得图像信息的各种资源相应。即使当关于由第一相机捕获的第一图像集的图像区域中的对象或背景的运动的信息在第二图像集的图像区域中是不需要时，帧率控制模块1040也可减小第二相机的帧率，从而有效利用电源或其他资源。
在操作1004，在确定第一图像集的图像中的对象不存在于第一图像集的图像的视角区域内时，电子装置(例如，电子装置101或处理器120)可增大第二相机的帧率。例如，在对象位于第一图像集的图像的视角区域和第二图像集的视角区域上方的情况下，如果对象移动，则很可能从第一图像集中逃脱，因此遭受严重的扭曲。因此，帧率控制模块1040可增大第二相机1020的帧率，将其设置为等于或高于第一相机1010的帧率。
图11A和图11B是示出根据本公开的实施例的电子装置(例如，电子装置101或处理器120)使用深度传感器产生经过运动校正的图像的配置的视图。
根据实施例，电子装置(例如，电子装置101)可包括第一相机1110、第二相机1120、深度传感器1130和处理器1140。处理器1140可包括模糊模块1150、组合模块1160和校正模块1170。模糊模块1150、组合模块1160和校正模块1170可以是例如逻辑模块。因此，由模糊模块1150、组合模块1160和校正模块1170执行的操作可由处理器1140(例如，处理器120)执行。根据实施例，模糊模块1150、组合模块1160和校正模块1170中的至少一个可被实现在处理器1140内的硬件中。
在操作1101，电子装置(例如，电子装置101或处理器120)可从第一相机1110获得第一图像集并从第二相机1120获得第二图像集。第一图像集的图像和第二图像集的图像的深度信息或焦距可不同，从而导致模糊程度的差异。在校正模块1170按原样合成第一图像集的图像的校正区域与第二图像集的补偿区域的情况下，在校正区域和补偿区域之间的边界中可能发生严重缺陷。
在操作1103，电子装置(例如，电子装置101或处理器120)可使得第二图像集的图像的至少一部分模糊。例如，第一图像集的图像的校正区域与第二图像集的图像的补偿区域可能需要至少部分地模糊以便以自然的方式合成在一起。模糊模块1150可通过基于从深度传感器1130接收的深度信息和从第二相机1120接收的第二图像集使第二图像集的图像的每个区域散焦，以使第二图像集的图像模糊。尽管在附图中未示出，但是模糊模块1150可从用于从所获得的图像集的图像产生深度图的模块接收深度信息，并且可基于接收到的深度信息使第二图像集的图像的每个区域散焦。
在操作1105，电子装置(例如，电子装置101或处理器120)可使用第一图像集和第二图像集产生经过运动校正的图像。组合模块1160可通过将从第一相机1110接收到的运动信息与经由模糊模块1150接收到的关于第二相机的运动信息组合来产生整体运动信息，并且可将产生的运动信息发送到校正模块1170。组合模块1160可使用从组合模块1160接收到的运动信息、从第一相机1110接收到的第一图像集的图像和由第二相机捕获并由模糊模块1150模糊的图像来产生经过运动校正的图像。
图12A和图12B是示出根据本公开的实施例的电子装置(例如，电子装置101或处理器120)通过对图像执行弯曲变形来产生经过运动校正的图像的配置的示例的视图。
根据实施例，电子装置(例如，电子装置101)可包括第一相机1210、第二相机1220和处理器1230。处理器1230可包括变形模块1240、组合模块1250和校正模块1260。变形模块1240、组合模块1250和校正模块1260可以是例如逻辑模块。因此，由变形模块1240、组合模块1250和校正模块1260执行的操作可由处理器1230(例如，处理器120)执行。根据实施例，变形模块1240、组合模块1250和校正模块1260中的至少一个可被实现在处理器1230内的硬件中。
在操作1201，电子装置(例如，电子装置101或处理器120)可从第一相机获得第一图像集和从第二相机获得第二图像集。由于与第二图像集的图像相比，使用更窄的视角相机捕获第一图像集的图像，因此，第一图像集的图像和第二图像集的图像可显示不同的弯曲。
在操作1203，电子装置(例如，电子装置101或处理器120)可对第一图像集的图像和第二图像集的图像执行弯曲处理。根据实施例，变形模块1240可对从第一相机1210和第二相机1220获得的图像集的图像的弯曲进行变形。例如，变形模块1240可基于第一图像集的图像或第二图像集的图像对弯曲进行变形，将第一图像集的图像和第二图像集的图像的弯曲变形为特定参考值，并将变形后的第一图像集和第二图像集发送到组合模块1250。
在操作1205，电子装置(例如，电子装置101或处理器120)可使用经过弯曲变形的第一图像集和第二图像集产生经过运动校正的图像。组合模块1250可基于从第一相机1210和第二相机1220中的至少一个获得的运动信息来产生整体运动信息，并将产生的运动信息发送到校正模块1260。校正模块1260可使用从组合模块1250接收的运动信息以及第一图像集和第二图像集来产生经过运动校正的图像。用于产生经过运动校正的图像的配置与上述配置相同，并且不给出其详细描述。
根据实施例，电子装置(例如，电子装置101)可包括第一相机310、具有与第一相机310不同的视角的第二相机320、和处理器120，其中，处理器120被配置为使用第一相机310获得针对外部对象的第一图像集并使用第二相机320获得针对外部对象的第二图像集，识别在获得第一图像集和第二图像集的时间的一部分时间内与第一相机310相应的运动，至少基于与第一相机310相应的运动，使用第一图像集的至少一些图像来获得校正区域，至少基于校正区域或与第一相机310相应的运动来识别第二图像集的至少一些图像中的补偿区域，并且使用校正区域和补偿区域获得针对外部对象的经过运动校正的图像。根据实施例，补偿区域的至少一部分可不包括在从第一相机310获得的图像中。根据实施例，处理器120可被配置为检测与第二相机相应的运动并且进一步使用与第二相机320相应的运动来识别补偿区域。根据实施例，处理器120可被配置为使用从与电子装置可操作地连接的传感器获得的运动信息或基于第一图像集的至少一些图像之间的比较的矢量信息来识别与第一相机310相应的运动。根据实施例，处理器120可被配置为使用关于从与电子装置可操作地连接的传感器获得的运动方向相反的方向的运动信息或者关于基于第一图像集的至少一些图像之间的比较的矢量的逆矢量的信息，识别第二图像集的至少一些图像中的补偿区域。根据实施例，处理器120可被配置为至少基于与第一相机相应的运动的程度来识别校正区域的尺寸。根据实施例，处理器120可被配置为使用关于校正区域和补偿区域的深度信息获得针对外部对象的经过运动校正的图像。根据实施例，处理器120可被配置为基于第一图像集的至少一些图像中包括的外部对象的图像的位置，识别第一图像集中包括的图像的数量和第二图像集中包括的图像的数量。
根据实施例，用于控制电子装置(例如，电子装置101)的方法可包括：使用第一相机310获得针对外部对象的第一图像集，使用第二相机320获得针对外部对象的第二图像集，第二相机320具有与第一相机310不同的视角，确定在获得第一图像集和第二图像集的时间的一部分时间内与第一相机310相应的运动，至少基于与第一相机310相应的运动，使用第一图像集的至少一些图像获得校正区域，至少基于校正区域或与第一相机310相应的运动，确定第二图像集的至少一些图像中的补偿区域，并且使用校正区域和补偿区域获得针对外部对象的经过运动校正的图像。根据实施例，补偿区域的至少一部分可不包括在从第一相机310获得的图像中。根据实施例，所述方法还包括检测与第二相机320相应的运动，并且进一步使用与第二相机320相应的运动来识别补偿区域。根据实施例，所述方法还包括使用从与电子装置可操作地连接的传感器获得的运动信息或基于第一图像集的至少一些图像之间的比较的矢量信息来识别与第一相机310相应的运动。根据实施例，所述方法还包括使用关于从与电子装置可操作地连接的传感器获得的运动方向相反的方向的运动信息或者关于基于第一图像集的至少一些图像之间的比较的矢量的逆矢量的信息，识别第二图像集的至少一些图像中的补偿区域。根据实施例，所述方法还包括至少基于与第一相机相应的运动的程度来识别校正区域的尺寸。根据实施例，所述方法还包括使用关于校正区域和补偿区域的深度信息获得针对外部对象的经过运动校正的图像。
根据实施例，电子装置可包括具有第一视角的第一相机310、具有与第一相机310的视角不同的视角的第二相机320和处理器120，其中，处理器120被配置为使用第一相机310获得第一图像和使用第二相机320获得第二图像，并且获得包括与第一图像相应的第一区域和与第二图像相应的第二区域的经过校正的图像。根据实施例，处理器可被配置为至少基于与第一相机相应的运动识别第一区域和第二区域，并使用获得的第一区域和第二区域产生校正图像。根据实施例，处理器可被配置为确定包括第二区域中的至少一部分，该部分包括在第二视角中但不包括在第一视角中。根据实施例，处理器可被配置为通过将第二区域与第一区域的至少外部部分组合来获得经过校正的图像。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器中的至少一个。根据本公开的实施例，电子装置不限于以上所列的实施例。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术限制于具体实施例，并且这些具体实施例的各种改变、等同物和/或替换物也落入本公开的范围内。在整个说明书和附图中，相同或相似的参考标号可用于指代相同或相似的元件。将理解的是，单数形式包括复数指代，除非上下文另有明确规定。如这里所使用的，术语“A或B”、“A和/或B中的至少一个”、“A、B或C”或“A、B和/或C中的至少一个”可包括列举出的项的所有可能组合。如这里所使用的，诸如“第1”或者“第一”和“第2”或“第二”的术语可修饰相应的组件而不考虑重要性和/或顺序，并用于区分组件和其他组件而不限制组件。将理解的是，当元件(例如，第一元件)被称为(可操作或可通信地)“与另一元件(例如，第二元件)结合”/“结合到另一元件(例如，第二元件)”、或“与另一元件(例如，第二元件)连接”/“连接到另一元件(例如，第二元件)”时，所述元件可与所述另一元件直接结合或连接、直接结合到或连接到所述另一元件、或经由第三元件与所述另一元件结合或连接。
如这里所使用的，术语“模块”可包括以硬件、软件或固件配置的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部件”或“电路”)可互换地使用。模块可以是用于执行一个或更多个功能的单个完整部件或者最小单元或部件。例如，模块可配置在专用集成电路(ASIC)中。
可将在此阐述的各种实施例实现为包含存储在非暂时性机器(例如，计算机)可读存储介质(例如，内部存储器136或外部存储器138)中的命令的软件(例如，程序140)。该机器可以是可调用存储在存储介质中的命令并且可根据调用的命令进行操作的装置。该机器可包括根据这里公开的实施例的电子装置(例如，电子装置101)。当所述命令被处理器(例如，处理器120)执行时，在处理器的控制下，处理器可在独自执行与命令相应的功能或使用其它组件执行与命令相应的功能。所述命令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。这里，术语“非暂时性”仅指所述存储介质不包括信号并且是有形的，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为商品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可通过应用商店(例如，PlaystoreTM)在线发布计算机程序产品。当在线发布时，计算机程序产品中的至少一部分可以是临时产生的，或者可将计算机程序产品中的至少一部分至少临时存储在存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器)中。
根据各种实施例，每个组件(例如，模块或程序)可配置为单个实体或多个实体，并且各种实施例可排除上述子组件中的一些，或者可添加其它子组件。可选地或者另外地，可将一些组件(例如，模块或程序)集成为随后可以以相同或相似的方式执行组件的各自的(整合前)的功能的单个实体。根据各种实施例，由模块、程序或其他组件执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者可按照不同的顺序来运行至少一些操作或可省略至少一些操作，或者可添加其它操作。
从前面的描述显而易见的是，根据各种实施例，鉴于望远传感器，电子装置可获得没有视角损失的图像。
根据各种实施例，电子装置不需要放大校正图像，从而防止由望远传感器获得的图像的质量损失。
尽管已参照本公开的各种实施例示出并描述了本公开，但本领域中的技术人员将明白：在不脱离由权利要求和它们的等同物限定的本公开的精神和范围的情况下可对其进行形式和细节上的各种改变。

Claims (15)

1.一种电子装置，包括：
第一相机，具有第一视角；
第二相机，具有大于第一视角的第二视角；和
至少一个处理器，被配置为：
使用第一相机获得针对外部对象的第一图像集并使用第二相机获得针对外部对象的第二图像集，
识别在获得第一图像集和第二图像集的时间的至少一部分时间内与第一相机相应的运动，
至少基于与第一相机相应的运动，从第一图像集的至少一些图像获得校正区域，
至少基于校正区域或与第一相机相应的运动来识别第二图像集的至少一些图像中的补偿区域，并且
通过将校正区域和补偿区域进行组合，获得针对外部对象的经过运动校正的图像。
2.如权利要求1所述的电子装置，其中，与补偿区域的至少一部分相应的图像不包括在从第一相机获得的图像中。
3.如权利要求1所述的电子装置，其中，所述至少一个处理器被配置为：检测与第二相机相应的运动并且进一步使用与第二相机相应的运动来识别补偿区域。
4.如权利要求1所述的电子装置，其中，所述至少一个处理器被配置为：使用从与电子装置可操作地连接的传感器获得的运动信息或基于第一图像集的所述至少一些图像之间的比较的矢量信息来识别与第一相机相应的运动。
5.如权利要求4所述的电子装置，其中，所述至少一个处理器被配置为：使用关于和从与电子装置可操作地连接的传感器获得的运动方向相反的方向的运动信息或者关于基于第一图像集的所述至少一些图像之间的比较的矢量的逆矢量的信息，识别第二图像集的所述至少一些图像中的补偿区域。
6.如权利要求1所述的电子装置，其中，所述至少一个处理器被配置为：当与第一相机相应的运动的程度小于等于阈值时，将校正区域识别为经过运动校正的图像。
7.如权利要求1所述的电子装置，其中，所述至少一个处理器被配置为：使用关于校正区域和补偿区域的深度信息来调整补偿区域的至少一部分的模糊程度。
8.如权利要求1所述的电子装置，其中，所述至少一个处理器被配置为：基于第一图像集的所述至少一些图像中的对象的位置，确定与针对外部对象的第一图像集相应的每单位时间的图像帧的数量和与针对外部对象的第二图像集相应的每单位时间的图像帧的数量。
9.一种用于控制包括第一相机和第二相机的电子装置的方法，所述方法包括：
使用第一相机获得针对外部对象的第一图像集，并且使用第二相机获得针对外部对象的第二图像集，其中，第一相机具有第一视角，第二相机具有大于第一视角的第二视角；
识别在获得第一图像集和第二图像集的时间的至少一部分时间内与第一相机相应的运动；
至少基于与第一相机相应的运动，从第一图像集的至少一些图像获得校正区域；
至少基于校正区域或与第一相机相应的运动，识别第二图像集的至少一些图像中的补偿区域；并且
通过将校正区域和补偿区域进行组合，获得针对外部对象的经过运动校正的图像。
10.如权利要求9所述的方法，其中，补偿区域的至少一部分不包括在从第一相机获得的图像中。
11.如权利要求9所述的方法，还包括：
检测与第二相机相应的运动；并且
进一步使用与第二相机相应的运动识别补偿区域。
12.如权利要求9所述的方法，还包括：使用从与电子装置可操作地连接的传感器获得的运动信息或基于第一图像集的所述至少一些图像之间的比较的矢量信息，识别与第一相机相应的运动。
13.如权利要求12所述的方法，还包括：使用关于和从与电子装置可操作地连接的传感器获得的运动方向相反的方向的运动信息或者关于基于第一图像集的所述至少一些图像之间的比较的矢量的逆矢量的信息，识别第二图像集的所述至少一些图像中的补偿区域。
14.如权利要求9所述的方法，还包括：至少基于与第一相机相应的运动的程度来识别校正区域的尺寸。
15.如权利要求9所述的方法，还包括：使用关于校正区域和补偿区域的深度信息产生针对外部对象的经过运动校正的图像。
CN201811093261.7A 2017-09-19 2018-09-19 用于校正图像的电子装置及操作该电子装置的方法 Active CN109525774B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0120537 2017-09-19
KR1020170120537A KR102385360B1 (ko) 2017-09-19 2017-09-19 이미지 보정을 수행하는 전자 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
CN109525774A CN109525774A (zh) 2019-03-26
CN109525774B true CN109525774B (zh) 2022-04-15

Family

ID=65720888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811093261.7A Active CN109525774B (zh) 2017-09-19 2018-09-19 用于校正图像的电子装置及操作该电子装置的方法

Country Status (4)

Country Link
US (1) US11128803B2 (zh)
EP (1) EP3457680B1 (zh)
KR (1) KR102385360B1 (zh)
CN (1) CN109525774B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3286915B1 (en) 2015-04-23 2021-12-08 Apple Inc. Digital viewfinder user interface for multiple cameras
US9716825B1 (en) 2016-06-12 2017-07-25 Apple Inc. User interface for camera effects
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
CN108337381B (zh) * 2018-03-14 2019-11-19 维沃移动通信有限公司 一种镜头控制方法及移动终端
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
KR20200101180A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 이미지 안정화를 위한 전자 장치 및 그의 동작 방법
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
JP7191236B2 (ja) * 2019-08-20 2022-12-16 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法およびプログラム
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
CN112308014B (zh) * 2020-11-18 2024-05-14 成都集思鸣智科技有限公司 双眼瞳孔与角膜反光点高速精确搜索定位方法
CN114693532A (zh) * 2020-12-28 2022-07-01 富泰华工业（深圳）有限公司 图像校正方法及相关设备
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
EP4241234A4 (en) * 2021-06-03 2024-05-01 Samsung Electronics Co., Ltd. METHOD AND ELECTRONIC DEVICE FOR RECTIFYING AN IMAGE
EP4135311A4 (en) 2021-06-29 2023-05-03 Samsung Electronics Co., Ltd. METHOD OF IMAGE STABILIZATION AND ELECTRONIC DEVICE THEREFOR
KR20230116565A (ko) * 2022-01-28 2023-08-04 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101637019A (zh) * 2007-03-09 2010-01-27 伊斯曼柯达公司 提供范围映射的多镜头照相机
CN103428516A (zh) * 2012-05-15 2013-12-04 三星电子株式会社 用于稳定数字图像的方法、电路和系统
US9307149B2 (en) * 2013-10-11 2016-04-05 Facebook, Inc. Applying video stabilization to a multimedia clip
CN106060367A (zh) * 2016-07-29 2016-10-26 广东欧珀移动通信有限公司 双摄像头拍照控制方法、装置和拍摄装置
CN106331497A (zh) * 2016-08-31 2017-01-11 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法及终端

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7961222B2 (en) * 2007-03-20 2011-06-14 Panasonic Corporation Image capturing apparatus and image capturing method
US7817187B2 (en) * 2007-06-27 2010-10-19 Aptina Imaging Corporation Image blur correction using a secondary camera
US8675091B2 (en) * 2008-12-15 2014-03-18 Nvidia Corporation Image data processing with multiple cameras
CN101616310B (zh) 2009-07-17 2011-05-11 清华大学 可变视角及分辨率的双目视觉系统目标图像稳定化方法
US8736697B2 (en) * 2011-03-25 2014-05-27 Apple Inc. Digital camera having burst image capture mode
JP6327245B2 (ja) * 2013-03-29 2018-05-23 ソニー株式会社 撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法
CN109194849B (zh) 2013-06-13 2021-01-15 核心光电有限公司 双孔径变焦数字摄影机
KR102157675B1 (ko) * 2014-07-25 2020-09-18 삼성전자주식회사 촬영 장치 및 그 촬영 방법
TWI549500B (zh) * 2014-09-12 2016-09-11 聚晶半導體股份有限公司 影像擷取方法及使用此方法之影像擷取裝置
US10291842B2 (en) * 2015-06-23 2019-05-14 Samsung Electronics Co., Ltd. Digital photographing apparatus and method of operating the same
KR102462711B1 (ko) * 2016-01-08 2022-11-04 삼성전자주식회사 전자 장치의 센서 동작 방법 및 장치
US10298864B2 (en) * 2016-06-10 2019-05-21 Apple Inc. Mismatched foreign light detection and mitigation in the image fusion of a two-camera system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101637019A (zh) * 2007-03-09 2010-01-27 伊斯曼柯达公司 提供范围映射的多镜头照相机
CN103428516A (zh) * 2012-05-15 2013-12-04 三星电子株式会社 用于稳定数字图像的方法、电路和系统
US9307149B2 (en) * 2013-10-11 2016-04-05 Facebook, Inc. Applying video stabilization to a multimedia clip
CN106060367A (zh) * 2016-07-29 2016-10-26 广东欧珀移动通信有限公司 双摄像头拍照控制方法、装置和拍摄装置
CN106331497A (zh) * 2016-08-31 2017-01-11 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法及终端

Also Published As

Publication number Publication date
EP3457680B1 (en) 2020-07-22
KR20190032061A (ko) 2019-03-27
KR102385360B1 (ko) 2022-04-12
CN109525774A (zh) 2019-03-26
US11128803B2 (en) 2021-09-21
EP3457680A1 (en) 2019-03-20
US20190089906A1 (en) 2019-03-21

Similar Documents

Publication Publication Date Title
CN109525774B (zh) 用于校正图像的电子装置及操作该电子装置的方法
US11461910B2 (en) Electronic device for blurring image obtained by combining plural images based on depth information and method for driving the electronic device
CN109309796B (zh) 使用多个相机获取图像的电子装置和用其处理图像的方法
KR102385024B1 (ko) 카메라 및 자이로스코프의 융합을 이용한 5차원 (5d) 비디오 안정화 장치 및 방법
CN113454982B (zh) 用于使图像稳定化的电子装置及其操作方法
CN109672827B (zh) 用于组合多个图像的电子装置及其方法
US11290641B2 (en) Electronic device and method for correcting image corrected in first image processing scheme in external electronic device in second image processing scheme
US11363199B2 (en) Apparatus and method for estimating optical image stabilization motion
CN109756763B (zh) 用于基于优先级处理图像的电子装置及其操作方法
US11626447B2 (en) Electronic device comprising image sensor for identifying an operation setting and an external environmental condition and method of operation thereof
CN112840644A (zh) 利用相机或深度传感器中的至少一个获取深度信息的电子装置和方法
KR102650217B1 (ko) 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치
KR102330264B1 (ko) 움직임 정보에 기반하여 동영상을 재생하기 위한 장치 및 그의 동작 방법
US11582430B2 (en) Electronic device comprising image sensor and method of operation thereof
US20190349519A1 (en) Electronic device and image processing method therefor
CN111937030A (zh) 与外部电子设备一起处理图像的电子设备及其操作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant