CN107800930B - 图像合成方法和支持该方法的电子设备 - Google Patents

图像合成方法和支持该方法的电子设备 Download PDF

Info

Publication number
CN107800930B
CN107800930B CN201710800349.7A CN201710800349A CN107800930B CN 107800930 B CN107800930 B CN 107800930B CN 201710800349 A CN201710800349 A CN 201710800349A CN 107800930 B CN107800930 B CN 107800930B
Authority
CN
China
Prior art keywords
image
electronic device
processor
composite
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710800349.7A
Other languages
English (en)
Other versions
CN107800930A (zh
Inventor
吴承原
朴正植
李镇京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107800930A publication Critical patent/CN107800930A/zh
Application granted granted Critical
Publication of CN107800930B publication Critical patent/CN107800930B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Abstract

提供了一种电子设备。电子设备包括壳体、被配置为提供第一视角的第一图像传感器、被配置为提供第二视角的第二图像传感器以及处理器。处理器被配置为：获得针对电子设备外部的多个对象的具有第一分辨率的第一图像，其中所述多个对象对应于第一视角；获得针对多个对象中的与第二视角相对应的一些对象的具有第二分辨率的第二图像；至少基于使用第一图像和第二图像的深度图从第二图像中裁剪与一些对象中的至少一部分相对应的具有第二分辨率的第三图像；以及将第三图像与第一图像中的与一些对象的至少一部分相对应的区域进行合成。

Description

图像合成方法和支持该方法的电子设备
相关申请的交叉引用
本申请要求于2016年9月7日向韩国知识产权局提交的韩国专利申请10-2016-0115219的优先权，其公开以全文引用的方式并入本文中。
技术领域
本公开一般地涉及图像合成。
背景技术
近来，诸如智能电话和平板个人计算机(PC)的各种便携式电子设备的分布已经扩大。便携式电子设备可以包括能够捕获图像的多个相机。
包括多个相机的便携式电子设备可以包括各自具有不同视角的相机。例如，传统的便携式电子设备可以使用长焦镜头更清楚地捕获指定的主体(subject)，或者可以使用广角镜头捕获宽视角的图像。同时，当使用传统的便携式电子设备捕获图像时，如果捕获广角图像，则中心对象可能会模糊。此外，如果使用传统的电子设备中的长焦镜头捕获图像，则周围的风景可能被捕获得非常窄。
发明内容
本公开的示例性方面至少解决上述问题和/或缺点，并且至少提供以下描述的优点。因此，本公开的示例性方面提供了一种用于在适当地维持主要主体的分辨率的同时获得包括宽视角的图像的图像合成方法和用于支持该方法的电子设备。
根据本公开的示例性方面，提供了一种电子设备。电子设备可以包括：第一图像传感器，位于所述电子设备的壳体的一个表面处并且被配置为提供第一视角；第二图像传感器，位于所述壳体的所述一个表面处并且被配置为提供第二视角；以及处理器，与所述第一图像传感器和所述第二图像传感器可操作地连接并且被配置为：获得位于所述第一图像传感器的所述第一视角中的多个对象的具有第一分辨率的第一图像；使用所述第二图像传感器获得所述多个对象中的位于所述第二视角中的一些对象的具有第二分辨率的第二图像；至少基于使用第一图像和第二图像的深度图来从所述第二图像裁剪具有所述第二分辨率的第三图像，所述第三图像对应于所述一些对象的至少一部分；以及将所述第三图像与所述第一图像中的与所述一些对象的所述至少一部分相对应的区域进行合成。
根据本公开的另一示例性方面，电子设备可以包括第一图像传感器，位于所述电子设备的壳体的一个表面处并且被配置为提供第一视角；第二图像传感器，位于所述一个表面处并且被配置为提供第二视角；存储器，被配置为存储由所述第一图像传感器捕获的第一图像和由所述第二图像传感器捕获的第二图像；以及处理器，被配置为与所述存储器电连接，其中，所述处理器被配置为：基于与所述第二图像相对应的深度图来从所述第二图像裁剪对象；以及通过将裁剪对象与所述第一图像进行合成来生成合成图像。
根据本公开的另一示例性方面，提供了一种图像合成方法。该方法可以包括：使用包括第一图像传感器、第二图像传感器、存储器和处理器的电子设备的所述第一图像传感器获得沿第一方向以第一视角和第一分辨率捕获的第一图像；使用所述第二图像传感器获得沿与所述第一方向相同或相似的方向以第二视角和第二分辨率捕获的第二图像；根据基于所述第一图像的至少一部分和所述第二图像的至少一部分生成的深度图来从所述第二图像裁剪对象；以及通过将裁剪对象与所述第一图像进行合成来生成合成图像。
通过结合附图公开了本公开的示例性实施例的以下详细描述，本领域技术人员将清楚本公开的其他方面、优点和显著特征。
附图说明
从结合附图的以下详细描述中，本公开的以上和其他方面、特征和伴随的优点将更加清楚明白，其中，类似的附图标记表示类似的元件，并且其中：
图1A是示出了根据本公开的示例性实施例的电子设备的外观的示例的图；
图1B是示出了根据本公开的示例性实施例的电子设备的示例性配置的框图；
图2是示出了根据示例性实施例的电子设备的处理器的示例性配置的框图；
图3是示出了根据本公开的示例性实施例的示例性图像合成方法的流程图；
图4是示出了根据本公开的示例性实施例的用于每个对象的示例性图像合成方法的流程图；
图5是示出了根据本公开的示例性实施例的基于模糊背景的示例性图像合成方法的流程图；
图6是示出了根据本公开的示例性实施例的示例性运动图像合成方法的流程图；
图7是示出了根据本公开的示例性实施例的另一示例性运动图像合成方法的流程图；
图8是示出了根据本公开的示例性实施例的背景变化的示例性图像合成的图；
图9是示出了根据本公开的示例性实施例的应用了模糊背景的示例性图像合成的图；
图10是示出了根据本公开的示例性实施例的显示运动图像的示例的图；
图11是示出了根据本公开的示例性实施例的与捕获合成图像相关联的屏幕界面的示例的图；
图12是示出了根据本公开的示例性实施例的与基于存储的双重图像生成合成图像相关联的屏幕界面的示例的图；
图13是示出了根据示例性实施例的网络环境中的电子设备的示例性配置的框图；
图14是示出了根据各种示例性实施例的电子设备的示例性配置的框图；以及
图15是示出了根据各种示例性实施例的程序模块的示例性配置的框图。
应注意，在整个附图中，相似的附图标记用于描述相同或相似的元件、特征和结构。
具体实施方式
可参照附图来描述本公开各示例性实施例。因此，本领域的普通技术人员将认识到：在不脱离本公开的范围和精神的情况下可以对本文所述的各种示例性实施例进行各种修改、等同、和/或替换。关于附图的描述，相似的元件可以用相似的附图标记来标记。
在本公开中，这里使用的表述“具有”、“可以具有”、“包含”和“包括”或“可以包含”和“可以包括”表示存在对应的特征(例如，诸如数值、功能、操作或组件之类的要素)，但是不排除存在附加的特征。
本公开中，这里使用的表述“A或B”、“A或/和B中的至少一个”、或者“A或/和B中的一个或多个”等可以包括相关联的列出项中一个或多个的任意以及所有组合。例如，术语“A或B”、“A和B中的至少一个”、或“A或B中的至少一个”可指代以下所有情况：(1)包括至少一个A，(2)包括至少一个B，(3)包括至少一个A和至少一个B这二者。
本文中使用的诸如“第一”、“第二”等的术语可指代各种实施例的各要素，但对要素进行限制。此外，这些术语可用于将一个元素与另一个元素区分。例如，“第一用户设备”和“第二用户设备”可以指示不同的用户设备，而与其顺序或优先级无关。例如，“第一用户设备”和“第二用户设备”指示不同的用户设备。
将要理解的是，当一个元件(例如，第一元件)被称为“(操作或通信)耦接到”或“连接到”另一个元件(例如，第二元件)时，其可以直接耦接或连接到其他元件，或者可以存在中间元件(例如，第三元件)。另一方面，当一个元件(例如，第一元件)被称为“直接耦接到”或“直接连接到”另一元件(例如，第二元件)时，应理解，不存在中间元件(例如，第三元件)。
根据情况，这里使用的表述“(被)配置为”可以与例如表述“适用于”、“具有…的能力”、“(被)设计为”、“适于”、“(被)制造为”或者“能够”交互使用。术语“(被)配置为”不必仅意指在硬件方面“专门被设计为”。相反，表述“(被)配置为...的设备”可以表示例如该设备与另一设备或其他组件“能够”一起操作的情形。例如，“被配置为执行A、B和C的处理器”可以指代例如用于执行对应操作的专用处理器(例如，嵌入式处理器)、或可以通过执行存储设备中存储的一个或多个软件程序来执行对应操作的通用处理器(例如，中央处理单元(CPU)或应用处理器)。
本公开中使用的术语用于描述具体实施例，而不是为了限制本公开的范围。除非另有规定，否则单数形式的术语可以包括复数形式。除非本文另有说明，否则本文使用的所有术语(包括技术或科学术语)可以具有与本领域的技术人员通常所理解的含义相同的含义。还应当理解，在字典中定义并且常用的术语还应当被解释为有关相关技术中的惯例，而不是理想化或过度正式的检测，除非在本文在本公开的各种实施例中明确地如此定义。在一些情况下，即使术语是在本说明书中定义的术语，它们也不可以解释为排除本公开的实施例。
根据本公开的各种实施例的电子设备可以包括以下至少一项：智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动画面专家组(MPEG-1或MPEG-2)音频层3(MP3)播放器、移动医疗设备、相机、可穿戴设备(例如，头戴式设备(HDM)，诸如电子眼镜)、电子衣服、电子手环、电子项链、电子配饰、电子纹身、智能手表等，但不限于此。
根据另一实施例，电子设备可以是家用电器。例如，家用电器可以包括以下至少一个：例如电视(TV)、数字多功能盘(DVD)播放器、音响、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动控制面板、安全控制面板、TV盒(例如SamsungHomeSyncTM、Apple TVTM或Google TVTM)、游戏机(例如XboxTM或PlayStationTM)、电子词典、电子钥匙、摄像机或电子相框等，但不限于此。
根据另一实施例，电子设备包括以下至少一个：医疗设备(例如，各种便携式医疗测量设备(例如，血糖监控设备、心率测量设备、血压测量设备、体温测量设备等)、磁共振血管造影(MRA)仪、磁共振成像(MRI)仪、计算断层扫描(CT)仪、扫描仪和超声波设备)、导航设备、全球定位系统(GPS)接收机、事件数据记录仪(EDR)、飞行数据记录仪(FDR)、车辆信息娱乐设备、船用电子设备(例如，航海导航系统和罗盘)、航空电子设备、安全设备、车辆头端单元、工业或家用机器人、自动柜员机(ATM)、销售点(POS)或物联网(例如，灯泡、各种传感器、电表或气表、洒水器、火警、恒温器、街灯、烤面包机、运动器材、热水箱、加热器、锅炉等)等，但不限于此。
根据另一实施例，电子设备可以包括以下至少一个：家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪或各种测量仪表(例如，水表、电表、气表或测波计等)等，但不限于此。在各种实施例中，电子设备可以是上述各种设备之一或其组合。根据实施例的电子设备可以是柔性设备。此外，根据实施例的电子设备可以不限于上述电子设备，并且可以包括根据技术发展的其他电子设备和新的电子设备。
在下文中，可以参照附图来描述根据各种实施例的电子设备。本文使用的术语“用户”可以表示使用电子设备的人，或者可以指代使用电子设备的设备(例如，人工智能电子设备)。
图1A是示出了根据本公开的示例性实施例的电子设备的外观的示例的示意图。图1B是示出了根据本公开的示例性实施例的电子设备的示例性配置的框图。
参照图1A和图1B，电子设备100可以包括例如包括用于暴露显示器160的至少一部分的开口的壳体103和具有位于壳体103的一侧的第一图像传感器151(或第一相机模块)和第二图像传感器153(或第二相机模块)的相机模块150(或相机设备)。此外，根据本公开的实施例的电子设备100可以包括处理器(例如，包括处理电路)120、存储器130以及输入/输出(I/O)接口(例如，包括输入/输出电路)140。
壳体103可以包括例如包含沿第一方向开口的区域在内的第一表面和沿第二方向闭合的第二表面。壳体103可以在第一表面和第二表面之间包括至少一个侧壁。相机模块150可以位于的孔可以位于壳体103的第一表面或第二表面中的至少一个处。在附图中，一个实施例将相机模块150示为位于第二表面处。包括在相机模块150中的第一图像传感器151和第二图像传感器153可以捕获位于相同或相似方向上的主体。根据实施例，第二图像传感器153的第二视角153a可以位于第一图像传感器151的第一视角151a内。备选地，第二视角153a可以小于第一视角151a，并且可以与第一视角151a的至少部分区域重叠。因此，由第一图像传感器151捕获的第一图像的至少一部分(例如，至少一些主体)和由第二图像传感器153捕获的第二图像的至少一部分(例如，至少一些主体)可以彼此重叠。根据实施例，由第一图像传感器151捕获的第一图像的分辨率可以不同于由第二图像传感器153捕获的第二图像的分辨率。例如，对于相同的大小，第二图像的分辨率可以高于第一图像的分辨率。电子设备100可以通过将由多个图像传感器151和153沿相同或相似方向捕获的图片(或图像)或其中至少一些对象彼此相同的图片(或图像)进行合成(或整合)来生成合成图像。生成的合成图像可以存储在存储器130中，或者可以在显示器160上输出。备选地，可以经由包括在电子设备100中的通信接口将合成图像发送到外部电子设备。
存储器130可以存储与操作电子设备100相关联的至少一个指令或程序。根据实施例，存储器130可以存储与操作包括在相机模块150中的第一图像传感器151相关联的应用程序、与操作第二图像传感器153相关联的应用程序、以及用于将由第一图像传感器151捕获的至少一个第一图像的至少一部分与由第二图像传感器153捕获的至少一个第二图像的至少一部分进行合成(或整合)的合成程序。合成程序可以包括例如被配置为从第一图像区域裁剪与第二图像传感器153的第二视角153a的区域相对应的部分区域的指令、被配置为基于裁剪区域和第二图像生成深度图的指令、被配置为使用第一图像和深度图生成离焦的合成图像的指令等。备选地，合成程序可以包括被配置为通过对第一图像应用指定程度的模糊来生成修改图像的指令以及被配置为使用经模糊的修改图像和第二图像来生成合成图像的指令。备选地，合成程序可以包括被配置为裁剪第二图像中的对象分段的指令、被配置为使用第二图像和深度图裁剪主对象分段的指令、以及被配置为使用第一图像和主对象分段来生成合成图像的指令。备选地，合成程序可以使用合成图像生成运动图像(例如，主体的背景随时间变化的图像)。
根据各种实施例，存储器130可以存储使用不同视角的图像传感器捕获的其中至少一些主体彼此重叠的图像捕获时间相同或相似的双重图像。存储在存储器130中的双重图像可以以存储列表的形式在显示器160上输出。用于存储双重图像的格式可以包括例如图像开始(SOI)、APP1(可交换图像文件形式(EXIF))、APP1(双重信息、元数据)、APPn(Telen、残差)、图像数据(宽、传统)、DepthMap(原始、8比特)和图像结束(EOI)层。可以根据在相机&成像产品协会(CIPA)国际标准化组织(ISO)中制定/修订的EXIF(DC-008)版本2.3标准来存储双重图像。可以使用允许基本联合图像专家组(JPEG)扩展的APPn标记代码来指派双重图像和元数据标准。因此，双重图像可以作为一个文件存储在存储器130中。根据APP1标记代码声明，双重图像可以被定义为包括双重元数据信息等。可以通过相同文件中的单独空间使用各种缩放变化将与双重图像相关联的图像信息指派为分层结构。处理器120可以包括各种处理电路，并且基于用于存储双重图像的格式处理双重功能(例如，将第一图像与第二图像进行合成的功能)，并且可以执行较低模型(例如，诸如电视(TV)的播放器终端)的兼容处理。与双重图像相关联的双重元数据可以包括诸如放大倍率和偏移指定等的信息。双重元数据可以以各种形式表示，例如整数、浮点型和用于信息交换(ASCII)的美国标准代码，并且可以使用用于数据交换的技术被扩展为标记图像文件格式(TIFF)、可扩展元数据平台(XMP)等。可以结合双重图像应用至少一种压缩技术(例如，编解码器)，例如，可以使用差分脉冲编码调制(DPCM)、运动估计/运动补偿(ME/MC)等。
输入/输出(I/O)接口140可以包括支持电子设备100的I/O功能的各种电路。例如，I/O接口140可以包括至少一个物理按钮。至少一个物理按钮可以被配置为生成用于指示使用第一图像传感器151和第二图像传感器153捕获相同或相似主体的图像的输入信号。根据各种实施例，I/O接口140可以包括各种电路，例如但不限于可以根据用户输入生成输入信号的触摸板或触摸屏。触摸屏可以位于例如显示器160的一侧。因此，触摸屏的元件可以被分类为显示器160的元件。
根据各种实施例，I/O接口140可以包括音频设备。例如，I/O接口140可以包括扬声器，扬声器用于输出与第一图像传感器151和第二图像传感器153的图像捕获相关联的音频信号或者输出与生成合成图像相关联的引导声音。此外，音频设备可以包括麦克风。麦克风可以获得与捕获合成图像相对应的用户语音信号，并且可以将获得的用户语音信号发送到处理器120。响应于经由麦克风获得的用户语音信号，处理器120可以执行指定的用户功能(例如，生成合成图像)。根据实施例，如果用户经由麦克风说出与“合成图像”相对应的音频信号，则处理器120可以通过激活相机模块150来执行自动对焦(AF)，并且可以基于第一图像传感器151获得至少一个第一图像并基于第二图像传感器153获得至少一个第二图像。此外，处理器120可以使用所获得的第一图像的至少一部分和所获得的第二图像的至少一部分来自动生成合成图像。
显示器160的至少一部分可以通过形成在壳体103的一侧的开口暴露于外部。显示器160可以输出与操作电子设备100相关联的至少一个屏幕。例如，显示器160可以输出用于激活相机模块150等的图标所在的主屏幕、根据相机模块150的执行的预览屏幕、显示根据图像捕获请求获得的至少一个图像的屏幕、显示获得的第一图像和获得的第二图像的合成图像的屏幕、显示基于合成图像生成的运动图像的屏幕等。根据实施例，显示器160可以输出使用不同视角的图像传感器捕获的其中至少一些对象彼此重叠的图像捕获时间相似的图像列表。显示器160可以响应于用于选择包括在存储列表中的图像的用户输入信号和用于指示合成(或整合)所选择的图像的用户输入信号来输出基于存储列表而合成(或整合)的合成图像。
相机模块150可以被定位为使得相机模块150的至少一部分通过形成在壳体103的一侧的孔而暴露。相机模块150可以包括可以相对于位于第一视角151a内的主体以第一分辨率捕获图像的第一图像传感器151和可以相对于位于第二视角153a内的主体以第二分辨率捕获图像的第二图像传感器153。此外，相机模块150还可以包括在捕获图像时提供必要的光的光源。第一图像传感器151的第一视角151a的至少一部分和第二图像传感器153的第二视角153a的至少一部分可以彼此重叠。因此，位于第一视角151a内的主体可以包括位于第二视角153a内的至少一个主体。
第一图像传感器151可以被定位为在特定距离内与第二图像传感器153相邻，并且可以获得位于与第二图像传感器153可以捕获图像的方向相同或相似的方向上的至少一些对象的图像。第一图像传感器151可以基于广角镜头以相对低的分辨率捕获相对较宽的区域的主体。第一图像传感器151可以包括可以执行稳定化或AF功能的硬件和软件。
第二图像传感器153可以被定位为在指定距离内与第一图像传感器151相邻，并且可以获得包括以下各项的图像：位于与第一图像传感器151可以捕获图像的方向相同或相似的方向上的主体、以及在第二视角153a的主体周围的区域上的主体(例如，位于第一视角151a内的主体)。第二图像传感器153可以基于长焦镜头以相对较高的分辨率捕获相对远的主体。第二图像传感器153可以包括可以执行稳定化或AF功能的硬件和软件。
处理器120可以处理与操作电子设备100相关联的信号。例如，处理器120可以处理与激活第一图像传感器151和第二图像传感器153、输出预览图像、以及获得第一图像和第二图像相关联的信号。处理器120可以关于所获得的第一图像和所获得的第二图像根据指定的方案来生成合成图像和运动图像中的至少一个。
如上所述，根据本公开的实施例的电子设备100可以基于第一图像传感器151和第二图像传感器153生成相对较宽的广角背景与相对较高分辨率的中心对象合成(或整合)的合成图像，可以基于经模糊的背景生成离焦的合成图像，或者可以基于可以捕获不同分辨率的图像的第一传感器151和第二传感器153生成背景随时间变化的运动图像。
图2是示出了根据示例性实施例的电子设备的处理器的示例性配置的框图。
参照图2，根据本公开的实施例的处理器120可以包括第一图像处理单元(例如，包括处理电路和/或程序元件)121、第二图像处理单元(例如，包括处理电路和/或程序元件)123、图像合成单元(例如，包括处理电路和/或程序元件)125以及运动处理单元(例如，包括处理电路和/或程序元件)127。
第一图像处理单元121可以包括各种处理电路和/或执行各种程序元件以根据用户输入或设置在激活图1B的第二图像传感器153时激活图1B的第一图像传感器151。如果第一图像传感器151获得第一预览图像，则第一图像处理单元121可以在图1B的显示器160上输出获得的第一预览图像和由第二图像传感器153获得的第二预览图像或者可以在显示器160上输出第一预览图像或第二预览图像中的任何一个。备选地，第一图像处理单元121可以将第一预览图像作为画中画(PIP)类型输出，而第二预览图像作为主预览图像输出。第一图像处理单元121可以基于AF功能对位于图1A的第一视角151内的主体中的指定主体执行聚焦功能。第一图像处理单元121可以通过根据用户输入或设置执行第一图像处理单元121的图像捕获功能来获得第一图像。根据实施例，第一图像处理单元121可以在与第二图像传感器153获得第二图像的时间基本相同或相似的时间获得第一图像，或者可以相对于获得第二图像的时间在恒定时间间隔内(例如，紧接在获得第二图像之前或之后)获得第一图像。第一图像处理单元121可以将获得的第一图像提供给图像合成单元125。
第二图像处理单元123可以包括各种处理电路和/或执行各种程序元件以根据与生成合成图像相关联的用户输入信号激活或去激活图1B的相机模块150的第二图像传感器153。第二图像处理单元123可以在与第一图像传感器151基本相同的时间激活例如第二图像传感器153，或者可以在激活第一图像传感器151之前或之后激活第二图像传感器153。第二图像处理单元123可以根据设置在显示器160上输出由激活的第二图像处理单元123获得的预览图像。根据实施例，当在显示器160输出从第二图像传感器153获得的第二预览图像时，可以省略从第一图像传感器151获得的第一预览图像的输出。根据各种实施例，当第二图像处理单元123在显示器160的第一指定区域上输出由第一图像传感器151获得的第一预览图像时，第二图像处理单元123可以在显示器160的第二指定区域上输出第二预览图像。第二图像处理单元123可以在输出预览图像时基于AF功能将位于第二视角153a内的多个主体中的具有指定位置或指定形状的主体聚焦。第二图像处理单元123可以根据用户输入或设置捕获第二图像传感器153的图像并且可以将由第二图像传感器153获得的第二图像发送到图像合成单元125。包括在基于第二图像传感器153获得的第二图像中的至少一个主体可以与包括在基于第一图像传感器151获得的第一图像中的至少一些主体相同或相似。
如果获得第一图像和第二图像，则可以包括各种处理电路和/或执行各种程序元件的图像合成单元125可以通过根据指定的方案将第一图像与第二图像进行合成来生成合成图像。根据实施例，图像合成单元125可以提供与生成合成图像相关联的至少一个选项(或菜单)。例如，图像合成单元125可以提供用于选择以下至少一项的菜单：在第一图像上合成第二图像(与指定主体相对应的图像)的至少一部分的第一方案、在经模糊的第一图像上合成第二图像的至少一部分的第二方案、以及生成背景逐渐变化的运动图像的第三方案。根据各种实施例，图像合成单元125可以根据指定的方案生成合成图像而无需提供单独的菜单，或者可以根据第一方案至第三方案生成合成图像和运动图像两者。
根据实施例，图像合成单元125可以基于存储在图1B的存储器130中的双重图像(例如，使用多个图像传感器沿指定方向在基本上相同或相似的时间针对主体获得的图像或者基于包括多个图像传感器的一个电子设备沿基本上相同的方向在基本上相同的时间以不同的分辨率捕获的图像)来生成合成图像。如上所述，双重图像可以包括深度图。如果接收到用于请求生成合成图像的用户输入，则图像合成单元125可以基于包括在双重图像中的第一图像(例如，广角图像)和第二图像(例如，长焦图像)以及深度图来生成合成图像。图像合成单元125可以根据用户输入将生成的合成图像存储在存储器130中或者可以将所生成的合成图像发送到指定的外部电子设备。当将合成图像存储在存储器130中时，图像合成单元125可以以与存储在存储器130中的双重图像关联的形式存储合成图像。
根据实施例，图像合成单元125可以生成离焦的第一合成图像和非离焦的第二合成图像(或多焦点(multi-focused)的第二合成图像)。如果接收到生成运动图像的请求，则图像合成单元125可以将离焦的第一合成图像和多焦点第二合成图像发送到运动处理单元127。可以由运动处理单元127执行第一合成图像和第二合成图像的生成。
运动处理单元127可以包括各种处理电路和/或执行各种程序元件以从图像合成单元125接收第一合成图像和第二合成图像，并且可以使用第一合成图像和第二合成图像来生成运动图像。例如，运动处理单元127可以在第一合成图像位于下层并且第二合成图像位于上层的状态下通过以不同的方式改变第一合成图像的透明度(或亮度)以及第二合成图像的透明度(或亮度)来生成从第一合成图像逐渐变化到第二合成图像的第一运动图像或者从第二合成图像逐渐变化到第一合成图像的第二运动图像。根据各种实施例，如果接收到输出运动图像的请求，则运动处理单元127可以通过获得第一合成图像和第二合成图像来输出运动图像而无需生成运动图像，并且可以实时地改变第一合成图像的透明度和第二合成图像的透明度。
根据各种实施例，运动处理单元127可以通过对基于第一图像传感器151获得的第一图像应用不同程度的模糊来生成多个修改图像。运动处理单元127可以通过从基于第二图像传感器153获得的第二图像裁剪主要主体(或中心对象)、将主要主体与多个修改图像进行合成、并且以视频或幻灯片的形式对多个合成的合成图像进行转换来生成运动图像。
根据各种实施例，电子设备可以包括被配置为存储由第一图像传感器捕获的第一图像和由第二图像传感器捕获的第二图像的存储器以及被配置为与存储器电连接的处理器，其中第一图像传感器位于电子设备的壳体的第一表面处并且支持(或提供)第一视角并且第二图像传感器位于第一表面处并且支持(或提供)第二视角。处理器可以被配置为基于与第二图像相对应的深度图来从第二图像裁剪中心对象，并通过将中心对象与第一图像进行合成来生成合成图像。
根据各种示例性实施例，提供了一种电子设备。该电子设备可以包括：第一图像传感器，位于所述电子设备的壳体的一个表面处并且被配置为提供第一视角；第二图像传感器，位于所述壳体的所述一个表面处并且被配置为提供第二视角；以及处理器，与所述第一图像传感器和所述第二图像传感器可操作地连接并且被配置为：获得位于所述第一图像传感器的所述第一视角中的多个对象的具有第一分辨率的第一图像；使用所述第二图像传感器获得所述多个对象中的位于所述第二视角的一些对象的具有第二分辨率的第二图像；至少基于使用第一图像和第二图像的深度图来从所述第二图像裁剪具有所述第二分辨率的第三图像，所述第三图像对应于所述一些对象的至少一部分；以及将所述第三图像与所述第一图像中的与所述一些对象的所述至少一部分相对应的区域进行合成。
根据各种示例性实施例，处理器可以被配置为将第一分辨率处理成高于第二分辨率。
根据各种示例性实施例，处理器可以被配置为使第一图像的至少一部分模糊，作为合成的第三图像的至少一部分。
根据各种示例性实施例，电子设备可以包括第一图像传感器，位于所述电子设备的壳体的一个表面处并且被配置为提供第一视角；第二图像传感器，位于所述一个表面处并且被配置为提供第二视角；存储器，被配置为存储由所述第一图像传感器捕获的第一图像和由所述第二图像传感器捕获的第二图像；以及处理器，被配置为与所述存储器电连接，其中，所述处理器被配置为：基于与所述第二图像相对应的深度图来从所述第二图像裁剪对象；以及通过将裁剪对象与所述第一图像进行合成来生成合成图像。
根据各种示例性实施例，处理器可以被配置为使用第一图像传感器和第二图像传感器沿相同或相似方向在一定时间内获得第一图像和第二图像。
根据各种示例性实施例，处理器可以被配置为从第一图像裁剪与第二视角相对应的区域，并基于至少裁剪区域和至少第二图像来生成深度图。
根据各种示例性实施例，处理器可以被配置为响应于接收到用户输入而从存储器读取第一图像、第二图像和包括深度图的图像。
根据各种示例性实施例，处理器可以被配置为将裁剪对象与第一图像中的与裁剪对象相对应的位置进行合成，或者将第一图像模糊到一定程度并且将裁剪对象与经模糊的第一图像中的与裁剪对象相对应的位置进行合成。
根据各种示例性实施例，处理器可以被配置为将第一图像模糊到一定程度，基于从第二图像提取的至少一个对象生成离焦图像，并通过将经模糊的第一图像与离焦图像进行拼接来生成合成图像。
根据各种示例性实施例，处理器可以被配置为从第二图像裁剪对象分段，并且通过基于深度图从对象分段裁剪与裁剪对象相对应的主对象分段来生成合成图像。
根据各种示例性实施例，处理器可以被配置为将所述第一图像模糊到一定程度并且生成运动图像，所述运动图像被配置为通过将所述裁剪对象与所述第一图像的至少一部分的背景合成的第一合成图像和通过中心对象与所述第一图像的至少一部分的背景合成的第二合成图像显示为相互重叠的，并且被配置为通过以下方式显示所述第一合成图像和所述第二合成图像：通过随时间以不同的方式调整显示所述第一合成图像的状态和显示所述第二合成图像的状态，所述第二合成图像改变为所述第一合成图像。
根据各种示例性实施例，处理器可以被配置为执行以下至少一项：通过将第一图像模糊到第一程度来生成第三图像，通过将第一图像模糊到第二程度来生成第四图像，通过将第三图像与裁剪对象进行合成来生成第五图像，通过将第四图像与裁剪对象进行合成来生成第六图像，以及顺序地显示第五图像和第六图像。
图3是示出了根据本公开的实施例的示例性图像合成方法的流程图。
参照图3，结合根据本公开的示例性实施例的图像合成方法，在操作301中，图2的处理器120(例如，第一图像处理单元121和第二图像处理单元123)可以获得第一分辨率的第一图像和第二分辨率的第二图像。例如，处理器120可以使用图1B的第一图像传感器151捕获第一图像，并且可以使用图1B的第二图像传感器153捕获第二图像。备选地，处理器120可以从图1B的存储器130读取第一分辨率的第一图像和第二分辨率的第二图像。备选地，处理器120可以从外部电子设备接收第一图像和第二图像(或双重图像)。
在操作303中，处理器120(例如，图2的图像合成单元125)可以关于第二图像153的第二视角153a裁剪第一图像的部分区域。例如，第二视角153a可以位于第一图像的部分区域内。因此，处理器120可以从第一图像裁剪与第二视角153a相对应的尺寸和位置的部分区域。
在操作305中，处理器120(例如，图像合成单元125)可以生成深度图。当从图像检测主体时，处理器120可以使用类似的颜色图案、边界等来检测至少一个主体。处理器120可以基于位于第二图像中的对象与位于第一图像的裁剪部分区域中的对象之间的对象视差，根据位于第一图像和第二图像中的主体的深度来生成深度图。如果在操作301中获得图像的操作是读取存储在存储器130中的双重图像的操作，则在操作305中，处理器120可以执行读取包括在双重图像中的深度图的操作。
在操作307中，处理器120(例如，图像合成单元125)可以基于使用第一个图像和第二个图像的至少一个深度图从第二图像裁剪与位于第一图像的部分区域上的主体相对应的具有第二分辨率的第三图像。例如，处理器120可以使用深度图和第二图像来检测指定对象。根据实施例，处理器120可以在位于第二分辨率的第二图像上的多个对象中裁剪位于指定位置处的主体或位于与图像捕获点相距指定距离的对象。
在操作309中，处理器120(例如，图像合成单元125)可以将第三图像与同第一图像的一些对象的至少一部分相对应的区域进行合成。例如，处理器120(例如，图像合成单元125)可以使用深度图、第一图像的至少一部分和第二图像的至少一部分来生成离焦的合成图像。根据实施例，处理器120可以通过在维持裁剪对象的第二分辨率的同时对裁剪对象的背景执行模糊或离焦操作来生成离焦的合成图像。处理器120(例如，图像合成单元125)可以存储或显示所生成的合成图像。例如，处理器120可以根据默认设置在图1B的显示器160上输出合成图像，并且可以响应于用户输入将合成图像存储在存储器130中。此外，处理器120可以响应于用户输入将合成图像发送到外部电子设备。
根据各种实施例，当基于第一图像传感器151获得第一图像时，电子设备100可以获得离焦的第二图像，并且可以基于第二图像传感器153获得具有第二分辨率的特定对象的图像。电子设备100可以通过将特定主体与第一图像中的与第二视角153a相对应的区域或与特定主体相对应的区域进行合成来生成合成图像。
图4是示出了根据本公开的示例性实施例的针对每一对象的示例性图像合成方法的流程图。
参照图4，结合根据本公开的实施例的针对每个对象的图像合成方法，在操作401中，图2的处理器120(例如，第一图像处理单元121或第二图像处理单元123)可以基于图1B的第一图像传感器151获得第一图像或者可以基于图1B的第二图像传感器153获得第二图像。例如，处理器120可以使用第一图像传感器151或第二图像设备153获得第一图像和第二图像，可以获得存储在图1B的存储器130中的双重图像，或者可以从外部电子设备接收双重图像。在操作403中，处理器120(例如，图2的图像合成单元125)可以将第二图像的部分区域裁剪成与第一图像传感器151的第一视角151a相对应的大小。
在操作405中，处理器120(例如，图像合成单元125)可以对第二图像的对象分段进行裁剪(或分类)。例如，处理器120可以基于裁剪第二图像的边界、阴影或颜色图案来裁剪包括在第二图像中的至少一个对象分段。可以同时执行操作403和405，或可以在操作403之前执行操作405。
在操作407中，处理器120(例如，图像合成单元125)可以生成深度图。可以通过与图3的操作305中执行的方式相同的方式执行深度图的生成。例如，处理器120可以通过比较第一图像的至少部分区域(对应于第二视角153a)和第二图像之间的视差来生成深度图。备选地，生成深度图的操作可以用例如从存储在存储器130中的双重图像读取深度图的操作来代替。
在操作409中，处理器120(例如，图像合成单元125)可以基于深度图和对象分段来选择主对象分段。例如，处理器120可以通过将深度图与第二图像的对象分段进行比较来将位于与图像捕获点相距恒定距离的对象分段或设置在特定位置处的对象分段确定为主对象分段。
在操作411中，处理器120(例如，图像合成单元125)可以通过将第一图像的背景与主对象分段进行合成来生成合成图像。在该操作中，处理器120可以通过基于主对象分段所在的点(例如，第二图像中的位置)将主对象分段合成在第一图像上来生成合成图像。例如，处理器120可以将主对象分段合成在第一图像中的与第二视角153a相对应的位置。
在操作413中，处理器120可以响应于用户输入或设置的日程信息将合成的合成图像存储到存储器130中或者输出合成的合成图像或者可以在图1B的显示器160上输出合成的合成图像。
图5是示出了根据本公开的示例性实施例的基于经模糊的背景的示例性图像合成方法的流程图。
参照图5，结合根据本公开的实施例的基于经模糊的背景的图像合成方法，在操作501中，图2的处理器120(例如，第一图像处理单元121和第二图像处理单元123)可以基于图1B的第一图像传感器151获得第一图像并且可以基于图1B的第二图像传感器153获得第二图像。在操作503中，处理器120可以将第一图像的部分区域裁剪(或分类)为与第二图像传感器153的第二视角153a相对应的大小。获得图像的操作和裁剪第一图像的部分区域的操作可以与图4的操作401或图3的操作301基本上相同或相似。
在操作505中，处理器120(例如，图2的图像合成单元125)可以对第一图像进行模糊。例如，处理器120可以将第一图像的对象之间的边界处理为晦暗(dulled)的(或模糊的)。可以根据用户设置来改变应用于第一图像的模糊度。在这方面，图1B的电子设备100可以提供用于调整所应用的模糊度的用户界面(UI)。如果根据用户调整的模糊度相对较高(或高于指定值)，则处理器120可以将边界处理为相对更晦暗的(或通过第一指定级别对边界进行处理)。如果模糊度相对较低(或低于指定值)，则处理器120可以将边界处理为相对不太晦暗的(或通过第二指定级别对边界进行处理)。
在操作507中，处理器120(例如，图2的图像合成单元125)可以生成深度图。例如，处理器120可以通过将第一图像中的第二视角153a的范围中的部分区域与第二图像进行比较来生成深度图。根据各种实施例，如果在操作501中获得存储在图1B的存储器130中的双重图像，则在操作507中生成深度图的操作可以用读取包括在双重图像中的深度图的操作代替。
在操作509中，处理器120(例如，图像合成单元125)可以通过将深度图与第二图像进行组合来生成离焦图像。例如，处理器120可以基于深度图来确定设置在指定距离或位置处的对象作为中心对象，并且可以针对围绕中心对象的背景执行离焦操作。操作505可以在例如操作503、507和509中的任何一个期间执行，或者可以在执行操作503、507和509之前或之后立即执行。
在操作511中，处理器120(例如，图像合成单元125)可以通过将经模糊的第一图像与离焦图像进行拼接来生成合成图像。例如，处理器120可以将经模糊的第一图像应用于离焦图像的背景，并且可以将从第二图像裁剪的对象应用于中心对象。备选地，处理器120可以将经模糊的具有第一分辨率的第一图像与离焦图像的背景进行合成，并且可以将具有第二分辨率的第二图像的至少一部分定位在第一图像的与第二视角153a相对应的区域上。
在操作513中，处理器120(例如，图像合成单元125)可以响应于用户输入或设置的调度信息将所生成的合成图像存储在图1B的存储器130中或者可以在图1B的显示器160上输出所生成的合成图像。
图6是示出了根据本公开的示例性实施例的示例性运动图像合成方法的流程图。
参照图6，结合根据本公开的实施例的运动图像合成方法，在操作601中，图2的处理器120(例如，第一图像处理单元121和第二图像处理单元123)可以获得第一分辨率的第一图像和第二分辨率的第二图像。
在操作603中，处理器120(例如，图2的图像合成单元125)可以通过将第一图像与第二图像进行合成来生成离焦的第一合成图像和多焦点的第二合成图像中的至少一个。例如，图像合成单元125可以基于参照图5描述的方式生成离焦的第一合成图像。备选地，图像合成单元125可以根据参照图4描述的方式以将第二图像定位为第一图像的背景的形式生成多焦点的第二合成图像。根据实施例，第一合成图像和第二合成图像可以具有中心对象彼此基本相同并且背景彼此不同的形式。
在操作605中，处理器120(例如，图2的运动处理单元127)可以生成运动图像，运动图像被配置为表示彼此重叠并具有不同的(例如，相反的)显示变化的第一合成图像和第二合成图像。例如，处理器120可以通过将第一合成图像和第二合成图像定位成彼此重叠、逐渐增加第一合成图像的透明度、并且逐渐减小第二合成图像的透明度，来在屏幕上以第一合成图像逐渐改变为第二合成图像的形式生成运动图像(例如，第一合成图像逐渐淡出并且第二合成图像逐渐淡入的方式的运动图像)。备选地，处理器120可以通过将第一合成图像和第二合成图像定位成彼此重叠、逐渐减小第一合成图像的透明度、并且逐渐增加第二合成图像的透明度，来在屏幕上以第二合成图像逐渐改变为第一合成图像的形式生成运动图像。
在操作607中，处理器120可以根据用户输入或设置将具有上述配置的运动图像存储在图1B的存储器130中或者可以在图1B的显示器160上输出运动图像。
图7是示出了根据本公开的示例性实施例的另一示例性运动图像合成方法的流程图。
参照图7，结合根据本公开的实施例的运动图像合成方法，在操作701中，图2的处理器120(例如，运动处理单元127)可以从第一分辨率的第一图像裁剪围绕中心对象的背景，并且可以从第二分辨率的第二图像裁剪中心对象。在这方面，处理器120可以获得第一图像和第二图像，并且可以使用深度图从第二图像裁剪中心对象。如果中心对象被裁剪，则处理器120可以裁剪与围绕所提取的中心对象的背景相对应的第一图像的背景。
在操作703中，处理器120(例如，运动处理单元127)可以生成具有不同模糊度的背景的多个修改图像。在该操作中，处理器120可以基于第一图像生成以不同的方式应用模糊度的多个修改图像。在操作705中，处理器120可以通过将多个修改图像中的每一个与第二图像的中心对象进行合成来生成合成图像。在操作707中，处理器120可以将多个合成的合成图像转换为幻灯片或视频。在操作709中，处理器120可以根据用户输入或设置将转换的幻灯片或视频存储在图1B的存储器130中或者可以在图1B的显示器160上输出转换的幻灯片或视频。
根据各种示例性实施例，根据实施例的图像合成方法可以包括：获得沿第一方向(例如，面向相机模块所在的壳体面的方向)以第一视角和第一分辨率捕获的第一图像以及沿与第一方向相同或相似的方向以第二视角和第二分辨率捕获的第二图像，根据基于第一图像的至少一部分和第二图像的至少一部分生成的深度图来从第二图像裁剪中心对象，以及通过将中心对象与第一图像进行合成来生成合成图像。
根据各种示例性实施例，根据实施例的图像合成方法可以包括：使用包括第一图像传感器、第二图像传感器、存储器和处理器的电子设备处的第一图像传感器获得沿第一方向以第一视角和第一分辨率捕获的第一图像，并且使用第二图像传感器获得沿与第一方向相同或相似的方向以第二视角和第二分辨率捕获的第二图像，根据基于第一图像的至少一部分和第二图像的至少一部分生成的深度图从第二图像裁剪对象，以及通过将裁剪对象与第一图像进行合成来生成合成图像。
根据各种示例性实施例，获得第二图像可以包括：使用第一图像传感器和第二图像传感器沿相同或相似方向在一定时间内获得第一图像和第二图像。
根据各种示例性实施例，该方法还可以包括：从第一图像裁剪与第二视角相对应的区域，以及基于至少裁剪区域和至少第二图像来生成深度图。
根据各种示例性实施例，生成合成图像可以包括：将裁剪对象与第一图像中的与裁剪对象相对应的位置进行合成，将第一图像模糊到一定程度，生成关于从第二图像提取的对象的离焦图像，以及通过将经模糊的第一图像与离焦图像进行拼接来生成合成图像。
根据各种示例性实施例，该方法还可以包括：将所述第一图像模糊到一定程度并且生成运动图像，所述运动图像被配置为通过所述裁剪对象与所述第一图像的至少一部分的背景合成的第一合成图像和通过中心对象与所述第一图像的至少一部分的背景合成的第二合成图像显示为相互重叠的，并且被配置为通过以下方式显示所述第一合成图像和所述第二合成图像：通过随时间以不同的方式调整显示所述第一合成图像的状态和显示所述第二合成图像的状态，所述第二合成图像改变为所述第一合成图像。
根据各种示例性实施例，该方法还可以包括：响应于接收到输入，在所述电子设备的显示器上输出所述运动图像，并且将所述第一合成图像和所述第二合成图像显示为以所述第二合成图像改变为所述第一合成图像的程度发生变化。
根据各种示例性实施例，该方法还可以包括以下至少一项：通过将所述第一图像模糊到第一程度来生成第三图像；通过将所述第一图像模糊到第二程度来生成第四图像；通过将所述第三图像与所述裁剪对象进行合成来生成第五图像；以及通过将所述第四图像与所述裁剪对象进行合成来生成第六图像；以及顺序地显示所述第五图像和所述第六图像。
根据各种示例性实施例，生成合成图像可以包括：从第二图像裁剪对象分段，并且通过基于深度图从对象分段裁剪与对象相对应的主对象分段来生成合成图像。
图8是示出了根据本公开的示例性实施例的背景变化的示例性图像合成的图。
参照图8，图1B的电子设备100可以获得第一图像801和第二图像803。结合获得第一图像801和第二图像803，图1B的处理器120可以基于图1B的第一图像传感器151获得第一图像801，并且可以基于图1B的第二图像传感器153获得第二图像803。备选地，处理器120可以从存储在图1B的存储器130中的双重图像获得第一图像801和第二图像803，并且可以从外部电子设备接收第一图像801和第二图像803。
电子设备100可以通过将第一图像801与第二图像805进行合成来生成第一合成图像805a或第二合成图像805b。例如，第一图像801可以包括第一中心对象811和第一背景812(或背景对象)，并且第二图像803可以包括第二中心对象821和第二背景822。第一背景812可以包括具有比第二背景822的角度相对更宽的角度的对象。第二中心对象821可以包括以比第一中心对象811的分辨率相对更高的分辨率捕获的对象。
电子设备100可以根据上述方式验证第一图像801中的与第二图像传感器153的第二视角153a相对应的区域(例如，第二中心对象821所在的部分区域)，并且可以生成与该区域相对应的深度图。电子设备100可以裁剪第二图像803的对象分段以对至少一个对象进行分类。电子设备100可以通过将深度图应用于对象分段来提取主对象分段。在本文中，主对象分段可以包括第二图像803的第二中心对象821。
电子设备100可以通过将第二中心对象821应用于第一背景812并且相对于第一中心对象811所在的点定位第二中心对象821来生成第一合成图像805a。备选地，电子设备100可以通过在维持第二中心对象821的分辨率的同时将第二中心对象821的大小缩小第一中心对象811的大小并将第二中心对象821的大小被修改的第二中心修改对象821a定位在第一中心对象811所在的点上来生成第二合成图像805b。
如上所述，根据实施例的电子设备100可以通过使用以广角捕获的图像作为背景并且使用以长焦角度捕获的图像的中心对象作为中心对象在显示具有相对高分辨率的中心对象的同时显示广角的背景图像。
图9是示出了根据本公开的示例性实施例的应用了经模糊的背景的示例性图像合成的图。
参照图9，图1B的电子设备100可以获得第一图像901和第二图像903。结合获得第一图像901和第二图像903，处理器120可以根据参照图8描述的方式获得第一图像901或第二图像903中的至少一个。第一图像901可以包括例如第一背景912和第一中心对象911。第二图像903可以包括例如第二背景922和第二中心对象921。第一中心对象911和第二中心对象921可以是基本上相同的主体被具有不同特征的相机捕获的对象。例如，第一中心对象911可以是针对相同的主体以相对较低的第一分辨率显示的对象，并且第二中心对象921可以是针对相同的主体以相对较高的第二分辨率显示的对象。第一背景912可以包括与沿相同或相似的方向以相对宽的角度捕获的主体相对应的图像。第二背景922可以包括与沿相同或相似的方向以相对窄的角度捕获的主体相对应的图像。
电子设备100可以基于第一图像901和第二图像903生成深度图930。例如，电子设备100可以将与第二图像903相关联的图1B的第二图像传感器153的第二视角153a应用于第一图像901，并且可以基于第二图像903和通过第二视角153a裁剪的第一图像的部分区域之间的视差值来生成深度图。
电子设备100可以使用第二图像903和深度图930生成离焦图像907。例如，电子设备100可以通过聚焦位于第二图像903上的对象中的布置在深度图930的特定位置上的第二中心对象921并且对除了聚焦的第二中心对象921之外的第二背景922执行离焦操作来生成包括第二中心对象921和离焦的第二背景922a的离焦图像907。电子设备100可以通过对第一图像901应用指定程度的模糊来生成模糊图像905。模糊图像905可以包括例如经模糊的第一背景912a和经模糊的第一中心对象911a。
电子设备100可以通过将离焦图像907与模糊图像905进行合成(例如，拼接)来生成第一合成图像909a或第二合成图像909b。根据实施例，电子设备100可以通过应用模糊图像905的一部分(例如，经模糊的第一背景912a)和第二中心对象921的大小发生变化的第二中心对象921a来生成第一合成图像909a。备选地，电子设备100可以通过应用经模糊的第一背景912a和第二中心对象921来生成第二合成图像909b。
图10是示出了根据本公开的示例性实施例的运动图像的示例性显示的图。
参照图10，图1B的电子设备100可以生成或获得运动图像。结合获得运动图像，图1B的处理器120可以生成第一合成图像和第二合成图像，第一合成图像包括离焦背景或模糊背景并且包括具有第二分辨率的第二中心对象，第二合成图像包括第一图像的背景并且包括具有第二分辨率的第二中心对象。运动图像可以包括被配置为将第一合成图像和第二合成图像定位为彼此重叠的并且通过减小具有相对清晰背景的第二合成图像的透明度并增加具有相对模糊背景的第一合成图像的透明度而被输出的图像。显示器160可以输出包括相对清晰的合成背景1012和具有相对高分辨率的中心对象1011的初始运动图像1001。
如果显示初始运动图像1001并且如果经过了指定时间N毫秒(N是自然数)，则显示器160可以输出第一运动图像1003。结合输出第一运动图像1003，处理器120可以通过减小第一合成图像的透明度并增加第二个合成图像的透明度来例如在显示器160上输出背景相对模糊1012a的第一运动图像1003。
如果显示第一运动图像1003并且如果经过了指定时间N毫秒，则显示器160可以输出第二运动图像1005。结合输出第二运动图像1005，处理器120可以通过以下方式在显示器160上输出与第一运动图像1003的状态相比背景相对更模糊1012b的第二运动图像1005：与第一运动图像1003的输出状态相比更多地减小第一合成图像的透明度(例如，将透明度减小到指定水平或更小以更清楚地显示第一合成图像)并且增加第二合成图像的透明度(例如，通过将透明度设置到指定水平或更多来比先前状态更透明地设置透明度以更不清楚地显示第二合成图像)。当以上述方式输出运动图像时，可以维持第一中心对象1011的分辨率。在背景的情况下，当输出相对清楚的第一背景1012、相对模糊的第二背景1012a和相对更模糊的第三对象1012b时，视频或幻灯片可以以背景逐渐变化的形式被输出。
根据各种实施例，显示在显示器160上的运动图像的显示形式可以根据用户输入而变化。例如，根据拖动用户的触摸距离、滑动事件的速度或者滚动距离或速度，电子设备100可以以不同的方式调整第一合成图像的显示效果的变化程度和第二合成图像的显示效果的变化程度。根据实施例，如果发生相对缓慢的滚动输入事件，则电子设备100可以相对缓慢地应用第一合成图像和第二合成图像中的每一个的显示效果的变化速度。此外，响应于相对快速的滚动输入事件，电子设备100可以相对快速地应用第一合成图像和第二合成图像中的每一个的显示效果的变化速度。
同时，示出了透明度变化的示例性实施例。然而，电子设备100可以通过对用作背景的第一分辨率图像(例如，广角图像)应用不同程度的模糊来生成修改图像，并且可以顺序地在显示器160上显示从第二分辨率图像(例如，长焦图像)裁剪的中心对象与修改图像中的每一个合成的多个合成图像。运动图像的数量可以根据模糊度的变化的数量而变化。此外，可以根据设置或用户输入来改变运动图像的改变时间间隔。
根据各种实施例，显示在显示器160上的运动图像的显示形式可以根据用户输入而变化。例如，电子设备100可以根据拖动用户的触摸的距离、滑动事件的速度或滚动距离或速度来调整每个合成图像的变化速度并且可以显示调整的合成图像。
图11是示出了根据本公开的示例性实施例的与捕获合成图像相关联的示例性屏幕界面的图。
参照图11，电子设备100可以响应于激活相机图像捕获功能的请求来激活双重相机(例如，图1B的第一图像传感器151和第二图像传感器153)。在状态1101中，电子设备100可以在显示器160上输出由激活的双重相机中的至少一个图像传感器获得的预览图像。根据实施例，电子设备100可以在显示器160上输出由第一图像传感器151(例如，长焦相机)获得的预览图像。显示器160可以输出与捕获合成图像相关联的合成图像图标1120、与指示图像捕获相关联的虚拟快门图标1110、以及用于显示与先前捕获的图像相关联的缩略图并在被选择时移动到图库的图库图标1130。
如果出现用于选择合成图像图标1120的用户输入，则在状态1103中，电子设备100可以输出用于选择与生成合成图像相关联的至少一个方案的选项窗口1140。选项窗口1140可以包括例如用于选择以下各项的条目：将第二图像的背景与第一图像的中心对象进行合成的第一方案、将第二图像的模糊背景与第一图像的中心对象进行合成的第二方案、生成运动图像的方案等。当在选项窗口1140上选择特定方案之后，如果在状态1105中选择虚拟快门图标1110，则电子设备100可以捕获图像。在该操作中，电子设备100可以使用第一图像传感器151获得第一图像，可以使用第二图像传感器153获得第二图像，并且可以根据所选择的方案生成合成图像和运动图像中的至少一个。如果生成图像，则电子设备100可以在状态1107中改变与图库图标区域上的合成图像或运动图像相对应的缩略图图像1130a。
图12是示出了根据本公开的示例性实施例的与基于存储的双重图像生成合成图像相关联的示例性屏幕界面的图。
参照图12，如果在响应于激活相机模块在显示器160上输出预览图像的状态下在状态1201中接收到用于选择图库事件1130的输入事件，则在状态1203中，电子设备100可以在显示器160上输出执行图库功能的屏幕。备选地，电子设备100可以在主屏幕等上输出与执行图库功能相关联的图标。如果发生用于选择图库图标1130的输入事件，则在状态1203中，电子设备100可以在显示器160上输出执行图库功能的屏幕。
在执行图库功能的屏幕上，如果发生用于请求针对特定图像生成合成图像或运动图像的事件，则电子设备100可以生成合成图像或运动图像。在这方面，电子设备100可以支持仅针对包括在图库中的至少一个图像中的双重图像生成合成图像或运动图像的功能。因此，电子设备100可以将双重图像显示为与其他单个图像不同。因此，当选择双重图像时，电子设备100可以提供与生成合成图像或运动图像相关联的选项。当选择单个图像时，电子设备100可以不显示选项，或者可以在非活动状态下显示该选项。
如果接收到用于针对双重图像生成合成图像的请求，则在状态1205中，电子设备100可以显示原始图像和合成图像。例如，电子设备100可以在显示器160上输出第一分辨率图像1251(例如，广角图像)、第二分辨率图像1252(例如，长焦图像)和应用了第二分辨率的中心对象1252的具有离焦背景的合成图像1253。
备选地，如果接收到用于针对双重图像生成合成图像的请求，则在状态1207中，电子设备100可以在显示器160上输出第一分辨率图像1271(例如，广角图像)、第二分辨率图像1272(例如，长焦图像)和第二分辨率图像1272的中心对象应用于包括第一分辨率图像1271的至少一部分的背景的合成图像1273或多焦点合成图像1273。
如上所述，各种实施例可以生成具有宽视角和部分高分辨率的图像。
图13是示出了根据示例性实施例的网络环境中的电子设备的示例性配置的框图。
参照图13，在各种实施例中，电子设备1301和第一外部电子设备1302、第二外部电子设备1304或服务器1306可以通过网络1362或局域通信1364彼此连接。电子设备1301可以包括总线1310、处理器(例如，包括处理电路)1320、存储器1330、输入/输出接口(例如，包括输入/输出电路)1350、显示器1360和通信接口(例如，包括通信电路)1370。在各种实施例中，可以从电子设备1301中省略所述组件中的至少一个，和/或可以在电子设备1301中另外包括其他组件。
总线1310可以是例如将组件1320至1370彼此连接并在组件之间发送通信信号(例如，控制消息和/或数据)的电路。
处理器1320可以包括各种处理电路，例如但不限于：专用处理器、中央处理单元(CPU)、应用处理器(AP)或通信处理器(CP)中的一个或多个。例如，处理器1320可以执行关于电子设备1301的组件中的至少另一个组件的控制和/或通信的计算或数据处理。
存储器1330可以包括易失性和/或非易失性存储器。例如，存储器1330可以存储与电子设备1301的至少一个其他组件相关联的命令或数据。根据实施例，存储器1330可以存储软件和/或程序1340。程序1340可以包括例如内核1341、中间件1343、应用编程接口(API)1345、和/或至少一个应用程序1347(或“至少一个应用”)等。内核1341、中间件1343或API1345中的至少一部分可以被称作操作系统(OS)。
内核1341可以控制或管理例如用于执行在其它程序(例如，中间件1343、API 1345或应用程序1347)中实施的操作或功能的系统资源(例如，总线1310、处理器1320或存储器1330等)。此外，当中间件1343、API 1345或应用程序1347访问电子设备1301的分离组件时，内核1341可以提供可控制或管理系统资源的接口。
中间件1343可以担当例如中间人的角色，使得API 1345或应用程序1347与内核1341进行通信，以传送数据。
此外，中间件1343可以按照优先级顺序来处理从应用程序1347接收到的一个或多个工作请求。例如，中间件1343可以向应用程序1347中的至少一个指派使用电子设备1301的系统资源(总线1310、处理器1320、存储器1330等)的优先级。例如，中间件1343可通过按向至少一个应用程序1347中的至少一个应用程序指派的优先级的顺序来处理一个或多个工作请求，以针对该一个或多个工作请求来执行调度或负载均衡。
API 1345可以是例如应用程序1347用以控制从内核1341或中间件1343提供的功能的接口。例如，API 1345可以包括用于文件控制、窗口控制、图像处理、文本控制等的至少一个接口或功能(例如，命令)。
输入/输出接口1350可以包括各种输入/输出电路，并且担当例如可以将来自用户或另一外部设备的命令或数据输入向电子设备1301的另一组件(或其他组件)发送的接口的角色。此外，输入和输出接口1350可以向用户或其他外部设备输出从电子设备1301的另一组件(或其他组件)接收到的指令或数据。
显示器1360可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、微机电系统(MEMS)显示器、或电子纸显示器等，但不限于此。显示器1360可以向用户显示例如各种内容(例如，文本、图像、视频、图标、或符号等)。显示器1360可以包括触摸屏，并可以接收例如通过使用电子笔或用户的身体部位进行的触摸、手势、接近、或悬停输入。
通信接口1370可以包括各种通信电路，并且建立例如电子设备1301和外部设备(例如，第一外部电子设备1302、第二外部电子设备1304、或服务器1306)之间的通信。例如，通信接口1370可以通过无线通信或有线通信与网络1362相连，并且可以与外部设备(例如，第二外部电子设备1304或服务器1306)进行通信。另外，通信接口1370可以与另一个设备(例如但不限于第一外部电子设备1302)建立短距离局域无线通信连接1364。
无线通信可以使用例如长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)等中的至少一个，作为蜂窝通信协议。此外，无线通信可以包括例如局域通信1364。局域通信1364可以包括例如以下至少一项：无线保真(Wi-Fi)通信、蓝牙(BT)通信、近场通信(NFC)、全球导航卫星系统(GNSS)通信等。
MST模块可以使用电磁信号基于传输数据产生脉冲，并且可以基于脉冲产生磁场信号。电子设备1301可以向销售点(POS)系统输出磁场信号。POS系统可以通过使用MST读取器检测磁场信号并将检测到的磁场信号转换为电信号来恢复数据。
GNSS可以根据可用区域或带宽等包括例如全球定位系统(GPS)、Glonass、北斗导航卫星系统(以下称为“北斗”)或伽利略(即，基于欧洲全球卫星的导航系统)。在下文中，本文使用的“GPS”可以与“GNSS”互换。有线通信可以包括以下至少一项：例如，通用串行总线(USB)通信、高清多媒体接口(HDMI)通信、推荐标准232(RS-232)或普通老式电话业务(POTS)通信等。网络1362可以包括电信网络，例如计算机网络(例如，局域网(LAN)或广域网(WAN))、互联网或电话网中至少之一。
第一外部电子设备1302和第二外部电子设备1304中的每一个可以是与电子设备1301相同或不同的设备。根据实施例，服务器1306可以包括具有一个或多个服务器的组。根据各种实施例，可以在另一电子设备或多个电子设备(例如，第一外部电子设备1302、第二外部电子设备1304或服务器1306)中执行电子设备1301所执行的所有操作或部分操作。根据实施例，如果电子设备1301应当自动地或根据请求执行任何功能或服务，则其可以请求另一设备(例如，第一外部电子设备1302、第二外部电子设备1304或服务器106)执行该功能或服务的至少一部分，而不是自己执行该功能或服务或者对该功能或服务的添加。其他电子设备(例如，第一外部电子设备1302、第二外部电子设备1304或服务器1306)可以执行所请求的功能或所添加的功能，并且可以将执行结果发送到电子设备1301。电子设备1301可以无改变地或附加地处理接收到的结果，并且可以提供所请求的功能或服务。为此，例如可以使用云计算技术、分布式计算技术或客户端-服务器计算技术。
图14是示出了根据各种示例性实施例的电子设备的示例性配置的框图。
参照图14，电子设备1401可以包括例如图13所示的电子设备1301的全部或一部分。电子设备1401可以包括一个或多个处理器(例如，包括处理电路)1410(例如，应用处理器(AP))、通信模块(例如，包括通信电路)1420、订户标识模块(SIM)1429、存储器1430、安全模块1436、传感器模块1440、输入设备(例如，包括输入电路)1450、显示器1460、接口(例如，包括接口电路)1470、音频模块1480、相机模块1491、电源管理模块1495、电池1496、指示器1497、和电机1498。
处理器1410可以包括各种处理电路，并且例如驱动操作系统(OS)或应用程序，以控制与其相连的多个硬件或软件组件，并且可以处理和计算各种数据。例如，处理器1410可以用片上系统(SoC)来实现。根据实施例，处理器1410可以包括图形处理单元(GPU)(未示出)和/或图像信号处理器(未示出)。处理器1410可以包括图14所示的部件中的至少一些(例如，蜂窝模块1421)。处理器1410可以将从至少一个其他组件(例如，非易失性存储器)接收的命令或数据加载到易失性存储器中以处理数据并且将各种数据存储在非易失性存储器中。
通信模块1420可以具有与图13的通信接口1370相同或相似的配置。通信模块1420可以包括各种通信电路，例如但不限于：蜂窝模块1421、无线保真(Wi-Fi)模块1422、蓝牙(BT)模块1423、全球导航卫星系统(GNSS)模块1424(例如，GPS模块、Glonass模块、北斗模块、或伽利略模块)、近场通信(NFC)模块1425、MST模块1426、和射频(RF)模块1427。
蜂窝模块1421可以通过通信网络来提供例如语音呼叫服务、视频呼叫服务、文本消息服务、或互联网服务等。根据实施例，蜂窝模块1421可以使用SIM 1429(例如，SIM卡)来标识和认证通信网络中的电子设备1401。根据实施例，蜂窝模块1421可以执行可由处理器1410提供的功能中的至少一部分。根据实施例，蜂窝模块1421可以包括通信处理器(CP)。
Wi-Fi模块1422、BT模块1423、GNSS模块1424、NFC模块1425、或MST模块1426可以包括例如用于处理通过对应模块发送和接收的数据的处理器。根据各种实施例，蜂窝模块1421、Wi-Fi模块1422、BT模块1423、GNSS模块1424、NFC模块1425和MST模块1426中的至少一些(例如，两个或更多个)可以包括在一个集成芯片(IC)或IC封装中。
RF模块1427可以发送和接收例如通信信号(例如，RF信号)。尽管未示出，RF模块1427可以包括例如收发机、功率放大模块(PAM)、频率滤波器或低噪声放大器(LNA)或天线等。根据另一实施例，蜂窝模块1421、Wi-Fi模块1422、BT模块1423、GNSS模块1424、NFC模块1425、或MST模块1426中的至少一项可以通过单独的RF模块来发送和接收RF信号。
例如，SIM 1429可以包括例如包含SIM和/或嵌入式SIM的卡。SIM 1429可以包括唯一标识信息(例如，集成电路卡标识符(ICCID))或者订户信息(例如，国际移动订户身份(IMSI))。
存储器1430(例如，图13的存储器1330)可以包括例如嵌入式存储器1432和/或外部存储器1434。嵌入式存储器1432可以包括以下至少一项：例如，易失性存储器(例如，动态随机访问存储器(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)等)或者非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪存(例如，NAND闪存或NOR闪存等)、硬盘驱动器或固态驱动器(SSD))。
外部存储器1434可以包括例如闪存驱动器、紧凑型闪存(CF)、安全数字(SD)、微型SD、迷你型SD、极限数字(xD)、多媒体卡(MMC)、存储棒等。外部存储器1434通过各种接口与电子设备1401操作地和/或物理地相连。
安全模块1436可以是比存储器1430具有相对更高安全级别的模块，并且可以是存储安全数据且确保受保护执行环境的电路。安全模块1436可以实现为单独的电路，并且可以包括单独的处理器。安全模块1436可以包括例如存在于可移除智能芯片或可移除SD卡中或嵌入在电子设备1401的固定芯片中的嵌入式安全元件(eSE)。另外，安全模块1436可以由与电子设备1401的OS不同的OS来驱动。例如，安全模块1436可以基于java卡开放平台(JCOP)OS来运行。
传感器模块1440可以测量例如物理量或可以检测电子设备1401的操作状态，并可以将测量或检测到的信息转换为电信号。传感器模块1440可以包括例如以下至少一项：手势传感器1440A、陀螺仪传感器1440B，气压(例如，大气压力)传感器1440C、磁传感器1440D、加速度传感器1440E、握持传感器1440F、接近传感器1440G，颜色传感器1440H(例如，红色、绿色、蓝色(RGB)传感器)、生物特征传感器1440I、温度/湿度传感器1440J、照度传感器1440K或紫外(UV)传感器1440M。附加地或备选地，传感器模块1440还可以包括例如电子鼻传感器(未示出)、肌电图(EMG)传感器(未示出)、脑电图(EEG)传感器(未示出)、心电图(ECG)传感器(未示出)、红外(IR)传感器(未示出)、虹膜传感器(未示出)和/或指纹传感器(未示出)等。传感器模块1440还可以包括用于控制其中包括的至少一个或多个传感器的控制电路。根据各种实施例，电子设备1401还可以包括作为处理器1410的一部分或独立于处理器1410的、被配置为控制传感器模块1440的处理器。当处理器1410处于睡眠状态时，电子设备1401可以控制传感器模块1440。
输入设备1450可以包括各种输入电路，例如但不限于：触摸面板1452、(数字)笔传感器1454、按键1456、或超声输入设备1458。触摸面板1452可以使用例如电容型、电阻型、红外型、或超声型中的至少一种。此外，触摸面板1452还可以包括控制电路。触摸面板1452还可以包括触觉层，并可以向用户提供触觉反应。
(数字)笔传感器1454可以是例如触摸板1452或可以包括用于识别的分离片。键1456可以包括例如物理按钮、光学键或键区。超声输入设备1458可以允许电子设备1401使用麦克风(例如，麦克风1488)来检测声波以及通过生成超声信号的输入工具来验证数据。
显示器1460(例如，图13的显示器1360)可以包括面板1462、全息设备1464或投影仪1466。面板1462可以包括与显示器160或1360相同或相似的配置。面板1462可以被实现为例如柔性的、透明的或可穿戴的。面板1462和触摸面板1452可以集成为一个模块。全息设备1464可以使用光的干涉在空中示出立体图像。投影仪1466可以将光投影到屏幕上以便显示图像。屏幕可以位于例如电子设备1401内部或外部。根据实施例，显示器1460还可以包括用于控制面板1462、全息设备1464或投影仪1466的控制电路。
接口1470可以包括各种接口电路，例如(但不限于)高清多媒体接口(HDMI)1472、通用串行总线(USB)1474、光接口1476、或D-超小型元件1478。接口1470可以包括在例如图13所示的通信接口1370中。附加地或备选地，接口1470可以包括例如移动高清链路(MHL)接口、SD卡/多媒体卡(MMC)接口、或红外数据协会(IrDA)标准接口。
音频模块1480可以双向转换声音和电信号。音频模块1480的至少一部分组件可被包括在例如图13所示的输入和输出接口1350(或用户接口)中。音频模块1480可以处理通过例如扬声器1482、接收机1484、耳机1486或麦克风1488等输入或输出的声音信息。
相机模块1491可以是捕获静止图像和运动图像(视频)的设备。根据实施例，相机模块1491可以包括一个或多个图像传感器(未示出)(例如正面传感器或背面传感器)、镜头(未示出)、图像信号处理器(ISP)(未示出)、或闪光灯(未示出)(例如LED或氙灯)。
电源管理模块1495可以管理例如电子设备1401的电力。根据实施例，虽然未示出，电源管理模块1495可以包括电源管理集成电路(PMIC)、充电器IC或者电池或燃料表。PMIC可以具有有线充电方法和/或无线充电方法。无线充电方法可以包括例如磁共振方法、磁感应方法、电磁方法等。还可以提供用于无线充电的附加电路，例如线圈回路、共振电路或整流器等。电池表可以测量例如电池1496的剩余量以及对电池1496充电时电池的电压、电流或温度。电池1496可以包括例如可再充电电池或太阳能电池。
指示器1497可以显示电子设备1401或其一部分(例如，处理器1410)的具体状态，例如引导状态、消息状态或充电状态等。电机1498可以将电信号转换成机械振动，并且可以产生振动或触觉效果等。尽管未示出，电子设备1401可以包括支持移动TV的处理单元(例如，GPU)。用于支持移动TV的处理单元可以根据诸如数字多媒体广播(DMB)标准、数字视频广播(DVB)标准或mediaFloTM标准等标准来处理媒体数据。
根据本公开多种实施例的电子设备的上述元件中的每个元件可以配置有一个或多个组件，并且对应元件的名称可以根据电子设备的类型而改变。根据本公开多种实施例的电子设备可以包括上述元件中的至少一个元件，可以从该电子设备中省略一些元件，或可以在该电子设备中进一步添加其他附加元件。此外，根据本公开各种实施例的电子设备的一些元件可以彼此组合以形成一个整体，从而可以按照与组合之前实质上相同的方式执行相应部件的功能。
图15是示出了根据各种示例性实施例的程序模块的示例性配置的框图。
根据实施例，程序模块1510(例如，图13的程序1340)可以包括用于控制与电子设备(例如，图13的电子设备1301)相关联的资源的操作系统(OS)和/或在OS上执行的各种应用(例如，图13的应用程序1347)。OS可以是例如Android、iOS、Windows、Symbian、Tizen、Bada等。
程序模块1510可以包括内核1520、中间件1530、应用编程接口(API)1560、和/或应用1570。程序模块1510的至少一部分可以预先加载在电子设备上，或者可以从外部电子设备(例如，图13的第一外部电子设备1302、第二外部电子设备1304或服务器1306等)下载。
内核1520(例如，图13的内核1341)可以包括例如系统资源管理器1521和/或设备驱动器1523。系统资源管理器1521可以对系统资源进行控制、指派或采集等。根据实施例，系统资源管理器1521可以包括进程管理单元、存储器管理单元或文件系统管理单元等。设备驱动程序1523可以包括例如显示驱动程序、相机驱动程序、蓝牙(BT)驱动程序、共享存储器驱动程序、通用串行总线(USB)驱动程序、键区驱动程序、无线保真(Wi-Fi)驱动程序、音频驱动程序、或进程间通信(IPC)驱动程序。
中间件1530(例如，图13的中间件1343)可以提供例如应用1570通常需要的功能，并且可以通过API 1560向应用1570提供各种功能，使得应用1570有效率地使用电子设备内的有限系统资源。根据实施例，中间件1530(例如中间件1343)可以包括以下至少一项：运行时间库1535、应用管理器1541、窗口管理器1542、多媒体管理器1543、资源管理器1544、电源管理器1545、数据库管理器1546、分组管理器1547、连接管理器1548、通知管理器1549、位置管理器1550、图形管理器1551、安全管理器1552或支付管理器1554。
运行时间库1535可以包括例如由编译器使用的库模块，以便在执行应用1570的同时通过编程语言来添加新的功能。运行时间库1535可以执行与输入和输出管理、存储器管理或算术功能有关的功能。
应用管理器1541可以管理例如至少一个应用1570的生命周期。窗口管理器1542可以管理电子设备的屏幕上使用的图形用户界面(GUI)资源。多媒体管理器1543可以确定用于再现各种媒体文件所使用的格式，并且可以通过使用与相应格式相对应的编解码器来对媒体文件进行编码或解码。资源管理器1544可以管理至少一个应用1570的源代码，并且可以管理存储器或存储空间的资源等。
电源管理器1545可以和例如基本输入/输出系统(BIOS)等一起操作，可以管理电池或电源，并可以提供用于电子设备的操作的电源信息。数据库管理器1546可以生成、搜索、或改变要在至少一个应用1570中使用的数据库。分组管理器1547可以管理对以分组文件类型分发的应用的安装或更新。
连接管理器1548可以管理例如无线连接，例如Wi-Fi连接或BT连接等。通知管理器1549可以按照不会干扰用户的方式来显示或通知事件，例如到达消息、约会和接近通知。位置管理器1550可以管理电子设备的位置信息。图形管理器1551可管理要被提供给用户的图形效果或与图形效果相关的用户界面(UI)。安全管理器1552可以提供用于系统安全或用户认证等所使用的全部安全功能。根据实施例，当电子设备(例如，图1或13的电子设备100或1301)具有电话功能时，中间件1530还可以包括用于管理电子设备的语音通信功能或视频通信功能的电话管理器(未示出)。
中间件1530可以包括中间件模块，所述中间件模块配置上述组件的各种功能的组合。中间件1530可以提供根据每种OS的类型而被专门化的模块，以便提供差异化的功能。此外，中间件1530可以动态删除现有组件中的一些，或可以添加新组件。
API 1560(例如，图13的API 1345)可以是例如API编程函数的集合，并且可以根据OS而具有不同的组件。例如，在Android或iOS的情况下，可以根据平台提供一个API集合。在Tizen的情况下，可以根据平台提供两个或更多API集合。
应用1570(例如，图13的应用程序1347)可以包括例如以下一项或多项：主页应用1571、拨号应用1572、短消息服务/多媒体消息服务(SMS/MMS)应用1573、即时消息(IM)应用1574、浏览器应用1575、相机应用1576、闹钟应用1577、联系人应用1578、语音拨号应用1579、电子邮件应用1580、日历应用1581、媒体播放器应用1582、相册应用1583、时钟应用1584、支付应用1585等。另外或备选地，虽然未示出，但是应用1570可以包括例如但不限于保健应用(例如，用于测量运动量或血糖等的应用)或环境信息应用(例如，用于提供大气压力信息、湿度信息或温度信息等的应用)等。
根据实施例，应用1570可以包括用于在电子设备(例如，图13的电子设备1301)和外部电子设备(例如，第一外部电子设备1302或第二外部电子设备1304)之间交换信息的应用(在下文中，为了更好地理解和易于描述，称为“信息交换应用”)。例如，信息交换应用可以包括用于向外部电子设备发送特定信息的通知中继应用或者用于管理外部电子设备的设备管理应用。
例如，通知中继应用可以包括向外部电子设备(例如，第一外部电子设备1302或第二外部电子设备1304)发送电子设备的其他应用(例如，SMS/MMS应用、电子邮件应用、保健应用或环境信息应用等)所产生的通知信息的功能。另外，通知中继应用可以从外部电子设备接收例如通知信息，并且可以将接收到的通知信息提供给电子设备的用户。
设备管理应用可以管理(例如，安装、删除或更新)例如与该电子设备通信的外部电子设备(例如，第一外部电子设备1302或第二外部电子设备1304)的至少一个功能(例如，接通/断开外部电子设备本身(或一部分组件)的功能、或调整显示器的亮度(或分辨率)的功能)、在外部电子设备中操作的应用、或从外部电子设备提供的服务(例如，呼叫服务或消息服务)。
根据实施例，应用1570可以包括根据外部电子设备(例如，第一外部电子设备1302或第二外部电子设备1304)的属性而预设的应用(例如，移动医疗设备的健康卡应用)。根据实施例，应用1570可以包括从外部电子设备(例如，服务器1306、第一外部电子设备1302、或第二外部电子设备1304)接收的应用。根据实施例，应用1570可以包括预加载的应用或可以从服务器下载的第三方应用。根据本公开各种实施例的程序模块1510的组件名称可以根据OS的类型而改变。
根据各种实施例，程序模块1510中的至少一部分可以用软件、固件、硬件或它们中的两个或更多个的组合来实现。例如，程序模块1510的至少一部分可以由处理器(例如图13的处理器1320)来实现(例如，执行)。程序模块1510的至少一部分可以包括例如用于执行一个或多个功能的模块、程序、例程、指令集、进程等。
本文使用的术语“模块”可以表示例如包括硬件、软件和固件之一或其两个或更多个的组合在内的单元。例如，术语“模块”可以与术语“单元”、“逻辑”、“逻辑块”、“组件”或“电路”等互换使用。“模块”可以是集成组件的最小单元或其一部分。“模块”可以是用于执行一个或多个功能的最小单元或其一部分。“模块”可以机械或电学地实现。例如，“模块”可以包括但不限于专用处理器、CPU、专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)、或已知或者将来开发的用于执行某种操作的可编程逻辑器件中的至少一种。
根据本公开的各种实施例，设备的至少一部分(例如，模块或功能)或方法的至少一部分(例如，操作)可以用例如具有程序模块的计算机可读存储介质中存储的指令来实现。当处理器执行指令时，一个或多个处理器可以执行与所述指令相对应的功能。计算机可读存储介质可以是例如存储器。
计算机可读存储介质可以包括硬盘、软盘、磁介质(例如，磁带)、光介质(例如，高密度盘只读存储器(CD-ROM)和数字多功能盘(DVD))、磁光介质(例如，光磁软盘)、硬件器件(例如，ROM、随机存取存储器(RAM)、或闪存等)等。此外，程序指令不仅可以包括由编译器编译的机器代码，还可以包括可以由计算机使用解释程序来执行的高级语言等。上述硬件设备可被配置为操作为一个或多个软件模块，以执行本公开各种实施例的操作，反之亦然。
根据本公开各种实施例的模块或程序模块可以包括上述组件中的至少一个或多个，可以省略上述组件中的一些，或者还可以包括其他附加的组件。由模块、程序模块或其他组件执行的操作可以按照连续方法、并行方法、重复方法或启发式方法来执行。另外，一些操作可以按不同顺序执行，或者可以被省略，或者可以增加其他操作。
提供在附图中描述和示出的本公开的示例性实施例作为示例，以描述技术内容和帮助理解，但不限制本公开。因此，应理解：除了本文列出的实施例之外，基于本公开的技术思想而得出的所有修改或修改形式均被包括在如权利要求及其等同物限定的本公开中。
本公开的上述实施例可以实现为硬件、固件或作为存储在诸如CD ROM、数字多功能盘(DVD)、磁带、RAM、软盘、硬盘或磁光盘等记录介质上的软件或计算机代码来执行，或在网络上下载的原始存储在远程记录介质或非暂时机器可读介质上并存储在本地记录介质上的计算机代码来执行，使得本文所述方法可以使用通用计算机经由存储在记录介质上的这种软件来呈现，或经由专用处理器或可编程或专用硬件(例如ASIC或FPGA)来呈现。本领域技术人员应理解：计算机、处理器、微处理器控制器或可编程硬件包括存储组件，例如RAM、ROM、闪存等，其可以存储或接收软件或计算机代码，这些软件或计算机代码在被计算机、处理器或硬件访问和执行时实现本文所述的处理方法。
控制单元、处理器、控制器等可以包括微处理器或任意合适类型的处理电路，诸如一个或多个通用处理器(例如基于ARM的处理器)、数字信号处理器(DSP)、可编程逻辑器件(PLD)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、视频卡控制器等。此外，将认识到，当通用计算机访问用于实现本文中示出的处理的代码时，代码的执行将通用计算机变换为用于执行本文中示出的处理的专用计算机。附图中提供的功能和步骤中的任一个可以以硬件、软件或者两者的结合来实现，并且可以全部或部分地在计算机的编程指令内执行。此外，本领域技术人员理解并认识到：“处理器”或“微处理器”可以是要求保护的本公开中的硬件。
尽管参照本公开各示例性实施例示出并描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的前提下，可以在其中进行形式和细节上的各种改变。

Claims (15)

1.一种电子设备，包括：
第一图像传感器，位于所述电子设备的壳体的一个表面处并且被配置为提供第一视角；
第二图像传感器，位于所述壳体的所述一个表面处并且被配置为提供第二视角，其中所述第二视角位于所述第一视角内；以及
处理器，与所述第一图像传感器和所述第二图像传感器可操作地连接并且被配置为：
获得针对位于所述第一图像传感器的所述第一视角中的多个对象的具有第一分辨率的第一图像；
使用所述第二图像传感器获得针对所述多个对象中的位于所述第二视角中的一些对象的具有第二分辨率的第二图像；
至少基于使用所述第一图像和所述第二图像生成的深度图来从所述第二图像裁剪具有所述第二分辨率的第三图像，所述第三图像对应于所述一些对象的至少一部分，所述深度图基于所述第二图像和所述第一图像中的部分区域之间的视差值，其中，所述第一图像中的所述部分区域与所述第一图像中的所述第二视角相对应；以及
将所述第三图像与所述第一图像中的与所述一些对象的所述至少一部分相对应的区域进行合成以生成合成图像。
2.根据权利要求1所述的电子设备，其中，所述第一分辨率高于所述第二分辨率。
3.根据权利要求1所述的电子设备，其中，所述处理器被配置为：
使所述第一图像的至少一部分模糊，作为被合成的图像的至少一部分。
4.一种电子设备，包括：
第一图像传感器，位于所述电子设备的壳体的一个表面处并且被配置为提供第一视角；
第二图像传感器，位于所述一个表面处，并且被配置为提供第二视角，其中所述第二视角位于所述第一视角内；
存储器，被配置为存储由所述第一图像传感器捕获的第一图像和由所述第二图像传感器捕获的第二图像；以及
处理器，被配置为与所述存储器电连接，
其中，所述处理器被配置为：
基于深度图从所述第二图像裁剪对象，所述深度图基于所述第二图像和所述第一图像中的部分区域之间的视差值，其中，所述第一图像中的所述部分区域与所述第一图像中的所述第二视角相对应；以及
通过将裁剪对象与所述第一图像进行合成来生成合成图像。
5.根据权利要求4所述的电子设备，其中，所述处理器被配置为：
分别使用所述第一图像传感器和所述第二图像传感器在特定时间帧内沿相同或相似的方向获得所述第一图像和所述第二图像。
6.根据权利要求5所述的电子设备，其中，所述处理器被配置为：
从所述第一图像裁剪与所述第二视角相对应的区域；以及
基于裁剪区域的至少一部分和所述第二图像的至少一部分来生成所述深度图。
7.根据权利要求4所述的电子设备，其中，所述处理器被配置为：
响应于接收到输入，从所述存储器读取所述第一图像、所述第二图像和包括所述深度图的图像；
将所述裁剪对象与所述第一图像中的与所述裁剪对象相对应的位置进行合成；或者
将所述第一图像模糊到一定程度，并且将所述裁剪对象与经模糊的第一图像中的与所述裁剪对象相对应的位置进行合成。
8.根据权利要求4所述的电子设备，其中，所述处理器被配置为：
将所述第一图像模糊到一定程度，基于从所述第二图像提取的对象生成离焦图像，并且通过将经模糊的第一图像与所述离焦图像进行拼接来生成所述合成图像；或者
从所述第二图像裁剪对象分段，并且通过基于所述深度图从所述对象分段裁剪与所述裁剪对象相对应的主对象分段来生成所述合成图像。
9.根据权利要求4所述的电子设备，其中，所述处理器被配置为：
将所述第一图像模糊到一定程度，并且生成运动图像，所述运动图像被配置为将通过所述裁剪对象与所述第一图像的至少一部分的背景合成的第一合成图像和通过中心对象与所述第一图像的至少一部分的背景合成的第二合成图像显示为相互重叠的，并且被配置为通过以下方式显示所述第一合成图像和所述第二合成图像：通过随时间以不同的方式调整显示所述第一合成图像的状态和显示所述第二合成图像的状态，所述第二合成图像改变为所述第一合成图像；或者
执行以下至少一项：通过将所述第一图像模糊到第一程度来生成第三图像、通过将所述第一图像模糊到第二程度来生成第四图像、通过将所述第三图像与所述裁剪对象进行合成来生成第五图像、以及通过将所述第四图像与所述裁剪对象进行合成来生成第六图像；以及顺序地显示所述第五图像和所述第六图像。
10.一种图像合成方法，所述方法包括：
使用包括第一图像传感器、第二图像传感器、存储器和处理器的电子设备的所述第一图像传感器获得沿第一方向以第一视角和第一分辨率捕获的第一图像；
使用所述第二图像传感器获得沿与所述第一方向相同或相似的方向以第二视角和第二分辨率捕获的第二图像，其中所述第二视角位于所述第一视角内；
根据基于所述第一图像的至少一部分和所述第二图像的至少一部分生成的深度图来从所述第二图像裁剪对象，所述深度图基于所述第二图像和所述第一图像中的部分区域之间的视差值，其中，所述第一图像中的所述部分区域与所述第一图像中的所述第二视角相对应；以及
通过将裁剪对象与所述第一图像进行合成来生成合成图像。
11.根据权利要求10所述的方法，其中，获得所述第二图像包括：
分别使用所述第一图像传感器和所述第二图像传感器在特定时间段内沿相同或相似的方向获得所述第一图像和所述第二图像。
12.根据权利要求10所述的方法，还包括：
从所述第一图像裁剪与所述第二视角相对应的区域；以及
基于裁剪区域和所述第二图像来生成深度图。
13.根据权利要求10所述的方法，其中，生成所述合成图像包括以下之一：
将所述裁剪对象与所述第一图像中的与所述裁剪对象相对应的位置进行合成，将所述第一图像模糊到一定程度，生成关于从所述第二图像提取的对象的离焦图像，并且通过将经模糊的第一图像与所述离焦图像进行拼接来生成所述合成图像；或者
从所述第二图像裁剪对象分段，并且通过基于所述深度图从所述对象分段裁剪与所述对象相对应的主对象分段来生成所述合成图像。
14.根据权利要求10所述的方法，还包括以下之一：
将所述第一图像模糊到一定程度，并且生成运动图像，所述运动图像被配置为将通过所述裁剪对象与所述第一图像的至少一部分的背景合成的第一合成图像和通过中心对象与所述第一图像的至少一部分的背景合成的第二合成图像显示为相互重叠的，并且被配置为通过以下方式显示所述第一合成图像和所述第二合成图像：通过随时间以不同的方式调整显示所述第一合成图像的状态和显示所述第二合成图像的状态，所述第二合成图像改变为所述第一合成图像；或者
响应于接收到输入，在所述电子设备的显示器上输出所述运动图像并且将所述第一合成图像和所述第二合成图像显示为以所述第二合成图像改变为所述第一合成图像的程度进行变化。
15.根据权利要求10所述的方法，还包括以下至少一项：
通过将所述第一图像模糊到第一程度来生成第三图像；
通过将所述第一图像模糊到第二程度来生成第四图像；
通过将所述第三图像与所述裁剪对象进行合成来生成第五图像；以及
通过将所述第四图像与所述裁剪对象进行合成来生成第六图像；以及
顺序地显示所述第五图像和所述第六图像。
CN201710800349.7A 2016-09-07 2017-09-06 图像合成方法和支持该方法的电子设备 Active CN107800930B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0115219 2016-09-07
KR1020160115219A KR102622754B1 (ko) 2016-09-07 2016-09-07 이미지 합성 방법 및 이를 지원하는 전자 장치

Publications (2)

Publication Number Publication Date
CN107800930A CN107800930A (zh) 2018-03-13
CN107800930B true CN107800930B (zh) 2021-02-26

Family

ID=59846367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710800349.7A Active CN107800930B (zh) 2016-09-07 2017-09-06 图像合成方法和支持该方法的电子设备

Country Status (4)

Country Link
US (1) US10623661B2 (zh)
EP (1) EP3296951B1 (zh)
KR (1) KR102622754B1 (zh)
CN (1) CN107800930B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101214536B1 (ko) * 2010-01-12 2013-01-10 삼성전자주식회사 뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라
WO2017145483A1 (ja) * 2016-02-24 2017-08-31 株式会社リコー 画像処理装置、画像処理システム及びプログラム
US10528780B2 (en) * 2016-12-12 2020-01-07 Symbol Technologies, Llc Wearable mobile electronic devices
WO2018175621A1 (en) * 2017-03-23 2018-09-27 Ring Inc. Audio/video recording and communication devices with multiple cameras having variable capture settings
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
CN107948500A (zh) * 2017-11-01 2018-04-20 广东欧珀移动通信有限公司 图像处理方法和装置
CN108055452B (zh) * 2017-11-01 2020-09-18 Oppo广东移动通信有限公司 图像处理方法、装置及设备
CN107835372A (zh) * 2017-11-30 2018-03-23 广东欧珀移动通信有限公司 基于双摄像头的成像方法、装置、移动终端和存储介质
KR102438201B1 (ko) * 2017-12-01 2022-08-30 삼성전자주식회사 사진 촬영과 관련된 추천 정보를 제공하는 방법 및 시스템
EP3495219B1 (en) * 2017-12-11 2023-07-05 Volvo Car Corporation Path prediction for a vehicle
KR102438771B1 (ko) * 2018-03-20 2022-08-31 김정훈 휴대전자기기의 아웃포커스 시뮬레이터
KR102661590B1 (ko) * 2018-04-03 2024-04-29 삼성전자주식회사 이미지 내에서 객체를 인식하기 위한 장치 및 방법
EP3855713B1 (en) * 2018-09-21 2024-02-14 LG Electronics Inc. Mobile terminal
US11080832B2 (en) * 2018-09-26 2021-08-03 Canon Kabushiki Kaisha Image processing method, image processing apparatus, imaging apparatus, and storage medium
JP6790038B2 (ja) * 2018-10-03 2020-11-25 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
CN113056768B (zh) * 2018-11-13 2024-01-19 索尼集团公司 图像处理设备、图像处理方法和程序
US11039173B2 (en) * 2019-04-22 2021-06-15 Arlo Technologies, Inc. Method of communicating video from a first electronic device to a second electronic device via a network, and a system having a camera and a mobile electronic device for performing the method
DE102020113972A1 (de) * 2019-05-31 2020-12-03 Apple Inc. Videoanalyse- und -managementtechniquen für medienerfassung und -aufbewahrung
US11196943B2 (en) * 2019-05-31 2021-12-07 Apple Inc. Video analysis and management techniques for media capture and retention
US11323633B2 (en) * 2019-07-01 2022-05-03 Bendix Commercial Vehicle Systems, Llc Automated creation of a freeform mask for automotive cameras
CN110661971A (zh) * 2019-09-03 2020-01-07 RealMe重庆移动通信有限公司 图像拍摄方法、装置、存储介质及电子设备
JP7297606B2 (ja) * 2019-09-04 2023-06-26 日立Astemo株式会社 画像処理装置
WO2021096339A1 (ko) * 2019-11-11 2021-05-20 주식회사 날비컴퍼니 이미지 변형 방법
US11120280B2 (en) * 2019-11-15 2021-09-14 Argo AI, LLC Geometry-aware instance segmentation in stereo image capture processes
EP4055807A4 (en) * 2020-01-31 2023-01-11 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE WITH CAMERA AND METHODS OF OPERATING THEREOF
KR20210098292A (ko) * 2020-01-31 2021-08-10 삼성전자주식회사 카메라를 포함하는 전자 장치 및 그 동작 방법
KR20220075028A (ko) * 2020-11-26 2022-06-07 삼성전자주식회사 다중 크롭 기능을 갖는 이미지 센서를 포함하는 전자 장치
CN113038243B (zh) * 2021-05-28 2021-09-17 卡莱特云科技股份有限公司 一种视频源画面播放过程中的透明度调整方法及设备
US11805316B2 (en) * 2022-02-21 2023-10-31 Ghost Autonomy Inc. Reducing camera sensor throughput via an intermediary device
US11909944B1 (en) * 2022-02-21 2024-02-20 Ghost Autonomy Inc. Dynamic calibration of cameras in a stereoscopic configuration
US11849225B2 (en) * 2022-02-21 2023-12-19 Ghost Autonomy Inc. Throughput reduction in autonomous vehicle camera sensors

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7965314B1 (en) * 2005-02-09 2011-06-21 Flir Systems, Inc. Foveal camera systems and methods
CN104243951A (zh) * 2013-06-07 2014-12-24 索尼电脑娱乐公司 图像处理设备、图像处理系统以及图像处理方法
US9208396B2 (en) * 2012-02-28 2015-12-08 Canon Kabushiki Kaisha Image processing method and device, and program
CN105744163A (zh) * 2016-02-23 2016-07-06 湖南拓视觉信息技术有限公司 一种基于深度信息跟踪对焦的摄像机及摄像方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7512262B2 (en) * 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
KR101214536B1 (ko) 2010-01-12 2013-01-10 삼성전자주식회사 뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라
US8493432B2 (en) * 2010-06-29 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Digital refocusing for wide-angle images using axial-cone cameras
US20130201344A1 (en) * 2011-08-18 2013-08-08 Qualcomm Incorporated Smart camera for taking pictures automatically
WO2014083321A1 (en) * 2012-11-27 2014-06-05 Bae Systems Plc Imaging system and process
US9565416B1 (en) * 2013-09-30 2017-02-07 Google Inc. Depth-assisted focus in multi-camera systems
KR102195304B1 (ko) 2014-01-17 2020-12-24 삼성전자주식회사 영상 처리 방법 및 그 전자 장치
KR102157675B1 (ko) * 2014-07-25 2020-09-18 삼성전자주식회사 촬영 장치 및 그 촬영 방법
KR102251483B1 (ko) 2014-10-23 2021-05-14 삼성전자주식회사 영상을 처리하는 전자 장치 및 방법
US20160227100A1 (en) 2015-01-29 2016-08-04 Qualcomm Incorporated Dual camera systems and methods for rapid 3a convergence and high dynamic range exposure metering
US9902401B2 (en) * 2015-05-10 2018-02-27 Mobileye Vision Technologies Ltd. Road profile along a predicted path
US9460513B1 (en) * 2015-06-17 2016-10-04 Mitsubishi Electric Research Laboratories, Inc. Method for reconstructing a 3D scene as a 3D model using images acquired by 3D sensors and omnidirectional cameras
EP3520395A4 (en) * 2016-09-29 2020-06-03 Corporation Medrobotics OPTICAL SYSTEMS FOR SURGICAL PROBES, SYSTEMS AND METHODS THEREFOR AND METHOD FOR CARRYING OUT SURGICAL INTERVENTIONS

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7965314B1 (en) * 2005-02-09 2011-06-21 Flir Systems, Inc. Foveal camera systems and methods
US9208396B2 (en) * 2012-02-28 2015-12-08 Canon Kabushiki Kaisha Image processing method and device, and program
CN104243951A (zh) * 2013-06-07 2014-12-24 索尼电脑娱乐公司 图像处理设备、图像处理系统以及图像处理方法
CN105744163A (zh) * 2016-02-23 2016-07-06 湖南拓视觉信息技术有限公司 一种基于深度信息跟踪对焦的摄像机及摄像方法

Also Published As

Publication number Publication date
US10623661B2 (en) 2020-04-14
KR20180027937A (ko) 2018-03-15
CN107800930A (zh) 2018-03-13
EP3296951B1 (en) 2020-11-04
KR102622754B1 (ko) 2024-01-10
US20180070023A1 (en) 2018-03-08
EP3296951A1 (en) 2018-03-21

Similar Documents

Publication Publication Date Title
CN107800930B (zh) 图像合成方法和支持该方法的电子设备
US11604574B2 (en) Electronic device and method for electronic device displaying image
CN110462572B (zh) 电子装置及其控制方法
CN108289161B (zh) 电子设备及其图像捕捉方法
CN107566693B (zh) 电子设备及其图像捕获方法
CN107666581B (zh) 提供视频内容的方法和支持该方法的电子装置
US10944908B2 (en) Method for controlling camera and electronic device therefor
KR102251483B1 (ko) 영상을 처리하는 전자 장치 및 방법
US20170048461A1 (en) Method for processing image and electronic device supporting the same
CN108028891B (zh) 电子设备和照相方法
US11138707B2 (en) Electronic device and method for processing multiple images
KR20180011539A (ko) 영상의 처리를 위한 전자 장치
CN109791475B (zh) 具有双面显示器的电子设备和用于控制应用的方法
US10848669B2 (en) Electronic device and method for displaying 360-degree image in the electronic device
CN108427533B (zh) 电子设备及用于确定电子设备的环境的方法
KR20160058519A (ko) 복수의 영상들에 대한 영상 처리
CN106228511B (zh) 电子装置以及用于在电子装置中产生图像文件的方法
CN106454005B (zh) 电子装置和电子装置的图像编码方法
CN108702489B (zh) 包括多个相机的电子设备及其操作方法
CN108632529B (zh) 为焦点提供图形指示符的电子设备及操作电子设备的方法
KR20160114434A (ko) 전자 장치 및 전자 장치의 이미지 촬영 방법
US10198828B2 (en) Image processing method and electronic device supporting the same
US20180173701A1 (en) Method for contents tagging and electronic device supporting the same
KR20160028320A (ko) 이미지를 표시하기 위한 방법 및 그 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant