CN105554369A - 用于处理图像的电子设备和方法 - Google Patents

用于处理图像的电子设备和方法 Download PDF

Info

Publication number
CN105554369A
CN105554369A CN201510696218.XA CN201510696218A CN105554369A CN 105554369 A CN105554369 A CN 105554369A CN 201510696218 A CN201510696218 A CN 201510696218A CN 105554369 A CN105554369 A CN 105554369A
Authority
CN
China
Prior art keywords
image
electronic equipment
depth information
information
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510696218.XA
Other languages
English (en)
Other versions
CN105554369B (zh
Inventor
尹泳权
金汶洙
金兑澔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105554369A publication Critical patent/CN105554369A/zh
Application granted granted Critical
Publication of CN105554369B publication Critical patent/CN105554369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

提供用于处理图像的电子设备和方法。该方法包括：通过第一图像传感器获得第一图像和第二图像；从通过第二图像传感器获得的至少一个第三图像中提取深度信息；向所获得的第一图像应用所提取的深度信息并显示第一图像；以及向所获得的第二图像应用所提取的深度信息。

Description

用于处理图像的电子设备和方法
技术领域
本公开涉及用于处理图像的电子设备和方法。
背景技术
近年来，便携式电子设备在提供更加多种多样的服务和附加功能。正在开发能够在电子设备上执行的各种应用来满足各种不同用户的需求并提高电子设备的实用性。这里，智能电话机、移动电话机、膝上计算机、平板个人计算机(PC)以及具有触摸屏的其他最新水平的移动电子设备可以保留至少几个到几百个应用。
这样的电子设备可以具有两个照相机来捕捉图像。电子设备可以通过使用关于图像的深度信息进行后处理来合成图像。
然而，因为相关技术的电子设备通过使用深度信息的后处理来执行图像处理，所以它们不能进行实时图像显示或视频捕捉。
因此，需要通过使用关于多个图像的深度信息的实时图像处理来预览或捕捉图像。
仅仅为了帮助理解本公开而呈现以上信息作为背景信息。对于以上中的任何一个相对于本公开是否可以被应用于现有技术未做出任何确定，也没有做出任何断言。
发明内容
本公开的方面解决至少上述问题和/或缺点，并提供至少下述优点。因此，本公开的一个方面提供一种用于处理图像的电子设备和方法。
根据本公开的一个方面，提供一种用于由电子设备处理图像的方法。该方法包括：通过第一图像传感器获得第一图像和第二图像；从通过第二图像传感器获得的至少一个第三图像中提取深度信息；向所获得的第一图像应用所提取的深度信息并显示该第一图像；以及向所获得的第二图像应用所提取的深度信息。
根据本公开的另一方面，提供一种用于处理图像的电子设备。该电子设备包括：图像获得模块，其包含被配置为获得第一图像及第二图像的第一图像传感器和被配置为获得至少一个第三图像的第二图像传感器；图像处理器，被配置为从至少一个第三图像中提取深度信息，向所获得的第一图像应用所提取的深度信息并显示该第一图像，并且向所获得的第二图像应用所提取的深度信息；以及显示器，被配置为显示所获得的第一图像。
根据以下结合附图进行的详细描述，本公开的其他方面、优点和潜在特征对于本领域技术人员将是显而易见的，在附图中公开了本公开的各种实施例。
附图说明
根据以下结合附图进行的描述，本公开一些实施例的上述和其他方面、特征和优点将更加清楚，其中：
图1示出根据本公开实施例的包括电子设备的网络环境；
图2是示出根据本公开实施例的电子设备的图像处理器的框图；
图3A示出根据本公开实施例的电子设备的前表面；
图3B示出根据本公开实施例的电子设备的后表面；
图4是示出根据本公开实施例的由电子设备处理图像的方法的流程图；
图5是示出根据本公开实施例的由电子设备处理图像的方法的流程图；
图6A是示出根据本公开实施例的其中图像中的第一对象被聚焦的示例的视图；
图6B是示出根据本公开实施例的其中图像中的第二对象被聚焦的示例的视图；
图6C是示出根据本公开实施例的其中图像中的第三对象被聚焦的示例的视图；
图6D是示出根据本公开实施例的由电子设备通过合成在图6A、6B和6C中图示的具有不同焦点的图像而获得的图像的示例的视图；
图7是示出根据本公开实施例的控制显示器上显示的图像中的对象的焦点的过程的流程图；
图8A和图8B是示出根据本公开实施例的当从显示器上显示的图像中选择第一对象时控制聚焦的示例的视图；
图8C和图8D是示出根据本公开实施例的当从显示器上显示的图像中选择第二对象时控制聚焦的示例的视图；
图9是示出根据本公开实施例的向显示器上显示的图像应用镜头调换效果(exchange-lenseseffect)的过程的流程图；
图10A是示出根据本公开实施例的向显示器上显示的图像应用镜头调换效果的示例的视图；
图10B是示出根据本公开实施例的向显示器上显示的图像应用镜头效果的示例的视图；
图10C是示出根据本公开实施例的向显示器上显示的图像应用镜头效果的示例的视图；
图10D是示出根据本公开实施例的向显示器上显示的图像应用镜头效果的示例的视图；
图10E是示出根据本公开实施例的向显示器上显示的图像应用镜头效果的示例的视图；
图10F是示出根据本公开实施例的向显示器上显示的图像应用镜头效果的示例的视图；
图11A是示出根据本公开实施例的显示用于应用镜头效果的图像的示例的视图；
图11B是示出根据本公开实施例的关于用于向所显示的图像提供图像效果的镜头属性信息的示例的视图；
图11C是示出根据本公开实施例的用于通过调整镜头的光圈值来提供图像效果的示例的视图；
图11D是示出根据本公开实施例的用于通过调整镜头的快门速度来提供图像效果的示例的视图；
图11E示出根据本公开实施例的用于通过调整镜头的焦距和快门速度来提供图像效果的示例的视图；
图12是示出根据本公开实施例的电子设备的框图；并且
图13示出根据本公开实施例的在多个电子设备(例如，第一电子设备1310和第二电子设备1330)之间的通信协议1300。
在通篇附图中，相似的参考数字应当被理解为指代相似的部分、组件和结构。
具体实施方式
提供参考附图的以下说明来帮助全面理解由权利要求及其等价物限定的本公开的各种实施例。其包括各种特定细节来帮助理解，但是它们应当仅仅被认为是示意性的。因此，本领域普通技术人员将认识到，可以对这里描述的各种实施例做出各种改变或修改，而不会脱离本公开的范围和精神。此外，为了清楚和简明，将省略对公知功能和结构的描述。
在以下说明书和权利要求书中使用的术语和词语不限于书面含义，而是仅仅由发明人使用来世的能够清楚和一致地理解本公开。因此，对于本领域技术人员来说应当显而易见的是，仅仅为了示意性的目的而提供本公开的各种实施例的以下说明，而并非为了限制本公开的目的，由所附权利要求及其等价物来限定本公开。
应当理解，单数形式“一”、“一个”和“该”包括复数形式，除非上下文明确指出并非如此。因此，例如，对“一个组件表面”的指代也包括对一个或多个这样的表面的指代。
当在这里使用时，术语“包括”和/或“包括”指定所公开的功能、操作或组件的存在，但是不排除存在或添加一个或多个其他功能、操作或组件。进一步应当理解，当在本说明书中使用时，术语“包括”和/或“具有”指定所阐述的特征、整数、操作、元件和/或组件的存在，但是不排除存在或添加一个或多个其他特征、整数、操作、元件和/或组件和/或其组。
当在这里使用时，术语“和/或”包括一个或多个前述列出项的任何和全部组合。例如，“A或B”可以包括A、或包括B、或包括A和B。
当在这里所使用时，诸如“第一”、“第二”等的序数可以修饰各种实施例的各种组件，但是不限制这些组件。例如，这些术语不限制组件的次序和/或重要性。这些术语仅仅用于将一个组件与另一个组件相区分。例如，第一用户设备与第二用户设备是彼此不同的用户设备。例如，第一组件可以被指示为第二组件，并且反之亦然，而不会脱离本公开的范围。
当一个组件被“连接到”或“耦接到”另一个组件时，该组件可以被直接连接或耦接到另一个组件，或者其间可以插入其他组件(或多个)。相反，当一个组件被“直接连接到”或“直接耦接到”另一个组件时，其间不可以插入居间组件。
根据本公开实施例，这里所公开的电子设备可以是具有显示功能的设备。例如，电子设备的例子可以包括但不限于，智能电话机、平板个人计算机(PC)、移动电话机、视频电话机、电子书阅读器、桌面PC、膝上计算机、上网本、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组阶段1或阶段2(MPEG-1或MPEG-2)音频层3(MP3)播放器、移动医疗设备、照相机或可穿戴设备(例如，头戴式设备(HMD)、电子衣服、电子手镯、电子项链、电子配饰、电子纹身或智能手表)。
根据本公开实施例，电子设备可以是具有显示功能的智能家用电器。例如，智能家用电器的例子包括但不限于，电视机(TV)、数字多功能盘(DVD)播放器、音频播放器、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、烘干机、空气净化器、机顶盒、TV盒(例如，SamsungHomeSyncTM、AppleTVTM或GoogleTVTM)、游戏控制台、电子字典、可携式摄像机或电子相框。
根据本公开实施例，电子设备的示例可以包括但不限于各种医疗设备(例如，磁共振血管造影(MRA)设备，磁共振成像(MRI)设备、计算机断层扫描(CT)设备、成像设备或超声设备)、导航设备、全球定位系统(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、汽车信息娱乐设备、航海电子设备(例如，航海导航设备、陀螺仪或指南针)、航空电子设备、安全设备、车辆头单元、工业或家用机器人，自动柜员机(ATM)或销售点(POS)设备。
根据本公开各种实施例，电子设备的示例可以包括但不限于具有计量生物学功能的家具或建筑/结构的一部分、电子板、电子签名接收设备、投影仪或各种测量设备(例如，用于测量水、电、气或电磁波的设备)。根据本公开实施例，电子设备可以前面所列出的设备中的一个或组合。根据本公开实施例，电子设备可以是柔性设备。根据本公开实施例，电子设备不限于前面所列出的设备。
现在将参照附图描述本公开的各种实施例。当在这里所使用时，术语“用户”可以指代使用电子设备的人或另一设备。
图1示出根据本公开实施例的包括电子设备的网络环境100.
参照图1，电子设备101可以包括总线110、处理器120、存储器130、输入/输出接口140、显示器150、通信接口160和图像处理器170。
根据本公开实施例，电子设备可以是能够传达数据并能够发送或接收生物信息以执行操作的各种电子设备。电子设备可以包括智能电话机、移动电话机、膝上计算机、门锁、空调、洗衣机、笔记本PC、平板PC或智能TV。
总线110将其他组件彼此连接，并且总线110可以承载其他组件之间的通信(例如，控制消息)。
处理器120可以通过例如总线110从其他组件(例如，存储器130、输入/输出接口140、显示器150、通信接口160或图像处理器170)接收命令，可以解释所接收的命令，并可以根据所解释的命令来运行计算或数据处理。
存储器130可以存储从其他组件(例如，输入/输出接口140、显示器150、通信接口160或图像处理器170)接收的命令或数据或者由处理器120或其他组件生成的命令或数据。存储器130可以保持包括例如内核131、中间件132、应用编程接口(API)133或应用134的编程模块。可以以软件、固件、硬件或它们的两个或更多个的组合来配置编程模块。
内核131可以控制或管理用于运行在例如中间件132、API133或应用134的其它编程模块中实现的操作或功能的系统资源(例如，总线110、处理器120或存储器130)。内核131可以提供允许中间件132、API133或应用134访问电子设备101的各个组件以控制或管理它们的接口。
中间件132可以充当允许API133或应用134与内核131传达数据的中继。可以提供多个应用134。中间件132可以通过例如向多个应用134中的至少一个分配使用电子设备101的系统资源(例如，总线110、处理器120或存储器130)的优先级，来控制从应用134接收的工作请求。
API133是允许应用134控制从内核131或中间件132提供的功能的接口。例如，API133可以包括用于归档(filing)控制、窗口控制、图像处理或文本控制的至少一个接口或功能(例如，命令)。
根据本公开实施例，可以提供多个应用134，包括短消息服务(SMS)/多媒体消息服务(MMS)应用、电子邮件应用、日历应用、报警应用、健康护理应用(例如，用于测量锻炼量或血糖)或环境信息应用(例如，提供大气压力、湿度或温度信息的应用)。附加地或可替换地，应用134可以是与在电子设备101和外部电子设备(例如，电子设备104)之间的信息交换相关的应用。信息交换相关应用的示例可以包括但不限于用于向外部电子设备传递特定信息的通知中继应用或用于管理外部电子设备的设备管理应用。
例如，通知中继应用可以包括用于将从电子设备101的其它应用(例如，SMS/MMS应用、电子邮件应用、健康护理应用或环境信息应用)生成的通知信息中继到外部电子设备(例如，电子设备104)的功能。附加地或可选地，通知中继应用可以从例如外部电子设备(例如电子设备104)接收通知信息，并且可以向用户提供所接收的通知信息。设备管理应用可以执行与电子设备101通信的外部电子设备(例如，电子设备104)的至少一些功能(例如，开启/关断外部电子设备(或外部电子设备的一些组件)或控制显示器的亮度(或分辨率))，并且设备管理应用可以管理(例如，安装、删除或更新)在外部电子设备中操作的应用或从外部电子设备提供的服务(例如，呼叫服务或消息服务)。
根据本公开实施例，应用134可以包括取决于外部电子设备(例如，电子设备104)的属性(例如，电子设备的类型)而设计的应用。例如，在外部电子设备是MP3播放器的情况下，应用134可以包括与播放音乐相关的应用。类似地，在外部电子设备是移动医疗设备的情况下，应用134可以包括与健康护理相关的应用。根据本公开实施例，应用134可以包括对电子设备101设计的应用或从外部电子设备(例如，服务器106或电子设备104)接收的应用。
输入/输出接口140可以例如通过总线110向处理器120、存储器130、通信接口160或图像处理器170传递由用户经由输入/输出设备(例如传感器、键盘或触摸屏)输入的命令或数据。例如，输入/输出接口140可以向处理器120提供关于通过触摸屏的用户触摸输入的数据。输入/输出接口140可以通过例如总线110经由输入/输出设备(例如，扬声器或显示器)输出从处理器120、存储器130、通信接口160或图像处理器170接收的命令或数据。例如，输入/输出接口140可以通过扬声器向用户输出由处理器120处理的语音数据。
显示器150可以向用户显示各种类型的信息(例如，多媒体数据或文本数据)。
通信接口160可以对接电子设备101与外部电子设备(例如，电子设备104或服务器106)之间的通信。例如，通信接口160可以与网络162有线或无线连接，以与外部电子设备通信。可以通过各种无线电通信协议来做出无线连接，所述无线电通信协议包括但不限于Wi-Fi、蓝牙(BT)、近场通信(NFC)、GPS或蜂窝通信协议(例如，长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信服务(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)。可以通过各种有线通信协议来做出有线连接，所述有线通信协议包括但不限于通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐标准232(RS-232)或简易老式电话服务(POTS)。
根据本公开实施例，网络162可以是电信网络。电信网络可以包括计算机网络、因特网、物联网(IoT)或电话网。根据本公开实施例，用于电子设备101和外部电子设备之间的通信的协议(这样的协议的示例包括但不限于传输层协议、数据链路层协议或物理层协议)可以被应用134、API133、中间件132、内核131或通信接口160所支持。
服务器106可以支持以通过执行在电子设备101上实现的操作(或功能)中的至少一个操作来驱动电子设备101。例如，服务器106可以包括可以支持在电子设备101中实现的图像处理器170的图像处理服务器模块108。例如，图像处理服务器模块108可以包括图像处理器170的至少一个元件来执行由图像处理器170执行的操作中的至少一个操作。
图像处理器170可以处理从其他元件(例如，处理器120、存储器130、输入/输出接口140或通信接口160)获得的至少一部分信息，并且可以以各种方式提供给用户。例如，图像处理器170可以使用处理器120或独立于处理器120控制电子设备101的至少一些功能，使得电子设备101可以与其他电子设备(例如，电子设备104或服务器106)互工作。根据本公开的实施例，图像处理器170的至少一个配置可以被包括在服务器106(例如，图像处理服务器模块108)中，并且可以从服务器106支持用于在图像处理器170中实现的至少一个操作。通过以下描述的图2至图13来提供关于图像处理器170的额外信息。
图2是示出根据本公开实施例的电子设备的图像处理器的框图。
参照图2，图像处理器170可以包括图像获得模块210、深度信息提取模块220和应用模块230。
根据本公开实施例，图像获得模块210可以包括来自至少一个图像传感器的至少一个图像(画面)。至少一个图像传感器可以包括至少一个阵列相机、立体相机、飞行时间(TOF)传感器、结构光传感器和红外传感器中的至少一个。阵列相机可以包括多个相机模块。图像获得模块210可以通过图像传感器和阵列相机获得至少一个图像(或画面)。图像获得模块210可以通过第一图像传感器获得第一图像和第二图像，并且可以通过第二图像传感器获得至少一个第三图像。第二图像传感器可以包括在至少一个阵列相机中包含的至少一个图像传感器。第三图像可以是通过至少一个阵列相机获得的图像或从一个立体相机获得的图像。图像获得模块210也可以通过至少一个阵列相机获得至少一个图像。图像传感器可以获得一个图像，并且阵列相机可以通过所提供的至少一个相机模块获得至少一个图像。图像传感器可以获得关于同一场景的两个图像。在两个图像当中，第一图像可以是在显示器150上预览的图像，并且第二图像可以是被暂时存储在缓冲器或存储器中的图像。第一图像可以具有比第二图像更低的分辨率。
根据本公开实施例，当通过图像获得模块210的第一图像传感器获得第一图像和第二图像并且通过第二图像传感器获得至少一个第三图像时，图像处理器170可以使用通过第二图像传感器获得的图像来提取深度信息，将所提取的深度信息应用到第一图像，并在显示器150上显示应用了深度信息的第一图像。此外，图像处理器170可以将通过第一图像传感器获得的第一图像和通过第二图像传感器获得的第三图像合成以提取深度信息。图像处理器170可以向通过第一图像传感器获得的第二图像应用所提取的深度信息。第二图像可以被暂时存储在缓冲器中。图像处理器170可以向暂时存储在缓冲器或存储器中的第二图像应用放大的(upscaled)深度信息。图像处理器170可以在存储器130中存储放大的深度信息和所捕捉的图像。所存储的图像可以包括至少一个对象，并且放大的深度信息可以被包括在图像中或可以与图像分开存储。图像处理器170可以使用深度信息。图像处理器170可以在显示图像时调整所提取的深度信息，向第一图像应用调整后的深度信息，并显示应用了深度信息的第一图像。对深度信息进行放大的操作可以包括改变深度信息的分辨率以适应图像的分辨率的操作。
根据本公开实施例，图像处理器170可以在显示器150上预览应用了深度信息的第一图像，并且当在预览的同时感测到用于向预览图像应用镜头交换效果(exchange-lenseseffect)的输入时可以显示与镜头交换相关的信息。该信息是用于调整镜头的属性的信息并且可以包括光圈设置(aperturesetting)、快门速度、手动和程序中的至少一个。当感测到所显示的信息中的至少一个信息项时，图像处理器170可以向预览图像应用与所选择的信息项对应的图像效果(例如，模糊)，并且显示应用了该效果的图像。图像处理器170可以与图像一起显示用于从用户接收输入的菜单或图标，以便向在显示器150上显示的图像应用镜头调换效果。
根据本公开实施例，深度信息提取模块220可以从自图像传感器获得的图像中提取深度图。深度图可以通过立体匹配方案来提取。深度信息提取模块220可以向第一图像和第二图像中的至少一个应用图像效果。深度信息提取模块220可以估计在第一图像和第二图像中包括的同一对象的相对距离，并且可以应用与所估计的距离对应的图像效果。
根据本公开实施例，应用模块230可以对由深度信息提取模块220提取的深度信息进行放大，并且可以向由图像获得模块210获得的至少一个图像应用放大的信息。应用模块230可以使用放大的深度信息向所获得的图像的至少一部分应用图像效果(例如，模糊)。在正在显示器150上显示应用了深度信息的图像的同时感测到显示器150上的触摸时，应用模块230可以聚焦距感测到触摸的位置的预定区域内的对象，同时向预览图像中除该对象之外的至少一个对象应用图像效果(例如，模糊)。应用模块230可以使用与至少一个对象对应的相应深度信息来向该对象应用图像效果(例如，模糊)。图像效果可以包括调整模糊度、色彩、亮度、马赛克和分辨率中的至少一个。
根据本公开实施例，图像处理器170可以包括可以控制图像处理器170的图像获得模块210、深度信息提取模块220和应用模块230之间的互操作的会话连接模块(未示出)。根据本公开实施例，会话连接模块可以控制电子设备101的至少一个组件之间的连接。此外，会话连接模块可以控制电子设备101与服务器106之间的连接和/或电子设备101与至少一个外围电子设备之间的会话连接。
此外，可以通过图像处理器170或处理器120来满足由图像获得模块210、深度信息提取模块220和应用模块230分别执行的各种功能。
图3A和图3B示出根据本公开实施例的电子设备的前表面(图3A)和后表面(图3B)。
电子设备101在其前表面或后表面上可以具有至少一个相机。电子设备101可以在其前表面上具有第一相机301和第二相机302，或者可以在其后表面上具有第一相机303和第二相机304。第一相机301和303以及第二相机302和304中的至少一个可以包括阵列相机、立体相机、TOF传感器、结构光传感器和IR传感器中的至少一个。阵列相机可以包括多个相机模块。相机可以向图像处理器170或处理器120传递通过捕捉对象而获得的图像。相机可以收集包括多个彩色像素的图像，并且向图像处理器170或处理器120传递图像。相机可以包括连接到电子设备101的至少一个图像(画面)传感器模块。相机可以包括深度传感器。深度传感器可以包括至少一个传感器，其被实现为以TOF方案操作的红外脉冲激光器，以输出关于所测量的对象的深度信息。
第二相机302和/或304可以至少部分地与第一相机301和/或303共享视角。具有第二相机302和/或304的电子设备101可以包括基于TOF的传感器，该传感器基于所发射的IR脉冲激光束在被对象反射后被接收回来所花费的时间来确定深度信息。此外，第二相机302和/或304可以包括具有被仪器连接(instrumentallyconnected)的至少两个相机的阵列相机。第一相机和第二相机中的至少一个可以被安装在电子设备101的表面的任何地方。根据本公开实施例，深度信息可以取决于第一相机和第二相机之间的距离(例如，基线)而改变。
图4是示出根据本公开实施例的由电子设备处理图像的方法的流程图。
现在将参照图4描述根据本公开实施例的由电子设备处理图像的方法。
在操作410，电子设备101可以通过第一图像传感器获得第一图像和第二图像，并将第二图像存储在缓冲器中。电子设备101可以通过图像传感器获得第一图像(例如，预览图像)和第二图像，并且可以将所获得的第二图像存储在缓冲器中。电子设备101可以具有可包括能够获得图像(或画面)的图像传感器的至少一个相机。图像传感器可以同时或依序生成预览图像和实际捕捉的图像，并在显示器150上显示预览图像。预览图像可以具有比实际捕捉的图像的分辨率更低的分辨率，并且可以具有与显示器150的分辨率对应的分辨率。电子设备101可以为通过图像传感器获得的每个相同场景生成至少两个图像，并且可以使用两个所生成的图像中的第一图像来预览，同时将第二图像暂时存储在缓冲器中。第一图像可以具有比第二图像的分辨率更低的分辨率。例如，第一图像具有3.7兆像素的分辨率，并且第二图像可以具有16兆像素的分辨率。
在操作420，电子设备101可以从通过至少一个第二图像传感器获得的至少一个第三图像中提取深度信息。至少一个第二图像传感器可以包括至少一个阵列相机。电子设备101可以具有能够捕捉分辨率比从第一图像传感器中输出的图像更低的多个图像(或画面)的至少一个阵列相机。电子设备101可以通过从至少一个第二图像传感器获得的至少一个图像中获得深度信息。电子设备101可以估计在至少两个图像中包括的同一对象的相对距离。电子设备101可以使用所提取的深度信息向第一图像和第二图像中的至少一个应用图像效果。深度信息可以包括关于第一图像或第二图像的深度图。
在操作430，电子设备101可以向第一图像应用所提取的深度信息，并在显示器150上显示应用了深度信息的第一图像。电子设备101可以缩放深度信息，使得可以与预览图像或由第一图像传感器实际捕捉的图像相对应地来处理从自至少一个第二图像传感器获得的至少一个图像中得到的深度信息。电子设备101可以向通过第一图像传感器获得的图像中的对应一个(例如，第一图像)应用所提取的深度信息，并在显示器150上显示应用了深度信息的图像。此外，电子设备101可以放大所提取的深度信息，向存储在缓冲器中的图像(例如，第二图像)应用放大后的深度信息，并且存储应用了深度信息的图像。放大深度信息的操作可以包括改变深度信息的分辨率以适合图像的分辨率。例如，当通过阵列相机获得的图像具有2兆像素的分辨率时，电子设备101可以将2兆像素的图像放大为3.7兆像素的图像或16兆像素的图像。
在操作440，当在预览中感测到用于捕捉图像的输入时，在操作450，电子设备101可以放大所提取的深度信息，向所存储的第二图像应用放大后的深度信息，并存储应用了深度信息的第二图像。当在应用了深度信息的图像(例如，第一图像)被显示在显示器150上的同时感测到捕捉对象的输入时，电子设备101可以放大在操作420提取的深度信息，向在操作410被存储在缓冲器中的图像(例如，第二图像)应用放大后的深度信息，并且存储应用了深度信息的图像。此外，根据本公开，电子设备101可以放大在操作420中提取的深度信息，并且在放大后的深度信息已经被应用到在操作410存储在缓冲器中的图像(例如，第二图像)的情况的状态下与感测到捕捉对象的输入对应地在存储器130中存储第二图像。为了放大所提取的深度信息并应用于所存储的图像(例如，第二图像)，电子设备101可以放大在操作420中提取的深度图并使用放大后的深度图向所存储的图像的至少一部分应用图像效果(例如，模糊)。电子设备101可以向存储器130存储应用了放大后的深度信息的图像和深度信息。所存储的图像可以包括至少一个对象。根据本公开实施例，图像可以被暂时存储在缓冲器中或可以被存储在存储器130中。此后，当从用户接收到用于捕捉的请求时，在该捕捉请求时缓冲器或存储器中的图像可以被编码或被存储在存储器130中的另一区域内。可替换地，所捕捉的图像可以在被图像处理前被暂时存储在缓冲器或可以被存储在存储器130中。然后，当用户请求捕捉时，在该捕捉请求时缓冲器或存储器中的图像可以被编码或被存储在存储器130中的另一区域内。
当在操作430中应用了深度信息的图像(例如，第一图像)正被显示在显示器150上的同时在显示器150上感测到触摸时，电子设备101可以聚焦距感测到触摸的位置的预定区域内的对象，同时向预览图像中除了该对象之外的至少一个对象应用图像效果(例如，模糊)。为了向至少一个对象应用图像效果(例如，模糊)，可以使用关于至少一个对象的深度信息。当在操作430中应用了深度信息的图像(例如，第一图像)正被显示在显示器150上的同时感测到向所显示的图像应用镜头调换效果的输入时，电子设备101可以在显示器150上显示与镜头调换相关的信息。当感测到对所显示的信息中的至少一个信息项的选择时，电子设备101可以使用所选择的信息项向所预览的图像中与所选择的信息项对应的至少一个对象应用图像效果(例如，模糊)，并显示结果图像。所述信息是用于调整镜头的属性的信息，并且可以包括光圈设置、快门速度、手动和程序中的至少一个。
图5是示出根据本公开实施例的由电子设备处理图像的方法的流程图。
现在将参照图5描述根据本公开实施例的由电子设备处理图像的方法。
在操作510，电子设备101可以通过第一图像传感器获得第一图像和第二图像，并通过第二图像传感器获得第三图像。电子设备101可以具有每个可包括能够获得图像(或画面)的至少一个图像传感器的至少两个相机。第一图像传感器可以同时或依序生成第一图像和第二图像，并在显示器150上显示第一图像。第一图像(例如，预览图像)可以具有比第二图像的分辨率更低的分辨率，并且可以具有与显示器150的分辨率对应的分辨率。第二图像可以被存储在缓冲器或存储器130中。存储在缓冲器中的图像可以在预定时间被自动删除。
在操作520，电子设备101可以使用所获得的第一图像和第二图像中的至少一个来提取深度信息。电子设备101可以合成通过第一图像传感器获得的第一图像和通过至少一个第二图像传感器获得的第三图像。合成图像可以具有包括第一图像和第二图像的至少一部分的分辨率。电子设备101可以从第一图像和第三图像中提取深度信息。电子设备101可以调整以下中的至少一个：焦点、曝光条件、白平衡、旋转和第一图像及第二图像中的至少一个的移动。调整第一图像的操作可以包括估计共同包含在第一图像和第三图像中的对象的相对距离的操作。
在操作530，电子设备101可以向第一图像应用所提取的深度信息，并在显示器150上显示应用了深度信息的第一图像。电子设备101可以在显示器150上显示在操作520中合成的图像，或可以使用所提取的深度信息向第一图像应用图像效果(例如模糊)并显示应用了图像效果的图像。当在第一图像正被显示在显示器150上的同时感测到触摸时，电子设备101可以聚焦自感测到触摸起预定区域内的对象，同时向所显示的图像中除了该对象之外的至少一个对象应用图像效果(例如，模糊)。为了向至少一个对象应用图像效果(例如，模糊)，可以使用关于至少一个对象的深度信息。当图像被预览的同时感测到应用镜头调换效果的输入时，电子设备101可以显示与镜头调换相关的信息，并且当感测到选择所显示的信息中的至少一个信息项时，可以使用所选择的信息项向图像中的至少一个对象应用与所选择的信息项对应的图像效果(例如，模糊)，并显示应用了图像效果的图像。信息是用于调整镜头的属性的信息，并且可以包括光圈设置、快门速度、手动和程序中的至少一个。
在操作540，当感测到用于捕捉图像的输入时，在操作550，电子设备101可以放大所提取的深度信息，向第二图像应用放大后的深度信息，并存储应用了深度信息的第二图像。电子设备101可以在显示器150上显示通过第一图像传感器和至少一个第二图像传感器获得的图像。当图像被显示在显示器150上的同时感测到捕捉对象的输入时，电子设备101可以放大在操作520提取的深度信息，向在操作510获得的第二图像应用放大后的深度信息，并且存储应用了深度信息的第二图像。此外，根据本公开，电子设备101可以放大在操作520中提取的深度信息，并且在放大后的深度信息已经被应用到在操作510中的第二图像的情况下与感测到捕捉对象的输入对应地在存储器130中存储第二图像。为了放大所提取的深度信息并应用于第二图像，电子设备101可以放大在操作520中提取的深度图并使用放大后的深度图向所存储的图像的至少一部分应用图像效果(例如，模糊)。例如，电子设备101可以取决于深度信息向每个对象应用不同的模糊，以实现选择性聚焦。电子设备101可以在存储器130中存储第一图像。
图6A是示出根据本公开实施例的其中图像中的第一对象被聚焦的示例的视图。图6B是示出根据本公开实施例的其中图像中的第二对象被聚焦的示例的视图。图6C是示出根据本公开实施例的其中图像中的第三对象被聚焦的示例的视图。图6D是示出根据本公开实施例的由电子设备通过合成在图6A、6B和6C中图示的具有不同焦点的图像而获得的图像的示例的视图。
参照图6A，在图6A示出的图像610中，与人物对应的第一对象611被聚焦，并且包括在背景中的第二对象612、613及614和与人物对应的第三对象615失焦。图6A示出其中第一对象611已经历选择性聚焦的示例。
参照图6B，在图6B示出的图像620中，包括在背景中的第二对象622、623及624被聚焦，同时与人物对应的第一对象611和第三对象615失焦。图6B示出其中第二对象622、623及624已经历选择性聚焦的示例。
参照图6C，在图6C示出的图像630中，与人物对应的第三对象635被聚焦，同时包括在背景中的第二对象612、613及614和与人物对应的第一对象611失焦。图6C示出其中第三对象635已经历选择性聚焦的示例。
参照图6D，图6D的图像640是将如图6A至图6C示出的具有不同焦点的图像进行合成的结果。根据本公开，分别包括在多个图像中的对象可以被合成到单个图像中。电子设备101可以感测合成多个图像的命令。例如，电子设备101可以基于通过输入/输出接口140和显示器150中的至少一个输入的信息来感测合成多个图像的命令。此外，电子设备101可以通过感测用于合成多个对象的用户手势来合成多个图像，或当包括在多个图像中的对象具有不同的焦点时自动合成多个图像。
当感测到这样的命令时，电子设备101可以从每个图像或画面中提取被聚焦的至少一个对象。例如，电子设备101可以从图6A的图像610中提取被聚焦的第一对象611，从图6B的图像620中提取被聚焦的第二对象622、623及624，并从图6C的图像630中提取被聚焦的第三对象635。电子设备101可以将分别从图6A至图6C中提取的对象合成为单个图像640，如图6D所示。图像640可以包括如包含在图6A至图6C中的聚焦的多个对象。电子设备101可以在存储器130或缓冲器中存储合成图像640和关于每个对象的深度信息，或可以在显示器150上显示合成图像640.电子设备101可以向合成图像应用图像610、620和630的相应的深度信息，并在显示器150上显示。电子设备101可以使用各个图像610、620和630来生成图像640，并显示所生成的图像640。
图7是示出根据本公开实施例的控制显示器上显示的图像中的对象的焦点的过程的流程图。
现在将参照图7描述根据本公开实施例的控制显示器上显示的图像中的对象的焦点的过程。
参照图7，在操作710，电子设备101可以显示包括至少一个对象的图像。电子设备101的显示器150可以合成并显示具有不同焦点的多个图像或画面(picture)。电子设备101可以将通过多个相机或图像传感器捕捉的多个图像或画面合成到新的图像或画面，并且在显示器150上显示合成图像或画面。
当在操作720感测到对对象的选择时，在操作730电子设备101可以向除了所选择的对象之外的其他对象应用图像效果(例如，模糊)并显示应用了图像效果的对象。在图像或画面在显示器150上被显示的同时，电子设备101可以基于通过输入/输出接口140和显示器150中的至少一个输入的信息来聚焦合成图像中与输入相对应的对象，同时向不与该输入对应的至少一个其他对象应用图像效果(例如模糊)并显示应用了图像效果的对象。当在显示应用了深度信息的图像的同时感测到显示器150上的触摸时，电子设备101可以使用所存储的深度信息来聚焦距感测到触摸的位置预定区域内的对象，同时向预览图像中除了所聚焦的对象之外的至少一个对象应用图像效果(例如模糊)并显示应用了图像效果的对象。可以使用关于对象的深度信息来应用图像效果。图像效果可以包括调整模糊度、色彩、亮度、马赛克和分辨率中的至少一个。当在显示图像的同时感测到显示器150上的触摸时，电子设备101可以使用所存储的深度信息来聚焦与感测到触摸的地方对应的第一对象，并且可以向位于第一对象附近的第二对象应用相对轻的图像效果(例如模糊)，同时向相对远离第一对象的第三对象应用相对重的图像效果(例如模糊)。
图8A和图8B是示出根据本公开实施例的当从在显示器上显示的图像中选择第一对象时控制聚焦的示例的视图。图8C和图8D是示出根据本公开实施例的当从在显示器上显示的图像中选择第二对象时控制聚焦的示例的视图。
参照图8A和图8B，图8A的图像810可以包括与人物对应的第一对象811、与背景对应的第二对象812、813及814、以及与人物对应的第三对象815。根据本公开实施例，分别在多个图像中包括的具有不同焦点的对象可以被合成为单个图像。图8A的图像810是从具有不同焦点的对象合成的图像。电子设备101的存储器130可以存储图像和关于在图像中包括的每个对象的深度信息。深度信息可以指示每个对象与其邻近对象之间的距离。用户可以通过深度信息而注意到图像模糊了。例如，当从图8A的图像810中选择第一对象811(例如，在操作816中)时，电子设备101可以向除所选择的对象811外的其他对象822、823、824和825应用图像效果(例如模糊)，如图8B的图像820所示。电子设备101可以做出调整，以聚焦自显示器150上显示的图像或画面上感测到用户输入的位置起预定区域内的对象，同时不聚焦除了该感测到用户输入的区域外的其他区域中的其他对象。图8B的图像820示出其中已经向第一对象811之外的第二对象822、823及824和第三对象825应用图像效果的示例。图8A示出其中第一对象811已经经历选择性聚焦的示例。
参照图8C和图8D，图8C的图像830可以包括与人物对应的第一对象831、与背景对应的第二对象832、833及834、以及与人物对应的第三对象835。电子设备101可以调整关于所选择的对象的深度信息。电子设备101可以根据关于每个对象的深度信息来应用图像效果(例如模糊)。用户可以通过这样的图像效果的应用来识别图像模糊。例如，当从图8C的图像830中选择第三对象835时(例如，在操作836中)，电子设备101可以做出调整以不聚焦除了所选择的对象835之外的其他对象841、842、843和844，如图8D的图像840所示。电子设备101可以做出调整，以聚焦自显示器150上显示的图像或画面上感测到用户输入的位置起预定区域内的对象，同时不聚焦除了该感测到用户输入的区域外的其他区域中的其他对象。
图9是示出根据本公开实施例的向显示器上显示的图像应用镜头调换效果的过程的流程图。
现在将参照图9描述根据本公开实施例的向显示器上显示的图像应用镜头调换效果的过程。
参照图9，在操作910，电子设备可以显示包括至少一个对象的图像。电子设备101可以在显示器150上显示通过图像传感器捕捉的图像或画面，或者可以显示存储在存储器130中的图像或画面。图像或画面可以包括多个对象，每个对象可以具有深度信息。电子设备101可以与图像一起显示用于向显示器150上显示的图像应用镜头效果的菜单。可以通过该菜单或者在电子设备101中提供的单独的按钮或键来输入用于应用镜头效果的命令。
当在操作920输入了用于应用镜头调换效果的命令时，在操作930电子设备101可以显示与镜头调换相关的信息。电子设备101可以通过输入/输出接口140和显示器150中的至少一个来接收用于应用镜头调换效果的命令。电子设备101可以通过用户手势感测该命令。当感测到该命令时，电子设备101可以显示镜头调换相关信息，以可视地向用户提供镜头调换效果。电子设备101可以显示包括能够被应用于显示器150上显示的图像的镜头的属性的信息。该信息可以包括各种信息，包含例如在电子设备101中包括的至少一个相机的焦距、光圈设置或快门速度。该信息还可以包括各种类型的信息，诸如现在商业可获得的镜头的焦距、光圈设置和快门速度。
当在操作940中选择了任何镜头时，在操作950电子设备101可以向所显示的图像应用所选择的镜头的属性，并显示应用了该属性的图像。电子设备101可以显示包括能够应用到显示器150上显示的图像的镜头的属性的信息。当选择所显示的信息中的与该镜头的属性对应的信息时，电子设备101可以使用所选择的信息来向所显示的图像应用图像效果。例如，当用户调整光圈设置时，电子设备101可以应用这样的图像效果以表现与该光圈设置对应的深度。
图10A是示出根据本公开实施例的向显示器上显示的图像应用镜头调换效果的示例的视图。图10B、图10C、图10D、图10E和图10F是示出根据本公开实施例的向显示器上显示的图像应用镜头效果的示例的视图。
参照图10A，图10A的图像1010可以包括第一对象1011、第二对象1012、1013及1014、以及第三对象1015。根据本公开实施例，可以显示其中全部对象都被聚焦的“全聚焦”图像。图10A的图像1010是其中全部对象都被聚焦的图像。图像1010可以包括用于应用镜头效果的菜单1016。电子设备101的存储器130可以存储图像和关于在图像1010中包括的每个对象的深度信息。当菜单1016被选择(例如，在操作1017中)时，电子设备可以显示指示多个镜头属性的信息，如图10B的图像1010所示。该信息可以包括：具有例如10mm的焦距和例如3.5的光圈设置的第一镜头1021的属性、具有例如16mm的焦距和例如2.4的光圈设置的第二镜头1022的属性、具有例如30mm的焦距和例如2.0的光圈设置的第三镜头1023的属性、具有例如45mm的焦距和例如1.8的光圈设置的第四镜头1024的属性、具有例如60mm的焦距和例如2.8的光圈设置的第五镜头1025的属性和具有例如85mm的焦距和例如1.4的光圈设置的第六镜头1026的属性。根据本公开实施例，信息还可以包括关于现在商业可获得的镜头的信息。当用户从该信息中选择具有60mm的焦距和2.8的光圈设置的第五镜头1025(例如，在操作1018中)时，电子设备101可以使用与60mm的焦距和2.8的光圈设置对应的镜头的特性来向图像应用图像效果。电子设备101可以向图像应用与所选择的光圈设置对应的深度。当感测到选择第五镜头1025时，电子设备101可以使用所存储的深度信息应用与所选择的镜头的光圈设置对应的图像效果(例如模糊)或者可以剪裁与所选择的焦距对应的部分，并且可以在显示器150上进行显示，如图10C的图像1030所示。图10C的图像1030示出通过具有60mm的焦距和2.8的光圈设置的镜头应用图像效果的示例。例如，可以看到，第一对象1031被聚焦且图像效果(例如模糊)应用于第二对象1032、1033及1034和第三对象1035。此外，可以从该图像的特定部分(例如，中心)剪裁与该焦距对应的区域。
参照图10D、图10E和图10F，当从图10D的图像1010中选择菜单1016(例如，在操作1019中)时，电子设备可以显示指示镜头属性的信息，如图10E的图像1040所示。该信息可以包括从10mm到85mm的焦距1041的值1042、以及从1.8到22.0的光圈设置1043的值1044。当用户从该信息中选择60mm的焦距和2.8的光圈设置时，电子设备101可以根据具有60mm的焦距和2.8的光圈设置的镜头的特性向该图像应用模糊。电子设备101可以与这样的选择相对应地，将图像显示为图10F的图像1050。可以看到，在图10F的图像1050中，第一对象1051被聚焦，并且图像效果(例如模糊)应用于第二对象1052、1053及1054以及第三对象1055。此外，可以从该图像的特定部分(例如，中心)剪裁与该焦距对应的区域。
图11A是示出根据本公开实施例的显示用于应用镜头效果的图像的示例的视图。图11B是示出根据本公开实施例的关于用于向所显示的图像提供图像效果的镜头属性信息的示例的视图。图11C是示出根据本公开实施例的用于通过调整镜头的光圈值来提供图像效果的示例的视图。图11D是示出根据本公开实施例的用于通过调整镜头的快门速度来提供图像效果的示例的视图。图11E示出根据本公开实施例的用于通过调整镜头的光圈值和快门速度来提供图像效果的示例的视图。
参照图11A，电子设备101可以包括并显示用于显示镜头属性以向图像1110提供图像效果的菜单1111。当菜单1111被选择时，如图11B所示，电子设备101可以将图像1120与光圈菜单1130、快门速度菜单1140、手动菜单1150和程序菜单1160一起显示。当用户选择了任意一个镜头时，电子设备101可以在通过仪器连接到其的显示器上显示用于选择光圈设置的光圈菜单1130、用于调整快门速度的快门速度菜单1140、用于允许用户手动调整快门速度的手动菜单1150以及用于允许电子设备101自动调整光圈设置和快门速度的程序菜单1160。
当从图11B的图像1120中选择光圈菜单1130时，电子设备101可以在屏幕上显示各种光圈设置1132，其使得能够在图像1121上选择光圈设置，如图11C所示。当用户选择光圈优先级时，电子设备101可以在功能上连接到电子设备101的显示器150上显示使得能够选择光圈1131的信息。当用户从所显示的信息中选择任一个值时，可以通过图像处理来实现与所选择的光圈设置对应的深度。电子设备101可以基于光圈设置的特性来半自动地调整快门速度，并使得能够进行图像捕捉。
当在图11B中选择快门速度菜单1140时，电子设备101可以在屏幕上显示各种快门速度1142，其允许在图像1121上选择快门速度，如图11D所示。当用户选择快门速度优先级时，电子设备101可以在功能上连接到电子设备101的显示器150上显示使得能够选择快门速度1141的信息1142。当用户从所显示的信息1142中选择任一个值时，电子设备101可以将快门速度固定到所选择的快门速度并且可以相应地通过该传感器灵敏度的调整来捕捉画面。电子设备101可以在所选择的快门速度的固定模式中改变光圈设置，并且可以应用根据该光圈设置给出深度改变的图像效果。
当在图11B中选择手动菜单1150时，电子设备101可以在功能上连接到电子设备101的显示器150上显示使得能够选择光圈设置1151和快门速度1153的信息项1152和1154，如图11E所示。当从所显示的信息项1152和1154中选择任一个值时，电子设备101可以通过图像处理来显示好像依赖于所选择的值调整了深度那样的效果，并且可以调整传感器灵敏度(ISO)，以适合固定的快门速度并执行图像捕捉。
图12是示出根据本公开实施例的电子设备的框图。
电子设备可以包括例如图1示出的电子设备101的整个或部分配置。参照图12，电子设备1201可以包括一个或多个应用处理器(AP)1210、通信单元1220、用户身份模块(SIM)卡1224、存储器1230、传感器模块1240、输入设备1250、显示器1260、接口1270、音频单元1280、相机模块1291、电源管理单元1295、电池1296、指示器1297和马达1298。
AP1210可以通过运行操作系统或应用程序来控制连接到AP1210的多个硬件和软件组件，并且AP1210可以处理和计算包括多媒体数据的各种数据。AP1210可以被实现在例如片上系统(SoC)中。根据本公开实施例，AP1210还可以包括图形处理单元(GPU)(未示出)。
通信单元1220(例如，通信接口160)可以经由网络执行与连接到电子设备1201(例如，电子设备101)的其他电子设备(例如，电子设备104或服务器106)的数据通信。根据本公开实施例，通信单元1220可以包括蜂窝模块1221、Wi-Fi模块1223、BT模块1225、GPS模块1227、NFC模块1228和射频(RF)模块1229。
蜂窝模块1221可以通过通信网络(例如，LTE、LTE-A、CDMA、WCDMA、UMTS、WiBo或GSM网络)提供语音呼叫、视频呼叫、文本或因特网服务。蜂窝模块1221可以使用例如SIM(例如，SIM卡1224)来对通信网络中的电子设备执行识别和认证。根据本公开实施例，蜂窝模块1221可以执行可由AP1210提供的功能中的至少一些。例如，蜂窝模块1221可以执行多媒体控制功能中的至少一些。
根据本公开实施例，蜂窝模块1221可以包括通信处理器(CP)。蜂窝模块1221可以被实现在例如SoC中。虽然在图12中与AP1210分开提供蜂窝模块1221(例如CP)、存储器1230或电源管理单元1295，但是根据本公开的一个实施例，AP1210可以被配置为包括前面列出组件的至少一些(例如，蜂窝模块1221)。
根据本公开实施例，AP1210或蜂窝模块1221(例如，CP)可以加载从非易失性存储器或连接到其的其他组件接收的命令或数据，并处理所加载的命令或数据。AP1210或蜂窝模块1221可以在非易失性存储器中存储从其他组件接收的数据或由其他组件生成的数据。
Wi-Fi模块1223、BT模块1225、GPS模块1227或NFC模块1228可以包括用于例如处理通过模块传达的数据的处理。虽然在图12中蜂窝模块1221、Wi-Fi模块1223、BT模块1225、GPS模块1227和NFC模块1228被以它们各自单独的块示出，但是蜂窝模块1221、Wi-Fi模块1223、BT模块1225、GPS模块1227和NFC模块1228中的至少一些(例如，两个或更多个)可以被包括在单个集成电路(IC)或IC包中。例如，与蜂窝模块1221、Wi-Fi模块1223、BT模块1225、GPS模块1227和NFC模块1228分别对应的处理器中的至少一些(例如，与蜂窝模块1221对应的CP和与Wi-Fi模块1223对应的Wi-Fi处理器)可以被实现在单个SoC中。
RF模块1229可以传达例如RF信号的数据。RF模块1229可以包括例如收发器、功率放大模块(PAM)(未示出)、频率滤波器(未示出)或低噪声放大器(LNA)(未示出)。RF模块1229可以进一步包括当执行无线通信时用于在自由空间中传达无线电波的部分(例如，导体或导线)。虽然在图12中蜂窝模块1221、Wi-Fi模块1223、BT模块1225、GPS模块1227和NFC模块1228共享单个RF模块1229，但是蜂窝模块1221、Wi-Fi模块1223、BT模块1225、GPS模块1227或NFC模块1228可以通过单独的RF模块来传达RF信号。
SIM卡1224可以包括SIM，SIM卡1224可以被插入到在电子设备的预定位置处形成的槽中。SIM卡1224可以包括唯一身份信息(例如，集成电路卡识别符(ICCID)或用户信息(例如，国际移动用户身份(IMSI))。
存储器1230(例如，存储器130)可以包括内部存储器1232或外部存储器1234。内部存储器1232可以包括例如易失性存储器(例如，动态随机访问存储器(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)等)或非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、快闪ROM、NAND快闪存储器或NOR快闪存储器)。
根据本公开实施例，内部存储器1232可以是固态驱动(SSD)。外部存储器1234可以包括快闪驱动，例如紧凑快闪(CF)存储器、安全数字(SD)存储器、微SD存储器、迷你SD存储器、极限数字(xD)存储器，或者存储棒TM。外部存储器1234可以经由各种接口在功能上与电子设备1201连接。根据本公开实施例。电子设备1201还可以包括诸如硬盘驱动的存储设备(或存储介质)。
传感器模块1240可以测量物理量或检测电子设备1201的操作状态，并且传感器模块1240可以将所测量或检测的信息转换为电信号。传感器模块1240可以包括例如以下各项中的至少一个：手势传感器1240A、陀螺仪传感器1240B、气压传感器1240C、磁传感器1240D、加速度传感器1240E、握力传感器1240F、接近传感器1240G、诸如红-绿-蓝(RGB)传感器的色彩传感器1240H、生物测量传感器1240I、温度/湿度传感器1240J、亮度传感器1240K或紫外(UV)传感器1240M。附加地或可替换地，传感器模块1240可以包括图中未示出的例如电子鼻传感器、肌电图(ECG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、IR传感器、虹膜传感器或指纹传感器。传感器模块1240可以包括能够感测或识别生物信息的至少一个传感器，诸如手或脚的指纹、虹膜、面部、心律、脑波、关节或脉搏。除了上述多个传感器以外，传感器模块1240可以包括能够根据用户弯曲其关节或用户的生物信息来感测或识别信息的各种传感器。传感器模块1240还可以包括用于控制在传感器模块中包括的至少一个或多个传感器的控制电路。
输入单元1250可以包括触摸面板1252、(数字)笔传感器1254、键1256或超声输入设备1258。触摸面板1252可以以电容式、电阻式、红外式或超声方法中的至少一个识别触摸输入。触摸面板1252还可以包括控制电路。利用电容式方法，物理接触或接近检测是可以的。触摸面板1252还可以包括触觉层。在这点上，触摸面板1252还可以向用户提供触觉响应。
可以以与例如如何接收用户的触摸输入相同或类似的方式或者通过使用用于识别的单独薄片(sheet)来实现(数字)笔传感器1254。键1256可以包括例如物理按钮、光学键或小键盘。超声输入设备1258可以使用生成超声信号的输入工具并且使得电子设备1201能够通过感测到麦克风(例如，麦克风1288)的超声信号来识别数据。根据本公开实施例，电子设备1201可以使用通信单元1220从连接到电子设备1201的外部电子设备(例如，网络、计算机或服务器)接收用户输入。
显示器1260(例如，显示器150)可以包括面板1262、全息设备1264或投影仪1266。面板1262可以例如是液晶显示器(LCD)、有源矩阵有机发光二极管(AMOLED)等。面板1262可以被实现为柔性的、透明的或可穿戴的。面板1262也可以与触摸面板1252一起被合并为一个模块。全息设备1264可以通过使用光的干涉在空气中做出三维(3D)图像(全息图)。投影仪1266可以通过在屏幕上投射光来显示图像。屏幕可以位于电子设备1201之内或之外。依据一个实施例，显示器1260还可以包括用于控制面板1262、全息设备1264或投影仪1266的控制电路。
接口1270可以包括例如HDMI1272、USB1274、光学接口1276或D-超小型(D-sub)1278。接口1270可以被包括在例如图1所示的通信接口160中。附加地或可替换地，接口1270可以包括移动高清晰度链接(MHL)接口、SD卡/多媒体卡(MMC)接口或IrDA标准接口。
音频单元1280可以执行与将声波或音频信号转换为电信号或相反操作有关的各种处理(例如，编码或解码)。音频单元1280的至少一部分可以被包括在例如图1所示的输入/输出接口140中。音频单元1280可以处理通过例如扬声器1282、接收器1284、耳机1286或麦克风1288输入或输出的声音信息。
相机模块1291可以是用于捕捉静态图像和视频的设备，并且根据本公开实施例可以包括一个或多个图像传感器(例如，前置和后置传感器)(未示出)、镜头(未示出)、图像信号处理器(ISP)(未示出)或者诸如LED或氙灯(未示出)的闪光灯。
电源管理单元1295可以管理电子设备1201的电源。虽然未示出，但是电源管理单元1295可以包括例如电源管理IC(PMIC)、充电器IC或者电池或燃料计(fuelgauge)。
PMIC可以被安装在例如IC或SoC上。充电方法可以被划分为有线或无线充电模块。充电器IC可以对电池充电，并防止向充电器引入过电压或过电流。根据本公开实施例，充电器IC可以被用于线缆充电方案和无线充电方案中的至少一个。无线充电方案可以包括例如磁谐振方案、磁感应方案或基于电磁波的方案，并且为了无线充电可以添加诸如线圈、谐振电路、整流器等的额外电路。
电池测量计可以在电池1296正被充电时测量电池1296的剩余电量、电压、电流或温度。电池1296可以保存或产生电，并利用所保存或产生的电向电子设备1201供电。电池1296可以包括例如可充电电池或太阳能电池。
指示器1297可以指示电子设备1201或电子设备的一部分(例如，AP1210)的特定状态，包括例如引导状态、消息状态或再充电状态。马达1298可以将电信号转换为机械振动。虽然未示出，但是用于支持移动TV的处理电路(诸如GPU)可以被包括在电子设备1201中。用于支持移动TV的处理电路可以处理符合关于数字多媒体广播(DMB)、数字视频广播(DVB)或mediaFLOTM的标准的媒体数据。
电子设备的前述组件中的每一个可以包括一个或多个部件，并且部件名称可能依电子设备的类型而改变。依据本公开各种实施例的电子设备可以包括前述组件中的至少一个，省略它们中的一些，或包括其他额外组件。一些组件可以被合并为一个实体，但是该实体可以执行与这些组件可以进行的功能相同的功能。
图13示出根据本公开实施例的在多个电子设备(例如，第一电子设备1310和第二电子设备1330)之间的通信协议1300。
参照图13，通信协议1300可以例如包括设备发现协议1351、能力交换协议1353、网络协议1355和应用协议1357。
根据本公开实施例，设备发现协议1351可以是用于每个电子设备(例如，第一电子设备1310或第二电子设备1330)检测外部电子设备的协议，电子设备可以与所检测的外部电子设备通信或将其自身链接到所检测的外部电子设备。例如，第一电子设备1310(例如，电子设备101)可以使用设备发现协议1351通过第一电子设备1310上可用的通信方案(例如，Wi-Fi、BT或USB)来检测第二电子设备1330(例如，电子设备104)。第一电子设备1310可以获得并存储关于使用设备发现协议1351检测到的第二电子设备1330的识别信息，以便与第二电子设备1330建立通信链路。第一电子设备1310可以基于例如至少该识别信息来与第二电子设备1330建立这样的通信链路。
根据本公开实施例，设备发现协议1351可以是用于多个电子设备之间的相互认证的协议。例如，第一电子设备1310可以至少基于关于与第二电子设备1330的链接的通信信息(例如，媒体访问控制(MAC)地址、全局唯一标识符(UUID)、子系统标识符(SSID)或信息提供商(IP)地址)来执行第一电子设备1310和第二电子设备1330之间的认证。
根据本公开实施例，能力交换协议1353可以是用于交换与通过第一电子设备1310和第二电子设备1330中的至少一个可支持的服务能力有关的信息的协议。例如，第一电子设备1310和第二电子设备1330可以通过能力交换协议1353交换关于当前正提供的服务能力的信息。可交换的信息可以包括指示可由第一电子设备1310和第二电子设备1330支持的特定服务的标识信息。例如，第一电子设备1310可以通过能力交换协议1353从第二电子设备1330接收关于由第二电子设备1330提供的特定服务的标识信息。在这种情况下，第一电子设备1310可以基于所接收的标识信息来确定第一电子设备1310是否可以支持该特定服务。
根据本公开实施例，网络协议1355可以是用于控制在通信上彼此连接的电子设备(例如，第一电子设备1310和第二电子设备1330)之间传达的数据流的协议，例如，使得电子设备可以在彼此互工作的同时可以提供服务。例如，第一电子设备1310或第二电子设备1330中的至少一个可以使用网络协议1355来进行错误控制或数据质量控制。此外地或可替换地，网络协议1355可以确定在第一电子设备1310和第二电子设备1330之间传达的数据的传输格式。第一电子设备1310或第二电子设备1330中的至少一个可以使用网络协议1355来至少管理用于第一电子设备1310和第二电子设备1330之间的数据交换的会话(例如，会话连接或会话终止)。
根据本公开实施例，应用协议1357可以是用于提供用于交换与提供给外部电子设备的服务相关的数据的过程或信息的协议。例如，第一电子设备1310(例如，电子设备101)可以通过应用协议1357向第二电子设备1330(例如，电子设备104或服务器106)提供服务。
根据本公开实施例，通信协议1300可以是标准通信协议、由个人或组织(例如，通信设备/系统制造商或网络提供商)设计的协议或其组合。
术语“模块”可以指包括硬件、软件和固件或其组合中的一个的单元。术语“模块”可以与单元、逻辑、逻辑块、组件或电路交换使用。模块可以是集成组件的最小单元或部分。模块可以是执行一个或多个功能的最小单元或部分。可以机械实现或电子实现该模块。例如，该模块可以包括已经公知的或将来被开发的执行一些操作的专用IC(ASIC)芯片、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)中的至少一个。
设备(例如模块或它们的功能)或方法(例如操作)中的至少一部分可以例如以编程模块的形式被实现为存储在非瞬时计算机可读存储介质中的指令。当由一个或多个处理器(例如，处理器120)运行时，指令可以使得处理器执行对应功能。非瞬时计算机可读存储介质可以例如是存储器130。例如可以由处理器120来实现(例如，执行)编程模块的至少一部分。编程模块的至少一部分可以包括用于执行一个或多个功能的例如模块、程序、例程、指令集、过程等。
非瞬时计算机可读存储介质可以包括被配置为存储和执行程序指令(例如，编程模块)的硬件设备，例如，诸如硬盘、软盘和磁带的磁介质、诸如紧凑盘ROM(CD-ROM)和DVD的光介质、诸如光软盘、ROM、RAM、快闪存储器等的磁光介质。程序指令的示例可以不仅包括机器语言代码而且包括可通过各种计算手段使用解析器运行的高级语言代码。前述硬件设备可以被配置为作为一个或多个软件模块操作，以执行本公开的各种实施例，并且反之亦然。
依据本公开各种实施例的模块或编程模块可以包括前述组件中的至少一个或多个，省略它们中的一些，或还包括其他额外组件。由依据本公开各种实施例的模块、编程模块或其他组件执行的操作可以被依序、同时、重复或试探地执行。此外，一些操作可以以不同的次序被执行、或被省略或包括其他额外操作。根据本公开实施例，可以提供存储被配置为由至少一个处理器执行以使得至少一个处理器执行至少一个操作的命令的存储介质，所述至少一个操作包括通过图像传感器获得图像的第一命令集、使用通过阵列相机获得的多个图像提取深度信息的第二命令集、向所获得的图像应用所提取的深度信息并预览应用了深度信息的图像的第三命令集，以及第四命令集，第四命令集与捕捉所预览的图像的输入相对应地放大所提取的深度信息、向所获得的图像应用放大后的深度信息并捕捉应用了放大后的深度信息的图像。
如通过前述说明显而易见的是，根据本公开实施例，可以使用关于多个图像的深度信息进行实时图像处理，使得能够进行实时图像预览或捕获。
此外，根据本公开实施例，多个图像可以被实时合成、预览和捕获，因而允许增加的用户便利性。
虽然已经参照本公开的各种实施例示出和描述了本公开，但是本领域技术人员应当明白，可以在这里做出各种形式上和细节上的改变，而不会脱离由所附权利要求及其等价物限定的本公开的精神和范围。

Claims (20)

1.一种用于由电子设备处理图像的方法，该方法包括：
通过第一图像传感器获得第一图像和第二图像；
从通过第二图像传感器获得的至少一个第三图像中提取深度信息；
向所获得的第一图像应用所提取的深度信息并显示第一图像；以及
向所获得的第二图像应用所提取的深度信息。
2.根据权利要求1所述的方法，其中，向所获得的第一图像和所获得的第二图像中的至少一个应用深度信息包括：缩放所提取的深度信息以适合所获得的第一图像和所获得的第二图像中的至少一个的大小；以及向所获得的第一图像和所获得的第二图像中的至少一个应用缩放后的深度信息。
3.根据权利要求1所述的方法，其中，所述显示包括：使用所提取的深度信息向所获得的第一图像的至少一部分应用图像效果。
4.根据权利要求1所述的方法，其中，在一时段期间执行所述向所获得的第二图像应用所提取的深度信息，该时段包括感测到用于捕捉所显示的第一图像的输入之前以及在感测到用于捕捉所显示的第一图像的输入之后中的至少一个。
5.根据权利要求1所述的方法，其中，所述第二图像传感器包括在阵列相机、立体相机、飞行时间(TOF)传感器、结构光传感器和红外(IR)传感器中的至少一个中包含的图像传感器。
6.根据权利要求5所述的方法，其中，所述深度信息是从自阵列相机、立体相机、TOF传感器、结构光传感器和IR传感器中的至少一个中包含的图像传感器获得的图像中提取的。
7.根据权利要求1所述的方法，还包括：存储深度信息和应用了该深度信息的图像中的至少一个。
8.根据权利要求3所述的方法，其中，所述图像效果调整模糊度、色彩、亮度、马赛克和分辨率中的至少一个。
9.根据权利要求1所述的方法，还包括：
当在显示第一图像的同时感测到触摸时，聚焦距感测到触摸的位置预定区域内的对象；以及
向所显示的第一图像中除了所述对象之外的至少一个对象应用图像效果。
10.根据权利要求1所述的方法，还包括：
当感测到用于向所显示的第一图像应用镜头调换效果的输入时，显示与镜头调换有关的信息；以及
使用与选择所显示的信息的至少一个信息项对应的所选择的信息来向所显示的第一图像应用图像效果。
11.根据权利要求10所述的方法，其中，所述信息是用于调整镜头的属性的信息，并且包括光圈设置、快门速度、手动设置和程序设置中的至少一个。
12.一种用于处理图像的电子设备，该电子设备包括：
图像获得模块，包含：
被配置为获得第一图像及第二图像的第一图像传感器，和
被配置为获得至少一个第三图像的第二图像传感器；
图像处理器，被配置为：
从至少一个第三图像中提取深度信息，
向所获得的第一图像应用所提取的深度信息并且显示该第一图像，
并且
向所获得的第二图像应用所提取的深度信息；以及
显示器，被配置为显示所获得的第一图像。
13.根据权利要求12所述的电子设备，其中，所述图像处理器被配置为：
缩放所提取的深度信息，以适合图像的大小；以及
向该图像应用缩放后的深度信息。
14.根据权利要求12所述的电子设备，其中，所述图像处理器被配置为使用所提取的深度信息向所获得的第一图像的至少一部分应用图像效果。
15.根据权利要求12所述的电子设备，其中，所述图像处理器被配置为在一时段期间向所获得的第二图像应用所提取的深度信息，该时段包括感测到用于捕捉所显示的第一图像的输入之前以及在感测到用于捕捉所显示的第一图像的输入之后中的至少一个。
16.根据权利要求12所述的电子设备，其中，所述第二图像传感器包括在阵列相机、立体相机、飞行时间(TOF)传感器、结构光传感器和红外(IR)传感器中的至少一个中包含的图像传感器。
17.根据权利要求16所述的电子设备，其中，所述图像处理器被配置为从自阵列相机、立体相机、TOF传感器、结构光传感器和IR传感器中的至少一个中包含的图像传感器获得的图像中提取所述深度信息。
18.根据权利要求12所述的电子设备，还包括：存储器，被配置为存储深度信息和应用了深度信息的图像中的至少一个。
19.根据权利要求12所述的电子设备，其中，当在显示第一图像的同时感测到触摸时，所述图像处理器被配置为聚焦距感测到触摸的位置预定区域内的对象，并向所显示的第一图像中除了所述对象之外的至少一个对象应用图像效果。
20.根据权利要求12所述的电子设备，其中，当感测到用于向所显示的第一图像应用镜头调换效果的输入时，所述图像处理器被配置为显示与镜头调换有关的信息，并且使用与选择所显示的信息的至少一个信息项对应的所选择的信息来向所显示的第一图像应用图像效果。
CN201510696218.XA 2014-10-23 2015-10-23 用于处理图像的电子设备和方法 Active CN105554369B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0144398 2014-10-23
KR1020140144398A KR102251483B1 (ko) 2014-10-23 2014-10-23 영상을 처리하는 전자 장치 및 방법

Publications (2)

Publication Number Publication Date
CN105554369A true CN105554369A (zh) 2016-05-04
CN105554369B CN105554369B (zh) 2020-06-23

Family

ID=55761193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510696218.XA Active CN105554369B (zh) 2014-10-23 2015-10-23 用于处理图像的电子设备和方法

Country Status (6)

Country Link
US (4) US9990727B2 (zh)
EP (1) EP3210376A4 (zh)
KR (1) KR102251483B1 (zh)
CN (1) CN105554369B (zh)
AU (1) AU2015337185B2 (zh)
WO (1) WO2016064248A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108040207A (zh) * 2017-12-18 2018-05-15 信利光电股份有限公司 一种图像处理方法、装置、设备及计算机可读存储介质
CN110611755A (zh) * 2018-05-29 2019-12-24 广州印芯半导体技术有限公司 图像感测系统及其多功能图像传感器
CN113965678A (zh) * 2016-06-30 2022-01-21 三星电子株式会社 电子设备及其图像捕获方法

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9826159B2 (en) 2004-03-25 2017-11-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
US10721405B2 (en) 2004-03-25 2020-07-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
US8331723B2 (en) 2004-03-25 2012-12-11 Ozluturk Fatih M Method and apparatus to correct digital image blur due to motion of subject or imaging device
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
EP2890125B1 (en) 2013-12-24 2021-10-13 Sony Depthsensing Solutions A time-of-flight camera system
CN111371986A (zh) * 2015-03-16 2020-07-03 深圳市大疆创新科技有限公司 用于焦距调节和深度图确定的装置和方法
US9979890B2 (en) 2015-04-23 2018-05-22 Apple Inc. Digital viewfinder user interface for multiple cameras
US9681111B1 (en) 2015-10-22 2017-06-13 Gopro, Inc. Apparatus and methods for embedding metadata into video stream
US9667859B1 (en) 2015-12-28 2017-05-30 Gopro, Inc. Systems and methods for determining preferences for capture settings of an image capturing device
JP6637767B2 (ja) * 2016-01-05 2020-01-29 キヤノン株式会社 電子機器およびその制御方法、ならびに遠隔撮影システム
US9922387B1 (en) 2016-01-19 2018-03-20 Gopro, Inc. Storage of metadata and images
US9967457B1 (en) 2016-01-22 2018-05-08 Gopro, Inc. Systems and methods for determining preferences for capture settings of an image capturing device
US9665098B1 (en) 2016-02-16 2017-05-30 Gopro, Inc. Systems and methods for determining preferences for flight control settings of an unmanned aerial vehicle
US9716825B1 (en) 2016-06-12 2017-07-25 Apple Inc. User interface for camera effects
CN105974427B (zh) * 2016-06-24 2021-05-04 上海图漾信息科技有限公司 结构光测距装置及方法
KR102529120B1 (ko) * 2016-07-15 2023-05-08 삼성전자주식회사 영상을 획득하는 방법, 디바이스 및 기록매체
US10564740B2 (en) 2016-07-21 2020-02-18 Samsung Electronics Co., Ltd. Pen device—panel interaction based on electromagnetic signals output by the pen device
KR102488563B1 (ko) * 2016-07-29 2023-01-17 삼성전자주식회사 차등적 뷰티효과 처리 장치 및 방법
KR102622754B1 (ko) 2016-09-07 2024-01-10 삼성전자주식회사 이미지 합성 방법 및 이를 지원하는 전자 장치
US10234524B2 (en) * 2016-10-18 2019-03-19 Siemens Healthcare Gmbh Shifted pulses for simultaneous multi-slice imaging
US9973792B1 (en) 2016-10-27 2018-05-15 Gopro, Inc. Systems and methods for presenting visual information during presentation of a video segment
JP6802372B2 (ja) * 2016-10-28 2020-12-16 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 端末のための撮影方法及び端末
US10719927B2 (en) * 2017-01-04 2020-07-21 Samsung Electronics Co., Ltd. Multiframe image processing using semantic saliency
US10187607B1 (en) 2017-04-04 2019-01-22 Gopro, Inc. Systems and methods for using a variable capture frame rate for video capture
KR102390184B1 (ko) 2017-04-26 2022-04-25 삼성전자주식회사 전자 장치 및 전자 장치의 영상 표시 방법
CN110663246B (zh) * 2017-05-24 2021-08-06 深圳市大疆创新科技有限公司 用于处理图像的方法和系统
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
CN107493427A (zh) * 2017-07-31 2017-12-19 广东欧珀移动通信有限公司 移动终端的对焦方法、装置和移动终端
KR102338576B1 (ko) * 2017-08-22 2021-12-14 삼성전자주식회사 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
CN108055452B (zh) * 2017-11-01 2020-09-18 Oppo广东移动通信有限公司 图像处理方法、装置及设备
CN107959778B (zh) * 2017-11-30 2019-08-20 Oppo广东移动通信有限公司 基于双摄像头的成像方法和装置
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US10713756B2 (en) * 2018-05-01 2020-07-14 Nvidia Corporation HW-assisted upscaling and multi-sampling using a high resolution depth buffer
US11012694B2 (en) 2018-05-01 2021-05-18 Nvidia Corporation Dynamically shifting video rendering tasks between a server and a client
US11722764B2 (en) * 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK180078B1 (en) 2018-05-07 2020-03-31 Apple Inc. USER INTERFACE FOR AVATAR CREATION
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
EP3627511A1 (en) * 2018-09-21 2020-03-25 Samsung Electronics Co., Ltd. Method and system for automatically adding effect while recording
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
JP7171406B2 (ja) * 2018-12-12 2022-11-15 キヤノン株式会社 電子機器及びその制御方法
US10902265B2 (en) * 2019-03-27 2021-01-26 Lenovo (Singapore) Pte. Ltd. Imaging effect based on object depth information
KR20200117562A (ko) * 2019-04-04 2020-10-14 삼성전자주식회사 비디오 내에서 보케 효과를 제공하기 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
WO2020247109A1 (en) * 2019-06-06 2020-12-10 Applied Materials, Inc. Imaging system and method of creating composite images
US20210044742A1 (en) * 2019-08-05 2021-02-11 Facebook Technologies, Llc Dynamically programmable image sensor
CN111246106B (zh) * 2020-01-22 2021-08-03 维沃移动通信有限公司 图像处理方法、电子设备及计算机可读存储介质
KR20210098292A (ko) * 2020-01-31 2021-08-10 삼성전자주식회사 카메라를 포함하는 전자 장치 및 그 동작 방법
CN113359950A (zh) * 2020-03-06 2021-09-07 苹果公司 用于手持式电子设备的外壳结构
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
DK181103B1 (en) 2020-05-11 2022-12-15 Apple Inc User interfaces related to time
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11212449B1 (en) * 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
US11632601B1 (en) * 2021-11-11 2023-04-18 Qualcomm Incorporated User interface for camera focus

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110298898A1 (en) * 2010-05-11 2011-12-08 Samsung Electronics Co., Ltd. Three dimensional image generating system and method accomodating multi-view imaging
CN102314683A (zh) * 2011-07-15 2012-01-11 清华大学 一种非平面图像传感器的计算成像方法和成像装置
US20120050480A1 (en) * 2010-08-27 2012-03-01 Nambi Seshadri Method and system for generating three-dimensional video utilizing a monoscopic camera
EP2579572A1 (en) * 2011-10-07 2013-04-10 LG Electronics A mobile terminal and method for generating an out-of-focus image
EP2683169A2 (en) * 2012-07-03 2014-01-08 Woodman Labs, Inc. Image blur based on 3D depth information
KR101391095B1 (ko) * 2012-11-14 2014-05-07 한양대학교 에리카산학협력단 이미지의 뎁스 정보를 이용한 스테레오 비전 이미지 개선 방법 및 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100891549B1 (ko) 2007-05-22 2009-04-03 광주과학기술원 깊이 카메라를 이용하여 보완한 깊이 정보 생성 방법 및장치, 그리고 그 방법을 수행하는 프로그램이 기록된 기록매체
JP5124372B2 (ja) 2008-07-10 2013-01-23 株式会社リコー 画像処理装置、画像処理方法およびデジタルスチルカメラ
KR101629459B1 (ko) * 2009-11-05 2016-06-10 삼성전자주식회사 영상 처리 장치 및 방법
JP2012044564A (ja) 2010-08-20 2012-03-01 Sanyo Electric Co Ltd 撮像装置
KR20120060549A (ko) 2010-12-02 2012-06-12 전자부품연구원 사용자 단말 및 이를 이용한 영상 통화 방법
KR101862199B1 (ko) 2012-02-29 2018-05-29 삼성전자주식회사 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
KR20140067253A (ko) * 2012-11-26 2014-06-05 삼성전자주식회사 영상 처리 장치 및 방법
KR102124802B1 (ko) * 2013-06-04 2020-06-22 엘지전자 주식회사 이동 단말기 및 그것의 제어방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110298898A1 (en) * 2010-05-11 2011-12-08 Samsung Electronics Co., Ltd. Three dimensional image generating system and method accomodating multi-view imaging
US20120050480A1 (en) * 2010-08-27 2012-03-01 Nambi Seshadri Method and system for generating three-dimensional video utilizing a monoscopic camera
CN102314683A (zh) * 2011-07-15 2012-01-11 清华大学 一种非平面图像传感器的计算成像方法和成像装置
EP2579572A1 (en) * 2011-10-07 2013-04-10 LG Electronics A mobile terminal and method for generating an out-of-focus image
EP2683169A2 (en) * 2012-07-03 2014-01-08 Woodman Labs, Inc. Image blur based on 3D depth information
KR101391095B1 (ko) * 2012-11-14 2014-05-07 한양대학교 에리카산학협력단 이미지의 뎁스 정보를 이용한 스테레오 비전 이미지 개선 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965678A (zh) * 2016-06-30 2022-01-21 三星电子株式会社 电子设备及其图像捕获方法
CN113965678B (zh) * 2016-06-30 2024-04-02 三星电子株式会社 电子设备及其图像捕获方法
CN108040207A (zh) * 2017-12-18 2018-05-15 信利光电股份有限公司 一种图像处理方法、装置、设备及计算机可读存储介质
CN110611755A (zh) * 2018-05-29 2019-12-24 广州印芯半导体技术有限公司 图像感测系统及其多功能图像传感器

Also Published As

Publication number Publication date
US20160117829A1 (en) 2016-04-28
KR20160047891A (ko) 2016-05-03
EP3210376A1 (en) 2017-08-30
KR102251483B1 (ko) 2021-05-14
US9990727B2 (en) 2018-06-05
WO2016064248A1 (en) 2016-04-28
US20180276833A1 (en) 2018-09-27
AU2015337185A1 (en) 2017-03-23
AU2015337185B2 (en) 2019-06-13
US11455738B2 (en) 2022-09-27
EP3210376A4 (en) 2017-10-18
US20210225019A1 (en) 2021-07-22
CN105554369B (zh) 2020-06-23
US10970865B2 (en) 2021-04-06
US10430957B2 (en) 2019-10-01
US20200027226A1 (en) 2020-01-23

Similar Documents

Publication Publication Date Title
CN105554369A (zh) 用于处理图像的电子设备和方法
KR102444085B1 (ko) 휴대용 통신 장치 및 휴대용 통신 장치의 영상 표시 방법
CN108289161B (zh) 电子设备及其图像捕捉方法
US10003785B2 (en) Method and apparatus for generating images
CN114422701B (zh) 用于控制相机的方法及其电子设备
US9794441B2 (en) Electronic device using composition information of picture and shooting method using the same
US20180070023A1 (en) Image composition method and electronic device for supporting the same
US10440262B2 (en) Electronic device and method for processing image
US20200244885A1 (en) Photographing method and electronic apparatus
KR20160055337A (ko) 텍스트 표시 방법 및 그 전자 장치
KR20150141426A (ko) 전자 장치 및 전자 장치에서의 이미지 처리 방법
KR20150134916A (ko) 전자 장치 및 전자 장치에서 촬영 기능을 제어하는 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant