CN113711268A - 一种将散景效果应用于图像的电子装置及其控制方法 - Google Patents

一种将散景效果应用于图像的电子装置及其控制方法 Download PDF

Info

Publication number
CN113711268A
CN113711268A CN202080030231.0A CN202080030231A CN113711268A CN 113711268 A CN113711268 A CN 113711268A CN 202080030231 A CN202080030231 A CN 202080030231A CN 113711268 A CN113711268 A CN 113711268A
Authority
CN
China
Prior art keywords
electronic device
image
region
shot
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080030231.0A
Other languages
English (en)
Inventor
黄智娜
黄仁盛
S.潘迪
玄宗珉
元钟勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113711268A publication Critical patent/CN113711268A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Display Devices Of Pinball Game Machines (AREA)
  • Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
  • Telephone Function (AREA)

Abstract

公开了一种电子装置和方法。电子装置包括存储器和处理器，其实现该方法，该方法包括：获得图像的图像数据，使用深度信息在图像中设置感兴趣区域和背景区域，二者均包括一个或多个子区域，分别基于第一特性标准和第二特性标准确定一个或多个第一子区域和一个或多个第二子区域的相应散景(bokeh)特性，以及基于一个或多个第一子区域和一个或多个第二子区域的相应散景特性，处理图像以将散景效果应用于多个像素。

Description

一种将散景效果应用于图像的电子装置及其控制方法
技术领域
本发明涉及一种电子装置处理图像的技术。
背景技术
现代电子装置能够执行各种复杂的功能，诸如静止图像和视频的摄影捕获、音频、视频和其他多媒体的回放、图像编辑以及程序下载、游戏和广播。
在回放和再现功能期间，电子装置不仅生成显示图像本身，而且还对图像应用视觉效果。视觉效果(例如照片“滤镜”或效果)的示例是“散景(bokeh)”效果。散景效果也可以被称为失焦效果，并且是指当为前景对象设置照相机焦点时，通过视觉效果处理模拟背景对象的模糊。
在某些情况下，散景效果不会在图像捕获期间创建。然而，电子装置可以通过对图像运行图像处理来在图像内创建散景效果。
上述信息仅作为背景信息提供，以帮助理解本发明。对于上述任何内容是否可作为本公开的现有技术应用，尚未做出任何决定，也未做出任何断言。
发明内容
技术问题
当电子装置使用图像处理来生成散景效果时，生成的散景效果可能与照相机实际焦点生成的真实散景效果不同。例如，当电子装置将生成的散景效果应用于被摄体时，被摄体可能会意外模糊。
本发明的方面旨在至少解决上述问题和/或缺点，并至少提供下述优点。因此，本发明的一个方面是提供一种用于满足将多种照片效果应用于用户图像的需要的方法。
技术方案
根据本发明的一个方面，电子装置可以包括：存储器；以及电连接到存储器的处理器。存储器可以存储可由处理器运行的指令，以使电子装置：获得包括多个像素的图像的图像数据，使用与多个像素中的每个相关联的深度信息在图像内设置感兴趣区域和背景区域，其中，感兴趣区域包括一个或多个第一子区域，并且背景区域包括一个或多个第二子区域，分别基于第一特性标准和第二特性标准确定一个或多个第一子区域和一个或多个第二子区域的相应散景特性，以及基于一个或多个第一子区域和一个或多个第二子区域的相应散景特性，处理图像以将散景效果应用于多个像素。
根据本发明的一个方面，方法可以包括：获得包括多个像素的图像的图像数据，获得多个像素中的每个像素的深度信息，使用深度信息在图像内设置感兴趣区域和背景区域，其中，感兴趣区域包括一个或多个第一子区域，并且背景区域包括一个或多个第二子区域，分别基于第一特性标准和第二特性标准确定一个或多个第一子区域和一个或多个第二子区域的相应散景特性，以及基于一个或多个第一子区域和一个或多个第二子区域的相应散景特性，处理图像以将散景效果应用于多个像素。
根据本发明的另一方面，存储介质可以包括使程序获得图像的图像数据，获得与多个像素相关联的深度信息，使用深度信息确定图像中的感兴趣区域和背景区域，基于第一特性标准确定感兴趣区域的每个第一图像区域的散景特性，并基于区别于第一特性标准的第二特性标准确定背景区域的每个第二图像区域的散景特性，以及基于每个第一图像区域的散景特性和每个第二图像区域的散景特性对多个像素应用散景效果。
本发明的其他方面、优点和显著特征对于本领域技术人员来说将从以下详细描述变得显而易见，其结合附图公开了本发明的某些实施例。
有益效果
根据本发明公开的实施例，提供了能够有效地将散景效果应用于图像的电子装置或方法。
此外，根据本发明公开的实施例，提供了能够将用户期望的多种图像效果应用于图像的电子装置或方法。
此外，根据本文件中公开的实施例，提供了能够容易地将使用照相机的高级摄影技术应用于图像的电子装置或方法。
此外，可以提供通过本文件直接或间接理解的多种效果。
附图说明
通过结合附图进行的以下描述，本发明的某些实施例的上述和其他方面、特征和优点将更加明显，在附图中：
图1是根据本发明的实施例的网络环境中的电子装置的框图；
图2是示出根据实施例的电子装置的配置的框图；
图3是示出根据实施例的电子装置处理图像的过程的流程图；
图4是示出根据实施例的电子装置确定与图像的感兴趣区域相关联的每个图像区域的散景特性的过程的流程图；
图5是示出根据实施例的电子装置对图像应用散景效果以对图像具有径向模糊效果的过程的流程图；
图6示出根据实施例的由电子装置和图像高度划分的感兴趣区域和背景区域的概念；
图7概念性地示出根据实施例的基于由电子装置和图像高度划分的区域确定的每个图像区域的散景特性的示例；
图8示出根据实施例的电子装置应用散景效果以具有径向模糊效果的图像的示例；
图9是示出根据实施例的电子装置将散景效果应用于图像以具有变焦模糊效果的过程的流程图；
图10概念性地示出根据实施例的由电子装置确定的散景效果起始位置的示例和基于散景效果起始位置的每个图像区域的散景特性的示例；
图11示出根据实施例的电子装置应用散景效果以具有变焦模糊效果的图像的示例；
图12是示出根据实施例的电子装置应用散景效果以具有运动模糊效果的过程的流程图；
图13概念性地示出根据实施例的电子装置确定具有运动模糊效果的每个图像区域的散景特性的示例；
图14示出根据实施例的电子装置应用散景效果以具有运动模糊效果的图像的示例；
图15是示出根据实施例的电子装置基于由用户输入的路径应用散景效果的过程的流程图；
图16概念性地示出根据实施例的电子装置基于输入路径确定每个图像区域的散景特性的示例；
图17是示出根据实施例的电子装置基于输入路径的方法和路径对图像应用散景效果的示例的图；
图18是示出根据实施例的电子装置对图像应用散景效果以具有倾斜移位模糊效果的过程的流程图；
图19示出根据实施例的由电子装置划分为多个移位区域的图像的概念以及每个图像区域的散景特性；以及
图20是示出电子装置基于深度值对图像应用散景效果的处理的流程图。
相同的附图标记用于表示整个附图中的相同元件。
具体实施方式
参考附图提供以下描述以帮助全面理解由权利要求及其等同定义的本发明的某些实施例。其包括多种具体细节以帮助理解，但这些仅被视为示例。因此，本领域的普通技术人员将认识到，在不脱离本发明的情况下，可以对本文描述的某些实施例进行多种修改、等同和/或替代。此外，为了清楚和简洁，可以省略对众所周知的功能和实现的描述。
以下说明书和权利要求书中使用的术语和词语不限于书目含义，而是仅由发明人使用，以使能够清楚且一致地理解本发明。因此，本领域技术人员应当清楚，以下对本发明某些实施例的描述仅用于说明目的，而不是限制所附权利要求及其等同所定义的本发明。
应当理解，除非上下文另有明确规定，否则单数形式“一”、“一个”和“该”包括复数指代。因此，例如，提及“组件表面”包括提及一个或多个这样的表面。
图1是示出根据本发明的实施例的网络环境中的电子装置的框图。
参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短程无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，远程无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括至少一个处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、照相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196和/或天线模块197。在一些实施例中，可从电子装置101中省略组件中的至少一个(例如，显示装置160或照相机模块180)，或者可将一个或多个其它组件添加到电子装置101中。在一些实施例中，可将组件中的一些实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。
处理器120可以运行例如软件(例如，程序140)来控制电子装置101的与处理器120耦接的至少一个其它组件(例如，硬件或软件组件)，并可执行多种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一组件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理单元(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
辅助处理器123可以在主处理器121处于未激活(例如，睡眠)状态时代替主处理器121控制与电子装置101(而非主处理器121)的组件当中的至少一个组件(例如，显示装置160、传感器模块176或通信模块190)相关的至少一些功能或状态，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起控制。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一组件(例如，照相机模块180或通信模块190)的一部分。
存储器130可存储由电子装置101的至少一个组件(例如，处理器120或传感器模块176)使用的多种数据。多种数据可包括例如软件(例如，程序140)以及与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132和/或非易失性存储器134。非易失性存储器134可以包括内部存储器136和/或外部存储器138。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它组件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔)。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的一般目的，以及接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的对应一个的控制电路。根据实施例，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入装置150获得声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)耦接或无线耦接的外部电子装置(例如，电子装置102)(例如，耳机扬声器)输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，并且然后生成与检测到的状态对应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线耦接的一个或多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
接线端子178可包括连接器，电子装置101可经由该连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，接线端子178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或移动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
照相机模块180可捕获静止图像或移动图像。根据实施例，照相机模块180可包括一个或多个镜头、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少一部分。
电池189可对电子装置101的至少一个组件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括独立于处理器120(例如，应用处理器(AP))可操作的一个或多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短程无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的对应一个模块可经由第一网络198(例如，短程通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，远程通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些多种类型的通信模块实现为单个组件(例如，单芯片)，或可将这些多种类型的通信模块实现为彼此分离的多个组件(例如，多芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，该天线包括使用形成在基底(例如，PCB)中或形成在基底上的导电材料或导电图案实现的辐射元件。根据实施例，天线模块197可包括多个天线。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。然后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
上述组件中的至少一些可经由外围设备间通信方案(例如，总线、通用输入输出(GPIO)、串行外围接口(SPI)或移动工业处理器接口(MIPI))相互耦接并在它们之间通信信号(例如，命令或数据)。
根据实施例，可经由与第二网络199耦接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和104中的每个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部或一些操作可在外部电子装置102、104或108中的一个或多个运行。例如，当电子装置101应该自动地执行功能或服务，或者应该响应于来自用户或另外的装置的请求执行功能或服务，电子装置101可请求一个或多个外部电子装置来执行功能或服务中的至少部分，而不是运行功能或服务，或者电子装置101除了运行功能或服务以外，还可请求一个或多个外部电子装置来执行功能或服务中的至少部分。接收请求的一个或多个外部电子装置可执行功能或服务中的所请求的所述至少部分，或者执行与请求相关的附加功能或附加服务，并将执行的成果传送到电子装置101。电子装置101可在有或者没有对成果进行进一步处理的情况下将成果提供作为对请求的答复的至少一部分。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
图2是示出根据实施例的电子装置200的配置的框图。
根据实施例，电子装置200(例如，图1的电子装置101)可以包括处理器220(例如，图1的处理器120)和存储器260(例如，图1的存储器130)。存储器260可存储能够由处理器220运行的指令。处理器220可以运行存储在存储器260中的指令以处理数据或控制电子装置200的组件。可执行本发明公开的电子装置或处理器的操作，以便处理器运行存储在存储器中的指令。
根据实施例，处理器220可获得包括具有多个像素的图像的图像数据。根据实施例，电子装置200可进一步包括照相机模块280(例如，图1的照相机模块180)用于获得图像数据。处理器220可使用照相机模块280中包括的图像传感器捕获图像。根据另一实施例，为了获得图像数据，处理器220可读取存储在存储器260中的图像数据。
根据实施例，处理器220可以对所获得的图像应用“散景”效果。散景效果的应用可包括改变图像中一些像素的值*？*，以模糊图像的部分。根据实施例，处理器220可基于图像的深度信息确定每个图像区域的散景特性。每个图像区域的散景特性可以指示如何将散景效果应用于每个相应区域。例如，每个图像区域的散景特性可以指示图像指定部分的散景效果的图案。散景效果的图案可以包括例如散景效果的强度和/或方向。散景效果的强度可以包括例如将应用于图像内的相应区域或对象的模糊的程度。散景效果的方向可以指示将应用于图像内的模糊的方向或形状(例如，径向、线性、变焦或其他)。
在实施例中，深度信息可包括指示在图像中摄影的被摄体的距离或深度的信息，或者包括与在图像中摄影的被摄体的距离或深度相关联的信息。然而，深度信息应理解为不限于图像中对象相对于捕获图像的照相机的距离的绝对值或实际值。作为示例，深度信息可以包括深度图，该深度图包括捕获的图像中所包括的每个像素的深度值*？*？*。作为另一示例，深度信息可以包括不是像素的深度值本身的信息。深度信息可以包括分析图像的结果。例如，深度信息信息可包括将捕获的图像划分为感兴趣区域(例如，被摄体区域)和背景区域的信息。感兴趣区域可指被摄体所在的区域(照相机的焦点通常会停留在其上)。例如，感兴趣区域可指在肖像中描绘人的区域。背景和前景区域可为与被摄体区域不同的聚焦区域。根据实施例，感兴趣区域可包括比被摄体更靠近照相机的前景区域，和/或比被摄体更远离照相机更远的背景区域。
根据实施例，深度信息可以指示第一区域的像素和另一区域的像素(例如，一个具有比另一个更大的深度)之间的相对深度。处理器220可基于对应于照相机模块280中包括的图像传感器中指定的中心的中心像素测量的距离值与除中心像素之外的外围像素测量的距离值之间的差来确定外围像素的深度信息。例如，当由照相机模块280感测的中心像素的距离值为15，并且外围像素的距离值为18，处理器220可以将外围像素的深度值确定为3，其是两个距离值之间的差。
根据实施例，当获得包括由照相机模块280捕获的图像的图像时，处理器220可以从照相机模块280获得深度信息。例如，照相机模块280可以包括能够检测从照相机到被摄体的距离(以下称为“拍摄距离”)的传感器照相机。传感器照相机可包括例如具有飞行时间(TOF)传感器的TOF照相机或结构光型三维照相机。处理器220可基于由照相机模块280的传感器照相机感测的值来确定捕获图像的像素的深度值。
作为另一示例，照相机模块280可以包括具有多个照相机的多照相机(multi-camera)。处理器220可以基于由多个照相机中的每个的图像传感器检测的可见光来确定对应于通过照相机摄影的像素的被摄体的深度。
作为又一示例，处理器220可计算关于通过照相机模块280中包括的一个照相机所获得的图像的深度信息。例如，处理器220可使用学习对应于将由用户摄影的被摄体的形状的图像分类模型将图像中包括的形状分类为感兴趣被摄体或背景。处理器220可获得深度信息，其包括被分类为感兴趣被摄体的形状所在区域的信息。
图3是示出根据实施例的电子装置(例如，图1的电子装置101或图2的电子装置200)处理图像的过程的流程图300。
根据实施例，在操作310中，电子装置可获得图像的图像数据。例如，电子装置可通过图2的照相机模块280捕获图像。对于另一示例，电子装置可从另一装置接收图像数据(例如，图1的电子装置102、电子装置104或服务器108)。
根据实施例，在操作320中，电子装置可以获得关于图像的深度信息。例如，电子装置可以在图像捕获期间获得深度信息，如图2的照相机模块280所检测到的。作为另一示例，电子装置可以通过分析捕获之后所获得的图像来获得深度。作为另一示例，电子装置可以通过来自另一装置(例如，电子装置102、电子装置104或服务器108)的传输来接收深度信息。
在操作330中，电子装置可基于深度信息确定每个图像区域的散景特性。根据实施例，电子装置可从深度信息确定每个图像区域的散景特性。例如，每个图像区域的散景特性的值(例如，散景效果的强度)可以使用由深度信息指示的包括的每个像素的深度值来计算。根据另一实施例，电子装置可以基于深度信息将图像划分为多个区域，并确定每个图像区域的散景特性。
在操作340中，根据每个图像区域的散景特性的散景效果可应用于图像。如上所述，散景效果可根据在操作330中确定的每个图像区域的散景特性应用于图像，从而适用于图像的特性的散景效果可应用于图像。
图4是示出根据实施例的电子装置(例如，图1的电子装置101或图2的电子装置200)相对于图像的感兴趣区域确定每个图像区域的散景特性的过程的流程图301。
在操作311中，电子装置可以获得图像的图像数据。在操作321中，电子装置可以使用所获得的图像的深度信息来确定图像中的感兴趣区域。根据实施例，除了感兴趣区域(例如，焦点区域)，电子装置可以识别要设置为背景区域的图像的一部分。
根据实施例，在操作331中，电子装置可以确定每个第一图像区域相对于感兴趣区域的散景特性(例如，对于感兴趣区域内的一个或多个子区域中的每个子区域)和每个第二图像区域相对于背景区域的散景特性(例如，例如，对于背景区域内的一个或多个子区域中的每个子区域)。当电子装置确定每个第一图像区域的散景特性时，电子装置可以基于第一特性标准确定每个第一图像区域的散景特性。此外，电子装置可以基于区别于第一特性标准的第二特性标准确定每个第二图像区域的散景特性。第一特性标准和第二特性标准可指用于确定每个图像区域的散景特性的条件。例如，第一特性标准和第二特性标准可以定义每个图像区域的散景特性中包括的散景效果的强度范围。具体而言，第一特性标准可以将散景效果的强度设置在“0”到“2”的范围内，以及第二特性标准可以将散景效果的强度设置在“0”到“10”的范围内。
在操作341中，电子装置可以根据每个图像区域和子区域的各自的散景特性，将散景效果应用于图像的区域(即，感兴趣区域和背景区域以及相应子区域的区域)。
图5是示出根据实施例的电子装置(例如，图1的电子装置101或图2的电子装置200)对图像应用散景效果以在图像具有径向模糊效果的过程的流程图500。
根据实施例，电子装置可以使用输入装置(例如，图1的输入装置150)接收用于选择散景应用模式的用户输入。参考图5的操作510，电子装置可接收用于选择散景应用模式之一的径向模糊效果操作模式的用户输入。例如，用户输入可包括通过触摸屏接收的触摸输入。根据另一实施例，可对用户输入的形式进行多种修改。例如，电子装置可以根据由运动传感器(例如，图1的传感器模块176)检测的运动值来选择散景应用模式。具体地，作为一个示例，当检测到电子装置在捕获图像期间旋转时，电子装置可以选择径向模糊效果操作模式。作为另一示例，电子装置可以根据电子装置的操作状态选择散景应用模式。径向模糊效果可以指当捕获图像的照相机在围绕穿过照相机的图像传感器的中心的法线轴或照相机模块中包括的镜头的光轴旋转的同时捕获图像时出现在所捕获的图像中的照片效果。可选地，当使用具有严重像差(例如，散光或彗形像差)的镜头时，被表示为背景被旋转径向模糊效果可能会出现在捕获的图像中。
此后，在操作520中，电子装置可获得包括图像的图像数据。在操作530中，电子装置可获得所获得的图像数据的深度信息。然后，在操作540中，电子装置可基于深度信息将图像划分为背景区域和感兴趣区域。例如，电子装置可以将深度信息中包括的深度图中具有相似深度值的像素分类为一组，并将分类的组中包括的像素所在的区域设置为背景区域或感兴趣区域。
例如，参考图6，图像600包括人和树的描绘。电子装置可以将包括人的区域分类为感兴趣区域610，以及将剩余区域分类为背景区域620。
在操作550中，电子装置可获得图像高度信息。图像高度信息可被称为“图像场信息”。图像高度信息可以包括指示图像中从图像的中心点到特定像素的距离的值。例如，参考图6，图像高度信息630可以包括值635，该值随着离图像的中心点越远而增加。在图5中，操作550被示出为在操作540之后执行，但是可以根据实施例改变操作540和550的操作顺序。根据实施例，因为在操作530中获得深度信息，所以电子装置可以不单独执行操作550。
随后，在操作560中，电子装置可以基于背景区域和感兴趣区域的图像高度信息来确定每个图像区域的散景特性。因此，根据实施例，电子装置可以确定每个图像区域的散景特性，使得散景效果的强度随着离图像的中心点的距离的增加而增加。图像的中心点可以称为散景效果的起始位置。此外，电子装置可确定散景效果未应用于感兴趣区域*？*，或感兴趣区域具有比背景区域的散景效果弱的散景效果，以提供相对于感兴趣区域的每个图像面积的散景特性。例如，电子装置可将背景区域的散景效果的强度从“0”设置为“10”，并将感兴趣区域的散景效果的强度从“0”设置为“2”。然而，本发明不限于此，并且可以根据实施例不同地设置数值*？*的范围。根据另一实施例，电子装置可基于散景效果的起始位置的图像高度的值(例如，“0”)与像素的图像高度的值之间的差来确定像素的图像区域的散景特性，以确定散景效果的特性。例如，电子装置可以确定每个图像区域的散景特性，使得随着图像高度信息的值的差变得更大，散景效果的强度被更强地应用。
例如，参考图7所示的每个图像区域的散景特性的示例640，电子装置可以在具有图像高度值“2”的区域632当中相对于感兴趣区域(图6的感兴趣区域610)中包括的区域641将每个图像区域的散景特性中包括的散景效果的强度确定为“1”。电子装置可以在具有图像高度值“2”的区域632当中相对于背景区域(图6的背景区域620)中包括的区域642将每个图像区域的散景特性中包括的散景效果的强度确定为“5”。电子装置可以在图6中具有图像高度值“3”的区域633当中相对于感兴趣区域(图6的感兴趣区域610)中包括的区域644将每个图像区域的散景特性中包括的散景效果的强度确定为“2”。电子装置可以在图6中具有图像高度值“3”的区域633当中相对于背景区域(图6的背景区域620)中包括的区域645将每个图像区域的散景特性中包括的散景效果的强度确定为“8”。图6和图7概念地描述了实施例，并不旨在通过形式或数值来限制实施例。
根据另一实施例，在操作560中，电子装置可以从深度信息中包括的深度值确定每个图像区域的散景特性。在这种情况下，因为在操作530中获得深度信息，所以电子装置可以不单独执行操作550。然而，在操作560中用于确定每个图像区域的散景特性的深度的参考值可以不同于在操作540中用于划分区域的深度的参考值。例如，在操作560中使用的参考值可以是小于在操作540中使用的参考值的值。
此外，在操作560中，电子装置可以将每个图像区域的散景特性中包括的散景效果的方向确定为取决于径向模糊效果操作模式方向。例如，电子装置可以确定散景效果的方向是以图像的中心点为中心的圆的弧方向。
然后，在操作570中，电子装置可以根据为每个图像区域确定的散景特性，将散景效果应用于图像。例如，图8示出电子装置应用散景效果以具有径向模糊效果的图像800的示例。参照图8，对于包括图像中的人的形状的区域，图像的模糊效果小。此外，离图像中心越远，背景图像的图像的模糊越多。此外，可以看到，应用于背景区域的散景效果的方向801看起来好像图像旋转了。
图9是示出根据实施例的电子装置(例如，图1的电子装置101或图2的电子装置200)将散景效果应用于图像以具有变焦模糊效果的过程的流程图1000。
根据实施例，电子装置可以使用输入装置(例如，图1的输入装置150)接收用于选择散景应用模式的用户输入。例如，用户输入可以包括通过触摸屏接收的触摸输入。根据另一实施例，可以对用户输入的形式进行多种修改。作为另一示例，电子装置可以基于电子装置的操作状态选择散景应用模式。例如，当电子装置在拍照时处于执行放大或缩小操作的状态时，电子装置可以选择散景应用模式作为变焦模糊效果模式。当电子装置基于传感器或电子装置的操作状态自动选择散景应用模式时，电子装置可以自动实现用于使用照相机捕获图像的高级摄影技术。参考图9的操作910，电子装置可以接收选择“变焦”模糊效果操作模式的用户输入，该操作模式是散景应用模式之一。当照相机在执行放大或缩小操作的过程中捕获图像时，变焦模糊效果是指在摄影捕获中生成的照片效果。
随后，在操作920中，电子装置可以获得包括图像的图像数据。在操作930中，电子装置可以获得所获得的图像数据的深度信息。此后，在操作940中，电子装置可以基于深度信息将图像划分为背景区域和感兴趣区域(例如，焦点区域)。例如，电子装置可以将深度信息中包括的深度图中具有类似深度值的像素分类为一个组，并且可以将分类组中包括的像素所在的区域设置为背景区域或感兴趣区域。
在操作950中，电子装置可以在图像中设置散景效果起始位置。根据实施例，电子装置可以运行图像的图像识别处理。作为执行图像识别处理的结果，电子装置可以确定感兴趣的被摄体位于图像内的何处。电子装置可以基于感兴趣的被摄体所在的区域来确定散景效果起始位置。例如，当面部是感兴趣对象时，电子装置可以确定面部在图像中所在的区域，并且可以确定区域的中心点(例如，重心)作为散景效果起始位置。例如，参考图10，电子装置可以确定在图像(图10的600)内显示的人面部的区域(图10的1010)的中心点(图10的1025)作为散景效果起始位置。在图9中，操作950被示出为在操作940之后执行，但是根据实施例，可以改变操作940和950的操作顺序。
此后，在操作960中，电子装置可以基于从散景效果起始位置到每个相应像素的像素间距离来确定每个图像区域的散景特性。在此，像素间距离可以指示图像中两个像素之间的距离。根据实施例，电子装置可以确定每个图像区域的散景特性，使得散景效果起始位置越远，散景效果的强度越大。此外，电子装置可以确定散景效果未应用于感兴趣区域？*？*或感兴趣区域具有比背景区域的散景效果更弱的散景效果，以提供相对于感兴趣区域的每个图像面积的散景特性。例如，参考图10所示的每个图像区域的散景特性的示例1030，距离中心点1025越远，散景效果的强度越大。参考图10，区域1032的散景效果的强度被设置为“5”，并且位于比区域1032更远离中心点1025的区域1033的散景强度被设置为“8”。此外，尽管像素离中心点1025之间的距离相同，但是根据像素所属的区域确定的散景效果的强度可以变化。参考图10，尽管感兴趣区域610中包括的区域1031对于区域1032具有离中心点1025相同的像素间距离，但是感兴趣区域610中包括的区域1031的散景效果的强度被设置为“1”。
根据另一实施例，在操作960中，电子装置可以基于散景效果起始位置上的深度信息的深度值与要确定每个图像区域的散景特性的像素上的深度信息的深度值之间的差来确定每个图像区域的散景特性。例如，电子装置可以确定每个图像区域的散景特性，使得当像素的深度值大于散景效果起始位置的深度值时，散景效果被更强地应用。
然后，在操作970中，电子装置可以根据为每个图像区域确定的散景特性将散景效果应用于图像。例如，图11示出根据实施例的电子装置应用散景效果以具有变焦模糊效果的图像1100的示例。参照图11，对于包括图像中的人的形状的区域，图像的模糊效果小。此外，离图像中心越远，背景图像的图像的模糊越多。此外，应用于背景区域的散景效果的方向1110出现在从中心位置朝向像素延伸的直线方向。
图12是示出电子装置(例如，图1的电子装置101或图2的电子装置200)应用散景效果以具有运动模糊效果的过程的流程图1200。
根据实施例，电子装置可以使用输入装置(例如，图1的输入装置150)接收用于选择散景应用模式的用户输入。参考图12的操作1210，电子装置可以接收选择运动模糊效果操作模式的用户输入，该操作模式是一种散景应用模式。运动模糊效果操作模式指的是在图像捕获期间生成的摄影效果，当移动的被摄体被聚焦捕获时，同时照相机跟踪被摄体，通常导致线性模糊的背景。
随后，在操作1220中，电子装置可以获得包括图像的图像数据。在操作1230中，电子装置可以获得关于所获得的图像的深度信息。此后，在操作1240中，电子装置可以基于深度信息将图像划分为背景区域和感兴趣区域。例如，电子装置可以将深度信息中包括的深度图中具有类似深度值的像素分类为一个组，并且可以将分类组中包括的像素所在的区域设置为背景区域或感兴趣区域。
然后，在操作1250中，电子装置可以分析感兴趣区域中包括的图像。作为分析感兴趣区域中包括的图像的结果，电子装置可以确定在感兴趣区域中摄影的被摄体的移动方向。例如，处理器可以分析人体或车辆的特征，并使用图像识别技术，确定图像中描绘的人体或车辆的“前”侧。然后，可以根据所描绘的对象的估计的“前”侧(例如，向前跑的用户或向前行驶的汽车，如图13所示)估计移动方向。此后，在操作1260中，电子装置可以基于确定的移动方向确定每个图像区域的散景特性。例如，参考示出了图13中概念性示出的运动模糊效果的每个图像区域的散景特性的概念图1300，电子装置可以分析捕获移动的被摄体的感兴趣区域1330以确定移动方向1340。电子装置可以确定每个图像区域的散景特性，使得应用与相对于背景区域1320确定的移动方向1340相对应的散景效果的方向。根据实施例，电子装置可以确定边界区域1350的每个图像区域的散景特性，使得散景效果应用于边界区域1350，该边界区域1350包括与感兴趣区域1330和背景区域1320相邻的边界线1355。在确定移动方向之后，然后在操作1270中，可以将散景效果应用于背景以模拟图像背景的运动模糊，从而给出被摄体正在移动的感觉。
图14是电子装置应用散景效果以生成运动模糊效果的图像1400的示例。参考图14，识别出包括摩托车和人的感兴趣区域1410。散景效果不应用于摩托车和人。相反，散景效果应用于背景区域1420和边界区域1450，从而模糊图像的背景，并创建摩托车和用户正在检测的方向上移动的更大的错觉。
图15是示出根据实施例的电子装置(例如，图1的电子装置101或图2的电子装置200)基于由用户输入的路径应用散景效果的过程的流程图1500。
根据实施例，电子装置可以使用输入装置(例如，图1的输入装置150)接收用于选择散景应用模式的用户输入。参考图15的操作1510，电子装置可以接收选择路径选择模糊效果操作模式的用户输入，该操作模式是一种散景应用模式。路径选择模糊效果可以指示散景效果，其中基于所选择的路径(例如，用户跟踪或以其他方式输入效果的期望路径)确定应用散景效果的区域和方向。
随后，在操作1520中，电子装置可以获得包括图像的图像数据。在操作1530中，电子装置可以获得所获得的图像数据的深度信息。此后，在操作1540中，电子装置可以基于深度信息将图像划分为背景区域和感兴趣区域。例如，电子装置可以将深度信息中包括的深度图中具有类似深度值的像素分类为一个组，并且可以将分类组中包括的像素所在的区域设置为背景区域或感兴趣区域。例如，参考图16，电子装置可以将图像1600划分为显示主要被摄体的感兴趣区域1610和背景区域1620。
在操作1550中，电子装置可以通过输入装置(例如，图1的输入装置150)接收选择路径的用户输入。例如，用户输入可以包括在显示图像的触摸屏上从第一位置起始和在第二位置结束的拖动输入。可选地，电子装置可以从另一类型的输入装置接收用户输入。根据实施例，电子装置可以在电子装置显示图像之后执行操作1550。
此外，在操作1560中，电子装置可以基于所选择的路径确定每个图像区域的散景特性。在此，电子装置可以通过进一步考虑基于深度信息分类的背景区域或感兴趣区域当中像素所属的区域来确定每个图像区域的散景特性。
参考图16，当用户输入指示路径1630时，电子装置可以确定包括路径1630的路径区域1635。电子装置可以确定每个图像区域的散景特性，使得大散景效果应用于路径区域。例如，在不被包括在路径区域1635中的图16的感兴趣区域1610的区域1641中，散景效果的强度可以设置为“0”，并且在路径区域1635中包括的区域1642中，散景效果的强度可以设置为“3”。此外，电子装置可以确定每个图像区域的散景特性，使得大散景效果应用于背景区域。例如，在路径区域1635中包括的图16的背景区域1620的区域1643中，散景效果可以设置为“10”。
然后，在操作1570中，电子装置可以根据所确定的每个图像区域的散景特性将散景效果应用于图像。例如，参考图17，电子装置1700(例如，图1的电子装置101或图2的电子装置200)可以在触摸屏上显示原始图像1710。根据实施例，原始图像1710可以是不具有散景效果的图像(例如，清晰地表示被摄体的图像)。用户1可以使用触摸输入接口在触摸屏上选择路径1720。接收用于选择路径的用户输入的电子装置1700可以输出应用散景效果的图像1730。弱强度散景效果应用于对应于图像1730上的感兴趣区域1740的被摄体。此外，相对强的强度散景效果应用于由用户所选择的路径1720上的区域。
图18是示出根据实施例的电子装置(例如，图1的电子装置101或图2的电子装置200)应用散景效果以具有倾斜移位模糊效果的过程的流程图1800。
根据实施例，电子装置可以使用输入装置(例如，图1的输入装置150)接收用于选择散景应用模式的用户输入。参考图18的操作1810，电子装置可以接收用于选择“倾斜”移位模糊效果模式的用户输入，该模式是散景应用模式。倾斜移位模糊效果是指当在倾斜照相机的同时拍摄图像时，在捕获的图像中出现的摄影效果。
然后，在操作1820中，电子装置可以获得包括图像的图像数据。在操作1830中，电子装置可以获得关于所获得的图像数据的深度信息。此后，在操作1840中，电子装置可以基于深度信息将图像划分为背景区域和感兴趣区域。例如，电子装置可以将深度信息中包括的深度图中具有类似深度值的像素分类为一个组，并且可以将分类组中包括的像素所在的区域设置为背景区域或感兴趣区域。
在操作1850中，电子装置可以将图像划分成多个移位区域。例如，参考图19，电子装置可以将图像1910划分为清晰区域1911、淡化区域1912和模糊区域1913。
随后，在操作1860中，电子装置可以基于移位区域和感兴趣区域/背景区域来确定每个图像区域的散景特性。例如，电子装置可以确定散景特性，使得按照清晰区域中包括的感兴趣区域(例如，图19的区域1921)、淡化区域中包括的感兴趣区域(例如，图19的区域1922)和模糊区域中包括的感兴趣区域(例如，图19的1923区域)、淡化区域中包括的背景区域(例如，图19的1925区域)和模糊区域中包括的背景区域(例如，图19的1926区域)的顺序应用散景效果的高强度。在图19中，对于清晰区域中包括的背景区域(例如，图19的区域1924)，散景效果的强度被设置为“5”。然而，散景效果可以不应用(或者散景效果的强度为0)于清晰区域中包括的背景区域(例如，图19的区域1924)，或者电子装置可以应用与清晰区域中包括的感兴趣区域(例如，图19的区域1921)具有相同强度的散景效果。最后，在操作1870中，可以根据每个图像区域的特性将散景效果应用于图像。
图20是示出电子装置(例如，图1的电子装置101或图2的电子装置200)基于深度值对图像应用散景效果的过程的流程图2000。
根据实施例，在操作2010中，电子装置可以获得包括图像的图像数据。在操作2020中，电子装置可以获得关于图像的深度信息。
然后，在操作2030中，电子装置可以从深度信息中包括的像素的深度值计算每个图像区域的散景特性的值。例如，电子装置可以确定通过将像素的深度值乘以指定为要应用于像素的散景效果的强度的权重而获得的值。
根据实施例，在操作2030中，电子装置可以将深度值输入深度到特性转换功能，以计算每个图像区域的散景特性的值。当输入深度值时，深度到特性转换功能可以返回对应于深度值的散景特性的值。电子装置可以将由深度到特性转换功能返回的值确定为相对于每个像素的每个图像区域的散景特性。根据实施例，随着深度值变得更大，电子装置确定散景效果的强度具有更大的值。
然后，在操作2040中，电子装置可以基于所确定的每个图像区域的散景特性将散景效果应用于图像。
图20是示出电子装置(例如，图1的电子装置101或图2的电子装置200)基于深度图对图像应用散景效果的过程的流程图2000。
根据实施例，在操作2010中，电子装置可以获得包括图像的图像数据。在操作2020中，电子装置可以获得包括图像的深度图的深度信息。
然后，在操作2030中，电子装置可以配置对应于深度图的深度值的散景特性图。此后，在操作2040中，电子装置可以基于每个图像区域的散景特性中包括的散景特性图，对图像应用散景效果。
根据实施例的电子装置(例如，图1的电子装置101或图2的电子装置200)可以包括存储器(例如，图1的存储器130或图2的存储器260)以及电连接到存储器的处理器(例如，图1的处理器120或图2的处理器220)。存储器可以存储处理能够运行的指令。处理器运行指令以获得包括包括多个像素的图像的图像数据，获得与多个像素相关联的深度信息，使用深度信息确定图像中每个图像区域的散景特性，以及基于每个图像区域的散景特性将散景效果应用于多个像素。
根据实施例，处理器可以运行指令以获得包括多个像素的图像的图像数据。处理器可以使用与多个像素相关联的深度信息来确定图像中的感兴趣区域和背景区域。处理器可以基于第一特性标准确定感兴趣区域的每个第一图像区域的散景特性，基于区别于第一特性标准的第二特性标准确定背景区域的每个第二图像区域的散景特性，以及基于每个第一图像区域的散景特性和每个第二图像区域的散景特性，将散景效果应用于多个像素。
根据实施例，每个第一图像区域的散景特性和每个第二图像区域的散景特性可以包括要应用于区域中包括的像素的散景效果的强度。随着深度信息中包括的深度值增加，处理器可以相对于每个第一图像区域的散景特性和每个第二图像区域的散景特性将散景效果的强度确定为大的值。
根据实施例，每个图像区域的散景特性(例如，每个第一图像区域的散景特性和每个第二图像区域的散景特性)可以包括要应用于设置了每个图像区域的散景特性的区域中包括的像素的散景效果的强度。根据实施例，当深度信息中包括的深度值变得更大时，处理器可以确定散景效果的强度具有更大的值。
根据实施例，电子装置可以包括包括用于捕获图像的图像传感器的照相机模块(例如，图1的照相机模块180或图2的照相机模块280)。处理器可以基于对应于图像传感器中指定的中心位置的中心像素测量的距离值与除中心像素之外的外围像素测量的距离值之间的差来确定外围像素的深度信息。
根据实施例，基于感兴趣区域或背景区域的多个像素中的每个所属的区域，处理器可以使用深度信息将图像划分为感兴趣区域和背景区域，并不同地确定每个图像区域的散景特性(例如，每个第一图像区域的散景特性和每个第二图像区域的散景特性)。
根据实施例，处理器可以基于图像的图像高度信息和多个像素中的每个所属的区域来确定每个图像区域的散景特性(例如，每个第一图像区域的散景特性和每个第二图像区域的散景特性)。
根据实施例，电子装置可以包括照相机模块，能够通过照相机捕获图像，并基于到对应于图像中的区域的被摄体的距离获得深度值。深度信息可以包括包括深度值的深度图，并且处理器可以使用深度图确定每个图像区域的散景特性(例如，每个第一图像区域的散景特性和每个第二图像区域的散景特性)。
根据实施例，照相机模块可以包括包括多个照相机的多照相机或能够检测深度的传感器。
根据实施例，深度信息可以包括多个像素中的每个像素的深度值。处理器可以将深度值输入到深度到特性转换功能，并将深度到特性转换功能返回的值确定为相对于多个像素中的每个像素的每个图像区域的散景特性。
根据实施例，每个图像区域的散景特性(例如，每个第一图像区域的散景特性和每个第二图像区域的散景特性)可以包括要应用于区域中包括的像素的散景效果的方向。
根据实施例的电子装置可以基于通过输入装置(例如，图1的输入装置150)输入的用户输入来确定散景效果的方向。
根据实施例，用户输入可以包括用于选择散景应用模式的输入。当基于用户输入所选择的散景应用模式是第一模式(例如，径向模糊效果操作模式)时，处理器可以确定圆周的切向向量的方向，该圆周具有在图像中指定的中心位置，并且具有从图像中的中心位置到像素的半径，作为像素散景效果的方向。可选地，当基于用户输入所选择的散景应用模式是第二模式(例如，变焦模糊效果操作模式)时，处理器可以确定从中心位置朝向像素延伸的直线方向作为像素的散景效果的方向。
根据实施例，电子装置可以通过输入装置接收包括用于选择位于图像上的路径的输入的用户输入。处理器可以基于所选择的路径和深度信息确定每个图像区域的散景特性(例如，每个第一图像区域的散景特性和每个第二图像区域的散景特性)。
根据实施例，处理器可以使用深度信息将图像划分为感兴趣区域和背景区域，并在感兴趣区域中设置散景效果的起始位置。处理器可以基于从散景效果起始位置到像素的像素间距离来确定多个像素的每个图像区域的散景特性(例如，每个第一图像区域的散景特性和每个第二图像区域的散景特性)。
根据实施例，处理器可以检测感兴趣区域中包括的感兴趣被摄体，并确定显示感兴趣被摄体的区域中的散景效果的起始位置。
根据实施例，处理器可以确定感兴趣被摄体显示为散景效果起始位置的区域的中心点(例如，重心)。
根据实施例，处理器可以使用深度信息将图像划分为感兴趣区域和背景区域。处理器可以分析在所划分的感兴趣区域中被摄体的移动方向。处理器可以基于被摄体的移动方向确定相对于背景区域的每个图像区域的散景特性(例如，每个第一图像区域的散景特性和每个第二图像区域的散景特性)。
根据实施例，处理器可以将散景效果应用于包括与感兴趣区域和背景区域相邻的边界线的边界区域。
根据实施例，处理器可以将图像中的区域划分为在指定的方向上具有移位步长的多个移位区域(例如，模糊区域、淡化区域或清晰区域)。处理器可以基于所划分的感兴趣区域或使用像素所属的移位区域的深度信息和移位步骤所划分的区域，确定每个图像区域的散景特性(例如，每个第一图像区域的散景特性和每个第二图像区域的散景特性)。
根据实施例，处理器可以对感兴趣区域执行图像识别处理，以对感兴趣区域中包括的被摄体进行分类。处理器可以基于被摄体的分类结果确定感兴趣区域的每个图像区域的散景特性。例如，当被摄体是人时，电子装置可以不应用散景效果，并且当被摄体是诸如建筑物或树的对象时，可以应用散景效果。
根据实施例，可以控制电子装置以获得包括图像的图像数据，获得与多个像素相关联的深度信息，使用深度信息确定图像中的每个图像区域的散景特性，以及将基于每个图像区域的散景特性的散景效果应用于多个像素。
根据实施例，可以控制电子装置以获得图像的图像数据，获得与多个像素相关联的深度信息，基于深度信息将图像确定为感兴趣区域和背景区域，基于第一特性标准确定感兴趣区域的每个第一图像区域的散景特性，以及基于区别于第一特性标准的第二特性标准确定背景区域的每个第二图像区域的散景特性，以及基于每个第一图像区域的散景特性和每个第二图像区域的散景特性，将散景效果应用于多个像素。
应该理解，本公开的某些实施例以及其中所使用的术语并不旨在将在此描述的技术限制于特定实施例，而是包括实施例的多种改变、等同和/或替代。对于附图的描述，类似的组件可以由类似的附图标记来标记。如本文所用，单数形式也可包括复数形式，除非上下文另有明确指示。在本发明中，表达“A或B”、“A或/和B中的至少一个”、“A、B或C”、“A、B和/或C中的至少一个”等可以包括一个或多个相关联的所列项的任何和所有组合。本发明中使用的诸如“第一”、“第二”等术语可用于指代多种组件，而不管顺序和/或优先级如何，并用于区分相关组件与其他组件，但不限制件。应当理解，当组件(例如，第一组件)被称为(操作地或通信地)与另一组件(例如，第二组件)耦接/耦接到另一组件(例如，第二组件)，或者“连接到”另一组件(例如，第二组件)时，其可以直接与另一组件耦接/耦接到另一组件或者连接到另一组件，或者可以存在中间组件(例如，第三组件)。
根据情况，本文中使用的表达“适用于或配置为”可与例如表达“适合于”、“具有能力”、“设计为”、“适于”、“制造为”或“能够”互换使用。表达“装置配置为”可以意味着该装置“能够”与另一装置或其他组件一起操作。例如，“处理器配置为(或适于)执行A、B和C“可以是指用于执行对应操作的专用处理器(例如，嵌入式处理器)或通用处理器(例如，中央处理单元(CPU)或应用处理器(AP))，其可以通过运行存储在存储器装置(例如，存储器130)中的一个或多个程序来执行对应操作。
本发明中使用的术语“模块”可以代表例如包括硬件、软件和固件的一个或多个组合的单元。术语“模块”可与术语“单元”、“逻辑”、“逻辑块”、“部件”和“电路”互换使用。“模块”可以是集成部件的最小单元，也可以是其一部分。“模块”可以机械地或电子地实现。例如，“模块”可以包括应用特定IC(ASIC)芯片、现场可编程门阵列(FPGA)和用于执行已知或将要开发的一些操作的可编程逻辑装置中的至少一个。
根据某些实施例的设备(例如，其模块或功能)或方法(例如，操作)的至少一部分可以例如通过以程序模块的形式存储在计算机可读存储介质(例如，存储器130)中的指令来实现。指令在由处理器(例如，处理器120)运行时，可使一个或多个处理器执行对应于该指令的功能。计算机可读记录介质可以包括硬盘、软盘、磁介质(例如，磁带)、光学介质(例如，光盘只读存储器(CD-ROM)和数字多功能盘(DVD)、磁光介质(例如，磁光软盘))、内部存储器等。指令可以包含由编译器生成的代码或可由解释器运行的代码。
根据某些实施例的每个组件(例如，模块或程序模块)可以使用一个或多个实体来实现，并且可以省略上述子组件的一些子组件，或者可以进一步包括其他子组件。可选地，或者另外地，一些组件(例如，模块或程序模块)可以集成到一个实体中，以执行与集成之前由相应组件执行的功能相同或类似的功能。根据某些实施例，由模块、程序模块或其他组件执行的操作可以顺序、并行、重复或以启发式方法来运行。此外，一些操作可以以不同的顺序运行，或者可以省略。或者，可以添加其他操作。
虽然已经参考本发明的某些实施例示出和描述了本发明，但本领域技术人员将理解，在不脱离所附权利要求及其等同所定义的本发明的情况下，可以在形式和细节上进行多种改变。

Claims (15)

1.一种电子装置，包括：
存储器；以及
电连接到存储器的处理器，
其中，存储器存储可由处理器运行的指令，以使电子装置：
获得包括多个像素的图像的图像数据，
使用与所述多个像素中的每个相关联的深度信息在图像内设置感兴趣区域和背景区域，其中，感兴趣区域包括一个或多个第一子区域，并且背景区域包括一个或多个第二子区域；
分别基于第一特性标准和第二特性标准确定所述一个或多个第一子区域和所述一个或多个第二子区域的相应散景特性，以及
基于所述一个或多个第一子区域和所述一个或多个第二子区域的相应散景特性，处理图像以将散景效果应用于所述多个像素。
2.根据权利要求1所述的电子装置，其中，所述一个或多个第一子区域和所述一个或多个第二子区域的相应散景特性指示散景效果的相应强度，以及
其中，所指示的散景效果的强度基于由深度信息指示的深度的增加而增加。
3.根据权利要求1所述的电子装置，其中，所述指令还可由处理器运行以使电子装置：
获得图像的高度，其中，至少部分地基于获得的高度来确定相应散景特性，以及子区域是被包括在感兴趣区域中还是背景区域中。
4.根据权利要求1所述的电子装置，还包括：
用于捕获图像的照相机模块，该照相机包括多个图像传感器中的至少一个，以及深度检测传感器。
5.根据权利要求1所述的电子装置，其中，深度信息包括所述多个像素中每个像素的深度值，以及
其中，所述指令可由处理器运行以使电子装置：
通过使用深度到特性转换功能处理每个像素的深度值来生成每个像素的相应散景特性。
6.根据权利要求1所述的电子装置，其中，相应散景特性中的至少一个包括将应用于所述多个像素中的每个像素的散景效果的方向。
7.根据权利要求6所述的电子装置，还包括：
输入装置，
其中，所述指令可由处理器运行以：基于通过输入装置接收的用户输入来确定散景效果的方向。
8.根据权利要求7所述的电子装置，其中，用户输入选择散景应用模式，
其中，所述指令还可由处理器运行以使电子装置：
当所选择的散景应用模式为第一模式时，检测包括像素的圆周的切向向量的方向，该圆周以图像中心为中心并具有定义为从中心到像素的像素间距离的半径，并且设置所检测的切向向量的方向为像素的散景效果的方向，以及
当所选择的散景应用是第二模式时，设置将从中心位置朝向像素延伸的直线的方向为像素的散景效果的方向。
9.根据权利要求7所述的电子装置，其中，用户输入跟踪图像上的输入路径，
其中，除深度信息外，散景特性还至少基于跟踪的输入路径。
10.根据权利要求1所述的电子装置，其中，所述指令可由处理器运行以：确定感兴趣区域内的散景效果的起始位置，
其中，散景特性还至少基于所确定的起始位置。
11.根据权利要求10所述的电子装置，其中，散景特性基于以下至少一个确定：
起始位置的高度值与所述多个像素中的每个的高度值之间的相应差，
布置在起始位置的像素的深度信息中指示的深度值与所述多个像素的剩余部分的深度信息中指示的深度值之间的差，以及
从布置在起始位置的像素到所述多个像素的剩余部分的像素间距离。
12.根据权利要求10所述的电子装置，其中，所述指令可由处理器运行以使电子装置：
分析图像以检测感兴趣区域中包括的感兴趣被摄体，
其中，起始位置设置在布置感兴趣被摄体的感兴趣区域的子区域内。
13.根据权利要求1所述的电子装置，其中，所述指令可由处理器运行以使电子装置：
确定感兴趣区域内的被摄体的移动方向；以及
基于移动方向确定相对于背景区域的每个图像区域的散景特性。
14.根据权利要求13所述的电子装置，其中，所述指令可由处理器运行以使电子装置：
将散景效果应用于包括边界线的边界区域，所述边界区域布置为与感兴趣区域和背景区域二者相邻。
15.根据权利要求1所述的电子装置，其中，所述指令可由处理器运行以使电子装置：
将图像划分为多个移位区域，每个移位区域包括移位步长值；以及
通过对每个移位区域应用由相应移位步长值修改的基线散景值来确定所述多个移位区域中的每个的散景特性。
CN202080030231.0A 2019-02-20 2020-02-18 一种将散景效果应用于图像的电子装置及其控制方法 Pending CN113711268A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2019-0019996 2019-02-20
KR1020190019996A KR102597518B1 (ko) 2019-02-20 2019-02-20 영상에 보케 효과를 적용하는 전자 장치 및 그 제어 방법
PCT/KR2020/002333 WO2020171553A1 (en) 2019-02-20 2020-02-18 An electronic device applying bokeh effect to image and controlling method thereof

Publications (1)

Publication Number Publication Date
CN113711268A true CN113711268A (zh) 2021-11-26

Family

ID=72042226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080030231.0A Pending CN113711268A (zh) 2019-02-20 2020-02-18 一种将散景效果应用于图像的电子装置及其控制方法

Country Status (5)

Country Link
US (2) US11315224B2 (zh)
EP (1) EP3915087B1 (zh)
KR (1) KR102597518B1 (zh)
CN (1) CN113711268A (zh)
WO (1) WO2020171553A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016161149A1 (en) 2015-03-31 2016-10-06 Fluor Technologies Corporation Subsea protection system
JP7051740B2 (ja) * 2019-03-11 2022-04-11 株式会社東芝 画像処理装置、測距装置、方法及びプログラム
CN112017214A (zh) * 2019-05-29 2020-12-01 多方科技(广州)有限公司 前景及背景影像判断方法
JP7170609B2 (ja) * 2019-09-12 2022-11-14 株式会社東芝 画像処理装置、測距装置、方法及びプログラム
WO2022198525A1 (en) * 2021-03-24 2022-09-29 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method of improving stability of bokeh processing and electronic device
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information
JP2023065092A (ja) * 2021-10-27 2023-05-12 株式会社東芝 測距装置、画像処理装置、方法及びプログラム
CN117319812A (zh) * 2022-06-20 2023-12-29 北京小米移动软件有限公司 图像处理方法及装置、移动终端、存储介质
WO2024106746A1 (ko) * 2022-11-18 2024-05-23 삼성전자주식회사 디지털 보케 이미지의 해상도를 높이기 위한 전자 장치 및 방법

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110102553A1 (en) * 2007-02-28 2011-05-05 Tessera Technologies Ireland Limited Enhanced real-time face models from stereo imaging
US20060171603A1 (en) * 2005-01-31 2006-08-03 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Resampling of transformed shared image techniques
US7990429B2 (en) 2005-10-28 2011-08-02 Nikon Corporation Imaging device with blur enhancement
US7587099B2 (en) * 2006-01-27 2009-09-08 Microsoft Corporation Region-based image denoising
JP2010268441A (ja) * 2009-04-16 2010-11-25 Sanyo Electric Co Ltd 画像処理装置、撮像装置及び画像再生装置
JP2011130169A (ja) * 2009-12-17 2011-06-30 Sanyo Electric Co Ltd 画像処理装置及び撮影装置
JP2013005091A (ja) * 2011-06-14 2013-01-07 Pentax Ricoh Imaging Co Ltd 撮像装置および距離情報取得方法
JP5864936B2 (ja) * 2011-07-23 2016-02-17 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
KR20130103217A (ko) * 2012-03-09 2013-09-23 삼성전자주식회사 블러화된 이미지의 제공 장치 및 블러화된 이미지의 제공 방법
WO2013179963A1 (ja) 2012-05-28 2013-12-05 富士フイルム株式会社 画像処理装置、撮像装置及び画像処理方法、並びにプログラム
US9185387B2 (en) 2012-07-03 2015-11-10 Gopro, Inc. Image blur based on 3D depth information
AU2013206601A1 (en) 2013-06-28 2015-01-22 Canon Kabushiki Kaisha Variable blend width compositing
KR102124014B1 (ko) 2013-10-29 2020-06-17 삼성전자주식회사 영상 촬상 장치 및 이의 보케 영상 생성 방법
CN104660900B (zh) * 2013-10-30 2018-03-02 株式会社摩如富 图像处理装置及图像处理方法
US9253415B2 (en) * 2013-11-27 2016-02-02 Adobe Systems Incorporated Simulating tracking shots from image sequences
AU2013273830A1 (en) * 2013-12-23 2015-07-09 Canon Kabushiki Kaisha Post-processed bokeh rendering using asymmetric recursive Gaussian filters
US9799103B2 (en) * 2015-09-14 2017-10-24 Asustek Computer Inc. Image processing method, non-transitory computer-readable storage medium and electrical device
US9922452B2 (en) * 2015-09-17 2018-03-20 Samsung Electronics Co., Ltd. Apparatus and method for adjusting brightness of image
US10009536B2 (en) 2016-06-12 2018-06-26 Apple Inc. Applying a simulated optical effect based on data received from multiple camera sensors
JP6714791B2 (ja) * 2016-07-13 2020-07-01 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
KR102390184B1 (ko) * 2017-04-26 2022-04-25 삼성전자주식회사 전자 장치 및 전자 장치의 영상 표시 방법
JP6878219B2 (ja) * 2017-09-08 2021-05-26 株式会社東芝 画像処理装置および測距装置
CN107948500A (zh) * 2017-11-01 2018-04-20 广东欧珀移动通信有限公司 图像处理方法和装置
CN108024054B (zh) * 2017-11-01 2021-07-13 Oppo广东移动通信有限公司 图像处理方法、装置、设备及存储介质
US10726524B2 (en) * 2018-01-11 2020-07-28 Qualcomm Incorporated Low-resolution tile processing for real-time bokeh
US10762649B2 (en) * 2018-03-29 2020-09-01 Samsung Electronics Co., Ltd. Methods and systems for providing selective disparity refinement

Also Published As

Publication number Publication date
US11315224B2 (en) 2022-04-26
US20200265565A1 (en) 2020-08-20
EP3915087A4 (en) 2022-04-13
EP3915087A1 (en) 2021-12-01
EP3915087B1 (en) 2023-10-04
KR20200101741A (ko) 2020-08-28
WO2020171553A1 (en) 2020-08-27
US20220222789A1 (en) 2022-07-14
KR102597518B1 (ko) 2023-11-03

Similar Documents

Publication Publication Date Title
EP3915087B1 (en) An electronic device applying bokeh effect to image and controlling method thereof
CN112889266B (zh) 显示器中包括相机模块的电子装置以及用于补偿相机模块周围的图像的方法
CN111126182B (zh) 车道线检测方法、装置、电子设备及存储介质
CN112543901A (zh) 根据外部对象的位置的改变显示与外部对象相对应的替身的电子装置
CN109413399B (zh) 使用深度图合成对象的装置及其方法
KR102155895B1 (ko) 객체를 추적하여 영상을 수신하는 방법 및 장치
KR20200117562A (ko) 비디오 내에서 보케 효과를 제공하기 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체
CN112840634B (zh) 用于获得图像的电子装置及方法
KR102524982B1 (ko) 흐림 처리가 수행된 이미지에 노이즈 패턴을 반영하는 방법 및 장치
EP3621292B1 (en) Electronic device for obtaining images by controlling frame rate for external moving object through point of interest, and operating method thereof
US11645741B2 (en) Image processing method and electronic device supporting same
US11641524B2 (en) Electronic device and method for displaying image in electronic device
CN111127541A (zh) 车辆尺寸的确定方法、装置及存储介质
US11956530B2 (en) Electronic device comprising multi-camera, and photographing method
KR20210101713A (ko) 카메라를 포함하는 전자 장치 및 그의 동작 방법
CN111444749A (zh) 路面导向标志的识别方法、装置及存储介质
CN113938606A (zh) 确定球机架设参数的方法、装置及计算机存储介质
KR102668233B1 (ko) 관심 영역을 통해 움직이는 외부 객체에 대해 프레임 레이트를 제어하여 이미지들을 획득하는 전자 장치 및 그의 동작 방법
CN111068333B (zh) 基于视频的载具异常状态检测方法、装置、设备及介质
US20230215018A1 (en) Electronic device including camera and method for generating video recording of a moving object
KR20200092165A (ko) 이미지 처리 방법 및 이를 지원하는 전자 장치
KR20210108263A (ko) 사진에서 피사체와 배경을 분리하는 전자 장치 및 방법
CN114897915A (zh) 图像分割方法、装置、电子设备和存储介质
CN114979458A (zh) 一种图像的拍摄方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination