CN115567783B - 一种图像处理方法 - Google Patents

一种图像处理方法 Download PDF

Info

Publication number
CN115567783B
CN115567783B CN202211038258.1A CN202211038258A CN115567783B CN 115567783 B CN115567783 B CN 115567783B CN 202211038258 A CN202211038258 A CN 202211038258A CN 115567783 B CN115567783 B CN 115567783B
Authority
CN
China
Prior art keywords
image
depth
camera
ambiguity
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211038258.1A
Other languages
English (en)
Other versions
CN115567783A (zh
Inventor
孙佳男
陈铎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202211038258.1A priority Critical patent/CN115567783B/zh
Publication of CN115567783A publication Critical patent/CN115567783A/zh
Application granted granted Critical
Publication of CN115567783B publication Critical patent/CN115567783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供了一种图像处理方法。实施该方法，手机等能够提供拍摄能力的电子设备可以同时开启多个摄像头采集取景范围内的景物生成对应的图像。然后，电子设备可利用不同摄像头成像的视觉差，确定图像中的各个景物的深度，进而根据各个对象的深度确定该对象是否在摄像头景深范围内，确定景物成像是否清晰。对于不在景深范围内的成像模糊的景物图像，电子设备可对其进行去模糊的图像处理，使之清晰，从而使用户得到一张屏蔽离焦模糊的清晰的照片。

Description

一种图像处理方法
技术领域
本申请涉及终端领域，尤其涉及一种图像处理方法。
背景技术
对于光圈的有限光学系统，成像结果会有景深差距。超过景深的景物图像会变得模糊。景物与摄像头的距离(深度)与景深偏离越远，则景物图像越模糊。这种由于深度超出景深带来的图像模糊可称为离焦模糊。在一般的拍摄场景中，离焦模糊会降低图像的清晰度，降低用户的拍摄体验。
发明内容
第一方面，本申请提供了一种图像处理方法，该应用于电子设备，该方法包括：获取第一摄像头采集的第一图像，第一图像中包括第一对象和第二对象；基于第一图像中像素点的深度确定第一对象的深度和第二对象的深度；基于第一焦距和第一对象的深度，确定第一图像中第一对象的模糊度，第一焦距为第一摄像头采集第一图像时的焦距；基于第一焦距和第二对象的深度，确定第一图像中第二对象的模糊度；第一对象的模糊度指示第一对象模糊，第二对象的模糊度指示第二对象清晰；对第一图像中的第一对象进行去模糊处理，处理后的第一图像中的第一对象的清晰度提高，第二对象的清晰度不变。
实施第一方面提供的方法，手机等具备摄像头的电子设备可确定摄像头生成的图像中各个像素点的深度，并确定不同像素点构成的各个对象的深度。然后，电子设备可根据对象的深度和当前摄像头的焦距，确定各个对象的成像的模糊度。对于成像中模糊的对象，电子设备可对其进行去模糊处理，从而输出各个对象均清晰的图像。
这样，用户无需进行任何操作，即可拍摄得到去除离焦模糊的清晰图像，从而获得更好的拍摄体验。
结合第一方面提供的方法，在一些实施例中，一个对象的模糊度为0时，模糊度指示对象清晰；一个对象的模糊度不为0时，模糊度指示对象模糊；其中，第一对象的模糊度为0，第二对象的模糊度不为0。
实施上述实施例提供的方法，当一个对象的模糊度为0时，电子设备可确定该对象成像清晰，反之，当一个对象的模糊度不为0时，电子设备可确定该对象成像模糊。进而，电子设备可确定该对象需要进行去模糊处理。
结合第一方面提供的方法，在一些实施例中，第一焦距对应第一景深，当一个对象的深度在第一景深内时，对象的模糊度为0；当一个对象的深度在第一景深之外时，对象的模糊度不为0，对象的模糊度与对象的深度对应。
实施上述实施例提供的方法，电子设备可以通过计算景物深度与焦距之间的差异，确定景物是否在摄像头景深范围内，进而确定景物是否成像清晰。当景物在景深范围内时，电子设备可确定景物成像清晰，反之，若不在景深范围内，电子设备可确定景物成像模糊，并根据景物深度与焦距之间的距离确定景物的模糊程度。
结合第一方面提供的方法，在一些实施例中，电子设备内预设有模糊度阈值，第一对象的模糊度大于模糊度阈值。
实施上述实施例提供的方法，电子设备可以通过模糊度阈值确定景物的离焦模糊程度。当景物的模糊度高于上述模糊度阈值时，电子设备才对该景物对应的图像进行去模糊处理，以提升图像的清晰度。对于模糊度低于上述模糊度阈值的景物图像，电子设备可不对其进行去模糊处理，以节省计算成本，提高整个图像的处理效率。
结合第一方面提供的方法，在一些实施例中，电子设备中预置有模糊度学习模型，模糊度用于学习不同模糊度下不同对象的图像特征；对第一图像中的第一对象进行去模糊处理，具体为：模糊度学习模型基于已学习到的不同模糊度下的第一对象的图像特征，修改第一图像中的第一对象的像素点的颜色值。
实施上述实施例提供的方法，开发人员可以提前构建一个神经网络模型，即模糊度学习模型，学习各类景物在不同模糊度下的图像特征。当电子设备内预置有该模糊度学习模型，电子设备可以通过上述模型学习到的各类景物在不同模糊度下的图像特征确定对图像中带有离焦模糊的图像区域进行何种处理，使该图像区域清晰度提高。
结合第一方面提供的方法，在一些实施例中，基于第一图像中像素点的深度确定第一对象的深度和第二对象的深度，具体包括：通过图像分割算法，确定第一图像中的第一区域和第二区域，第一区域为第一对象对应的像素点区域，第二区域为第二对象对应的像素点区域；基于第一区域内的像素点的深度确定第一对象的深度；基于第二区域内的像素点的深度确定第二对象的深度。
实施上述实施例提供的方法，电子设备可以通过图像分割算法确定图像中各类景物对应的图像块。电子设备可通过一个图像块内的各个像素点的深度，确定该图像块对应的景物(即对象)的深度。进而，电子设备可确定该图像块对应的景物是否在景深范围内，是否带有离焦模糊。
结合第一方面提供的方法，在一些实施例中，电子设备还安装有第二摄像头，该方法还包括：获取第二摄像头采集的第二图像，第二图像与第一图像是在同一时刻采集的；利用第一图像和第二图像中图像内容的位置差确定第一图像中像素点的深度。
实施上述实施例提供的方法，电子设备可以安装有至少2个摄像头。电子设备可通过任意2个摄像头获取一组双目图像，即第一摄像头和第二摄像头在同一时刻生成的第一图像和第二图像。然后，电子设备可利用第一图像和第二图像中图像内容的位置差，即双目视觉测距的方法，确定上述一组双目图像中第一图像(或第二图像)内各像素点的深度。
结合第一方面提供的方法，在一些实施例中，第二摄像头采集第二图像时的第二焦距与第一焦距相同。
实施上述实施例提供的方法，第一图像和第二图像的视觉差全部来自于第一摄像头和第二摄像头的位置差。这时，在获取到第一摄像头和第二摄像头在同一时刻生成的第一图像和第二图像之后，电子设备可直接计算第一图像和第二图像中图像内容的位置差。
结合第一方面提供的方法，在一些实施例中，第二摄像头采集第二图像时的第二焦距长于第一焦距，在利用第一图像和第二图像中图像内容的位置差确定第一图像中像素点的深度之前，该方法还包括：对第一图像进行缩放和裁剪，裁剪后的第一图像与第二图像的尺寸相同，且包括第一对象和第二对象；利用第一图像和第二图像中图像内容的位置差确定第一图像中像素点的深度，具体为：利用裁剪后的第一图像和第二图像中图像内容的位置差确定裁剪后的第一图像中像素点的深度。
实施上述实施例提供的方法，电子设备可以利用焦距不同的两个摄像头生成的双目图像进行双目视觉测距的计算。由于焦距不同，上述双目图像的视觉差除了来自摄像头的位置差，还来自于焦距对应的取景范围的差异。因此，在进行双目视觉测距之前，电子设备需要对焦距不同的两个摄像头生成的双目图像进行裁剪，使两帧图像之间的视觉差全部来自于摄像头的位置差，进而通过双目视觉测距确定出准确的景物深度。
这样，电子设备无需安装两个焦距相同的摄像头，而是直接使用现有的摄像头模组，即可进行双目视觉测距，确定图像中各个景物的深度。
结合第一方面提供的方法，在一些实施例中，对第一图像进行缩放和裁剪，包括：根据第一焦距和第二焦距的差异确定第一缩放倍率；按第一缩放倍率放大第一图像；按第二图像的尺寸裁剪放大后的第一图像。
实施上述实施例提供的方法，电子设备可以第一摄像头和第二摄像头采集第一图像和第二图像时的焦距差确定对第一图像进行放大处理的放大倍率，即第一缩放倍率。然后，电子设备可按照第二图像的尺寸对放大后的第一图像进行裁剪。这样，电子设备可以使用裁剪后的第一图像与第二图像进行双目视觉测距，确定图像中像素点的深度。
结合第一方面提供的方法，在一些实施例中，对第一图像进行缩放和裁剪，包括：根据第一焦距和第二焦距的差异确定第二缩放倍率；按第二缩放倍率缩小第二图像；按缩小后的第二图像的尺寸裁剪第一图像；利用裁剪后的第一图像和第二图像中图像内容的位置差确定裁剪后的第一图像中像素点的深度，具体为：利用裁剪后的第一图像和缩小后的第二图像中图像内容的位置差确定裁剪后的第一图像中像素点的深度。
实施上述实施例提供的方法，电子设备可以第一摄像头和第二摄像头采集第一图像和第二图像时的焦距差确定对第二图像进行缩小处理的缩小倍率，即第二缩放倍率。然后，电子设备可按照缩小后的第二图像的尺寸对第一图像进行裁剪。这样，电子设备可以使用裁剪后的第一图像与缩小后的第二图像进行双目视觉测距，确定图像中像素点的深度。
结合第一方面提供的方法，在一些实施例中，第一摄像头为深度摄像头，第一图像为携带有像素点深度的图像。
实施上述实施例提供的方法，电子设备无需使用两个摄像头生成的图像确定景物的深度。电子设备使用深度摄像头可以得到一帧带有深度的图像。然后，电子设备只需将上述带有深度的图像输入图像分割算法确定以景物类别划分的图像块，然后，基于像素点的深度，确定各个图像块的深度，进而确定各个图像块的模糊度，对模糊图像块进行去模糊处理。
结合第一方面提供的方法，在一些实施例中，该方法还包括：在拍摄界面的预览窗中显示第一图像；在基于第一图像中像素点的深度确定第一对象的深度和第二对象的深度之前，该方法还包括：检测到用户的拍摄操作；在对第一图像中的第一对象进行去模糊处理之后，该方法还包括：保存处理后的第一图像。
实施上述实施例提供的方法，电子设备可以在预览窗可显示第一摄像头初始生成的第一图像。在检测到用户的拍照操作后，电子设备再对拍照操作对应时刻的双目图像进行去离焦模糊处理，保存清晰图像。这样，电子设备无需实时地对每一组双目图像进行去离焦模糊处理，从而降低计算成本，降低处理器负载，避免卡顿。
可选的，电子设备也可以在预览窗可显示第二摄像头初始生成的第二图像。在检测到用户的拍照操作后，电子设备再对拍照操作对应时刻的双目图像进行去离焦模糊处理，保存清晰图像。其中，当第二焦距长于第一焦距时，相比于第一图像，第二图像与处理后去离焦模糊的图像的差别更小。这时，用户看到的预览窗中显示的图像与处理后得到的图像的差别更小，可以提升用户拍摄体验。
结合第一方面提供的方法，在一些实施例中，在对第一图像中的第一对象进行去模糊处理之后，该方法还包括：在拍摄界面的预览窗中显示处理后的第一图像；在检测到用户的拍摄操作之后，保存处理后的第一图像。
实施上述实施例提供的方法，电子设备可以实时地在预览窗中显示去模糊处理后的清晰图像。这样，用户在预览时看到的图像即拍摄后得到的图像，从而提升用户拍摄体验。
第二方面，本申请提供了一种电子设备，该电子设备包括一个或多个处理器和一个或多个存储器；其中，一个或多个存储器与一个或多个处理器耦合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，使得电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
第三方面，本申请实施例提供了一种芯片系统，该芯片系统应用于电子设备，该芯片系统包括一个或多个处理器，该处理器用于调用计算机指令以使得该电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
第四方面，本申请提供一种计算机可读存储介质，包括指令，当上述指令在电子设备上运行时，使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
第五方面，本申请提供一种包含指令的计算机程序产品，当上述计算机程序产品在电子设备上运行时，使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
可以理解地，上述第二方面提供的电子设备、第三方面提供的芯片系统、第四方面提供的计算机存储介质、第五方面提供的计算机程序产品均用于执行本申请所提供的方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。
附图说明
图1是本申请实施例提供的电子设备100上用于拍摄的用户界面；
图2A为本申请实施例提供的同一拍摄场景下不同焦距的摄像头在同一位置的取景范围示意图；
图2B为本申请实施例提供的同一拍摄场景下不同焦距的摄像头在不同位置的取景范围示意图；
图2C为本申请实施例提供的描述景深与摄像头焦距对应关系的示意图；
图3是本申请实施例提供的电子设备100实施去离焦模糊图像处理的流程图；
图4是本申请实施例提供的两个摄像头在同一时刻生成一组双目图像的示意图；
图5A-5B是本申请实施例提供的一组电子设备100对左图01进行缩放裁剪的示意图；
图6是本申请实施例提供的经过图像分割处理的带有对象标签的左图03；
图7是本申请实施例提供的经过去模糊处理的左图03；
图8A-图8C是本申请实施例提供的在拍摄过程中实施去模糊处理的一组用户界面；
图9A-图9C是本申请实施例提供的在拍摄过程中实施去模糊处理的另一组用户界面；
图10是本申请实施例提供的电子设备100的硬件结构图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。
图1是本申请实施例提供的电子设备100上用于拍摄的用户界面(拍摄界面)。
电子设备100具备摄像头，能够通过摄像头为用户提供拍摄服务。电子设备100例如是手机、平板电脑等电子设备。本申请实施例以手机为例进行说明。不限于手机、平板电脑，电子设备100还可以是数码相机、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本，以及蜂窝电话、个人数字助理(personal digital assistant，PDA)、增强现实(augmented reality，AR)设备、虚拟现实(virtual reality，VR)设备、人工智能(artificial intelligence,AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备，本申请实施例对该电子设备的具体类型不作特殊限制。
如图1所示，电子设备100上的拍摄界面可包括预览窗101、模式栏102。
预览窗101用于实时地展示摄像头取景范围内的图像。摄像头的取景范围与摄像头焦距相关。其中，焦距越长，摄像头的取景范围越小。当电子设备100启用不同摄像头时，由于取景范围不同，预览窗101中显示的图像也不同。
具体的，图2A为本申请实施例提供的同一拍摄场景下不同焦距的摄像头在同一位置的取景范围示意图。虚线框21所示的画面示例性示出了一个拍摄场景，例如小狗在沙滩上奔跑的拍摄场景。电子设备100可配置有多个摄像头。不同摄像头的焦距不同。例如，电子设备100可配置有广角摄像头和长焦摄像头。广角摄像头的焦距小于长焦摄像头。因此，广角摄像头的取景范围大于长焦摄像头。如图2A所示，忽略广角摄像头和长焦摄像头在电子设备100上的位置差，实线框22所示的景物范围可表示电子设备100上广角摄像头的取景范围；实线框23所示的景物范围可表示电子设备100上长焦摄像头的取景范围。
然而，由于电子设备100上的广角摄像头和长焦摄像头还存在一定的位置差，例如广角摄像头和长焦摄像头在水平方向上间距D1mm，和/或，在垂直方向上间距D2mm。这就使得长焦摄像头的取景范围在比广角摄像头的取景范围缩小的基础上，还存在一定的水平偏移和/或垂直偏移。以广角摄像头和长焦摄像头在水平方向上间距D1mm为例，图2B为本申请实施例提供的同一拍摄场景下不同焦距的摄像头在不同位置的取景范围示意图。此时，虚线框24所示的景物范围为电子设备100上长焦摄像头的取景范围；而实线框23所示的景物范围为理论上上述长焦摄像头在广角摄像头的位置的取景范围。
可以理解，两个摄像头存在位置差会和两个摄像头焦距不同均会导致两个摄像头取景范围不同，即存在视觉差。
以帧率30fps为例，摄像头每33.3ms可生成一帧图像，对应地，预览窗101中每33.3ms可显示一帧图像。
模式栏102可显示有多个拍摄模式选项，例如“夜景”、“人像”、“拍照”、“录像”等等。“夜景”模式可用于光线较暗的场景下，例如夜晚，拍摄照片。“人像”模式可用于拍摄主体为人物的拍摄场景。不同的拍摄模式对应不同的拍摄和图像处理方法。用户可选择适用于当前拍摄场景与拍摄需求的拍摄模式，以拍得更能满足用户需求的图像。
如图1所示，在打开相机应用之后，默认的，相机应用可选择“拍照”模式，于是，相机应用可开启广角摄像头(广角摄像头为主摄摄像头)采集取景范围内的景物并生成对应的图像，并在预览窗101中展示广角摄像头生成的图像。相机应用是电子设备100上安装的用于调用电子设备100的摄像头为用户提供拍摄服务的应用程序。
取景范围内的对象(即景物)与摄像头的距离为该对象的深度。取景范围内的对象的深度越大，则生成的图像中对象的尺寸越小。同时，深度在景深范围内，则景物成像清晰，反之，景物成像模糊。上述景深是指能够成像清晰的深度范围。景深与摄像头的焦距相关。
参考图1中预览窗101中显示的图像，该图像中包括：对象1(狗)、对象2(树)、对象3(礁石)等多类景物。其中，上述各个景物的深度从小到大依次为：对象1(狗)、对象2(树)、对象3(礁石)。
当广角摄像头的焦距在对象1所处的位置时，如图2C所示，摄像头的景深为：以对象1所处的位置为中心向前向后延伸一定距离的深度范围。此时，当景物处于图2C所示的景深内时，图像中该景物的成像是清晰的，反之，当景物处于图2C所示的景深之外时，图像中该景物的成像是模糊的。例如，对象1在摄像头的景深内，对象2、对象3在摄像头的景深之外。这时，预览窗101中显示的图像中对象1成像清晰，而对象2、对象3成像模糊，且对象3比对象2的模糊程度更高。
当广角摄像头的焦距在对象2所处的位置时，如图2C所示，摄像头的景深为：以对象2所处的位置为中心向前向后延伸一定距离的深度范围。此时，处于景深内时的对象2、对象3成像清晰，而处于景深之外的对象1成像模糊。上述由景物不在摄像头的景深范围内引起的成像模糊即离焦模糊。
在一些实施例中，相机应用可通过对象识别自动地确定追焦对象，并根据追焦对象的运动自动地调整摄像头的焦距(在摄像头的调焦倍率之内)，以确保生成的图像中的追焦对象始终是清晰的。在一些实施例中，相机应用也可根据用户的点击操作确定追焦对象，然后根据追焦对象的运动自动地调整摄像头的焦距，以确保生成的图像中的追焦对象始终是清晰的。然而，在追焦的同时，取景范围内除了追焦对象之外的景物则会因为深度是否在摄像头景深内，表现出成像清晰或成像模糊。当深度在景深之外是，景物还会深度因为与景深的距离的变化，呈现出不同程度的离焦模糊。
在图1所示的拍摄场景下，在检测到拍照操作之后，例如作用于拍摄控件103的拍摄操作，响应于上述操作，相机应用可将摄像头当前时刻生成的图像(预览窗101中当前展示的图像)保存下来，生成一张照片。这时，保存下来的照片与预览时显示的图像相同：景深之外的景物也是带有离焦模糊的。
用户通常都希望照片是清晰。然而，大多数情况下拍摄对象并非又都在一个平面上，这意味着离焦模糊普遍存在。离焦模糊导致拍摄照片不清晰，从而降低用户的拍摄体验。因此，为了去除离焦模糊，使用户可以拍摄更清晰的图像，本申请实施例提供了一种图像处理方法。
实施本申请实施例提供的图像处理方法，电子设备100可以同时开启多个摄像头采集取景范围内的景物生成对应的图像。然后，电子设备100可利用不同摄像头成像的视觉差，确定图像中的各个景物的深度，进而根据各个对象的深度确定该对象是否在摄像头景深范围内，确定景物成像是否清晰。对于不在景深范围内的成像模糊的景物图像，电子设备100可对其进行去模糊的图像处理，使之清晰，从而使用户得到一张屏蔽离焦模糊的清晰的图像。
其中，电子设备100可基于神经网络学习的方法构建一个深度学习模型。在利用双目视觉测距的方法确定图像中各个对象的深度时，深度学习模型可学习不同对象在不同焦距下的成像特点(具体表现在像素点的颜色值上)。这样，在利用两个摄像头的视觉差确定景物的深度时，电子设备100可以将两个摄像头采集的两张图像输入上述深度学习模型。经过深度学习模型的学习匹配，电子设备100可以确定上述两张图像中对应景物的深度，进而，电子设备100可以基于上述深度确定图像中各个景物是否成像清晰。
另一方面，电子设备100还可基于神经网络学习的方法构建一个模糊度学习模型。模糊度学习模型可学习不同景物在不同深度不同焦距的情况下的图像特征。这样，电子设备100可使用模糊度学习模型对确定为模糊的景物图像去模糊的图像处理使其清晰。
实施上述方法，用户可以拍摄得到去除离焦模糊的清晰图像，且无需用户进行任何操作，提升了用户拍摄体验。
图3是本申请实施例提供的电子设备100实施去离焦模糊图像处理的流程图。
S201：获取一组双目图像：左图01、右图01。
在启用相机应用进行拍摄时，电子设备100可开启两个摄像头(第一摄像头、第二摄像头)采集取景范围内的景物，生成两组图像流。其中，第一摄像头为主摄。
两组图像流中的图像帧是帧对齐的。同一时刻，第一摄像头生成的一帧图像与第二摄像头生成的一帧图像可称为一组双目图像。其中，第一摄像头生成的图像可称为左图(主摄图像)，第二摄像头生成的图像可称为右图。可以理解的，当用户手持电子设备100进行拍摄时，第一摄像头排列在右、第二摄像头排列在左，则第一摄像头生成的图像也可称为右图(主摄图像)，第二摄像头生成的图像也可称为左图。
结合图2A的介绍，在本申请实施例中，第一摄像头可以为广角摄像头(调焦倍率1×～2×、主摄)；第二摄像头可以为长焦摄像头(调焦倍率＞2×)。电子设备100可同时开启广角摄像头和长焦摄像头采集取景范围内的景物并生成对应的图像。广角摄像头生成的主摄图像即左图01，长焦摄像头生成的长焦图像即右图01。
图4是本申请实施例提供的第一、第二摄像头在同一时刻生成一组双目图像的示意图。
如图4所示，在虚线框21所示的拍摄场景下，第一摄像头可基于其取景范围22(即实线框22)输出一帧宽W1、高H1的图像，记为左图01。同时，第二摄像头可基于其取景范围24(虚线框24)输出一帧宽W1、高H1的图像，记为右图01。左图01与右图01为一组双目图像。
在第一摄像头为广角摄像头、第二摄像头为长焦摄像头的场景下，第一摄像头的焦距比第二摄像头的焦距短。结合图2C，示例性的，第一摄像头的焦距可在对象1(狗)所处的位置，第二摄像头的焦距可在对象2(树)所述的位置。这时，对第一摄像头而言，对象1是在景深范围内的，对象2、3不在景深范围内；对于第二摄像头而言，对象1是不在景深范围内的，对象2、3是在景深范围内的。因此，如图4中左图01所示，在第一摄像头景深范围内的景物：对象1，是清晰；在第一摄像头景深范围外的景物：对象2、3，则带有离焦模糊。如图4中右图01所示，在第二摄像头景深范围内的景物：对象2、3，是清晰的；在第二摄像头景深范围外的景物：对象1，则带有离焦模糊。
S202：在第一摄像头焦距小于第二摄像头的场景下，根据右图01裁剪左图01，使裁剪后的左图与右图01的图像内容的区别仅来自与第一摄像头和第二摄像头的位置差。
由于第一摄像头和第二摄像头的焦距不同，尺寸相同的左图01和右图01的图像内容的区别除了来自于第一摄像头和第二摄像头的位置差，还自来于摄像头的焦距。因此，在利用视觉差确定图像中各个景物的深度之前，电子设备100需要对左图01进行缩放裁剪，使之与右图01的图像内容的区别全部来自于摄像头的位置差。
图5A是本申请实施例提供的电子设备100对左图01进行放大裁剪的示意图。
如图5A所示，电子设备100可对左图01进行等比例放大。这样，原来宽W1、高H1的左图01可变为宽W2、高H2的左图02。其中，等比例放大的倍率可通过第一摄像头与第二摄像头的变焦倍率确定。例如，当第一摄像的变焦倍率为1×、第二摄像头的变焦倍率为2×时，比例放大的倍率的为2×。然后，电子设备100可以以左图01的中心点为中心，按宽W1、高H1对左图02进行裁剪，从而得到宽W1、高H1的左图03。此时，左图03(裁剪后的左图)与右图01的图像内容的区别仅来自于第一摄像头和第二摄像头的位置差。
可选的，电子设备100也可先对右图01进行等比例缩小，然后按照缩小后的右图的尺寸对左图01进行裁剪。具体的，参考图5B，电子设备100可根据第一摄像头与第二摄像头的变焦倍率对右图01进行等比例缩小，得到宽W3、高H3的右图02。然后，电子设备100左图01的中心点为中心，按右图02的尺寸进行裁剪，得到宽W3、高H3的左图04。此时，左图04(裁剪后的左图)与右图02(缩小后的右图)的图像内容的区别也仅来自于第一摄像头和第二摄像头的位置差。
当第一摄像头的焦距与第二摄像头的焦距相同时，电子设备100无需进行图像裁剪，可直接执行S203、S204。
后续步骤S203至S207是以左图为例进行说明，后续步骤同样也适用于右图。
S203：确定裁剪后的左图中为同一个景物和/或同一类景物的图像块。
电子设备100中预置有图像分割算法。图像分割算法可根据图像内容将图像分割成多个图像块，并标记每个图像块。在执行S202所示的步骤之后，电子设备100可将裁剪后的左图，例如图5A所示的左图03，或者图5B所示的左图04，输入图像分割算法。经过图像分割算法的处理，电子设备100可以得到分割后的左图中的多个图像块以及各个图像块的标签。
图6是本申请实施例提供的经过图像分割处理的带有对象标签的左图03。
图像分割算法可根据左图03中像素的颜色、亮度、灰度、纹理等中的一或多项特征，将同一个景物和/或同一类景物对应的像素点集合确定为一个图像块，并标记各个图像块。如图6所示，图像分割算法可将左图03分割为图像块：B1～B9，并确定上述各个图像块的标签。图像分割算法还可识别各个图像块对应的景物，因此，上述标签可以为各个图像块对应的景物的名称。表1示例性示出了B1～B9的标签：
表1
块编号 标签
B1 对象2(树)
B2 对象2(树)
B3 对象5(天空)
B4 对象2(树)
B5 对象3(礁石)
B6 对象1(狗)
B7 对象4(沙滩)
B8 对象3(礁石)
B9 对象3(礁石)
例如，像分割算法可以确定左图03中图像特征的图像块：B1、B2、B4，然后基于对象识别的结果将上述B1、B2、B4标记为对象2(树)。这样，电子设备100可以通过图像分割算法确定图像中为同一个景物和/或同一类景物的图像块。
本申请实施例对图像分割算法不做具体限定，例如图像分割算法包括边缘分割算法、阈值分割算法、语义分割算法。
S204：确定裁剪后的左图中各像素点的深度信息。
在一些实施例中，基于第一摄像头和第二摄像头的位置差，电子设备100利用双目测距算法对裁剪后的左图(左图03或左图04)和右图(右图01或右图02)进行处理，获取左图中的各个像素点的深度信息。
在另一些实施例中，电子设备100可以将裁剪后的一组双目图像，即上述左图(左图03或左图04)和右图(右图01或右图02)，输入训练好的深度学习模型。基于训练阶段学习到的不同对象在不同焦距下的成像特点，深度学习模型可以输出上述一组双目图像中的主摄图像(即左图)的各个像素点的深度信息。
S205：确定图像块的深度，并根据图像块的深度确定各图像块的模糊度。
在执行S203～S204完成之后，电子设备100可以确定裁剪后的左图中的为同一个景物和/或同一类景物的图像块，同时，电子设备100还可以确定各个图像中各个像素点的深度。这时，电子设备100可通过上述像素点的深度，确定裁剪后的左图中各个图像块的深度。
以图6所示的左图03为例，在执行S204所示的操作之后，电子设备100可以确定左图03各个像素点的深度。然后，电子设备100可以以图像分割算法确定的图像块为单位，统计各个图像块中的像素点的深度。可选的，电子设备100可以用各个图像块中全部像素点的深度的均值表示该图像块的深度。
示例性的，经过上述处理，电子设备100可确定左图03中各个图像块的深度如表2所示：
表2
块编号 标签 深度 模糊度
B1 对象2(树) S4 S4
B2 对象2(树) S3 S3
B3 对象5(天空) S9 S9
B4 对象2(树) S5 S5
B5 对象3(礁石) S6 S6
B6 对象1(狗) S1 0
B7 对象4(沙滩) S2 S2
B8 对象3(礁石) S7 S7
B9 对象3(礁石) S8 S8
其中，S1～S9的深度依次增加，即S1＞S2＞S3＞S4＞S5＞S6＞S7＞S8＞S9。
在确定各个图像块的深度之后，电子设备100可根据图像块的深度和第一摄像头的焦距确定各个图像块的模糊度。电子设备100可计算各个图像块的深度与摄像头焦距的差值(记为深焦差)。深焦差对应图像块的模糊度。示例性的，电子设备100可将深焦差在景深范围内的图像块的模糊度设置为0。此时，该图像块的模糊度＝0指示该图像块清晰。如果图像块的深焦差不在景深范围内时，该图像块的深焦差＝模糊度≠0。该图像块的深焦差指示了该图像块的模糊度，且上述模糊度指示上述图像块模糊。
例如，参考表2，当第一摄像头的焦距在S1附近时(图像块B6的深焦差在第一摄像头的景深范围内，其他图像块的深焦差不在第一摄像头的景深范围内)，电子设备100可将图像块B6的模糊度设置为0。此时，B6的模糊度＝0指示B6清晰。对于景深之外的其他图像块，即B6之外的图像块，电子设备100可将上述各个图像块的深度(≠0)设置为对应图像块的模糊度。例如，将图像块B7的模糊度设置为S2。于是，电子设备100可得到各个图像块的模糊度。
在一些实施例中，电子设备100预设有深焦差与模糊度的对应关系：深度与焦距的差距越大，则该对象在图像中成像越模糊，即该对象的模糊度越高。反之，深度与焦距的差距越小，则该对象的模糊度越低，即成像越清晰。电子设备100也可以根据上述对应关系，确定一个图像块的深度对应的模糊度。
S206：对模糊图像块进行图像处理使之清晰。
电子设备100可将标记了模糊度的图像块的图像输入模糊度学习模型。基于训练阶段学习到的不同模糊度下各个对象的图像特征，模糊度学习模型可以使用已学习的特定对象的图像特征渲染输入图像中该对象对应的模糊图像块，从而提高输入图像中模糊图像块的清晰度，使之清晰。在处理完之后，模糊度学习模型可输出清晰度更高的图像，记为去离焦模糊图像。
模糊度学习模型首先可根据上述各个图像块的模糊度确定哪些图像块是清晰的，哪些图像块是模糊的。以表2所示的图像块B1～B9对应的左图03为例，模糊度学习模型可依据B6的模糊度＝0确定B6是清晰的，B6之外的图像块(模糊度≠0)是模糊的。然后，模糊度学习模型可基于训练阶段可学习到各类景物处于不同模糊度的图像特征，对模糊图像块进行去模糊处理，使之清晰。以模糊图像块B7为例，模糊度学习模型在训练阶段可学习到不同模糊度下沙滩的图像特征，然后，模糊度学习模型可利用上述图像特征对左图03中的B7进行去模糊处理。基于上述图像特征，处理后的B7比处理前的B7的清晰度更高。这样，用户可以得到的处理后的屏蔽离焦模糊的图像，从而提升拍摄体验。
在一些实施例中，电子设备100内可设置有模糊度阈值。当图像块的模糊度超过上述模糊度阈值时，电子设备100可对该图像块进行去模糊处理，以降低计算成本，提升去模糊处理的效率。
例如，模糊度阈值可以设置为S3。这时，电子设备100可只对B1、B3、B4、B5、B8、B9进行去模糊处理。模糊度不等于0但模糊度较低的B2、B7(轻微模糊)无需进行去模糊处理。这样，电子设备100可以节省计算成本，提升去模糊处理的效率。
参考图7，图6所示的部分图像块模糊的左图03在经过模糊度学习模型的处理之后，可以成为图7所示的图像：距离第一摄像头焦距较远的对象2(树)、对象3(礁石)、对象5(天空)的图像块也更加清晰。图7所示的图像即去离焦模糊图像。
S207：显示处理后的清晰的图像。
在一些实施例中，在检测到启用去模糊拍摄的方法之后，电子设备100可以实时地对第一摄像头、第二摄像头生成的各组双目图像进行S201-S206所示的处理去离焦模糊处理。这时，电子设备100可在预览窗101中展示处理后的去离焦模糊图像。在检测到用户的拍摄操作之后，电子设备100可将预览窗101中展示去离焦模糊图像保存下来。随后，用户可以通过图库等应用程序随时浏览和使用上述去离焦模糊图像。
在另一些实施例中，电子设备100可以在检测到用户的拍摄操作之后，获取与上述拍摄操作同一时刻的一组双目图像。然后，电子设备100可对上述一组双目图像执行S201-S206所示的处理去离焦模糊处理，得到去离焦模糊图像，并保存下来。这时，预览窗101中可展示第一摄像头或第二摄像头初始生成的图像。随后，用户可以通过图库等应用程序随时浏览和使用上述去离焦模糊图像。
图8A-图8C是本申请实施例提供的在拍摄过程中实施去模糊处理的一组用户界面。
如图8A所示，相机应用可在模式栏102中增加一种对应S201-S207所示的拍摄方法的拍摄模式，例如“双目”模式。
在选择“双目”模式之后，电子设备100可开启两个摄像头(第一摄像头、第二摄像头)分别采集各自取景范围内的景物生成图像。上述第一、第二摄像头例如前述介绍的广角摄像头和长焦摄像头。可选的，上述第一、第二摄像头还可以是超广角摄像头、微距摄像头、黑白摄像头等，本申请实施例对此不作限制。预览窗101可显示上述两个摄像头中任意一个摄像头生成的图像(带离焦模糊)，参考图1的介绍，这里不再赘述。
某一时刻，电子设备100可检测到作用于拍摄控件103的用户操作。响应于上述用户操作，电子设备100可获取当前时刻第一、第二摄像头生成的一组双目图像(左图01、右图02)。然后，电子设备100可按照S202-S206所示的方法，对左图01进行去离焦模糊处理，从而得到去离焦模糊的左图。随后，电子设备100将上述去离焦模糊的左图保存下来。
参考图8B，在保存完成后，电子设备100可在控件104上可显示保存的图像的缩略图。电子设备100可检测到作用于控件104的用户操作。响应于上述用户操作，电子设备100可展示保存的图像，参考图8C。如图8C所示，相比于预览窗101中显示的图像，保存下来的图像是经过去离焦模糊处理的清晰图像：对象1、对象2、对象3均是清晰的。
实施图8A-图8C所示的方法，电子设备100可以在预览窗101可显示开启的两个摄像头中的任意一个摄像头初始生成的图像。在检测到用户的拍照操作后，电子设备100再对拍照操作对应时刻的双目图像进行去离焦模糊处理，保存清晰图像。这样，电子设备100无需实时地对每一组双目图像进行去离焦模糊处理，从而降低计算成本，降低处理器负载，避免卡顿。
图9A-图9C是本申请实施例提供的在拍摄过程中实施去模糊处理的另一组用户界面。
如图9A所示，电子设备100也可以实时地对摄像头上报的每一组双目图像进行去离焦模糊处理，然后在预览窗101中显示处理后的清晰图像。在检测到作用于拍摄控件103的用户操作后，电子设备100可将预览窗101中显示处理后的清晰图像保存下来，并在控件104上显示保存的图像的缩略图，参考图9B。响应于作用在控件104的用户操作，电子设备100可显示图9C所示的用户界面，展示保存的图像。此时，图9C所示的保存的图像与预览窗101中展示的图像相同，均是去模糊处理后的清晰图像。
实施图9A-图9C所示的方法，电子设备100可以实时地在预览窗101中显示去模糊处理后的清晰图像。这样，用户在预览时看到的图像即拍摄后得到的图像，从而提升用户拍摄体验。
可以理解的，图3所示的图像处理方法，还可应用在拍摄视频的场景中。在开始录制视频之后，电子设备100可将视频录制期间生成的双目图像依次执行S202-S206所示的图像处理，从而得到去除离焦模糊的图像流。然后，电子设备100可编码上述图像流，得到清晰的，不带离焦模糊的视频。这样，用户可以快速便捷地获得清晰的视频。
在一些实施例中，电子设备100上也可安装有深度摄像头。上述深度摄像头例如飞行时间(Time of Flight，TOF)摄像头。深度摄像头可以输出一张带有深度信息的图像，即RGBD图像。图像中每个像素点除了记录有该点的颜色值，还记录了该点对应景物的深度。这时，电子设备100只需将上述RGBD图像输入图像分割算法，根据图像内容确定以景物类别划分的图像块。然后，电子设备100可基于RGBD图像携带的像素点的深度，确定各个图像块的深度，进而确定各个图像块的模糊度，对模糊图像块进行去模糊处理。在该实施例中，电子设备100无需开启两个摄像头获取一组双目图像，也无需根据双目图像确定图像中各像素点的深度。
在一些实施例中，电子设备100上也可安装有两个焦距相同的摄像头。在获取双目图像时，电子设备100可以使用上述焦距相同的两个摄像头获取一组双目图像。该组双目图像中图像内容的差别全部来自于摄像头安装位置的差距。这时，电子设备100无需对上述双目图像进行缩放、裁剪，即无需执行S202所示的步骤。电子设备100可以直接进行图像分割和深度计算，得到携带深度信息的图像块。
在本申请实施例中：
在S201中，第一摄像头生成的图像，即左图01，可称为第一图像。如图4中左图01所示，左图01中的对象1(狗)可称为第一对象，左图01中的对象2(树)可称为第二对象。第一摄像头生成的左图01时的焦距可称为第一焦距。此时，第一焦距在对象1(狗)所处的位置。如图2C所示，以第一焦距为中心构成的成像清晰的深度范围可称为第一景深。
第二摄像头生成的右图01时的焦距可称为第二焦距。如图4中右图01所示，此时，第二焦距在对象2(树)所处的位置。
在S203中，第一对象所在的图像块B6对应的像素点区域可称为第一区域，第二对象所在的图像块B1、B2或B4对应的像素点区域可称为第二区域。
如图5A所示，左图01等比例放大到左图02的放大倍率可称为第一缩放倍率。如图5B所示，右图01等比例缩小到右图02的缩小倍率可称为第二缩放倍率。
图10是本申请实施例提供的电子设备100的硬件结构图。
电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，触摸传感器180，摄像头193，显示屏194等。
可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)。显示面板还可以采用有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，miniled，microled，micro-oled，量子点发光二极管(quantum dot light emitting diodes，QLED)等制造。在一些实施例中，电子设备可以包括1个或N个显示屏194，N为大于1的正整数。
在本申请实施例中，电子设备100可通过GPU，显示屏194，以及应用处理器提供的显示功能显示图1、图8A-图8C、图9A-图9C所示的用户界面，以供用户预览摄像头生成的图像，控制电子设备拍摄图像，浏览保存的图像等。
电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。
在本申请实施例中，电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器提供的拍摄功能，实现图1、图8A-图8B、图9A-图9B所示的拍摄图像的功能。
内部存储器121可以包括一个或多个随机存取存储器(random access memory，RAM)和一个或多个非易失性存储器(non-volatile memory，NVM)。随机存取存储器可以包括静态随机存储器(static random-access memory，SRAM)、动态随机存储器(dynamicrandom access memory，DRAM)、同步动态随机存储器(synchronous dynamic randomaccess memory,SDRAM)、双倍资料率同步动态随机存取存储器(double data ratesynchronous dynamic random access memory,DDR SDRAM，例如第五代DDR SDRAM一般称为DDR5 SDRAM)等。非易失性存储器可以包括磁盘存储器件、快闪存储器(flash memory)。
随机存取存储器可以由处理器110直接进行读写，可以用于存储操作系统或其他正在运行中的程序的可执行程序(例如机器指令)，还可以用于存储用户及应用程序的数据等。非易失性存储器也可以存储可执行程序和存储用户及应用程序的数据等，可以提前加载到随机存取存储器中，用于处理器110直接进行读写。
在本申请实施例中，实施本申请提供的去离焦模糊拍摄方法的应用程序代码可存储在非易失性存储器中。在开启相机应用，进入“双目”模式后，电子设备100可将存储在非易失性存储器中程序代码加载到随机存取存储器，以供处理执行每行代码，从而实现图8A-图8C、图9A-图9C所示的拍摄功能。
外部存储器接口120可以用于连接外部的非易失性存储器，实现扩展电子设备100的存储能力。外部的非易失性存储器通过外部存储器接口120与处理器110通信，实现数据存储功能。在本申请实施例中，拍摄后保存的图像存储到外部存储器接口120连接的外部存储器中。
电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A播放音乐、免提通话等。受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。耳机接口170D用于连接有线耳机。
在本申请实施例中，在实施图8A-图8C、图9A-图9C所示的拍摄功能的同时，电子设备100还可通过音频模块170提供的功能在拍摄过程中采集对应拍摄场景下音频信息，从而得到有声视频。
触摸传感器180，也称“触控器件”。触摸传感器180可以设置于显示屏194，由触摸传感器180与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180也可以设置于电子设备100的表面，与显示屏194所处的位置不同。
在本申请实施例中，电子设备100通过触摸传感器180检测作用于屏幕上任意位置的用户操作，例如图8A中介绍的作用于拍摄控件103的用户操作、图8B中介绍的作用于控件104的用户操作等等。
本申请的说明书和权利要求书及附图中的术语“用户界面(user interface，UI)”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。应用程序的用户界面是通过java、可扩展标记语言(extensible markup language，XML)等特定计算机语言编写的源代码，界面源代码在终端设备上经过解析，渲染，最终呈现为用户可以识别的内容，比如图片、文字、按钮等控件。控件(control)也称为部件(widget)，是用户界面的基本元素，典型的控件有工具栏(toolbar)、菜单栏(menu bar)、文本框(text box)、按钮(button)、滚动条(scrollbar)、图片和文本。界面中的控件的属性和内容是通过标签或者节点来定义的，比如XML通过<Textview>、<ImgView>、<VideoView>等节点来规定界面所包含的控件。一个节点对应界面中一个控件或属性，节点经过解析和渲染之后呈现为用户可视的内容。此外，很多应用程序，比如混合应用(hybrid application)的界面中通常还包含有网页。网页，也称为页面，可以理解为内嵌在应用程序界面中的一个特殊的控件，网页是通过特定计算机语言编写的源代码，例如超文本标记语言(hyper text markup language，GTML)，层叠样式表(cascading style sheets，CSS)，java脚本(JavaScript，JS)等，网页源代码可以由浏览器或与浏览器功能类似的网页显示组件加载和显示为用户可识别的内容。网页所包含的具体内容也是通过网页源代码中的标签或者节点来定义的，比如GTML通过<p>、<img>、<video>、<canvas>来定义网页的元素和属性。
用户界面常用的表现形式是图形用户界面(graphic user interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。上述实施例中所用，根据上下文，术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地，根据上下文，短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (10)

1.一种图像处理方法，应用于电子设备，其特征在于，所述方法包括：
获取第一摄像头采集的第一图像，所述第一图像中包括第一对象和第二对象；获取第二摄像头采集的第二图像，所述第二图像与所述第一图像是在同一时刻采集的；所述第二摄像头采集所述第二图像时的第二焦距长于所述第一摄像头采集所述第一图像时的第一焦距；
对所述第一图像进行缩放和裁剪，所述缩放和裁剪后的第一图像与所述第二图像的尺寸相同，且包括所述第一对象和所述第二对象；
利用所述缩放和裁剪后的第一图像和所述第二图像中图像内容的位置差确定所述第一图像中像素点的深度；
通过图像分割算法确定所述第一图像中的第一区域和第二区域，所述第一区域为所述第一对象对应的像素点区域，所述第二区域为所述第二对象对应的像素点区域；
基于所述第一区域内的像素点的深度确定所述第一对象的深度；基于所述第二区域内的像素点的深度确定所述第二对象的深度；
基于所述第一焦距和所述第一对象的深度，确定所述第一图像中所述第一对象的模糊度；基于所述第一焦距和所述第二对象的深度，确定所述第一图像中所述第二对象的模糊度；所述第一对象的模糊度指示所述第一对象模糊，所述第二对象的模糊度指示所述第二对象清晰；
对所述第一图像中的所述第一对象进行去模糊处理，处理后的第一图像中的所述第一对象的清晰度提高，所述第二对象的清晰度不变。
2.根据权利要求1所述的方法，其特征在于，一个对象的模糊度为0时，所述模糊度指示所述对象清晰；一个对象的模糊度不为0时，所述模糊度指示所述对象模糊；其中，所述第一对象的模糊度不为0，所述第二对象的模糊度为0。
3.根据权利要求2所述的方法，其特征在于，所述第一焦距对应第一景深，当一个对象的深度在所述第一景深内时，所述对象的模糊度为0；当一个对象的深度在所述第一景深之外时，所述对象的模糊度不为0，所述对象的模糊度与所述对象的深度对应。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述电子设备内预设有模糊度阈值，所述第一对象的模糊度大于所述模糊度阈值。
5.根据权利要求1所述的方法，其特征在于，所述电子设备中预置有模糊度学习模型，所述模糊度用于学习不同模糊度下不同对象的图像特征；
所述对所述第一图像中的所述第一对象进行去模糊处理，具体为：所述模糊度学习模型基于已学习到的不同模糊度下的第一对象的图像特征，修改所述第一图像中的第一对象的像素点的颜色值。
6.根据权利要求1所述的方法，其特征在于，所述对所述第一图像进行缩放和裁剪，包括：根据所述第一焦距和所述第二焦距的差异确定第一缩放倍率；按所述第一缩放倍率放大所述第一图像；按所述第二图像的尺寸裁剪放大后的第一图像。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在拍摄界面的预览窗中显示所述第一图像；
在检测到用户做出的对所述第一图像的拍摄操作后，保存所述处理后的第一图像。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在拍摄界面的预览窗中显示所述处理后的第一图像；
在检测到用户做出的对所述处理后的第一图像的拍摄操作后，保存所述处理后的第一图像。
9.一种电子设备，其特征在于，包括一个或多个处理器和一个或多个存储器；其中，所述一个或多个存储器与所述一个或多个处理器耦合，所述一个或多个存储器用于存储计算机可执行程序，当所述一个或多个处理器执行所述计算机可执行程序时，使得执行如权利要求1-8任一项所述的方法。
10.一种计算机可读存储介质，包括计算机可执行程序，其特征在于，当所述计算机可执行程序在电子设备上运行时，使得执行如权利要求1-8任一项所述的方法。
CN202211038258.1A 2022-08-29 2022-08-29 一种图像处理方法 Active CN115567783B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211038258.1A CN115567783B (zh) 2022-08-29 2022-08-29 一种图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211038258.1A CN115567783B (zh) 2022-08-29 2022-08-29 一种图像处理方法

Publications (2)

Publication Number Publication Date
CN115567783A CN115567783A (zh) 2023-01-03
CN115567783B true CN115567783B (zh) 2023-10-24

Family

ID=84738601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211038258.1A Active CN115567783B (zh) 2022-08-29 2022-08-29 一种图像处理方法

Country Status (1)

Country Link
CN (1) CN115567783B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103973978A (zh) * 2014-04-17 2014-08-06 华为技术有限公司 一种实现重对焦的方法和电子设备
CN104065859A (zh) * 2014-06-12 2014-09-24 青岛海信电器股份有限公司 一种全景深图像的获取方法及摄像装置
CN104333703A (zh) * 2014-11-28 2015-02-04 广东欧珀移动通信有限公司 使用双摄像头拍照的方法和终端
CN105450931A (zh) * 2015-12-30 2016-03-30 联想(北京)有限公司 一种基于阵列相机的成像方法、装置和电子设备
CN107105158A (zh) * 2017-03-31 2017-08-29 维沃移动通信有限公司 一种拍照方法及移动终端
CN108259770A (zh) * 2018-03-30 2018-07-06 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110033413A (zh) * 2018-12-29 2019-07-19 阿里巴巴集团控股有限公司 客户端的图像处理方法、装置、电子设备、计算机可读介质
CN112532881A (zh) * 2020-11-26 2021-03-19 维沃移动通信有限公司 图像处理方法、装置和电子设备
CN114445315A (zh) * 2022-01-29 2022-05-06 维沃移动通信有限公司 图像质量增强方法和电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103973978A (zh) * 2014-04-17 2014-08-06 华为技术有限公司 一种实现重对焦的方法和电子设备
CN104065859A (zh) * 2014-06-12 2014-09-24 青岛海信电器股份有限公司 一种全景深图像的获取方法及摄像装置
CN104333703A (zh) * 2014-11-28 2015-02-04 广东欧珀移动通信有限公司 使用双摄像头拍照的方法和终端
CN105450931A (zh) * 2015-12-30 2016-03-30 联想(北京)有限公司 一种基于阵列相机的成像方法、装置和电子设备
CN107105158A (zh) * 2017-03-31 2017-08-29 维沃移动通信有限公司 一种拍照方法及移动终端
CN108259770A (zh) * 2018-03-30 2018-07-06 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110033413A (zh) * 2018-12-29 2019-07-19 阿里巴巴集团控股有限公司 客户端的图像处理方法、装置、电子设备、计算机可读介质
CN112532881A (zh) * 2020-11-26 2021-03-19 维沃移动通信有限公司 图像处理方法、装置和电子设备
CN114445315A (zh) * 2022-01-29 2022-05-06 维沃移动通信有限公司 图像质量增强方法和电子设备

Also Published As

Publication number Publication date
CN115567783A (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
CN110493538B (zh) 图像处理方法、装置、存储介质及电子设备
TW202042175A (zh) 圖像處理方法及裝置、電子設備和電腦可讀儲存媒體
CN113747085B (zh) 拍摄视频的方法和装置
US20190089910A1 (en) Dynamic generation of image of a scene based on removal of undesired object present in the scene
US20230217097A1 (en) Image Content Removal Method and Related Apparatus
CN112367459B (zh) 图像处理方法、电子装置及非易失性计算机可读存储介质
WO2022076116A1 (en) Segmentation for image effects
CN106612396B (zh) 一种拍照装置、终端及方法
CN113810604B (zh) 文档拍摄方法、电子设备和存储介质
CN112116624A (zh) 一种图像处理方法和电子设备
CN115689963B (zh) 一种图像处理方法及电子设备
CN112634160A (zh) 拍照方法及装置、终端、存储介质
WO2022088946A1 (zh) 一种弯曲文本的字符选择方法、装置和终端设备
WO2020078102A1 (zh) 图像增强方法、装置和计算机可读存储介质
JP2024502117A (ja) 画像処理方法、画像生成方法、装置、機器及び媒体
WO2019184719A1 (zh) 一种拍照的方法和装置
CN108259767B (zh) 图像处理方法、装置、存储介质及电子设备
CN114500821B (zh) 拍照方法及装置、终端及存储介质
CN116916151B (zh) 拍摄方法、电子设备和存储介质
CN108810326B (zh) 一种拍照方法、装置及移动终端
WO2021103574A1 (zh) 一种图像缩放方法、装置、终端及存储介质
CN111311588B (zh) 重定位方法及装置、电子设备和存储介质
CN115567783B (zh) 一种图像处理方法
CN114697530B (zh) 一种智能取景推荐的拍照方法及装置
CN115914860A (zh) 一种拍摄方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant