CN112532854B - 一种图像处理方法与电子设备 - Google Patents

Abstract

本申请提供了一种图像处理方法与电子设备。该方法应用于包括至少一个摄像头的电子设备，该方法包括：电子设备接收用户作用于相机应用的操作，该操作用于触发至少一个摄像头采集图像，然后，响应于该拍照操作，电子设备对采集的目标图像进行场景识别，其中，预览界面中的图像包括人像。当场景识别的识别结果为预设场景时，对预览界面中的图像进行人像校正处理；其中，预设场景满足如下至少一个设定条件：第一设定条件：目标图像是三维图像；第二设定条件：目标图像是单个人物且为近景人像；第三设定条件：目标图像是多个人物且人物处于图像边界。该方法可以准确确定出需要进行校正的人像，从而进行校正，增强人像美感，以提升人像拍摄质量。

Description

一种图像处理方法与电子设备

技术领域

本申请涉及终端技术领域，尤其涉及一种图像处理方法与电子设备。

背景技术

随着终端技术的进步，电子设备中各种功能不断完善。其中，电子设备中的拍照功能已经成为用户使用频率较高的功能之一。比如，用户旅行时，遇到美丽的风景时，用户希望拍摄出满意的图像作为留念，再比如说，用户使用电子设备(比如手机)自拍的次数越来越多。但是大部分用户并不非专业摄影人员，拍摄技术水平参差不齐，而且用户对美颜拍摄的需求日益增长，一般用户都希望拍摄出成像效果好的图像。

目前，在手机摄影中，人像在透过镜头投影到像平面过程中，会由于镜头模组的变形、透视投影等原因而产生变形。现有技术，当识别到图像有人像时，就会将人像和背景分别处理，再融合，例如，将人像映射到球面投影，背景映射到透视投影，再对图像像素进行融合，输出校正后图像。虽然这样能够解决人脸变形的问题，但是部分图像经过上述处理后的图像可能存在失真的问题，例如人脸周围的线条可能会发生弯曲，或者人脸和身体出现不协调问题，影响视觉效果。

发明内容

本申请提供了一种图像处理方法和电子设备，该方法可以准确确定出需要进行校正的人像，从而进行校正，增强人像美感，以提升人像拍摄质量。

第一方面，本申请实施例提供一种图像处理方法，该方法可以由电子设备执行。该电子设备可以包括至少一个摄像头，比如，手机、平板电脑等。该方法包括：接收用户作用于相机应用的操作，操作用于触发至少一个摄像头采集图像；

响应于操作，对采集的目标图像进行场景识别，其中，采集的目标图像包括人像；

当场景识别的识别结果为预设场景时，对目标图像进行人像校正处理；

其中，预设场景满足如下至少一个设定条件：第一设定条件：目标图像是三维图像；第二设定条件：目标图像包括单个人像且为近景人像；第三设定条件：目标图像是多个人像且至少一个人像处于目标图像边界。

本申请实施例中，电子设备通过上述条件准确地确定出需要校正的人像，再对确定出来的人像进行校正，增强人像美感，以提升人像拍摄质量。

在一种可能的设计中，电子设备可以通过如下方式确定目标图像是否满足第一设定条件，具体方式是：若目标图像是前置摄像头所采集的，根据飞行时间测距法TOF确定目标图像的物距信息，并根据物距信息，确定目标图像是否为三维图像；或者，若目标图像是由至少两个摄像头所采集的图像合成的，则根据不同后置摄像头所采集的至少两副图像，确定目标图像的深度信息，并根据深度信息，确定目标图像是否为三维图像。

应理解，电子设备通过上述方式可以准确确定出三维图像，从而准确确定出需要进行校正的人像，有助于增强人像美感，进而提升图像拍摄质量。

在一种可能的设计中，电子设备可以通过如下方式确定目标图像是否满足第二设定条件，具体方式是：确定目标图像中的人像占比，人像占比为人像对应的像素区域与目标图像的像素总个数之间的比例，当人像占比大于设定比例时，确定目标图像为近景人像；或者，根据深度信息和物距信息，确定目标图像为近景人像。

应理解，电子设备通过上述方式可以准确确定出近景图像，从而准确确定出需要进行校正的人像，有助于增强人像美感，进而提升图像拍摄质量。

在一种可能的设计中，电子设备可以通过如下方式确定目标图像是否满足第三设定条件，具体方式是：当人像对应的像素区域中超过设定视场角的像素个数占目标图像的像素总个数之间的比例大于第一阈值时，确定人像处于目标图像边界；或者，确定目标图像的图像中心区域和图像边界区域，若位于图像中心区域的人像的像素个数与人像对应的像素区域总像素个数之间的比例小于第二阈值，则确定人像处于目标图像边界；或者，若人像位于图像边界区域，则确定人像处于目标图像边界。

应理解，电子设备通过上述方式可以准确确定出人像处于目标图像边界，从而准确确定出需要进行校正的人像，有助于增强人像美感，进而提升图像拍摄质量。

第二方面，本申请实施例提供一种图像处理方法，该方法可以由电子设备执行。该方法包括：接收用户作用于图库应用中图像的编辑操作；响应于编辑操作，对用户选择的目标图像进行场景识别，其中，目标图像包括人像；

当场景识别的识别结果为预设场景时，对目标图像进行人像校正处理；

其中，预设场景满足如下至少一个设定条件：第一设定条件：目标图像是三维图像；第二设定条件：目标图像包括单个人像且为近景人像；第三设定条件：目标图像是多个人像且至少一个人像处于目标图像边界。

本申请实施例中，电子设备通过上述条件确定需要校正的人像，再对确定出来的人像进行校正，增强人像美感，以提升人像拍摄质量。

第三方面，本申请实施例还提供一种电子设备，该电子设备包括：显示屏，一个或多个处理器；存储器；一个或多个程序；其中一个或多个程序被存储在存储器中，所述一个或多个程序包括指令，当所述指令被所述电子设备执行时，使得所述电子设备执行如第一方面中任一所述的方法步骤。

第四方面，本申请实施例还提供了一种电子设备，所述电子设备可以包括执行第一方面或者第一方面的任意一种可能的设计的方法的模块/单元；这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。

第五方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质包括程序指令，当所述程序指令在电子设备上运行时，使得所述电子设备执行如第一方面中任一项所述的方法。

第六方面，本申请实施例还一种程序产品，当所述程序产品在电子设备上运行时，使得所述电子设备执行如第一方面中任一项所述的方法。

第七方面，本申请实施例还提供一种电子设备上的用户图形界面，所述电子设备具有显示屏、存储器、以及一个或多个处理器，所述一个或多个处理器用于执行存储在所述存储器中的一个或多个计算机程序，所述图形用户界面可以包括所述电子设备执行上述第一方面或上述第一方面的任意一种可能的设计的方法时显示的图形用户界面。

附图说明

图1为本申请实施例提供的一种应用场景的示意图；

图2为本申请实施例提供的手机100的硬件结构的示意图；

图3为本申请实施例提供的手机100的用户图形界面的示意图；

图4为本申请实施例提供的手机100的用户图形界面的示意图；

图5A和图5B为本申请实施例提供的手机100的用户图形界面的示意图；

图6为本申请实施例提供的手机100的用户图形界面的示意图；

图7为本申请实施例提供的一种图像处理方法流程示意图；

图8为本申请实施例提供的另一种图像处理方法流程示意图；

图9A至图9C为本申请实施例提供的图像处理方法流程示意图；

图10为本申请实施例提供的另一种图像处理方法流程示意图；

图11为本申请实施例提供的一种电子结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

以下，对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

本申请实施例涉及的像素，为一张图像上的最小成像单元。一个像素可以对应图像上的一个坐标点。像素可以包括一个参数(比如灰度)，也可以是多个参数的集合(比如灰度、亮度、颜色等)。如果像素包括一个参数，那么像素值就是该参数的取值，如果像素是多个参数的集合，那么像素值包括所述集合中每个参数的取值。

本申请实施例涉及的像平面坐标系，即电子设备的成像坐标系，电子设备采集到拍摄对象的表面发射的光信号之后，将光信号转换成电信号，然后将电信号转换成像素，并在像平面坐标系中标记像素，得到图像，所以电子设备拍摄得到的图像是建立在像平面坐标系中的图像。

本申请实施例涉及的多个，是指大于或等于两个。需要说明的是，在本申请实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。

参见图1所示，为本申请实施例提供的一种应用场景的示例。如图1所示，用户使用手机拍照。手机启动前置摄像头和后置摄像头。前置摄像头或后置摄像头捕捉第一图像，该第一图像中包括用户的人脸和环境背景。

现有技术中，一旦识别到图像中有人像就进行校正处理，导致部分图像经过校正处理之后出现失真的问题。为此，本申请实施例提供一种图像处理方法，该方法中，电子设备会对原始的人像进行场景识别，当识别结果为预设场景时，才启动校正处理，输出校正后的图像，其中，预设场景满足如下至少一个设定条件：第一设定条件：人像是三维图像；第二设定条件：人像是一个人物的人像且为近景人像；第三设定条件：人像是多个人物的人像且人物处于图像边界。本申请实施例通过上述图像处理方法可以对人像的变形问题进行校正，可以增强人像美感，提升人像拍摄质量。

以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请实施例中，“一个或多个”是指一个、两个或两个以上；“和/或”，描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

以下介绍电子设备、用于这样的电子设备的图形用户界面(graphical userinterface，GUI)、和用于使用这样的电子设备的实施例。在本申请一些实施例中，电子设备可以是包含至少两个摄像头(比如一个前置摄像头和一个后置摄像头)的便携式终端，诸如手机、平板电脑、数码相机、可穿戴设备(如智能手表)等。便携式终端的示例性实施例包括但不限于搭载

或者其它操作系统的便携式终端。上述便携式终端也可以是其它便携式终端，只要包含至少一个摄像头(比如前置摄像头、后置摄像头)即可。

通常情况下，电子设备可以支持多种应用。比如以下应用中的一个或多个：相机应用、即时消息收发应用等。其中，即时消息收发应用可以有多种，比如微信、腾讯聊天软件(QQ)、WhatsApp Messenger、连我(Line)、Kakao Talk、钉钉等。用户通过即时消息收发应用，可以将文字、语音、图片、视频文件以及其他各种文件等信息发送给其他联系人；或者用户可以通过即时消息收发应用与其他联系人实现语音、视频通话等。下文中设计的应用可以是电子设备出厂时自带的系统应用，也可以是电子设备从网络侧下载并安装的第三方应用，或者是电子设备接收其它电子设备发送的应用，本申请实施例不作限定。

以电子设备是手机为例，图2示出了手机100的结构示意图。如图2所示，手机100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serialbus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块151，无线通信模块152，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。

其中，处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。其中，控制器可以是手机100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。在本申请实施例中，处理器110可以运行图像拍摄算法的软件代码/模块，执行相应的拍摄流程，拍摄得到人眼中景物的图像，具体的拍摄流程将在后文介绍。

显示屏194用于显示手机100中的应用的显示界面，比如相机的取景界面，微信的聊天界面等等，还可以显示图库中的图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dotlight emitting diodes，QLED)等。在一些实施例中，手机100可以包括1个或N个显示屏194，N为大于1的正整数。

摄像头193用于捕获静态图像、动态图像或视频。在本申请实施例中，手机100中摄像头193的数量可以是至少一个。以两个为例，其一个是前置摄像头，另一个是后置摄像头；以三个为例，其中一个是前置摄像头，另外两个是后置摄像头。需要说明的是，摄像头193可以是广角摄像头、长焦摄像头等等。比如，仍然以两个摄像头为例，前置摄像头可以长焦摄像头，后置摄像头可以是广角摄像头，这样的话，后置摄像头采集的图像的视场角较大，图像信息较为丰富，具体过程将在后文介绍。通常，摄像头193可以包括感光元件比如镜头组和图像传感器，其中，镜头组包括多个透镜(凸透镜或凹透镜)，用于采集待拍摄物体(比如用户人脸、风景等)反射的光信号，并将采集的光信号传递给图像传感器。图像传感器根据所述光信号生成待拍摄物体的图像。若手机100的显示屏194显示相机的取景界面，则显示屏194在所述取景界面中显示所述图像。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行手机100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如相机，图库、微信等)等。存储数据区可存储手机100使用过程中所创建的数据(比如图像，视频等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

其中，距离传感器180F，用于测量距离。手机100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，手机100可以利用距离传感器180F测距以实现快速对焦。在另一些实施例中，手机100还可以利用距离传感器180F检测是否有人或物体靠近。接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。手机100通过发光二极管向外发射红外光。手机100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定手机100附近有物体。当检测到不充分的反射光时，手机100可以确定手机100附近没有物体。手机100可以利用接近光传感器180G检测用户手持手机100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器180L用于感知环境光亮度。手机100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测手机100是否在口袋里，以防误触。指纹传感器180H用于采集指纹。手机100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。温度传感器180J用于检测温度。在一些实施例中，手机100利用温度传感器180J检测的温度，执行温度处理策略。

触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于手机100的表面，与显示屏194所处的位置不同。

另外，手机100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。手机100可以接收按键190输入，产生与手机100的用户设置以及功能控制有关的键信号输入。手机100可以利用马达191产生振动提示(比如来电振动提示)。手机100中的指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。手机100中的SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和手机100的接触和分离。

可以理解的是，本发明实施例示意的结构并不构成对手机100的具体限定。在本申请另一些实施例中，手机100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

为了便于理解，本申请以下实施例将以具有图2所示结构的手机为例，结合附图分如下场景对本申请实施例提供的图像处理方法进行具体阐述。

场景1：相机

示例1，参见图3(a)所示，手机100显示主界面(home screen)300，主界面300中包括多个应用的图标，其中包括相机的图标301。手机100检测到针对图标301的点击操作时，启动后置摄像头，显示取景界面310。如图3(b)所示，取景界面310中显示预览图像，该预览图像是后置摄像头采集的图像，该图像中包括风景和人物。

在一种可能的实施例中，当手机100识别出后置摄像头采集的图像中包括人像，可以输出提示信息，该提示信息用于提示已进入“校正模式”。当手机100检测到用户作用于拍照控件311的操作时，手机100采用本申请所提供的图像处理算法识别图像是否为预设场景，若是，则进行校正处理。

在一些可能的实施例中，当手机100检测到用户作用于图3(b)中的摄像头切换控件312的操作时，可以关闭后置摄像头，启动前置摄像头，显示取景界面320。如图3(c)所示，取景界面320中显示预览图像，该预览图像是前置摄像头采集的人脸图像。当手机100检测到用户作用于拍照321控件的操作时，且确定切换之后前置摄像头采集的图像中包括人像时，自动进入“校正模式”，无需输出提示信息。

需要说明的是，当电子设备未开启校正模式之前，取景界面可以显示的是经过光学畸变校正但未经过人像校正后的图像。当电子设备开启校正模式之后，取景界面可以显示的是经过光学畸变校正且经过人像校正后的图像。

示例2，本申请实施例还可以提供如下方式以便于用户启动“校正模式”，具体方式如下。

方式一，参见图4(a)所示，手机100显示取景界面400，取景界面400中包括预览图像，该预览图像是前置摄像头或者后置摄像头采集的图像。取景界面中包括控件401。当手机100检测到用于作用于控件401的操作时，手机100进入“校正模式”。当手机100检测到用户作用于拍照控件或者录像控件的操作时，手机100采用本申请所提供的图像处理算法识别图像是否为预设场景，若是，则进行校正处理。

方式二，参见图4(b)所示，手机100显示取景界面410，取景界面410中包括预览图像，该预览图像是前置摄像头或者后置摄像头采集的图像。取景界面中包括拍摄模式选项控件411。当手机100检测到用户作用于拍摄模式选项控件411的操作时，显示包含多种拍摄模式的选择框，其中包括“校正模式”控件412。当手机100检测到用户作用于“校正模式”控件412的操作时，进入“校正模式”。当手机100检测到用户作用于拍照控件或者录像控件的操作时，手机100采用本申请所提供的图像处理算法识别图像是否为预设场景，若是，则进行校正处理。

方式三，参见图4(c)所示，手机100显示取景界面420，取景界面420中包括预览图像，该预览图像是前置摄像头或者后置摄像头采集的图像。取景界面中包括荧光棒控件421。当手机100检测到用户作用于荧光棒控件421的操作时，显示包含“校正模式”选项422和滤镜选项。当手机100检测到针对“校正模式”选项422的操作时，进入“校正模式”。当手机100检测到用户作用于拍照控件或者录像控件的操作时，手机100采用本申请所提供的图像处理算法识别图像是否为预设场景，若是，则进行校正处理。

应理解，上述示例2中，用户可以采用各种方式手动控制手机100进入“校正模式”。图4仅是列举三种用户手动设置手机100进入“校正模式”的方式，在实际应用中，还可以有其它的手动进入“校正模式”的方式，本申请实施例不再一一列举。

另外，在一种可能的实施例中，当手机100检测到用户作用于拍照控件或者录像控件的操作时，手机显示如图4(d)所示的界面430，该界面430中包括提示框431，该提示框431用于提醒用户是否保留视场角，用户可以在倾向于保存更大视野范围时选择保保留选项432，若用户经过对比，认为不保留视场角对于人像校正效果有正向的影响，并且用户对视野范围的敏感度不高时，则可以选择不保留选项433。

需要说明的是，如果直接对图像做校正而不启动保留视场角的算法，则图像在裁剪过程中会损失视场角，而若启动保留视场角的算法，则校正后人像需要适应视场角范围。

场景二：图库

参见图5A(a)所示，手机100显示主界面500，主界面500中包括多个应用的图标，其中包括图库的图标501。手机100检测到用户作用于图库的图标501的操作时，显示界面510。如图5A(b)所示，界面510包括多张图像的缩略图。手机100检测到针对缩略图511的操作，显示界面520。如图5A(c)所示，界面520显示有图像521(缩略图511对应的图像)。手机100检测到用户作用于编辑控件522的操作时，显示多个选项，比如“校正模式”选项和“滤镜”选项。当手机100检测到选中“校正模式”选项后，手机100显示界面530，如图5A(d)所示。界面530中包括提示信息，该提醒信息显示“进入校正模式”，界面530中还包括图像选择框，该图像选择框中包括校正前后的图像的缩略图。当手机100检测到用户作用于校正后的缩略图531的操作时，在缩略图531下方标记533，该标记用于指示缩略图531被选中；当手机100检测到用户作用于校正后的缩略图532的操作时，在缩略图532下方标记533，该标记用于指示缩略图532被选中。

该场景二中，取景界面中显示的图像为前置摄像头拍摄的人像，容易发生近距离透视人像变形，主要特征是：图像呈现较为不协调的人像，人脸中心区域(一般是以鼻子为轴)呈现膨胀的状态，尤以中心点鼻子最为显著，脸型也会随之变形，此外当透视变形严重时，距离镜头较远的耳朵或人脸边缘也许会消失。如图5A(c)为校正前的图像所示，原图521中鼻子出现呈现膨胀的变形问题，校正后的图像531已修正该问题，校正后的图像如图5B(e)所示。

场景三：第三方应用

需要说明的是，第三方应用可以是手机100从网络侧下载并安装的修图软件。修图软件可以有多种，比如美图秀秀、vsco、MIX等，或者，修图功能也可以集成在上述场景二所示的图库中，本申请实施例对此不作限定。

示例性的，若手机100检测到用户首次将第三方应用修正之后的人像存储至图库应用时，则手机100显示如图6所示的界面600，界面600中显示图像601，以及提示框602，该提示框602用于提醒用户检测到人像，是否进行校正，若用户选择总是校正，则后续不再提示该提示框，然后手机100采用本申请所提供的图像处理算法识别图像是否为预设场景，若是，则进行校正处理，并将校正后的图像存入图库应用，如果不是预设场景，则不校正直接存储原图。

以上列举了三种可能的场景，需要说明的是，本申请实施例提供的方法还可以使用于其他场景，比如视频录制场景、微信的视频通话场景、微信中表情包制作场景等等。

基于上述场景，本申请实施例提供一种图像处理方法，该方法由电子设备执行，用于实现上述场景的校正模式对应的图像处理过程，具体步骤参见图7所示。

步骤701，电子设备对原始的人像进行场景识别。

步骤702，当识别结果为预设场景时，对人像进行校正处理，输出校正后的人像。

其中，预设场景满足如下至少一个设定条件：第一设定条件：人像是三维图像；第二设定条件：人像是单个人物且为近景人像；第三设定条件：人像是多个人物且人物处于图像边界。

在一种可能的实施例中，电子设备可以在对场景识别之前先对原始的人像进行光学畸变校正，以解决由于镜头模组变形所导致的图像变形问题。

具体来说，如图8A所示，步骤801，电子设备先对镜头模组所采集的图像进行光学畸变校正；步骤802，之后，电子设备对光学畸变校正后的图像进行场景识别。步骤803，电子设备根据场景识别结果，先判定该图像是否包括人像，若是则执行步骤804，否则执行步骤807。步骤804，电子设备根据识别结果确定是否为预设场景，若是则执行步骤805，否则执行步骤807。步骤805，电子设备对光学畸变校正后的图像进行人像校正。步骤806，电子设备对人像校正后的图像做裁剪，并输出裁剪后的图像；步骤807，电子设备对光学畸变校正后的图像做裁剪并输出。

下面预设场景的判断方式分别进行说明。

情况一

电子设备可以通过如下方式确定目标图像是否满足第一设定条件，具体方式是：若目标图像是前置摄像头所采集的，根据飞行时间测距法TOF确定目标图像的物距信息，并根据物距信息，确定目标图像是否为三维图像；或者，若目标图像是由至少两个后置摄像头所采集的图像合成的，则根据不同后置摄像头所采集的至少两副图像，确定目标图像的深度信息，并根据深度信息，确定目标图像是否为三维图像。

如图9A所示，若图像中有人像，那么进一步判断该图像中的人像为二维人像还是三维人像，若人像为二维图像，则不是预设场景；而人像为三维人像，则为预设场景。

其中，对于如何判定人像是二维人像或三维人像，本申请实施例示例性地列举图9B所示的三种判定方式。

判定方式一，电子设备可以利用AI(人工智能)活体检测算法，检测图像是否为三维人像。

判定方式二，针对单摄情形，例如前置摄像头拍摄的图像，电子设备利用飞行时间测距法(time of flight，TOF)获得物距信息，根据物距信息，确定图像是否为三维人像。

判定方式三，针对多摄情形，例如后置摄像头拍摄的图像，电子设备可以获取图像深度信息，根据图像深度信息，确定图像是否为三维人像。

如图9B所示，示例性地，手机的后置摄像头包括两个摄像头：主摄和副摄。当用户触发手机拍摄照片时，主摄和副摄分别生成图像，记为主摄图和副摄图。电子设备对主摄图进行人像分割，利用主摄和副摄计算稀疏深度图，再加入人像分割信息和副摄图计算出稠密深度图，在融合主摄图之后得到双目深度图，从而获取图像深度信息，根据图像深度信息，确定图像是否为三维人像。

需要特别说明的是，该图像深度信息和物距信息，不仅可以用来检测和判断人像是否为三维人像，而且也可以用于判定场景中人像是远景人像或者近景人像。

情况二

如图9C所示，若图像为三维人像，则进一步判断图像中人像的数目，若人像的数目为一个，则为单人物图像；若人像是数目不为一个，则为多人物图像。

针对单人物图像，根据TOF信息，或人像占比等参数判断该单人物图像是近景人像(举例来说，自拍时，物距一般不超过1m)还是远景人像。若是近景人像，则识别结果为预设场景。若是远景人像(举例来说，如后置拍摄，物距一般在1m以上)，则进一步判断人像处于图像中心还是图像边界，如果人像处于图像边界，则识别结果为预设场景。

在一种可能的实施例中，针对单人物图像，可以根据人像占比和人像是否处于图像边界中的至少一项确定识别结果是否为预设场景。方式一：当人像占比大于阈值A时，确定识别结果为预设场景；方式二：当人像占比大于阈值B且小于阈值A时，且人像是处于图像边界，确定识别结果为预设场景；方式三：当人像占比小于阈值B，则确定识别结果为预设场景。针对方式一，电子设备采用与透视变形对应的校正策略对人像进行校正；针对方式二和方式三，电子设备采用与人像变形对应的校正策略对人像进行校正。

针对多人物图像，判断是否存在人像处于图像边界，若存在，则为预设场景。

具体地，电子设备可以通过如下方式确定目标图像是否满足第二设定条件，具体方式是：确定目标图像中的人像占比，人像占比为人像对应的像素区域与目标图像的像素总个数之间的比例，当人像占比大于设定比例时，确定目标图像为近景人像；或者，根据深度信息和物距信息，确定目标图像为近景人像。

下文示例性地提供远景图像和近景图像的几种判定方式。

(1)根据人像占比判定：根据不同场景，可规定合理的人像占比以判定人像为远景或近景。例如，可规定阈值为80％，即人像面积占图像面积的80％及以上，认为该图像中人像为近景人像，否则，为远景人像，其中，人像占比指的是人像所占画面面积与图像的画面总面积之间的比例。

(2)根据TOF深感镜头反馈的数据进行判定。TOF深感镜头可判定物距，若设定阈值为60cm，则当TOF深感镜头反馈人像物距小于60cm时，确定场景中人像为近景人像，否则为远景人像。

具体地，电子设备可以通过如下方式确定目标图像是否满足第三设定条件，具体方式是：当人像对应的像素区域中超过设定视场角的像素个数占目标图像的像素总个数之间的比例大于第一阈值时，确定人像处于目标图像边界；或者，

确定目标图像的图像中心区域和图像边界区域，若位于图像中心区域的人像的像素个数与人像对应的像素区域总像素个数之间的比例小于第二阈值，则确定人像处于目标图像边界；或者，若人像位于图像边界区域，则确定人像处于目标图像边界。

下文示例性地提供几种判定方式用于判断人像处于图像中心还是图像边界。

(1)根据视场角采样判定：设定两个阈值，如60°和50％，逐个对标记出的人脸区域(或身体区域)作出判定，若该区域内，视场角数据大于60°的像素个数大于或等于50％，则认为该区域整体处于图像边界；而当该区域内视场角数据大于60°的像素个数不足50％时，则认为该区域整体处于图像中心。

需要说明的是，同一个待校正区域(人脸区域或身体区域)内部所有点应具有相同性质(这里所涉及的性质指的是处在图像中心或图像边界)，而对于同一待校正区域中部分点处于图像中心，另一部分点处于图像边界的情形，有可能会出现同一待校正区域出现部分校正的结果，这样的效果被认为大概率会是偏离人像校正的初衷的。

(2)对图像进行区域划分：将图像以某个依据(如像素范围)划分为图像中心区域和图像边界区域，若人像正好处于某个区域，则被完整标记为对应性质(中心或边界)；若人像正好处于画幅不同区域交界处，则设定合理判定依据进行判定，如设定阈值为50％(包括但不限于)，人像中像素个有大于或等于50％的数目处于图像边界区域，则标记该人像为图像边界区域，否则，标记为图像中心区域。

该情况下，从原理上来讲，处于图像中心的人像并不会出现显著的透视变形，故在多人像场景中，本申请的一种可能的实施例中，不对处于图像中心的人像做校正。这样做也是出于对算法性能的考虑，尤其是对大合影的处理过程中，若对所有的个体人像都做校正，则可能图像处理速率较慢；而处于图像边界的人像，由于视场角比较大，透视变形理应比较显著，该情形对于人像校正是强需求的，故在该情形下判定为是需要校正的。

示例性的，为了更加系统地对上述图像处理方法进行描述，本申请如下实施例结合场景一对上述图像处理方法进行举例说明，如图10所示，该方法可以包括以下步骤：

1001，电子设备检测到用户的输入操作。

在一些实施例中，输入操作比如是一个或多个操作。以图3为例，输入操作可以包括针对拍照图标321的操作(比如点击操作)。

1002，响应于该输入操作，电子设备的处理器110启动摄像头，显示屏194显示取景界面。

比如，手机100可以启动前置摄像头(比如，用户使用手机100自拍的情况下)，取景界面中显示前置摄像头采集的图像。

再比如，手机100可以启动后置摄像头(比如，用户使用手机100为其他人拍摄的情况下)，取景界面中显示后置摄像头采集的图像。

1003，电子设备的处理器110先对镜头模组所采集的图像进行光学畸变校正。

1004，电子设备的处理器110判断取景界面中的图像是否包括人像。若是，则执行步骤1005，否则执行步骤1009a。

1005，电子设备的处理器110判断取景界面中的人像是否是三维人像。若是，则执行步骤1006，否则执行步骤1009a。

1006，电子设备的处理器110判断取景界面中的图像是否为单人物图像。若是，则执行步骤，否则执行步骤1008。

1007，电子设备的处理器110判断该人物图像是否为近景人像。若是，则执行步骤1009b，否则执行步骤1009a。

1008，电子设备的处理器110判断是否存在人物图像处于图像边界。若是，则执行步骤1009b，否则执行步骤1009a。

1009b，电子设备的处理器110确定识别结果为预设场景。

1010b，电子设备的处理器110对人像进行校正处理，输出校正后的人像。

1009a，电子设备确定识别结果不为预设场景。

1010a，对光学畸变校正后的图像做裁剪，并输出图像。

可见，本申请实施例中，电子设备通过上述条件准确地确定出需要校正的人像，再对确定出来的人像进行校正，增强人像美感，以提升人像拍摄质量。

在本申请的另一些实施例中，本申请实施例公开了一种电子设备，如图11所示，该电子设备可以包括：触摸屏1101，其中，该触摸屏1101包括触控面板1106和显示屏1107；一个或多个处理器1102；存储器1103；一个或多个应用程序(未示出)；以及一个或多个计算机程序1104、上述各器件可以通过一个或多个通信总线1105连接。其中该一个或多个计算机程序1104被存储在上述存储器1103中并被配置为被该一个或多个处理器1102执行，该一个或多个计算机程序1104包括指令，上述指令可以用于执行如图7至图10相应实施例中的各个步骤。

本申请实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的视频编辑方法。

本申请实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的视频编辑方法。

另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的视频编辑方法。

其中，本申请实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其他的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (17)

1.一种图像处理方法，应用于包括至少一个摄像头的电子设备，其特征在于，所述方法包括：

接收用户作用于相机应用的操作，所述操作用于触发所述至少一个摄像头采集图像；

响应于所述操作，对采集的目标图像进行场景识别，其中，所述采集的目标图像包括人像；

当所述场景识别的识别结果为预设场景时，对所述目标图像进行人像校正处理，所述人像校正处理用于矫正所述目标图像中的人像的变形；

其中，预设场景满足如下至少一个设定条件：第一设定条件：所述目标图像是三维图像；第二设定条件：所述目标图像包括单个人像且为近景人像；第三设定条件：所述目标图像是多个人像且至少一个人像处于目标图像边界。

2.如权利要求1所述的方法，其特征在于，对采集的目标图像进行场景识别，包括：

若所述目标图像是前置摄像头所采集的，根据飞行时间测距法TOF确定所述目标图像的物距信息，并根据所述物距信息，确定所述目标图像是否为所述三维图像；或者，

若所述目标图像是由至少两个摄像头所采集的图像合成的，则根据不同摄像头所采集的至少两副图像，确定所述目标图像的深度信息，并根据所述深度信息，确定所述目标图像是否为所述三维图像。

3.如权利要求2所述的方法，其特征在于，对采集的目标图像进行场景识别，包括：

确定所述目标图像中的人像占比，所述人像占比为人像对应的像素区域与所述目标图像的像素总个数之间的比例，当所述人像占比大于设定比例时，确定所述目标图像为所述近景人像；或者，

根据所述深度信息和所述物距信息，确定所述目标图像为所述近景人像。

4.如权利要求1或2所述的方法，其特征在于，对采集的目标图像进行场景识别，包括：

当所述人像对应的像素区域中超过设定视场角的像素个数占所述目标图像的像素总个数之间的比例大于第一阈值时，确定所述人像处于目标图像边界；或者，

确定所述目标图像的图像中心区域和图像边界区域，若位于所述图像中心区域的人像的像素个数与所述人像对应的像素区域总像素个数之间的比例小于第二阈值，则确定所述人像处于目标图像边界；

或者，若所述人像位于所述图像边界区域，则确定所述人像处于目标图像边界。

5.一种图像处理方法，应用于电子设备，其特征在于，所述方法包括：

接收用户作用于图库应用中图像的编辑操作；

响应于所述编辑操作，对所述用户选择的目标图像进行场景识别，其中，所述目标图像包括人像；

当所述识别结果为预设场景时，对所述目标图像进行人像校正处理，所述人像校正处理用于矫正所述目标图像中的人像的变形；

其中，预设场景满足如下至少一个设定条件：第一设定条件：所述目标图像是三维图像；第二设定条件：所述目标图像包括单个人像且为近景人像；第三设定条件：所述目标图像是多个人像且至少一个人像处于目标图像边界。

6.如权利要求5所述的方法，其特征在于，对所述用户选择的目标图像进行场景识别，包括：

根据飞行时间测距法TOF确定物距信息，并根据所述物距信息，确定所述目标图像是否为三维图像；或者，

确定所述目标图像的深度信息，并根据所述深度信息，确定所述目标图像是否为三维图像。

7.如权利要求6所述的方法，其特征在于，对所述用户选择的目标图像进行场景识别，包括：

确定所述目标图像中的人像占比，所述人像占比为人像对应的像素区域与所述目标图像的像素总个数之间的比例，当所述人像占比大于设定比例时，确定所述目标图像为所述近景人像；或者，

根据所述深度信息和所述物距信息，确定所述目标图像为近景人像。

8.如权利要求5或6所述的方法，其特征在于，对所述用户选择的目标图像进行场景识别，包括：

当所述人像对应的像素区域中超过设定视场角的像素个数占所述目标图像的像素总个数之间的比例大于第一阈值时，确定所述人像处于目标图像边界；或者，

确定所述目标图像的图像中心区域和图像边界区域，若位于所述图像中心区域的人像的像素个数与所述人像对应的像素区域总像素个数之间的比例小于第二阈值，则确定所述人像处于目标图像边界；

或者，若所述人像位于所述图像边界区域，则确定所述人像处于目标图像边界。

9.一种电子设备，其特征在于，包括：显示屏、处理器、存储器和至少一个摄像头；

所述存储器存储有计算机可执行程序；

所述处理器用于运行所述存储器存储的所述计算机可执行程序，使得所述电子设备执行：

接收用户作用于相机应用的操作，所述操作用于触发所述至少一个摄像头采集图像；

响应于所述操作，对采集的目标图像进行场景识别，其中，所述采集的目标图像包括人像；

当所述场景识别的识别结果为预设场景时，对所述目标图像进行人像校正处理，所述人像校正处理用于矫正所述目标图像中的人像的变形；

其中，预设场景满足如下至少一个设定条件：第一设定条件：所述目标图像是三维图像；第二设定条件：所述目标图像包括单个人像且为近景人像；第三设定条件：所述目标图像是多个人像且至少一个人像处于目标图像边界。

10.如权利要求9所述的电子设备，其特征在于，所述处理器用于运行所述存储器存储的所述计算机可执行程序，使得所述电子设备执行：

若所述目标图像是前置摄像头所采集的，根据飞行时间测距法TOF确定所述目标图像的物距信息，并根据所述物距信息，确定所述目标图像是否为所述三维图像；或者，

若所述目标图像是由至少两个摄像头所采集的图像合成的，则根据不同摄像头所采集的至少两副图像，确定所述目标图像的深度信息，并根据所述深度信息，确定所述目标图像是否为所述三维图像。

11.如权利要求10所述的电子设备，其特征在于，所述处理器用于运行所述存储器存储的所述计算机可执行程序，使得所述电子设备执行：

确定所述目标图像中的人像占比，所述人像占比为人像对应的像素区域与所述目标图像的像素总个数之间的比例，当所述人像占比大于设定比例时，确定所述目标图像为所述近景人像；或者，

根据所述深度信息和所述物距信息，确定所述目标图像为近景人像。

12.如权利要求9或10所述的电子设备，其特征在于，所述处理器用于运行所述存储器存储的所述计算机可执行程序，使得所述电子设备执行：

当所述人像对应的像素区域中超过设定视场角的像素个数占所述目标图像的像素总个数之间的比例大于第一阈值时，确定所述人像处于目标图像边界；或者，

确定所述目标图像的图像中心区域和图像边界区域，若位于所述图像中心区域的人像的像素个数与所述人像对应的像素区域总像素个数之间的比例小于第二阈值，则确定所述人像处于目标图像边界；

或者，若所述人像位于所述图像边界区域，则确定所述人像处于目标图像边界。

13.一种电子设备，其特征在于，包括：显示屏、处理器、存储器；

所述存储器存储有计算机可执行程序；

所述处理器用于运行所述存储器存储的所述计算机可执行程序，使得所述电子设备执行：

接收用户作用于图库应用中图像的编辑操作；

响应于所述编辑操作，对所述用户选择的目标图像进行场景识别，其中，所述目标图像包括人像；

当所述识别结果为预设场景时，对所述目标图像进行人像校正处理，所述人像校正处理用于矫正所述目标图像中的人像的变形；

其中，预设场景满足如下至少一个设定条件：第一设定条件：所述目标图像是三维图像；第二设定条件：所述目标图像包括单个人像且为近景人像；第三设定条件：所述目标图像是多个人像且至少一个人像处于目标图像边界。

14.如权利要求13所述的电子设备，其特征在于，所述处理器用于运行所述存储器存储的所述计算机可执行程序，使得所述电子设备执行：

根据飞行时间测距法TOF确定物距信息，并根据所述物距信息，确定所述目标图像是否为三维图像；或者，

确定所述目标图像的深度信息，并根据所述深度信息，确定所述目标图像是否为三维图像。

15.如权利要求14所述的电子设备，其特征在于，所述处理器用于运行所述存储器存储的所述计算机可执行程序，使得所述电子设备执行：

确定所述目标图像中的人像占比，所述人像占比为人像对应的像素区域与所述目标图像的像素总个数之间的比例，当所述人像占比大于设定比例时，确定所述目标图像为所述近景人像；或者，

根据所述深度信息和所述物距信息，确定所述目标图像为近景人像。

16.如权利要求13或14所述的电子设备，其特征在于，所述处理器用于运行所述存储器存储的所述计算机可执行程序，使得所述电子设备执行：

当所述人像对应的像素区域中超过设定视场角的像素个数占所述目标图像的像素总个数之间的比例大于第一阈值时，确定所述人像处于目标图像边界；或者，

确定所述目标图像的图像中心区域和图像边界区域，若位于所述图像中心区域的人像的像素个数与所述人像对应的像素区域总像素个数之间的比例小于第二阈值，则确定所述人像处于目标图像边界；

或者，若所述人像位于所述图像边界区域，则确定所述人像处于目标图像边界。

17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机可执行程序，当所述计算机可执行程序在电子设备上运行时，使得所述电子设备执行如权利要求1至8任一项所述的方法。

Images