CN111862124A - 图像处理方法、装置、设备及计算机可读存储介质 - Google Patents

图像处理方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111862124A
CN111862124A CN202010744832.XA CN202010744832A CN111862124A CN 111862124 A CN111862124 A CN 111862124A CN 202010744832 A CN202010744832 A CN 202010744832A CN 111862124 A CN111862124 A CN 111862124A
Authority
CN
China
Prior art keywords
image
processed
picture
type
segmentation model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010744832.XA
Other languages
English (en)
Inventor
张弓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010744832.XA priority Critical patent/CN111862124A/zh
Publication of CN111862124A publication Critical patent/CN111862124A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本申请提供了一种图像处理方法、装置、设备及计算机可读存储介质；方法包括：获取待处理图像和待处理图像的画面布局信息；画面布局信息包括图片拍摄方向和/或图像尺寸；根据待处理图像的画面布局信息，确定待处理图像的目标画面方向类型；根据预设的画面方向类型与图像分割模型之间的对应关系，从预设的至少两种图像分割模型中，确定出与目标画面方向类型对应的目标图像分割模型；采用目标图像分割模型对待处理图像进行图像分割，得到图像分割结果；基于图像分割结果进行图像处理，得到最终处理图像。通过本申请，能够提高图像处理精度。

Description

图像处理方法、装置、设备及计算机可读存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、设备及计算机可读存储介质。
背景技术
目前，对于人像虚化抠图的遮罩的生成方法，通常用图像分割或者人像背景分离的方法来抠图人像，并将结果用于虚化后处理，产生出类似单反拍照的效果。在通过神经网络根据上述图像处理算法生成人像遮罩时，通常会先对待处理图像进行预处理，将其画面布局调整为神经网络默认的布局方向后输入神经网络。当待处理图像的布局方向与神经网络默认的布局方向不一致时，预处理后的图像会出现失真现象，造成最终神经网络对预处理后图像进行图像分割所输出的人像遮罩的精度降低，进而降低了根据人像遮罩进行进一步图像处理的精度。
发明内容
本申请实施例提供一种图像处理方法、装置及计算机可读存储介质，能够提高图像处理精度。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种图像处理方法，包括：
获取待处理图像和所述待处理图像的画面布局信息；所述画面布局信息包括图片拍摄方向与图像尺寸；
根据所述待处理图像的画面布局信息，确定所述待处理图像的目标画面方向类型；
根据预设的画面方向类型与图像分割模型之间的对应关系，从预设的至少两种图像分割模型中，确定出与所述目标画面方向类型对应的目标图像分割模型；
采用所述目标图像分割模型对所述待处理图像进行图像分割，得到图像分割结果；
基于所述图像分割结果进行图像处理，得到最终处理图像。
本申请实施例提供一种图像处理装置，包括：
获取单元，用于获取待处理图像和所述待处理图像的画面布局信息；所述画面布局信息包括图片拍摄方向和/或图像尺寸；
确定单元，用于根据所述待处理图像的画面布局信息，确定所述待处理图像的目标画面方向类型；
选择单元，用于根据预设的画面方向类型与图像分割模型之间的对应关系，从预设的至少两种图像分割模型中，确定出与所述目标画面方向类型对应的目标图像分割模型；
分割单元，用于采用所述目标图像分割模型对所述预处理图像进行图像分割，得到图像分割结果；
处理单元，用于基于所述图像分割结果进行图像处理，得到最终处理图像。
本申请实施例提供一种图像处理设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序时，实现本申请实施例提供的图像处理方法。
本申请实施例提供一种计算机可读存储介质，存储有计算机程序，用于引起处理器执行时，实现本申请实施例提供的图像处理方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
本申请实施例所提供的一种图像处理方法、装置及计算机可读存储介质，能够根据待处理图像的目标画面方向类型，选择对应的目标图像分割模型进行图像分割操作。例如，当目标画面方向类型属于横向类型时，可以对应选择横向类型的图像分割模型对待处理图像进行图像分割；当目标画面方向类型属于纵向类型时，可以对应选择纵向类型的图像分割模型对待处理图像进行图像分割。这样可以保证待处理图像的目标画面方向类型与其对应的图像分割模型的默认布局方向相匹配，减少可能导致失真的预处理操作，从而保证了图像分割模型所得到的图像分割结果的精度，进而提高了基于图像分割结果进行图像处理的精度。
附图说明
图1是本申请实施例提供的图像处理系统架构的一个可选的结构示意图；
图2是本申请实施例提供的图像处理装置的一个可选的结构示意图；
图3是本申请实施例提供的图像处理方法的一个可选的流程示意图；
图4是本申请实施例提供的图像处理方法的一个可选的流程示意图；
图5是本申请实施例提供的图像处理方法的一个可选的流程示意图；
图6(a)是本申请实施例提供的一种图片拍摄方向的示意图一；
图6(b)是本申请实施例提供的一种图片拍摄方向的示意图二；
图6(c)是本申请实施例提供的一种图片拍摄方向的示意图三；
图6(d)是本申请实施例提供的一种图片拍摄方向的示意图四；
图7是本申请实施例提供的图像处理方法的一个可选的流程示意图；
图8是本申请实施例提供的一种图像分割结果的示意图；
图9是本申请实施例提供的图像处理方法的一个可选的流程示意图；
图10是本申请实施例提供的图像处理方法的一个可选的流程示意图；
图11是本申请实施例提供的一种最终处理图像示意图；
图12(a)是本申请实施例提供的图像处理方法的一个可选的流程示意图；
图12(b)是本申请实施例提供的图像处理方法的一个可选的流程示意图；
图13是本申请实施例提供的图像处理方法的一个可选的流程示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
目前，对于生成抠图遮罩的应用场景，示例性的，如从一副原始图像中进行人像抠图生成人像遮罩(mask)，通常使用人像分割或者人像背景分离(matting)的方法来抠图出人像，得到人像mask，并将人像mask用于后续的图像处理，根据人像mask生成背景虚化的图像，从而产生出类似单反拍照的效果。
目前对于生成抠图遮罩如人像mask，一般通过卷积神经网络(ConvolutionalNeural Networks，CNN)对输入图像进行处理并输出输入图像对应的抠图遮罩。在将原始图像输入CNN网络模型之前，需要对原始的拍照图像进行预处理操作，包括了缩放、填充、归一化、旋转等过程。其中，缩放过程为将拍照图像缩小到CNN网络输入需要的尺寸，经过CNN网络推断产生mask后，再将mask放大到原图尺寸。填充过程为当拍照图像尺寸宽高比例与CNN网络输入尺寸宽高比例不一致时，通过在拍照图像边缘外进行填充的方法，使得两者比例一致。归一化过程为将图像RGB三通道通过减均值除方差的方式进行归一化，使CNN网络有效收敛，防止网络过拟合。旋转过程为对于拍照时手机方向不一所产生的不同拍照方向的图像，需要将图像旋转至CNN网络预设的拍照方向。
可以看出，目前为了利用CNN网络生成抠图遮罩而对原始图像采取的预处理操作方法，需要将图像缩小到固定的尺寸比例后输入网络。示例性的，CNN网络要求输入的图像尺寸比例为1:1，原始横拍图像宽高比为4:3，原始竖拍图像宽高比为3:4，那么将原始横拍图像与原始竖拍图像缩小至1:1的比例后，原始横拍竖拍图像均会由于比例不一致导致失真现象，从而造成CNN网络输出的抠图遮罩精度降低，可能出现边缘不对齐、空洞、误检等情况。同样的，若CNN网络要求输入的图像尺寸比例为3:4，原始横拍图像宽高比为4:3，原始竖拍图像宽高比为3:4，那么缩小后，只能保证原始竖拍图像不失真，横拍图像会发生失真现象，反之则竖拍图像会发生失真现象。另外，目前通过原图边缘外填充的方法，虽然可以使填充后的图像与CNN网络输入比例一致，但会造成图像有效部分比例降低，仍然会造成输出抠图遮罩的精度降低。
本申请实施例提供一种图像处理方法、装置、设备和计算机可读存储介质，能够提高图像处理精度，下面说明本申请实施例提供的图像处理设备的示例性应用，本申请实施例提供的设备可以实施为智能手机、平板电脑、笔记本电脑等各种类型的用户终端，也可以实施为服务器。下面，将说明设备实施为终端时示例性应用。
参见图1，图1是本申请实施例提供的图像处理系统100的一个可选的架构示意图，为实现支撑一个图像处理应用，终端400(示例性示出了终端400-1和终端400-2)通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。下面结合在社交应用中，第一用户向第二用户传输拍摄并经过背景虚化处理的图片的场景为例进行图像处理系统的说明。第一用户对应终端400-1，第二用户对应终端400-2。在实现图像处理和图像传输的场景时，终端400-1用于获取待处理图像，根据待处理图像的图像尺寸，确定待处理图像的目标画面方向类型；根据预设的画面方向类型与图像分割模型之间的对应关系，从预设的至少两种图像分割模型中，确定出与目标画面方向类型对应的目标图像分割模型；目标图像分割模型用于从待处理图像中分割出目标图像；至少两种图像分割模型与至少两种画面方向类型一一对应；采用目标图像分割模型对预处理图像进行图像分割，得到图像分割结果；基于图像分割结果进行图像处理，得到最终处理图像，如背景虚化效果的图像；并将最终处理图像在图形界面401-1显示。
服务器200，用于在第一用户通过终端400-1发送最终处理图像时，将最终处理图像发送至终端400-2，以使终端400-2在图形界面401-2上显示最终处理图像；数据库500，用于将最终处理图像保存在服务器200中。
参见图2，图2是本申请实施例提供的终端400的结构示意图，图2所示的终端400包括：至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。终端400中的各个组件通过总线系统440耦合在一起。可理解，总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统440。
处理器410可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器450包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器450旨在包括任意适合类型的存储器。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。
在一些实施例中，存储器450能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统451，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块452，用于经由一个或多个(有线或无线)网络接口420到达其他计算设备，示例性的网络接口420包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
显示模块453，用于经由一个或多个与用户接口430相关联的输出装置431(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块454，用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本申请实施例提供的装置可以采用软件方式实现，图2示出了存储在存储器450中的图像处理装置455，其可以是程序和插件等形式的软件，包括以下软件模块：获取单元4551、确定单元4552、选择单元4553、分割单元4554和处理单元4555，将在下文中说明各个模块的功能。
在另一些实施例中，本申请实施例提供的图像处理装置可以采用硬件方式实现，作为示例，本申请实施例提供的图像处理装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的图像处理方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific IntegratedCircuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
将结合本申请实施例提供的终端的示例性应用和实施，说明本申请实施例提供的图像处理方法。
参见图3，图3是本申请实施例提供的图像处理方法的一个可选的流程示意图，将结合图3示出的步骤进行说明。
S101、获取待处理图像和待处理图像的画面布局信息；画面布局信息包括图片拍摄方向和/或图像尺寸。
本申请实施例提供的图像处理方法适用于通过神经网络模型对待处理图像进行图像分割得到图像分割结果，并后续基于分割结果的进行进一步图像效果处理的场景。示例性的，通过训练好的神经网络模型从一副图像中分割出人像部分，并对人像部分以外的背景部分进行虚化处理，或通过训练好的神经网络模型从图像中分割出指定图像部分进行马赛克遮挡处理等。本申请实施例对具体应用的场景不做限定。
在S101中，图像处理装置首先获取待处理图像和待处理图像的画面布局信息。
本申请实施例中，待处理图像的画面布局信息可以包括待处理图像的图片拍摄方向和/或图像尺寸，其中，图片拍摄方向可以由采集待处理图像的图像采集设备上的重力感应传感器获得。示例性的，手机在进行图像采集时，可以通过安装的陀螺仪传感器，获取到手机当前在进行图像采集时的重力感应数据，该重力感应数据表征手机当前的拍摄姿态。图像处理装置可以根据手机当前的拍摄姿态，分析出对应的图片拍摄方向。而图像尺寸可以是表征待处理图像的宽高比的数据，图像处理装置可以通过待处理图像的宽高比，得到待处理图像的布局类型属于横向类型还是纵向类型。待处理图像处理装置在获取待处理图像的同时，获取待处理图像的画面布局信息，用于后续进一步进行图像处理过程。
S102、根据待处理图像的画面布局信息，确定待处理图像的目标画面方向类型。
本申请实施例中，当待处理图像的画面布局信息包括图片拍摄方向时，图像处理装置可以根据图片拍摄方向，直接确定出在该图片拍摄方向下进行拍摄所能得到的待处理图像画面方向，作为目标画面方向类型。当画面布局信息为图像尺寸时，图像处理装置根据图像尺寸可以得到待处理图像的宽高比，进而确定出待处理图像属于横向图片还是竖向图片。这样，图像处理装置就可以根据待处理图像的画面布局信息，确定出待处理图像属于哪一类宽高比例的图像，也即确定出待处理图像的目标画面方向类型。
本申请实施例中，画面方向类型表征待处理图像的尺寸宽高比例。在一些实施例中，画面方向类型可以按照宽高比例分为至少两种。示例性的，画面方向类型可以分为横向类型或纵向类型，当待处理图像的宽高比为3:4时，其画面方向类型属于纵向类型；当待处理图像的宽高比为4:3或者16:9时，其画面方向类型属于横向类型。在另一些实施例中，也可以进一步根据画面主体的方向，将画面方向类型分为横向正向类型、横向反向类型、纵向正向类型与纵向反向类型；或者也可根据图像处理的需要，如不同数值的宽高比进行其他类型的划分，具体的根据实际情况进行选择，本申请实施例不做限定。
本申请实施例中，目标画面方向类型为至少两种画面方向类型中，待处理图像对应的画面方向类型。
S103、根据预设的画面方向类型与图像分割模型之间的对应关系，从预设的至少两种图像分割模型中，确定出与目标画面方向类型对应的目标图像分割模型。
本申请实施例中，由于目标画面方向类型可以表征待处理图像的宽高比例，为了保持图像处理过程中待处理图像的比例不失真，图像处理装置会根据目标画面方向类型，从预设的至少两种图像分割模型中选择出符合目标画面方向类型的图像分割模型，作为目标图像分割模型。
本申请实施例中，预设的至少两种图像分割模型可以是分别根据至少两种画面方向类型的样本图像集合训练出来的图像分割模型。图像处理装置在训练每种图像分割模型时都采用与其对应的画面方向类型的样本数据进行训练，这样，训练得到的至少两种图像分割模型与至少两种画面方向类型一一对应，每种图像分割模型的默认布局方向即为与其对应的画面方向类型。因此，图像处理装置可以根据预设的画面方向类型与图像分割模型之间的对应关系，从预设的至少两种图像分割模型中，确定出与目标画面方向类型对应的目标图像分割模型。
在本申请的一些实施例中，当至少两种画面方向类型可以归类为横向类型和纵向类型时，图像处理装置可以采用横向类型的样本图像集合对初始神经网络模型进行训练得到第一分割模型，这样，第一分割模型所要求的输入图像比例与待处理图像本身的尺寸比例相匹配，通过第一分割模型对横向画面方向类型的待处理图像进行图像分割可减少在处理过程中出现的图像失真，因此在目标画面方向类型属于横向画面方向类型的一种时，图像处理装置可以确定第一分割模型作为目标图像分割模型；或者，图像处理装置可以采用纵向类型的样本图像集合对初始神经网络模型进行训练得到第二分割模型，从而在目标画面方向类型属于纵向画面方向类型的一种时，图像处理装置可以确定第二分割模型作为目标图像分割模型。
本申请实施例中，图像分割模型可以是CNN网络模型，也可以是语义分割网络deeplab、全卷积神经网络(Fully Convolutional Network，FCN)、稠密连接网络(DenselyConnected Convolutional Networks，DenseNet)、深度残差网络(Deep ResNet，DRN)等，具体的根据实际情况进行选择，本申请实施例不做限定。
S104、采用目标图像分割模型对待处理图像进行图像分割，得到图像分割结果。
本申请实施例中，图像处理装置采用确定好的目标图像分割模型对预处理图像进行图像分割，得到图像分割结果。
本申请实施例中，基于目标图像分割模型的具体用途，目标图像分割模型可以对人像进行分割，也可以对其他样式的目标图像进行图像分割，进而得到目标图像在待处理图像中对应图像区域的遮罩，作为图像分割结果。具体的根据实际应用进行选择，本申请实施例不做限定。
在一些实施例中，如图8所示，当待处理图像为人像照片时，图像处理装置使用目标图像分割模型，从待处理图像10中识别并提取出人像部分，将生成的人像遮罩20作为图像分割结果。
本申请实施例中，目标图像分割模型所采用的图像分割算法可以是卷积神经网络CNN算法，也可以是deeplab系列分割算法、深度学习U-Net、FCN、DenseNet、DRN算法等。示例性的，在对人像进行分割时，目标图像分割模型可以将待处理图像中人的身体识别为一种类别，人的身体以外的背景识别为另一种类别，并根据所识别出的人的身体的边界生成对应的人像遮罩mask，作为图像处理结果。
S105、基于图像分割结果进行图像处理，得到最终处理图像。
本申请实施例中，图像处理装置通过目标图像分割模型得到图像分割结果之后，基于图像分割结果进行图像处理，得到最终处理图像。
在一些实施例中，图像处理装置可以基于图像分割结果，根据具体的图像处理需要，进行进一步的图像效果处理，生成最终处理图像。
示例性的，当图像分割结果为目标图像和背景图像时，图像处理装置可以对背景图像进行虚化处理，以突出目标图像；也可以将背景图像替换为其他背景。图像处理装置也可以对目标图像进行马赛克处理，装饰效果添加，美化处理等操作，或者同时对目标图像和背景图像进行图像效果处理来得到最终效果图像，具体的根据实际情况进行选择，本申请实施例不做限定。
可以理解的是，本申请实施例中，图像处理装置能够根据待处理图像的目标画面方向类型，选择对应的目标图像分割模型对待处理图像进行图像分割操作，从而保证了目标画面方向类型与目标图像分割模型所要求的默认布局方向相匹配，保证了图像分割结果的精度，从而提高了图像处理的精度。
在一些实施例中，参见图4，图4是本申请实施例提供的方法的一个可选的流程示意图，图3示出的S101可以通过S1011-S1015实现，将结合各步骤进行说明。
S1011、获取原始图像及原始画面布局信息。
本申请实施例中，待处理图像可以是将原始图像经预处理后得到的图像。图像处理装置获取原始图像及原始画面布局信息，用于通过原始画面布局信息对原始图像进行预处理，得到待处理图像。
本申请实施例中，原始画面布局信息可以包括原始图像尺寸和图像原始拍摄方向。其中，原始图像尺寸可以是原始图像的宽高信息，图像原始拍摄方向可以是根据图像采集设备上的传感器感应数据所分析得到的拍摄方向。
S1012、对原始图像进行缩放至预设输入图片尺寸，得到缩放图像。
本申请实施例中，至少两种图像分割模型对应的画面方向类型的宽高比例的不同，但两者的预设输入图片尺寸是一致的，预设输入图片尺寸即图像分割模型所能处理的图片的大小。图片处理装置根据至少两种图像分割模型对应的预设输入图片尺寸，对原始图像进行等比例缩放，得到缩放图像。
S1013、对缩放图像进行归一化处理，得到待处理图像。
本申请实施例中，图像处理装置在对原始图像进行缩放之后，对缩放进行归一化处理，示例性的，可以通过将原始图像每个像素点进行先减均值，后除方差的方式进行归一化，得到待处理图像。
本申请实施例中，图像处理装置也可以采用其他归一化算法对缩放图像进行归一化处理，具体的根据实际情况进行选择，本申请实施例不做限定。
S1014、当原始画面布局信息中包含图像原始拍摄方向时，将图像原始拍摄方向作为待处理图像的画面布局信息；图像原始拍摄方向为从原始图像的图像采集设备的传感器中获取的拍摄方向。
本申请实施例中，当原始画面布局信息中包含图像原始拍摄方向时，图像处理装置直接将图像原始拍摄方向作为待处理图像的画面布局信息。
示例性的，当使用手机进行人像拍摄后，原始图像为手机摄像头采集到的拍摄图像，原始画面布局信息为根据手机上的陀螺仪采集到的感应数据所分析得到的拍摄方向信息。
S1015、当原始画面布局信息中不包含图像原始拍摄方向时，获取待处理图像的图像尺寸作为画面布局信息。
本申请实施例中，当原始画面布局信息中不包含图像原始拍摄方向时，图像处理装置得到待处理图像之后，将待处理图像的尺寸作为待处理图像的画面布局信息。
示例性的，当原始图像为通过网络下载，截图等非拍摄方式得到的图像，此时原始画面布局信息中不包含拍摄方向信息，则图像处理装置将待处理图像的尺寸作为画面布局信息。
可以理解的是，本申请实施例中，图像处理装置可以对不同方式获取的原始图像进行预处理，从而得到待处理图像并进行下一步的图像分割和图像处理，提高了图像处理的灵活性。
在一些实施例中，参见图5，图5是本申请实施例提供的方法的一个可选的流程示意图，当待处理图像的画面布局信息包括图片拍摄方向时，图3或图4示出的S102可以通过S1021实现；当待处理图像的画面布局信息包括图像尺寸时，S102可以通过S1022-S1025实现，将结合各步骤进行说明。
S1021、根据待处理图像的图片拍摄方向，确定待处理图像的目标画面方向类型。其中，图片拍摄方向包括：横向正向、横向反向、纵向正向与纵向反向；目标画面方向类型包括：横向正向类型、横向反向类型、纵向正向类型和纵向反向类型。
本申请实施例中，图片拍摄方向与目标画面方向类型一一对应，图像处理装置可以根据待处理图像的图片拍摄方向，确定待处理图像的目标画面方向类型。
在一些实施例中，对于手机或带有类似陀螺仪功能传感器的拍照设备所采集的图像，可以包括以下四种图片拍摄方向，如图6(a)所示的横向正向、图6(b)所示的横向反向、图6(c)所示的纵向正向和图6(d)所示的纵向反向。
可以理解的是，本申请实施例中，当待处理图像的画面布局信息包括图片拍摄方向时，图像处理装置可以根据图片拍摄方向直接确定待处理图像的目标画面方向类型。
S1022、根据图像尺寸，确定待处理图像的一级画面方向类型；一级画面方向类型包括：横向类型与纵向类型。
本申请实施例中，当画面布局信息为待处理图像的图像尺寸时，图像处理装置可以根据图像尺寸所表征的宽高比，确定待处理图像的一级画面方向类型：包括横向类型与纵向类型。
S1023、对待处理图像进行朝向识别，得到朝向识别结果；朝向识别结果包括正向和反向。
本申请实施例中，图像处理装置可以通过特征识别算法，对待处理图像进行朝向识别，得到朝向识别结果：包括正向和反向。
示例性的，图像处理装置可以通过特征识别算法，识别出待处理图像中的人像，再从人像中识别出具有代表性的特征子图像，如头部子图像、身体子图像、五官子图像等，进而根据上述特征子图像在待处理图像中的相对显示位置，对待处理图像中的人像的正反进行识别，进而确定待处理图像的朝向是正向还是反向，得到朝向识别结果。示例性的，如果头部子图像的显示位置在身体子图像的下方，说明人像是反向，因此图像处理装置可以确定该人像所在的待处理图像的朝向识别结果为反向。
S1024、根据朝向识别结果和一级画面方向类型，确定二级画面方向类型；二级画面方向类型包括横向正向类型、横向反向类型、纵向正向类型与纵向反向类型。
S1025、将二级画面方向类型作为目标画面方向类型。
本申请实施例中，图像处理装置得到横向或纵向的一级画面方向类型，以及正向或反向的识别结果之后，可以根据识别结果和一级画面方向类型，确定二级画面方向类型，包括横向正向类型、横向反向类型、纵向正向类型与纵向反向类型。图像处理装置将二级画面方向类型作为目标画面方向类型。
可以理解的是，本申请实施例中，当待处理图像的画面布局信息包括图像尺寸时，图像处理装置可以根据图像尺寸以及朝向识别方法确定待处理图像的画面方向类型，进而选取对应的图像分割模型进行图像处理，从而提高了图像处理的精度。
在一些实施例中，参见图7，图7是本申请实施例提供的图像处理方法的一个可选的流程示意图，图3示出的S103可以通过S1031-S1032实现，将结合各步骤进行说明。
S1031、当目标画面方向类型为横向正向类型或横向反向类型时，确定目标图像分割模型为第一分割模型；第一分割模型为对宽大于高的待处理图像进行图像分割的模型。
本申请实施例中，第一分割模型为对宽大于高的待处理图像进行图像分割的模型，第一分割模型可以使用横向正向类型的样本图像集合对初始神经网络进行训练得到。当目标画面方向类型为横向正向类型或横向反向类型时，为了在图像处理过程中保持待处理图像的图像比例不失真，图像处理装置确定目标图像分割模型为第一分割模型。
对于横向反向类型的待处理图像，图像处理装置在将其输入第一分割模型之前可以先对该横向反向类型的待处理图像进行方向调整，具体的在后面进行详细说明。
S1032、当目标画面方向类型为纵向正向类型或纵向反向类型时，确定目标图像分割模型为第二分割模型；第二分割模型为对宽小于高的待处理图像进行图像分割的模型。
本申请实施例中，第二分割模型为对宽小于高的待处理图像进行图像分割的模型，第二分割模型可以使用纵向正向类型的样本图像集合对初始神经网络进行训练得到。当目标画面方向类型为纵向正向类型或纵向反向类型时，为了在图像处理过程中保持待处理图像的图像比例不失真，图像处理装置确定目标图像分割模型为第二分割模型。
对于纵向反向类型的待处理图像，图像处理装置在将其输入第二分割模型之前可以先对该纵向反向类型的待处理图像进行方向调整，具体的在后面进行详细说明。
可以理解的是，本申请实施例中，图像处理装置可以根据待处理图像的宽高比例，选择不同的图像分割模型进行图像分割处理，避免了图像分割模型所要处理的图像比例与待处理图像比例不一致时导致的失真现象，提高了图像处理的精度。
在一些实施例中，图3示出的S104可以通过S1041-S1042实现，将结合各步骤进行说明。
S1041、根据目标图像分割模型的预设输入图片方向，对待处理图像进行旋转，得到调整后的待处理图像。
本申请实施例中，图像处理装置确定出目标图像分割模型之后，可以根据目标图像分割模型的预设输入图片方向，对待处理图像进行方向调整，得到调整后的待处理图像。
本申请实施例中，预设输入图片方向为目标图像分割模型要求的输入图像的默认图片方向，也即目标图像分割模型在训练阶段所使用的样本图像的图片方向。为了确保当前图像分割模块可以对待处理图像进行正确的图像分割处理，图像处理装置需要根据预设输入图片方向对待处理图像进行方向调整，使两者方向一致，从而得到调整后的待处理图像。
在一些实施例中，当待处理图像的画面布局信息包括图片拍摄方向时，S1041可以通过S201-S02实现，将结合各步骤进行说明：
S201、计算图片拍摄方向与预设输入图片方向之间的角度。
S202、根据角度对待处理图像进行旋转调整，以使旋转后的待处理图像的图片方向与预设输入图片方向一致，从而得到调整后的待处理图像。
本申请实施例中，图像处理装置根据图片拍摄方向与预设输入图片之间相差的角度对待处理图像进行旋转调整，以使旋转后的待处理图像的方向与预设输入图片方向一致，并将旋转调整后的待处理图像作为调整后的待处理图像。
在一些实施例中，横向类型画面方向类型对应的目标图像分割模型的预设输入图片方向可以是横向正向，则对于图片拍摄方向为横向反向的待处理图像，图像处理装置可以将其顺时针或逆时针旋转180度，使调整后的待处理图像的图片拍摄方向与预设输入图片方向一致；而对于图片拍摄方向为横向正向的待处理图像，图像处理装置可以不需对待处理图像进行角度旋转，直接作为调整后的待处理图像。
需要说明的是，本申请实施例中，当待处理画面布局信息为图像尺寸时，图像处理装置可以将朝向识别的识别结果作为待处理图像的图片拍摄方向，通过S201-S202对待处理图像进行处理。
S1042、基于目标图像分割模型，从调整后的待处理图像中识别并提取出待处理图像区域，作为图像分割结果。
本申请实施例中，图像处理装置将调整后的待处理图像输入目标图像分割模型，使用目标图像分割模型，经过网络模型的推断，从调整后的待处理图像中识别出目标图像，并提取出目标图像所在的区域作为待处理图像区域，作为图像分割结果。
本申请实施例中，图像处理装置使用目标图像分割模型，从调整后的待处理图像中识别并提取出目标图像，作为图像分割结果的实现过程的描述与S103一致，此处不再赘述。
可以理解的是，本申请实施例中，当待处理图像的画面布局信息包括图片拍摄方向时，图像处理装置可以直接根据图片拍摄方向确定待处理图像的画面方向类型，进而选取对应的图像分割模型进行图像处理，从而提高了图像处理的精度。
在一些实施例中，图3示出的S105可以通过S1051实现，将结合各步骤进行说明。
S1051、基于图像分割结果，对待处理图像区域进行图像处理，得到最终处理图像。
本申请实施例中，图像处理装置得到图像分割结果之后，就得到了待处理图像中的待处理图像区域，图像处理装置对待处理图像区域进行图像处理，得到最终处理图像。
在一些实施例中，参见图9，图9是本申请实施例提供的方法的一个可选的流程示意图，图3示出的S103之前，还可以包括S301-S303，将结合各步骤进行说明。
S301、获取训练样本集；训练样本集包含多个训练样本对象，训练样本对象对应包括样本图像以及与样本对象对应的标签图像。
本申请实施例中，图像处理装置可以训练样本集，训练样本集包含多个训练样本对象，每个训练样本对象包括样本图像以及与样本对象对应的标签图像.其中，样本图像可以是训练原图，标签图像可以是训练原图对应的图像分割结果，如人像mask。其中，样本图像与标签图像中的图片方向为初始第一分割模型对应的预设输入图片方向或初始第二分割模型对应的预设输入图片方向，如横向正向或纵向正向，图片类型可以是raw类型、YUV类型、RGB类型、深度图类型等，本申请实施例不做限定。
S302、根据初始第一分割模型的第一预设输入比例，以及初始第二分割模型的第二预设输入比例，分别对训练样本集进行图像比例预处理，得到第一训练样本集与第二训练样本集。
在一些实施例中，图9示出的S302可以通过S3021-S3022实现，将结合各步骤进行说明。
S3021、在训练初始第一分割模型时，根据第一预设输入比例对训练样本集进行图像预处理，得到第一训练样本集；第一训练样本集包含多个第一样本对象；第一样本对象包括第一样本图像以及与第一样本图像对应的第一标签图像。
本申请实施例中，在训练初始第一分割模型时，对于训练样本集中的一个训练样本对象，当该训练样本对象中的样本图像的尺寸比例与其对应的标签图像与第一预设输入比例不符合时，示例性的，样本图像与标签图像为纵向类型的图片时，图像处理装置会根据第一预设输入比例对该样本图像与其对应的标签图像进行边缘填充，得到第一填充样本图像与第一填充标签图像。
本申请实施例中，图像处理装置可以根据样本图像与标签图像的宽高，判断样本图像与标签图像的尺寸比例是否与第一预设输入比例相符合。
示例性的，初始第一分割模型的第一预设输入比例属于横向类型时，需要对纵向类型的样本图像与标签图像进行边缘填充。填充时，纵向类型的样本图像长边不变，短边填充为长边的4/3、16/9或者其他尺寸。如第一预设输入比例为4:3，样本图像比例为3:4，则将该样本图像的短边填充为长边的4/3。标签图像也可按照这个方法填充。当样本图像为RGB图像时，则三通道的填充值均为127.5，或者使用样本图像三通道的均值作为样本图像的填充值。标签图像的填充值为“忽略类别”值，通常为255。
本申请实施例中，图像处理装置在得到第一填充样本图像与第一填充标签图像后，再根据初始第一分割模型的预设输入图片尺寸，如640*480，对第一填充样本图像与第一填充标签图像进行缩放裁剪，得到第一缩放样本图像与第一缩放标签图像。需要说明的是，当训练样本对象中的样本图像与其对应的标签图像的尺寸比例与第一预设输入比例相符合时，图像处理装置可以直接对样本图像与标签图像进行缩放裁剪，来得到第一缩放样本图像与第一缩放标签图像。
本申请实施例中，图像处理装置将第一缩放标签图像作为第一标签图像，再对第一缩放样本图像进行归一化处理，以使神经网络有效收敛，防止网络过拟合，从而得到第一样本图像。图像处理装置对训练样本集中的每个训练样本对象进行相同的处理，从而可以得到多个第一样本图像与对应的第一标签图像组成的多个第一样本对象，图像处理装置将多个第一样本对象作为第一训练样本集。
S3022、在训练初始第二分割模型时，根据第二预设输入比例对训练样本集进行图像预处理，得到第二训练样本集；第二训练样本集包含多个第二样本对象；第二样本对象包括第二样本图像以及与第二样本图像对应的第二标签图像。
本申请实施例中，图像处理装置在训练所述初始第二分割模型时，根据第二预设输入比例对样本图像集合进行图像预处理，得到第二样本图像集合的过程与S3021描述一致，此处不再赘述。
S303、基于第一训练样本集与第二训练样本集，分别对初始第一分割模型以及初始第二分割模型进行持续训练，通过预设的代价函数对初始第一分割模型以及初始第二分割模型进行网络模型参数的迭代更新，直至满足预设训练条件时，得到第一分割模型与第二分割模型。
本申请实施例中，图像处理装置基于第一训练样本集与第二训练样本集，分别对初始第一分割模型以及初始第二分割模型进行持续训练，示例性的，在初始第一分割模型的训练过程中，图像处理装置基于第一训练样本集对初始第一分割模型进行卷积神经网络训练，利用代价函数进行反向传播更新模型参数。不断迭代，直到网络满足预设训练条件，迭代结束，得到第一分割模型。在初始第二分割模型的训练过程中，图像处理装置基于第二训练样本集对初始第二分割模型进行卷积神经网络训练，利用代价函数进行反向传播更新模型参数。不断迭代，直到网络满足预设训练条件，迭代结束，得到第二分割模型。
本申请实施例中，预设训练条件可以是训练次数达到预设次数，或者分割网络模型输出图像分割结果的误差达到收敛条件等等，具体的根据实际情况进行选择，本申请实施例不做限定。
本申请实施例中，如图10所示，第一训练样本集中包含按照预设的配置比例获取的正样本和负样本，正样本为正样本图像与对应的正样本待处理区域，负样本为负样本图像与对应的负样本待处理区域。示例性的，在对人像进行分割时，正样本图像可以是包含人像的样本图像，正样本待处理区域可以是正样本图像中的人像区域；负样本图像可以是不包含人像的样本图像，负样本待处理区域可以是负样本图像中背景类图像的区域。图像处理装置通过第一训练样本集，基于代价函数，调用初始第一分割模型处理正样本或负样本，得到第一训练结果；图像处理装置持续检测训练中的第一分割模型，直至第一训练结果满足预设条件时，结束训练，得到第一分割模型。其中，预设条件用于表征根据训练中的第一分割模型得到的图像分割结果最接近真实的分割图像部分。
本申请实施例中，代价函数可以用来评价模型的好坏，代价函数越小说明模型和参数越符合训练样本。在一些实施例中，图像处理装置可以采用归一化指数函数softmax或交叉熵等代价函数进行惩罚并反向传播更新卷积神经网络参数，不断迭代，直到网络满足收敛条件，迭代结束。
本申请实施例中，图像处理装置对初始第二分割模型的迭代训练过程与初始第一分割模型的迭代训练过程描述一致，此处不再赘述。
可以理解的是，本申请实施例中，图像处理装置可以使用横向类型的样本图像集合与标签图像集合训练出第一分割模型，以及使用纵向类型的样本图像集合与标签图像集合训练出第二分割模型，使得图像处理装置在进行图像处理时可以分别选择与待处理图像画面方向类型对应的网络模型进行图像分割操作，从而提高了图像处理的精度。本申请实施例中，当待处理图像为由原始图像经缩放裁剪等预处理得到的图像时，图像处理装置采用目标图像分割模型对待处理图像进行图像分割，得到图像分割结果之后，可以先将图像分割结果恢复至原始图像大小，从而得到图像分割结果在原始图像中对应的待处理图像区域，进而图像处理装置对待处理图像区域进行图像处理，得到最终处理图像。
在一些实施例中，参见图11，图像处理装置可以通过S101-S104中的方法对待处理图像11进行图像分割，得到图像分割结果，即人像遮罩21，图像处理装置可以先将人像遮罩21恢复到原始图像的大小，基于人像遮罩21得到原始图像中人像所在的区域，对人像的背景区域进行虚化处理，得到如图11所示的背景虚化的效果图像31。
可以理解的是，本申请实施例中，图像处理装置可以基于图像分割结果对图像进行进一步的效果处理，由于图像分割结果是通过与待处理图像的画面方向类型对应的图像分割模型得到的，保证了图像分割结果的精度，从而也提高了在图像分割结果的基础上进行图像处理的精度。
下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。
在一些实施例中，初始第一分割模型为初始横拍模型，本申请实施例提供的训练横拍模型的方法可以图12(a)所示：
S401、获取训练原图和标签遮罩。
本申请实施例中，训练原图为训练样本对象中的样本图像，标签遮罩为与样本图像对应的标签图像。S401的过程与S301描述一致，此处不再赘述。
S402、判断训练原图和标签遮罩是否符合第一预设输入比例。
本申请实施例中，图像处理装置判断训练原图和标签遮罩是否符合第一预设输入比例。如果不符合第一预设输入比例，执行S403；如果符合第一预设输入比例，跳转执行S404。
S403、对不符合第一预设输入比例的训练原图和标签遮罩进行边缘填充。
本申请实施例中，图像处理装置对不符合第一预设输入比例的训练原图和标签遮罩进行边缘填充，得到第一填充样本图像与第一填充标签图像。
S404、缩放裁剪。
本申请实施例中，图像处理装置对经S402判断得到的符合第一预设输入比例的训练原图和标签遮罩，以及经S403填充得到的第一填充样本图像与第一填充标签图像缩放裁剪至初始横拍模型需要的预设输入图片尺寸，得到第一缩放样本图像与第一缩放标签图像。
本申请实施例中，第一缩放标签图像即为第一标签图像。
S405、对第一缩放样本图像进行归一化。
本申请实施例中，图像处理装置将第一缩放样本图像进行归一化操作后，得到第一样本图像。
本申请实施例中，S402-S405的过程与S3021描述一致，此处不再赘述。
S406、初始横拍模型训练。
S407、输出人像遮罩。
本申请实施例中，图像处理装置将第一样本图像输入初始横拍模型，通过初始横拍模型对第一样本图像进行图像分割，输出人像遮罩作为当次训练的图像分割结果。
S408、代价函数计算。
本申请实施例中，图像处理装置根据每轮训练输出的人像遮罩与第一缩放标签图像，通过代价函数进行反向传播计算得到网络模型参数的调整值，根据网络模型参数的调整值对初始横拍模型的网络模型参数进行更新，迭代进行S406-S408中的过程，直到满足预设训练条件时，得到横拍模型。
本申请实施例中，横拍模型为第一分割模型。
本申请实施例中，S406-S408的过程与S303中对初始第一分割模型的训练过程描述一致，此处不再赘述。
在一些实施例中，初始第二分割模型为初始竖拍模型，本申请实施例提供的训练竖拍模型的方法可以图12(b)所示：
S501、获取训练原图和标签遮罩。
本申请实施例中，S501的过程与S401描述一致，此处不再赘述。
S502、判断训练原图和标签遮罩是否符合第二预设输入比例。
本申请实施例中，图像处理装置对训练原图和标签遮罩判断是否符合第二预设输入比例。如果不符合第二预设输入比例，执行S503；如果符合第二预设输入比例，跳转执行S504。
S503、对不符合第二预设输入比例的训练原图和标签遮罩进行边缘填充。
本申请实施例中，图像处理装置对不符合第二预设输入比例的训练原图和标签遮罩进行边缘填充，得到第二填充样本图像与第二填充标签图像。
S504、缩放裁剪。
本申请实施例中，图像处理装置对经S502判断得到的符合第二预设输入比例的训练原图和训练遮罩，以及经S503填充得到的第二填充样本图像与第二填充标签图像缩放裁剪到初始竖拍模型需要的预设输入图片尺寸，得到第二缩放样本图像与第二缩放标签图像。
本申请实施例中，处理后遮罩即为第二标签图像。
S505、对第二缩放样本图像进行归一化。
本申请实施例中，图像处理装置将第二缩放样本图像进行归一化操作后，得到第二样本图像。
本申请实施例中，S502-S505的过程与S3022描述一致，此处不再赘述。
S506、初始竖拍模型训练。
S507、输出人像遮罩。
本申请实施例中，图像处理装置将第二样本图像输入初始竖拍模型，通过初始竖拍模型对第二样本图像进行图像分割，输出人像遮罩作为当次训练的图像分割结果。
S508、代价函数计算。
本申请实施例中，图像处理装置根据每轮训练输出的人像遮罩与第二缩放标签图像，通过代价函数进行反向传播计算得到网络模型参数的调整值，根据网络模型参数的调整值对初始竖拍模型的网络模型参数进行更新，迭代进行S506-S508中的过程，直到满足预设训练条件时，得到竖拍模型。
本申请实施例中，竖拍模型为第二分割模型。
本申请实施例中，S506-S508的过程与S303中对初始第二分割模型的训练过程描述一致，此处不再赘述。
可以理解的是，本申请实施例中，图像处理装置可以使用符合不同预设输入比例的训练原图和标签遮罩分别训练出横拍模型和竖拍模型，使得图像处理装置在进行图像处理时可以分别选择与预设输入比例对应的网络模型进行图像分割操作，从而提高了图像处理的精度。
在一些实施例中，基于图12(a)和图12(b)训练完成的横拍模型和竖拍模型，横拍模型的预设输入图片方向可以为横向正向，当竖拍模型的预设输入图片方向可以为纵向正向，则对于图像分割结果为人像遮罩的场景，本申请实施例提供的图像处理方法可以图13所示：
S601、获取原始图像及拍照方向。
本申请实施例中，拍照方向即为图像原始拍摄方向，S601的过程描述与S1011一致，此处不再赘述。
S602、对原始图像进行缩放。
本申请实施例中，图像处理装置对原始图像进行缩放，得到缩放图像。
本申请实施例中，S602的过程与S1012描述一致，此处不再赘述。
S603、对缩放图像进行归一化处理，得到待处理图像。
本申请实施例中，S603的过程与S1013描述一致，此处不再赘述。
S604、根据拍照方向，确定是否对待处理图像进行旋转。
本申请实施例中，图像处理装置根据拍照方向，确定是否对待处理图像进行旋转。如果为拍照方向为横向正向，说明拍照方向与横拍模型的预设输入图片方向一致，跳转执行S605；如果拍照方向为横向反向，跳转执行S606；如果拍照方向为纵向正向，说明拍照方向与竖拍模型的预设输入图片方向一致，跳转执行S607；如果拍照方向为纵向反向，跳转执行S608。
S605、将拍照方向为横向正向的待处理图像直接输入横拍模型。
本申请实施例中，横拍模型为第一分割模型。
S606、将拍照方向为横向反向的待处理图像顺时针或逆时针旋转180度后，输入至横拍模型。
本申请实施例中，S606的旋转过程的描述与S1041一致，此处不再赘述。
S607、将拍照方向为纵向正向的待处理图像直接输入竖拍模型。
本申请实施例中，竖拍模型为第二分割模型。
S608、将拍照方向为纵向反向的待处理图像顺时针或逆时针旋转180度后，输入至竖拍模型。
本申请实施例中，S608的旋转过程的描述与S1041一致，此处不再赘述。
S609、输出人像遮罩。
本申请实施例中，图像处理装置通过对应的横拍模型或竖拍模型，对待处理图像或旋转后的待处理图像进行网络推断，输出人像遮罩。
本申请实施例中，人像遮罩即为图像分割结果。
本申请实施例中，S609的过程与S1042描述一致，此处不再赘述。
可以理解的是，本申请实施例中，图像处理装置根据原始图像的拍照方向进行判断，选择对应的横拍模型或竖拍模型对原始图像进行图像分割的预处理和网络模型推断操作，可以在预处理和网络推断过程中保持原始图像的宽高比例，从而保证了图像分割结果的精度，最终提高了图像处理的精度
下面继续说明本申请实施例提供的图像处理装置455的实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器450的图像处理装置455中的软件模块可以包括：获取单元4551、确定单元4552、选择单元4553、分割单元4554和处理单元4555，其中，
获取单元4551，用于获取待处理图像和所述待处理图像的画面布局信息；所述画面布局信息包括图片拍摄方向与图像尺寸；
确定单元4552，用于根据所述待处理图像的画面布局信息，确定所述待处理图像的目标画面方向类型；
选择单元4553，用于根据预设的画面方向类型与图像分割模型之间的对应关系，从预设的至少两种图像分割模型中，确定出与所述目标画面方向类型对应的目标图像分割模型；
分割单元4554，用于采用所述目标图像分割模型对所述待处理图像进行图像分割，得到图像分割结果；
处理单元4555，用于基于所述图像分割结果进行图像处理，得到最终处理图像。
在本申请的一些实施例中，所述分割单元4554，还用于根据所述目标图像分割模型的预设输入图片方向，对所述待处理图像进行旋转，得到调整后的待处理图像；基于所述目标图像分割模型，从所述调整后的待处理图像中识别并提取出待处理图像区域，得到所述图像分割结果。
在本申请的一些实施例中，所述待处理图像的画面布局信息包括：图片拍摄方向；所述分割单元4554，还用于计算所述图片拍摄方向与所述预设输入图片方向之间的角度；根据所述角度对所述待处理图像进行旋转，以使旋转后的待处理图像的图片方向与所述预设输入图片方向一致，得到所述调整后的待处理图像。
在本申请的一些实施例中，所述确定单元4552，还用于根据所述待处理图像的所述图片拍摄方向，确定所述待处理图像的目标画面方向类型；其中，所述图片拍摄方向包括：横向正向、横向反向、纵向正向与纵向反向；所述目标画面方向类型包括：横向正向类型、横向反向类型、纵向正向类型和纵向反向类型。
在本申请的一些实施例中，所述待处理图像的画面布局信息包括：图像尺寸；所述至少两种画面方向类型包括一级画面方向类型与二级画面方向类型；所述确定单元4552，还用于根据所述图像尺寸，确定所述待处理图像的一级画面方向类型；所述一级画面方向类型包括：横向类型与纵向类型；对所述待处理图像进行朝向识别，得到朝向识别结果；所述朝向识别结果包括正向和反向；根据所述朝向识别结果和所述一级画面方向类型，确定二级画面方向类型；所述二级画面方向类型包括横向正向类型、横向反向类型、纵向正向类型与纵向反向类型；将所述二级画面方向类型作为所述目标画面方向类型。
在本申请的一些实施例中，所述确定单元4552，还用于当所述目标图像分割模型对应的画面方向类型为横向正向类型或横向反向类型时，确定所述预设输入图片方向为横向正向；当所述目标图像分割模型对应的画面方向类型为纵向正向类型或纵向反向类型时，确定所述预设输入图片方向为纵向正向。
在本申请的一些实施例中，所述获取单元4551，还用于获取原始图像及原始画面布局信息；对所述原始图像进行缩放至预设输入图片尺寸，得到缩放图像；对所述缩放图像进行归一化处理，得到所述待处理图像；当所述原始画面布局信息中包含图像原始拍摄方向时，将所述图像原始拍摄方向作为所述待处理图像的画面布局信息；所述图像原始拍摄方向为从所述原始图像的图像采集设备的传感器中获取的拍摄方向；当所述原始画面布局信息中不包含图像原始拍摄方向时，获取所述待处理图像的图像尺寸作为所述画面布局信息。
在本申请的一些实施例中，所述至少两种图像分割模型包括：第一分割模型与第二分割模型；所述确定单元4552，还用于当所述目标画面方向类型为所述横向正向类型或所述横向反向类型时，确定所述目标图像分割模型为所述第一分割模型；所述第一分割模型为对宽大于高的待处理图像进行图像分割的模型；当所述目标画面方向类型为所述纵向正向类型或所述纵向反向类型时，确定所述目标图像分割模型为所述第二分割模型；所述第二分割模型为对宽小于高的待处理图像进行图像分割的模型。
在本申请的一些实施例中，所述图像处理装置455还包括训练单元，所述训练单元，用于获取训练样本集；所述训练样本集包含多个训练样本对象，所述训练样本对象对应包括样本图像以及与所述样本图像对应的标签图像；根据初始第一分割模型的第一预设输入比例，以及初始第二分割模型的第二预设输入比例，分别对所述训练样本集进行图像比例预处理，得到第一训练样本集与第二训练样本集；基于所述第一训练样本集与所述第二训练样本集，分别对所述初始第一分割模型以及所述初始第二分割模型进行持续训练，通过预设的代价函数对所述初始第一分割模型以及所述初始第二分割模型进行模型网络参数的迭代更新，直至满足预设训练条件时，得到所述第一分割模型与所述第二分割模型。
这里需要指出的是：以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例上述的图像处理方法。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述图像处理方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得终端(可以是具有摄像头的智能手机、平板电脑等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
本申请实施例提供一种存储有计算机程序的计算机可读存储介质，其中存储有计算机程序，当计算机程序被处理器执行时，将引起处理器执行本申请实施例提供的方法，例如，如图3、4、5、7、9、12、13示出的方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，计算机程序可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，计算机程序可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，计算机程序可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
综上所述，通过本申请实施例，能够根据待处理图像的画面方向类型，选择对应的图像分割模型对待处理图像进行图像分割操作，从而可以在根据模型预设尺寸进行图像预处理以及模型推断过程中保持待处理图像的原始图像比例，保证了图像分割结果的精度，从而提高了图像处理的精度。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (12)

1.一种图像处理方法，其特征在于，包括：
获取待处理图像和所述待处理图像的画面布局信息；所述画面布局信息包括图片拍摄方向和/或图像尺寸；
根据所述待处理图像的画面布局信息，确定所述待处理图像的目标画面方向类型；
根据预设的画面方向类型与图像分割模型之间的对应关系，从预设的至少两种图像分割模型中，确定出与所述目标画面方向类型对应的目标图像分割模型；
采用所述目标图像分割模型对所述待处理图像进行图像分割，得到图像分割结果；
基于所述图像分割结果进行图像处理，得到最终处理图像。
2.根据权利要求1所述的方法，其特征在于，所述采用所述目标图像分割模型，对所述待处理图像进行图像分割，得到图像分割结果，包括：
根据所述目标图像分割模型的预设输入图片方向，对所述待处理图像进行旋转，得到调整后的待处理图像；
基于所述目标图像分割模型，从所述调整后的待处理图像中识别并提取出待处理图像区域，得到所述图像分割结果。
3.根据权利要求2所述的方法，其特征在于，所述待处理图像的画面布局信息包括：图片拍摄方向；
所述根据所述目标图像分割模型的预设输入图片方向，对所述待处理图像进行旋转，得到调整后的待处理图像，包括：
计算所述图片拍摄方向与所述预设输入图片方向之间的角度；
根据所述角度对所述待处理图像进行旋转，以使旋转后的待处理图像的图片方向与所述预设输入图片方向一致，得到所述调整后的待处理图像。
4.根据权利要求1所述的方法，其特征在于，所述根据所述待处理图像的画面布局信息，确定所述待处理图像的目标画面方向类型，包括：
根据所述待处理图像的所述图片拍摄方向，确定所述待处理图像的目标画面方向类型；其中，所述图片拍摄方向包括：横向正向、横向反向、纵向正向与纵向反向；所述目标画面方向类型包括：横向正向类型、横向反向类型、纵向正向类型和纵向反向类型。
5.根据权利要求1所述的方法，其特征在于，所述待处理图像的画面布局信息包括：图像尺寸；所述至少两种画面方向类型包括一级画面方向类型与二级画面方向类型；
所述根据所述待处理图像的画面布局信息，确定所述待处理图像的目标画面方向类型，包括：
根据所述图像尺寸，确定所述待处理图像的一级画面方向类型；所述一级画面方向类型包括：横向类型与纵向类型；
对所述待处理图像进行朝向识别，得到朝向识别结果；所述朝向识别结果包括正向和反向；
根据所述朝向识别结果和所述一级画面方向类型，确定所述二级画面方向类型；所述二级画面方向类型包括横向正向类型、横向反向类型、纵向正向类型与纵向反向类型；
将所述二级画面方向类型作为所述目标画面方向类型。
6.根据权利要求3所述的方法，其特征在于，所述方法还包括：
当所述目标图像分割模型对应的画面方向类型为横向正向类型或横向反向类型时，确定所述预设输入图片方向为横向正向；
当所述目标图像分割模型对应的画面方向类型为纵向正向类型或纵向反向类型时，确定所述预设输入图片方向为纵向正向。
7.根据权利要求1所述的方法，其特征在于，所述获取待处理图像和所述待处理图像的画面布局信息，包括：
获取原始图像及原始画面布局信息；
对所述原始图像进行缩放至预设输入图片尺寸，得到缩放图像；
对所述缩放图像进行归一化处理，得到所述待处理图像；
当所述原始画面布局信息中包含图像原始拍摄方向时，将所述图像原始拍摄方向作为所述待处理图像的画面布局信息；所述图像原始拍摄方向为从所述原始图像的图像采集设备的传感器中获取的拍摄方向；
当所述原始画面布局信息中不包含图像原始拍摄方向时，获取所述待处理图像的图像尺寸作为所述画面布局信息。
8.根据权利要求4或5所述的方法，其特征在于，所述至少两种图像分割模型包括：第一分割模型与第二分割模型；所述根据所述目标画面方向类型，从至少两种图像分割模型中，确定出目标图像分割模型，包括：
当所述目标画面方向类型为所述横向正向类型或所述横向反向类型时，确定所述目标图像分割模型为所述第一分割模型；所述第一分割模型为对宽大于高的待处理图像进行图像分割的模型；
当所述目标画面方向类型为所述纵向正向类型或所述纵向反向类型时，确定所述目标图像分割模型为所述第二分割模型；所述第二分割模型为对宽小于高的待处理图像进行图像分割的模型。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
获取训练样本集；所述训练样本集包含多个训练样本对象，所述训练样本对象对应包括样本图像以及与所述样本图像对应的标签图像；
根据初始第一分割模型的第一预设输入比例，以及初始第二分割模型的第二预设输入比例，分别对所述训练样本集进行图像比例预处理，得到第一训练样本集与第二训练样本集；
基于所述第一训练样本集与所述第二训练样本集，分别对所述初始第一分割模型以及所述初始第二分割模型进行持续训练，通过预设的代价函数对所述初始第一分割模型以及所述初始第二分割模型进行模型网络参数的迭代更新，直至满足预设训练条件时，得到所述第一分割模型与所述第二分割模型。
10.一种图像处理装置，其特征在于，包括：
获取单元，用于获取待处理图像和所述待处理图像的画面布局信息；所述画面布局信息包括图片拍摄方向和/或图像尺寸；
确定单元，用于根据所述待处理图像的画面布局信息，确定所述待处理图像的目标画面方向类型；
选择单元，用于根据预设的画面方向类型与图像分割模型之间的对应关系，从预设的至少两种图像分割模型中，确定出与目标画面方向类型对应的目标图像分割模型；
分割单元，用于采用所述目标图像分割模型对所述待处理图像进行图像分割，得到图像分割结果；
处理单元，用于基于所述图像分割结果进行图像处理，得到最终处理图像。
11.一种图像处理设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序时，实现权利要求1至9任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，存储有计算机程序，用于引起处理器执行时，实现权利要求1至9任一项所述的方法。
CN202010744832.XA 2020-07-29 2020-07-29 图像处理方法、装置、设备及计算机可读存储介质 Pending CN111862124A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010744832.XA CN111862124A (zh) 2020-07-29 2020-07-29 图像处理方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010744832.XA CN111862124A (zh) 2020-07-29 2020-07-29 图像处理方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111862124A true CN111862124A (zh) 2020-10-30

Family

ID=72945501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010744832.XA Pending CN111862124A (zh) 2020-07-29 2020-07-29 图像处理方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111862124A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110390679A (zh) * 2019-07-03 2019-10-29 上海联影智能医疗科技有限公司 图像处理方法、计算机设备和可读存储介质
CN112906611A (zh) * 2021-03-05 2021-06-04 新疆爱华盈通信息技术有限公司 一种井盖检测方法、装置、电子设备及存储介质
CN113435454A (zh) * 2021-05-21 2021-09-24 厦门紫光展锐科技有限公司 一种数据处理方法、装置及设备
CN113573153A (zh) * 2021-02-02 2021-10-29 腾讯科技（深圳）有限公司 图像处理方法、装置及设备
WO2022198517A1 (zh) * 2021-03-24 2022-09-29 深圳市大疆创新科技有限公司 图像处理方法、装置、介质以及电子设备
WO2022235075A1 (ko) * 2021-05-07 2022-11-10 삼성전자 주식회사 전자 장치 및 전자 장치의 동작 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110390679A (zh) * 2019-07-03 2019-10-29 上海联影智能医疗科技有限公司 图像处理方法、计算机设备和可读存储介质
CN113573153A (zh) * 2021-02-02 2021-10-29 腾讯科技（深圳）有限公司 图像处理方法、装置及设备
CN112906611A (zh) * 2021-03-05 2021-06-04 新疆爱华盈通信息技术有限公司 一种井盖检测方法、装置、电子设备及存储介质
CN112906611B (zh) * 2021-03-05 2024-04-26 新疆爱华盈通信息技术有限公司 一种井盖检测方法、装置、电子设备及存储介质
WO2022198517A1 (zh) * 2021-03-24 2022-09-29 深圳市大疆创新科技有限公司 图像处理方法、装置、介质以及电子设备
WO2022235075A1 (ko) * 2021-05-07 2022-11-10 삼성전자 주식회사 전자 장치 및 전자 장치의 동작 방법
CN113435454A (zh) * 2021-05-21 2021-09-24 厦门紫光展锐科技有限公司 一种数据处理方法、装置及设备
CN113435454B (zh) * 2021-05-21 2023-07-25 厦门紫光展锐科技有限公司 一种数据处理方法、装置及设备

Similar Documents

Publication Publication Date Title
CN111862124A (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN108961303B (zh) 一种图像处理方法、装置、电子设备和计算机可读介质
CN106778928B (zh) 图像处理方法及装置
CN110148102B (zh) 图像合成方法、广告素材合成方法及装置
TW202042175A (zh) 圖像處理方法及裝置、電子設備和電腦可讀儲存媒體
CN109815843B (zh) 图像处理方法及相关产品
KR20210038622A (ko) 이미지 세그먼트화 방법 및 장치, 컴퓨터 디바이스 및 저장 매체
CN107392933B (zh) 一种图像分割的方法及移动终端
JP2023515654A (ja) 画像最適化方法及びその装置、コンピュータ記憶媒体、コンピュータプログラム並びに電子機器
CN104978750B (zh) 用于处理视频文件的方法和装置
US9058655B2 (en) Region of interest based image registration
CN111612842B (zh) 生成位姿估计模型的方法和装置
CN112101305A (zh) 多路图像处理方法、装置及电子设备
CN111292334B (zh) 一种全景图像分割方法、装置及电子设备
CN112215171A (zh) 目标检测方法、装置、设备及计算机可读存储介质
CN110163866A (zh) 一种图像处理方法、电子设备及计算机可读存储介质
CN109615620B (zh) 图像压缩度识别方法、装置、设备及计算机可读存储介质
CN110689478B (zh) 图像风格化处理方法、装置、电子设备及可读介质
WO2023174063A1 (zh) 背景替换的方法和电子设备
CN115908120B (zh) 图像处理方法和电子设备
CN110197459B (zh) 图像风格化生成方法、装置及电子设备
KR102493900B1 (ko) 스크린을 자동으로 모델링하는 방법
CN109871814B (zh) 年龄的估计方法、装置、电子设备和计算机存储介质
CN109658360B (zh) 图像处理的方法、装置、电子设备和计算机存储介质
CN110766631A (zh) 人脸图像的修饰方法、装置、电子设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination