CN107392933B - 一种图像分割的方法及移动终端 - Google Patents

一种图像分割的方法及移动终端 Download PDF

Info

Publication number
CN107392933B
CN107392933B CN201710564518.1A CN201710564518A CN107392933B CN 107392933 B CN107392933 B CN 107392933B CN 201710564518 A CN201710564518 A CN 201710564518A CN 107392933 B CN107392933 B CN 107392933B
Authority
CN
China
Prior art keywords
image
segmented
portrait
segmentation
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710564518.1A
Other languages
English (en)
Other versions
CN107392933A (zh
Inventor
张华琪
王国刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN201710564518.1A priority Critical patent/CN107392933B/zh
Publication of CN107392933A publication Critical patent/CN107392933A/zh
Application granted granted Critical
Publication of CN107392933B publication Critical patent/CN107392933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Telephone Function (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图像分割的方法及移动终端,涉及电子技术领域,解决现有单个摄像头的智能手机不能对人像较好的分割的问题。该方法包括:获得包含人像的待分割图像和预先生成的人像形状图;根据所述待分割图像对所述人像形状图进行调整,获得与所述待分割图像匹配的人像形状图;根据所述人像形状图对所述待分割图像中的人像和背景进行分割,获得分割图像。本发明的方案以单张图像作为输入,得到了准确分割出人像和背景的分割图像,实现了单个摄像头的人像分割的应用。且通过人像形状图来指导分割,提高了分割的精度和准确性。

Description

一种图像分割的方法及移动终端
技术领域
本发明涉及电子技术领域,并且更具体地,涉及一种图像分割的方法及移动终端。
背景技术
随着智能手机的不断普及以及智能手机配备的拍摄设备的成像质量越来越好,用户使用手机拍照已经成为日常生活中不可或缺的高频习惯。在所有拍摄的场景中,拍摄人像无疑是最重要的场景之一,特别是人像的自拍。现今,基于自拍的应用也不断普及,比如美颜、背景虚化等。
背景虚化是一种模拟单反的浅深度域的技术,具有突显出拍摄重心(比如人物)的震撼效果。现在比较流行的做法是采用基于双摄像头的设备,通过立体视觉的原理来计算深度图,然后通过镜头模糊的方式来模拟单反的浅深度域效果。
基于双摄像头虽然能达到背景虚化的效果,但这样的设备由于配备了双摄像头,成本也会提高,从而限制了其广泛的应用。且目前市场上,以配置单个摄像头的智能手机占有率居多,所以开发基于单摄像头的背景虚化方法就显得特别有必要。
但由于目前单个摄像头的智能手机不能对人像较好的分割,难以实现背景虚化等应用,这一问题亟待解决。
发明内容
本发明实施例提供一种图像分割的方法及移动终端,以解决现有技术中单个摄像头的智能手机不能对人像较好的分割的问题。
第一方面,提供了一种图像分割的方法,包括:
获得包含人像的待分割图像和预先生成的人像形状图;
根据所述待分割图像对所述人像形状图进行调整,获得与所述待分割图像匹配的人像形状图;
根据所述人像形状图对所述待分割图像中的人像和背景进行分割,获得分割图像。
第二方面,提供了一种移动终端,包括:
获得模块,用于获得包含人像的待分割图像和预先生成的人像形状图;
调整模块,用于根据所述待分割图像对所述人像形状图进行调整,获得与所述待分割图像匹配的人像形状图;
分割模块,用于根据所述人像形状图对所述待分割图像中的人像和背景进行分割,获得分割图像。
第三方面,提供了一种移动终端,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述的图像分割的方法中的步骤。
第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现所述的图像分割的方法中的步骤。
这样,本发明实施例中,首先获得包含人像的待分割图像和预先生成的人像形状图;然后根据待分割图像对人像形状图进行调整,获得与待分割图像匹配的人像形状图;最后根据所述人像形状图对待分割图像中的人像和背景进行分割,获得分割图像。从而以单张图像作为输入,得到了准确分割出人像和背景的分割图像,从而能够基于分割图像进行背景虚化等应用,实现了单个摄像头的人像分割的应用。且通过人像形状图来指导分割,提高了分割的精度和准确性。解决了现有技术中单个摄像头的智能手机不能对人像较好的分割的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明图像分割的方法的流程图;
图2为本发明图像分割的方法的FCN网络架构的示意图;
图3为本发明图像分割的方法的人像形状图的示意图;
图4为本发明图像分割的方法的分割图像的示意图;
图5为本发明图像分割的方法的子步骤的流程图;
图6为本发明移动终端的结构示意图;
图7为本发明移动终端的另一结构示意图;
图8为本发明移动终端的另一结构示意图;
图9为本发明移动终端的另一结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的一些实施例中,参照图1所示,提供了一种图像分割的方法,包括:
步骤101,获得包含人像的待分割图像和预先生成的人像形状图。
这里,包含人像的待分割图像是单个摄像头拍摄得到的单张图像。通过获得待分割图像和人像形状图为后续人像分割提供了支持。
其中,参照图3所示,人像形状图可以是预先对人像数据库中的大量图像进行训练得到的,如人像形状图可以是预先对人像数据库中的大量图像进行平均训练得到的平均图。
步骤102,根据所述待分割图像对所述人像形状图进行调整,获得与所述待分割图像匹配的人像形状图。
这里,根据待分割图像对人像形状图进行调整,获得了与待分割图像匹配的人像形状图,从而可基于人像形状图对待分割图像准确地进行指导分割。
步骤103,根据所述人像形状图对所述待分割图像中的人像和背景进行分割,获得分割图像。
这里,根据人像形状图能够对分割图像中的人像和背景进行指导分割,从而获得分割图像,如图4所示,实现了单个摄像头的人像分割的应用。且通过人像形状图增加了对人像形状的约束,提高了分割的精度和准确性。
本发明实施例的分割图像的方法,以单张图像作为输入,得到了准确分割出人像和背景的分割图像,从而能够基于分割图像进行背景虚化等应用,实现了单个摄像头的人像分割的应用。且通过人像形状图来指导分割,提高了分割的精度和准确性。解决了现有技术中单个摄像头的智能手机不能对人像较好的分割的问题。
可选的,步骤103包括:
步骤1031,将所述待分割图像和所述人像形状图输入到预先训练得到的分割网络,通过所述分割网络根据所述人像形状图对所述待分割图像中的人像和背景进行分割,获得分割图像。
这里,将待分割图像和人像形状图输入到分割网络,通过分割网络根据人像形状图对待分割图像中的人像和背景进行分割,获得了分割图像,如图4所示,实现了单个摄像头的人像分割的应用。且针对人像的特性,在输入待分割图像的基础上增加了用于指导分割的人像形状图,增加了对人像形状的约束,提高了分割的精度和准确性。
其中,通常一幅图像具有RGB3个颜色通道,可将待分割图像的RGB3个颜色通道的数据和人像形状图输入到分割网络中,再通过分割网络根据人像形状图对待分割图像中的人像和背景进行分割。分割网络会自动学习特征,并为每个像素找到相应的类别(人像或背景),从而实现分割的目的。
可选的,上述步骤1031,将所述待分割图像和所述人像形状图输入到预先训练得到的分割网络之前,还包括:
步骤104,调用全卷积深度网络(FCN,Fully Convolutional Networks),将所述全卷积深度网络的全连接层的前两层通道下采样预设倍数,并对所述全卷积深度网络进行训练后,将所述全卷积深度网络作为所述分割网络。
其中,FCN能通过端到端的自动特性学习工程,来提取适合视觉任务(如分割、识别等)的特征,再对提取的特征做分类,以达到准确的分割效果,且使得输出和输入的图像大小能保持一致。FCN的网络架构参照图2所示,其前端是一个识别网络,包括特征提取和特征分类的功能,来对每个像素进行类别识别。其后端是一个特征图放大网络,通过使用多个特征图的融合上采样,以达到与输入图大小一致的目的。
FCN的前端包括卷积层和全连接层(Full Connected Layer),一般全连接层的前两层通道的网络参数较多,导致内存和计算量偏大,且由于手机等移动设备的计算能力有限,因此不利于在手机等移动设备上应用。
这里,调用FCN之后,通过将FCN的全连接层的前两层通道下采样预设倍数,达到了简化网络的目的,大大减少了网络的参数,从而减少了内存和计算量,提高了数据处理速度,且可在手机等移动设备上应用。
例如,继续参照图2所示,FCN的网络架构的前端识别网络使用了深度卷积神经网络VGG网络架构,VGG网络的全连接层包括三层通道,前两层为4096通道,第三层为21通道。VGG网络2个全连接层的4096通道参数过多,从而导致内存和计算量偏大。应用本发明实施例的方法,调用FCN网络后,通过将2个全连接层的4096通道下采样预设倍数(如下采样4倍到1024通道),减少了通道数量,减少了网络的参数,达到了加速的目的。
其中,将FCN的全连接层的前两层通道下采样预设倍数后,通过对FCN进行重新训练,保证了FCN网络识别的精度和准确性。具体可调用数据库,利用大数据对FCN进行重新训练。
此时,通过调用FCN,实现了单张图像人像和背景的分割,且输出图像和输入图像的大小能保持一致。且通过将FCN的全连接层的前两层通道下采样预设倍数,减少了网络的参数,提高了数据处理速度,且可在手机等移动设备上应用。且通过对FCN进行重新训练,保证了FCN网络识别的精度和准确性。
FCN的全连接层的第三层通道代表分割的类别。如图2所示,FCN的全连接层的第三层通道包括21通道,这21个通道对应21个分割的类别(如人像、飞机、猫、背景等)。为了进一步减少计算量,可选的,上述步骤104,将所述全卷积深度网络作为所述分割网络之前,还包括:
步骤105,将所述全卷积深度网络的全连接层的第三层通道修改为两个分别对应人像和背景的通道。
这里,通过将FCN的全连接层的第三层通道修改为分别对应人像和背景的两个通道,在满足人像和背景分割的基础上,进一步减少了计算量,提高了处理效率。
其中,对FCN的全连接层的第三层通道修改后,还可对FCN进行重新训练,以保证FCN网络识别的精度和准确性。
可选的,参照图5所示,上述步骤102包括:
步骤1021,对所述待分割图像进行人脸检测,获得所述待分割图像的人脸特征点信息。
这里,通过对待分割图像进行人脸检测,获得待分割图像的人脸特征点信息,为后续调整人像形状图提供了支持,后续可基于人脸特征点信息对人像形状图进行调整。
其中,人脸特征点信息可包括眉毛、嘴角、眼角等的轮廓点信息,但不限于此。
其中,人脸检测可采用如基于特征的人脸检测方法(轮廓规则法、器官分步法、颜色纹理法等)、模板匹配人脸检测方法(马赛克图法等)或基于统计的人脸检测方法等,只要能实现人脸检测,获得待分割图像的人脸特征点信息,任何人脸检测方法都能应用到本发明实施例中,在此不一一说明。
步骤1022,将所述待分割图像的人脸特征点信息与所述人像形状图的特征点信息进行比对。
这里,通过将待分割图像的人脸特征点信息与人像形状图相应部分的特征点信息进行比对,能够获得人像形状图与待分割图像差异的特征点,从而根据这些特征点进行对人像形状图进行调整,以获得与待分割图像匹配的人像形状图。
步骤1023,根据比对结果对所述人像形状图进行调整,获得与所述待分割图像匹配的人像形状图。
这里,根据比对结果,对人像形状图中与待分割图像差异的特征点进行调整,使这些特征点接近人像形状图,从而获得与待分割图像匹配的人像形状图。
此时,基于人脸特征点信息对人像形状图进行调整,准确获得了与待分割图像匹配的人像形状图,从而通过人像形状图来指导分割,提高了分割的精度和准确性。
可选的,上述步骤1023中,根据比对结果对所述人像形状图进行调整,包括:
根据比对结果,采用几何变换的方法对所述人像形状图进行调整。
此时,可通过几何变换的方法(如透视变换),把人像形状图的特征点变换到接近待分割图像的特征点,使得对应点的总的距离误差最小,从而准确获得与待分割图像匹配的人像形状图。
可选的,为了使分割边界更加准确,上述步骤103中,获得分割图像之后,还包括:
通过预设算法对所述分割图像的分割边界进行修正处理。
其中,可采用如抠图Matting算法对分割图像的分割边界进行修正处理,但不限于此。
此时,通过对分割图像的分割边界进行修正处理,使得分割边界更加准确,且更加光顺,提高了分割图像的分割效果。
本发明实施例的分割图像的方法,首先调用全卷积深度网络FCN,将FCN的全连接层的前两层通道下采样预设倍数,并将全连接层的第三层通道修改为两个分别对应人像和背景的通道后,对FCN进行训练,训练后的FCN作为分割网络;然后获得包含人像的待分割图像和预先生成的人像形状图;对待分割图像进行人脸检测,获得待分割图像的人脸特征点信息,再将待分割图像的人脸特征点信息与人像形状图的特征点信息进行比对,根据比对结果采用几何变换的方法对人像形状图进行调整,获得与待分割图像匹配的人像形状图;最后将待分割网络和人像形状图输入到FCN,通过FCN根据人像形状图的指导分割,对待分割图像中的人像和背景进行分割,获得分割图像,再通过如Matting算法对分割图像的分割边界进行修正处理。从而以单张图像作为输入,获得了准确分割出人像和背景的分割图像。进一步的,获得分割图像之后,可以基于分割图像实现背景虚化、背景替换等的应用,方便了用户的使用。
本发明实施例的分割图像的方法,以单张图像作为输入,得到了准确分割出人像和背景的分割图像,从而能够基于分割图像进行背景虚化等应用,实现了单个摄像头的人像分割的应用。且通过人像形状图来指导分割,提高了分割的精度和准确性。解决了现有技术中单个摄像头的智能手机不能对人像较好的分割的问题。
在本发明的一些实施例中,参照图6所示,还提供了一种移动终端600。图6所示的移动终端600,包括:
获得模块601,用于获得包含人像的待分割图像和预先生成的人像形状图;
调整模块602,用于根据所述待分割图像对所述人像形状图进行调整,获得与所述待分割图像匹配的人像形状图;
分割模块603,用于根据所述人像形状图对所述待分割图像中的人像和背景进行分割,获得分割图像。
本发明实施例的移动终端600,以单张图像作为输入,得到了准确分割出人像和背景的分割图像,从而能够基于分割图像进行背景虚化等应用,实现了单个摄像头的人像分割的应用。且通过人像形状图来指导分割,提高了分割的精度和准确性。解决了现有技术中单个摄像头的智能手机不能对人像较好的分割的问题。
可选的,所述分割模块603具体用于:
将所述待分割图像和所述人像形状图输入到预先训练得到的分割网络,通过所述分割网络根据所述人像形状图对所述待分割图像中的人像和背景进行分割,获得分割图像。
可选的,参照图7所示,还包括:
调用模块604,用于将所述待分割图像和所述人像形状图输入到预先训练得到的分割网络之前,调用全卷积深度网络,将所述全卷积深度网络的全连接层的前两层通道下采样预设倍数,并对所述全卷积深度网络进行训练后,将所述全卷积深度网络作为所述分割网络。
可选的,还包括:
修改模块605,用于将所述全卷积深度网络作为所述分割网络之前,将所述全卷积深度网络的全连接层的第三层通道修改为两个分别对应人像和背景的通道。
可选的,所述调整模块602包括:
人脸检测子模块6021,用于对所述待分割图像进行人脸检测,获得所述待分割图像的人脸特征点信息;
比对子模块6022,用于将所述待分割图像的人脸特征点信息与所述人像形状图的特征点信息进行比对;
调整子模块6023,用于根据比对结果对所述人像形状图进行调整,获得与所述待分割图像匹配的人像形状图。
可选的,所述调整子模块6023包括:
调整单元60231,用于根据比对结果,采用几何变换的方法对所述人像形状图进行调整。
可选的,还包括:
修正模块606,用于获得分割图像之后,通过预设算法对所述分割图像的分割边界进行修正处理。
本发明实施例能够实现图1至图5的方法实施例中各步骤,为避免重复,在此不再赘述。本发明实施例的移动终端600,以单张图像作为输入,得到了准确分割出人像和背景的分割图像,从而能够基于分割图像进行背景虚化等应用,实现了单个摄像头的人像分割的应用。且通过人像形状图来指导分割,提高了分割的精度和准确性。解决了现有技术中单个摄像头的智能手机不能对人像较好的分割的问题。
在本发明的一些实施例中,还提供了一种移动终端,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上任一项所述的图像分割的方法中的步骤。
图8是本发明另一个实施例的移动终端的框图。图8所示的移动终端800包括:至少一个处理器801、存储器802、至少一个网络接口804和其他用户接口803。移动终端800中的各个组件通过总线系统805耦合在一起。可理解,总线系统805用于实现这些组件之间的连接通信。总线系统805除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图8中将各种总线都标为总线系统805。
其中,用户接口803可以包括显示器、键盘或者点击设备(例如,鼠标,轨迹球(trackball)、触感板或者触摸屏等。
可以理解,本发明实施例中的存储器802可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DRRAM)。本文描述的系统和方法的存储器802旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中,存储器802存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:操作系统8021和应用程序8022。
其中,操作系统8021,包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序8022,包含各种应用程序,例如媒体播放器(Media Player)、浏览器(Browser)等,用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序8022中。
在本发明实施例中,通过调用存储器802存储的程序或指令,具体的,可以是应用程序8022中存储的程序或指令,处理器801用于获得包含人像的待分割图像和预先生成的人像形状图;根据所述待分割图像对所述人像形状图进行调整,获得与所述待分割图像匹配的人像形状图;根据所述人像形状图对所述待分割图像中的人像和背景进行分割,获得分割图像。
上述本发明实施例揭示的方法可以应用于处理器801中,或者由处理器801实现。处理器801可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器801中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器801可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器802,处理器801读取存储器802中的信息,结合其硬件完成上述方法的步骤。
可以理解的是,本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits,ASIC)、数字信号处理器(Digital Signal Processing,DSP)、数字信号处理设备(DSP Device,DSPD)、可编程逻辑设备(Programmable LogicDevice,PLD)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请功能的其它电子单元或其组合中。
对于软件实现,可通过执行本文功能的模块(例如过程、函数等)来实现本文的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可选的,处理器801具体用于:将所述待分割图像和所述人像形状图输入到预先训练得到的分割网络,通过所述分割网络根据所述人像形状图对所述待分割图像中的人像和背景进行分割,获得分割图像。
可选的,处理器801具体用于:将所述待分割图像和所述人像形状图输入到预先训练得到的分割网络之前,调用全卷积深度网络,将所述全卷积深度网络的全连接层的前两层通道下采样预设倍数,并对所述全卷积深度网络进行训练后,将所述全卷积深度网络作为所述分割网络。
可选的,处理器801具体用于:将所述全卷积深度网络作为所述分割网络之前,将所述全卷积深度网络的全连接层的第三层通道修改为两个分别对应人像和背景的通道。
可选的,处理器801具体用于:对所述待分割图像进行人脸检测,获得所述待分割图像的人脸特征点信息;将所述待分割图像的人脸特征点信息与所述人像形状图的特征点信息进行比对;根据比对结果对所述人像形状图进行调整,获得与所述待分割图像匹配的人像形状图。
可选的,处理器801具体用于:根据比对结果,采用几何变换的方法对所述人像形状图进行调整。
可选的,处理器801具体用于:获得分割图像之后,通过预设算法对所述分割图像的分割边界进行修正处理。
移动终端800能够实现前述实施例中移动终端实现的各个过程,为避免重复,这里不再赘述。移动终端800以单张图像作为输入,得到了准确分割出人像和背景的分割图像,从而能够基于分割图像进行背景虚化等应用,实现了单个摄像头的人像分割的应用。且通过人像形状图来指导分割,提高了分割的精度和准确性。解决了现有技术中单个摄像头的智能手机不能对人像较好的分割的问题。
图9是本发明另一个实施例的移动终端的结构示意图。具体地,图9中的移动终端900可以为手机、平板电脑、个人数字助理(Personal Digital Assistant,PDA)、或车载电脑等。
图9中的移动终端900包括射频(Radio Frequency,RF)电路910、存储器920、输入单元930、显示单元940、处理器960、音频电路970、Wi-Fi(Wireless Fidelity)模块980和电源990。
其中,输入单元930可用于接收用户输入的数字或字符信息,以及产生与移动终端900的用户设置以及功能控制有关的信号输入。具体地,本发明实施例中,该输入单元930可以包括触控面板931。触控面板931,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板931上的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板931可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给该处理器960,并能接收处理器960发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板931。除了触控面板931,输入单元930还可以包括其他输入设备932,其他输入设备932可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
其中,显示单元940可用于显示由用户输入的信息或提供给用户的信息以及移动终端900的各种菜单界面。显示单元940可包括显示面板941,可选的,可以采用LCD或有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板941。
应注意,触控面板931可以覆盖显示面板941,形成触摸显示屏,当该触摸显示屏检测到在其上或附近的触摸操作后,传送给处理器960以确定触摸事件的类型,随后处理器960根据触摸事件的类型在触摸显示屏上提供相应的视觉输出。
触摸显示屏包括应用程序界面显示区及常用控件显示区。该应用程序界面显示区及该常用控件显示区的排列方式并不限定,可以为上下排列、左右排列等可以区分两个显示区的排列方式。该应用程序界面显示区可以用于显示应用程序的界面。每一个界面可以包含至少一个应用程序的图标和/或widget桌面控件等界面元素。该应用程序界面显示区也可以为不包含任何内容的空界面。该常用控件显示区用于显示使用率较高的控件,例如,设置按钮、界面编号、滚动条、电话本图标等应用程序图标等。
其中处理器960是移动终端900的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在第一存储器921内的软件程序和/或模块,以及调用存储在第二存储器922内的数据,执行移动终端900的各种功能和处理数据,从而对移动终端900进行整体监控。可选的,处理器960可包括一个或多个处理单元。
在本发明实施例中,通过调用存储该第一存储器921内的软件程序和/或模块和/或该第二存储器922内的数据,处理器960用于获得包含人像的待分割图像和预先生成的人像形状图;根据所述待分割图像对所述人像形状图进行调整,获得与所述待分割图像匹配的人像形状图;根据所述人像形状图对所述待分割图像中的人像和背景进行分割,获得分割图像。
可选的,处理器960具体用于:将所述待分割图像和所述人像形状图输入到预先训练得到的分割网络,通过所述分割网络根据所述人像形状图对所述待分割图像中的人像和背景进行分割,获得分割图像。
可选的,处理器960具体用于:将所述待分割图像和所述人像形状图输入到预先训练得到的分割网络之前,调用全卷积深度网络,将所述全卷积深度网络的全连接层的前两层通道下采样预设倍数,并对所述全卷积深度网络进行训练后,将所述全卷积深度网络作为所述分割网络。
可选的,处理器960具体用于:将所述全卷积深度网络作为所述分割网络之前,将所述全卷积深度网络的全连接层的第三层通道修改为两个分别对应人像和背景的通道。
可选的,处理器960具体用于:对所述待分割图像进行人脸检测,获得所述待分割图像的人脸特征点信息;将所述待分割图像的人脸特征点信息与所述人像形状图的特征点信息进行比对;根据比对结果对所述人像形状图进行调整,获得与所述待分割图像匹配的人像形状图。
可选的,处理器960具体用于:根据比对结果,采用几何变换的方法对所述人像形状图进行调整。
可选的,处理器960具体用于:获得分割图像之后,通过预设算法对所述分割图像的分割边界进行修正处理。
可见,移动终端900以单张图像作为输入,得到了准确分割出人像和背景的分割图像,从而能够基于分割图像进行背景虚化等应用,实现了单个摄像头的人像分割的应用。且通过人像形状图来指导分割,提高了分割的精度和准确性。解决了现有技术中单个摄像头的智能手机不能对人像较好的分割的问题。
在本发明的一些实施例中,还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现以下步骤:
获得包含人像的待分割图像和预先生成的人像形状图;
根据所述待分割图像对所述人像形状图进行调整,获得与所述待分割图像匹配的人像形状图;
根据所述人像形状图对所述待分割图像中的人像和背景进行分割,获得分割图像。
可选的,该程序被处理器执行时具体实现以下步骤:将所述待分割图像和所述人像形状图输入到预先训练得到的分割网络,通过所述分割网络根据所述人像形状图对所述待分割图像中的人像和背景进行分割,获得分割图像。
可选的,该程序被处理器执行时具体实现以下步骤:将所述待分割图像和所述人像形状图输入到预先训练得到的分割网络之前,调用全卷积深度网络,将所述全卷积深度网络的全连接层的前两层通道下采样预设倍数,并对所述全卷积深度网络进行训练后,将所述全卷积深度网络作为所述分割网络。
可选的,该程序被处理器执行时具体实现以下步骤:将所述全卷积深度网络作为所述分割网络之前,将所述全卷积深度网络的全连接层的第三层通道修改为两个分别对应人像和背景的通道。
可选的,该程序被处理器执行时具体实现以下步骤:对所述待分割图像进行人脸检测,获得所述待分割图像的人脸特征点信息;将所述待分割图像的人脸特征点信息与所述人像形状图的特征点信息进行比对;根据比对结果对所述人像形状图进行调整,获得与所述待分割图像匹配的人像形状图。
可选的,该程序被处理器执行时具体实现以下步骤:根据比对结果,采用几何变换的方法对所述人像形状图进行调整。
可选的,该程序被处理器执行时具体实现以下步骤:获得分割图像之后,通过预设算法对所述分割图像的分割边界进行修正处理。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种图像分割的方法,其特征在于,包括:
获得包含人像的待分割图像和预先生成的人像形状图;
根据所述待分割图像对所述人像形状图进行调整,获得与所述待分割图像匹配的人像形状图;
根据所述人像形状图对所述待分割图像中的人像和背景进行分割,获得分割图像;
其中,所述待分割图像是单个摄像头拍摄得到的单张图像;
其中,根据所述待分割图像对所述人像形状图进行调整,获得与所述待分割图像匹配的人像形状图,包括:
对所述待分割图像进行人脸检测,获得所述待分割图像的人脸特征点信息;
将所述待分割图像的人脸特征点信息与所述人像形状图的特征点信息进行比对;
根据比对结果对所述人像形状图进行调整,获得与所述待分割图像匹配的人像形状图。
2.根据权利要求1所述的方法,其特征在于,根据所述人像形状图对所述待分割图像中的人像和背景进行分割,获得分割图像,包括:
将所述待分割图像和所述人像形状图输入到预先训练得到的分割网络,通过所述分割网络根据所述人像形状图对所述待分割图像中的人像和背景进行分割,获得分割图像。
3.根据权利要求2所述的方法,其特征在于,将所述待分割图像和所述人像形状图输入到预先训练得到的分割网络之前,还包括:
调用全卷积深度网络,将所述全卷积深度网络的全连接层的前两层通道下采样预设倍数,并对所述全卷积深度网络进行训练后,将所述全卷积深度网络作为所述分割网络。
4.根据权利要求3所述的方法,其特征在于,将所述全卷积深度网络作为所述分割网络之前,还包括:
将所述全卷积深度网络的全连接层的第三层通道修改为两个分别对应人像和背景的通道。
5.根据权利要求1所述的方法,其特征在于,根据比对结果对所述人像形状图进行调整,包括:
根据比对结果,采用几何变换的方法对所述人像形状图进行调整。
6.根据权利要求1所述的方法,其特征在于,获得分割图像之后,还包括:
通过预设算法对所述分割图像的分割边界进行修正处理。
7.一种移动终端,其特征在于,包括:
获得模块,用于获得包含人像的待分割图像和预先生成的人像形状图;
调整模块,用于根据所述待分割图像对所述人像形状图进行调整,获得与所述待分割图像匹配的人像形状图;
分割模块,用于根据所述人像形状图对所述待分割图像中的人像和背景进行分割,获得分割图像;
其中,所述待分割图像是单个摄像头拍摄得到的单张图像;
其中,所述调整模块包括:
人脸检测子模块,用于对所述待分割图像进行人脸检测,获得所述待分割图像的人脸特征点信息;
比对子模块,用于将所述待分割图像的人脸特征点信息与所述人像形状图的特征点信息进行比对;
调整子模块,用于根据比对结果对所述人像形状图进行调整,获得与所述待分割图像匹配的人像形状图。
8.根据权利要求7所述的移动终端,其特征在于,所述分割模块具体用于:
将所述待分割图像和所述人像形状图输入到预先训练得到的分割网络,通过所述分割网络根据所述人像形状图对所述待分割图像中的人像和背景进行分割,获得分割图像。
9.根据权利要求8所述的移动终端,其特征在于,还包括:
调用模块,用于将所述待分割图像和所述人像形状图输入到预先训练得到的分割网络之前,调用全卷积深度网络,将所述全卷积深度网络的全连接层的前两层通道下采样预设倍数,并对所述全卷积深度网络进行训练后,将所述全卷积深度网络作为所述分割网络。
10.根据权利要求9所述的移动终端,其特征在于,还包括:
修改模块,用于将所述全卷积深度网络作为所述分割网络之前,将所述全卷积深度网络的全连接层的第三层通道修改为两个分别对应人像和背景的通道。
11.根据权利要求7所述的移动终端,其特征在于,所述调整子模块包括:
调整单元,用于根据比对结果,采用几何变换的方法对所述人像形状图进行调整。
12.根据权利要求7所述的移动终端,其特征在于,还包括:
修正模块,用于获得分割图像之后,通过预设算法对所述分割图像的分割边界进行修正处理。
13.一种移动终端,其特征在于,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1~6中任一项所述的图像分割的方法中的步骤。
14.一种计算机可读存储介质,其特征在于,存储有计算机程序,该程序被处理器执行时实现如权利要求1~6中任一项所述的图像分割的方法中的步骤。
CN201710564518.1A 2017-07-12 2017-07-12 一种图像分割的方法及移动终端 Active CN107392933B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710564518.1A CN107392933B (zh) 2017-07-12 2017-07-12 一种图像分割的方法及移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710564518.1A CN107392933B (zh) 2017-07-12 2017-07-12 一种图像分割的方法及移动终端

Publications (2)

Publication Number Publication Date
CN107392933A CN107392933A (zh) 2017-11-24
CN107392933B true CN107392933B (zh) 2020-02-21

Family

ID=60340277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710564518.1A Active CN107392933B (zh) 2017-07-12 2017-07-12 一种图像分割的方法及移动终端

Country Status (1)

Country Link
CN (1) CN107392933B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107993238A (zh) * 2017-12-19 2018-05-04 中科视拓(北京)科技有限公司 一种基于注意力模型的头肩部分图像分割方法及装置
CN108665475A (zh) * 2018-05-15 2018-10-16 北京市商汤科技开发有限公司 神经网络训练、图像处理方法、装置、存储介质和电子设备
CN110855875A (zh) * 2018-08-20 2020-02-28 珠海格力电器股份有限公司 获取图像的背景信息的方法及装置
CN110956576B (zh) * 2018-09-27 2024-03-22 北京小米移动软件有限公司 图像处理方法、装置、设备及存储介质
CN110210487A (zh) * 2019-05-30 2019-09-06 上海商汤智能科技有限公司 一种图像分割方法及装置、电子设备和存储介质
CN110198421B (zh) * 2019-06-17 2021-08-10 Oppo广东移动通信有限公司 视频处理方法及相关产品
CN111724300B (zh) * 2020-06-30 2023-10-13 珠海复旦创新研究院 单张图片背景虚化方法、装置及设备
CN113824877B (zh) * 2021-08-19 2023-04-28 惠州Tcl云创科技有限公司 一种全景深图像合成方法、存储介质及智能手机

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1503194A (zh) * 2002-11-26 2004-06-09 中国科学院计算技术研究所 利用身材信息辅助人脸信息的身份识别方法
CN104067314A (zh) * 2014-05-23 2014-09-24 中国科学院自动化研究所 人形图像分割方法
CN105068145A (zh) * 2015-07-23 2015-11-18 姜翠英 人体图像清晰化分析平台
CN106778662A (zh) * 2016-12-28 2017-05-31 苏州朗捷通智能科技有限公司 基于视频的人流量统计方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1503194A (zh) * 2002-11-26 2004-06-09 中国科学院计算技术研究所 利用身材信息辅助人脸信息的身份识别方法
CN104067314A (zh) * 2014-05-23 2014-09-24 中国科学院自动化研究所 人形图像分割方法
CN105068145A (zh) * 2015-07-23 2015-11-18 姜翠英 人体图像清晰化分析平台
CN106778662A (zh) * 2016-12-28 2017-05-31 苏州朗捷通智能科技有限公司 基于视频的人流量统计方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
易 盟,隋立春."基于改进全卷积神经网络的航拍图像语义分类方法".《计算机工程》.2017, *

Also Published As

Publication number Publication date
CN107392933A (zh) 2017-11-24

Similar Documents

Publication Publication Date Title
CN107392933B (zh) 一种图像分割的方法及移动终端
CN110148102B (zh) 图像合成方法、广告素材合成方法及装置
US10007841B2 (en) Human face recognition method, apparatus and terminal
WO2021135601A1 (zh) 辅助拍照方法、装置、终端设备及存储介质
EP3125158B1 (en) Method and device for displaying images
US9185286B2 (en) Combining effective images in electronic device having a plurality of cameras
KR102114377B1 (ko) 전자 장치에 의해 촬영된 이미지들을 프리뷰하는 방법 및 이를 위한 전자 장치
US10516830B2 (en) Guided image composition on mobile devices
CN109257645B (zh) 视频封面生成方法及装置
CN108470322B (zh) 处理人脸图像的方法、装置及可读存储介质
KR20220053670A (ko) 목표 대상물 매칭 방법 및 장치, 전자 기기 및 기억 매체
CN107613202B (zh) 一种拍摄方法及移动终端
US11030733B2 (en) Method, electronic device and storage medium for processing image
WO2022227393A1 (zh) 图像拍摄方法及装置、电子设备和计算机可读存储介质
CN109840939B (zh) 三维重建方法、装置、电子设备及存储介质
CN106980840A (zh) 脸型匹配方法、装置及存储介质
CN107172347B (zh) 一种拍照方法及终端
CN109325908B (zh) 图像处理方法及装置、电子设备和存储介质
CN112115894B (zh) 手部关键点检测模型的训练方法、装置及电子设备
CN111860485A (zh) 图像识别模型的训练方法、图像的识别方法、装置、设备
CN111862124A (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN111476057B (zh) 车道线获取方法及装置、车辆驾驶方法及装置
CN113409342A (zh) 图像风格迁移模型的训练方法、装置及电子设备
WO2019120025A1 (zh) 照片的调整方法、装置、存储介质及电子设备
CN105574834B (zh) 图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant