CN109173263B - 一种图像数据处理方法和装置 - Google Patents

一种图像数据处理方法和装置 Download PDF

Info

Publication number
CN109173263B
CN109173263B CN201811014154.0A CN201811014154A CN109173263B CN 109173263 B CN109173263 B CN 109173263B CN 201811014154 A CN201811014154 A CN 201811014154A CN 109173263 B CN109173263 B CN 109173263B
Authority
CN
China
Prior art keywords
information
target object
target
original image
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811014154.0A
Other languages
English (en)
Other versions
CN109173263A (zh
Inventor
李科慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201811014154.0A priority Critical patent/CN109173263B/zh
Publication of CN109173263A publication Critical patent/CN109173263A/zh
Application granted granted Critical
Publication of CN109173263B publication Critical patent/CN109173263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/825Fostering virtual characters
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6009Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8058Virtual breeding, e.g. tamagotchi

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种图像数据处理方法和装置,所述方法包括:获取包含目标对象的原始图像信息,并基于第一神经网络模型,对原始图像信息中的多个像素点进行检测,并根据检测结果为每个像素点设置相应的掩码值;根据原始图像信息中的每个像素点的像素值以及掩码值,对原始图像信息进行分割,得到包含具有第一掩码值的像素点的前景区域,作为目标对象对应的目标区域;对目标区域内的目标对象进行识别,并根据识别结果确定目标对象对应的体征分类信息;查找与体征分类信息相匹配的素材信息,并将查找到的素材信息进行整合,生成目标对象对应的第一虚拟人物数据。采用本发明,可以提高数据的识别效率和识别准确率,并可以丰富图像数据的展示效果。

Description

一种图像数据处理方法和装置
技术领域
本发明涉及互联网技术领域,尤其涉及一种图像数据处理方法和装置。
背景技术
随着电脑、互联网、手机的迅速发展和普及,虚拟宠物逐渐兴起。现有的虚拟宠物往往是通过人为对原始图像进行图像处理之后所得到的虚拟图像。即当终端获取到一张宠物狗的原始图片时,可以在该宠物狗的原始图片的基础上,人为地对该宠物狗所在区域内的图像数据进行图像处理,比如,可以人为地将该宠物狗的鼻子进行放大、缩小或更换,以得到该宠物狗对应的虚拟图像。可见,通过图像处理后所得到虚拟图像和原始图像依然具有相同的品种属性,进而导致图像处理后的图像数据的展示效果比较单一。
此外,对于目前现有的一些图像处理技术(比如,自动将原始图像中的宠物狗的眼睛放大或者缩小),则需要提前对该整张原始图像进行识别,以找出其中的宠物狗的眼睛,当该原始图像中的存在大量的背景数据时,这些背景数据会在对该宠物狗眼睛的进行识别的过程中会产生大量冗余数据处理量,降低了数据识别效率,而且大量的背景数据也会对该宠物狗眼睛的识别造成干扰,甚至出现误识别,进而降低了图像数据的识别准确率。
发明内容
本发明实施例提供一种图像数据处理方法和装置,可以丰富图像数据的展示效果,且可以提高数据识别效率和识别准确率。
本发明实施例一方面提供了一种图像数据处理方法,包括:
获取包含目标对象的原始图像信息,并基于第一神经网络模型,对所述原始图像信息中的多个像素点进行检测,并根据检测结果为每个像素点设置相应的掩码值;所述掩码值包括第一掩码值和第二掩码值;所述第一掩码值用于表征属于前景区域的像素点,所述第二掩码值用于表征属于背景区域的像素点;
根据所述原始图像信息中的每个像素点的像素值以及所述掩码值,对所述原始图像信息进行分割,得到包含具有所述第一掩码值的像素点的前景区域,作为所述目标对象对应的目标区域;
对所述目标区域内的所述目标对象进行识别,并根据识别结果确定所述目标对象对应的体征分类信息;
查找与所述体征分类信息相匹配的素材信息,并将查找到的素材信息进行整合,生成所述目标对象对应的第一虚拟人物数据。
本发明实施例一方面提供了一种图像数据处理装置,包括:
图像获取模块,用于获取包含目标对象的原始图像信息,并基于第一神经网络模型,对所述原始图像信息中的多个像素点进行检测,并根据检测结果为每个像素点设置相应的掩码值;所述掩码值包括第一掩码值和第二掩码值;所述第一掩码值用于表征属于前景区域的像素点,所述第二掩码值用于表征属于背景区域的像素点;
区域分割模块,用于据所述原始图像信息中的每个像素点的像素值以及所述掩码值,对所述原始图像信息进行分割,得到包含具有所述第一掩码值的像素点的前景区域,作为所述目标对象对应的目标区域;
对象识别模块,用于对所述目标区域内的所述目标对象进行识别,并根据识别结果确定所述目标对象对应的体征分类信息;
匹配整合模块,用于查找与所述体征分类信息相匹配的素材信息,并将查找到的素材信息进行整合,生成所述目标对象对应的第一虚拟人物数据。
本发明实施例一方面提供了一种图像数据处理装置,包括:处理器和存储器;
所述处理器和存储器相连,其中,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行如本发明实施例中第一方面中的方法。
本发明实施例一方面提供了一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时,执行如本发明实施例中第一方面中的方法。
本发明实施例通过获取包含目标对象的原始图像信息,并基于第一神经网络模型,对所述原始图像信息中的多个像素点进行检测,并根据检测结果为每个像素点设置相应的掩码值;所述掩码值包括第一掩码值和第二掩码值;所述第一掩码值用于表征属于前景区域的像素点,所述第二掩码值用于表征属于背景区域的像素点;根据所述原始图像信息中的每个像素点的像素值以及所述掩码值,对所述原始图像信息进行分割,得到包含具有所述第一掩码值的像素点的前景区域,作为所述目标对象对应的目标区域;对所述目标区域内的所述目标对象进行识别,并根据识别结果确定所述目标对象对应的体征分类信息;查找与所述体征分类信息相匹配的素材信息,并将查找到的素材信息进行整合,生成所述目标对象对应的第一虚拟人物数据。由此可见,通过将所述原始图像信息中的前景和背景进行分离,可以得到所述目标对象对应目标区域,即可以将所述目标对象从该原始图像信息中抠取出来,以便于在对所述目标对象进行识别的过程中,能够滤除背景区域的干扰,即基于该划分出的目标区域可以快速对所述目标对象进行识别,并且还能够提高对该目标对象进行识别的准确率;因此,在得到该目标对象对应的体征分类信息时,可以快速查找到与该与所述体征分类信息相匹配的素材信息,进而可以得到类似于所述目标对象的虚拟人物数据,即实现对该目标对象进行拟人化的处理,以使该目标对象在该虚拟人物数据所呈现出的人的体征属性,从而丰富了图像数据的展示效果,且可以提高数据识别效率和识别准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种网络架构的结构示意图;
图2是本发明实施例提供的一种图像数据交互的示意图;
图3是本发明实施例提供的另一种数据交互的示意图;
图4是本发明实施例提供的一种图像数据处理方法的流程示意图;
图5是本发明实施例提供的一种获取第一图像信息的示意图;
图6是本发明实施例提供的一种获取第二图像信息的示意图;
图7是本发明实施例提供的一种划分图像区域的示意图;
图8是本发明实施例提供的一种分割出目标区域的示意图;
图9是本发明实施例提供的一种获取目标对象对应的体征分类信息的示意图;
图10是本发明实施例提供的一种获取第一虚拟人物数据的示意图;
图11是本发明实施例提供的另一种图像数据处理方法的流程示意图;
图12是本发明实施例提供的一种图像数据处理的示意图;
图13是本发明实施例提供的一种获取第二虚拟人物数据的示意图;
图14是本发明实施例提供的一种图像数据处理装置的结构示意图;
图15是本发明实施例提供的另一种图像数据处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图1,是本发明实施例提供的一种网络架构的结构示意图。如图1所示,所述网络架构可以包括服务终端2000以及用户终端集群;所述用户终端集群可以包括多个用户终端,如图1所示,具体包括用户终端3000a、用户终端3000b、…、用户终端3000n;
如图1所示,所述用户终端3000a、用户终端3000b、…、用户终端3000n可以分别与所述服务终端2000进行网络连接,所述多个用户终端可以通过某社交平台对应的服务终端2000实现用户行为数据的交互。
所述目标用户终端可以包括:智能手机、平板电脑、桌上型电脑、智能电视等携带摄像功能的智能终端。
为便于理解,本发明实施例可以在图1所示的多个用户终端中选择一个用户终端作为目标用户终端,例如,可以将图1所示的用户终端3000a作为所述目标用户终端。如图1所示,该目标用户终端可以通过该终端内的摄像头采集包含目标对象的第一图像信息,可选地,该目标用户终端还可以接收目标用户对本地图像库(即该终端内的图像库)中的图片所执行的选择指令,并可以根据该选择指令将该目标用户所选择的包含目标对象的图片作为第二图像信息。其中,所述目标对象可以为目标用户所豢养的动物、植物以及该目标用户所喜爱的日常用品(例如,杯子)等,并可以将所述动物、所述植物以及所述日常用品等统称为宠物。因此,该第一图像信息中的目标对象即为该目标用户所喜爱的宠物(例如,小狗)。若该目标用户终端具备图像数据处理功能,则该目标用户终端可以将获取到的第一图像信息或第二图像信息称之为原始图像信息,并可以在该终端内对该原始图像信息中的前景区域(即目标对象所在的图像区域)和背景区域(即去除该目标对象后的图像区域)进行分割,以得到所述目标对象对应的目标区域,即通过将该原始图像信息中的前景和背景进行分离,可以有效的防止背景区域内的像素点对该前景区域内的像素点的干扰,从而可以提高对该目标区域内的目标对象的识别率。
应当理解,所述目标用户终端所具备的图像数据处理功能,是指该目标用户终端中集成有能够将该原始图像信息中的宠物(比如,狗)进行拟人化处理的图像数据处理装置,由于该图像数据处理装置被集成于该目标用户终端(例如,用户终端3000a)内,因此,可以将该目标用户终端内所述图像数据处理装置对该原始图像信息进行分割的操作,称之为所述目标用户终端对该原始图像信息所进行的分割操作。于是,所述目标用户终端(即用户终端3000a)可以在对该原始图像信息进行分割操作后,进一步得到所述目标对象对应的目标区域。
进一步地,请参见图2,是本发明实施例提供的一种图像数据交互的示意图。如图2所示,用户终端3000a内集成有能够将该原始图像信息中的目标对象(即图2所示的小狗)进行拟人化处理的图像数据处理装置,然后该用户终端3000a可以进一步基于该图像数据处理装置对该原始图像信息进行分割,以得到图2所述的该小狗(即目标对象)对应的目标区域。然后,该用户终端3000a可以进一步对该目标区域内的小狗进行识别,并根据识别结果确定图2所示的小狗(即目标对象)对应的体征分类信息,即可以根据识别结果确定出该小狗的多个身体部位对应的分类属性,并将所述多个身体部位分别对应的分类属性称之为所述目标对象对应的体征分类信息。
比如,该用户终端3000a可以从图2所示的所述目标区域中提取出该小狗的整体轮廓,并从该小狗的整体轮廓中进一步定位出脸部、躯干、…、尾巴和四肢的位置区域,以便于进一步在所述脸部、躯干、…、尾巴和四肢的位置区域中分别提取出该小狗的脸部特征、躯干特征、…、尾巴特征和四肢特征,应当理解,这些所提取出来的小狗的脸部特征、躯干特征、…、尾巴特征和四肢特征即为该小狗的每个身体部位对应的局部体征信息。于是,该用户终端3000a可以进一步根据该小狗的多个局部体征信息,即脸部特征、躯干特征、…、尾巴特征和四肢特征,对该小狗的各个身体部位进行归类,以得到该小狗的每个身体部位对应的分类属性(比如,五官类属性,…,躯干类属性,毛发类属性),即各身体部位对应的分类属性可以称之为该目标对象对应的体征分类信息。其中,五官类属性可以描述为圆圆的眼睛,大大的耳朵,…,高高的鼻子等对五官的具体分类。应当理解,对其它身体部位对应的分类属性的描述,可参见对五官类属性的描述,这里不再一一列举。
其中,通过卷积神经网络模型所提取出的每个局部体征信息和该卷积神经网络模型中的每个属性类型特征之间具有一定的关联关系,即该关联关系可以理解为二者之间的匹配度,比如,以提取出来的小狗的尾巴特征为例,可以通过该卷积神经网络模型的分类器,输出该小狗的尾巴特征(即局部体征信息)与各属性类型特征(比如,长尾巴类型特征,…,短尾巴类型特征)之间的匹配度,匹配度越高说明从该卷积神经网络模型所提取到的小狗的尾巴特征(局部体征信息)与相应的属性类型特征对应的标签信息之间的匹配概率越大。因此,所述用户终端3000a可以进一步从该卷积神经网络模型的分类器所输出的匹配度中确定出最大匹配度,并可以进一步根据该最大匹配度以及该最大匹配度所关联的属性类型特征对应的标签信息,得到该小狗的相应身体部位的分类属性,即可以得到该目标对象对应的体征分类信息。
其中,所述脸部特征可以包括眼睛特征、嘴巴特征、鼻子特征、耳朵特征以及眉毛特征等五官特征。
应当理解,图2所示的小狗的每个身体部位对应的局部体征信息均包括颜色和形状两个体征参数,并将这两个体征参数称之为相应身体部位对应的局部图像数据。
然后,该用户终端3000a可以进一步在人体素材库中查找与所述体征分类信息相匹配的素材信息,并将查找到的素材信息进行整合,以生成图2所述的目标对象对应的第一虚拟人物数据,即初步完成了对该小狗进行拟人化的操作。然后,该用户终端3000a可以进一步将该得到的第一虚拟人物数据上传至与该用户终端3000a具有网络连接关系的服务器(该服务器可以为上述图1所对应实施例中的服务终端2000),以使该服务器能够对该接收到的第一虚拟人物数据进行处理,并将处理后的第一虚拟人物数据分发给上述图1所对应实施例中的社交平台中的其它用户,以在其他用户终端中显示所述第一虚拟人物数据。
可选地,若所述图像数据处理装置是集成于图1所示的服务终端2000,则所述服务终端2000可以基于该图像数据处理装置在原始图像信息中,对所述目标对象对应的图像区域进行分割,以得到所述目标对象对应目标区域。进一步地,请参见图3,是本发明实施例提供的另一种数据交互的示意图。如图3所示,所述用户终端3000b(即目标用户终端,且该目标用户终端中未集成有能够对第一图像信息中的目标对象进行拟人化处理的图像数据处理装置)可以将采集到的第一图像信息上传给图3所示的服务器,该服务器可以为上述图1所对应实施例中的服务终端2000,且该服务器在接收到所述包含目标对象(即小狗)的第一图像信息时,可以将该第一图像信息作为包含目标对象的原始图像信息,并在该服务器内对该原始图像信息中该小狗对应的图像区域进行分割,以得到图3所示的该小狗对应的目标区域,然后该服务终端可以按照上述用户终端3000a对该目标对象进行拟人化处理的具体过程,对图3所示的小狗进行拟人化处理。以得到图3所示的第一虚拟人物数据。
可见,图3所示的服务器可以接收各用户终端所上传的第一图像信息和/或第二图像信息,并可以在该服务器内将接收到的所述第一图像信息和/或第二图像信息中的目标对象进行拟人化处理,从而可以得到每个用户终端分别对应的第一虚拟人物数据。
为便于理解,本发明实施例将不对所述图像数据处理装置集成在图1所示的目标用户终端或图1所示的服务终端进行限制,以便于后续能够对所述图像数据处理装置获取所述第一虚拟人物数据的具体过程进行描述,其中,所述图像数据处理装置获取所述原始图像信息、和对目标区域的所述目标对象进行识别以及生成该目标对象对应的第一虚拟人物数据的具体过程,可以参见如下图4至图13所对应的实施例。
进一步地,请参见图4,是本发明实施例提供的一种图像数据处理方法的流程示意图。如图4所示,所述方法可以包括:
步骤S101,获取包含目标对象的原始图像信息,获取包含目标对象的原始图像信息,并基于第一神经网络模型,对所述原始图像信息中的多个像素点进行检测,并根据检测结果为每个像素点设置相应的掩码值。
具体地,图像数据处理装置可以获取包含目标对象的原始图像信息,即当所述图像数据处理装置集成于目标终端内时,可以在检测到该目标终端的相机处于开启状态时,采集包含目标对象的原始图像信息,此时,获取所述原始图像信息的过程可以理解为:所述图像数据处理装置通过开启的摄像头对所述目标对象进行拍照,并将拍照所得的第一图像信息(即上述图2所对应实施例中的第一图像信息)作为所述目标对象的原始图像信息。可选地,所述图像数据处理装置还可以在获取到用户对本地图像库中包含目标对象的第二图像信息(即上述图3所对应实施例中的第二图像信息)的显示区域的操作指令时,根据所述操作指令将所述第二图像信息作为所述目标对象的原始图像信息,即此时,获取所述原始图像信息的过程可以理解为:所述图像数据处理装置将该用户在所述本地图像库中所选取的第二图像信息,作为所述目标对象的原始图像信息。然后,所述图像数据处理装置可以进一步基于第一神经网络模型对该原始图像信息中的多个像素点进行检测,以根据检测结果为每个像素点设置相应的掩码值;其中,所述掩码值可以包括第一掩码值和第二掩码值;所述第一掩码值用于表征属于前景区域的像素点,所述第二掩码值用于表征属于背景区域的像素点。
其中,所述用户终端可以为上述图1所对应实施例中的目标用户终端,所述目标用户终端可以包括:智能手机、平板电脑、桌上型电脑、智能电视等智能终端。
进一步地,请参见图5,是本发明实施例提供的一种获取第一图像信息的示意图。如图5所示,目标用户在开启图5所示的目标终端内的相机应用之后,可以进一步通过该相机应用对应的摄像头对地面上的小狗(即目标对象)进行拍照,并将拍摄所得到的包含该小狗的图片显示在该相机应用对应的结果预览界面(即图5所示的显示界面100a),以得到图5所示的包含该目标对象的第一图像信息。应当理解,当所述图像数据处理装置集成于图5所示的目标终端内(即该目标终端为上述图2所对应实施例中的用户终端3000a)时,则可以在该目标终端内基于该图像数据处理装置将图5所示的第一图像信息作为所述原始图像信息,并可进一步在该目标终端内对该原始图像信息进行后续的拟人化处理。可选地,当该图像数据处理装置集成于后台服务器内,即该后台服务器可以为上述图1所对应实施例中的服务终端2000,则该后台服务器可以接受图5所示的目标终端所上传的第一图像信息,并在该后台服务器内将该第一图像信息作为获取到的包含所述目标对象(即图5所示的小狗)的原始图像信息,以进一步在该后台服务器内对该原始图像信息进行后续的拟人化处理。
应当理解,当图5所示的目标终端在拍摄得到多张包含该小狗的图片时,可以进一步对每张包含该小狗的图片进行存储,以便于该目标终端对应的目标用户后期可以从存储这些图片的本地图像库中选择一张比较满意的图片(即第二图像信息),作为该目标对象的原始图像信息。进一步地,请参见图6,是本发明实施例提供的一种获取第二图像信息的示意图。如图6所示,B1~B9,分别用于表征所述目标终端(该目标终端可以为上述图5所对应实施例中的目标终端)中包含该小狗(即上述图5所示的目标对象)的图片,即图片B1—图片B9为图6所示的显示界面200a中的多张图片,这些图片均被存储在该相机应用对应的本地图像库中。如图6所示,当检测到用户针对该显示界面200a中的多张图片的任何一张图片的操作指令(比如,针对该显示界面200a中的图片B9执行点击操作)时,可以根据该操作指令将图片B9作为第二图像信息,并在图6所示的显示界面300a中显示包含该目标对象的第二图像信息。应当理解,当所述图像数据处理装置集成于图6所示的目标终端内(即该目标终端为上述图2所对应实施例中的用户终端3000a)时,则可以在该目标终端内基于该图像数据处理装置将图6所示的第二图像信息作为所述原始图像信息,并可进一步在该目标终端内对该原始图像信息进行后续的拟人化处理。可选地,当该图像数据处理装置集成于后台服务器内,即该后台服务器可以为上述图1所对应实施例中的服务终端2000,则该后台服务器可以接受图6所示的目标终端所上传的第一图像信息,并在该后台服务器内将该第二图像信息作为获取到的包含所述目标对象(即图5所示的小狗)的原始图像信息,以进一步在该后台服务器内对该原始图像信息进行后续的拟人化处理。
为便于理解,本发明实施例将不对所述图像数据处理装置集成在所述目标终端或者所述后台服务器中的具体集成场景进行限制,因此,可以将所述目标终端或所述后台服务器获取到包含所述目标对象的所述原始图像信息,等效为所述图像数据处理装置获取到所述原始图像信息。
进一步地,该图像处理装置可以进一步基于第一神经网络模型,对获取到的原始图像信息中的多个像素点进行检测,并根据检测结果为每个像素点设置相应的掩码值;其中,所述掩码值包括第一掩码值和第二掩码值;所述第一掩码值用于表征属于前景区域的像素点,所述第二掩码值用于表征属于背景区域的像素点。其中,所述前景区域即为所述目标对象对应的图像区域,所述背景区域即为所述原始图像信息中抠取出该目标对象后的图像区域。
其中,所述第一神经网络模型可以为第一卷积神经网络模型,该第一卷积神经网络模型中包含的前景类型特征和背景类型特征,是在训练该第一卷积神经网络模型时由大量的训练数据集(即标准图像集)中包含的已知标签信息(即前景标签和背景标签)所决定的。以所述目标对象为动物为例,则用于训练该第一卷积神经网络模型的标准图像集可以为标注有动物区域(即前景标签)和非动物区域(背景标签)的图像集。于是,通过该携带已知标签信息的大量图像集对该第一卷积神经网络模型进行训练后,可以使该第一神经网络模型具有对所输入的原始图像信息中各像素点所属区域进行划分的能力,即可以对输入至该第一卷积神经网络模型中的原始图像信息,标注出该原始图像信息中目标对象(例如,动物)所在的区域,以及非动物区域。其中,动物所在的区域即为前景区域,而非动物区域即为背景区域。换言之,当所述图像数据处理装置获取到包含所述动物的原始图像信息时,可以将该原始图像信息输入至该第一神经网络模型对应的输入层,以进一步通过该第一神经网络模型中的卷积层和池化层,得到该原始图像信息中多个像素点对应的检测结果,即可以基于训练好的区域标注信息划分出该原始图像信息中动物所在的图像区域以及非动物区域。换言之,所述图像数据处理装置可以根据检测结果,为所述动物所在的区域中的每个像素点设置第一掩码值,即所述第一掩码值用于表征属于前景区域的像素点;同理,所述图像数据处理装置还可以根据检测结果,为所述非动物所在的区域中的每个像素点设置第二掩码值,即所述第二掩码值用于表征属于背景区域的像素点。
进一步地,请参见图7,是本发明实施例提供的一种划分图像区域的示意图。如图7所示,该原始图像信息可以为上述图5所对应实施例中的第一图像信息,或上述图6所对应实施例中的第二图像信息。所述图像数据处理装置在获取到如图7所示的原始图像信息时,可以进一步将该原始图像信息输入至图7所示的第一神经网络模型,以对该原始图像信息中的前景区域和背景区域进行检测,即该图像数据处理装置可以利用该第一神经网络模型中的分类器,对图7所示的原始图像信息中的每个像素点所属的区域进行标注,以在图7所示的原始图像信息中将小狗所在的图像区域标记为前景区域,并将该原始图像信息中将去除前景区域后的图像区域标记为背景区域,进一步地,请参加图7所示的划分图像区域的示意图。
步骤S102,根据所述原始图像信息中的每个像素点的像素值以及所述掩码值,对所述原始图像信息进行分割,得到包含具有所述第一掩码值的像素点的前景区域,作为所述目标对象对应的目标区域。
具体地,所述图像数据处理装置可以根据所述第一掩码值和所述第二掩码值,生成所述原始图像信息对应的掩码图;所述掩码图中的每个像素点与所述原始图像信息中的每个像素点之间具有一一映射关系;进一步地,所述图像数据处理装置可以获取所述原始图像信息中的每个像素点的像素值,并基于所述映射关系,将所述原始图像信息中的每个像素点的像素值,与所述掩码图中相应像素点对应的掩码值进行二值与操作,得到包含具有所述第一掩码值的像素点的前景区域;然后,所述图像数据处理装置可以将所述包含具有所述第一掩码值的像素点的前景区域,作为所述目标对象对应的目标区域。
进一步地,该图像数据处理装置可以基于上述图7所划分出的两个图像区域,得到为该原始图像信息中每个像素点所设置的掩码值(第一掩码值和第二掩码值),从而可以根据已设定好的所述第一掩码值和所述第二掩码值,得到与所述原始图像信息具有相同尺寸大小的掩码图,最后,所述图像数据处理装置可以进一步将该掩码图和所述原始图像信息进行二值与操作,以得到所述目标对象对应的目标区域。
进一步地,请参加图8,是本发明实施例提供的一种分割出目标区域的示意图。如图8所示,所述图像数据处理装置可以进一步基于上述图7所划分出的前景区域和背景区域,为划分出的所述前景区域内的每个像素点设置第一掩码值,并为划分出的所述背景内的每个像素点设置第二掩码值,以得到如图8所示的携带第一掩码值(即1)和第二掩码值(即0)的掩码图。与此同时,所述图像数据处理装置还可以结合上述图7所示的原始图像信息中的多个像素点分别对应的像素值,得到图8所示的原始图像信息中各像素点的示意图。应当理解,所示原始图像信息中的各像素点与所述掩码图中的相应像素点具有一一映射关系,因此,可以将图8所示的原始图像信息中的每个像素点的像素值与图8所示的相应像素点的掩码值进而二值与操作,换言之,可以将原始图像信息中的第一行中的三个像素点的像素值与掩码图中第一行中相应的三个像素点的掩码值进而二值与操作,即有125&0=0,125&0=0,105&0=0;同理,可以将原始图像信息中的第二行中的三个像素点的像素值与掩码图中第二行中相应的三个像素点的掩码值进而二值与操作,即有105&1=105,125&1=125,125&1=125;同理,可以将原始图像信息中的第三行中的三个像素点的像素值与掩码图中第三行中相应的三个像素点的掩码值进而二值与操作,即有185&0=0,105&1=105,125&0=0;同理,可以将原始图像信息中的第四行中的三个像素点的像素值与掩码图中第四行中相应的三个像素点的掩码值进而二值与操作,即有185&0=0,185&1=185,105&1=105;然后,所述图像数据处理装置可以进一步得到如图8所示的二值分割图像信息,从而可以将该二值分割图像信息中非零像素点所构成的图像区域,作为目标对象(小狗)对应的目标区域,即得到图8所示的目标区域。
应当理解,所示第一神经网络模型可用于对输入的原始图像信息的每个像素点进行前景、背景的判断,以便于进一步得到相应像素点对应的掩码图,从而可以根据上述二值与操作,得到滤除背景区域的所述目标对象对应的目标区域。可见,通过将该原始图像信息中的前景和背景进行分离,可以有效的防止背景区域内的像素点对该前景区域内的像素点的干扰,从而可以提高对该目标区域内的目标对象的识别率。
步骤S103,对所述目标区域内的所述目标对象进行识别,并根据识别结果确定所述目标对象对应的体征分类信息。
具体地,所述图像数据处理装置可以将所述目标对象所在的目标区域作为待处理区域,并基于第二神经网络模型(该第二神经网络模型可以为第二卷积神经网络)对所述待处理区域进行特征提取,得到与所述待处理区域对应的图像特征;其次,所述图像数据处理装置可以进一步根据所述第二神经网络模型中的分类器,识别所述图像特征与所述第二神经网络模型中多个属性类型特征之间的匹配度;然后,该图像数据处理装置可以将由所述第二神经网络模型得到的匹配度与所述第二神经网络模型中多个属性类型特征对应的标签信息进行关联,得到所述第二神经网络模型对应的识别结果;最后,该图像数据处理装置可以基于所述识别结果确定所述目标对象对应的体征分类信息。
其中,所述待处理区域可以为所述目标对象对应的目标区域(即上述图8所对应实施例中小狗对应的目标区域)。为了提高后续待处理区域内图像数据识别的准确率,可以先将目标对象对应的待处理区域调整至固定尺寸大小,随后将调整尺寸后的待处理区域内的图像数据输入第二卷积神经网络模型中的输入层。所述第二卷积神经网络模型可以包括输入层、卷积层、池化层、全连接层和输出层;其中输入层的参数大小等于调整尺寸后的待处理区域的尺寸。当所述待处理区域内的图像数据输入至卷积神经网络的输出层后,随后进入卷积层,首先随机选取该待处理区域内的图像数据中的一小块作为样本,并从这个小样本中学习到一些特征信息,然后利用这个样本作为一个窗口依次滑过该待处理区域的所有像素区域,也就是说,从样本中学习到的特征信息跟待处理区域内的图像数据做卷积运算,从而获得待处理区域内的图像数据在不同位置上最显著的图像特征(例如,目标对象为动物或人时,可以得到该待处理区域内的动物或人的各个身体部位分别对应的局部体征信息)。在做完卷积运算后,已经提取到所述待处理区域内的图像数据的图像特征,但仅仅通过卷积运算提取的特征数量大,为了减少计算量,还需进行池化运算,也就是将从所述待处理区域中通过卷积运算提取的图像特征传输至池化层,对提取的图像特征进行聚合统计,这些统计图像特征的数量级要远远低于卷积运算提取到的图像特征的数量级,同时还会提高分类效果。常用的池化方法主要包括平均池化运算方法和最大池化运算方法。平均池化运算方法是在一个图像特征集合里计算出一个平均图像特征代表该图像特征集合的特征;最大池化运算是在一个图像特征集合里提取出最大图像特征代表该图像特征集合的特征。通过卷积层的卷积处理和池化层的池化处理,可以提取出该待处理区域内的图像数据的静态结构特征信息,即可以得到该待处理区域对应的图像特征。
应当理解,为了提高该目标区域内图像数据的识别率,所述图像数据处理装置可以进一步将所述目标区域划分为多个子区域,并对各子区域进行选择性搜索,并对选择性搜索后的子区域进行合并,得到多个合并区域,并将所述多个子区域和所述多个合并区域均确定为待处理区域,以便于后续能够准确得到所述待处理区域对应的图像特征,即可以得到所述目标区域内的目标对象的多个身体部位的局部体征信息,从而可以进一步基于所得到多个局部体征信息和所述第二神经网络模型中的分类器,提高该目标对象的各个身体部位对应的图像数据的识别率。
其中,所述图像特征(即多个局部体征信息)可以包含目标对象(例如图8所示的小狗)的脸部特征、躯干特征、…、尾巴特征和四肢特征。
其中,根据第二卷积神经网络模型中的分类器,识别所述待处理区域对应的图像特征与该第二卷积神经网络模型中多个属性类型特征之间的匹配度,该第二卷积神经网络模型中的分类器是提前训练完成的,该分类器的输入是所述待处理区域对应的图像特征,分类器的输出是该图像特征与多种属性类型特征之间的匹配度,匹配度越高说明从该待处理区域中所提取到的目标对象的局部体征信息与相应的属性类型特征对应的标签信息之间的匹配概率越大;因此,所述图像数据处理装置可以进一步从该第二卷积神经网络模型的分类器所输出的匹配度中确定出最大匹配度,并可以进一步根据该最大匹配度以及该最大匹配度所关联的属性类型特征对应的标签信息,得到目标对象的相应身体部位的分类属性,即可以得到该目标对象对应的体征分类信息。其中,该第二卷积神经网络模型中包含的属性类型特征的数量和种类是在训练该第二卷积神经网络模型时由大量的训练数据集(即标准图像集)中包含的标签信息的数量和种类决定的。
其中,所述第二神经网络模型中包含的多个属性类型特征可以为五官类型特征、躯体类型特征、脸部类型特征、躯干类型特征、…、尾巴类型特征和四肢类型特征,且该第二神经网络模型中的每个属性类型特征均对应一个标签信息,以便于在该第二神经网络模型中,可以得到所述目标对象对应的图像特征与所述多个属性类型特征之间的匹配度,然后该图像数据处理装置可以进一步将由该第二神经网络模型所得到的匹配度与该第二神经网络模型中多个属性类型特征对应的标签信息进行关联,得到所述第二神经网络模型对应的识别结果,并基于所述识别结果确定所述目标对象对应的体征分类信息,换言之,该识别结果中的匹配度越高说明从该待处理区域中所提取到的目标对象的局部体征信息与相应的属性类型特征对应的标签信息之间的匹配概率越大,进而可以基于该匹配的属性类型特征(即最大匹配度所对应的属性类型特征)对应的标签信息对该目标对象的局部体征信息进行归类。
进一步地,请参见图9,是本发明实施例提供的一种获取目标对象对应的体征分类信息的示意图。如图9所示,所述图像数据处理装置可以将上述图8所对应实施例中的所述目标对象(小狗)对应的目标区域作为该小狗对应的待处理区域,并将该待处理区域输入至图9所示的第二神经网络模型,以基于该第二神经网络模型从所述目标区域中提取出该小狗的整体轮廓,并从该小狗的整体轮廓中进一步定位出脸部、躯干、…、尾巴和四肢的位置区域,以便于进一步在所述脸部、躯干、…、尾巴和四肢的位置区域中分别提取出该小狗的各个身体部位的局部体征信息,例如,可以提取出该小狗的脸部特征、躯干特征、…、尾巴特征和四肢特征;然后,该图像数据处理装置可以进一步将该小狗的脸部特征、躯干特征、…、尾巴特征和四肢特征称之为所述待处理区域对应的图像特征,然后所述图像数据处理装置可以进一步根据该第二神经网络模型中的分类器,得到所述图像特征与该第二神经网络模型中多个属性类型特征之间的匹配度,其中,每个属性类型特征对应一个标签信息,因此,可以基于得到的与每个属性类型特征对应的最大匹配度以及相应属性类型特征对应的标签信息,分别对该小狗的各个身体部位和品种(即种类)进行归类,以识别得到图9所示的该小狗的品种(例如,金毛),以及该小狗的各个身体部位对应的分类属性(这些分类属性可以为图9所示的小狗的大耳朵向前,弯弯的眉毛,圆圆的眼睛,高高的鼻梁,大大的嘴巴,圆圆的脸部轮廓,…,小小的躯干,短短的毛发等分类属性。具体地,请参见图9所示的耳朵,小狗的眉毛,小狗的眼睛,小狗的鼻子,小狗的嘴巴,小狗的躯干,…,小狗的四肢和小狗的尾巴),因此,所示图像数据处理装置可以将所得到的所述多个身体部位分别对应的分类属性称之为该目标对象对应的体征分类信息。并将所得到的该小狗的品种称之为该目标对象对应的品种分类信息。
步骤S104,查找与所述体征分类信息相匹配的素材信息,并将查找到的素材信息进行整合,生成所述目标对象对应的第一虚拟人物数据。
具体地,所述图像数据处理装置可以基于所述第二神经网络模型中多个属性类型特征,将所述目标对象对应的体征分类信息划分为多个局部体征信息;每个局部体征信息对应一个属性类型特征;然后,该图像数据处理装置可以进一步在人体素材库中查找与每个局部体征信息相匹配的局部素材信息,并将查找到的多个局部素材信息,作为所述体征分类信息对应的素材信息;最后,该图像数据处理装置可以对所述素材信息中的多个局部素材信息进行拼接,得到所述目标对象对应的第一虚拟人物数据。
其中,所述图像数据处理装置在对所述目标对象的各个身体部位进行分类后,可以得到每个身体部位对应的分类属性,比如,大耳朵向前,弯弯的眉毛,圆圆的眼睛,高高的鼻梁,大大的嘴巴,圆圆的脸部轮廓,…,小小的躯干,短短的毛发等分类属性,于是,所述图像数据处理装置可以进一步在人体素材库中,查找出与每个身体部位相匹配的局部素材信息。进一步地,请参见图10,是本发明实施例提供的一种获取第一虚拟人物数据的示意图。所述图像数据处理装置可以结合上述图9所对应实施例中所述目标对象对应的多个属性类型特征,将图10所示的体征分类信息划分为多个局部体征信息,即所述图像数据处理装置可以得到该目标对象的各身体部位分别对应的图像特征。比如,大耳朵向前的图像特征(耳朵特征),且该目标对象具有弯弯的眉毛的图像特征(眉毛特征),圆圆的眼睛的图像特征(眼睛特征),高高的鼻梁的图像特征(鼻子特征),…,大大的嘴巴的图像特征(嘴巴特征)和圆圆的脸部轮廓的图像特征(轮廓特征),其中,图10所示的人体素材库中所存储的大量的局部素材信息,于是,应当理解,当所述图像数据处理装置识别出图9所示的小狗的每个身体部位对应的局部特征信息时,可以进一步在该人体素材库中将查找多个与每个身体部位相匹配的局部素材信息时,即该图像数据处理装置可以在查找到的多个局部素材信息中将具有最大匹配概率的局部素材信息,作为相应身体部位所对应的局部素材信息,因此,对于图10所示的每个局部体征信息而言,最终可以确定出一个与该局部体征信息对应的局部素材信息(比如,可以在该人体素材库中相应的查找到图10所示的眉毛1、眼睛1、鼻子1、嘴巴1、…、耳朵1和面部轮廓1)。
其中,由于目标对象的大耳朵向前,且具有圆圆的脸部轮廓,则可以在该人体素材库中查找到图10所示的耳朵1和面部轮廓1;同理,由于该目标对象具有弯弯的眉毛,则可以在该人体素材库中查找到图10所示的眉毛1;同理,由于该目标对象具有圆圆的眼睛,则可以在该人体素材库中查找到图10所示的眼睛1;同理,由于该目标对象具有高高的鼻梁,则可以在该人体素材库中查找到图10所示的鼻子1;同理,由于该目标对象具有大大的嘴巴,则可以在该人体素材库中查找到图10所示的嘴巴1。然后,所述图像数据处理装置可以将查找到的所述眉毛1、眼睛1、鼻子1、嘴巴1、…、耳朵1和面部轮廓1进行拼接,以得到图10所示的将查找出的多个局部素材信息进行拼接所形成的第一虚拟图像数据。应当理解,当所述图像数据处理装置在所述人体素材库中查找到与划分出的每个身体部位对应的局部素材信息,即查找到所述述体征分类信息对应的素材信息,并可以进一步对所述素材信息中的多个局部素材信息进行拼接,从而可以得到能够体现该目标对象特性的第一虚拟人物数据(比如,一个神似狗的人)。
应当理解,所述目标对象为可以包括:人、动物、植物等用户比较喜爱的物种,这些物种可以统称为宠物,为了增加豢养宠物的趣味性以及拉近人们与宠物之间的距离,本发明实施例可以对采集到的宠物图像(即原始图像信息)中的宠物主体(即该宠物所在目标区域内的图像数据)进行拟人化处理,以得到能够体现该宠物特性的虚拟人物数据(该虚拟人物数据可以为第一虚拟人物数据),因此,所述图像数据处理装置可以进一步将该虚拟人物数据存储在相应的终端(比如,可以将该第一虚拟人物数据存储在上述图2所对应实施例中的用户终端3000a),使持有该用户终端3000a的目标用户能够实时地与该终端中所存储的虚拟人物数据进行交互(比如,该目标用户可以进一步与该虚拟人物数据进行聊天或饲养)。由此可见,通过对所述原始图像信息中宠物主体所对应的图像数据进行拟人化处理之后,可以进一步将得到的该虚拟人物数据存储在相应的终端中,以提供虚拟的饲养体验,从而丰富豢养宠物的乐趣。
本发明实施例通过获取包含目标对象的原始图像信息,并基于第一神经网络模型,对所述原始图像信息中的多个像素点进行检测,并根据检测结果为每个像素点设置相应的掩码值;所述掩码值包括第一掩码值和第二掩码值;所述第一掩码值用于表征属于前景区域的像素点,所述第二掩码值用于表征属于背景区域的像素点;根据所述原始图像信息中的每个像素点的像素值以及所述掩码值,对所述原始图像信息进行分割,得到包含具有所述第一掩码值的像素点的前景区域,作为所述目标对象对应的目标区域;对所述目标区域内的所述目标对象进行识别,并根据识别结果确定所述目标对象对应的体征分类信息;查找与所述体征分类信息相匹配的素材信息,并将查找到的素材信息进行整合,生成所述目标对象对应的第一虚拟人物数据。由此可见,通过将所述原始图像信息中的前景和背景进行分离,可以得到所述目标对象对应目标区域,即可以将所述目标对象从该原始图像信息中抠取出来,以便于在对所述目标对象进行识别的过程中,能够滤除背景区域的干扰,即基于该划分出的目标区域可以快速对所述目标对象进行识别,并且还能够提高对该目标对象进行识别的准确率;因此,在得到该目标对象对应的体征分类信息时,可以快速查找到与该与所述体征分类信息相匹配的素材信息,进而可以得到类似于所述目标对象的虚拟人物数据,即实现对该目标对象进行拟人化的处理,以使该目标对象在该虚拟人物数据所呈现出的人的体征属性,从而丰富了图像数据的展示效果,且可以提高数据识别效率和识别准确率。
进一步地,请参见图11,是本发明实施例提供的另一种图像数据处理方法的流程示意图。如图11所示,所述方法包括:
步骤S201,获取包含目标对象的原始图像信息,并基于第一神经网络模型,对所述原始图像信息中的多个像素点进行检测,并根据检测结果为每个像素点设置相应的掩码值。
其中,所述掩码值包括第一掩码值和第二掩码值;所述第一掩码值用于表征属于前景区域的像素点,所述第二掩码值用于表征属于背景区域的像素点。
步骤S202,根据所述原始图像信息中的每个像素点的像素值以及所述掩码值,对所述原始图像信息进行分割,得到包含具有所述第一掩码值的像素点的前景区域,作为所述目标对象对应的目标区域。
步骤S203,对所述目标区域内的所述目标对象进行识别,并根据识别结果确定所述目标对象对应的体征分类信息。
步骤S204,查找与所述体征分类信息相匹配的素材信息,并将查找到的素材信息进行整合,生成所述目标对象对应的第一虚拟人物数据。
进一步地,请参见图12,是本发明实施例提供的一种图像数据处理的示意图。如图12所示。所述图像数据处理装置在获取到包含目标对象(例如,图12所示的小狗)的原始图像信息后,可以进一步通过上述图4所对应实施例中的第一神经网络模型从该原始图像信息中的抠取出图12所示的目标对象。其中,所述图像数据处理装置对从所述原始图像信息获取该目标对象的目标区域的具体过程可参见上述图8所对应实施例中对获取所述目标区域的具体过程的描述,这里将不再继续进行赘述。然后,所述图像数据处理装置可进一步根据第二神经网络模型对该目标对象所在的目标区域内的图像数据进行智能识别,以得到图12所示的目标对象对应的识别结果,应当理解,该识别结果可以包含为图12所示的每个局部体征信息分别对应的分类属性,以及图12所示的目标对象的品种分类信息,其中,图12所示的多个分类属性(即五官类属性,躯干类属性、…、毛发类属性和四肢类属性)可以称之为图12所示的目标对象对应的体征分类信息。其中,根据所述识别结果确定所述目标对象对应的体征分类信息的具体过程,可以参见上述图9所对应实施例中对所述目标对象的每个身体部位进行分类的具体过程的描述,这里将不再继续进行赘述。同理,根据所述识别结果确定所述目标对象对应的品种分类信息的具体过程,可以参见上述图9所对应实施例中对所述目标对象的每个身体部位进行分类的具体过程的描述,这里将不再继续进行赘述。
其中,所述步骤S201-步骤204的具体执行方式可参加上述图4所对应实施例中对步骤S101-步骤S104的描述,这里将不再继续进行赘述。
步骤S205,基于所述识别结果确定所述目标对象对应的品种分类信息,并获取所述品种分类信息对应的微调参数。
具体地,所述图像数据处理装置可以基于第二神经网络模型对应的识别结果确定所述目标对象对应的品种分类信息,并获取所述品种分类信息对应的品种数据包;所述品种数据包中包含与每个局部体征信息具有映射关系的局部标准数据;然后,该图像数据处理装置可以进一步基于各局部体征信息与相应的所述局部标准数据之间的映射关系,将所述局部体征信息与所述局部标准数据进行比较,得到每个局部特征信息对应的比较结果,并可以进一步根据多个比较结果生成所述品种分类信息对应的局部微调参数;最后,所述图像数据处理装置可以基于所述局部微调参数,生成所述品种分类信息对应的微调参数。
应当理解,所述图像数据处理装置在确定图12所述的目标对象的品种分类信息(比如,金毛)之后,可以进一步获取该金毛品种对应的微调参数,即该图像数据处理装置可以在品种数据库中查询与该金毛品种对应的品种数据包,该品种数据包中包含与每个局部体征信息具有映射关系的局部标准数据,以及该金毛品种对应的场景辅助信息。
应当理解,所述品种数据库中可以包含多个不同种类分别对应的品种数据包,比如,若识别出所述目标对象的品种分类信息为金毛品种,则可以找到该金毛品种对应的品种数据包,若识别出所述目标对象的品种分类信息为萨摩耶品种,则可以找到该萨摩耶品种对应的品种数据包,若识别出所述目标对象的品种分类信息为哈士奇品种,则可以找到该哈士奇品种对应的品种数据包,因此,这里将不对所述目标对象的具体品种分类信息进行限制。
比如,图12所示的小狗(即目标对象)的品种分类信息为金毛品种,该品种数据包中则可以包含:与图12所示的五官特征具有映射关系的五官标准数据,与图12所示的躯干特征具有映射关系的躯干标准数据,…,与图12所示的毛发特征具有映射关系的毛发标准数据。并将所述五官标准数据,所述躯干标准数据,…,所述毛发标准数据称之为所述局部标准数据。然后,所述图像数据处理装置可以进一步每个身体部位对应的局部体征信息与相应身体部位对应的局部标准数据进行比较,以得到每个局部特征信息对应的比较结果,即可以得到每个身体部位对应的比值,于是,该图像数据处理装置可以进一步根据每个身体部位分别对应的比值,生成相应身体部位对应的局部微调参数,即可以得到所述品种分类信息对应的局部微调参数。鉴于此,所述图像数据处理装置可以将所述局部微调参数作为所述品种分类信息对应的微调参数,以进一步执行步骤S206。
此外,该品种数据包中还可以进一步包含该金毛品种对应的场景辅助信息。比如,可以将该金毛品种的年龄(4岁)、性别(公)、以及该金毛品种特有的内在特性(即往往呈现出笑口常开的特性)、以及原始图像信息对应的拍摄时间、拍摄地理位置等信息称之为场景辅助信息,从而可以进一步获取所述场景辅助信息对应的场景辅助参量,其中,所述场景辅助参量用于对基于所述局部微调参数进行调整后所得的虚拟图像数据进行辅助调整。因此,所述图像数据处理装置可以将所述场景辅助参量和所述局部微调参数作为所述品种分类信息对应的微调参数,以进一步执行步骤S206。
步骤S206,基于所述微调参数对所述第一虚拟人物数据进行调整,并将调整后的第一虚拟人物数据作为所述目标对象对应的第二虚拟人物数据。
其中,所述微调参数可以为所述局部微调参数,也可以为所局部微调参数和所述场景辅助参量。进一步地,请参见图13,是本发明实施例提供的一种获取第二虚拟人物数据的示意图。如图13所示,所述图像数据处理装置在生成上述图12所示的目标对象(即金毛)对应的第一虚拟人物数据之后,该图像数据处理装置可以进一步将该金毛的五官、躯干(也可以称之为身体)等形貌尺寸特征分别与该金毛品种的相应身体部位的局部标准数据进行比较,若图12所示的金毛的脸部尺寸比该金毛品种的平均脸部尺寸(即局部标准数据)更长,比如,图12所示的金毛的脸部尺寸与该金毛品种的平均脸部尺寸之间的比值为2(即脸部微调参数),即图12所示的金毛的脸部尺寸比该金毛品种的平均脸部尺寸长一倍,则所述图像数据可以进一步基于所述脸部微调参数对图13所示的第一虚拟人物数据(即图12所示的第一虚拟人物数据)的脸部尺寸进行调整,此时,该基于局部微调参数对该第一虚拟人物数据进行调整的方式可以称之为图13所示的第一局部微调方式,从而可以得到图13所示的第二虚拟人物数据,即该脸部微调参数可以用于将图13所示的第一虚拟人物数据的脸部区域A进行拉长一倍处理,以得到图13所述的第二虚拟人物数据的脸部区域B,即脸部区域B比脸部区域A长一倍。应当理解,在比较得到图12所示的目标对象的其它身体部位所对应的局部微调参数时,可以进一步对图13所对应实施例中第一虚拟人物数据中的其它身体部位进行相应调整,这里不再进行一一列举。
此外,由于所述品种数据包中还包含图12所示的目标对象(金毛)对应的场景辅助信息,比如,由于该金毛品种往往呈现出笑口常开的内在特性,且该金毛所对应的原始图像信息的地理位置为深圳体育场,因此,所述图像数据处理装置可以基于上述脸部微调参数(即局部微调参数)将图13所述的第一虚拟人物数据的脸部区域A,调整(即拉长)为图13所示的脸部区域B时,与此同时,该图像数据处理装置还可以对得到的包含脸部区域B的第二虚拟人物数据进行场景效果调整,即此时,对所述第一虚拟人物数据进行调整的方式可以视为第二局部微调方式,因此,该第二局部微调方式中的调整参数同时包含局部微调参数和场景辅助参量。换言之,所述图像数据处理装置可以根据所述局部微调参数得到包含图13所示的脸部区域B的第二虚拟人物数据后,可以进一步在该脸部区域B中结合该金毛品种的内在特性,对图13所示的脸部区域B中的嘴角的微笑程度进行调整,以得到图13所示的脸部区域C中的嘴角上扬的效果,另外,由于该原始图像信息的地理位置为深圳体育场,因此可以为嘴角上扬处理后的图像数据添加图13所示的足球装饰物品,以得到图13所示的包含脸部区域C的第二虚拟人物数据。
应当理解,品种数据包中可以包含了该识别出的品种分类信息特有的内在特性,如:习性、喜恶、性格等,这些内在特性可以用来作为该目标对象对应的场景辅助信息,以便于后续能够基于该场景辅助信息对应的场景辅助参量进一步辅助调整所述生成的拟人卡通形象(比如,第一虚拟人物数据)的表情、小动作、环境等。比如:萨摩耶的表情相对比较可爱,则可以对生成的拟人卡通形象增加一些可爱的场景元素;又比如,金毛则往往笑口常开,则可以为生成的拟人卡通形象增加微笑程度等等。另外获取到的原始图像信息的EXIF信息(比如,拍摄的地理位置、拍摄时间)等也可以作为该目标对象对应的场景辅助信息,以便于后续能够基于该场景辅助信息对应的场景辅助参量对生成的拟人卡通形象的服饰、配件等进行调整,比如,可以在拍摄场景为冬季时,为该生成的拟人卡通形象更换上厚实的衣服。
步骤S207,基于所述第二虚拟人物数据生成所述目标对象对应的目标虚拟人物数据。
具体地,所述图像数据处理装置在执行完上述步骤S206之后,还可以进一步接收针对所述第二虚拟人物数据中目标体征区域对应的调整指令,并根据接收到的调整指令显示所述第二虚拟人物数据对应的调整界面;所述调整界面中包含与所述目标体征区域内的局部素材信息对应的素材更新信息;然后,所述图像数据处理装置可以进一步获取与所述调整界面中所述素材更新信息对应的选择指令,并根据所述选择指令对所述目标体征区域内的局部素材信息进行更新,并根据更新后的目标体征区域生成所述目标对象对应的目标虚拟人物数据。
由于每个用户的喜好各不相同,因此,在自动识别以及自动调整生成卡通形象(即第二虚拟人物数据)后,所述图像数据处理装置还可以接收用户对该第二虚拟人物数据中目标体征区域(比如,上述图13所示的第二虚拟人物数据的脸部区域C)对应的调整指令,进一步显示所述第二虚拟人物数据的脸部区域C对应的调整界面(即手动调整界面),比如,该手动调整界面中可以包含与所述脸部区域C内的局部素材信息对应的素材更新信息,例如,该脸部区域C内的眉毛对应的素材更新信息,眼睛对应素材更新信息,鼻子对应的素材更新信息等;然后,所述图像数据处理装置可以进一步获取与所述调整界面中所述素材更新信息对应的选择指令,比如,所述图像数据处理装置可以在该手动调整界面中接收用户对眉毛对应的素材更新信息的选择指令,并可以进一步根据所述选择指令对所述脸部区域C内的眉毛对应的局部素材信息进行更新,比如,可以将图13所示的脸部区域C内的眉毛更新为更长的眉毛,并根据更新后的脸部区域C生成所述目标对象对应的目标虚拟人物数据。应当理解,所述图像数据处理装置可以根据接收到的调整指令在该手动选择界面中显示相应身体部位对应的局部素材信息,即用户通过该手动选择界面可以重新选择出中意的各身体部位对应的局部素材信息,从而可以获得更符合用户心意的卡通形象。
由此可见,本发明实施例以采集到的宠物图像为动物类(例如,小狗)为例,对该宠物图像中的宠物主体进行拟人化处理,以得到能够体现该动物特性的虚拟动画数据。对于其它类型的物种而言,生成所述虚拟动画数据的具体过程可参见本发明实施例生成该虚拟动画数据的过程的描述,这里将不再继续进行赘述。其中,所述虚拟动画数据可以为上述图12所示的第一虚拟人物数据,即第一虚拟人物数据为通过将图12所示的宠物主体的各个身体部位与人体素材库中相应身体部位进行匹配后,对所得到的多个局部素材信息进行拼接而形成的基础拟人形象;可选地,该虚拟动画数据还可以为对所得到的第一虚拟人物数据进行微调后所得到的第二虚拟人物数据(即对所述基础拟人形象进行局部微调所得到的调整拟人形象);可选地,该虚拟动画数据还可以为对所得到的第二虚拟人物数据进行手动调整后所得到的目标虚拟人物数据(比如,用户直接在该调整拟人形象对应的调整界面上对相应身体部位对应的局部素材信息进行更新处理后所形成的最能符合用户心意的目标拟人形象)。然后,当所述图像数据处理装置集成在上述图1所对应实施例中的用户终端3000a时,则所述图像数据处理装置可以在该用户终端3000a内进一步将该生成的虚拟动画数据进行存储,以便于后续该用户终端3000a所对应的目标用户能够通过该用户终端3000a与所述虚拟人物数据进行聊天、饲养、…、合影等操作,从而能够丰富图像数据的展示效果,增加饲养宠物的乐趣。可选地,该用户终端3000a还可以将所存储的虚拟动画数据上传至与该用户终端3000a具有网络连接关系的服务终端2000;
可选地,若所述图像数据处理装置集成于上述图1所对应实施例中的服务终端2000,则所述图像数据处理装置可以在该服务终端3000a进一步将该生成的虚拟动画数据进行存储,然后,该服务终端3000a可以进一步将存储在该服务终端3000a内的虚拟人物数据下发至与该服务终端3000a具有网络连接关系的用户终端3000a,以便于后续该用户终端3000a所对应的目标用户能够通过该用户终端3000a与所述虚拟人物数据进行聊天、饲养、…、合影等操作,从而能够丰富图像数据的展示效果,并增加饲养宠物的乐趣。应当理解,该用户终端3000a即为采集到原始图像信息的用户终端。
本发明实施例通过获取包含目标对象的原始图像信息,并基于第一神经网络模型,对所述原始图像信息中的多个像素点进行检测,并根据检测结果为每个像素点设置相应的掩码值;所述掩码值包括第一掩码值和第二掩码值;所述第一掩码值用于表征属于前景区域的像素点,所述第二掩码值用于表征属于背景区域的像素点;根据所述原始图像信息中的每个像素点的像素值以及所述掩码值,对所述原始图像信息进行分割,得到包含具有所述第一掩码值的像素点的前景区域,作为所述目标对象对应的目标区域;对所述目标区域内的所述目标对象进行识别,并根据识别结果确定所述目标对象对应的体征分类信息;查找与所述体征分类信息相匹配的素材信息,并将查找到的素材信息进行整合,生成所述目标对象对应的第一虚拟人物数据。由此可见,通过将所述原始图像信息中的前景和背景进行分离,可以得到所述目标对象对应目标区域,即可以将所述目标对象从该原始图像信息中抠取出来,以便于在对所述目标对象进行识别的过程中,能够滤除背景区域的干扰,即基于该划分出的目标区域可以快速对所述目标对象进行识别,并且还能够提高对该目标对象进行识别的准确率;因此,在得到该目标对象对应的体征分类信息时,可以快速查找到与该与所述体征分类信息相匹配的素材信息,进而可以得到类似于所述目标对象的虚拟人物数据,即实现对该目标对象进行拟人化的处理,以使该目标对象在该虚拟人物数据所呈现出的人的体征属性,从而丰富了图像数据的展示效果,且可以提高数据识别效率和识别准确率。
进一步的,请参见图14,是本发明实施例提供的一种图像数据处理装置的结构示意图。如图14所示,所述图像数据处理装置1可应用于上述图1所对应实施例中的用户终端3000a或服务终端2000,即所述图像数据处理装置1000可集成于上述图1所对应实施例中的用户终端3000a或集成于上述图1所对应实施例中的服务终端2000,以构成具备图像数据处理能力的终端。所述图像数据处理装置1可以包括:图像获取模块10,区域分割模块20,对象识别模块30和匹配整合模块40;进一步地,所述图像数据处理装置1还可以包含:微调参数获取模块50,数据调整模块60和目标数据生成模块70;
所述图像获取模块10,用于获取包含目标对象的原始图像信息,并基于第一神经网络模型,对所述原始图像信息中的多个像素点进行检测,并根据检测结果为每个像素点设置相应的掩码值;
其中,所述掩码值包括第一掩码值和第二掩码值;所述第一掩码值用于表征属于前景区域的像素点,所述第二掩码值用于表征属于背景区域的像素点。
其中,所述图像获取模块10,用于获取所述原始图像信息的过程可以理解为:通过开启的摄像头对所述目标对象进行拍照,并将拍照所得的第一图像信息(即可以参见上述图2所对应实施例中的第一图像信息),作为所述目标对象的原始图像信息。
可选地,所述图像获取模块10,用于获取所述原始图像信息的过程还可以理解为:将该用户在所述本地图像库中所选取的第二图像信息(即可以参见上述图3所对应实施例中的第二图像信息),作为所述目标对象的原始图像信息。
所述区域分割模块20,用于根据所述原始图像信息中的每个像素点的像素值以及所述掩码值,对所述原始图像信息进行分割,得到包含具有所述第一掩码值的像素点的前景区域,作为所述目标对象对应的目标区域;
其中,所述前景区域即为所述目标对象对应的图像区域,所述背景区域即为所述原始图像信息中抠取出该目标对象后的图像区域。
其中,所述前景区域和背景区域的划分是基于上述第一神经网络模型所分割出来的两个图像区域。该第一神经网络模型可以为第一卷积神经网络模型,该第一卷积神经网络模型中所包含的前景类型特征和背景类型特征,是在训练该第一卷积神经网络模型时由大量的训练数据集(即标准图像集)中包含的已知标签信息(即前景标签和背景标签)所决定的。
比如,以所述目标对象为动物为例,则用于训练该第一卷积神经网络模型的标准图像集可以为标注有动物区域(即前景标签)和非动物区域(背景标签)的图像集。于是,通过该携带已知标签信息的大量图像集对该第一卷积神经网络模型进行训练后,可以使该第一神经网络模型具有对所输入的原始图像信息中各像素点所属区域进行划分的能力,即可以对输入至该第一卷积神经网络模型中的原始图像信息,标注出该原始图像信息中目标对象(例如,动物)所在的区域,以及非动物区域。其中,动物所在的区域即为前景区域,而非动物区域即为背景区域。
其中,所述区域分割模块20包括:掩码图生成单元201,二值与操作单元202和区域确定单元203;
所述掩码图生成子单元201,用于根据所述第一掩码值和所述第二掩码值,生成所述原始图像信息对应的掩码图;
其中,所述掩码图中的每个像素点与所述原始图像信息中的每个像素点之间具有一一映射关系;
应当理解,所述原始图像信息对应的掩码图和所述原始图像信息具有相同尺寸大小。此外,生成所述掩码图的具体过程可参见上述图7所对应实施例中对各像素点的相应掩码值进行设置的具体过程,这里将不再继续进行赘述。
所述二值与操作子单元202,用于获取所述原始图像信息中的每个像素点的像素值,并基于所述映射关系,将所述原始图像信息中的每个像素点的像素值,与所述掩码图中相应像素点对应的掩码值进行二值与操作,得到包含具有所述第一掩码值的像素点的前景区域;
其中,所述二值与操作的具体过程可参见上述图8所对应实施例中对所述二值与操作的具体过程的描述,这里将不再继续赘述。
所述区域确定子单元203,用于将所述包含具有所述第一掩码值的像素点的前景区域,作为所述目标对象对应的目标区域。
其中,所述掩码图生成单元201,二值与操作单元202和区域确定单元203的具体实现方式可参见上述图4所对应实施例中的对步骤S102的描述,这里将不再继续进行赘述。
所述对象识别模块30,用于对所述目标区域内的所述目标对象进行识别,并根据识别结果确定所述目标对象对应的体征分类信息;
其中,所述对象识别模块30包括:待处理区域确定单元301,特征提取单元302,匹配度获取单元303,识别结果确定单元304和体征信息确定单元305;
所述待处理区域确定单元301,用于将所述目标对象所在的目标区域作为待处理区域;
其中,所述待处理区域确定单元301,具体用于将所述目标区域划分为多个子区域,并对各子区域进行选择性搜索,并对选择性搜索后的子区域进行合并,得到多个合并区域,并将所述多个子区域和所述多个合并区域均确定为待处理区域。
所述特征提取单元302,用于基于第二神经网络模型对所述待处理区域进行特征提取,得到与所述待处理区域对应的图像特征;
其中,所述图像特征(即多个局部体征信息)可以包含目标对象(例如,上述图8所对应实施例中的小狗)的脸部特征、躯干特征、…、尾巴特征和四肢特征。
其中,该第二卷积神经网络模型中包含的属性类型特征的数量和种类是在训练该第二卷积神经网络模型时由大量的训练数据集(即标准图像集)中包含的标签信息的数量和种类决定的。
应当理解,所述第二神经网络模型中包含的多个属性类型特征可以为五官类型特征、躯体类型特征、脸部类型特征、躯干类型特征、…、尾巴类型特征和四肢类型特征,且该第二神经网络模型中的每个属性类型特征均对应一个标签信息。因此,所述图像数据处理装置1在接收到上述图像特征时,则可以在该第二神经网络模型中,相应地得到所述目标对象对应的图像特征与所述多个属性类型特征之间的匹配度。
所述匹配度获取单元303,用于根据所述第二神经网络模型中的分类器,识别所述图像特征与所述第二神经网络模型中多个属性类型特征之间的匹配度;
其中,该第二卷积神经网络模型中的分类器也是提前训练完成的,该分类器的输入是所述待处理区域对应的图像特征,分类器的输出是该图像特征与多种属性类型特征之间的匹配度,匹配度越高,则说明从该待处理区域中所提取到的目标对象的局部体征信息与相应的属性类型特征对应的标签信息之间的匹配概率越大。
所述识别结果确定单元304,用于将由所述第二神经网络模型得到的匹配度与所述第二神经网络模型中多个属性类型特征对应的标签信息进行关联,得到所述第二神经网络模型对应的识别结果;
应当理解,所述识别结果确定单元304可以从该第二卷积神经网络模型的分类器所输出的匹配度中,确定出最大匹配度,并可以进一步根据该最大匹配度以及该最大匹配度所关联的属性类型特征对应的标签信息,得到目标对象的相应身体部位的分类属性,从而可以得到所述第二神经网络模型对应的识别结果,因此,所述识别结果确定单元304可以进一步将所述识别结果传输给所述体征信息确定单元305,以使所述体征信息确定单元305可以根据该识别结果得到该目标对象对应的体征分类信息。
所述体征信息确定单元305,用于基于所述识别结果确定所述目标对象对应的体征分类信息。
其中,确定所述体征分类信息的具体过程可参见上述图9所对应实施例中对确定小狗的体征分类信息的具体过程的描述,这里将不再继续进行赘述。
其中,所述待处理区域确定单元301,特征提取单元302,匹配度获取单元303,识别结果确定单元304和体征信息确定单元305的具体实现方式可参见上述图4所对应实施例中的对步骤S103的描述,这里将不再继续进行赘述。
所述匹配整合模块40,用于查找与所述体征分类信息相匹配的素材信息,并将查找到的素材信息进行整合,生成所述目标对象对应的第一虚拟人物数据。
其中,所述匹配整合模块40包括:体征信息划分单元401,体征信息匹配单元402和素材拼接单元403;
所述体征信息划分单元401,用于基于所述第二神经网络模型中多个属性类型特征,将所述目标对象对应的体征分类信息划分为多个局部体征信息;每个局部体征信息对应一个属性类型特征;
所述体征信息匹配单元402,用于在人体素材库中查找与每个局部体征信息相匹配的局部素材信息,并将查找到的多个局部素材信息,作为所述体征分类信息对应的素材信息;
所述素材拼接单元403,用于对所述素材信息中的多个局部素材信息进行拼接,得到所述目标对象对应的第一虚拟人物数据。
其中,所述体征信息划分单元401,体征信息匹配单元402和素材拼接单元403的具体实现方式可参见上述图4所对应实施例中的对步骤S104的描述,这里将不再继续进行赘述。
其中,所述图像获取模块10,区域分割模块20,对象识别模块30和匹配整合模块40的具体实现方式可参见上述图4所对应实施例中的对步骤S101-步骤S104的描述,这里将不再继续进行赘述。
所述微调参数获取模块50,用于基于所述识别结果确定所述目标对象对应的品种分类信息,并获取所述品种分类信息对应的微调参数;
其中,所述微调参数获取模块50包括:品种信息确定单元501,数据比较单元502,局部参数生成单元503和微调参数生成单元504;
所述品种信息确定单元501,用于基于第二神经网络模型对应的识别结果确定所述目标对象对应的品种分类信息,并获取所述品种分类信息对应的品种数据包;所述品种数据包中包含与每个局部体征信息具有映射关系的局部标准数据;
其中,该品种数据包中可以包含该识别出的品种分类信息所特有的内在特性,如:习性、喜恶、性格等,这些内在特性可以用来作为该目标对象对应的场景辅助信息,以便于后续能够基于该场景辅助信息对应的场景辅助参量进一步辅助调整所述生成的拟人卡通形象(比如,第一虚拟人物数据)的表情、小动作、环境等。比如:萨摩耶的表情相对比较可爱,则可以对生成的拟人卡通形象增加一些可爱的场景元素;又比如,金毛则往往笑口常开,则可以为生成的拟人卡通形象增加微笑程度等等。另外获取到的原始图像信息的EXIF信息(比如,拍摄的地理位置、拍摄时间)等也可以作为该目标对象对应的场景辅助信息,以便于后续能够基于该场景辅助信息对应的场景辅助参量对生成的拟人卡通形象的服饰、配件等进行调整,比如,可以在拍摄场景为冬季时,为该生成的拟人卡通形象更换上厚实的衣服。
所述数据比较单元502,用于基于各局部体征信息与相应的所述局部标准数据之间的映射关系,将所述局部体征信息与所述局部标准数据进行比较,得到每个局部特征信息对应的比较结果;
所述局部参数生成单元503,用于根据多个比较结果生成所述品种分类信息对应的局部微调参数;
所述微调参数生成单元504,用于基于所述局部微调参数,生成所述品种分类信息对应的微调参数。
其中,所述微调参数生成单元504,具体用于获取所述品种数据包中所述目标对象对应的场景辅助信息,并获取所述场景辅助信息对应的场景辅助参量,将所述场景辅助参量和所述局部微调参数作为所述品种分类信息对应的微调参数。
其中,所述品种信息确定单元501,数据比较单元502,局部参数生成单元503和微调参数生成单元504的具体实现方式可参见上述图11所对应实施例中的对步骤S205的描述,这里将不再继续进行赘述。
所述数据调整模块60,用于基于所述微调参数对所述第一虚拟人物数据进行调整,并将调整后的第一虚拟人物数据作为所述目标对象对应的第二虚拟人物数据;
所述目标数据生成模块70,用于基于所述第二虚拟人物数据生成所述目标对象对应的目标虚拟人物数据。
其中,所述目标数据生成模块70,包括:接收显示单元701和获取更新单元702;
所述接收显示单元701,用于接收针对所述第二虚拟人物数据中目标体征区域对应的调整指令,并根据接收到的调整指令显示所述第二虚拟人物数据对应的调整界面;所述调整界面中包含与所述目标体征区域内的局部素材信息对应的素材更新信息;
所述获取更新单元702,用于获取与所述调整界面中所述素材更新信息对应的选择指令,并根据所述选择指令对所述目标体征区域内的局部素材信息进行更新,并根据更新后的目标体征区域生成所述目标对象对应的目标虚拟人物数据。
其中,所述接收显示单元701和获取更新单元702的具体实现方式可参见上述图11所对应实施例中的对步骤S207的描述,这里将不再继续进行赘述。
其中,所述微调参数获取模块50,数据调整模块60和目标数据生成模块70的具体实现方式可参见上述图11所对应实施例中对步骤S205-步骤S207的描述,这里将不再继续进行赘述。
本发明实施例通过获取包含目标对象的原始图像信息,并基于第一神经网络模型,对所述原始图像信息中的多个像素点进行检测,并根据检测结果为每个像素点设置相应的掩码值;所述掩码值包括第一掩码值和第二掩码值;所述第一掩码值用于表征属于前景区域的像素点,所述第二掩码值用于表征属于背景区域的像素点;根据所述原始图像信息中的每个像素点的像素值以及所述掩码值,对所述原始图像信息进行分割,得到包含具有所述第一掩码值的像素点的前景区域,作为所述目标对象对应的目标区域;对所述目标区域内的所述目标对象进行识别,并根据识别结果确定所述目标对象对应的体征分类信息;查找与所述体征分类信息相匹配的素材信息,并将查找到的素材信息进行整合,生成所述目标对象对应的第一虚拟人物数据。由此可见,通过将所述原始图像信息中的前景和背景进行分离,可以得到所述目标对象对应目标区域,即可以将所述目标对象从该原始图像信息中抠取出来,以便于在对所述目标对象进行识别的过程中,能够滤除背景区域的干扰,即基于该划分出的目标区域可以快速对所述目标对象进行识别,并且还能够提高对该目标对象进行识别的准确率;因此,在得到该目标对象对应的体征分类信息时,可以快速查找到与该与所述体征分类信息相匹配的素材信息,进而可以得到类似于所述目标对象的虚拟人物数据,即实现对该目标对象进行拟人化的处理,以使该目标对象在该虚拟人物数据所呈现出的人的体征属性,从而丰富了图像数据的展示效果,且可以提高数据识别效率和识别准确率。
进一步地,请参见图15,是本发明实施例提供的另一种图像数据处理装置的结构示意图。如图15所示,所述图像数据处理装置1000可以应用于上述图1对应实施例中的用户终端3000a,或上述图1所对应实施例中的服务终端2000,即所述图像数据处理装置1000可集成于上述图1所对应实施例中的用户终端3000a或所述服务终端2000,以构成具备图像数据处理能力的终端,因此,所述图像数据处理装置1000可以包括:处理器1001,网络接口1004和存储器1005,此外,所述图像数据处理装置1000还可以包括:用户接口1003,和至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(Display)、键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1004可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图15所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
可选的,若图像数据处理装置1000与目标用户终端分别为两个独立设备时,图像数据处理装置1000中的网络接口1004还可以与目标用户终端进行连接,且可选用户接口1003还可以包括显示屏(Display)、键盘(Keyboard)。
可选的,若图像数据处理装置1000与目标用户终端为一体设备,则该图像数据处理装置1000即为具备数据处理功能的智能终端,此时,网络接口1004无需与智能终端进行连接,且用户接口1003不包含键盘。此时,在图9所示的图像数据处理装置1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以实现:
获取包含目标对象的原始图像信息,并基于第一神经网络模型,对所述原始图像信息中的多个像素点进行检测,并根据检测结果为每个像素点设置相应的掩码值;所述掩码值包括第一掩码值和第二掩码值;所述第一掩码值用于表征属于前景区域的像素点,所述第二掩码值用于表征属于背景区域的像素点;
根据所述原始图像信息中的每个像素点的像素值以及所述掩码值,对所述原始图像信息进行分割,得到包含具有所述第一掩码值的像素点的前景区域,作为所述目标对象对应的目标区域;
对所述目标区域内的所述目标对象进行识别,并根据识别结果确定所述目标对象对应的体征分类信息;
查找与所述体征分类信息相匹配的素材信息,并将查找到的素材信息进行整合,生成所述目标对象对应的第一虚拟人物数据。
应当理解,本发明实施例中所描述的图像数据处理装置1000可执行前文图4或图11所对应实施例中对所述图像数据处理方法的描述,也可执行前文图14所对应实施例中对所述图像数据处理装置1的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本发明实施例还提供了一种计算机存储介质,且所述计算机存储介质中存储有前文提及的图像数据处理装置1所执行的计算机程序,且所述计算机程序包括程序指令,当所述处理器执行所述程序指令时,能够执行前文图4或图11所对应实施例中对所述图像数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本发明所涉及的计算机存储介质实施例中未披露的技术细节,请参照本发明方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (15)

1.一种图像数据处理方法,其特征在于,包括:
获取包含目标对象的原始图像信息,并基于第一神经网络模型,对所述原始图像信息中的多个像素点进行检测,并根据检测结果为每个像素点设置相应的掩码值;所述掩码值包括第一掩码值和第二掩码值;所述第一掩码值用于表征属于前景区域的像素点,所述第二掩码值用于表征属于背景区域的像素点,所述目标对象为宠物;
根据所述原始图像信息中的每个像素点的像素值以及所述掩码值,对所述原始图像信息进行分割,得到包含具有所述第一掩码值的像素点的前景区域,作为所述目标对象对应的目标区域;
对所述目标区域内的所述目标对象进行识别,并根据识别结果确定所述目标对象对应的体征分类信息,所述体征分类信息包括多个局部体征信息,所述多个局部体征信息即所述目标对象的各部位分别对应的图像特征,每个局部体征信息对应一个属性类型体征;
在人体素材库中查找与每个局部体征信息相匹配的局部素材信息,并将查找到的多个局部素材信息进行拼接,生成所述目标对象对应的第一虚拟人物数据。
2.根据权利要求1所述的方法,其特征在于,所述根据所述原始图像信息中的每个像素点的像素值以及所述掩码值,对所述原始图像信息进行分割,得到包含具有所述第一掩码值的像素点的前景区域,作为所述目标对象对应的目标区域,包括:
根据所述第一掩码值和所述第二掩码值,生成所述原始图像信息对应的掩码图;所述掩码图中的每个像素点与所述原始图像信息中的每个像素点之间具有一一映射关系;
获取所述原始图像信息中的每个像素点的像素值,并基于所述映射关系,将所述原始图像信息中的每个像素点的像素值,与所述掩码图中相应像素点对应的掩码值进行二值与操作,得到包含具有所述第一掩码值的像素点的前景区域;
将所述包含具有所述第一掩码值的像素点的前景区域,作为所述目标对象对应的目标区域。
3.根据权利要求1所述的方法,其特征在于,所述对所述目标区域内的所述目标对象进行识别,并根据识别结果确定所述目标对象对应的体征分类信息,包括:
将所述目标对象所在的目标区域作为待处理区域,并基于第二神经网络模型对所述待处理区域进行特征提取,得到与所述待处理区域对应的图像特征;
根据所述第二神经网络模型中的分类器,识别所述图像特征与所述第二神经网络模型中多个属性类型特征之间的匹配度;
将由所述第二神经网络模型得到的匹配度与所述第二神经网络模型中多个属性类型特征对应的标签信息进行关联,得到所述第二神经网络模型对应的识别结果;
基于所述识别结果确定所述目标对象对应的体征分类信息。
4.根据权利要求3所述的方法,其特征在于,所述将所述目标对象所在的目标区域作为待处理区域,包括:
将所述目标区域划分为多个子区域,并对各子区域进行选择性搜索,并对选择性搜索后的子区域进行合并,得到多个合并区域,并将所述多个子区域和所述多个合并区域均确定为待处理区域。
5.根据权利要求3所述的方法,其特征在于,所述根据识别结果确定所述目标对象对应的体征分类信息,包括:
基于所述第二神经网络模型中多个属性类型特征,将所述目标对象对应的体征分类信息划分为多个局部体征信息;
所述在人体素材库中查找与每个局部体征信息相匹配的局部素材信息,包括:
在人体素材库中查找与每个局部体征信息相匹配的局部素材信息,并将查找到的多个局部素材信息,作为所述体征分类信息对应的素材信息。
6.根据权利要求1所述的方法,其特征在于,还包括:
基于所述识别结果确定所述目标对象对应的品种分类信息,并获取所述品种分类信息对应的微调参数;
基于所述微调参数对所述第一虚拟人物数据进行调整,并将调整后的第一虚拟人物数据作为所述目标对象对应的第二虚拟人物数据;
基于所述第二虚拟人物数据生成所述目标对象对应的目标虚拟人物数据。
7.根据权利要求6所述的方法,其特征在于,所述基于所述识别结果确定所述目标对象对应的品种分类信息,并获取所述品种分类信息对应的微调参数,包括:
基于第二神经网络模型对应的识别结果确定所述目标对象对应的品种分类信息,并获取所述品种分类信息对应的品种数据包;所述品种数据包中包含与每个局部体征信息具有映射关系的局部标准数据;
基于各局部体征信息与相应的所述局部标准数据之间的映射关系,将所述局部体征信息与所述局部标准数据进行比较,得到每个局部特征信息对应的比较结果;
根据多个比较结果生成所述品种分类信息对应的局部微调参数;
基于所述局部微调参数,生成所述品种分类信息对应的微调参数。
8.根据权利要求7所述的方法,其特征在于,所述基于所述局部微调参数,生成所述品种分类信息对应的微调参数,包括:
获取所述品种数据包中所述目标对象对应的场景辅助信息,并获取所述场景辅助信息对应的场景辅助参量,将所述场景辅助参量和所述局部微调参数作为所述品种分类信息对应的微调参数。
9.根据权利要求6所述的方法,其特征在于,所述基于所述第二虚拟人物数据生成所述目标对象对应的目标虚拟人物数据,包括:
接收针对所述第二虚拟人物数据中目标体征区域对应的调整指令,并根据接收到的调整指令显示所述第二虚拟人物数据对应的调整界面;所述调整界面中包含与所述目标体征区域内的局部素材信息对应的素材更新信息;
获取与所述调整界面中所述素材更新信息对应的选择指令,并根据所述选择指令对所述目标体征区域内的局部素材信息进行更新,并根据更新后的目标体征区域生成所述目标对象对应的目标虚拟人物数据。
10.一种图像数据处理装置,其特征在于,包括:
图像获取模块,用于获取包含目标对象的原始图像信息,并基于第一神经网络模型,对所述原始图像信息中的多个像素点进行检测,并根据检测结果为每个像素点设置相应的掩码值;所述掩码值包括第一掩码值和第二掩码值;所述第一掩码值用于表征属于前景区域的像素点,所述第二掩码值用于表征属于背景区域的像素点;
区域分割模块,用于根据所述原始图像信息中的每个像素点的像素值以及所述掩码值,对所述原始图像信息进行分割,得到包含具有所述第一掩码值的像素点的前景区域,作为所述目标对象对应的目标区域;
对象识别模块,用于对所述目标区域内的所述目标对象进行识别,并根据识别结果确定所述目标对象对应的体征分类信息;
匹配整合模块,用于查找与所述体征分类信息相匹配的素材信息,并将查找到的素材信息进行整合,生成所述目标对象对应的第一虚拟人物数据。
11.根据权利要求10所述的装置,其特征在于,所述区域分割模块包括:
掩码图生成单元,用于根据所述第一掩码值和所述第二掩码值,生成所述原始图像信息对应的掩码图;所述掩码图中的每个像素点与所述原始图像信息中的每个像素点之间具有一一映射关系;
二值与操作单元,用于获取所述原始图像信息中的每个像素点的像素值,并基于所述映射关系,将所述原始图像信息中的每个像素点的像素值,与所述掩码图中相应像素点对应的掩码值进行二值与操作,得到包含具有所述第一掩码值的像素点的前景区域;
区域确定单元,用于将所述包含具有所述第一掩码值的像素点的前景区域,作为所述目标对象对应的目标区域。
12.根据权利要求10所述的装置,其特征在于,所述对象识别模块包括:
待处理区域确定单元,用于将所述目标对象所在的目标区域作为待处理区域;
特征提取单元,用于基于第二神经网络模型对所述待处理区域进行特征提取,得到与所述待处理区域对应的图像特征;
匹配度获取单元,用于根据所述第二神经网络模型中的分类器,识别所述图像特征与所述第二神经网络模型中多个属性类型特征之间的匹配度;
识别结果确定单元,用于将由所述第二神经网络模型得到的匹配度与所述第二神经网络模型中多个属性类型特征对应的标签信息进行关联,得到所述第二神经网络模型对应的识别结果;
体征信息确定单元,用于基于所述识别结果确定所述目标对象对应的体征分类信息。
13.根据权利要求12所述的装置,其特征在于,
所述待处理区域确定单元,具体用于将所述目标区域划分为多个子区域,并对各子区域进行选择性搜索,并对选择性搜索后的子区域进行合并,得到多个合并区域,并将所述多个子区域和所述多个合并区域均确定为待处理区域。
14.一种图像数据处理装置,其特征在于,包括:处理器和存储器;
所述处理器和存储器相连,其中,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行如权利要求1-9任一项所述的方法。
15.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时,执行如权利要求1-9任一项所述的方法。
CN201811014154.0A 2018-08-31 2018-08-31 一种图像数据处理方法和装置 Active CN109173263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811014154.0A CN109173263B (zh) 2018-08-31 2018-08-31 一种图像数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811014154.0A CN109173263B (zh) 2018-08-31 2018-08-31 一种图像数据处理方法和装置

Publications (2)

Publication Number Publication Date
CN109173263A CN109173263A (zh) 2019-01-11
CN109173263B true CN109173263B (zh) 2021-08-24

Family

ID=64917296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811014154.0A Active CN109173263B (zh) 2018-08-31 2018-08-31 一种图像数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN109173263B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109683084A (zh) * 2019-01-25 2019-04-26 深圳市迈腾电子有限公司 无线路由器电路板的检测设备
CN109919016B (zh) * 2019-01-28 2020-11-03 武汉恩特拉信息技术有限公司 一种在无脸部器官的对象上生成人脸表情的方法及装置
CN111526422B (zh) * 2019-02-01 2021-08-27 网宿科技股份有限公司 一种视频帧中目标对象的拟合方法、系统及设备
CN110163076B (zh) * 2019-03-05 2024-05-24 腾讯科技(深圳)有限公司 一种图像数据处理方法和相关装置
WO2020243333A1 (en) 2019-05-30 2020-12-03 The Research Foundation For The State University Of New York System, method, and computer-accessible medium for generating multi-class models from single-class datasets
WO2020243969A1 (zh) * 2019-06-06 2020-12-10 深圳市汇顶科技股份有限公司 人脸识别的装置、方法和电子设备
US11051493B2 (en) * 2019-09-09 2021-07-06 Council Of Agriculture Method and system for distinguishing identities based on nose prints of animals
US11176417B2 (en) * 2019-10-06 2021-11-16 International Business Machines Corporation Method and system for producing digital image features
CN111144378B (zh) * 2019-12-30 2023-10-31 众安在线财产保险股份有限公司 一种目标对象的识别方法及装置
CN113225450B (zh) * 2020-02-06 2023-04-11 阿里巴巴集团控股有限公司 视频处理方法、视频处理装置及电子设备
CN111259060B (zh) * 2020-02-18 2023-08-15 北京百度网讯科技有限公司 数据查询的方法及装置
CN113377970B (zh) * 2020-03-10 2024-10-01 阿里巴巴集团控股有限公司 信息的处理方法和装置
CN111401253B (zh) * 2020-03-17 2022-09-13 吉林建筑大学 一种基于深度学习的目标检测方法
CN114640882B (zh) * 2020-12-15 2024-06-28 腾讯科技(深圳)有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
CN114419240B (zh) * 2022-04-01 2022-06-17 腾讯科技(深圳)有限公司 光照渲染方法、装置、计算机设备和存储介质
CN114913058B (zh) * 2022-05-27 2024-10-01 北京字跳网络技术有限公司 显示对象的确定方法、装置、电子设备及存储介质
CN115937684B (zh) * 2022-12-16 2024-08-16 湖南韶峰应用数学研究院 一种建筑施工进度的识别方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1173092A (ja) * 1997-08-28 1999-03-16 Omron Corp 仮想ペット飼育装置、方法及びプログラム記録媒体
CN101324961A (zh) * 2008-07-25 2008-12-17 上海久游网络科技有限公司 计算机虚拟世界中人脸部三维贴图方法
CN103996189A (zh) * 2014-05-05 2014-08-20 小米科技有限责任公司 图像分割方法及装置
CN104537608A (zh) * 2014-12-31 2015-04-22 深圳市中兴移动通信有限公司 一种图像处理的方法及其装置
CN108010034A (zh) * 2016-11-02 2018-05-08 广州图普网络科技有限公司 商品图像分割方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460428A (zh) * 2018-04-11 2018-08-28 波奇(上海)信息科技有限公司 一种宠物图像识别的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1173092A (ja) * 1997-08-28 1999-03-16 Omron Corp 仮想ペット飼育装置、方法及びプログラム記録媒体
CN101324961A (zh) * 2008-07-25 2008-12-17 上海久游网络科技有限公司 计算机虚拟世界中人脸部三维贴图方法
CN103996189A (zh) * 2014-05-05 2014-08-20 小米科技有限责任公司 图像分割方法及装置
CN104537608A (zh) * 2014-12-31 2015-04-22 深圳市中兴移动通信有限公司 一种图像处理的方法及其装置
CN108010034A (zh) * 2016-11-02 2018-05-08 广州图普网络科技有限公司 商品图像分割方法及装置

Also Published As

Publication number Publication date
CN109173263A (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
CN109173263B (zh) 一种图像数据处理方法和装置
CN107993191B (zh) 一种图像处理方法和装置
CN111368893B (zh) 图像识别方法、装置、电子设备及存储介质
CN110166827B (zh) 视频片段的确定方法、装置、存储介质及电子装置
CN109344742B (zh) 特征点定位方法、装置、存储介质和计算机设备
CN109635680B (zh) 多任务属性识别方法、装置、电子设备及存储介质
CN111739027B (zh) 一种图像处理方法、装置、设备及可读存储介质
CN107771336A (zh) 基于颜色分布的图像中的特征检测和掩模
CN108121957A (zh) 美颜素材的推送方法及装置
CN107341435A (zh) 视频图像的处理方法、装置和终端设备
CN110020578A (zh) 图像处理方法、装置、存储介质及电子设备
WO2019114571A1 (zh) 图像处理方法及相关装置
US11367196B2 (en) Image processing method, apparatus, and storage medium
CN112102157B (zh) 视频换脸方法、电子设备和计算机可读存储介质
CN110928411B (zh) 一种基于ar的交互方法、装置、存储介质及电子设备
CN112328823A (zh) 多标签分类模型的训练方法、装置、电子设备及存储介质
CN111108508A (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
CN112580750A (zh) 图像识别方法、装置、电子设备及存储介质
CN115115552B (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
JP2018169972A (ja) 検索結果による学習が可能な対象検出装置、検出モデル生成装置、プログラム及び方法
CN113903063A (zh) 基于深度时空网络决策融合的人脸表情识别方法及系统
CN116308530A (zh) 一种广告植入方法、装置、设备和可读存储介质
WO2022257766A1 (zh) 图像处理方法、装置、设备及介质
CN107704471A (zh) 一种信息处理方法和装置及文件调用方法和装置
CN113132753A (zh) 数据处理方法及装置、视频封面生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant