CN111667588A - 人物图像处理方法、装置、ar设备以及存储介质 - Google Patents

人物图像处理方法、装置、ar设备以及存储介质 Download PDF

Info

Publication number
CN111667588A
CN111667588A CN202010533137.9A CN202010533137A CN111667588A CN 111667588 A CN111667588 A CN 111667588A CN 202010533137 A CN202010533137 A CN 202010533137A CN 111667588 A CN111667588 A CN 111667588A
Authority
CN
China
Prior art keywords
target
image
face image
special effect
target face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010533137.9A
Other languages
English (en)
Inventor
王子彬
孙红亮
李炳泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202010533137.9A priority Critical patent/CN111667588A/zh
Publication of CN111667588A publication Critical patent/CN111667588A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Abstract

本公开提供了一种人物图像处理方法、装置、AR设备以及存储介质,其中,该方法包括:获取包含人脸图像的场景图像;从获取的场景图像中提取至少一个目标人脸图像,并确定提取的目标人脸图像的数量;确定与所述目标人脸图像的数量匹配的目标AR主题特效;将提取的目标人脸图像与所述目标AR主题特效进行融合后通过显示设备显示。本公开实施例通过确定出的目标人脸图像的数量来匹配相应的AR主题特效,从而可以根据从场景图像中识别出的用户个性特征为用户提供不同的主题特效,这样,可以满足不同用户的互动需求,提高互动效果和用户体验。

Description

人物图像处理方法、装置、AR设备以及存储介质
技术领域
本公开涉及增强现实技术领域,具体而言,涉及一种人物图像处理方法、装置、AR设备以及存储介质。
背景技术
在一些展馆中,为了满足游客互动需求,通常会结合展览主题为游客提供中间脸部为镂空设计的造型立牌,游客站在造型立牌后面将脸放进镂空处,最终达到现场的互动效果。
但是上述通过造型立牌实现互动的方法中,造型立牌是固定不动的,对于任何游客来说,造型均相同的,无法跟随用户需求的变化而变化,互动效果有限,降低了用户体验。
发明内容
本公开实施例至少提供一种人物图像处理方法、装置、AR设备以及存储介质,用以满足不同用户的互动需求,提高互动效果和用户体验。
第一方面,本公开实施例提供了一种人物图像处理方法,包括:
获取包含人脸图像的场景图像;
从获取的场景图像中提取至少一个目标人脸图像,并确定提取的目标人脸图像的数量;
确定与所述目标人脸图像的数量匹配的目标增强现实AR主题特效;
将提取的目标人脸图像与所述目标AR主题特效进行融合后通过显示设备显示。
在一种可能的实施方式中,确定与所述目标人脸图像的数量匹配的目标增强现实AR主题特效,具体包括:
确定包含虚拟形象数量与所述目标人脸图像的数量相同的AR主题特效为所述目标AR主题特效。
在一种可能的实施方式中,从获取的场景图像中提取目标人脸图像,具体包括:
利用预先训练的人脸识别模型,从获取的场景图像中提取目标人脸图像;所述人脸识别模型为利用标注了人脸图像数据的样本图像进行训练得到的。
在一种可能的实施方式中,将提取的目标人脸图像与所述目标AR主题特效进行融合后通过显示设备显示,具体包括:
利用所述人脸识别模型,分别确定每一目标人脸图像的实时姿态信息;
根据确定出的各目标人脸图像的实时姿态信息,分别调整与所述目标人脸图像对应的目标AR主题特效中各虚拟形象对应的显示姿态;
将调整了各虚拟形象显示姿态后的目标AR主题特效叠加在提取的目标人脸图像上并通过显示设备显示。
在一种可能的实施方式中,如果与所述目标用户属性信息匹配的目标增强现实AR主题特效有多个,则所述方法还包括:
显示确定出的与目标用户属性信息匹配的所有目标增强现实AR主题特效;
响应于用户的选择操作,确定用户选择的AR主题特效为所述目标AR主题特效。
在一种可能的实施方式中,如果确定提取出的人脸图像包含多个,则所述方法还包括:
显示提取出的所有人脸图像;
响应于用户的选择操作,确定用户选择的至少一个人脸图像为目标人脸图像。
在一种可能的实施方式中,如果确定提取出的人脸图像包含多个,则所述方法,还包括:
分别确定提取出的每一人脸图像对应的置信度;
确定置信度大于预设阈值的人脸图像为目标人脸图像。
在一种可能的实施方式中,根据本公开实施例提供的人物图像处理方法,还包括:
接收图像拍摄指令;
根据接收到的图像拍摄指令,截取当前显示的特效图像并存储。
第二方面,本公开实施例还提供一种人物图像处理装置,包括:
获取单元,用于获取包含人脸图像的场景图像;
提取单元,用于从获取的场景图像中提取至少一个目标人脸图像,并确定提取的目标人脸图像的数量;
确定单元,用于确定与所述目标人脸图像的数量匹配的目标增强现实AR主题特效;
显示单元,用于将提取的目标人脸图像与所述目标AR主题特效进行融合后通过显示设备显示。
在一种可能的实施方式中,所述确定单元,具体用于确定包含虚拟形象数量与所述目标人脸图像的数量相同的AR主题特效为所述目标AR主题特效。
在一种可能的实施方式中,所述提取单元,具体用于利用预先训练的人脸识别模型,从获取的场景图像中提取目标人脸图像;所述人脸识别模型为利用标注了人脸图像数据的样本图像进行训练得到的。
在一种可能的实施方式中,所述显示单元,还用于利用所述人脸识别模型,分别确定每一目标人脸图像的实时姿态信息;根据确定出的各目标人脸图像的实时姿态信息,分别调整与所述目标人脸图像对应的目标AR主题特效中各虚拟形象对应的显示姿态;将调整了各虚拟形象显示姿态后的目标AR主题特效叠加在提取的目标人脸图像上并通过显示设备显示。
在一种可能的实施方式中,所述显示单元,还用于如果与所述目标用户属性信息匹配的目标增强现实AR主题特效有多个,则显示确定出的与目标用户属性信息匹配的所有目标增强现实AR主题特效;
所述确定单元,还用于响应于用户的选择操作,确定用户选择的AR主题特效为所述目标AR主题特效。
在一种可能的实施方式中,所述显示单元,还用于如果确定提取出的人脸图像包含多个,则显示提取出的所有人脸图像;
所述确定单元,还用于响应于用户的选择操作,确定用户选择的至少一个人脸图像为目标人脸图像。
在一种可能的实施方式中,所述显示单元,还用于如果确定提取出的人脸图像包含多个,则分别确定提取出的每一人脸图像对应的置信度;
所述确定单元,还用于确定置信度大于预设阈值的人脸图像为目标人脸图像。
在一种可能的实施方式中,本公开实施例提供的人物图像处理装置,还包括:
接收单元,用于接收图像拍摄指令;
存储单元,用于根据接收到的图像拍摄指令,截取当前显示的融合图像并存储。
第三方面,本公开实施例还提供一种AR设备,包括:相互连接的处理器和存储器,所述存储器存储有所述处理器可执行的机器可读指令,当AR设备运行时,所述机器可读指令被所述处理器执行以实现上述第一方面,或第一方面中任一种可能的实施方式中的人物图像处理方法。
第四方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
本公开实施例提供的人物图像处理方法、装置、AR设备和存储介质,通过从获取的场景图像中识别出的目标人脸图像,根据目标人脸图像的数量匹配出相应的目标AR主题特效,并与识别出的目标人脸图像融合后通过显示设备进行显示,上述过程中,由于通过人脸图像的数量来匹配相应的AR主题特效,从而可以根据从场景图像中识别出的团体用户的数量特征为用户提供不同的主题特效,这样,可以满足不同团体的互动需求,提高互动效果和用户体验。
进一步,本公开实施例提供的人物图像处理方法,还可以根据目标人脸图像的数量选择包含虚拟形象数量相同的目标AR主题特效进行融合显示,从而满足多个目标用户场景下的互动需求。
进一步,本公开实施例提供的人物图像处理方法,还可以通过识别目标人脸图像的实时姿态,调整目标AR主题特效中相应虚拟形象的显示姿态,使得目标AR主题特效能够跟随目标人脸图像姿态的变化而变化,实现用户跟随效果,避免融合后得到的特效图像生硬呆板,更好地提高了互动效果和用户感知体验。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种人物图像处理方法的流程图;
图2示出了本公开实施例所提供的人物图像处理方法中,根据人脸图像的实时姿态动态调整AR主题特效中虚拟形象的显示姿态具体方法的流程图;
图3示出了本公开实施例所提供的一种人物图像处理装置的示意图;
图4示出了本公开实施例所提供的一种AR设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
实施例一
增强现实(Augmented Reality,AR)技术可以应用于AR设备中,AR设备可以为任何能够支持AR功能的电子设备,包括但不限于AR眼镜、平板电脑、智能手机等。当AR设备在现实场景中被操作时,通过该AR设备可以观看到叠加在现实场景中的虚拟对象,比如路过一些建筑物或者旅游景点时,通过AR设备可以看到叠加在建筑物或者旅游景点附近的虚拟图文介绍,这里的虚拟图文可以称为虚拟对象,建筑物或者旅游景点可以为真实场景,这种场景下,通过AR眼镜看到的虚拟图文介绍,会随着AR眼镜的朝向角度变化而变化,这里虚拟图文介绍与AR眼镜位置关系相关,然而在另一些场景中,我们希望看到更加丰富多样的虚实结合的增强现实场景,比如想要看到,该呈现效果如何实现,为本公开实施例所要讨论的内容,下面将结合以下具体实施例进行阐述。
本公开实施例提供了一种人物图像处理方法、装置、AR设备和存储介质,将与当前场景图像中的用户属性信息匹配的AR主题特效与场景图像中的人脸图像进行融合显示,来满足不同用户的个性化互动需求,提高互动效果和用户体验。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种人物图像处理方法进行详细介绍,本公开实施例所提供的AR场景内容的生成方法的执行主体可以为具有一定计算能力的计算机设备,具体可以为终端设备或服务器或其他处理设备,比如可以是上述AR设备或者与AR设备连接的服务器,AR设备比如可以包括AR眼镜、平板电脑、智能手机、智能穿戴式设备等具有显示功能和数据处理能力的设备,本公开实施例中不作限定,在一些可能的实现方式中,该AR场景内容的生成方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
需要说明的是,具体实施时,本公开实施例所提供的任务图像处理方法可以由安装在上述的AR设备中的独立应用客户端实现,也可以为AR设备中安装的应用客户端中所实现的某一功能,本公开实施例对此不进行限定。
参见图1所示,为本公开实施例提供的人物图像处理方法的实施流程图,包括以下步骤:
S11、获取包含人脸图像的场景图像。
具体实施时,实现本公开实施例提供的人物图像处理方法的应用客户端调用AR设备的摄像头实时采集场景图像。
在一种实施方式中,如果AR设备为景区提供的与用户交互的AR设备,可以通过实时检测目标区域内采集的场景图像中是否存在人体图像来判断是否触发本公开提供的人物图像处理方法,或者,在检测到人体图像之后,通过对话框提示用户是否触发本公开提供的人物图像处理方法,在接收到用户的确认指令后开始执行本公开提供的人物图像处理方法的流程。
在另一种实施方式中,如果AR设备为用户自己的设备,则根据用户操作指令调用摄像头开始采集场景图像。
在一些实施例中,用户还可以从设备本地存储的已拍摄完成的图像中选择场景图像并触发执行本公开实施例提供的任务图像处理方法。
S12、从获取的场景图像中提取至少一个目标人脸图像,并根据提取的目标人脸图像,确定目标用户属性信息。
具体实施时,可以利用标注了人脸图像数据的样本图像对人脸识别模型进行训练。为了提高人脸识别模型识别的准确性和精确性,本公开实施例中,可以对人脸图像元素进行像素级精确定位,例如头发、眼睛、脖子、皮肤、嘴唇等,这样,通过训练可以获取人脸五官的准确特征信息。
进一步地,还可以根据眼睛、嘴巴和嘴唇等相对正向图像的旋转角度进行训练获取不同角度对应的人脸实时姿态,例如,人脸是正向向前,还是向左砖头一定角度,还是向右砖头一定角度等。
因此,根据本公开实施例训练得到的人脸识别模型,不仅能够识别出场景图像中包含的人脸图像,还可以对人脸图像的实时姿态进行识别。
具体实施时,基于标注的样本图像,可以利用卷积神经网络对人脸识别模型进行训练。
进一步地,本公开实施例中可以根据提取出的目标人脸图像,进行进一步识别,例如,确定提取的目标人脸图像的数量,或者根据提取的目标人脸图像识别用户年龄、性别或者表情等等。
S13、确定与目标用户属性信息匹配的目标AR主题特效。
具体实施时,可以利用三维软件和三维引擎制作AR主题特效。在一种实施方式中,可以针对不同的主题制作不同的AR主题特效。这样,可以根据步骤S12中确定出的不同的目标用户属性信息来匹配不同的目标AR主题特效。
在一个实施例中,目标用户属性信息为目标人脸图像的数量时,可以确定包含虚拟形象数量与目标人脸图像的数量相同的AR主题特效为目标AR主题特效,例如,确定目标人脸图像的数量为7个时,可以为用户匹配七个小矮人AR主题特效;在另一实施例中,目标用户属性信息还可以包括目标用户性别和目标人脸图像的数量,例如,如果识别出目标人脸图像的数量为两个,且目标用户性别包含男性和女性,则可以确定情侣主题的AR主题特效为目标AR主题特效;如果识别出目标人脸图像的数量为两个,且目标用户性别均为女性,则可以确定朋友主题的AR主题特效为目标AR主题特效;在又一实施例中,还可以根据目标用户年龄,如果确定识别出的人脸图像中包含大人和小孩,则可以确定亲子主题的AR主题特效为目标AR主题特效。
在一些实施方式中,还可以结合展览主题设计AR主题特效,例如动漫主题,可以针对动漫形象设计AR主题特效,历史人物AR主题特效等等,本公开实施例对此不进行限定。
S14、将提取的目标人脸图像与目标AR主题特效进行融合后通过显示设备显示。
具体实施时,可以将确定出的目标AR主题特效叠加在识别出的目标人脸图像上,并通过AR设备的显示设备输出显示。
需要说明的是,如果步骤S12中提取出的用户人脸图像有多个,则在一种实施方式中,可以通过AR设备的显示屏显示提取出的所有用户人脸图像供用户选择,响应于用户的选择操作,确定用户选择的至少一个人脸图像为目标人脸图像。在另外一种实施方式中,可以分别确定提取出的每一人脸图像对应的置信度;确定置信度大于预设阈值的人脸图像为目标人脸图像,例如,可以根据人脸图像占据场景图像的像素比例来确定每一人脸图像的置信度,将比例大于预设比例阈值的人脸图像确定为目标人脸图像。
根据本公开实施例提供的人物图像处理方法,通过对场景图像中的人脸图像进行识别,进而根据识别出的人脸图像确定用户数量,用户年龄,用户表情或者用户性别等,根据确定出的用户属性信息为用户匹配不同的AR特效主题模板,例如,情侣主题,亲子主题,历史人物主题以及动漫主题等,这样,可以满足不同用户的个性化互动需求,提高了互动效果和用户体验。
实施例二
游客在与镂空设计的造型立牌互动时,由于造型立牌是固定的,其姿态无法跟随用户姿态的变化而变化,导致人物造型生硬呆板,有鉴于此,实施例二中,为了使得融合后的图像更加生动形象,还可以根据人脸图像的实时姿态动态调整AR主题特效中包含的虚拟形象的显示姿态,在视觉效果上,能够实现虚拟形象的显示姿态跟随目标用户姿态的变化而变化,实现用户姿态跟随。如图2所示,其为根据人脸图像的实时姿态动态调整AR主题特效中虚拟形象的显示姿态的实施流程示意图,包括以下步骤:
S21、利用人脸识别模型,分别确定每一目标人脸图像的实时姿态信息。
本步骤中,可以利用标注了人脸姿态数据的样本图像对人脸识别模型进行训练,利用训练得到的模型可以识别人体图像中人体的实时姿态信息。
在一个实施例中,还可以根据人脸图像相对于正向人脸图像的角度来确定目标人脸图像的实时姿态信息,或者根据人脸五官图像的角度等来确定目标人脸图像的实时姿态信息。
S22、根据确定出的各目标人脸图像的实时姿态信息,分别调整与目标人脸图像对应的目标AR主题特效中各虚拟形象对应的显示姿态。
本步骤中,针对步骤S21中确定出的每一目标人脸图像的实时姿态信息,分别调整其在AR主题特效中对应的虚拟形象的显示姿态,使得AR主题特效中的虚拟形象随着人脸姿态的变化而变化,实现用户姿态跟随,降低融合图像的违和感,避免融合后得到的特效图像生硬呆板。
S23、将调整了各虚拟形象显示姿态后的目标AR主题特效叠加在提取的目标人脸图像上并通过显示设备显示。
根据本申请公开的实施例二,可以根据目标人脸图像的实时姿态动态调整AR主题特效中相应的虚拟形象的显示姿态,使目标人脸图像与AR主题特效的融合图像更加生动,进一步提高了用户互动体验。
在一些实施例中,还可以预先针对AR主题特效中包含的虚拟形象设计不同的肢体动作特效,例如,利用手指比V、比爱心或者点赞等肢体动作,通过对场景图像中的肢体动作进行识别,如果匹配到相同的肢体动作,则选择相应的动作特效模板进行融合等等。
在一些实施例中,如果与目标用户属性信息匹配的目标AR主题特效有多个,则可以通过AR设备的显示屏显示确定出的与目标用户属性信息匹配的所有目标AR主题特效供用户选择;响应于用户的选择操作,确定用户选择的AR主题特效为目标AR主题特效。
在一些实施例中,根据本申请实施例提供的人物图像处理方法,还可以包括以下步骤:
步骤一、接收图像拍摄指令。
步骤二、根据接收到的图像拍摄指令,截取当前显示的融合图像并存储。
由此,可以满足用户与目标AR主题特效留影的需求。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
实施例三
基于同一发明构思,本公开实施例中还提供了与人物图像处理方法对应的人物图像处理装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述人物图像处理方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图3所示,为本公开实施例提供的一种人物图像处理装置的示意图,所述装置包括:
获取单元31,用于获取包含人脸图像的场景图像;
提取单元32,用于从获取的场景图像中提取至少一个目标人脸图像,并确定提取的目标人脸图像的数量;
确定单元33,用于确定与所述目标人脸图像的数量匹配的目标增强现实AR主题特效;
显示单元34,用于将提取的目标人脸图像与所述目标AR主题特效进行融合后通过显示设备显示。
在一种可能的实施方式中,所述确定单元33,具体用于确定包含虚拟形象数量与所述目标人脸图像的数量相同的AR主题特效为所述目标AR主题特效。
在一种可能的实施方式中,提取单元32,具体用于利用预先训练的人脸识别模型,从获取的场景图像中提取目标人脸图像;其中,人脸识别模型为利用标注了人脸图像数据的样本图像进行训练得到的。
在一种可能的实施方式中,所述显示单元34,还用于利用所述人脸识别模型,分别确定每一目标人脸图像的实时姿态信息;根据确定出的各目标人脸图像的实时姿态信息,分别调整与所述目标人脸图像对应的目标AR主题特效中各虚拟形象对应的显示姿态;将调整了各虚拟形象显示姿态后的目标AR主题特效叠加在提取的目标人脸图像上并通过显示设备显示。
在一种可能的实施方式中,所述显示单元34,还用于如果与所述目标用户属性信息匹配的目标增强现实AR主题特效有多个,则显示确定出的与目标用户属性信息匹配的所有目标增强现实AR主题特效;
所述确定单元33,还用于响应于用户的选择操作,确定用户选择的AR主题特效为所述目标AR主题特效。
在一种可能的实施方式中,所述显示单元34,还用于如果确定提取出的人脸图像包含多个,则显示提取出的所有人脸图像;
所述确定单元33,还用于响应于用户的选择操作,确定用户选择的至少一个人脸图像为目标人脸图像。
在一种可能的实施方式中,所述显示单元44,还用于如果确定提取出的人脸图像包含多个,则分别确定提取出的每一人脸图像对应的置信度;
所述确定单元33,还用于确定置信度大于预设阈值的人脸图像为目标人脸图像。
在一种可能的实施方式中,本公开实施例提供的人物图像处理装置,还包括:
接收单元,用于接收图像拍摄指令;
存储单元,用于根据接收到的图像拍摄指令,截取当前显示的融合图像并存储。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
实施例四
本公开实施例还提供了一种AR设备40,如图4所示,为本公开实施例提供的AR设备40结构示意图,包括:
处理器41和存储器42;所述存储器42存储有所述处理器41可执行的机器可读指令,当AR设备运行时,所述机器可读指令被所述处理器执行以实现下述步骤:步骤S11、获取包含人脸图像的场景图像;步骤S12、从获取的场景图像中提取至少一个目标人脸图像,并根据提取的目标人脸图像,确定目标用户属性信息;步骤S13、确定与目标用户属性信息匹配的目标AR主题特效;以及步骤S14、将提取的目标人脸图像与所述目标AR主题特效进行融合后通过显示设备显示。
上述指令的具体执行过程可以参考本公开实施例中所述的人物图像处理方法的步骤,此处不再赘述。
实施例五
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的人物图像处理方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的人物图像处理方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的人物图像处理方法的步骤,具体可参见上述方法实施例,在此不再赘述。
本公开实施例还提供一种计算机程序,该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software DevelopmentKit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台AR设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random AccessMemory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种人物图像处理方法,其特征在于,包括:
获取包含人脸图像的场景图像;
从获取的场景图像中提取至少一个目标人脸图像,并确定提取的目标人脸图像的数量;
确定与所述目标人脸图像的数量匹配的目标增强现实AR主题特效;
将提取的目标人脸图像与所述目标AR主题特效进行融合后通过显示设备显示。
2.根据权利要求1所述的方法,其特征在于,所述确定与所述目标人脸图像的数量匹配的目标增强现实AR主题特效,具体包括:
确定包含虚拟形象数量与所述目标人脸图像的数量相同的AR主题特效为所述目标AR主题特效。
3.根据权利要求1或2所述的方法,其特征在于,从获取的场景图像中提取目标人脸图像,具体包括:
利用预先训练的人脸识别模型,从获取的场景图像中提取目标人脸图像;所述人脸识别模型为利用标注了人脸图像数据的样本图像进行训练得到的。
4.根据权利要求3所述的方法,其特征在于,将提取的目标人脸图像与所述目标AR主题特效进行融合后通过显示设备显示,具体包括:
利用所述人脸识别模型,分别确定每一目标人脸图像的实时姿态信息;
根据确定出的各目标人脸图像的实时姿态信息,分别调整与所述目标人脸图像对应的目标AR主题特效中各虚拟形象对应的显示姿态;
将调整了各虚拟形象显示姿态后的目标AR主题特效叠加在提取的目标人脸图像上并通过显示设备显示。
5.根据权利要求1~4任一权利要求所述的方法,其特征在于,如果与所述目标用户属性信息匹配的目标增强现实AR主题特效有多个,则所述方法还包括:
显示确定出的与目标用户属性信息匹配的所有目标增强现实AR主题特效;
响应于用户的选择操作,确定用户选择的AR主题特效为所述目标AR主题特效。
6.根据权利要求1~5任一所述的方法,其特征在于,如果确定提取出的人脸图像包含多个,则所述方法还包括:
显示提取出的所有人脸图像;
响应于用户的选择操作,确定用户选择的至少一个人脸图像为目标人脸图像。
7.根据权利要求1~5任一所述的方法,其特征在于,如果确定提取出的人脸图像包含多个,则所述方法还包括:
分别确定提取出的每一人脸图像对应的置信度;
确定置信度大于预设阈值的人脸图像为目标人脸图像。
8.根据权利要求1~7任一权利要求所述的方法,其特征在于,还包括:
接收图像拍摄指令;
根据接收到的图像拍摄指令,截取当前显示的特效图像并存储。
9.一种人物图像处理装置,其特征在于,包括:
获取单元,用于获取包含人脸图像的场景图像;
提取单元,用于从获取的场景图像中提取至少一个目标人脸图像,并确定提取的目标人脸图像的数量;
确定单元,用于确定与所述目标人脸图像的数量匹配的目标增强现实AR主题特效;
显示单元,用于将提取的目标人脸图像与所述目标AR主题特效进行融合后通过显示设备显示。
10.一种AR设备,其特征在于,包括:相互连接的处理器和存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,所述机器可读指令被所述处理器执行时,所述处理器执行如权利要求1至8任一项所述的人物图像处理方法的步骤。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被AR设备运行时,所述AR设备执行如权利要求1至8任意一项所述的人物图像处理方法的步骤。
CN202010533137.9A 2020-06-12 2020-06-12 人物图像处理方法、装置、ar设备以及存储介质 Pending CN111667588A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010533137.9A CN111667588A (zh) 2020-06-12 2020-06-12 人物图像处理方法、装置、ar设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010533137.9A CN111667588A (zh) 2020-06-12 2020-06-12 人物图像处理方法、装置、ar设备以及存储介质

Publications (1)

Publication Number Publication Date
CN111667588A true CN111667588A (zh) 2020-09-15

Family

ID=72387071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010533137.9A Pending CN111667588A (zh) 2020-06-12 2020-06-12 人物图像处理方法、装置、ar设备以及存储介质

Country Status (1)

Country Link
CN (1) CN111667588A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270733A (zh) * 2020-09-29 2021-01-26 北京五八信息技术有限公司 Ar表情包的生成方法、装置、电子设备及存储介质
CN112348969A (zh) * 2020-11-06 2021-02-09 北京市商汤科技开发有限公司 增强现实场景下的展示方法、装置、电子设备及存储介质
CN112348968A (zh) * 2020-11-06 2021-02-09 北京市商汤科技开发有限公司 增强现实场景下的展示方法、装置、电子设备及存储介质
CN112488085A (zh) * 2020-12-28 2021-03-12 深圳市慧鲤科技有限公司 人脸融合方法、装置、设备及存储介质
CN112862735A (zh) * 2021-02-02 2021-05-28 携程旅游网络技术(上海)有限公司 图像的处理方法及系统、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1503159A (zh) * 2002-11-25 2004-06-09 ���µ�����ҵ��ʽ���� 电影短片生成再现装置及其方法
CN107067474A (zh) * 2017-03-07 2017-08-18 深圳市吉美文化科技有限公司 一种增强现实处理方法及装置
CN107592474A (zh) * 2017-09-14 2018-01-16 光锐恒宇(北京)科技有限公司 一种图像处理方法和装置
WO2018058601A1 (zh) * 2016-09-30 2018-04-05 深圳达闼科技控股有限公司 虚拟与现实融合方法、系统和虚拟现实设备
CN108696699A (zh) * 2018-04-10 2018-10-23 光锐恒宇(北京)科技有限公司 一种视频处理的方法和装置
CN109034063A (zh) * 2018-07-27 2018-12-18 北京微播视界科技有限公司 人脸特效的多人脸跟踪方法、装置和电子设备
CN109086680A (zh) * 2018-07-10 2018-12-25 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质和电子设备
CN109658486A (zh) * 2017-10-11 2019-04-19 腾讯科技(深圳)有限公司 图像处理方法及装置、存储介质
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1503159A (zh) * 2002-11-25 2004-06-09 ���µ�����ҵ��ʽ���� 电影短片生成再现装置及其方法
WO2018058601A1 (zh) * 2016-09-30 2018-04-05 深圳达闼科技控股有限公司 虚拟与现实融合方法、系统和虚拟现实设备
CN107067474A (zh) * 2017-03-07 2017-08-18 深圳市吉美文化科技有限公司 一种增强现实处理方法及装置
CN107592474A (zh) * 2017-09-14 2018-01-16 光锐恒宇(北京)科技有限公司 一种图像处理方法和装置
CN109658486A (zh) * 2017-10-11 2019-04-19 腾讯科技(深圳)有限公司 图像处理方法及装置、存储介质
CN108696699A (zh) * 2018-04-10 2018-10-23 光锐恒宇(北京)科技有限公司 一种视频处理的方法和装置
CN109086680A (zh) * 2018-07-10 2018-12-25 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质和电子设备
CN109034063A (zh) * 2018-07-27 2018-12-18 北京微播视界科技有限公司 人脸特效的多人脸跟踪方法、装置和电子设备
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270733A (zh) * 2020-09-29 2021-01-26 北京五八信息技术有限公司 Ar表情包的生成方法、装置、电子设备及存储介质
CN112348969A (zh) * 2020-11-06 2021-02-09 北京市商汤科技开发有限公司 增强现实场景下的展示方法、装置、电子设备及存储介质
CN112348968A (zh) * 2020-11-06 2021-02-09 北京市商汤科技开发有限公司 增强现实场景下的展示方法、装置、电子设备及存储介质
CN112348968B (zh) * 2020-11-06 2023-04-25 北京市商汤科技开发有限公司 增强现实场景下的展示方法、装置、电子设备及存储介质
CN112348969B (zh) * 2020-11-06 2023-04-25 北京市商汤科技开发有限公司 增强现实场景下的展示方法、装置、电子设备及存储介质
CN112488085A (zh) * 2020-12-28 2021-03-12 深圳市慧鲤科技有限公司 人脸融合方法、装置、设备及存储介质
CN112862735A (zh) * 2021-02-02 2021-05-28 携程旅游网络技术(上海)有限公司 图像的处理方法及系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN112348969B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN111667588A (zh) 人物图像处理方法、装置、ar设备以及存储介质
CN106803057B (zh) 图像信息处理方法及装置
US11736756B2 (en) Producing realistic body movement using body images
CN106873778B (zh) 一种应用的运行控制方法、装置和虚拟现实设备
CN105404392B (zh) 基于单目摄像头的虚拟穿戴方法及系统
CN110716645A (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN111640197A (zh) 一种增强现实ar特效控制方法、装置及设备
CN111627117B (zh) 画像展示特效的调整方法、装置、电子设备及存储介质
CN111640192A (zh) 场景图像处理方法、装置、ar设备以及存储介质
CN111694430A (zh) 一种ar场景画面呈现方法、装置、电子设备和存储介质
CN102859991A (zh) 实时剪切视频序列中记录的真实实体的方法
CN113362263B (zh) 变换虚拟偶像的形象的方法、设备、介质及程序产品
CN111638784B (zh) 人脸表情互动方法、互动装置以及计算机存储介质
CN111679742A (zh) 基于ar的交互控制方法、装置、电子设备及存储介质
CN111638797A (zh) 一种展示控制方法及装置
EP4248413A1 (en) Multiple device sensor input based avatar
CN112348968B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN111880709A (zh) 一种展示方法、装置、计算机设备及存储介质
CN111639613B (zh) 一种增强现实ar特效生成方法、装置及电子设备
CN111598824A (zh) 场景图像处理方法、装置、ar设备以及存储介质
CN111625100A (zh) 图画内容的呈现方法、装置、计算机设备及存储介质
CN112905014A (zh) Ar场景下的交互方法、装置、电子设备及存储介质
CN112148125A (zh) 一种ar交互状态控制的方法、装置、设备及存储介质
CN111652983A (zh) 一种增强现实ar特效生成方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination