CN112150349A - 一种图像处理方法、装置、计算机设备及存储介质 - Google Patents

一种图像处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112150349A
CN112150349A CN202011008800.XA CN202011008800A CN112150349A CN 112150349 A CN112150349 A CN 112150349A CN 202011008800 A CN202011008800 A CN 202011008800A CN 112150349 A CN112150349 A CN 112150349A
Authority
CN
China
Prior art keywords
target
image
real scene
candidate
virtual object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011008800.XA
Other languages
English (en)
Inventor
侯欣如
王鼎禄
李斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202011008800.XA priority Critical patent/CN112150349A/zh
Publication of CN112150349A publication Critical patent/CN112150349A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供了一种图像处理方法、装置、计算机设备及存储介质,该方法包括:获取AR设备拍摄的现实场景图像,并确定与所述现实场景图像匹配的处于至少一种候选状态的候选虚拟对象;获取所述现实场景图像中目标用户的用户属性信息;基于所述用户属性信息,从确定的所述处于至少一种候选状态的候选虚拟对象中确定待合影的处于目标状态的目标虚拟对象;基于所述现实场景图像、及处于所述目标状态的目标虚拟对象,生成合影图像。

Description

一种图像处理方法、装置、计算机设备及存储介质
技术领域
本公开涉及计算机技术领域,具体而言,涉及一种图像处理方法、装置、计算机设备及存储介质。
背景技术
随着城市的现代化和社会经济文化水平的提高,游乐场、动物园、公园等游乐活动场所越来越受到人们的喜爱。通常人们在游览过程中会进行合影留念,然而这种方式容易受到环境的影响,效果较差。
以动物园为例,人们总能期待跟各种动物进行合影,然而有些动物具有攻击性,为了更好的保护参观人员和动物本身,大多数动物被关在笼子里,人们只能透过笼子与动物进行合影,合影效果较差。
发明内容
本公开实施例至少提供一种图像处理方法、装置、计算机设备及存储介质。
第一方面,本公开实施例提供了一种图像处理方法,包括:
获取AR设备拍摄的现实场景图像,并确定与所述现实场景图像匹配的处于至少一种候选状态的候选虚拟对象;
获取所述现实场景图像中目标用户的用户属性信息;
基于所述用户属性信息,从确定的所述处于至少一种候选状态的候选虚拟对象中确定待合影的处于目标状态的目标虚拟对象;
基于所述现实场景图像、及处于所述目标状态的目标虚拟对象,生成合影图像。
上述方法中,可以从现实场景图像中获取所述目标用户的用户属性信息,然后基于所述用户属性信息确定处于目标状态的目标虚拟对象,最后再基于所述现实场景图像、及处于所述目标状态的目标虚拟对象,生成合影图像。由于不同的现实场景图像匹配的候选状态的候选虚拟对象可以不同,同一现实场景图像中,不同用户属性信息对应的待合影的处于目标状态的目标虚拟对象也可以不同,因此不同用户在同一地点进行合影时,由于用户属性不同,最终的合影图像中可能是不同的目标状态的目标虚拟对象,由此丰富了合影效果的多样性,且由于合影对象为AR对象,因此这种方式不受环境的影响,提升了合影效果,满足了不同用户的拍照需求。
一种可能的实施方式中,所述确定与所述现实场景图像匹配的处于至少一种候选状态的候选虚拟对象,包括:
基于所述现实场景图像,确定所述AR设备的位姿信息;确定与所述AR设备的位姿信息匹配的处于至少一种候选状态的候选虚拟对象;或者,
基于所述现实场景图像,确定所述AR设备所在的目标场景;确定与所述AR设备所在的目标场景匹配的处于至少一种候选状态的候选虚拟对象。
通过确定所述AR设备的位姿信息或所述AR设备所在的目标场景,来确定匹配的处于至少一种候选状态的候选虚拟对象,可以实现所述候选虚拟对象的初步确定和筛选。
一种可能的实施方式中,所述获取所述现实场景图像中目标用户的用户属性信息,包括:
基于所述现实场景图像,识别所述目标用户的用户属性信息;或者,
基于所述现实场景图像,识别用户身份;从存储的用户属性信息库中,获取与识别出的用户身份匹配的用户属性信息。
通过上述两种用户属性信息的获取方式,可以直接或间接的得到目标用户的用户属性信息,进而可以确定与用户属性信息匹配的处于目标状态的目标虚拟对象。
一种可能的实施方式中,所述用户属性信息包括以下至少一种:
年龄、性别、身高、肤色、服装、配饰、姿态信息、手势信息、表情信息。
一种可能的实施方式中,基于所述现实场景图像、及处于所述目标状态的目标虚拟对象,生成合影图像,包括:
获取所述目标用户的位置信息、姿态信息、和手势信息中的至少一种状态属性信息;
基于所述目标用户的状态属性信息,确定所述目标虚拟对象的位置和朝向;
基于所述现实场景图像、及处于所述目标状态的目标虚拟对象、以及所述目标虚拟对象的位置和朝向,生成所述合影图像。
通过上述生成合影图像的方法,可以生成目标虚拟对象的位置和朝向与目标用户匹配的合影图像,从而提高了合影的效果。
一种可能的实施方式中,生成合影图像之后,还包括:
通过AR设备展示所述合影图像;
响应合影保存操作,保存所述AR设备对当前展示的所述合影图像。
一种可能的实施方式中,生成合影图像之后,还包括:
在所述AR设备的所述现实场景图像中叠加展示所述合影图像的下载链接对应的标识码和所述合影图像。
通过叠加展示所述下载链接对应的标识码,可以让目标用户外的其他用户可以获取并下载所述合影图像。
第二方面,本公开实施例还提供一种图像处理装置,包括:
第一确定模块,用于获取AR设备拍摄的现实场景图像,并确定与所述现实场景图像匹配的处于至少一种候选状态的候选虚拟对象;
获取模块,用于获取所述现实场景图像中目标用户的用户属性信息;
第二确定模块,用于基于所述用户属性信息,从确定的所述处于至少一种候选状态的候选虚拟对象中确定待合影的处于目标状态的目标虚拟对象;
生成模块,用于基于所述现实场景图像、及处于所述目标状态的目标虚拟对象,生成合影图像。
一种可能的实施方式中,所述第一确定模块,在所述确定与所述现实场景图像匹配的处于至少一种候选状态的候选虚拟对象时,用于:
基于所述现实场景图像,确定所述AR设备的位姿信息;确定与所述AR设备的位姿信息匹配的处于至少一种候选状态的候选虚拟对象;或者,
基于所述现实场景图像,确定所述AR设备所在的目标场景;确定与所述AR设备所在的目标场景匹配的处于至少一种候选状态的候选虚拟对象。
一种可能的实施方式中,所述获取模块,在所述获取所述现实场景图像中目标用户的用户属性信息时,用于:
基于所述现实场景图像,识别所述目标用户的用户属性信息;或者,
基于所述现实场景图像,识别用户身份;从存储的用户属性信息库中,获取与识别出的用户身份匹配的用户属性信息。
一种可能的实施方式中,所述用户属性信息包括以下至少一种:
年龄、性别、身高、肤色、服装、配饰、姿态信息、手势信息、表情信息。
一种可能的实施方式中,所述生成模块,在基于所述现实场景图像、及处于所述目标状态的目标虚拟对象,生成合影图像时,用于:
获取所述目标用户的位置信息、姿态信息、和手势信息中的至少一种状态属性信息;
基于所述目标用户的状态属性信息,确定所述目标虚拟对象的位置和朝向;
基于所述现实场景图像、及处于所述目标状态的目标虚拟对象、以及所述目标虚拟对象的位置和朝向,生成所述合影图像。
一种可能的实施方式中,所述生成模块,在生成合影图像之后,还用于:
通过AR设备展示所述合影图像;
响应合影保存操作,保存所述AR设备对当前展示的所述合影图像。
一种可能的实施方式中,所述生成模块,在生成合影图像之后,还用于:
在所述AR设备的所述现实场景图像中叠加展示所述合影图像的下载链接对应的标识码和所述合影图像。
第三方面,本公开实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
第四方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
关于上述图像处理装置、计算机设备、及计算机可读存储介质的效果描述参见上述图像处理方法的说明,这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种图像处理方法的流程图;
图2示出了本公开实施例所提供的合影图像的示意图;
图3示出了本公开实施例所提供的带有标识码的合影图像的示意图;
图4示出了本公开实施例所提供的一种图像处理装置的架构示意图;
图5示出了本公开实施例所提供的一种计算机设备500的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
相关技术中,人们在进行合影时,容易受到环境的影响,合影效果较差,为提高合影效果,人们提出了AR合影。
在进行AR合影时,一般是在固定的位置对应的三维模型中放置虚拟合影对象,然后用户可以通过AR设备拍摄并展示包括虚拟合影对象和目标用户的图片,然而这种合影方法比较单一,无法满足不同用户的拍照需求。
基于上述研究,本公开提供了一种图像处理方法、装置、计算机设备及存储介质,可以从现实场景图像中获取所述目标用户的用户属性信息,然后基于所述用户属性信息确定处于目标状态的目标虚拟对象,最后再基于所述现实场景图像、及处于所述目标状态的目标虚拟对象,生成合影图像。由于不同的现实场景图像匹配的候选状态的候选虚拟对象可以不同,同一现实场景图像中,不同用户属性信息对应的待合影的处于目标状态的目标虚拟对象也可以不同,因此不同用户在同一地点进行合影时,由于用户属性不同,最终的合影图像中可能是不同的目标状态的目标虚拟对象,由此丰富了合影效果的多样性,且由于合影对象为AR对象,因此这种方式不受环境的影响,提升了合影效果,满足了不同用户的拍照需求。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种图像处理方法进行详细介绍,本公开实施例所提供的图像处理方法的执行主体一般为具有一定计算能力的计算机设备,具体可以为终端设备或其他处理设备,AR设备比如可以包括AR眼镜、平板电脑、智能手机、智能穿戴式设备等具有显示功能和数据处理功能的设备,AR设备可以通过应用程序连接云端服务器。
参见图1所示,为本公开实施例提供的图像处理方法的流程图,所述方法包括S101~S104,其中:
S101:获取AR设备拍摄的现实场景图像,并确定与所述现实场景图像匹配的处于至少一种候选状态的候选虚拟对象;
S102:获取所述现实场景图像中目标用户的用户属性信息;
S103:基于所述用户属性信息,从确定的所述处于至少一种候选状态的候选虚拟对象中确定待合影的处于目标状态的目标虚拟对象;
S104:基于所述现实场景图像、及处于所述目标状态的目标虚拟对象,生成合影图像。
以下是对上述步骤的详细说明。
针对S101、
这里,所述现实场景图像可以为所述AR设备实时获取的现实场景的图像。其中,AR设备在拍摄现实场景图像时,可以是AR设备的拍摄按钮被触发,或者AR设备被启动之后,由AR设备拍摄得到。
所述候选虚拟对象可以是指与所述目标场景匹配的待合影的虚拟对象,所述处于至少一种候选状态的候选虚拟对象可以是指同一候选虚拟对象的不同状态,例如,候选虚拟对象可以为虚拟企鹅,处于至少一种候选状态的候选虚拟对象可以是站立的虚拟企鹅、蹲坐的虚拟企鹅、趴着的虚拟企鹅等。
在一种可能的实施方式中,在确定与所述现实场景图像匹配的处于至少一种候选状态的候选虚拟对象时,可以采取以下方式中的任一种:
方式一、
先基于所述现实场景图像,确定所述AR设备的位姿信息;然后确定与所述AR设备的位姿信息匹配的处于至少一种候选状态的候选虚拟对象。
具体的,在确定与AR设备的位姿信息匹配的处于至少一种候选状态的候选虚拟对象时,可以是先基于AR设备的位姿信息,确定AR设备所在的目标位置区域,然后将该目标位置区域对应的处于至少一种候选状态的候选虚拟对象,作为与AR设备的位姿信息匹配的处于至少一种候选状态的候选虚拟对象。其中,所述位姿信息包括朝向信息和位置信息。
不同的目标位置区域,对应的候选虚拟对象可能不同,例如区域A对应的候选虚拟对象为候选虚拟对象A,区域B对应的候选虚拟对象为候选虚拟对象B;不同的目标位置区域,还可以对应处于不同候选状态的同一候选虚拟对象,例如区域A对应处于站立状态的候选虚拟对象A,区域B对应处于蹲坐状态的候选虚拟对象A。
在一种可能的实施方式中,在基于现实场景图像确定所述AR设备的位姿信息时,可以是AR设备在获取到现实场景图像之后,直接基于所述现实场景图像确定所述AR设备的位姿信息,也可以是AR设备在获取到现实场景图像之后,将现实场景图像发送到服务器,由服务器基于现实场景图像,确定AR设备的位姿信息。
在一种可能的实施方式中,在确定AR设备的位姿信息时,可以是确定所述AR设备在基于与现实场景图像对应的场景建立的场景坐标系中的位姿信息。其中,所述场景坐标系可以是三维坐标系。
具体的,可以通过以下方法中的任意一种确定所述AR设备在基于与实景图像对应的场景建立的场景坐标系中的位姿信息:
(1)、可以先检测现实场景图像对应的场景中多个目标检测点的位置信息,以及确定每一个目标检测点在现实场景图像中对应的目标像素点,然后可以确定现实场景图像中各个目标像素点分别对应的深度信息(例如可以通过对现实场景图像进行深度检测获得),然后基于目标像素点的深度信息,确定AR设备的位姿信息。
其中,所述目标检测点可以是预先设置好的AR设备所在场景中的位置点,例如可以是杯子、风扇、饮水机等,目标像素点的深度信息可以用来表示该目标像素点对应的目标检测点与AR设备的图像采集装置之间的距离。示例性的,所述目标检测点在场景坐标系中的位置坐标是预先设置好的。
具体的,在确定AR设备的位姿信息时,可以通过目标检测点与目标检测点对应的目标像素点在实景图像中的坐标信息确定位姿信息中的朝向;以及基于目标检测点对应的目标像素点的深度值确定AR设备的位置信息,由此可以确定AR设备的位姿信息。
(2)、可以基于与实景图像对应的场景的三维场景模型确定AR设备的位姿信息。
具体的,可以将AR设备实时获取的现实场景图像与预先构建的AR设备所在场景的三维场景模型进行匹配,然后基于匹配结果,确定AR设备的位姿信息。
基于与实景图像对应的场景的三维场景模型,可以获取AR设备在各个位姿信息下的实景图像,通过将AR设备实时获取的实景图像与基于三维场景模型获取到的所述AR设备在各个位姿信息下的实景图像进行匹配,同样可以获取AR设备的位姿信息。
在确定所述位姿信息后,基于位姿信息确定匹配的处于至少一种候选状态的候选虚拟对象。这里,在设置所述虚拟对象时,可以基于可能出现的各种位姿信息给同一个所述虚拟对象设置不同的展示状态;或者,基于可能出现的各种位姿信息和预设的对应关系设置不同的虚拟对象,用于分别进行展示。
方式二、
可以先基于所述现实场景图像,确定所述AR设备所在的目标场景;然后确定与所述AR设备所在的目标场景匹配的处于至少一种候选状态的候选虚拟对象。这里,所述目标场景可以是游乐园、动物园、水族馆等公共娱乐场所。
一种可能的实施方式中,在确定所述AR设备所在的目标场景时,可以检测现实场景图像是否包含与目标场景所对应的目标物体,若是,则确定所述AR设备位于目标位置区域。
示例性的,若目标位置区域为游乐园入口,则与目标位置区域对应的目标物体可以是游乐园的大门,或者与目标位置区域对应的目标物体可以是游乐园的文字标识。
在检测现实场景图像是否包含与目标场景所对应的目标物体时,可以先对现实场景图像进行语义分割,得到语义分割图像,然后再将语义分割图像输入至物体识别模型中,检测各个语义分割图像中是否包含目标物体;或者,也可以基于光学字符识别(OpticalCharacter Recognition,OCR)等识别技术,对实景图像进行识别,得到所述实景图像中的所述目标物体包含的文字内容,比如,识别出所述实景图像里存在游乐园文字标志中的“游乐园”,从而确定检测实景图像中包含游乐园的文字标识。
另一种可能的实施方式中,在确定所述AR设备所在的目标场景时,可以将AR设备采集的现实场景图像输入至预先训练的神经网络模型中,以确定所述AR设备是否位于所述预先设置的目标场景,其中,所述神经网络模型是基于标识有目标场景标签的样本现实场景图像训练得到的。
这里,所述预先设置的目标场景可以为所述AR设备所在的场景中的一部分,例如,所述AR设备所在的场景为电玩城,所述预先设置的目标场景可以是电玩城中进行特定游戏的区域。
AR设备还可以将采集的现实场景图像发送至服务器,由服务器基于预先训练的神经网络模型确定所述AR设备是否位于预先设置的目标场景。
具体的,在训练神经网络模型时,可以仅用预先设置的目标场景对应的样本现实场景图像进行训练,这样,神经网络模型在识别现实场景图像时,仅能识别目标场景对应的现实场景图像,在将AR设备采集的现实场景图像输入至神经网络模型之后,神经网络模型可以输出该AR设备采集的现实场景图像是否是目标场景对应的现实场景图像,若是,则可以确定AR设备位于预先设置的目标场景中。
在确定所述AR设备所在的目标场景后,可以基于预设的对应关系,从虚拟对象资源库中确定匹配的处于至少一种候选状态的候选虚拟对象。这里,所述虚拟资源库中可以存储有多个处于候选状态的候选虚拟对象,以及处于候选状态的候选虚拟对象与目标场景之间的对应关系,比如与目标场景为水族馆对应的不同状态的虚拟海洋/极地生物、与目标场景为野生动物园对应的不同状态的虚拟野生动物、与目标场景为植物园对应的不同状态的虚拟植物。
示例性的,以目标场景为水族馆为例,对应的虚拟对象可以是虚拟企鹅、虚拟北极熊、虚拟北极狐、虚拟海豹等虚拟动物。
针对S102和S103、
所述目标用户可以是在所述AR设备拍摄到的现实场景图像中的用户。所述用户属性信息包括年龄、性别、身高、肤色、服装、配饰、姿态信息、手势信息、表情信息等信息中的至少一种。
在获取所述现实场景图像中目标用户的用户属性信息时,可以通过以下方式中的任意一种:
方式一、基于所述现实场景图像,识别所述目标用户的用户属性信息。
通过所述AR设备的前置/后置摄像模组,可以对所述目标用户进行识别。所述摄像模组中包含至少一枚摄像头以及至少一个传感器,用于对目标用户的属性信息进行采集,获取所述现实场景图像。
服务器在接收到客户端发送的所述现实场景图像后,可以对其中包含的所述目标用户的用户属性信息进行解析。
具体的,可以基于卷积神经网络生成并训练得到一个物体识别模型,将包含所述目标用户的现实场景图像输入至训练好的所述物体识别模型后,所述物体识别模型会对目标用户进行识别,确定所述目标用户的用户属性信息。
方式二、基于所述现实场景图像,识别用户身份;从存储的用户属性信息库中,获取与识别出的用户身份匹配的用户属性信息。
基于现有的人脸识别技术,通过对人脸特征采集点所采集到的信息与预设的目标用户身份数据库进行识别比对,从而确定用户的身份,再从对应的用户属性信息库中,获取与识别出的用户身份匹配的用户属性信息。
这里,用户可以提前在所述AR设备的客户端创建账号。在创建账户时,用户端可以将所述用户属性信息对应的问题进行展示,并预留出空间让用户进行填写,并在用户填写完后,将所述用户属性信息发送至所述用户属性信息库中进行保存,在采集到包括用户的现实场景图像之后,可以通过人脸识别等方式识别用户身份。
在一种可能的实施方式中,在基于用户属性信息,从确定的处于至少一种候选状态的候选虚拟对象中确定待合影的处于目标状态的目标虚拟对象时,可以是基于预先设置的用户属性信息与处于不同状态的虚拟对象之间的对应关系,查找与获取到的目标用户的用户属性信息相匹配的处于目标状态的目标虚拟对象。
在另一种可能的实施方式中,处于每种状态的虚拟对象可以对应有标准用户属性信息,在获取到现实场景图像中目标用户的用户属性信息之后,可以计算获取到的用户属性信息与各个标准用户属性信息之间的匹配度,并将匹配度最高的标准用户属性信息对应的虚拟对象作为目标虚拟对象,该虚拟对象所处的状态为目标状态。
针对S104、
在基于所述现实场景图像、及处于所述目标状态的目标虚拟对象,生成合影图像时,包括以下几个步骤:
步骤1041、获取所述目标用户的位置信息、姿态信息、和手势信息中的至少一种状态属性信息。
这里,所述位置信息包括:所述目标用户在所述AR场景中的位置;
所述位姿信息包括:所述目标用户的朝向、姿态等;
所述手势信息例如可以包括:点赞、单手比心、双手比心、OK、手放在下巴上比“√”等。
步骤1042、基于所述目标用户的状态属性信息,确定所述目标虚拟对象的位置和朝向。
在一种可能的实施方式中,在基于上述目标用户的状态属性信息,确定目标虚拟对象的位置和朝向时,可以先确定与所述目标用户的状态属性信息相匹配的所述目标用户的目标关键点的位姿信息,然后基于目标关键点的位姿信息,确定目标虚拟对象的位置和朝向。
其中,所述目标用户的目标关键点例如可以包括手掌、脚、头、脸等。
步骤1043、基于所述现实场景图像、及处于所述目标状态的目标虚拟对象、以及所述目标虚拟对象的位置和朝向,生成所述合影图像。
示例性的,所述合影图像可以如图2所示。图2中,所述合影图像中包括了所述目标用户和所述目标虚拟对象。
进一步的,生成合影图像之后,还可以通过AR设备展示所述合影图像;然后,可以响应合影保存操作,保存所述AR设备对当前展示的所述合影图像。这里,所述合影保存操作可以是一个预设的手势,比如下滑、上滑手势,AR设备在检测到这个手势时,保存所述AR设备对当前展示的所述合影图像;或者,直接点击预设的保存按钮进行所述合影图像的保存。
在一种可能的实施方式中,在生成合影图像之后,可以在所述现实场景图像中叠加展示所述合影图像的下载链接对应的标识码和所述合影图像。
这里的所述标识码可以是与下载链接对应的二维码,如QR码、PDF417、MicroPDF417等。在保存并识别所述标识码后,经过该用户的分享,其他用户可以在网页浏览并下载所述合影图像。
示例性的,所述下载链接对应的标识码和所述合影图像可以如图3所示。图3中,所述AR设备的展示页面中包括了所述合影图像和所述合影图像的下载链接对应的标识码。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
通过上述方法,可以从现实场景图像中获取所述目标用户的用户属性信息,然后基于所述用户属性信息确定处于目标状态的目标虚拟对象,最后再基于所述现实场景图像、及处于所述目标状态的目标虚拟对象,生成合影图像。由于不同的现实场景图像匹配的候选状态的候选虚拟对象可以不同,同一现实场景图像中,不同用户属性信息对应的待合影的处于目标状态的目标虚拟对象也可以不同,因此不同用户在同一地点进行合影时,由于用户属性不同,最终的合影图像中可能是不同的目标状态的目标虚拟对象,由此丰富了合影效果的多样性,且由于合影对象为AR对象,因此这种方式不受环境的影响,提升了合影效果,满足了不同用户的拍照需求。
基于同一发明构思,本公开实施例中还提供了与图像处理方法对应的图像处理装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像处理方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图4所示,为本公开实施例提供的一种图像处理装置的架构示意图,所述装置包括:第一确定模块401、获取模块402、第二确定模块403、生成模块404;其中,
第一确定模块401,用于获取AR设备拍摄的现实场景图像,并确定与所述现实场景图像匹配的处于至少一种候选状态的候选虚拟对象;
获取模块402,用于获取所述现实场景图像中目标用户的用户属性信息;
第二确定模块403,用于基于所述用户属性信息,从确定的所述处于至少一种候选状态的候选虚拟对象中确定待合影的处于目标状态的目标虚拟对象;
生成模块404,用于基于所述现实场景图像、及处于所述目标状态的目标虚拟对象,生成合影图像。
一种可能的实施方式中,所述第一确定模块401,在所述确定与所述现实场景图像匹配的处于至少一种候选状态的候选虚拟对象时,用于:
基于所述现实场景图像,确定所述AR设备的位姿信息;确定与所述AR设备的位姿信息匹配的处于至少一种候选状态的候选虚拟对象;或者,
基于所述现实场景图像,确定所述AR设备所在的目标场景;确定与所述AR设备所在的目标场景匹配的处于至少一种候选状态的候选虚拟对象。
一种可能的实施方式中,所述获取模块402,在所述获取所述现实场景图像中目标用户的用户属性信息时,用于:
基于所述现实场景图像,识别所述目标用户的用户属性信息;或者,
基于所述现实场景图像,识别用户身份;从存储的用户属性信息库中,获取与识别出的用户身份匹配的用户属性信息。
一种可能的实施方式中,所述用户属性信息包括以下至少一种:
年龄、性别、身高、肤色、服装、配饰、姿态信息、手势信息、表情信息。
一种可能的实施方式中,所述生成模块404,在基于所述现实场景图像、及处于所述目标状态的目标虚拟对象,生成合影图像时,用于:
获取所述目标用户的位置信息、姿态信息、和手势信息中的至少一种状态属性信息;
基于所述目标用户的状态属性信息,确定所述目标虚拟对象的位置和朝向;
基于所述现实场景图像、及处于所述目标状态的目标虚拟对象、以及所述目标虚拟对象的位置和朝向,生成所述合影图像。
一种可能的实施方式中,所述生成模块404,在生成合影图像之后,还用于:
通过AR设备展示所述合影图像;
响应合影保存操作,保存所述AR设备对当前展示的所述合影图像。
一种可能的实施方式中,所述生成模块404,在生成合影图像之后,还用于:
在所述AR设备的所述现实场景图像中叠加展示所述合影图像的下载链接对应的标识码和所述合影图像。
通过上述装置,可以从现实场景图像中获取所述目标用户的用户属性信息,然后基于所述用户属性信息确定处于目标状态的目标虚拟对象,最后再基于所述现实场景图像、及处于所述目标状态的目标虚拟对象,生成合影图像。由于不同的现实场景图像匹配的候选状态的候选虚拟对象可以不同,同一现实场景图像中,不同用户属性信息对应的待合影的处于目标状态的目标虚拟对象也可以不同,因此不同用户在同一地点进行合影时,由于用户属性不同,最终的合影图像中可能是不同的目标状态的目标虚拟对象,由此丰富了合影效果的多样性,且由于合影对象为AR对象,因此这种方式不受环境的影响,提升了合影效果,满足了不同用户的拍照需求。
基于同一技术构思,本公开实施例还提供了一种计算机设备。参照图5所示,为本公开实施例提供的计算机设备500的结构示意图,包括处理器501、存储器502、和总线503。其中,存储器502用于存储执行指令,包括内存5021和外部存储器5022;这里的内存5021也称内存储器,用于暂时存放处理器501中的运算数据,以及与硬盘等外部存储器5022交换的数据,处理器501通过内存5021与外部存储器5022进行数据交换,当计算机设备500运行时,处理器501与存储器502之间通过总线503通信,使得处理器501在执行以下指令:
获取AR设备拍摄的现实场景图像,并确定与所述现实场景图像匹配的处于至少一种候选状态的候选虚拟对象;
获取所述现实场景图像中目标用户的用户属性信息;
基于所述用户属性信息,从确定的所述处于至少一种候选状态的候选虚拟对象中确定待合影的处于目标状态的目标虚拟对象;
基于所述现实场景图像、及处于所述目标状态的目标虚拟对象,生成合影图像。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的图像处理方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的图像处理方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的图像处理方法的步骤,具体可参见上述方法实施例,在此不再赘述。

Claims (10)

1.一种图像处理方法,其特征在于,包括:
获取AR设备拍摄的现实场景图像,并确定与所述现实场景图像匹配的处于至少一种候选状态的候选虚拟对象;
获取所述现实场景图像中目标用户的用户属性信息;
基于所述用户属性信息,从确定的所述处于至少一种候选状态的候选虚拟对象中确定待合影的处于目标状态的目标虚拟对象;
基于所述现实场景图像、及处于所述目标状态的目标虚拟对象,生成合影图像。
2.根据权利要求1所述的方法,其特征在于,所述确定与所述现实场景图像匹配的处于至少一种候选状态的候选虚拟对象,包括:
基于所述现实场景图像,确定所述AR设备的位姿信息;确定与所述AR设备的位姿信息匹配的处于至少一种候选状态的候选虚拟对象;或者,
基于所述现实场景图像,确定所述AR设备所在的目标场景;确定与所述AR设备所在的目标场景匹配的处于至少一种候选状态的候选虚拟对象。
3.根据权利要求1或2所述的方法,其特征在于,所述获取所述现实场景图像中目标用户的用户属性信息,包括:
基于所述现实场景图像,识别所述目标用户的用户属性信息;或者,
基于所述现实场景图像,识别用户身份;从存储的用户属性信息库中,获取与识别出的用户身份匹配的用户属性信息。
4.根据权利要求1或3所述的方法,其特征在于,所述用户属性信息包括以下至少一种:
年龄、性别、身高、肤色、服装、配饰、姿态信息、手势信息、表情信息。
5.根据权利要求1~3任一所述的方法,其特征在于,基于所述现实场景图像、及处于所述目标状态的目标虚拟对象,生成合影图像,包括:
获取所述目标用户的位置信息、姿态信息、和手势信息中的至少一种状态属性信息;
基于所述目标用户的状态属性信息,确定所述目标虚拟对象的位置和朝向;
基于所述现实场景图像、及处于所述目标状态的目标虚拟对象、以及所述目标虚拟对象的位置和朝向,生成所述合影图像。
6.根据权利要求1~5任一所述的方法,其特征在于,生成合影图像之后,还包括:
通过AR设备展示所述合影图像;
响应合影保存操作,保存所述AR设备对当前展示的所述合影图像。
7.根据权利要求1~5任一所述的方法,其特征在于,生成合影图像之后,还包括:
在所述AR设备的所述现实场景图像中叠加展示所述合影图像的下载链接对应的标识码和所述合影图像。
8.一种图像处理装置,其特征在于,包括:
第一确定模块,用于获取AR设备拍摄的现实场景图像,并确定与所述现实场景图像匹配的处于至少一种候选状态的候选虚拟对象;
获取模块,用于获取所述现实场景图像中目标用户的用户属性信息;
第二确定模块,用于基于所述用户属性信息,从确定的所述处于至少一种候选状态的候选虚拟对象中确定待合影的处于目标状态的目标虚拟对象;
生成模块,用于基于所述现实场景图像、及处于所述目标状态的目标虚拟对象,生成合影图像。
9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的图像处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至7任意一项所述的图像处理方法的步骤。
CN202011008800.XA 2020-09-23 2020-09-23 一种图像处理方法、装置、计算机设备及存储介质 Pending CN112150349A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011008800.XA CN112150349A (zh) 2020-09-23 2020-09-23 一种图像处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011008800.XA CN112150349A (zh) 2020-09-23 2020-09-23 一种图像处理方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN112150349A true CN112150349A (zh) 2020-12-29

Family

ID=73897767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011008800.XA Pending CN112150349A (zh) 2020-09-23 2020-09-23 一种图像处理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112150349A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860061A (zh) * 2021-01-15 2021-05-28 深圳市慧鲤科技有限公司 场景图像展示方法及装置、电子设备和存储介质
CN112906467A (zh) * 2021-01-15 2021-06-04 深圳市慧鲤科技有限公司 合影图像生成方法及装置、电子设备和存储介质
CN112967214A (zh) * 2021-02-18 2021-06-15 深圳市慧鲤科技有限公司 图像显示方法、装置、设备及存储介质
CN113413594A (zh) * 2021-06-24 2021-09-21 网易(杭州)网络有限公司 虚拟角色的虚拟拍照方法、装置、存储介质及计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5777786B1 (ja) * 2014-09-12 2015-09-09 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
CN111639613A (zh) * 2020-06-04 2020-09-08 上海商汤智能科技有限公司 一种增强现实ar特效生成方法、装置及电子设备
CN111652987A (zh) * 2020-06-12 2020-09-11 浙江商汤科技开发有限公司 一种ar合影图像生成的方法及装置
CN111667590A (zh) * 2020-06-12 2020-09-15 上海商汤智能科技有限公司 一种互动合影方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5777786B1 (ja) * 2014-09-12 2015-09-09 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
CN111639613A (zh) * 2020-06-04 2020-09-08 上海商汤智能科技有限公司 一种增强现实ar特效生成方法、装置及电子设备
CN111652987A (zh) * 2020-06-12 2020-09-11 浙江商汤科技开发有限公司 一种ar合影图像生成的方法及装置
CN111667590A (zh) * 2020-06-12 2020-09-15 上海商汤智能科技有限公司 一种互动合影方法、装置、电子设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860061A (zh) * 2021-01-15 2021-05-28 深圳市慧鲤科技有限公司 场景图像展示方法及装置、电子设备和存储介质
CN112906467A (zh) * 2021-01-15 2021-06-04 深圳市慧鲤科技有限公司 合影图像生成方法及装置、电子设备和存储介质
WO2022151687A1 (zh) * 2021-01-15 2022-07-21 深圳市慧鲤科技有限公司 合影图像生成方法、装置、设备、存储介质、计算机程序及产品
CN112967214A (zh) * 2021-02-18 2021-06-15 深圳市慧鲤科技有限公司 图像显示方法、装置、设备及存储介质
CN113413594A (zh) * 2021-06-24 2021-09-21 网易(杭州)网络有限公司 虚拟角色的虚拟拍照方法、装置、存储介质及计算机设备

Similar Documents

Publication Publication Date Title
CN112150349A (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN111191067A (zh) 绘本识别方法、终端设备及计算机可读存储介质
CN111310705A (zh) 图像识别方法、装置、计算机设备及存储介质
Chaudhry et al. Design of a mobile face recognition system for visually impaired persons
CN112348117A (zh) 场景识别方法、装置、计算机设备和存储介质
CN110928411B (zh) 一种基于ar的交互方法、装置、存储介质及电子设备
CN111638797A (zh) 一种展示控制方法及装置
CN111640202A (zh) 一种ar场景特效生成的方法及装置
CN111240482A (zh) 一种特效展示方法及装置
CN111643900A (zh) 一种展示画面控制方法、装置、电子设备和存储介质
Dantone et al. Augmented faces
CN111640193A (zh) 文字处理方法、装置、计算机设备及存储介质
CN111625100A (zh) 图画内容的呈现方法、装置、计算机设备及存储介质
CN111639979A (zh) 一种游乐项目推荐方法及装置
CN111327888B (zh) 摄像头控制方法、装置、计算机设备和存储介质
CN112905014A (zh) Ar场景下的交互方法、装置、电子设备及存储介质
CN111639613A (zh) 一种增强现实ar特效生成方法、装置及电子设备
CN111638798A (zh) 一种ar合影方法、装置、计算机设备及存储介质
CN112991555B (zh) 数据展示方法、装置、设备以及存储介质
CN108875496B (zh) 行人画像的生成及基于画像的行人识别
CN105468249B (zh) 智能互动系统及其控制方法
CN108875501B (zh) 人体属性识别方法、装置、系统及存储介质
CN113986093A (zh) 互动方法及相关装置
CN111639615B (zh) 一种虚拟建筑物的触发控制方法及装置
CN112333498A (zh) 一种展示控制方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201229

RJ01 Rejection of invention patent application after publication