CN111899350A - 增强现实ar图像的呈现方法及装置、电子设备、存储介质 - Google Patents

增强现实ar图像的呈现方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN111899350A
CN111899350A CN202010763301.5A CN202010763301A CN111899350A CN 111899350 A CN111899350 A CN 111899350A CN 202010763301 A CN202010763301 A CN 202010763301A CN 111899350 A CN111899350 A CN 111899350A
Authority
CN
China
Prior art keywords
real scene
virtual
information
image
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010763301.5A
Other languages
English (en)
Inventor
侯欣如
栾青
王鼎禄
李园园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202010763301.5A priority Critical patent/CN111899350A/zh
Publication of CN111899350A publication Critical patent/CN111899350A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种增强现实AR图像的呈现方法及装置、计算机程序产品、存储介质、电子设备,其中,所述方法包括:采集包括真实场景的第一真实场景图像,以及包括目标对象的第二真实场景图像;基于所述第一真实场景图像构建所述真实场景对应的三维虚拟场景模型,以及基于所述第二真实场景图像确定所述目标对象的属性信息;基于所述目标对象的属性信息,确定所述三维虚拟场景模型中的虚拟展示效果;展示所述虚拟展示效果和所述第一真实场景图像相叠加的AR图像。

Description

增强现实AR图像的呈现方法及装置、电子设备、存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种增强现实AR图像的呈现方法及装置、电子设备、存储介质。
背景技术
增强现实(Augmented Reality,AR)技术是一种将虚拟信息与真实世界进行融合的技术。增强现实技术将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后,应用到真实世界中,实现对真实世界的增强。随着AR技术的发展,对AR设备呈现的增强现实场景的效果的优化以及与用户的交互性的提升,愈发重要。
发明内容
本申请实施例提供了一种增强现实AR图像的呈现方法及装置、电子设备、存储介质。
本申请提供了一种增强现实AR图像的呈现方法,所述方法包括:
采集包括真实场景的第一真实场景图像,以及包括目标对象的第二真实场景图像;
基于所述第一真实场景图像构建所述真实场景对应的三维虚拟场景模型,以及基于所述第二真实场景图像确定所述目标对象的属性信息;
基于所述目标对象的属性信息,确定所述三维虚拟场景模型中的虚拟展示效果;
展示所述虚拟展示效果和所述第一真实场景图像相叠加的AR图像。
本申请一可选实施方式中,所述采集包括真实场景的第一真实场景图像,以及包括目标对象的第二真实场景图像,包括:
通过第一摄像头采集包括真实场景的所述第一真实场景图像;
通过第二摄像头采集包括目标对象的所述第二真实场景图像;
其中,所述第一摄像头和所述第二摄像头的采集视角不同。
本申请一可选实施方式中,所述采集包括真实场景的第一真实场景图像,以及包括目标对象的第二真实场景图像,包括:
通过第一摄像头采集包括真实场景的所述第一真实场景图像和包括目标对象的所述第二真实场景图像。
本申请一可选实施方式中,所述虚拟展示效果包括:待展示的虚拟对象;
所述基于所述目标对象的属性信息,确定所述三维虚拟场景模型中的虚拟展示效果,包括:
基于所述目标对象的第一属性信息,确定所述三维虚拟场景模型中待展示的虚拟对象,其中,所述第一属性信息包括以下至少之一:年龄信息、性别信息、身份信息、表情信息。
本申请一可选实施方式中,所述虚拟展示效果包括:虚拟对象的展示姿态;
所述基于所述目标对象的属性信息,确定所述三维虚拟场景模型中的虚拟展示效果,包括:
基于所述目标对象的第二属性信息,确定所述三维虚拟场景模型中的虚拟对象的展示姿态,其中,所述第二属性信息包括以下至少之一:视线信息、身高信息。
本申请一可选实施方式中,所述AR图像中当前展示的虚拟对象为第一虚拟对象;所述方法还包括:
基于所述第二真实场景图像,确定所述目标对象的手势信息和/或肢体动作信息;
基于所述手势信息和/或肢体动作信息,确定与所述手势信息和/或肢体动作信息匹配的第二虚拟对象;
将所述AR图像中当前展示的第一虚拟对象切换展示为所述第二虚拟对象。
本申请一可选实施方式中,所述AR图像中当前展示的虚拟对象为第一虚拟对象且所述第一虚拟对象呈现第一展示姿态;所述方法还包括:
基于所述第二真实场景图像,确定所述目标对象的手势信息和/或肢体动作信息;
基于所述手势信息和/或肢体动作信息,确定与所述手势信息和/或肢体动作信息匹配的第二展示姿态;
将所述AR图像中当前展示的第一虚拟对象的第一展示姿态切换展示为所述第二展示姿态。
本申请还提供了一种增强现实AR图像的呈现装置,所述装置包括:
采集单元,用于采集包括真实场景的第一真实场景图像,以及包括目标对象的第二真实场景图像;
第一处理单元,用于基于所述第一真实场景图像构建所述真实场景对应于虚拟空间下的三维虚拟场景模型,以及基于所述第二真实场景图像确定所述目标对象的属性信息;
第二处理单元,用于基于所述目标对象的属性信息,确定所述三维虚拟场景模型中的虚拟展示效果;
展示单元,用于展示所述虚拟对象的虚拟展示效果和所述第一真实场景图像相叠加的AR图像。
本申请一可选实施方式中,所述采集单元具体用于,通过第一摄像头采集包括真实场景的所述第一真实场景图像;通过第二摄像头采集包括目标对象的所述第二真实场景图像;
本申请一可选实施方式中,所述采集单元具体用于,通过第一摄像头采集包括真实场景的所述第一真实场景图像和包括目标对象的所述第二真实场景图像。
本申请一可选实施方式中,所述虚拟展示效果包括:待展示的虚拟对象;
所述第二处理单元,具体用于:基于所述目标对象的第一属性信息,确定所述三维虚拟场景模型中待展示的虚拟对象,其中,所述第一属性信息包括以下至少之一:年龄信息、性别信息、身份信息、表情信息。
本申请一可选实施方式中,所述虚拟展示效果包括:虚拟对象的展示姿态;
所述第二处理单元,具体用于:基于所述目标对象的第二属性信息,确定所述三维虚拟场景模型中的虚拟对象的展示姿态,其中,所述第二属性信息包括以下至少之一:视线信息、身高信息。
本申请一可选实施方式中,所述AR图像中当前展示的虚拟对象为第一虚拟对象;所述装置还包括:
第一确定单元,用于基于所述第二真实场景图像,确定所述目标对象的手势信息和/或肢体动作信息;
第二确定单元,用于基于所述手势信息和/或肢体动作信息,确定与所述手势信息和/或肢体动作信息匹配的第二虚拟对象;
第三处理单元,用于将所述AR图像中当前展示的第一虚拟对象切换展示为所述第二虚拟对象。
本申请一可选实施方式中,所述AR图像中当前展示的虚拟对象为第一虚拟对象且所述第一虚拟对象呈现第一展示姿态;所述装置还包括:
第三确定单元,用于基于所述第二真实场景图像,确定所述目标对象的手势信息和/或肢体动作信息;
第四确定单元,用于基于所述手势信息和/或肢体动作信息,确定与所述手势信息和/或肢体动作信息匹配的第二展示姿态;
第四处理单元,用于将所述AR图像中当前展示的第一虚拟对象的第一展示姿态切换展示为所述第二展示姿态。
本申请实施例提供的计算机程序产品,包括计算机可执行指令,该计算机可执行指令被执行后,能够实现上述增强现实AR图像的呈现方法。
本申请实施例提供的存储介质上存储有可执行指令,该可执行指令被处理器执行时实现上述增强现实AR图像的呈现方法。
本申请实施例提供的电子设备,包括存储器和处理器,所述存储器上存储有计算机可执行指令,所述处理器运行所述存储器上的计算机可执行指令时可实现上述增强现实AR图像的呈现方法。
本申请实施例的技术方案,通过采集包括真实场景的第一真实场景图像,以及包括目标对象的第二真实场景图像;基于所述第一真实场景图像构建所述真实场景对应的三维虚拟场景模型,以及基于所述第二真实场景图像确定所述目标对象的属性信息;基于所述目标对象的属性信息,确定所述三维虚拟场景模型中的虚拟展示效果;展示所述虚拟展示效果和所述第一真实场景图像相叠加的AR图像。如此,能够在用户使用AR设备采集真实场景的图像时,在显示界面中显示与目标对象的属性信息对应的虚拟展示效果,增加了增强现实图像现实的多样性,使得呈现的AR图像更加生动,提高了用户的观感效果。
附图说明
图1为本申请实施例提供的增强现实AR图像的呈现方法的流程示意图;
图2为本申请实施例提供的展示界面展示的增强现实图像的示意图一;
图3为本申请实施例提供的展示界面展示的增强现实图像的示意图二;
图4为本申请实施例提供的展示界面展示的增强现实图像的示意图三;
图5为本申请实施例提供的展示界面展示的增强现实图像的示意图四;
图6为本申请实施例提供的展示界面展示的增强现实图像的示意图五;
图7为本申请实施例提供的展示界面展示的增强现实图像的示意图六;
图8为本申请实施例提供的增强现实AR图像的呈现装置的结构组成示意图;
图9为本申请实施例提供的电子设备的结构组成示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本申请可适用于支持AR技术的电子设备,如手机、平板电脑、游戏机、台式机、广告机、一体机、车载终端等等。支持AR技术的电子设备也可以称为AR设备,AR设备中呈现的增强真实场景,即为将虚拟对象的呈现画面与真实场景图像融合后,展示融合后的显示画面。对于手机、平板电脑等AR设备来说,由于在AR设备中展示的是对真实场景成像后的画面(即真实场景图像),因此可以采用将真实场景图像与虚拟对象的呈现画面进行融合处理的方式,来展示增强现实效果。
下面对本申请实施例所涉及的增强现实AR图像的呈现方法进行详细介绍,本申请实施例所提供的增强现实AR图像的呈现方法的执行主体可以为上述AR设备(也可以称为展示终端)。
图1为本申请实施例提供的增强现实AR图像的呈现方法的流程示意图,如图1所示,所述方法包括如下步骤:
步骤101:采集包括真实场景的第一真实场景图像,以及包括目标对象的第二真实场景图像。
本申请实施例中,第一真实场景图像是对真实场景进行拍摄得到的真实场景图像。这里,真实场景可以是真实的室内场景或者真实的室外场景。例如:真实的室内场景可以是办公室、商场、书店等等。再例如:真实的室外场景可以是街道、公园等等。
本申请实施例中,第二真实场景图像是对目标对象所在真实场景进行拍摄得到的真实场景图像。这里,目标对象可以包括但不局限于是人。
本申请实施例中,第一真实场景图像和第二真实场景图像可以是同一张真实场景图像,也可以是不同的真实场景图像。
在一可选方式中,第一真实场景图像和第二真实场景图像是不同的真实场景图像。所述采集包括真实场景的第一真实场景图像,以及包括目标对象的第二真实场景图像,包括:通过第一摄像头采集包括真实场景的所述第一真实场景图像;通过第二摄像头采集包括目标对象的所述第二真实场景图像;其中,所述第一摄像头和所述第二摄像头的采集视角不同。
在一个示例中,AR设备具有两个摄像头,例如前置摄像头和后置摄像头。可以由后置摄像头采集第一真实场景图像,其中,后置摄像头在采集图像时其采集的视野中未包括目标对象,因此,后置摄像头采集到的第一真实场景的图像中不包括目标对象。此外,由前置摄像头采集第二真实场景图像,其中,前置摄像头在采集图像时其采集的视野中包括目标对象,前置摄像头采集到的第二真实场景的图像中包括目标对象。如此,实现了利用两个采集视角不同的摄像头分别对包含目标对象以及不包含目标对象的真实场景进行采集。
在另一种实施方式中,第一真实场景图像和第二真实场景图像是同一张真实场景图像。所述采集包括真实场景的第一真实场景图像,以及包括目标对象的第二真实场景图像,包括:通过第一摄像头采集包括真实场景的所述第一真实场景图像和包括目标对象的所述第二真实场景图像。
在一个示例中,AR设备仅具有1个摄像头,例如后置摄像头;或者,AR设备可以具有2个摄像头,例如前置摄像头和后置摄像头。可以由后置摄像头进行图像采集得到包含真实场景和目标对象的真实场景图像。
本申请实施例中,AR设备可以是手机、平板电脑、游戏机等手持类的展示终端。AR设备也可以是台式机、广告机、一体机等非手持类的展示终端,在一可选方式中,可以将这类展示终端置放在特定的位置处;在另一可选方式中,可以将这类展示终端滑动连接于滑轨上,从而展示终端可以沿滑轨移动。
本申请实施例中,将以目标对象为真实场景中的人为例来说明本申请实施例的各个应用场景,需要说明的是,目标对象也可以是真实场景中的其它实体对象,例如机器人。
在一种具体的实施方式中,AR设备中的摄像头可以是支持深度检测的摄像头,例如,可以是飞行时间(TOF,Time-Of-Flight)摄像头、双目摄像头等,通过这种摄像头拍摄得到的真实场景图像包含了真实场景的深度信息(即真实场景中的各个对象到摄像头的轴向距离)。
步骤102:基于所述第一真实场景图像构建所述真实场景对应的三维虚拟场景模型,以及基于所述第二真实场景图像确定所述目标对象的属性信息。
本申请实施例中,在利用AR设备上的第一摄像头采集到第一真实场景图像后,能够根据第一真实场景图像中所包含的信息构建真实场景对应的三维虚拟场景模型。例如,若第一摄像头为深度摄像头(即,支持深度检测的摄像头),则其采集到的第一真实场景中的图像中包含色彩信息以及各个对象的深度信息,基于图像中包含的色彩信息以及深度信息可构建出与真实场景对应的三维虚拟场景模型。这里,第一摄像头以及第二摄像头还可以是普通摄像头,若第一摄像头为普通摄像头,则利用第一摄像头采集到的第一真实场景图像中不包括深度信息,利用神经网络模型对第一真实场景图像训练可以得到与真实场景对应的三维虚拟场景模型。
本申请实施例中,三维虚拟场景模型是针对真实场景所建立的用于表征真实场景的虚拟模型,以真实场景为某个办公区域为例,该办公区域中包含一个办公桌,则表征该真实场景的三维虚拟场景模型中同样包括该办公桌,且三维虚拟场景模型与办公区域在相同坐标系中是按照1:1呈现的,即若将三维虚拟场景模型放入办公区域所在的世界坐标系中,则该三维虚拟场景模型会与该办公区域完全重合。
本申请实施例中,以目标对象为办公区域中的人为例,人的属性信息可以根据需求具体进行设定,例如,人可以具有年龄、性别、身份、表情、视线、身高、手势、肢体动作等多种特征信息,可以选取以上特征信息作为人的属性信息,当然,人还可以具有除上述列举的几种特征信息以外的其它特征信息,本申请实施例可以自由的选取人所具有的特征信息作为属性信息;此外,目标对象还可以是真实场景中的建筑物或者除人以外的其它实体对象。
这里,在基于第二真实场景图像确定所述目标对象的属性信息时,可以通过图像识别方法(例如传统的图像识别方法、或者基于神经网络的图像识别方法)等对第二真实图像中的目标对象所具有的属性信息进行识别。
步骤103:基于所述目标对象的属性信息,确定所述三维虚拟场景模型中的虚拟展示效果。
本申请实施例中,目标对象具有多个属性信息,其中,每个属性信息都有对应的虚拟展示效果,例如属性信息A1对应虚拟展示效果B1,属性信息A2对应虚拟展示效果B2,属性信息A3对应虚拟展示效果B3,以上属性信息与虚拟展示效果之间对应关系是预先配置好的,可以存储在AR设备的存储器中,AR设备在基于第二真实场景图像确定出目标对象的某一属性信息后,即可从对应关系表中查询到该属性信息对应的虚拟展示效果。
本申请一可选实施方式中,所述虚拟展示效果包括:待展示的虚拟对象;
所述基于所述目标对象的属性信息,确定所述三维虚拟场景模型中的虚拟展示效果,包括:
基于所述目标对象的第一属性信息,确定所述三维虚拟场景模型中待展示的虚拟对象,其中,所述第一属性信息包括以下至少之一:年龄信息、性别信息、身份信息、表情信息。
具体的,在选取目标对象为人的情况下,基于第二真实场景图像,能够识别出人的年龄信息、性别信息、身份信息、表情信息等第一属性信息,基于对应的第一属性信息,能够确定出与第一属性信息对应的待展示的虚拟对象。这里,待展示的虚拟对象是结合人的具体属性信息确定的,可以是虚拟的动物、生活用具、交通工具等多种虚拟对象。
在一种具体的场景中,若第一属性信息为年龄信息,且具体的年龄为12岁,该第一属性信息对应的待展示的虚拟对象为“恐龙”;若第一属性信息为年龄信息,且具体的年龄为25岁,该第一属性信息对应的待展示的虚拟对象为“汽车”。
在另一种具体的场景中,若第一属性信息为性别,且具体的性别为“女”,则该第一属性信息对应的待展示的虚拟对象为“洋娃娃”;若第一属性信息为性别,且具体性别为“男”,则该第一属性信息对应的待展示的虚拟对象为“飞机”。
示例性的,若第一真实场景和第二真实场景图像为同一张真实场景图像,则第一真实场景图像中包括目标对象,显示界面中能够同时显示出目标对象以及基于目标对象的属性信息确定出的虚拟展示效果;若第一真实场景和第二真实场景图像为不同的真实场景图像,且第一真实场景图像中不包括目标对象,则显示界面中不显示目标对象,仅显示基于目标对象的属性信息确定出的虚拟展示效果与第一真实场景相叠加的增强现实图像。
具体的,如图2至图7所示,图2至图7为本申请实施例提供的展示界面展示的增强现实图像的示意图,其中,图2和图3均为针对目标对象为12岁的小孩,展示虚拟对象“恐龙”的示意图;图4和图5均分别为为针对目标对象为25岁的成年人,展示虚拟对象“汽车”的示意图;图6和图7均为目标对象为男性,展示虚拟对象“飞机”的示意图。
在图2至图7中,图2、图4和图6三个示意图相对于图3、图5和图7的区别在于,图2、图4和图6为利用后置摄像头进行图像采集得到包含真实场景和目标对象的真实场景图像后(即第一真实场景图像和第二真实场景图像是同一张真实场景图像),显示界面显示的虚拟对象和采集的真实场景图像相叠加的增强现实图像,此时,展示的增强现实图像中同时包括有目标对象和虚拟对象;图3、图5和图7为利用后置摄像头采集第一真实场景图像(第一真实场景的图像中不包括目标对象),并利用前置摄像头采集第二真实场景图像(第二真实场景中包括目标对象)后(第一真实场景图像和第二真实场景图像是不同的真实场景图像),显示界面显示的虚拟对象和采集的第一真实场景图像相叠加的增强现实图像,此时,展示的增强现实图像中不包括目标对象,但展示有虚拟对象。
本申请实施例中,在建立属性信息与待展示的虚拟对象的对应关系时,还可以利用两种或者两种以上属性信息对应一种虚拟对象。例如,在一种具体的场景中,对于年龄为12岁性别为男的目标对象,可以结合年龄以及性别两种具体属性信息确定出对应的虚拟对象为“玩具汽车”,对于年龄为25岁性别为女的目标对象,可以结合年龄以及性别两种具体的属性信息确定出对应的虚拟对象为“鲜花”。
此外,本申请实施例中,第二真实场景图像中还可以包括有两个或者两个以上的目标对象,通过结合两个目标对象对应的属性信息,确定出待展示的虚拟对象,例如若第二真实场景图像中包括有两个目标对象,两个目标对象的“性别”属性信息分别为“男”和“女”,“年龄”属性信息分别为“25”和“27”,则可以结合以上多个属性信息确定待展示的虚拟对象为“烟花”。
这里,通过基于确定出的第二真实场景图像中的目标对象的年龄信息、性别信息、身份信息、表情信息等第一属性信息显示与第一属性信息匹配的虚拟对象,增加了增强现实图像现实的多样性,使得呈现的AR图像更加生动,提高了用户的观感效果。
本申请一可选实施方式中,所述虚拟展示效果包括:虚拟对象的展示姿态;
所述基于所述目标对象的属性信息,确定所述三维虚拟场景模型中的虚拟展示效果,包括:
基于所述目标对象的第二属性信息,确定所述三维虚拟场景模型中的虚拟对象的展示姿态,其中,所述第二属性信息包括以下至少之一:视线信息、身高信息。
这里,在选取目标对象为人的情况下,可以将人的视线信息、身高信息等分类为第二属性信息,基于对应的第二属性信息,能够确定出与第二属性信息对应的虚拟对象的展示姿态。这里,展示姿态可以包括:高低、位置、朝向等信息。
在一种具体的场景中,若第二属性信息为视线信息,且具体的视线信息为“平视”,则可以将虚拟对象设置在人平视的视线所在的位置上;若第二属性信息为视线信息,且具体的视线信息为“仰视”,则可以将虚拟对象设置在人仰视的视线所在的位置上。
在另一种具体的场景中,若第二属性信息为身高信息,且具体的身高信息为“170厘米至180厘米之间”,则可以将虚拟对象设置在与人的头部处于同一高度的位置上,此时,虚拟对象处于第一位置;若第二属性信息为身高信息,且具体的身高信息为“150厘米至160厘米”,则可以将虚拟对象设置在人的头部处于同一高度的位置上,此时虚拟对象处于第二位置。这里可以看出,第一位置是高于第二位置的。
这里,通过基于确定出的第二真实场景图像中的目标对象的视线信息、身高信息等第二属性信息显示与第二属性信息匹配的虚拟对象的展示姿态,增加了增强现实图像现实的多样性,使得呈现的AR图像更加生动,提高了用户的观感效果。
步骤104:展示所述虚拟展示效果和所述第一真实场景图像相叠加的AR图像。
本申请实施例中,在确定与目标对象的属性信息对应的虚拟展示效果后,即可最终在AR设备的显示界面上展示该确定出的虚拟展示效果与第一真实场景的图像相叠加的增强现实图像。
这里,由于属性信息以及虚拟展示效果的对应关系是预先设定好的,实际上,虚拟展示效果是可以灵活的进行设置的,例如虚拟展示效果可以是静态的也可以是动态的。例如:对于一设定好的待展示的虚拟对象“恐龙”,待展示的虚拟对象“恐龙”可以是静止的,即“恐龙”相对于第一真实场景图像中各个实体对象的相对位置始终不变;“恐龙”还可以是动态的,例如,“恐龙”通过从目标对象的左侧经过目标对象的身后移动到目标对象的右侧,若“恐龙”是移动的,则在移动的过程中,需要考虑移动的“恐龙“与第一真实场景图像中的目标对象以及其它对象之间的遮挡关系。对于“恐龙”中被目标对象以及其它对象遮挡的部分,则不在三维虚拟场景模型中渲染被遮挡的部分。
本申请一可选实施方式中,所述AR图像中当前展示的虚拟对象为第一虚拟对象;所述方法还包括:
基于所述第二真实场景图像,确定所述目标对象的手势信息和/或肢体动作信息;
基于所述手势信息和/或肢体动作信息,确定与所述手势信息和/或肢体动作信息匹配的第二虚拟对象;
将所述AR图像中当前展示的第一虚拟对象切换展示为所述第二虚拟对象。
具体的,在选取的目标对象为人的情况下,基于第二真实场景图像能够识别出人的手势、肢体动作等属性信息,并确定出与手势信息和/或肢体动作信息对应的第二虚拟对象,在增强现实图像原本展示的虚拟对象为第一虚拟对象的情况下,能够结合确定出的手势信息和/或肢体动作信息,将增强现实图像中的展示的第一虚拟对象切换为展示第二虚拟对象。
本申请实施例中,手势信息以及肢体动作信息与第二虚拟对象的对应关系也是提前设定的。例如对于手势信息“比心”,其对应的第二虚拟对象为“玫瑰花”,对于手势信息“OK”,其对应的第二虚拟对象为“鼓掌的双手”;对于肢体动作信息“深蹲”,其对应的第二虚拟对象为“哑铃”。
在一种具体的应用场景中,若目标对象的属性信息为“25岁的男性”,则展示界面上首先展示的第一虚拟对象为“汽车”,在目标对象做了“比心”的手势后,增强现实图像中展示的虚拟对象“汽车”将切换展示为“玫瑰花”。
这里,通过基于确定出的第二真实场景图像中的目标对象的手势、肢体动作等信息确定出第二虚拟对象,从而对增强现实图像中原来展示的第一虚拟对象进行切换,增加了增强现实图像现实的多样性,使得呈现的AR图像更加生动,提高了用户的观感效果。
本申请一可选实施方式中,所述AR图像中当前展示的虚拟对象为第一虚拟对象且所述第一虚拟对象呈现第一展示姿态;所述方法还包括:
基于所述第二真实场景图像,确定所述目标对象的手势信息和/或肢体动作信息;
基于所述手势信息和/或肢体动作信息,确定与所述手势信息和/或肢体动作信息匹配的第二展示姿态;
将所述AR图像中当前展示的第一虚拟对象的第一展示姿态切换展示为所述第二展示姿态。
具体的,在选取的目标对象为人的情况下,基于第二真实场景图像能够识别出人的手势、肢体动作等属性信息,并确定出与手势信息和/或肢体动作信息对应的第二展示姿态,在增强现实图像原本展示的虚拟对象为第一展示姿态的情况下,能够结合确定出的手势信息和/或肢体动作信息,将增强现实图像中的展示的虚拟对象的展示姿态从第一展示姿态切换为第二展示姿态。
本申请实施例中,手势信息以及肢体动作信息与第二虚拟对象的对应关系也是提前设定的。例如对于手势信息“上划”,其对应的第二展示姿态为“位置升高”;对于肢体动作信息“左转”,其对应的第二展示姿态为“虚拟对象位于目标对象左侧”。
在一种具体的应用场景中,若目标对象的属性信息为“25岁的男性”,则展示界面上首先展示的第一虚拟对象为“汽车”,第一展示位置为目标对象的前方,在目标对象做了“左转”的肢体动作后,增强现实图像中展示位于目标对象的前方的“汽车”将从目标对象的前方变换到目标对象的左侧。
这里,通过基于确定出的第二真实场景图像中的目标对象的手势、肢体动作等信息确定出第二展示姿态,从而对增强现实图像中原来展示的第一虚拟对象以第一展示姿态进行展示切换为以第二展示姿态进行展示,增加了增强现实图像现实的多样性,使得呈现的AR图像更加生动,提高了用户的观感效果。
本申请实施例的技术方案,通过基于第二真实场景图像中的目标对象的年龄信息、性别信息、身份信息、表情信息、视线信息、身高信息、手势信息、肢体动作信息等一种或多种属性信息,确定出待展示的虚拟对象以及虚拟对象的展示姿态等虚拟展示效果,并且,还能实现对于虚拟对象以及虚拟对象的展示姿态等虚拟展示效果的切换,使得用户在使用AR设备采集真实场景的图像时,在显示界面中显示与目标对象的属性信息对应的虚拟展示效果,增加了增强现实图像现实的多样性,使得呈现的AR图像更加生动,提高了用户的观感效果。
图8为本申请实施例提供的增强现实AR图像的呈现装置的结构组成示意图,如图8所示,所述装置包括:
采集单元801,用于采集包括真实场景的第一真实场景图像,以及包括目标对象的第二真实场景图像;
第一处理单元802,用于基于所述第一真实场景图像构建所述真实场景对应于虚拟空间下的三维虚拟场景模型,以及基于所述第二真实场景图像确定所述目标对象的属性信息;
第二处理单元803,用于基于所述目标对象的属性信息,确定所述三维虚拟场景模型中的虚拟展示效果;
展示单元804,用于展示所述虚拟对象的虚拟展示效果和所述第一真实场景图像相叠加的AR图像。
本申请一可选实施方式中,所述采集单元801具体用于,通过第一摄像头采集包括真实场景的所述第一真实场景图像;通过第二摄像头采集包括目标对象的所述第二真实场景图像;
本申请一可选实施方式中,所述采集单元801具体用于,通过第一摄像头采集包括真实场景的所述第一真实场景图像和包括目标对象的所述第二真实场景图像。
本申请一可选实施方式中,所述虚拟展示效果包括:待展示的虚拟对象;
所述第二处理单元803,具体用于:基于所述目标对象的第一属性信息,确定所述三维虚拟场景模型中待展示的虚拟对象,其中,所述第一属性信息包括以下至少之一:年龄信息、性别信息、身份信息、表情信息。
本申请一可选实施方式中,所述虚拟展示效果包括:虚拟对象的展示姿态;
所述第二处理单元803,具体用于:基于所述目标对象的第二属性信息,确定所述三维虚拟场景模型中的虚拟对象的展示姿态,其中,所述第二属性信息包括以下至少之一:视线信息、身高信息。
本申请一可选实施方式中,所述AR图像中当前展示的虚拟对象为第一虚拟对象;所述装置还包括:
第一确定单元805,用于基于所述第二真实场景图像,确定所述目标对象的手势信息和/或肢体动作信息;
第二确定单元806,用于基于所述手势信息和/或肢体动作信息,确定与所述手势信息和/或肢体动作信息匹配的第二虚拟对象;
第三处理单元807,用于将所述AR图像中当前展示的第一虚拟对象切换展示为所述第二虚拟对象。
本申请一可选实施方式中,所述AR图像中当前展示的虚拟对象为第一虚拟对象且所述第一虚拟对象呈现第一展示姿态;所述装置还包括:
第三确定单元808,用于基于所述第二真实场景图像,确定所述目标对象的手势信息和/或肢体动作信息;
第四确定单元809,用于基于所述手势信息和/或肢体动作信息,确定与所述手势信息和/或肢体动作信息匹配的第二展示姿态;
第四处理单元810,用于将所述AR图像中当前展示的第一虚拟对象的第一展示姿态切换展示为所述第二展示姿态。
本领域技术人员应当理解,图8所示的增强现实AR图像的呈现装置中的各单元的实现功能可参照前述增强现实AR图像的呈现方法的相关描述而理解。图8所示的中增强现实AR图像的呈现装置的各单元的功能可通过运行于处理器上的程序而实现,也可通过具体的逻辑电路而实现。
本发明实施例上述基于AR设备中的各模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read OnlyMemory)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本发明实施例不限制于任何特定的硬件和软件结合。
相应地,本发明实施例还提供一种计算机程序产品,其中存储有计算机可执行指令,该计算机可执行指令被执行时能够实现本发明实施例的上述跟踪系统初始化方法。
图9为本发明实施例的电子设备的结构组成示意图,如图9所示,电子设备可以包括一个或多个(图中仅示出一个)处理器901(处理器901可以包括但不限于微处理器(MCU,Micro Controller Unit)或可编程逻辑器件(FPGA,Field Programmable Gate Array)等的处理装置)、用于存储数据的存储器903、以及用于通信功能的传输装置902。本领域普通技术人员可以理解,图9所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,电子设备还可包括比图9中所示更多或者更少的组件,或者具有与图9所示不同的配置。
存储器903可用于存储应用软件的软件程序以及模块,如本发明实施例中的方法对应的程序指令/模块,处理器901通过运行存储在存储器903内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器903可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器903可进一步包括相对于处理器901远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置902用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备的通信供应商提供的无线网络。在一个实例中,传输装置902包括一个网络适配器(NIC,Network Interface Controller),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置902可以为射频(RF,Radio Frequency)模块,其用于通过无线方式与互联网进行通讯。
本申请实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和智能设备,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个第二处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种增强现实AR图像的呈现方法,其特征在于,所述方法包括:
采集包括真实场景的第一真实场景图像,以及包括目标对象的第二真实场景图像;
基于所述第一真实场景图像构建所述真实场景对应的三维虚拟场景模型,以及基于所述第二真实场景图像确定所述目标对象的属性信息;
基于所述目标对象的属性信息,确定所述三维虚拟场景模型中的虚拟展示效果;
展示所述虚拟展示效果和所述第一真实场景图像相叠加的AR图像。
2.根据权利要求1所述的方法,其特征在于,所述采集包括真实场景的第一真实场景图像,以及包括目标对象的第二真实场景图像,包括:
通过第一摄像头采集包括真实场景的所述第一真实场景图像;
通过第二摄像头采集包括目标对象的所述第二真实场景图像;
其中,所述第一摄像头和所述第二摄像头的采集视角不同。
3.根据权利要求1所述的方法,其特征在于,所述采集包括真实场景的第一真实场景图像,以及包括目标对象的第二真实场景图像,包括:
通过第一摄像头采集包括真实场景的所述第一真实场景图像和包括目标对象的所述第二真实场景图像。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述虚拟展示效果包括:待展示的虚拟对象;
所述基于所述目标对象的属性信息,确定所述三维虚拟场景模型中的虚拟展示效果,包括:
基于所述目标对象的第一属性信息,确定所述三维虚拟场景模型中待展示的虚拟对象,其中,所述第一属性信息包括以下至少之一:年龄信息、性别信息、身份信息、表情信息。
5.根据权利要求1至3中任一项所述的方法,其特征在于,所述虚拟展示效果包括:虚拟对象的展示姿态;
所述基于所述目标对象的属性信息,确定所述三维虚拟场景模型中的虚拟展示效果,包括:
基于所述目标对象的第二属性信息,确定所述三维虚拟场景模型中的虚拟对象的展示姿态,其中,所述第二属性信息包括以下至少之一:视线信息、身高信息。
6.根据权利要求1至3中任一项所述的方法,其特征在于,所述AR图像中当前展示的虚拟对象为第一虚拟对象;所述方法还包括:
基于所述第二真实场景图像,确定所述目标对象的手势信息和/或肢体动作信息;
基于所述手势信息和/或肢体动作信息,确定与所述手势信息和/或肢体动作信息匹配的第二虚拟对象;
将所述AR图像中当前展示的第一虚拟对象切换展示为所述第二虚拟对象。
7.根据权利要求1至3中任一项所述的方法,其特征在于,所述AR图像中当前展示的虚拟对象为第一虚拟对象且所述第一虚拟对象呈现第一展示姿态;所述方法还包括:
基于所述第二真实场景图像,确定所述目标对象的手势信息和/或肢体动作信息;
基于所述手势信息和/或肢体动作信息,确定与所述手势信息和/或肢体动作信息匹配的第二展示姿态;
将所述AR图像中当前展示的第一虚拟对象的第一展示姿态切换展示为所述第二展示姿态。
8.一种增强现实AR图像的呈现装置,其特征在于,所述装置包括:
采集单元,用于采集包括真实场景的第一真实场景图像,以及包括目标对象的第二真实场景图像;
第一处理单元,用于基于所述第一真实场景图像构建所述真实场景对应于虚拟空间下的三维虚拟场景模型,以及基于所述第二真实场景图像确定所述目标对象的属性信息;
第二处理单元,用于基于所述目标对象的属性信息,确定所述三维虚拟场景模型中的虚拟展示效果;
展示单元,用于展示所述虚拟对象的虚拟展示效果和所述第一真实场景图像相叠加的AR图像。
9.一种存储介质,其特征在于,所述存储介质上存储有可执行指令,该可执行指令被处理器执行时实现权利要求1至7中任一项所述的方法步骤。
10.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器上存储有计算机可执行指令,所述处理器运行所述存储器上的计算机可执行指令时可实现权利要求1至7中任一项所述的方法步骤。
CN202010763301.5A 2020-07-31 2020-07-31 增强现实ar图像的呈现方法及装置、电子设备、存储介质 Pending CN111899350A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010763301.5A CN111899350A (zh) 2020-07-31 2020-07-31 增强现实ar图像的呈现方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010763301.5A CN111899350A (zh) 2020-07-31 2020-07-31 增强现实ar图像的呈现方法及装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN111899350A true CN111899350A (zh) 2020-11-06

Family

ID=73183186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010763301.5A Pending CN111899350A (zh) 2020-07-31 2020-07-31 增强现实ar图像的呈现方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN111899350A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114398132A (zh) * 2022-01-14 2022-04-26 北京字跳网络技术有限公司 一种场景数据展示方法、装置、计算机设备和存储介质
CN114401415A (zh) * 2022-01-14 2022-04-26 北京字跳网络技术有限公司 直播控制方法、装置、计算机设备及存储介质
WO2023207174A1 (zh) * 2022-04-28 2023-11-02 Oppo广东移动通信有限公司 显示方法、装置、显示设备、头戴式设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140289607A1 (en) * 2013-03-21 2014-09-25 Korea Institute Of Science And Technology Apparatus and method providing augmented reality contents based on web information structure
CN107016704A (zh) * 2017-03-09 2017-08-04 杭州电子科技大学 一种基于增强现实的虚拟现实实现方法
CN108305317A (zh) * 2017-08-04 2018-07-20 腾讯科技(深圳)有限公司 一种图像处理方法、装置及存储介质
CN108769535A (zh) * 2018-07-04 2018-11-06 腾讯科技(深圳)有限公司 图像处理方法、装置、存储介质和计算机设备
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140289607A1 (en) * 2013-03-21 2014-09-25 Korea Institute Of Science And Technology Apparatus and method providing augmented reality contents based on web information structure
CN107016704A (zh) * 2017-03-09 2017-08-04 杭州电子科技大学 一种基于增强现实的虚拟现实实现方法
CN108305317A (zh) * 2017-08-04 2018-07-20 腾讯科技(深圳)有限公司 一种图像处理方法、装置及存储介质
CN108769535A (zh) * 2018-07-04 2018-11-06 腾讯科技(深圳)有限公司 图像处理方法、装置、存储介质和计算机设备
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114398132A (zh) * 2022-01-14 2022-04-26 北京字跳网络技术有限公司 一种场景数据展示方法、装置、计算机设备和存储介质
CN114401415A (zh) * 2022-01-14 2022-04-26 北京字跳网络技术有限公司 直播控制方法、装置、计算机设备及存储介质
CN114401415B (zh) * 2022-01-14 2024-04-12 北京字跳网络技术有限公司 直播控制方法、装置、计算机设备及存储介质
CN114398132B (zh) * 2022-01-14 2024-05-10 北京字跳网络技术有限公司 一种场景数据展示方法、装置、计算机设备和存储介质
WO2023207174A1 (zh) * 2022-04-28 2023-11-02 Oppo广东移动通信有限公司 显示方法、装置、显示设备、头戴式设备及存储介质

Similar Documents

Publication Publication Date Title
CN107820593B (zh) 一种虚拟现实交互方法、装置及系统
CN111899350A (zh) 增强现实ar图像的呈现方法及装置、电子设备、存储介质
CN107274438B (zh) 支持移动虚拟现实应用的单Kinect多人跟踪系统及方法
CN108830894A (zh) 基于增强现实的远程指导方法、装置、终端和存储介质
CN110716645A (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN106161939B (zh) 一种照片拍摄方法及终端
CN112148197A (zh) 增强现实ar交互方法、装置、电子设备及存储介质
CN106791906B (zh) 一种多人网络直播方法、装置及其电子设备
CN110176077A (zh) 增强现实拍照的方法、装置及计算机存储介质
CN109420336A (zh) 基于增强现实的游戏实现方法和装置
CN111694430A (zh) 一种ar场景画面呈现方法、装置、电子设备和存储介质
CN106127552B (zh) 一种虚拟场景显示方法、装置及系统
JP2022505998A (ja) 拡張現実データの提示方法、装置、電子機器及び記憶媒体
Jimeno-Morenilla et al. Augmented and virtual reality techniques for footwear
CN109144244A (zh) 一种增强现实辅助的方法、装置、系统及增强现实设备
CN111833458A (zh) 图像显示方法及装置、设备、计算机可读存储介质
CN111061374A (zh) 一种支持多人模式增强现实应用的方法及装置
CN112882576B (zh) Ar交互方法、装置、电子设备及存储介质
CN112308977B (zh) 视频处理方法、视频处理装置和存储介质
CN108983974B (zh) Ar场景处理方法、装置、设备和计算机可读存储介质
CN111694431A (zh) 一种人物形象生成的方法及装置
CN113012299A (zh) 显示方法及装置、设备、存储介质
CN112905014A (zh) Ar场景下的交互方法、装置、电子设备及存储介质
CN110348370B (zh) 一种人体动作识别的增强现实系统及方法
CN111652983A (zh) 一种增强现实ar特效生成方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201106