CN112348968B - 增强现实场景下的展示方法、装置、电子设备及存储介质 - Google Patents

增强现实场景下的展示方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112348968B
CN112348968B CN202011232913.8A CN202011232913A CN112348968B CN 112348968 B CN112348968 B CN 112348968B CN 202011232913 A CN202011232913 A CN 202011232913A CN 112348968 B CN112348968 B CN 112348968B
Authority
CN
China
Prior art keywords
special effect
display
target entity
entity object
position data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011232913.8A
Other languages
English (en)
Other versions
CN112348968A (zh
Inventor
刘旭
栾青
李斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202011232913.8A priority Critical patent/CN112348968B/zh
Publication of CN112348968A publication Critical patent/CN112348968A/zh
Priority to JP2022530223A priority patent/JP2023504608A/ja
Priority to PCT/CN2021/102206 priority patent/WO2022095468A1/zh
Application granted granted Critical
Publication of CN112348968B publication Critical patent/CN112348968B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种增强现实场景下的展示方法、装置、电子设备及存储介质,其中,该展示方法包括:获取AR设备拍摄的当前场景图像;在识别到所述当前场景图像中包含目标实体对象的情况下,通过第一定位方式确定与所述目标实体对象匹配的AR特效的第一展示位置数据,并基于所述第一展示位置数据,控制所述AR设备展示所述AR特效;在展示所述AR特效的过程中,响应于在所述当前场景图像中未识别到所述目标实体对象,通过第二定位方式确定所述AR特效的第二展示位置数据,并基于所述第二展示位置数据,控制所述AR设备按照所述AR特效的已展示进度继续展示所述AR特效。

Description

增强现实场景下的展示方法、装置、电子设备及存储介质
技术领域
本公开涉及增强现实技术领域,具体而言,涉及一种增强现实场景下的展示方法、装置、电子设备及存储介质。
背景技术
增强现实(Augmented Reality,AR)技术,通过将实体信息(视觉信息、声音、触觉等)通过模拟仿真后,叠加到真实世界中,从而将真实的环境和虚拟的物体实时地在同一个画面或空间呈现。
近年来,随着增强现实技术的发展,AR设备的应用领域越来越广,可以通过AR设备展示叠加在实体对象上的AR特效,在AR特效在展示过程中,一般需要确定AR特效的展示位置,在一些情况下,实体对象或者AR设备可能发生移动,在移动过程中,若实体对象的位置发生变化,如何能够继续确定AR特效的展示位置,从而对AR特效进行连贯展示,以提供更加逼真的展示效果,是值得研究的问题。
发明内容
本公开实施例至少提供一种增强现实场景下的展示方案。
第一方面,本公开实施例提供了一种增强现实场景下的展示方法,包括:
获取AR设备拍摄的当前场景图像;
在识别到所述当前场景图像中包含目标实体对象的情况下,通过第一定位方式确定与所述目标实体对象匹配的AR特效的第一展示位置数据,并基于所述第一展示位置数据,控制所述AR设备展示所述AR特效;
在展示所述AR特效的过程中,响应于在所述当前场景图像中未识别到所述目标实体对象,通过第二定位方式确定所述AR特效的第二展示位置数据,并基于所述第二展示位置数据,控制所述AR设备按照所述AR特效的已展示进度继续展示所述AR特效。
本公开实施例中,能够直接通过目标实体对象的识别结果即可触发匹配的特效数据进行展示,使其展示效果能够与目标实体对象紧密关联,能够更有针对性的去展示特效数据。并且,基于目标实体对象的识别结果采用不同的定位方式控制AR设备对AR特效进行展示,保证了AR特效在展示过程中的连贯性和稳定性,使得AR特效的展示更加逼真。
在一种可能的实施方式中,按照以下方式识别所述当前场景图像中是否包含所述目标实体对象:
对所述当前场景图像进行特征点提取,得到所述当前场景图像包含的多个特征点分别对应的特征信息;所述多个特征点位于所述当前场景图像中的目标检测区域中;
基于所述多个特征点分别对应的特征信息与预先存储的所述目标实体对象包含的多个特征点分别对应的特征信息进行比对,确定所述当前场景图像中是否包含所述目标实体对象。
本公开实施例中,通过提取目标检测区域中包含的多个特征点,来进行对当前场景图像中是否包含目标实体对象的识别,通过特征点比对的方式可以快速准确的确定当前场景图像中是否包含目标实体对象。
在一种可能的实施方式中,所述通过第一定位方式确定与所述目标实体对象匹配的AR特效的第一展示位置数据,包括:
获取所述目标实体对象在所述当前场景图像中的位置信息;
基于所述目标实体对象在所述当前场景图像中的位置信息,确定所述目标实体对象在预先建立的世界坐标系下的位置数据;以及,基于所述当前场景图像,确定所述AR设备在所述世界坐标系下的位置数据;
基于所述目标实体对象在所述世界坐标系下的位置数据和所述AR设备在所述世界坐标系下的位置数据,确定所述第一展示位置数据。
本公开实施例中,通过确定出目标实体对象、AR设备在同一世界坐标系下的位置数据,可以进一步确定出AR特效相对于AR设备在同一世界坐标系下的第一展示位置数据,这样便于通过AR设备中展示出更为逼真的增强现实场景。
在一种可能的实施方式中,所述基于所述目标实体对象在所述当前场景图像中的位置信息,确定所述目标实体对象在预先建立的世界坐标系下的位置数据,包括:
基于所述位置信息、图像坐标系和AR设备对应的相机坐标系之间的转换关系、以及AR设备对应的相机坐标系与所述世界坐标系之间的转换关系,确定所述目标实体对象在所述世界坐标系下的位置数据;
所述基于所述目标实体对象在所述世界坐标系下的位置数据和所述AR设备在所述世界坐标系下的位置数据,确定所述第一展示位置数据,包括:
基于所述目标实体对象在所述世界坐标系下的位置数据,确定所述AR特效在所述世界坐标系下的位置数据;
基于所述AR特效在所述世界坐标系下的位置数据和所述AR设备在所述世界坐标系下的位置数据,确定所述第一展示位置数据。
本公开实施例中,在识别到当前场景图像中包含目标实体对象的情况下,可以直接基于当前场景图像来准确的确定出目标实体对象和AR设备在世界坐标系下位置数据,从而便于准确快速的得到AR特效的第一展示位置数据。
在一种可能的实施方式中,所述通过第二定位方式确定所述AR特效的第二展示位置数据,包括:
基于所述当前场景图像、历史场景图像、以及所述AR设备在拍摄所述历史场景图像时与所述目标实体对象在预先建立的世界坐标系下的相对位置数据,确定所述AR设备在拍摄当前场景图像时,与所述目标实体对象之间的相对位置数据;
基于所述相对位置数据,确定所述AR特效的第二展示位置数据。
本公开实施例中,利用当前场景图像、历史场景图像、以及AR设备在拍摄历史场景图像时与目标实体对象在世界坐标系下的相对位置数据,能够较为准确的确定AR设备在拍摄当前场景图像时,与目标实体对象之间的相对位置数据,这样可以基于准确的相对位置数据,确定AR特效的第二展示位置数据,便于在识别不到目标实体对象的情况下,还可以对AR特效进行展示。
在一种可能的实施方式中,所述AR特效包括AR画面和与所述AR画面匹配的音频内容,所述基于所述第二展示位置数据,控制所述AR设备按照所述AR特效的已展示进度继续展示所述AR特效,包括:
若在所述当前场景图像中未识别到所述目标实体对象,且所述AR画面未展示完毕,基于所述第二展示位置数据控制所述AR设备按照所述AR画面的已展示进度,继续展示与未展示的所述AR画面匹配的音频内容。
本公开实施例中,在无法识别到目标实体对象的情况下,若AR画面没有展示完毕,还可以继续对与AR画面匹配的音频内容进行展示,增加AR特效的展示连贯性,使得AR特效能够更加逼真的展示。
在一种可能的实施方式中,所述展示方法还包括:
若在所述当前场景图像中重新识别到所述目标实体对象,重新基于通过所述第一定位方式确定的所述第一展示位置数据,控制AR设备按照所述AR特效的已展示进度继续展示所述AR特效。
本公开实施例中,在识别到目标实体对象后,可以基于准确度较高的第一定位方式重新确定第一展示位置数据,从而提高AR特效的位置展示准确度。
在一种可能的实施方式中,在控制所述AR设备展示所述AR特效之前,所述展示方法还包括:
获取与所述目标实体对象匹配的AR特效;所述AR特效中包含多个虚拟对象分别对应的特效数据;
所述控制所述AR设备展示所述AR特效,包括:
按照所述多个虚拟对象分别对应的特效数据的展示顺序,控制所述AR设备依次展示所述多个虚拟对象分别对应的特效数据。
本公开实施例中,可以向用户展示多个虚拟对象构成的AR特效,使得AR特效的展示更加生动。
在一种可能的实施方式中,所述目标实体对象包含日历,在控制所述AR设备展示所述AR特效之前,所述展示方法还包括:
获取与所述日历匹配的AR特效;所述AR特效中包含基于所述日历的封面内容生成的第一特效数据;
所述控制所述AR设备展示所述AR特效,包括:
在识别到所述日历的封面内容的情况下,基于所述第一特效数据,控制所述AR设备展示与所述日历的封面内容匹配的所述AR特效。
本公开实施例中,在识别到日历封面的情况下,可以在日历封面上展示介绍日历的AR特效,丰富日历的展示内容,提高用户对日历的观看兴趣。
在一种可能的实施方式中,所述目标实体对象包含日历,在控制所述AR设备展示所述AR特效之前,所述展示方法还包括:
获取与所述日历匹配的AR特效;所述AR特效中包含基于所述日历中的至少一个预设日期在历史同期的标记事件生成的第二特效数据;
所述控制所述AR设备展示所述AR特效,包括:
在识别到所述日历中的至少一个预设日期的情况下,基于所述第二特效数据,控制所述AR设备展示与所述日历中的至少一个预设日期匹配的所述AR特效。
本公开实施例中,在向用户展示日历的同时,在获取到日历上的预设日期的情况下,还可以向用户展示与预设日期对应的AR特效,丰富日历的展示内容。
第二方面,本公开实施例提供了一种增强现实场景下的展示装置,包括:
获取模块,用于获取AR设备拍摄的当前场景图像;
第一控制模块,用于在识别到所述当前场景图像中包含目标实体对象的情况下,通过第一定位方式确定与所述目标实体对象匹配的AR特效的第一展示位置数据,并基于所述第一展示位置数据,控制所述AR设备展示所述AR特效;
第二控制模块,用于在展示所述AR特效的过程中,响应于在所述当前场景图像中未识别到所述目标实体对象,通过第二定位方式确定所述AR特效的第二展示位置数据,并基于所述第二展示位置数据,控制所述AR设备按照所述AR特效的已展示进度继续展示所述AR特效。
在一种可能的实施方式中,所述获取模块还用于按照以下方式识别所述当前场景图像中是否包含所述目标实体对象:
对所述当前场景图像进行特征点提取,得到所述当前场景图像包含的多个特征点分别对应的特征信息;所述多个特征点位于所述当前场景图像中的目标检测区域中;
基于所述多个特征点分别对应的特征信息与预先存储的所述目标实体对象包含的多个特征点分别对应的特征信息进行比对,确定所述当前场景图像中是否包含所述目标实体对象。
在一种可能的实施方式中,所述第一控制模块在用于通过第一定位方式确定与所述目标实体对象匹配的AR特效的第一展示位置数据时,包括:
获取所述目标实体对象在所述当前场景图像中的位置信息;
基于所述目标实体对象在所述当前场景图像中的位置信息,确定所述目标实体对象在预先建立的世界坐标系下的位置数据;以及,基于所述当前场景图像,确定所述AR设备在所述世界坐标系下的位置数据;
基于所述目标实体对象在所述世界坐标系下的位置数据和所述AR设备在所述世界坐标系下的位置数据,确定所述第一展示位置数据。
在一种可能的实施方式中,所述第一控制模块在用于基于所述目标实体对象在所述当前场景图像中的位置信息,确定所述目标实体对象在预先建立的世界坐标系下的位置数据,包括:
基于所述位置信息、图像坐标系和AR设备对应的相机坐标系之间的转换关系、以及AR设备对应的相机坐标系与所述世界坐标系之间的转换关系,确定所述目标实体对象在所述世界坐标系下的位置数据;
所述第一控制模块在用于基于所述目标实体对象在所述世界坐标系下的位置数据和所述AR设备在所述世界坐标系下的位置数据,确定所述第一展示位置数据时,包括:
基于所述目标实体对象在所述世界坐标系下的位置数据,确定所述AR特效在所述世界坐标系下的位置数据;
基于所述AR特效在所述世界坐标系下的位置数据和所述AR设备在所述世界坐标系下的位置数据,确定所述第一展示位置数据。
在一种可能的实施方式中,所述第二控制模块在用于通过第二定位方式确定所述AR特效的第二展示位置数据时,包括:
基于所述当前场景图像、历史场景图像、以及所述AR设备在拍摄所述历史场景图像时与所述目标实体对象在预先建立的世界坐标系下的相对位置数据,确定所述AR设备在拍摄当前场景图像时,与所述目标实体对象之间的相对位置数据;
基于所述相对位置数据,确定所述AR特效的第二展示位置数据。
在一种可能的实施方式中,所述AR特效包括AR画面和与所述AR画面匹配的音频内容,所述第二控制模块在用于基于所述第二展示位置数据,控制所述AR设备按照所述AR特效的已展示进度继续展示所述AR特效时,包括:
若在所述当前场景图像中未识别到所述目标实体对象,且所述AR画面未展示完毕,基于所述第二展示位置数据控制所述AR设备按照所述AR画面的已展示进度,继续展示与未展示的所述AR画面匹配的音频内容。
在一种可能的实施方式中,所述第一控制模块还用于:
若在所述当前场景图像中重新识别到所述目标实体对象,重新基于通过所述第一定位方式确定的所述第一展示位置数据,控制AR设备按照所述AR特效的已展示进度继续展示所述AR特效。
在一种可能的实施方式中,在所述第一控制模块控制所述AR设备展示所述AR特效之前,所述获取模块还用于:
获取与所述目标实体对象匹配的AR特效;所述AR特效中包含多个虚拟对象分别对应的特效数据;
所述第一控制模块在用于控制所述AR设备展示所述AR特效时,包括:
按照所述多个虚拟对象分别对应的特效数据的展示顺序,控制所述AR设备依次展示所述多个虚拟对象分别对应的特效数据。
在一种可能的实施方式中,所述目标实体对象包含日历,在所述第一控制模块控制所述AR设备展示所述AR特效之前,所述获取模块还用于:
获取与所述日历匹配的AR特效;所述AR特效中包含基于所述日历的封面内容生成的第一特效数据;
所述第一控制模块在用于控制所述AR设备展示所述AR特效,包括:
在识别到所述日历的封面内容的情况下,基于所述第一特效数据,控制所述AR设备展示与所述日历的封面内容匹配的所述AR特效。
在一种可能的实施方式中,所述目标实体对象包含日历,在所述第一控制模块控制所述AR设备展示所述AR特效之前,所述获取模块还用于:
获取与所述日历匹配的AR特效;所述AR特效中包含基于所述日历中的至少一个预设日期在历史同期的标记事件生成的第二特效数据;
所述第一控制模块在用于控制所述AR设备展示所述AR特效时,包括:
在识别到所述日历中的至少一个预设日期的情况下,基于所述第二特效数据,控制所述AR设备展示与所述日历中的至少一个预设日期匹配的所述AR特效。
第三方面,本公开实施例提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如第一方面所述的展示方法的步骤。
第四方面,本公开实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如第一方面所述的展示方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种增强现实场景下的展示方法的流程图;
图2示出了本公开实施例所提供的一种确定当前场景图像中是否包含目标实体对象的具体方法的流程图;
图3示出了本公开实施例所提供的一种确定AR特效的展示位置数据的方法流程图;
图4示出了本公开实施例所提供的另一种确定AR特效的展示位置数据的方法流程图;
图5示出了本公开实施例所提供的一种AR特效的展示画面示意图;
图6示出了本公开实施例所提供的一种增强现实场景下的展示装置的结构示意图;
图7示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
随着AR技术的发展,逐渐将AR技术应用于多种领域中,比如可以在实体对象上叠加AR特效,通过AR特效向用户形象生动地介绍实体对象,AR特效在展示过程中,一般需要确定AR特效的展示位置,在向用户展示AR特效的过程中,在一些情况下,实体对象或者AR设备可能发生移动,在移动过程中,若实体对象的位置发生变化,如何能够继续确定AR特效的展示位置,从而对AR特效进行连贯展示,以提供更加逼真的展示效果,是值得研究的问题。
基于上述研究,本公开提供了一种增强现实场景下的展示方法,能够直接通过目标实体对象的识别结果即可触发匹配的特效数据进行展示,使其展示效果能够与目标实体对象紧密关联,能够更有针对性的去展示特效数据。并且,基于目标实体对象的识别结果采用不同的定位方式控制AR设备对AR特效进行展示,保证了AR特效在展示过程中的连贯性和稳定性,使得AR特效的展示更加逼真。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种增强现实场景下的展示方法进行详细介绍,本公开实施例所提供的增强现实场景下的展示方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以是具有AR功能的AR设备,比如可以包括AR眼镜、平板电脑、智能手机、智能穿戴式设备等具有显示功能和数据处理能力的设备,本公开实施例中不作限定。在一些可能的实现方式中,该增强现实场景下的展示方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示,为本公开实施例提供的增强现实场景下的展示方法的流程图,该展示方法包括以下S101~S103:
S101,获取AR设备拍摄的当前场景图像。
示例性地,AR设备可以包括但不限于AR眼镜、平板电脑、智能手机、智能穿戴式设备等具有显示功能和数据处理能力的设备,这些AR设备中可以安装用于展示AR场景内容的应用程序,用户可以在该应用程序中体验AR场景内容。
示例性地,AR设备还可以包含用于拍摄图像的图像采集部件,比如RGB摄像头,在获取到AR设备拍摄的当前场景图像后,可以对该当前场景图像进行识别,识别是否包含触发AR特效进行展示的目标实体对象。
S102,在识别到当前场景图像中包含目标实体对象的情况下,通过第一定位方式确定与目标实体对象匹配的AR特效的第一展示位置数据,并基于第一展示位置数据,控制AR设备展示AR特效。
示例性地,针对不同的应用场景,目标实体对象可以为具有特定形态的物体,比如可以为书本、字画、建筑物等实体物体,在不同的应用场景下,目标实体对象可以为该应用场景下的实体物体,通过AR特效可以对该实体物体进行介绍,增加用户对实体物体的了解。
示例性地,与目标实体对象匹配的AR特效,包括与目标实体对象具有预设相对位置关系的AR特效和/或与目标实体对象的内容具有关联关系的AR特效。
示例性地,与目标实体对象具有预设相对位置关系的AR特效,可以包括AR特效和目标实体对象在同一坐标系下具有预设相对位置关系,具体地,AR特效可以为包含三维的AR画面和音频内容,其中三维的AR画面可以在预先构建的三维场景模型中生成,在该三维场景模型中可以提前设置好三维的AR画面的形貌、尺寸、位置、姿态等数据、AR画面与目标实体对象之间的位置关系、相对姿态关系、以及该三维场景模型对应的三维坐标系和目标实体对象所在的世界坐标系之间具有预设的转换关系,这样,在确定目标实体对象在世界坐标系下的位置数据后,可以基于目标实体对象在世界坐标系下的位置数据,确定出AR画面在世界坐标系下的位置数据,另外,还可以基于目标实体对象在世界坐标系下的姿态数据,同时确定出AR画面在世界坐标系下的姿态数据。
在另一种实施方式中,还可以预先设定目标实体对象与AR特效的三维画面之间的位置关系和姿态关系,比如可以设定AR画面和目标实体对象在同一坐标系(可以为预先建立的世界坐标系)下的位置关系和姿态关系,这样在得到目标实体对象在世界坐标系下的位置数据后,可以确定出AR画面在世界坐标系下的位置数据,还可以在得到目标实体对象在世界坐标系下的姿态数据后,可以确定出AR画面在世界坐标系下的姿态数据(AR画面的指定方向分别与世界坐标系的X轴、Y轴和Z轴之间的夹角),该过程无需构建三维场景模型,在针对AR特效的展示过程中,更加方便快捷。
示例性地,针对目标实体对象为日历的情况,可以以日历中心为原点、以通过日历中心的长边为X轴、以通过日历中心的短边为Y轴、以通过日历中心且垂直于日历封面的直线为Z轴建立世界坐标系,若AR画面与目标实体对象之间的位置关系包括AR画面在日历上表面且距离日历中心点预设距离的地方进行展示,则在确定出日历在世界坐标系下的位置数据后,可以基于此确定出AR画面的展示位置,另外,还可以基于日历在世界坐标系下的姿态数据,以及预先设定AR画面与日历之间的姿态关系,确定出日历在世界坐标系下的姿态数据。
示例性地,与目标实体对象的内容具有关联关系的AR特效,可以指AR特效的展示内容包含目标实体对象的内容、目标实体对象具有的作用或者为吸引用户了解目标实体对象的AR画面,具体地,针对目标实体对象为日历的情况,AR特效的展示内容可以包含与该日历对应的年份相关的AR画面,以及介绍该日历包含内容的音频内容等。
示例性地,在识别到当前场景图像中包含目标实体对象的情况下,可以使用第一定位方式来确定目标实体对象在当前场景图像中的位置信息,进而基于目标实体对象在当前场景图像中的位置信息,来确定AR特效的第一展示位置数据,进一步地还可以基于目标实体对象在当前场景图像中的位置信息,来确定AR特效的第一展示姿态数据,基于图像识别技术,可以较为准确地确定出目标实体对象在当前场景图像中的位置信息,因此,这里基于目标实体对象的位置信息可以较为准确的得到AR特效的第一展示位置数据和第一展示姿态数据,从而为AR特效的准确展示提供支持。
示例性地,还可以确定AR特效的第一展示姿态数据。在识别到当前场景图像中包含目标实体对象的情况下,通过第一定位方式确定与目标实体对象匹配的AR特效的第一展示位置数据和第一展示姿态数据,并基于第一展示位置数据和第一展示姿态数据,控制AR设备展示AR特效。
S103,在展示AR特效的过程中,响应于在当前场景图像中未识别到目标实体对象,通过第二定位方式确定AR特效的第二展示位置数据,并基于第二展示位置数据,控制AR设备按照AR特效的已展示进度继续展示AR特效。
在控制AR设备展示AR特效的过程中,目标实体对象和/或AR设备发生移动,可能会导致目标实体对象和AR设备之间的相对位置数据发生变化,和/或,可能会导致目标实体对象和AR设备之间的相对姿态数据发生变化,此时AR设备在拍摄当前场景图像时,可能无法拍摄到目标实体对象,或者无法拍摄到完整的目标实体对象,这样,在对当前场景图像进行识别时,可能存在无法识别到目标实体对象的情况。
对应地,无法识别到目标实体对象的情况,可以包含两种情况,一种是当前场景图像中不包含目标实体对象,另一种当前场景图像中包含部分目标实体对象,比如只包含日历的一个边角,这种情况可能无法检测到目标实体对象包含的足够的特征点,因此无法识别出目标实体对象。
考虑到第一定位方式是基于目标实体对象在当前场景图像中的位置信息,来确定的AR特效的第一展示位置数据,因此在基于第一定位方式对目标实体对象进行定位的过程中,可以同时确定出AR设备在拍摄每张场景图像时,与目标实体对象之间的相对位置数据,并保存该相对位置数据,这样在当前场景图像为未识别到目标实体对象的情况下,可以结合保存的AR设备与目标实体对象之间的相对位置数据,以及实时定位与地图构建(Simultaneous Localization And Mapping,SLAM)技术,确定出AR设备在拍摄当前场景图像时,与目标实体对象之间的相对位置数据,进一步可以基于该相对位置数据以及AR特效与目标实体对象的相对位置关系,确定出AR特效的第二展示位置数据,该过程将在后文进行详细阐述。
此外,在展示AR特效的过程中,响应于在当前场景图像中未识别到目标实体对象,还可以通过第二定位方式确定AR特效的第二展示姿态数据,并基于第二展示位置数据和第二展示姿态数据,控制AR设备按照AR特效的已展示进度继续展示AR特效,其中,第二展示姿态数据的确定过程与第二展示位置数据的确定过程相似,在此不再赘述。
示例性地,目标实体对象为日历,AR特效包括动态展示的总时长为30s的AR画面,若在该AR画面展示到第10s时,在AR设备拍摄的当前场景图像中识别不到目标实体对象,此时可以根据基于第二定位方式确定的AR特效的第二展示位置数据,或者基于第二展示位置数据和第二展示姿态数据,控制AR设备按照AR画面已展示的进度继续进行展示(继续从第10s处进行展示),若在继续展示过程中,第二展示位置数据指示AR设备完全离开AR画面的展示位置范围,比如AR设备与日历之间的相对距离大于或等于预设阈值,或者,第二展示姿态数据指示AR设备的拍摄角度完全离开日历,此时尽管AR特效还在继续展示,但是用户无法通过AR设备观看到AR特效的AR画面,若在继续展示过程中,基于第二展示位置数据确定AR设备与日历之间的相对距离小于预设阈值,且AR设备的拍摄角度还可以拍摄到日历的部分区域,此时用户可以通过AR设备观看到展示的部分AR画面,比如看到与日历的部分区域匹配的AR画面。
本公开实施例中,在识别到当前场景图像中包含目标实体对象的情况下,可以基于第一定位方式确定的第一展示位置数据,控制AR设备展示AR特效,在向用户展示AR特效的过程中,若未识别到当前场景图像中包含目标实体对象的情况,还可以根据第二定位方式确定出AR特效的第二展示位置数据,这样可以基于第二展示位置数据控制AR设备继续对未展示的AR特效进行展示,保证了AR特效在展示过程中的连贯性和稳定性,使得AR特效的展示更加逼真。
具体地,可以按照以下方式识别当前场景图像中是否包含目标实体对象,如图2所示,包括以下S201~S202:
S201,对当前场景图像进行特征点提取,得到当前场景图像包含的多个特征点分别对应的特征信息;多个特征点位于当前场景图像中的目标检测区域中。
示例性地,在对当前场景图像进行识别过程中,可以通过图像检测算法,定位出当前场景图像中包含实体对象的目标检测区域,然后在目标检测区域中进行特征点提取,比如可以提取目标检测区域中位于实体对象轮廓上的特征点、位于标识图案区域的特征点以及位于文字区域上的特征点等,示例性地,为了使得提取到的特征点能够完整的表示目标实体对象,特征点可以基于目标实体对象在当前场景图像中对应的位置区域进行均匀提取,比如目标实体对象为日历的情况下,可以在日历封面在当前场景图像中对应的矩形区域中进行均匀提取。
示例性地,这里提取到的特征点包含的特征信息可以包含特征点对应的纹理特征值、RGB特征值、灰度值等能够表示该特征点特征的信息。
S202,基于多个特征点分别对应的特征信息与预先存储的目标实体对象包含的多个特征点分别对应的特征信息进行比对,确定当前场景图像中是否包含目标实体对象。
示例性地,可以按照相同的方式预先对目标实体对象进行拍摄,得到并保存目标实体对象包含的多个特征点分别对应的特征信息。
示例性地,在基于多个特征点分别对应的特征信息与预先存储的目标实体对象包含的多个特征点分别对应的特征信息进行比对时,可以先基于当前场景图像提取到的多个特征点分别对应的特征信息确定当前场景图像中目标检测区域对应的第一特征向量,以及基于目标实体对象包含的多个特征点分别对应的特征信息确定目标实体对象对应的第二特征向量,然后可以通过第一特征向量和第二特征向量确定目标检测区域和目标实体对象之间的相似度,比如可以通过余弦公式进行确定。
示例性地,在确定第一特征向量和第二特征向量之间的相似度大于或等于预设相似度阈值的情况下,确定当前场景图像中包含目标实体对象,反之,在确定第一特征向量和第二特征向量之间的相似度小于预设相似度阈值的情况下,确定当前场景图像中不包含目标实体对象。
本公开实施例中,通过提取目标检测区域中包含的多个特征点,来进行对当前场景图像中是否包含目标实体对象的识别,通过特征点比对的方式可以快速准确的确定当前场景图像中是否包含目标实体对象。
针对上述S102,在通过第一定位方式确定与目标实体对象匹配的AR特效的第一展示位置数据,如图3所示,可以包括以下S301~S303:
S301,获取目标实体对象在当前场景图像中的位置信息。
示例性地,可以以当前场景图像建立图像坐标系,获取目标实体对象包含的多个特征点在图像坐标系中的图像坐标值,得到目标实体对象在当前场景图像中的位置信息。
S302,基于目标实体对象在当前场景图像中的位置信息,确定目标实体对象在预先建立的世界坐标系下的位置数据;以及,基于当前场景图像,确定AR设备在所述世界坐标系下的位置数据;
具体地,可以基于位置信息、图像坐标系和AR设备对应的相机坐标系之间的转换关系、以及AR设备对应的相机坐标系与世界坐标系之间的转换关系,确定目标实体对象在世界坐标系下的位置数据。
示例性地,AR设备对应的相机坐标系可以以AR设备包含的图像采集部件的聚焦中心为原点,以光轴为Z轴建立的三维直角坐标系,在AR设备拍摄到当前场景图像后,可以基于图像坐标系和相机坐标系之间的转换关系,确定出目标实体对象在相机坐标系下的位置数据。
示例性地,预先建立的世界坐标系可以以目标实体对象的中心点为原点进行建立,比如上文提到的在目标实体对象为日历的情况下,可以以日历的中心为原点,以通过日历中心的长边为X轴、以通过日历中心的短边为Y轴、以通过日历中心且垂直于日历封面的直线为Z轴进行建立的。
其中,相机坐标系和世界坐标系之间的转换为刚体转换,即相机坐标系经过旋转、平移可以与世界坐标系重合的一种转换方式,相机坐标系和世界坐标系之间的转换关系可以通过目标实体对象中的多个位置点在世界坐标系下的位置坐标,以及在相机坐标系下对应的位置坐标进行确定,在本公开中不进行赘述,这里在得到目标实体对象在相机坐标系下的位置数据后,可以基于AR设备对应的相机坐标系与世界坐标系之间的转换关系,确定出目标实体对象在世界坐标系下的位置数据。
示例性地,AR设备在世界坐标系下的位置数据可以通过AR设备拍摄的当前场景图像来确定,比如在当前场景图像中选定特征点,通过确定选定的特征点在以目标实体对象建立的世界坐标系下的位置坐标,以及选定的特征点在AR设备对应的相机坐标系下的位置坐标,可以确定出AR设备在拍摄当前场景图像时在世界坐标系下的位置数据。
S303,基于目标实体对象在世界坐标系下的位置数据和AR设备在世界坐标系下的位置数据,确定第一展示位置数据。
考虑到AR特效与目标实体对象在相同坐标系下具有预设位置关系,因此这里基于目标实体对象和AR设备在相同的世界坐标系下的位置数据,可以确定出AR特效相对于AR设备的第一展示位置数据。
示例性地,随着目标实体对象和/或AR设备的移动可以导致该第一展示位置数据发生变化,比如目标实体对象在世界坐标系下的位置数据发生变化,可以通过AR设备展示出随着目标实体对象的位置数据变化而变化的AR特效;或者,在AR设备在世界坐标系下的位置数据发生变化后,也可以通过AR设备展示出随着AR设备的位置数据变化而变化的AR特效;目标实体对象和AR设备同时发生移动导致的相对位置数据变化后,同样会导致AR特效的第一展示位置数据的变化,使得AR特效的展示发生变化,通过这样的方式可以带给用户更真实的AR体验,比如AR设备的朝向由目标实体对象的左侧移动目标实体对象的右侧,则用户通过AR设备可以看到AR特效的展示也发生了对应的转换。
第一展示姿态数据的确定过程与第一展示位置数据的确定过程相似,在此不再赘述。
本公开实施例中,通过确定出目标实体对象、AR设备在同一世界坐标系下的位置数据,可以进一步确定出AR特效相对于AR设备在同一世界坐标系下的第一展示位置数据,这样便于通过AR设备中展示出更为逼真的增强现实场景。
具体地,针对S303,在基于目标实体对象在世界坐标系下的位置数据和AR设备在世界坐标系下的位置数据,确定第一展示位置数据时,可以包括以下S3031~S3032:
S3031,基于目标实体对象在世界坐标系下的位置数据,确定AR特效在世界坐标系下的位置数据。
示例性地,可以按照目标实体对象在世界坐标系下的位置数据,以及预先设置的AR特效与目标实体对象在相同坐标系下的位置关系(详见上文描述),确定出AR特效在世界坐标系下的位置数据。
S3032,基于AR特效在世界坐标系下的位置数据和AR设备在世界坐标系下的位置数据,确定第一展示位置数据。
示例性地,在AR特效包含AR画面的情况下,AR特效在世界坐标系下的位置数据可以包含AR画面在世界坐标系下的位置,其中,AR画面在世界坐标系下的位置可以通过AR画面的中心点在世界坐标系下的坐标值表示。
在确定上文提到的第一展示姿态展示数据时,这里还需要AR画面在世界坐标系下的姿态,具体可以通过AR画面的指定方向与世界坐标系各个坐标轴之间的夹角表示。
对应地,AR设备在世界坐标系下的位置数据可以包含AR设备中的图像采集部件在世界坐标系下的位置,其中,图像采集部件在世界坐标系下的位置可以通过图像采集部件的设定位置点在世界坐标系下的坐标值表示。
在确定上文提到的第一展示姿态展示数据时,这里还需要图像采集部件在世界坐标系下的姿态,具体可以通过图像采集部件中摄像头的朝向方向与世界坐标系各个坐标轴之间的夹角表示。
示例性地,第一展示位置数据可以通过AR特效在世界坐标系下的位置和AR设备在世界坐标系下的位置确定;第一姿态数据具体可以通过AR特效在世界坐标系下的姿态和AR设备在世界坐标系下的姿态确定。
本公开实施例中,在识别到当前场景图像中包含目标实体对象的情况下,可以直接基于当前场景图像来准确的确定出目标实体对象和AR设备在世界坐标系下位置数据,从而便于准确快速的得到AR特效的第一展示位置数据。
针对上述S103,在通过第二定位方式确定AR特效的第二展示位置数据时,如图4所示,可以包括以下S401~S402:
S401,基于当前场景图像、历史场景图像、以及AR设备在拍摄历史场景图像时与目标实体对象在预先建立的世界坐标系下的相对位置数据,确定AR设备在拍摄当前场景图像时,与目标实体对象之间的相对位置数据。
示例性地,下面以当前场景图像为AR设备拍摄的第三帧场景图像为例,结合SLAM技术简要如何确定AR设备在拍摄当前场景图像时,与目标实体对象之间的相对位置数据。
从AR设备拍摄第一帧包含目标实体对象的场景图像开始,可以基于以目标实体对象的中心点为原点建立的世界坐标系,以及AR设备拍摄的第一帧场景图像中选定的特征点分别在世界坐标系和AR设备对应的相机坐标系下的位置坐标,确定出AR设备在拍摄第一帧场景图像时在世界坐标系下的位置数据,同时确定的还包含目标实体对象在AR设备在拍摄第一帧场景图像时在世界坐标系下的位置数据,基于AR设备在拍摄第一帧场景图像时在世界坐标系下的位置数据,以及目标实体对象在AR设备在拍摄第一帧场景图像时在世界坐标系下的位置数据,可以确定出AR设备拍摄第一帧场景图像时与目标实体对象在预先建立的世界坐标系下的相对位置数据。
进一步地,当AR设备拍摄第二帧场景图像时,可以在第二帧场景图像中找到第一帧场景图像中包含的目标特征点,基于目标特征点分别在AR设备拍摄这两帧场景图像时在相机坐标系下的位置数据,确定出AR设备在拍摄第二帧场景图像时相对于拍摄第一帧场景图像时的位置偏移量,然后基于该位置偏移量,以及AR设备在拍摄第一帧场景图像时与目标实体对象在预先建立的世界坐标系下的相对位置数据,确定出AR设备在拍摄第二帧场景图像时与目标实体对象在预先建立的世界坐标系下的相对位置数据。
进一步地,可以通过相同的方式,确定出AR设备在当前场景图像时,相对于拍摄第二帧场景图像时的位置偏移量,这样可以结合AR设备拍摄当前场景图像时相比拍摄第二帧场景图像时的位置偏移量,以及AR设备在拍摄第二帧场景图像时与目标实体对象在预先建立的世界坐标系下的相对位置数据,确定出AR设备在拍摄当前场景图像时与目标实体对象在预先建立的世界坐标系下的相对位置数据。
此外,还可以基于当前场景图像、历史场景图像、以及AR设备在拍摄历史场景图像时与目标实体对象在预先建立的世界坐标系下的相对姿态数据,确定AR设备在拍摄当前场景图像时,与目标实体对象之间的相对姿态数据,其中相对姿态数据的确定过程与上述相对位置数据的确定过程相似,在此不再赘述。
S402,基于相对位置数据,确定AR特效的第二展示位置数据。
示例性地,考虑到AR特效与目标实体对象在相同坐标系下具有预设位置关系,因此这里同样可以基于AR设备在拍摄当前场景图像时,与目标实体对象之间的相对位置数据,确定出AR特效相对于AR设备的第二展示位置数。
本公开实施例中,利用当前场景图像、历史场景图像、以及AR设备在拍摄历史场景图像时与目标实体对象在世界坐标系下的相对位置数据,能够较为准确的确定AR设备在拍摄当前场景图像时,与目标实体对象之间的相对位置数据,这样可以基于准确的相对位置数据,确定AR特效的第二展示位置数据,便于在识别不到目标实体对象的情况下,还可以对AR特效进行展示。
在一种实施方式中,AR特效还可以包括AR画面和与AR画面匹配的音频内容,针对上述S102,在基于第二展示位置数据,控制AR设备按照AR特效的已展示进度继续展示AR特效时,可以包括:
若在当前场景图像中未识别到目标实体对象,且AR画面未展示完毕,基于第二展示位置数据控制AR设备按照AR画面的已展示进度,继续展示与未展示的AR画面匹配的音频内容。
示例性地,在AR设备离开AR画面的展示位置范围的情况下,若此时AR画面的展示进度还未结束,此时AR画面的进度可以继续进行,但是用户无法通过AR设备观看到AR画面,只能听到与AR画面匹配的音频内容,依然带给用户AR特效的体验,在AR设备重新回到AR画面的展示位置范围的情况下,若AR画面依然未展示完毕,可以继续为用户展示未展示的AR画面和与该AR画面匹配的音频内容,带给用户连贯性的AR体验。
本公开实施例中,在无法识别到目标实体对象的情况下,若AR画面没有展示完毕,还可以继续对与AR画面匹配的音频内容进行展示,增加AR特效的展示连贯性,使得AR特效能够更加逼真的展示。
在一种实施方式中,本公开实施例提供的展示方法还包括:
若在当前场景图像中重新识别到目标实体对象,重新基于通过第一定位方式确定的第一展示位置数据,控制AR设备按照AR特效的已展示进度继续展示AR特效。
示例性地,在基于第二展示位置数据,控制AR设备按照AR特效的已展示进度继续展示AR特效的过程中,针对AR设备拍摄的当前场景图像,可以继续进行图像识别,识别当前场景图像中是否包含目标实体对象,在识别到当前场景图像中包含目标实体对象的情况下,依旧继续通过第一定位方式来确定的第一展示位置数据,来控制AR设备按照AR特效的已展示进度继续展示AR特效。
本公开实施例中,在识别到目标实体对象后,可以基于准确度较高的第一定位方式重新确定第一展示位置数据,从而提高AR特效的位置展示准确度。
在一种实施方式中,在控制AR设备展示AR特效之前,展示方法还包括:
获取与目标实体对象匹配的AR特效;AR特效中包含多个虚拟对象分别对应的特效数据。
示例性地,在首次识别到目标实体对象时,可以获取与该目标实体对象匹配的AR特效。
AR特效中每个虚拟对象对应的特效数据可以包含该虚拟对象在通过AR设备展示时的形貌、颜色、以及对应的音频内容等数据。
在控制AR设备展示AR特效时,包括:
按照多个虚拟对象分别对应的特效数据的展示顺序,控制AR设备依次展示多个虚拟对象分别对应的特效数据。
示例性地,在包含AR特效包含多个虚拟对象时,可与预先设定好每个虚拟对象在AR设备中展示时的展示顺序,也可以基于每个虚拟对象的属性信息,以及预先设定不同属性的展示顺序,确定多个虚拟对象分别对应的特效数据的展示数据,其中,属性信息可以包含静态物体、动态物体以及动态人物等。
本公开实施例中,可以向用户展示多个虚拟对象构成的AR特效,使得AR特效的展示更加生动。
在一种实施方式中,目标实体对象包含日历,在控制AR设备展示AR特效之前,本公开实施例提出的展示方法还包括:
获取与日历匹配的AR特效;AR特效中包含基于日历的封面内容生成的第一特效数据。
这里的第一特效数据可以为与日历的封面内容对应的多个虚拟对象分别对应的第一特效数据。
示例性地,AR特效中包含虚拟对象卡通龙、卡通松鼠、包裹日历封面的虚拟日历封面、虚拟文字、祥云等,还可以包含各个虚拟对象在通过AR展示时的展示顺序。
在控制AR设备展示AR特效时,可以包括:
在识别到日历的封面内容的情况下,基于第一特效数据,控制AR设备展示与日历的封面内容匹配的AR特效。
示例性地,在识别到日历的封面内容的情况下,基于第一特效数据,以及设置好的展示顺序,可以触发先展示出包裹日历封面的虚拟日历封面,然后以动态形式展示出日历的虚拟标题,接着可以出现祥云,然后卡通龙和卡通松鼠展示在虚拟日历封面上,开始以对话的形式对日历进行详情介绍,并在介绍完毕后,结束AR特效的展示。
如图5所示,是在控制AR设备展示与日历封面内容匹配的AR特效的过程中展示的AR画面,用户可以通过观看AR画面并听对应的音频内容,来了解该日历。
本公开实施例中,在识别到日历封面的情况下,可以在日历封面上展示介绍日历的AR特效,丰富日历的展示内容,提高用户对日历的观看兴趣。
在一种实施方式中,目标实体对象包含日历,在控制AR设备展示AR特效之前,本公开实施例提供的展示方法还包括:
获取与日历匹配的AR特效;AR特效中包含基于日历中的至少一个预设日期在历史同期的标记事件生成的第二特效数据;
示例性地,日历中包含一些在历史同期中发生过特定事件的预设日期,比如1月1号为元旦节,可以基于在历史中的元旦节发生过的事件生成AR特效,该AR特效中的第二特效数据可以包含基于历史同期发生的事件生成的虚拟文字、音频内容以及虚拟画面等,同时还可以包含各个第二特效数据之间的展示顺序。
在控制AR设备展示AR特效时,可以包括:
在识别到日历中的至少一个预设日期的情况下,基于第二特效数据,控制AR设备展示与日历中的至少一个预设日期匹配的AR特效。
示例性地,在AR设备拍摄的当前场景图像中包含预设日期时,可以按照第二特效数据,控制AR设备对预设日期在历史同期发生的事件进行展示介绍。
本公开实施例中,在向用户展示日历的同时,在获取到日历上的预设日期的情况下,还可以向用户展示与预设日期对应的AR特效,丰富日历的展示内容。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思,本公开实施例中还提供了与增强现实场景下的展示方法对应的增强现实场景下的展示装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述展示方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图6所示,为本公开实施例提供的一种增强现实场景下的展示装置500的结构示意图,该展示装置包括:
获取模块501,用于获取AR设备拍摄的当前场景图像;
第一控制模块502,用于在识别到当前场景图像中包含目标实体对象的情况下,通过第一定位方式确定与目标实体对象匹配的AR特效的第一展示位置数据,并基于第一展示位置数据,控制AR设备展示AR特效;
第二控制模块503,用于在展示AR特效的过程中,响应于在当前场景图像中未识别到目标实体对象,通过第二定位方式确定AR特效的第二展示位置数据,并基于第二展示位置数据,控制AR设备按照AR特效的已展示进度继续展示AR特效。
在一种可能的实施方式中,获取模块501还用于按照以下方式识别当前场景图像中是否包含目标实体对象:
对当前场景图像进行特征点提取,得到当前场景图像包含的多个特征点分别对应的特征信息;多个特征点位于当前场景图像中的目标检测区域中;
基于多个特征点分别对应的特征信息与预先存储的目标实体对象包含的多个特征点分别对应的特征信息进行比对,确定当前场景图像中是否包含目标实体对象。
在一种可能的实施方式中,第一控制模块502在用于通过第一定位方式确定与目标实体对象匹配的AR特效的第一展示位置数据时,包括:
获取目标实体对象在当前场景图像中的位置信息;
基于目标实体对象在当前场景图像中的位置信息,确定目标实体对象在预先建立的世界坐标系下的位置数据;以及基于当前场景图像确定AR设备在世界坐标系下的位置数据;
基于目标实体对象在世界坐标系下的位置数据和AR设备在世界坐标系下的位置数据,确定第一展示位置数据。
在一种可能的实施方式中,第一控制模块502在用于基于目标实体对象在当前场景图像中的位置信息,确定目标实体对象在预先建立的世界坐标系下的位置数据,包括:
基于位置信息、图像坐标系和AR设备对应的相机坐标系之间的转换关系、以及AR设备对应的相机坐标系与世界坐标系之间的转换关系,确定目标实体对象在世界坐标系下的位置数据;
第一控制模块502在用于基于目标实体对象在世界坐标系下的位置数据和AR设备在世界坐标系下的位置数据,确定第一展示位置数据时,包括:
基于目标实体对象在世界坐标系下的位置数据,确定AR特效在世界坐标系下的位置数据;
基于AR特效在世界坐标系下的位置数据和AR设备在世界坐标系下的位置数据,确定第一展示位置数据。
在一种可能的实施方式中,第二控制模块503在用于通过第二定位方式确定AR特效的第二展示位置数据时,包括:
基于当前场景图像、历史场景图像、以及AR设备在拍摄历史场景图像时与目标实体对象在预先建立的世界坐标系下的相对位置数据,确定AR设备在拍摄当前场景图像时,与目标实体对象之间的相对位置数据;
基于相对位置数据,确定AR特效的第二展示位置数据。
在一种可能的实施方式中,AR特效包括AR画面和与AR画面匹配的音频内容,第二控制模块503在用于基于第二展示位置数据,控制AR设备按照AR特效的已展示进度继续展示AR特效时,包括:
若在当前场景图像中未识别到目标实体对象,且AR画面未展示完毕,基于第二展示位置数据控制AR设备按照AR画面的已展示进度,继续展示与未展示的AR画面匹配的音频内容。
在一种可能的实施方式中,第一控制模块502还用于:
若在当前场景图像中重新识别到目标实体对象,重新基于通过第一定位方式确定的第一展示位置数据,控制AR设备按照AR特效的已展示进度继续展示AR特效。
在一种可能的实施方式中,在第一控制模块502控制AR设备展示AR特效之前,获取模块501还用于:
获取与目标实体对象匹配的AR特效;AR特效中包含多个虚拟对象分别对应的特效数据;
第一控制模块502在用于控制AR设备展示AR特效时,包括:
按照多个虚拟对象分别对应的特效数据的展示顺序,控制AR设备依次展示多个虚拟对象分别对应的特效数据。
在一种可能的实施方式中,目标实体对象包含日历,在第一控制模块控制AR设备展示AR特效之前,获取模块501还用于:
获取与日历匹配的AR特效;AR特效中包含基于日历的封面内容生成的第一特效数据;
第一控制模块502在用于控制AR设备展示AR特效,包括:
在识别到日历的封面内容的情况下,基于第一特效数据,控制AR设备展示与日历的封面内容匹配的AR特效。
在一种可能的实施方式中,目标实体对象包含日历,在第一控制模块502控制AR设备展示AR特效之前,获取模块501还用于:
获取与日历匹配的AR特效;AR特效中包含基于日历中的至少一个预设日期在历史同期的标记事件生成的第二特效数据;
第一控制模块502在用于控制AR设备展示AR特效时,包括:
在识别到日历中的至少一个预设日期的情况下,基于第二特效数据,控制AR设备展示与日历中的至少一个预设日期匹配的AR特效。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
对应于图1中的增强现实场景下的展示方法,本公开实施例还提供了一种电子设备600,如图7所示,为本公开实施例提供的电子设备600结构示意图,包括:
处理器61、存储器62、和总线63;存储器62用于存储执行指令,包括内存621和外部存储器622;这里的内存621也称内存储器,用于暂时存放处理器61中的运算数据,以及与硬盘等外部存储器622交换的数据,处理器61通过内存621与外部存储器622进行数据交换,当电子设备600运行时,处理器61与存储器62之间通过总线63通信,使得处理器61执行以下指令:获取AR设备拍摄的当前场景图像;在识别到当前场景图像中包含目标实体对象的情况下,通过第一定位方式确定与目标实体对象匹配的AR特效的第一展示位置数据,并基于第一展示位置数据,控制AR设备展示AR特效;在展示AR特效的过程中,响应于在当前场景图像中未识别到目标实体对象,通过第二定位方式确定AR特效的第二展示位置数据,并基于第二展示位置数据,控制AR设备按照AR特效的已展示进度继续展示AR特效。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的增强现实场景下的展示方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的增强场景下的展示方法的步骤,具体可参见上述方法实施例,在此不再赘述。
其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种增强现实场景下的展示方法,其特征在于,包括:
获取AR设备拍摄的当前场景图像;
在识别到所述当前场景图像中包含目标实体对象的情况下,通过第一定位方式确定与所述目标实体对象匹配的AR特效的第一展示位置数据,并基于所述第一展示位置数据,控制所述AR设备展示所述AR特效;
在展示所述AR特效的过程中,响应于在所述当前场景图像中未识别到所述目标实体对象,通过第二定位方式确定所述AR特效的第二展示位置数据,并基于所述第二展示位置数据,控制所述AR设备按照所述AR特效的已展示进度继续展示所述AR特效;其中,所述AR特效包括AR画面和与所述AR画面匹配的音频内容,所述基于所述第二展示位置数据,控制所述AR设备按照所述AR特效的已展示进度继续展示所述AR特效,包括:
若在所述当前场景图像中未识别到所述目标实体对象,且所述AR画面未展示完毕,基于所述第二展示位置数据控制所述AR设备按照所述AR画面的已展示进度,继续展示与未展示的所述AR画面匹配的音频内容。
2.根据权利要求1所述的展示方法,其特征在于,按照以下方式识别所述当前场景图像中是否包含所述目标实体对象:
对所述当前场景图像进行特征点提取,得到所述当前场景图像包含的多个特征点分别对应的特征信息;所述多个特征点位于所述当前场景图像中的目标检测区域中;
基于所述多个特征点分别对应的特征信息与预先存储的所述目标实体对象包含的多个特征点分别对应的特征信息进行比对,确定所述当前场景图像中是否包含所述目标实体对象。
3.根据权利要求1或2所述的展示方法,其特征在于,所述通过第一定位方式确定与所述目标实体对象匹配的AR特效的第一展示位置数据,包括:
获取所述目标实体对象在所述当前场景图像中的位置信息;
基于所述目标实体对象在所述当前场景图像中的位置信息,确定所述目标实体对象在预先建立的世界坐标系下的位置数据;以及,基于所述当前场景图像,确定所述AR设备在所述世界坐标系下的位置数据;
基于所述目标实体对象在所述世界坐标系下的位置数据和所述AR设备在所述世界坐标系下的位置数据,确定所述第一展示位置数据。
4.根据权利要求3所述的展示方法,其特征在于,所述基于所述目标实体对象在所述当前场景图像中的位置信息,确定所述目标实体对象在预先建立的世界坐标系下的位置数据,包括:
基于所述位置信息、图像坐标系和AR设备对应的相机坐标系之间的转换关系、以及AR设备对应的相机坐标系与所述世界坐标系之间的转换关系,确定所述目标实体对象在所述世界坐标系下的位置数据;
所述基于所述目标实体对象在所述世界坐标系下的位置数据和所述AR设备在所述世界坐标系下的位置数据,确定所述第一展示位置数据,包括:
基于所述目标实体对象在所述世界坐标系下的位置数据,确定所述AR特效在所述世界坐标系下的位置数据;
基于所述AR特效在所述世界坐标系下的位置数据和所述AR设备在所述世界坐标系下的位置数据,确定所述第一展示位置数据。
5.根据权利要求1或2所述的展示方法,其特征在于,所述通过第二定位方式确定所述AR特效的第二展示位置数据,包括:
基于所述当前场景图像、历史场景图像、以及所述AR设备在拍摄所述历史场景图像时与所述目标实体对象在预先建立的世界坐标系下的相对位置数据,确定所述AR设备在拍摄当前场景图像时,与所述目标实体对象之间的相对位置数据;
基于所述相对位置数据,确定所述AR特效的第二展示位置数据。
6.根据权利要求1或2所述的展示方法,其特征在于,所述展示方法还包括:
若在所述当前场景图像中重新识别到所述目标实体对象,重新基于通过所述第一定位方式确定的所述第一展示位置数据,控制AR设备按照所述AR特效的已展示进度继续展示所述AR特效。
7.根据权利要求1或2所述的展示方法,其特征在于,在控制所述AR设备展示所述AR特效之前,所述展示方法还包括:
获取与所述目标实体对象匹配的AR特效;所述AR特效中包含多个虚拟对象分别对应的特效数据;
所述控制所述AR设备展示所述AR特效,包括:
按照所述多个虚拟对象分别对应的特效数据的展示顺序,控制所述AR设备依次展示所述多个虚拟对象分别对应的特效数据。
8.根据权利要求1或2所述的展示方法,其特征在于,所述目标实体对象包含日历,在控制所述AR设备展示所述AR特效之前,所述展示方法还包括:
获取与所述日历匹配的AR特效;所述AR特效中包含基于所述日历的封面内容生成的第一特效数据;
所述控制所述AR设备展示所述AR特效,包括:
在识别到所述日历的封面内容的情况下,基于所述第一特效数据,控制所述AR设备展示与所述日历的封面内容匹配的所述AR特效。
9.根据权利要求1或2所述的展示方法,其特征在于,所述目标实体对象包含日历,在控制所述AR设备展示所述AR特效之前,所述展示方法还包括:
获取与所述日历匹配的AR特效;所述AR特效中包含基于所述日历中的至少一个预设日期在历史同期的标记事件生成的第二特效数据;
所述控制所述AR设备展示所述AR特效,包括:
在识别到所述日历中的至少一个预设日期的情况下,基于所述第二特效数据,控制所述AR设备展示与所述日历中的至少一个预设日期匹配的所述AR特效。
10.一种增强现实场景下的展示装置,其特征在于,包括:
获取模块,用于获取AR设备拍摄的当前场景图像;
第一控制模块,用于在识别到所述当前场景图像中包含目标实体对象的情况下,通过第一定位方式确定与所述目标实体对象匹配的AR特效的第一展示位置数据,并基于所述第一展示位置数据,控制所述AR设备展示所述AR特效;
第二控制模块,用于在展示所述AR特效的过程中,响应于在所述当前场景图像中未识别到所述目标实体对象,通过第二定位方式确定所述AR特效的第二展示位置数据,并基于所述第二展示位置数据,控制所述AR设备按照所述AR特效的已展示进度继续展示所述AR特效;其中,所述AR特效包括AR画面和与所述AR画面匹配的音频内容,所述第二控制模块,在所述基于所述第二展示位置数据,控制所述AR设备按照所述AR特效的已展示进度继续展示所述AR特效时,用于:
若在所述当前场景图像中未识别到所述目标实体对象,且所述AR画面未展示完毕,基于所述第二展示位置数据控制所述AR设备按照所述AR画面的已展示进度,继续展示与未展示的所述AR画面匹配的音频内容。
11.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至9任一所述的展示方法的步骤。
12.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至9任一所述的展示方法的步骤。
CN202011232913.8A 2020-11-06 2020-11-06 增强现实场景下的展示方法、装置、电子设备及存储介质 Active CN112348968B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011232913.8A CN112348968B (zh) 2020-11-06 2020-11-06 增强现实场景下的展示方法、装置、电子设备及存储介质
JP2022530223A JP2023504608A (ja) 2020-11-06 2021-06-24 拡張現実場面における表示方法、装置、機器、媒体及びプログラム
PCT/CN2021/102206 WO2022095468A1 (zh) 2020-11-06 2021-06-24 增强现实场景下的展示方法、装置、设备、介质及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011232913.8A CN112348968B (zh) 2020-11-06 2020-11-06 增强现实场景下的展示方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112348968A CN112348968A (zh) 2021-02-09
CN112348968B true CN112348968B (zh) 2023-04-25

Family

ID=74428956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011232913.8A Active CN112348968B (zh) 2020-11-06 2020-11-06 增强现实场景下的展示方法、装置、电子设备及存储介质

Country Status (3)

Country Link
JP (1) JP2023504608A (zh)
CN (1) CN112348968B (zh)
WO (1) WO2022095468A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348968B (zh) * 2020-11-06 2023-04-25 北京市商汤科技开发有限公司 增强现实场景下的展示方法、装置、电子设备及存储介质
CN113240819A (zh) * 2021-05-24 2021-08-10 中国农业银行股份有限公司 穿戴效果的确定方法、装置和电子设备
CN113359986B (zh) * 2021-06-03 2023-06-20 北京市商汤科技开发有限公司 增强现实数据展示方法、装置、电子设备及存储介质
CN113867875A (zh) * 2021-09-30 2021-12-31 北京市商汤科技开发有限公司 标记对象的编辑及显示方法、装置、设备、存储介质
CN114327059A (zh) * 2021-12-24 2022-04-12 北京百度网讯科技有限公司 手势处理方法、装置、设备以及存储介质
CN116663329B (zh) * 2023-07-26 2024-03-29 安徽深信科创信息技术有限公司 自动驾驶仿真测试场景生成方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013001902A1 (ja) * 2011-06-27 2013-01-03 株式会社コナミデジタルエンタテインメント 画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体
CN110180167A (zh) * 2019-06-13 2019-08-30 张洋 增强现实中智能玩具追踪移动终端的方法
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN111640169A (zh) * 2020-06-08 2020-09-08 上海商汤智能科技有限公司 历史事件呈现方法、装置、电子设备及存储介质
CN111667588A (zh) * 2020-06-12 2020-09-15 上海商汤智能科技有限公司 人物图像处理方法、装置、ar设备以及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170092001A1 (en) * 2015-09-25 2017-03-30 Intel Corporation Augmented reality with off-screen motion sensing
US10748342B2 (en) * 2018-06-19 2020-08-18 Google Llc Interaction system for augmented reality objects
CN110475150B (zh) * 2019-09-11 2021-10-08 广州方硅信息技术有限公司 虚拟礼物特效的渲染方法和装置、直播系统
CN112348968B (zh) * 2020-11-06 2023-04-25 北京市商汤科技开发有限公司 增强现实场景下的展示方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013001902A1 (ja) * 2011-06-27 2013-01-03 株式会社コナミデジタルエンタテインメント 画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体
CN110180167A (zh) * 2019-06-13 2019-08-30 张洋 增强现实中智能玩具追踪移动终端的方法
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN111640169A (zh) * 2020-06-08 2020-09-08 上海商汤智能科技有限公司 历史事件呈现方法、装置、电子设备及存储介质
CN111667588A (zh) * 2020-06-12 2020-09-15 上海商汤智能科技有限公司 人物图像处理方法、装置、ar设备以及存储介质

Also Published As

Publication number Publication date
JP2023504608A (ja) 2023-02-06
CN112348968A (zh) 2021-02-09
WO2022095468A1 (zh) 2022-05-12

Similar Documents

Publication Publication Date Title
CN112348968B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN112348969B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN111880657B (zh) 一种虚拟对象的控制方法、装置、电子设备及存储介质
US9595127B2 (en) Three-dimensional collaboration
CN111638793B (zh) 飞行器的展示方法、装置、电子设备及存储介质
US20120162384A1 (en) Three-Dimensional Collaboration
CN112148197A (zh) 增强现实ar交互方法、装置、电子设备及存储介质
CN109743892B (zh) 虚拟现实内容的显示方法和装置
CN106355153A (zh) 一种基于增强现实的虚拟对象显示方法、装置以及系统
CN111640197A (zh) 一种增强现实ar特效控制方法、装置及设备
CN111694430A (zh) 一种ar场景画面呈现方法、装置、电子设备和存储介质
CN111696215A (zh) 一种图像处理方法、装置及设备
CN112181141B (zh) Ar定位的方法、装置、电子设备及存储介质
CN111679742A (zh) 基于ar的交互控制方法、装置、电子设备及存储介质
CN112882576B (zh) Ar交互方法、装置、电子设备及存储介质
CN111833457A (zh) 图像处理方法、设备及存储介质
CN111639613B (zh) 一种增强现实ar特效生成方法、装置及电子设备
CN111882674A (zh) 虚拟对象的调整方法、装置、电子设备及存储介质
CN111651057A (zh) 一种数据展示方法、装置、电子设备及存储介质
CN111667588A (zh) 人物图像处理方法、装置、ar设备以及存储介质
JP2022507502A (ja) 拡張現実(ar)のインプリント方法とシステム
CN112905014A (zh) Ar场景下的交互方法、装置、电子设备及存储介质
CN111569414A (zh) 虚拟飞行器的飞行展示方法、装置、电子设备及存储介质
WO2022166173A1 (zh) 视频资源处理方法、装置、计算机设备、存储介质及程序
CN114067085A (zh) 一种虚拟对象的显示方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40039700

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant