CN112653848B - 增强现实场景下的展示方法、装置、电子设备及存储介质 - Google Patents

增强现实场景下的展示方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112653848B
CN112653848B CN202011536813.4A CN202011536813A CN112653848B CN 112653848 B CN112653848 B CN 112653848B CN 202011536813 A CN202011536813 A CN 202011536813A CN 112653848 B CN112653848 B CN 112653848B
Authority
CN
China
Prior art keywords
target
target object
motion state
special effect
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011536813.4A
Other languages
English (en)
Other versions
CN112653848A (zh
Inventor
栾青
侯欣如
王鼎禄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202011536813.4A priority Critical patent/CN112653848B/zh
Publication of CN112653848A publication Critical patent/CN112653848A/zh
Application granted granted Critical
Publication of CN112653848B publication Critical patent/CN112653848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供了一种增强现实场景下的展示方法、装置、电子设备及存储介质,其中,该展示方法包括:获取目标场所内设置的多个采集设备采集的视频流,所述多个采集设备的采集范围分别为所述目标场所中不同设定子区域的范围;从所述多个采集设备采集的所述视频流中识别多帧目标视频画面,所述多帧目标视频画面的采集时间相同且包含同一目标对象;基于多帧目标视频画面,识别在所述目标场所内的目标对象的运动状态信息;通过增强现实AR设备展示与所述运动状态信息对应的AR特效。

Description

增强现实场景下的展示方法、装置、电子设备及存储介质
技术领域
本公开涉及增强现实技术领域,具体而言,涉及一种增强现实场景下的展示方法、装置、电子设备及存储介质。
背景技术
增强现实(Augmented Reality,AR)技术是一种将虚拟对象与真实场景巧妙融合的技术,将计算机生成的文字、图像、三维模型、音乐、视频等虚拟对象模拟仿真后,应用到真实世界中,从而呈现增强现实场景。
随着AR技术的发展,该技术逐渐应用于多种领域,为用户的生活带来全新体验和便利,比如可以在AR设备中展示叠加在不同真实场景中的虚拟对象,带给用户增强现实的体验。
针对真实场景不断变化的情况,比如在运动比赛场景中,赛场的运动员的运动状态在不断变化,如何基于AR技术提高用户在观看运动比赛场景中观赛体验,帮助用户更好地观看运动员在比赛场景中的运动状态是值得研究的问题。
发明内容
本公开实施例至少提供一种增强现实场景下的展示方案。
第一方面,本公开实施例提供了一种增强现实场景下的展示方法,包括:
获取目标场所内设置的多个采集设备采集的视频流,所述多个采集设备的采集范围分别为所述目标场所中不同设定子区域的范围;
从所述多个采集设备采集的所述视频流中识别多帧目标视频画面,所述多帧目标视频画面的采集时间相同且包含同一目标对象;
基于多帧目标视频画面,识别在所述目标场所内的目标对象的运动状态信息;
通过增强现实AR设备展示与所述运动状态信息对应的AR特效。
本公开实施例中,在目标场所内可以设置多个采集设备,多个采集设备可以对不同设定子区域进行视频流采集,从而可以多方位采集同一目标对象对应的视频画面,基于此可以准确地确定目标对象在目标场所内的运动状态信息,从而可以基于运动状态信息将匹配的AR特效传输到观众佩戴的AR设备上,通过AR设备向观众不断展示出与变化的现实场景匹配的AR特效,由此实现在观赛场景中向观众精准展示运动场地内的运动对象的不同运动状态,提高观赛体验。
在一种可能的实施方式中,所述基于多帧目标视频画面,识别在所述目标场所内的目标对象的运动状态信息,包括:
基于所述多帧目标视频画面,和预先构建的表征包含各所述设定子区域的所述目标场所的空间模型,确定在所述目标场所内的目标对象的运动状态信息。
本公开实施例中,引入预先构建的表征包含各所述设定子区域的所述目标场所的空间模型,可以快速将目标对象在二维视频流中的运动状态信息转换成三维空间模型中的运动状态信息,从而便于快速准确确定出目标对象的运动状态信息。
在一种可能的实施方式中,所述基于所述多帧目标视频画面,和预先构建的表征包含各所述设定子区域的所述目标场所的空间模型,确定在所述目标场所内的目标对象的运动状态信息,包括:
检测所述目标对象分别在所述多帧目标视频画面中的第一位姿数据;
基于多个所述第一位姿数据,以及图像坐标系和预先构建的所述空间模型的坐标系之间的转换关系,确定所述目标对象在同一时刻下在所述空间模型下的多个第二位姿数据;
基于所述多个第二位姿数据,确定所述目标对象在所述同一时刻下的目标第二位姿数据;
基于所述目标第二位姿数据,确定所述目标对象的运动状态信息。
本公开实施例中,一方面通过二维的图像坐标系和三维的空间模型之间的转换关系,可以将目标对象在目标视频帧下的第一位姿数据转换为在三维的空间模型下的第二位姿数据,从而便于从三维空间上准确的确定出目标对象的位姿,另一方面,可以通过拼接多个角度下的第二位姿数据,全方位的得到目标对象在目标场所内的目标第二位姿数据,基于此,可以进一步快速准确的确定出目标对象在目标场所中的运动状态信息。
在一种可能的实施方式中,所述基于所述目标第二位姿数据,确定所述目标对象的运动状态信息,包括:
基于所述目标第二位姿数据,确定所述目标对象的运动属性信息;
基于所述目标对象的运动属性信息,以及预设的目标属性阈值和/或所述目标场所内目标区域的位置范围信息,确定所述目标对象的运动状态信息。
本公开实施例中,考虑到目标对象的运动状态的多样性,通过将预设的目标属性值阈值和/或目标区域的位置范围信息作为运动状态的判断标准,可准确掌握目标对象当前属于哪一类具体的运动状态,以便快速准确地确定匹配的AR特效。
在一种可能的实施方式中,所述运动属性信息包含运动姿态数据;基于所述目标对象的运动属性信息,以及预设的目标属性值阈值,确定所述目标对象的运动状态信息,包括:
基于所述目标对象的运动姿态数据,以及预设的目标属性值阈值,检测到所述目标对象的运动状态与所述预设运动状态匹配的情况下,确定所述目标对象的运动状态信息为处于所述预设运动状态。
本公开实施例中,可以根据目标对象的运动姿态数据以及预设目标属性值阈值,快速确定目标对象是否处于预设运动状态,从而可以快速生成与运动状态信息匹配的AR特效,便于通过AR设备向用户展示和目标对象当前的运动状态紧密贴合的AR特效。
在一种可能的实施方式中,所述运动属性信息包含运动位置数据;基于所述目标对象的运动属性信息,以及所述目标场所内目标区域的位置范围信息,确定所述目标对象的运动状态信息,包括:
基于所述目标对象的运动位置数据,以及所述目标场所内目标区域的位置范围信息,检测到所述目标对象进入所述目标区域内的情况下,确定所述目标对象的运动状态信息为位于所述目标区域内对应的运动状态。
本公开实施例中,可以根据目标对象的运动位置数据以及目标场所内目标区域的位置范围信息,快速确定目标对象是否进入目标区域,从而可以快速生成与进入目标区域的运动状态匹配的AR特效,便于通过AR设备向用户展示和目标对象当前的运动状态紧密贴合的AR特效。
在一种可能的实施方式中,所述通过增强现实AR设备展示与所述运动状态信息对应的AR特效,包括:
检测到目标对象的运动状态信息指示预设运动状态和/或指示所述目标对象进入目标区域,通过所述AR设备展示与所述运动状态信息对应的AR特效。
本公开实施例中,考虑到并不是全部的运动过程都适合展示AR特效,故基于具体应用场景可设置好触发AR特效的展示条件,比如在运动状态信息指示预设运动状态或进入目标区域的条件下,触发展示对应的AR特效,由此可使得AR设备上展示的AR特效更具有针对性,更符合当前应用场景的展示需求。
在一种可能的实施方式中,按照以下方式构建表征包含各所述设定子区域的所述目标场所的空间模型:
获取所述目标场所内对应不同设定子区域的采集设备拍摄的样本图像;
基于每个设定子区域对应的所述样本图像,确定该设定子区域对应的区域模型;
将不同设定子区域分别对应的区域模型进行融合,得到所述空间模型。
本公开实施例中,可以基于不同的设定子区域分别对应的样本图像,以及预先对采集设备进行标定确定的图像坐标系和目标场所对应的坐标系之间的转换关系,快速生成空间模型,为后期确定目标对象的运动状态信息提供便利。
在一种可能的实施方式中,所述基于每个设定子区域对应的所述样本图像,确定该设定子区域对应的区域模型,包括:
提取每个设定子区域对应的样本图像中包含的多个特征点在图像坐标系下分别对应的第一位置信息;
基于所述多个特征点分别对应的第一位置信息、所述图像坐标系和所述目标场所对应的坐标系之间的转换关系,确定所述多个特征点在所述目标场所对应的坐标系下分别对应的第二位置信息;
基于所述多个特征点分别对应的第二位置信息,生成该设定子区域对应的区域模型。
本公开实施例中,通过坐标系转换关系,可以快速确定每个设定子区域对应的样本图像中的特征点在目标场所对应的坐标系下的第二位置信息后,基于此可以快速得到表征该设定子区域的区域模型。
在一种可能的实施方式中,所述将不同设定子区域分别对应的区域模型进行融合,得到所述空间模型,包括:
按照每个区域模型包含的多个特征点分别对应的第二位置信息,将对应相同第二位置信息的特征点对齐,生成所述空间模型。
本公开实施例中,通过每个区域模型中对应相同第二位置信息的特征点,可以准确地将多个区域模型进行拼接构成空间模型。
在一种可能的实施方式中,所述通过增强现实AR设备展示与所述运动状态信息对应的AR特效,包括:
获取目标AR设备拍摄的目标现实场景图像;
识别所述目标现实场景图像中出现在所述设定子区域的待处理目标对象;
获取与所述待处理目标对象的运动状态信息匹配的待处理AR特效数据;
通过所述目标AR设备展示由所述待处理AR特效数据生成的目标AR特效。
本公开实施例中,通过对目标AR设备拍摄的目标现实场景图像进行识别,可以根据识别到的待处理目标对象获取与待处理目标对象的运动状态匹配的待处理AR特效数据,从而可以通过AR设备精准地展示出与AR设备拍摄的目标现实场景图像匹配的AR特效。
在一种可能的实施方式中,所述通过所述目标AR设备展示由所述待处理AR特效数据生成的目标AR特效,包括:
确定所述待处理AR特效数据生成的所述目标AR特效在所述目标AR设备上的展示位姿;
在所述目标AR设备上展示具有所述展示位姿的目标AR特效。
本公开实施例中,可以确定目标AR特效在目标AR设备上的展示位姿,按照此展示位姿进行展示,能够使得展示的AR特效与用户当前观看的实际内容紧密关联,提升观看体验。
在一种可能的实施方式中,所述确定所述待处理AR特效数据生成的所述目标AR特效在所述目标AR设备上的展示位姿,包括:
获取所述待处理AR特效数据的第三位姿数据;
基于所述待处理AR特效数据的第三位姿数据以及所述目标AR设备的第四位姿数据,确定所述目标AR特效在所述目标AR设备上的展示位姿。
本公开实施例中,可以根据待处理AR特效的第三位姿数据、以及目标AR设备的第四位姿数据,确定出目标AR特效在目标AR设备上的展示位姿,从而便于通过AR设备中展示出更为逼真的AR特效。
第二方面,本公开实施例提供了一种增强现实场景下的展示装置,包括:
获取模块,用于获取目标场所内设置的多个采集设备采集的视频流,所述多个采集设备的采集范围分别为所述目标场所中不同设定子区域的范围;
第一识别模块,用于从所述多个采集设备采集的所述视频流中识别多帧目标视频画面,所述多帧目标视频画面的采集时间相同且包含同一目标对象;
第二识别模块,用于基于多帧目标视频画面,识别在所述目标场所内的目标对象运动状态信息;
展示模块,用于通过增强现实AR设备展示与所述运动状态信息对应的AR特效。
第三方面,本公开实施例提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如第一方面所述的展示方法的步骤。
第四方面,本公开实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如第一方面所述的展示方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种增强现实场景下的展示方法的流程图;
图2示出了本公开实施例所提供的一种AR特效的展示示意图;
图3示出了本公开实施例所提供的一种确定目标对象的运动状态信息的方法流程图;
图4示出了本公开实施例所提供的一种生成空间模型的方法流程;
图5示出了本公开实施例所提供的一种展示AR特效的方法流程图;
图6示出了本公开实施例所提供的一种增强现实场景下的展示装置的结构示意图;
图7示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
增强现实(Augmented Reality,AR)技术可以应用于AR设备中,AR设备可以为任何能够支持AR功能的电子设备,包括但不限于AR眼镜、平板电脑、智能手机等。当AR设备在现实场景中被操作时,通过该AR设备可以观看到叠加在现实场景中的虚拟对象,随着AR技术的发展,该技术逐渐应用于多种领域,为用户的生活带来全新体验和便利,如何在运动比赛场景下结合AR技术,为用户展示增强现实场景,为本公开实施例所要讨论的内容,下面将结合以下具体实施例进行阐述。
基于上述研究,本公开提供了一种增强现实场景下的展示方法,在目标场所内可以设置多个采集设备,多个采集设备可以对不同设定子区域进行视频流采集,从而可以多方位采集同一目标对象对应的视频画面,基于此可以准确地确定目标对象在目标场所内的运动状态信息,从而可以基于运动状态信息将匹配的AR特效传输到观众佩戴的AR设备上,通过AR设备向观众不断展示出与变化的现实场景匹配的AR特效,由此实现在观赛场景中向观众精准展示运动场地内的运动对象的不同运动状态,提高观赛体验。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种增强现实场景下的展示方法进行详细介绍,本公开实施例所提供的增强现实场景下的展示方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:服务器或其它处理设备,本公开实施例中不作限定。在一些可能的实现方式中,该增强现实场景下的展示方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示,为本公开实施例提供的增强现实场景下的展示方法的流程图,该展示方法包括以下S101~S104:
S101,获取目标场所内设置的多个采集设备采集的视频流,所述多个刺激设备的采集范围分别为目标场所中不同设定子区域的范围。
示例性地,目标场所可以进行运动比赛的场地,可以包含多个设定子区域,目标场所内可以设置有多个采集设备,每个采集设备用于对其中一个设定子区域进行视频流采集,以目标场所为体育馆为例,体育馆中设置有多个采集设备,每个采集设备包含用于采集彩色图像的摄像头或者用于采集灰度图像的摄像头,摄像头可以按照预先设定的位姿,对体育馆中的一个设定子区域进行拍摄,获取该设定子区域的视频流。
示例性地,根据不同采集设备在目标场所中的设置位姿,不同设定子区域之间可以存在重叠部分,因此在同一时刻,不同采集设备拍摄的视频画面中可以包含相同的目标对象。
S102,从多个采集设备采集的视频流中识别多帧目标视频画面,多帧目标视频画面的采集时间相同且包含同一目标对象。
考虑到在同一时刻,不同采集设备拍摄的视频画面中可以包含相同的目标对象,为了从多角度分析目标对象对应的运动状态信息,可以从多个采集设备采集的视频流中识别出在同一时刻包含同一目标对象的多帧目标视频画面。
示例性地,针对不同采集设备采集的视频流可以进行分帧处理,得到多帧视频画面,可以针对每帧视频画面进行目标检测,确定是否包含目标对象,并在确定包含目标对象的情况下,提取目标对象对应的特征信息;这样可以基于同一时刻下不同采集设备采集的视频画面,以及不同视频画面中包含的目标对象对应的特征信息,识别出多帧目标视频画面。
S103,基于多帧目标视频画面,识别在目标场所内的目标对象的运动状态信息。
示例性地,针对一个时刻下对应的多帧目标视频画面,可以确定出多帧目标视频画面中包含的同一目标对象在该时刻下对应的静态位姿数据,然后基于不同时刻下对应的多帧目标视频画面,可以基于多个静态位姿数据,确定出在目标场所内的目标对象的运动状态信息。
示例性地,在目标场所为体育馆的情况下,目标对象位在体育馆中的运动员,目标对象的运动状态信息可以用于指示运动员在运动比赛场景中的运动状态,比如静止状态、走路状态和跑步状态等,针对不同的运动比赛场景,这里的运动状态信息对应的运动状态类型可以不同,比如以跑步运动员为例,这里的运动状态信息可以包含跑道外静止等待状态、跑道内准备跑步状态以及跑道内跑步状态等。
S104,通过增强现实AR设备展示与运动状态信息对应的AR特效。
示例性地,AR设备可以包括但不限于AR眼镜、平板电脑、智能手机、智能穿戴式设备等具有显示功能和数据处理能力的设备,这些AR设备中可以安装用于展示AR场景内容的应用程序,用户可以在该应用程序中体验AR特效。
示例性地,以目标场所为大型运动赛场,AR设备为AR眼镜为例,进入大型运动赛场的用户可以通过佩戴的AR眼镜进行观赛,通过AR眼镜可以展示出大型运动赛场中与运动员的运动状态信息对应的AR特效。
示例性地,以图2所示的目标场所为例,该目标场所为包含多个跑步赛道,该目标场所内包含的目标对象的运动状态信息可以分为赛道内跑步和场外等待,在确定出目标场所内的各个运动员的运动状态信息后,可以通过AR设备展示与各个运动员的运动状态信息对应的AR特效,比如展示出处于跑道内的运动员对应的AR特效和处于场外等待的运动员对应的AR特效,该AR特效可以包括在跑步运动员的头部上方展示与跑步对应的虚拟文字,比如“跑步:30km/h”、和“场外等待”。
在一种实施方式中,在通过增强现实AR设备展示与运动状态信息对应的AR特效时,可以包括:
检测到目标对象的运动状态信息指示预设运动状态和/或指示目标对象进入目标区域,通过AR设备展示与运动状态信息对应的AR特效。
示例性地,预设运动状态可以为根据不同的运动场景预先设定的特定类型的运动状态,比如跑步比赛中的预设运动状态可以为跑步状态,排球比赛中的预设运动状态可以为发球状态等;目标区域可以运动场景中的正式赛区对应的区域。
考虑到并不是全部的运动过程都适合展示AR特效,故基于具体应用场景可设置好触发AR特效的展示条件,比如在运动状态信息指示预设运动状态或进入目标区域的条件下,触发展示对应的AR特效,由此可使得AR设备上展示的AR特效更具有针对性,更符合当前应用场景的展示需求。
本公开实施例中,在目标场所内可以设置多个采集设备,多个采集设备可以对不同设定子区域进行视频流采集,从而可以多方位采集同一目标对象对应的视频画面,基于此可以准确地确定目标对象在目标场所内的运动状态信息,从而可以基于运动状态信息将匹配的AR特效传输到观众佩戴的AR设备上,通过AR设备向观众不断展示出与变化的现实场景匹配的AR特效,由此实现在观赛场景中向观众精准展示运动场地内的运动对象的不同运动状态,提高观赛体验。
下面将结合具体实施例对上述S101~S103进行说明:
针对上述S103,在基于多帧目标视频画面,识别在目标场所内的目标对象的运动状态信息时,可以包括:基于多帧目标视频画面,和预先构建的表征包含各设定子区域的目标场所的空间模型,确定在目标场所内的目标对象的运动状态信息。
针对目标对象在同一时刻被多个采集设备拍摄到的情况,考虑到一个采集设备在该时刻针对目标对象采集的图像可能是不完整的,比如只拍摄到目标对象的上半身,或者只拍摄到目标对象的侧身,或者不同的采集设备针对同一目标对象的拍摄角度不同,比如有的采集设备拍摄到目标对象的左侧,有的采集设备拍摄到目标对象的右侧,这种情况下,可以结合目标对象在同一时刻关联的多帧目标视频画面和空间模型,准确的确定出目标对象在目标场所内的运动状态信息。
考虑到预先构建的表征包含各设定子区域的目标场所的空间模型与目标场所具有对应关系,两者在相同的坐标系中可以按照1:1进行呈现,因此这里可以通过目标对象在同一时刻关联的多帧目标视频画面和空间模型,准确的确定出目标对象在目标场所内的运动状态信息。
本公开实施例中,引入预先构建的表征包含各所述设定子区域的所述目标场所的空间模型,可以快速将目标对象在二维视频流中的运动状态信息转换成三维空间模型中的运动状态信息,从而便于快速准确确定出目标对象的运动状态信息。
具体地,在基于多帧目标视频画面,和预先构建的表征包含各设定子区域的目标场所的空间模型,确定在目标场所内的目标对象的运动状态信息时,如图3所示,可以包括以下S201~S204:
S201,检测目标对象分别在多帧目标视频画面中的第一位姿数据。
示例性地,目标对象在每张目标视频帧中的第一位姿数据可以包含目标对象在该帧目标视频帧中的位置信息和/或姿态信息。
其中,目标对象在每帧目标视频帧中的位置信息可以包含构成目标对象的特征点(目标对象的头部关键特征点、四肢关键骨骼点等)在该帧目标视频帧中的图像坐标值、目标对象与该帧目标视频帧中设定区域的位置关系等,比如,以运动比赛场景为例,目标对象与目标视频帧中设定区域的位置关系可以基于目标对象脚部的特征点对应的图像坐标值与目标视频帧中设定区域的位置范围确定,比如在设定区域为赛道时,可以确定目标对象是位于赛道内还是赛道外。
示例性地,目标对象在目标视频帧中的姿态信息可以表示目标对象在该帧目标视频帧中的朝向、姿势(比如站立、蹲坐、趴着等)等信息。
S202,基于多个第一位姿数据,以及图像坐标系和预先构建的空间模型的坐标系之间的转换关系,确定目标对象在同一时刻下在空间模型下的多个第二位姿数据。
示例性地,图像坐标系和预先构建的空间模型对应的坐标系之间的转换关系可以预先确定,预先构建的空间模型对应的坐标系可以和目标场所对应的世界坐标系对应,可以根据图像坐标系和采集设备的相机坐标系之间的转换关系,以及采集设备的相机坐标系和世界坐标系之间的转换关系,确定图像坐标系和预先构建的空间模型对应的坐标系之间的转换关系,比如可以预先对采集设备进行标定,确定采集设备采集的现实场景图像中的特征点在图像坐标系中的图像坐标值,以及特征点在空间模型中的坐标位置,这样,可以得到图像坐标系和预先构建的空间模型对应的坐标系之间的转换关系。
在得到图像坐标系和预先构建的空间模型对应的坐标系之间的转换关系后,可以按照该转换关系将多个第一位姿数据中的每个第一位姿数据转换为空间模型下的第二位姿数据,即得到多个第二位姿数据。
具体地,以确定其中任一第一位姿数据对应的第二位姿数据为例进行说明,其中第一位姿数据包含目标对象的特征点在视频帧对应的图像坐标系下的图像坐标值,可以按照图像坐标系和预先构建的空间模型对应的坐标系之间的转换关系,将目标对象的特征点在视频帧对应的图像坐标系下的图像坐标值转换至在空间模型对应的坐标系下的坐标值,即可以得到目标对象包含的特征点(目标对象的头部关键特征点、四肢关键骨骼点等)在空间模型中的位置信息,进一步可以将目标对象的关键特征点(比如构成目标对象脚部的特征点)在空间模型对应的坐标系下的位置信息作为目标对象在空间模型下的位置信息,根据目标对象包含的多个特征点在空间模型中的位置信息确定目标对象在空间模型中的姿态,至此得到该任一第一位姿数据对应的第二位姿数据。
S203,基于多个第二位姿数据,确定目标对象在同一时刻下的目标第二位姿数据。
示例性地,在目标对象在同一时刻下关联的多个第二位姿数据不相同的情况下,通过对多个第二位姿数据进行拼接,可以得到目标对象在同一时刻下的目标第二位姿数据。
比如,目标对象在时刻t关联有两个第二位姿数据,其中第一个第二位姿数据展示出目标对象的右侧位姿数据,第二个第二位姿数据展示出目标对象的左侧位姿数据,则可以结合这目标对象的右侧位姿数据和左侧位姿数据确定出目标对象在时刻t下完整的位姿数据。
示例性地,在目标对象在同一时刻下关联的多个第二位姿数据相同的情况下,可以过滤重复的第二位姿数据,只保留一个第二位姿数据,并将保留的第二位姿数据作为目标对象在同一时刻下的目标第二位姿数据。
S204,基于目标第二位姿数据,确定目标对象的运动状态信息。
示例性地,可以基于目标对象对应的多个目标第二位姿数据,对目标对象进行追踪,确定出该目标对象处于的运动状态,比如基于多个目标第二位姿数据检测出目标对象在一段时间内的位姿不发生变化,可以确定目标对象的运动状态为静止状态。
本公开实施例中,一方面通过二维的图像坐标系和三维的空间模型之间的转换关系,可以将目标对象在目标视频帧下的第一位姿数据转换为在三维的空间模型下的第二位姿数据,从而便于从三维空间上准确的确定出目标对象的位姿,另一方面,可以通过拼接多个角度下的第二位姿数据,全方位的得到目标对象在目标场所内的目标第二位姿数据,基于此,可以进一步快速准确的确定出目标对象在目标场所中的运动状态信息。
在一种实施方式中,针对上述S204,在基于目标第二位姿数据,确定目标对象的运动状态信息时,可以包括以下S2041~S2042:
S2041,基于目标第二位姿数据,确定目标对象的运动属性信息;
S2042,基于目标对象的运动属性信息,以及预设的目标属性阈值和/或目标场所内目标区域的位置范围信息,确定目标对象的运动状态信息。
示例性地,目标对象的运动属性信息可以包含运动轨迹、运动方向、运动速度等。
示例性地,目标属性值阈值可以包括速度阈值、运动距离阈值等,目标对象的运动属性信息可以和目标属性值阈值结合确定目标对象的运动状态信息,比如可以根据运动速度、运动轨迹和运动速度阈值,确定目标对象的运动状态,比如确定为走路状态还是跑步状态。
示例性地,目标场所内目标区域的位置范围信息表示目标场所内目标区域在空间模型下的坐标区域,比如针对目标场所为跑步赛场为例,目标区域可以包含各个赛道在空间模型下的坐标区域,目标对象的运动属性信息可以和目标区域的位置范围信息结合确定目标对象是否进入目标区域。
示例性地,目标对象的运动属性信息可以与目标属性值阈值以及目标区域的位置范围信息结合,共同确定目标对象的运动状态信息,比如确定目标对象是否进入目标区域且在目标区域内的运动状态。
本公开实施例中,考虑到目标对象的运动状态的多样性,通过将预设的目标属性值阈值和/或目标区域的位置范围信息作为运动状态的判断标准,可准确掌握目标对象当前属于哪一类具体的运动状态,以便快速准确地确定匹配的AR特效。
在一种实施方式中,运动属性信息包含运动姿态数据;在基于目标对象的运动属性信息,以及预设的目标属性值阈值,确定目标对象的运动状态信息时,包括:
基于目标对象的运动姿态数据,以及预设的目标属性值阈值,检测到目标对象的运动状态与预设运动状态匹配的情况下,确定目标对象的运动状态信息为处于预设运动状态。
示例性地,运动姿态数据可以包含目标对象在运动场景中的姿态、以及按照该姿态运动时的速度等数据,比如可以包括站立姿态、走路姿态、下蹲姿态等、以及对应的运动速度等。
示例性地,预先可以存储预设运动状态对应的目标属性值阈值,这样可以基于运动姿态数据以及目标属性值阈值,检测目标对象的运动状态是否与预设运动状态匹配,或者,将运动姿态数据以及目标属性值阈值输入预先训练的用于检测目标对象是否和预设运动状态匹配的神经网络中,确定目标对象的运动状态是否与预设运动状态匹配,在确定目标对象的运动状态与预设运动状态匹配的情况下,确定目标对象的运动状态信息为处于预设运动状态。
本公开实施例中,可以根据目标对象的运动姿态数据以及预设目标属性值阈值,快速确定目标对象是否处于预设运动状态,从而可以快速生成与运动状态信息匹配的AR特效,便于通过AR设备向用户展示和目标对象当前的运动状态紧密贴合的AR特效。
在另一种实施方式中,运动属性信息包含运动位置数据;基于目标对象的运动属性信息,以及目标场所内目标区域的位置范围信息,确定目标对象的运动状态信息,包括:
基于目标对象的运动位置数据,以及目标场所内目标区域的位置范围信息,检测到目标对象进入目标区域内的情况下,确定目标对象的运动状态信息为位于目标区域内对应的运动状态。
示例性地,运动位置数据可以包含目标对象的运动轨迹、运动位置等数据,这样通过目标对象的运动位置数据,以及预先存储的或者检测出来的目标区域的位置范围信息,可以确定目标对象是否进入目标区域,比如目标区域为跑道,可以确定出目标对象是否进入跑道内。
本公开实施例中,可以根据目标对象的运动位置数据以及目标场所内目标区域的位置范围信息,快速确定目标对象是否进入目标区域,从而可以快速生成与进入目标区域的运动状态匹配的AR特效,便于通过AR设备向用户展示和目标对象当前的运动状态紧密贴合的AR特效。
在另一种实施方式中,运动属性信息包含运动姿态数据和运动位置数据,可以基于目标对象的运动属性信息,以及预设的目标属性值阈值和目标场所内目标区域的位置范围信息,共同确定目标对象的运动状态信息,具体可以包括以下S20421~S20423:
S20421,基于目标对象的运动位置数据,以及目标场所内目标区域的位置范围信息,确定目标对象是否进入目标区域内;
S20422,在确定目标对象进入目标区域内的情况下,基于目标对象的运动姿态数据,以及预设的目标属性值阈值,确定目标对象的运动状态是否与预设运动状态匹配;
S20423,在确定目标对象的运动状态与预设动状态匹配的情况下,确定目标对象的运动状态信息为位于目标区域内且处于目标运动状态。
示例性地,比如可以结合目标对象的运动轨迹和跑道对应的位置范围信息确定目标对象是否进入跑道,在确定目标对象进入跑道后,可以结合目标对象的运动位姿数据和目标属性值阈值,确定出目标对象的运动状态为跑步状态,这样可以确定出目标对象的运动状态信息为是否位于跑道内,且处于跑步状态。
针对上述提到空间模型,如图4所示,按照以下方式构建表征包含各所述设定子区域的所述目标场所的空间模型,具体包括以下S301~S303:
S301,获取目标场所内对应不同设定子区域的采集设备拍摄的样本图像;
S302,基于每个设定子区域对应的样本图像,确定该设定子区域对应的区域模型;
S303,将不同设定子区域分别对应的区域模型进行融合,得到空间模型。
示例性地,针对每个设定子区域的样本图像,可以根据该设定子区域的样本图像中包含多个特征点在图像坐标系下对应的图像坐标值,以及图像坐标系和目标场所对应的坐标系之间的转换关系,确定出多个特征点在目标场所对应的坐标系下的坐标值,这样可以基于多个特征点在目标场所对应的坐标系下的坐标值,来生成该设定子区域对应的区域模型。
按照相同的方式得到不同设定子区域分别对应的区域模型后,可以基于不同设定子区域分别对应的区域模型中相同的特征点进行融合,得到目标场所对应的空间模型。
具体地,在基于每个设定子区域对应的样本图像,确定该设定子区域对应的区域模型时,可以包括:
按照每个区域模型包含的多个特征点分别对应的第二位置信息,将对应相同第二位置信息的特征点对齐,生成空间模型。
本公开实施例中,可以基于目标场所不同设定子区域分别对应的样本图像,以及预先对采集设备进行标定确定的图像坐标系和目标场所对应的坐标系之间的转换关系,快速生成空间模型,为后期确定目标对象的运动状态信息提供便利。
具体地,针对上述S302,在基于每个设定子区域对应的样本图像,确定该设定子区域对应的区域模型时,可以包括S3021~S3023:
S3021,提取每个设定子区域对应的样本图像中包含的多个特征点在图像坐标系下分别对应的第一位置信息;
S3022,基于多个特征点分别对应的第一位置信息、图像坐标系和目标场所对应的坐标系之间的转换关系,确定多个特征点在目标场所对应的坐标系下分别对应的第二位置信息;
S3023,基于多个特征点分别对应的第二位置信息,生成该设定子区域对应的区域模型。
示例性地,在得到的设定子区域对应的样本图像后,可以根据样本图像中包含的多个特征点在图像坐标系下对应的图像坐标值,以及图像坐标系和目标场所对应的坐标系之间的转换关系,确定出多个特征点在目标场所对应的坐标系下的坐标值,这样可以基于多个特征点在目标场所对应的坐标系下的坐标值,来生成区域模型。
本公开实施例中,通过坐标系转换关系,可以快速确定每个设定子区域对应的样本图像中的特征点在目标场所对应的坐标系下的第二位置信息后,基于此可以快速得到表征该设定子区域的区域模型。
针对上述S104,在通过增强现实AR设备展示与运动状态信息对应的AR特效时,以观赛场景为例,AR设备可以为观众佩戴的AR设备,比如上述提到的AR眼镜或者手机等,考虑到每个观众佩戴AR设备时的观看范围不同,故为了便于准确为每台AR设备投放其对应的AR特效,本实施例中任意一台AR设备作为目标AR设备为例,来说明如何展示该目标AR设备匹配的目标AR特效。
如图5所示,可以包括以下S401~S402:
S401,获取目标AR设备拍摄的目标现实场景图像;
S402,识别目标现实场景图像中出现在设定子区域的待处理目标对象;
S403,获取与待处理目标对象的运动状态信息匹配的待处理AR特效数据;
S404,通过目标AR设备展示由待处理AR特效数据生成的目标AR特效。
示例性地,在获取到目标AR设备拍摄的目标现实场景图像后,可以根据目标AR设备拍摄的目标现实场景图像,提取目标现实场景图像中包含的出现在设定子区域的待处理目标对象,可以将出现在目标场景图像中的目标对象作为这里的待处理目标对象,或者也可以将运动状态符合预设运动状态和/或进入设定子区域中的目标区域的目标对象作为这里的待处理目标对象。
示例性地,与待处理目标对象的运动状态信息匹配的待处理AR特效数据可以根据实时获取的待处理目标对象的运动状态信息生成的,也可以根据预先设定的不同运动状态信息匹配的AR特效数据,直接获取得到的,在此不进行限定。
示例性地,待处理AR特效数据可以包含多种类型的虚拟对象,比如可以包含虚拟文字、虚拟标识、虚拟动画等,以与跑步匹配的待处理AR特效数据为例,虚拟文字可以通过虚拟的文字内容来描述运动状态信息,比如如图2所示“跑步:35km/h”,虚拟标识可以包括用于表示不同运动状态信息的标识,比如通过红色的箭头表示待处理目标对象位于目标区域内,通过绿色的箭头表示待处理目标对象位于目标区域外;虚拟动画可以通过跑步的动画来进行展示,具体展示哪种类型的虚拟对象可以由用户进行设置,或者由服务器进行默认确定,在此不进行限定。
在得到与待处理目标对象的运动状态信息匹配的待处理AR特效数据后,可以通过目标AR设备展示由待处理AR特效生成的目标AR特效,比如在目标现实场景图像中叠加与待处理目标对象的运动状态匹配的目标AR特效。
本公开实施例中,通过对目标AR设备拍摄的目标现实场景图像进行识别,可以根据识别到的待处理目标对象获取与待处理目标对象的运动状态匹配的待处理AR特效数据,从而可以通过AR设备精准地展示出与AR设备拍摄的目标现实场景图像匹配的AR特效。
具体地,在通过目标AR设备展示由待处理AR特效数据生成的目标AR特效时,可以包括以下S4041~S4042:
S4041,确定待处理AR特效数据生成的目标AR特效在目标AR设备上的展示位姿;
S4042,在目标AR设备上展示具有展示位姿的目标AR特效。
示例性地,展示位姿可以包括目标AR特效在目标AR设备中展示时的位置数据/或姿态数据,具体地,目标AR特效在目标AR设备上的展示位姿可以根据待处理AR特效数和AR设备在同一坐标系下的位姿数据进行确定,比如可以确定待处理AR特效数据和AR设备在空间模型对应的坐标系下的位姿数据,或者可以确定待处理AR特效数据在AR设备对应的坐标系下的位姿数据,进而确定待处理AR特效数据生成的目标AR特效在目标AR设备上的展示位姿。
本公开实施例中,可以确定目标AR特效在目标AR设备上的展示位姿,按照此展示位姿进行展示,能够使得展示的AR特效与用户当前观看的实际内容紧密关联,提升观看体验。
具体地,在确定待处理AR特效数据生成的目标AR特效在目标AR设备上的展示位姿时,可以包括以下过程S40411~S40412:
S40411,获取待处理AR特效数据的第三位姿数据;
S40412,基于待处理AR特效数据的第三位姿数据以及目标AR设备的第四位姿数据,确定目标AR特效在目标AR设备上的展示位姿。
示例性地,可以根据待处理目标对象在空间模型中的第二位姿数据、以及预先设定的待处理AR特效数据与待处理目标对象之间的相对展示关系,确定待处理AR特效数据在空间模型中的第三位姿数据。
示例性地,相对展示关系可以用于指示待处理AR特效数据和待处理目标对象在空间模型中的相对位置关系,可以包含待处理AR特效数据位于待处理目标对象上方且与待处理目标对象间隔设定距离、待处理AR特效数据位于待处理目标对象的右侧且与待处理目标对象间隔设定距离、待处理AR特效数据位于待处理目标对象的左侧且与待处理目标对象间隔设定距离、待处理AR特效数据与待处理目标对象重合等,这样,基于待处理目标对象在空间模型中的第二位姿数据以及相对展示关系,可以确定待处理AR特效数据在空间模型中的第三位姿数据。
示例性地,可以对AR设备拍摄的现实场景图像进行特征点提取,然后将提取的特征点与预先构建空间模型时的特征点进行比对,在构建空间模型时使用的样本图像中选取与AR设备拍摄的现实场景图像匹配的目标样本图像,然后将目标样本图像对应的拍摄位姿作为这里AR设备对应的第四位姿数据。
示例性地,AR设备对应的第四位姿数据可以包括用于显示目标AR特效的显示部件所在的位置和/或显示角度,比如以空间模型所在的坐标系为例,示例性地,AR设备对应第四位姿数据可以包括但不限于以下至少一种:AR设备的显示部件在该空间模型所在的坐标系中的坐标位置;AR设备的显示部件与空间模型所在的坐标系中各个坐标轴的夹角;包括AR设备的显示部件在空间模型所在的坐标系中的坐标位置以及与空间模型所在的坐标系中各个坐标轴的夹角。
其中,AR设备的显示部件具体指该AR设备中用于显示目标AR特效的部件,示例性地,AR设备为手机或者平板时,对应的显示部件可以为显示屏,当AR设备为AR眼镜时,对应的显示部件可以为用于显示目标AR特效的镜片。
示例性地,可以根据空间模型对应的坐标系、以及AR设备在空间模型中的第四位姿数据,确定出AR设备拍摄的图像对应的坐标系与空间模型对应的坐标系之间的转换关系,进一步基于该转换关系以及待处理AR特效数据的第三位姿数据,确定出目标AR特效在AR设备拍摄的图像中呈现时的展示位姿。
示例性地,上述提到的待处理目标对象在空间模型中的第二位姿数据可以预先根据采集设备采集的视频流进行确定,详见上文确定目标对象在空间模型下的第二位姿数据的过程,或者可以根据AR设备采集的目标现实场景图像进行确定,比如获取到AR设备拍摄的目标现实场景图像后,可以基于目标现实场景图像对应的图像坐标系与AR设备对应的坐标系之间的转换关系,确定出待处理目标对象在AR设备中的位姿数据,然后根据待处理目标对象在AR设备中的位姿数据,以及AR设备在空间模型中的第四位姿数据,确定出待处理目标对象在空间模型中的第二位姿数据。
本公开实施例中,可以根据待处理AR特效的第三位姿数据、以及目标AR设备的第四位姿数据,确定出目标AR特效在目标AR设备上的展示位姿,从而便于通过AR设备中展示出更为逼真的AR特效。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思,本公开实施例中还提供了与增强现实场景下的展示方法对应的展示装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述展示方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图6所示,为本公开实施例提供的一种增强现实场景下的展示装置500的示意图,该展示装置包括:
获取模块501,用于获取目标场所内设置的多个采集设备采集的视频流,多个采集设备的采集范围分别为目标场所中不同设定子区域的范围;
第一识别模块502,用于从多个采集设备采集的视频流中识别多帧目标视频画面,多帧目标视频画面的采集时间相同且包含同一目标对象;
第二识别模块503,用于基于多帧目标视频画面,识别在目标场所内的目标对象的运动状态信息;
展示模块504,用于通过增强现实AR设备展示与运动状态信息对应的AR特效。
在一种可能的实施方式中,第二识别模块503在用于基于多帧目标视频画面,识别在目标场所内的目标对象的运动状态信息时,包括:
基于多帧目标视频画面,和预先构建的表征包含各设定子区域的目标场所的空间模型,确定在目标场所内的目标对象的运动状态信息。
在一种可能的实施方式中,第二识别模块503在用于基于多帧目标视频画面,和预先构建的表征包含各设定子区域的目标场所的空间模型,确定在目标场所内的目标对象的运动状态信息时,包括:
检测目标对象分别在多帧目标视频画面中的第一位姿数据;
基于多个第一位姿数据,以及图像坐标系和预先构建的空间模型的坐标系之间的转换关系,确定目标对象在同一时刻下在空间模型下的多个第二位姿数据;
基于多个第二位姿数据,确定目标对象在同一时刻下的目标第二位姿数据;
基于目标第二位姿数据,确定目标对象的运动状态信息。
在一种可能的实施方式中,第二识别模块503在用于基于目标第二位姿数据,确定目标对象的运动状态信息时,包括:
基于目标第二位姿数据,确定目标对象的运动属性信息;
基于目标对象的运动属性信息,以及预设的目标属性阈值和/或目标场所内目标区域的位置范围信息,确定目标对象的运动状态信息。
在一种可能的实施方式中,运动属性信息包含运动姿态数据;第二识别模块503在用于基于目标对象的运动属性信息,以及预设的目标属性值阈值,确定目标对象的运动状态信息时,包括:
基于目标对象的运动姿态数据,以及预设的目标属性值阈值,检测到目标对象的运动状态与预设运动状态匹配的情况下,确定目标对象的运动状态信息为处于预设运动状态。
在一种可能的实施方式中,运动属性信息包含运动位置数据;第二识别模块503在用于基于目标对象的运动属性信息,以及目标场所内目标区域的位置范围信息,确定目标对象的运动状态信息时,包括:
基于目标对象的运动位置数据,以及目标场所内目标区域的位置范围信息,检测到目标对象进入目标区域内的情况下,确定目标对象的运动状态信息为位于目标区域内对应的运动状态。
在一种可能的实施方式中,展示模块504通过增强现实AR设备展示与运动状态信息对应的AR特效,包括:
检测到目标对象的运动状态信息指示预设运动状态和/或指示目标对象进入目标区域,通过AR设备展示与运动状态信息对应的AR特效。
在一种可能的实施方式中,展示装置还包括构建模块505,构建模块505用于按照以下方式构建表征包含各设定子区域的目标场所的空间模型:
获取目标场所内对应不同设定子区域的采集设备拍摄的样本图像;
基于每个设定子区域对应的样本图像,确定该设定子区域对应的区域模型;
将不同设定子区域分别对应的区域模型进行融合,得到空间模型。
在一种可能的实施方式中,构建模块505在用于基于每个设定子区域对应的样本图像,确定该设定子区域对应的区域模型时,包括:
提取每个设定子区域对应的样本图像中包含的多个特征点在图像坐标系下分别对应的第一位置信息;
基于多个特征点分别对应的第一位置信息、图像坐标系和目标场所对应的坐标系之间的转换关系,确定多个特征点在目标场所对应的坐标系下分别对应的第二位置信息;
基于多个特征点分别对应的第二位置信息,生成该设定子区域对应的区域模型。
在一种可能的实施方式中,构建模块505在用于将不同设定子区域分别对应的区域模型进行融合,得到空间模型时,包括:
按照每个区域模型包含的多个特征点分别对应的第二位置信息,将对应相同第二位置信息的特征点对齐,生成空间模型。
在一种可能的实施方式中,展示模块504在用于通过增强现实AR设备展示与运动状态信息对应的AR特效时,包括:
获取目标AR设备拍摄的目标现实场景图像;
识别目标现实场景图像中出现在设定子区域的待处理目标对象;
获取与待处理目标对象的运动状态信息匹配的待处理AR特效数据;
通过目标AR设备展示由待处理AR特效数据生成的目标AR特效。
在一种可能的实施方式中,展示模块504在用于通过目标AR设备展示由待处理AR特效数据生成的目标AR特效时,包括:
确定待处理AR特效数据生成的目标AR特效在目标AR设备上的展示位姿;
在目标AR设备上展示具有展示位姿的目标AR特效。
在一种可能的实施方式中,展示模块504在用于确定待处理AR特效数据生成的目标AR特效在目标AR设备上的展示位姿时,包括:
获取待处理AR特效数据的第三位姿数据;
基于待处理AR特效数据的第三位姿数据以及目标AR设备的第四位姿数据,确定目标AR特效在目标AR设备上的展示位姿。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
对应于图1中的增强现实场景下的展示方法,本公开实施例还提供了一种电子设备600,如图7所示,为本公开实施例提供的电子设备600结构示意图,包括:
处理器61、存储器62、和总线63;存储器62用于存储执行指令,包括内存621和外部存储器622;这里的内存621也称内存储器,用于暂时存放处理器61中的运算数据,以及与硬盘等外部存储器622交换的数据,处理器61通过内存621与外部存储器622进行数据交换,当电子设备600运行时,处理器61与存储器62之间通过总线63通信,使得处理器61执行以下指令:获取目标场所内设置的多个采集设备采集的视频流,多个采集设备的采集范围分别为目标场所中不同设定子区域的范围;从多个采集设备采集的视频流中识别多帧目标视频画面,多帧目标视频画面的采集时间相同且包含同一目标对象;基于多帧目标视频画面,识别在目标场所内的目标对象的运动状态信息;通过增强现实AR设备展示与运动状态信息对应的AR特效。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的增强现实场景下的展示方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的增强现实场景下的展示方法的步骤,具体可参见上述方法实施例,在此不再赘述。
其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种增强现实场景下的展示方法,其特征在于,包括:
获取目标场所内设置的多个采集设备采集的视频流,所述多个采集设备的采集范围分别为所述目标场所中不同设定子区域的范围;
从所述多个采集设备采集的所述视频流中识别多帧目标视频画面,所述多帧目标视频画面的采集时间相同且包含同一目标对象;
检测所述目标对象分别在所述多帧目标视频画面中的第一位姿数据;
基于多个所述第一位姿数据,以及图像坐标系和预先构建的表征包含各所述设定子区域的所述目标场所的空间模型的坐标系之间的转换关系,确定所述目标对象在同一时刻下在所述空间模型下的多个第二位姿数据;
基于所述多个第二位姿数据,确定所述目标对象在所述同一时刻下的目标第二位姿数据;
基于所述目标第二位姿数据,确定所述目标对象的运动状态信息;所述运动状态信息包括所述目标对象的运动姿态数据以及所述目标对象的位置信息;
检测到目标对象的运动状态信息指示预设运动状态和/或指示所述目标对象进入目标区域,通过增强现实AR设备展示与所述运动状态信息对应的AR特效;所述AR特效用于表征所述目标对象的运动状态信息。
2.根据权利要求1所述的展示方法,其特征在于,所述基于所述目标第二位姿数据,确定所述目标对象的运动状态信息,包括:
基于所述目标第二位姿数据,确定所述目标对象的运动属性信息;
基于所述目标对象的运动属性信息,以及预设的目标属性阈值和/或所述目标场所内目标区域的位置范围信息,确定所述目标对象的运动状态信息。
3.根据权利要求2所述的展示方法,其特征在于,所述运动属性信息包含运动姿态数据;基于所述目标对象的运动属性信息,以及预设的目标属性值阈值,确定所述目标对象的运动状态信息,包括:
基于所述目标对象的运动姿态数据,以及预设的目标属性值阈值,检测到所述目标对象的运动状态与所述预设运动状态匹配的情况下,确定所述目标对象的运动状态信息为处于所述预设运动状态。
4.根据权利要求2或3所述的展示方法,其特征在于,所述运动属性信息包含运动位置数据;基于所述目标对象的运动属性信息,以及所述目标场所内目标区域的位置范围信息,确定所述目标对象的运动状态信息,包括:
基于所述目标对象的运动位置数据,以及所述目标场所内目标区域的位置范围信息,检测到所述目标对象进入所述目标区域内的情况下,确定所述目标对象的运动状态信息为位于所述目标区域内对应的运动状态。
5.根据权利要求1至3任一所述的展示方法,其特征在于,按照以下方式构建表征包含各所述设定子区域的所述目标场所的空间模型:
获取所述目标场所内对应不同设定子区域的采集设备拍摄的样本图像;
基于每个设定子区域对应的所述样本图像,确定该设定子区域对应的区域模型;
将不同设定子区域分别对应的区域模型进行融合,得到所述空间模型。
6.根据权利要求5所述的展示方法,其特征在于,所述基于每个设定子区域对应的所述样本图像,确定该设定子区域对应的区域模型,包括:
提取每个设定子区域对应的样本图像中包含的多个特征点在图像坐标系下分别对应的第一位置信息;
基于所述多个特征点分别对应的第一位置信息、所述图像坐标系和所述目标场所对应的坐标系之间的转换关系,确定所述多个特征点在所述目标场所对应的坐标系下分别对应的第二位置信息;
基于所述多个特征点分别对应的第二位置信息,生成该设定子区域对应的区域模型。
7.根据权利要求6所述的展示方法,其特征在于,所述将不同设定子区域分别对应的区域模型进行融合,得到所述空间模型,包括:
按照每个区域模型包含的多个特征点分别对应的第二位置信息,将对应相同第二位置信息的特征点对齐,生成所述空间模型。
8.根据权利要求1至3任一所述的展示方法,其特征在于,所述检测到目标对象的运动状态信息指示预设运动状态和/或指示所述目标对象进入目标区域,通过增强现实AR设备展示与所述运动状态信息对应的AR特效,包括:
获取目标AR设备拍摄的目标现实场景图像;
识别所述目标现实场景图像中出现在所述设定子区域的待处理目标对象;
检测到目标对象的运动状态信息指示预设运动状态和/或指示所述目标对象进入目标区域;
获取与所述待处理目标对象的运动状态信息匹配的待处理AR特效数据;
通过所述目标AR设备展示由所述待处理AR特效数据生成的目标AR特效。
9.根据权利要求8所述的展示方法,其特征在于,所述通过所述目标AR设备展示由所述待处理AR特效数据生成的目标AR特效,包括:
确定所述待处理AR特效数据生成的所述目标AR特效在所述目标AR设备上的展示位姿;
在所述目标AR设备上展示具有所述展示位姿的目标AR特效。
10.根据权利要求9所述的展示方法,其特征在于,所述确定所述待处理AR特效数据生成的所述目标AR特效在所述目标AR设备上的展示位姿,包括:
获取所述待处理AR特效数据的第三位姿数据;
基于所述待处理AR特效数据的第三位姿数据以及所述目标AR设备的第四位姿数据,确定所述目标AR特效在所述目标AR设备上的展示位姿。
11.一种增强现实场景下的展示装置,其特征在于,包括:
获取模块,用于获取目标场所内设置的多个采集设备采集的视频流,所述多个采集设备的采集范围分别为所述目标场所中不同设定子区域的范围;
第一识别模块,用于从所述多个采集设备采集的所述视频流中识别多帧目标视频画面,所述多帧目标视频画面的采集时间相同且包含同一目标对象;
第二识别模块,用于检测所述目标对象分别在所述多帧目标视频画面中的第一位姿数据;基于多个所述第一位姿数据,以及图像坐标系和预先构建的表征包含各所述设定子区域的所述目标场所的空间模型的坐标系之间的转换关系,确定所述目标对象在同一时刻下在所述空间模型下的多个第二位姿数据;基于所述多个第二位姿数据,确定所述目标对象在所述同一时刻下的目标第二位姿数据;基于所述目标第二位姿数据,确定所述目标对象的运动状态信息;所述运动状态信息包括所述目标对象的运动姿态数据以及所述目标对象的位置信息;
展示模块,用于检测到目标对象的运动状态信息指示预设运动状态和/或指示所述目标对象进入目标区域,通过增强现实AR设备展示与所述运动状态信息对应的AR特效;所述AR特效用于表征所述目标对象的运动状态信息。
12.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至10任一所述的展示方法的步骤。
13.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至10任一所述的展示方法的步骤。
CN202011536813.4A 2020-12-23 2020-12-23 增强现实场景下的展示方法、装置、电子设备及存储介质 Active CN112653848B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011536813.4A CN112653848B (zh) 2020-12-23 2020-12-23 增强现实场景下的展示方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011536813.4A CN112653848B (zh) 2020-12-23 2020-12-23 增强现实场景下的展示方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112653848A CN112653848A (zh) 2021-04-13
CN112653848B true CN112653848B (zh) 2023-03-24

Family

ID=75360312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011536813.4A Active CN112653848B (zh) 2020-12-23 2020-12-23 增强现实场景下的展示方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112653848B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129378A (zh) * 2021-04-28 2021-07-16 北京市商汤科技开发有限公司 一种定位方法、装置、电子设备及存储介质
CN113129339B (zh) * 2021-04-28 2023-03-10 北京市商汤科技开发有限公司 一种目标跟踪方法、装置、电子设备及存储介质
CN113359988B (zh) * 2021-06-03 2022-11-29 北京市商汤科技开发有限公司 一种信息的展示方法、装置、计算机设备及存储介质
CN114625468B (zh) * 2022-03-21 2023-09-22 北京字跳网络技术有限公司 增强现实画面的展示方法、装置、计算机设备及存储介质
CN115002442B (zh) * 2022-05-24 2024-05-10 北京字节跳动网络技术有限公司 一种图像展示方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109089038A (zh) * 2018-08-06 2018-12-25 百度在线网络技术(北京)有限公司 增强现实拍摄方法、装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102317247B1 (ko) * 2015-06-15 2021-10-26 한국전자통신연구원 영상정보를 이용한 증강현실 기반 손 인터랙션 장치 및 방법
CN108229294B (zh) * 2017-09-08 2021-02-09 北京市商汤科技开发有限公司 一种运动数据获取方法、装置、电子设备及存储介质
CN111627117B (zh) * 2020-06-01 2024-04-16 上海商汤智能科技有限公司 画像展示特效的调整方法、装置、电子设备及存储介质
CN111640197A (zh) * 2020-06-09 2020-09-08 上海商汤智能科技有限公司 一种增强现实ar特效控制方法、装置及设备
CN111652983A (zh) * 2020-06-10 2020-09-11 上海商汤智能科技有限公司 一种增强现实ar特效生成方法、装置及设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109089038A (zh) * 2018-08-06 2018-12-25 百度在线网络技术(北京)有限公司 增强现实拍摄方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112653848A (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
CN112653848B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN112348969B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN112637665B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
US20200193671A1 (en) Techniques for rendering three-dimensional animated graphics from video
CN110716645A (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
US9728011B2 (en) System and method for implementing augmented reality via three-dimensional painting
CN106355153A (zh) 一种基于增强现实的虚拟对象显示方法、装置以及系统
CN108668050B (zh) 基于虚拟现实的视频拍摄方法和装置
JP2022505998A (ja) 拡張現実データの提示方法、装置、電子機器及び記憶媒体
CN112348968B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN111640202A (zh) 一种ar场景特效生成的方法及装置
CN111638797A (zh) 一种展示控制方法及装置
CN112927349A (zh) 三维虚拟特效的生成方法、装置、计算机设备及存储介质
CN111640192A (zh) 场景图像处理方法、装置、ar设备以及存储介质
CN111970557A (zh) 图像显示方法、装置、电子设备及存储介质
CN111639613B (zh) 一种增强现实ar特效生成方法、装置及电子设备
CN112905014A (zh) Ar场景下的交互方法、装置、电子设备及存储介质
CN111625100A (zh) 图画内容的呈现方法、装置、计算机设备及存储介质
JP7419003B2 (ja) 情報表示装置、情報表示方法及び情報表示システム
CN111651058A (zh) 历史场景的控制展示方法、装置、电子设备及存储介质
CN111652983A (zh) 一种增强现实ar特效生成方法、装置及设备
CN112991555B (zh) 数据展示方法、装置、设备以及存储介质
WO2022166173A1 (zh) 视频资源处理方法、装置、计算机设备、存储介质及程序
CN113470190A (zh) 场景显示方法及装置、设备、车辆、计算机可读存储介质
CN114584681A (zh) 目标对象的运动展示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant