CN112637665B - 增强现实场景下的展示方法、装置、电子设备及存储介质 - Google Patents

增强现实场景下的展示方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112637665B
CN112637665B CN202011536815.3A CN202011536815A CN112637665B CN 112637665 B CN112637665 B CN 112637665B CN 202011536815 A CN202011536815 A CN 202011536815A CN 112637665 B CN112637665 B CN 112637665B
Authority
CN
China
Prior art keywords
target
target object
motion state
augmented reality
special effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011536815.3A
Other languages
English (en)
Other versions
CN112637665A (zh
Inventor
栾青
侯欣如
王鼎禄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202011536815.3A priority Critical patent/CN112637665B/zh
Publication of CN112637665A publication Critical patent/CN112637665A/zh
Application granted granted Critical
Publication of CN112637665B publication Critical patent/CN112637665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供了一种增强现实场景的展示方法、装置、电子设备及存储介质,其中,该展示方法包括:获取在目标场所中设置的采集设备采集的视频流,所述采集设备的采集范围为目标场所中的设定子区域的范围;基于所述视频流,识别在所述设定子区域内的目标对象的运动状态信息;通过增强现实AR设备展示与所述运动状态信息对应的AR特效。

Description

增强现实场景下的展示方法、装置、电子设备及存储介质
技术领域
本公开涉及增强现实技术领域,具体而言,涉及一种增强现实场景的展示方法、装置、电子设备及存储介质。
背景技术
增强现实(Augmented Reality,AR)技术是一种将虚拟对象与真实场景巧妙融合的技术,将计算机生成的文字、图像、三维模型、音乐、视频等虚拟对象模拟仿真后,应用到真实世界中,从而呈现增强现实场景。
随着AR技术的发展,该技术逐渐应用于多种领域,为用户的生活带来全新体验和便利,比如可以在AR设备中展示叠加在不同真实场景中的虚拟对象,带给用户增强现实的体验。
针对真实场景不断变化的情况,比如在运动比赛场景中,赛场的运动员的运动状态在不断变化,如何基于AR技术提高用户在观看运动比赛场景中观赛体验,帮助用户更好地观看运动员在比赛场景中的运动状态是值得研究的问题。
发明内容
本公开实施例至少提供一种增强现实场景下的展示方案。
第一方面,本公开实施例提供了一种增强现实场景的展示方法,包括:
获取在目标场所中设置的采集设备采集的视频流,所述采集设备的采集范围为目标场所中的设定子区域的范围;
基于所述视频流,识别在所述设定子区域内的目标对象的运动状态信息;
通过增强现实AR设备展示与所述运动状态信息对应的AR特效。
本公开实施例中,通过设置在目标场所中的采集设备对目标场所中的设定子区域进行视频流采集,可以识别出目标场所中的目标对象以及目标对象在设定子区域的运动状态信息,从而可以基于运动状态信息将匹配的AR特效传输到观众佩戴的AR设备上,通过AR设备向观众不断展示出与变化的现实场景匹配的AR特效,由此实现在观赛场景中向观众精准展示运动场地内的运动对象的不同运动状态,提高观赛体验。
在一种可能的实施方式中,所述基于所述视频流,识别在所述设定子区域内的目标对象的运动状态信息,包括:
基于所述视频流,和预先构建的包含所述设定子区域的目标场所的空间模型,确定在所述设定子区域内的所述目标对象的运动状态信息。
本公开实施例中,引入预先构建的包含设定子区域的目标场所的空间模型,可以快速将目标对象在二维视频流中的运动状态信息转换成三维空间模型中的运动状态信息,从而便于快速确定出目标对象的运动状态信息。
在一种可能的实施方式中,所述基于所述视频流,和预先构建的包含所述设定子区域的目标场所的空间模型,确定在所述设定子区域内的所述目标对象的运动状态信息,包括:
检测所述目标对象在所述视频流中的第一位姿数据;
基于所述第一位姿数据、以及图像坐标系和预先构建的所述空间模型对应的坐标系之间的转换关系,确定所述目标对象在所述空间模型下的第二位姿数据;
基于所述第二位姿数据,确定所述目标对象的运动状态信息。
本公开实施例中,通过基于视频流可以确定出的目标对象在二维图像中的第一位姿数据,进而利用二维的图像坐标系和三维的空间模型之间的转换关系,可将目标对象在二维的图像中的第一位姿数据转换为在三维的空间模型中的第二位姿数据,基于此,可以快速准确的确定出目标对象在目标场所中的运动状态信息。
在一种可能的实施方式中,所述基于所述第二位姿数据,确定所述目标对象的运动状态信息,包括:
基于所述第二位姿数据,确定所述目标对象的运动属性信息;
基于所述目标对象的运动属性信息,以及预设的目标属性值阈值和/或所述目标场所内目标区域的位置范围信息,确定所述目标对象的运动状态信息。
本公开实施例中,考虑到目标对象的运动状态的多样性,通过将预设的目标属性值阈值和/或目标区域的位置范围信息作为运动状态的判断标准,可准确掌握目标对象当前属于哪一类具体的运动状态,以便快速准确地确定匹配的AR特效。
在一种可能的实施方式中,所述运动属性信息包含运动姿态数据;基于所述目标对象的运动属性信息,以及预设的目标属性值阈值,确定所述目标对象的运动状态信息,包括:
基于所述目标对象的运动姿态数据,以及预设的目标属性值阈值,检测到所述目标对象的运动状态与所述预设运动状态匹配的情况下,确定所述目标对象的运动状态信息为处于所述预设运动状态。
本公开实施例中,可以根据目标对象的运动姿态数据以及预设目标属性值阈值,快速确定目标对象是否处于预设运动状态,从而可以快速生成与运动状态信息匹配的AR特效,便于通过AR设备向用户展示和目标对象当前的运动状态紧密贴合的AR特效。
在一种可能的实施方式中,所述运动属性信息包含运动位置数据;基于所述目标对象的运动属性信息,以及所述目标场所内目标区域的位置范围信息,确定所述目标对象的运动状态信息,包括:
基于所述目标对象的运动位置数据,以及所述目标场所内目标区域的位置范围信息,检测到所述目标对象进入所述目标区域内的情况下,确定所述目标对象的运动状态信息为位于所述目标区域内对应的运动状态。
本公开实施例中,可以根据目标对象的运动位置数据以及目标场所内目标区域的位置范围信息,快速确定目标对象是否进入目标区域,从而可以快速生成与进入目标区域的运动状态匹配的AR特效,便于通过AR设备向用户展示和目标对象当前的运动状态紧密贴合的AR特效。
在一种可能的实施方式中,所述通过增强现实AR设备展示与所述运动状态信息对应的AR特效,包括:
检测到目标对象的运动状态信息指示预设运动状态和/或指示所述目标对象进入目标区域,通过所述AR设备展示与所述运动状态信息对应的AR特效。
本公开实施例中,考虑到并不是全部的运动过程都适合展示AR特效,故基于具体应用场景可设置好触发AR特效的展示条件,比如在运动状态信息指示预设运动状态或进入目标区域的条件下,触发展示对应的AR特效,由此可使得AR设备上展示的AR特效更具有针对性,更符合当前应用场景的展示需求。
在一种可能的实施方式中,按照以下方式构建包含所述设定子区域的目标场所的空间模型:
获取所述采集设备拍摄包含所述设定子区域的目标场所得到的样本图像;
基于所述样本图像、图像坐标系和所述目标场所对应的坐标系之间的转换关系,生成所述空间模型。
本公开实施例中,可以基于目标场所对应的样本图像,以及预先对采集设备进行标定确定的图像坐标系和目标场所对应的坐标系之间的转换关系,快速生成空间模型,为后期确定目标对象的运动状态信息提供便利。
在一种可能的实施方式中,所述基于所述样本图像、图像坐标系和所述目标场所对应的坐标系之间的转换关系,生成所述空间模型,包括:
提取所述样本图像中包含的多个特征点在所述图像坐标系下分别对应的第一位置信息;
基于所述多个特征点分别对应的第一位置信息、所述图像坐标系和所述目标场所对应的坐标系之间的转换关系,确定所述多个特征点在所述目标场所对应的坐标系下分别对应的第二位置信息;
基于所述多个特征点分别对应的第二位置信息,生成所述空间模型。
本公开实施例中,通过坐标系转换关系,可以快速确定样本图像中的多个特征点在目标场所对应的坐标系下的第二位置信息,基于此可以快速生成目标场所的空间模型。
在一种可能的实施方式中,所述通过增强现实AR设备展示与所述运动状态信息对应的AR特效,包括:
获取目标AR设备拍摄的目标现实场景图像;
识别所述目标现实场景图像中出现在所述设定子区域的待处理目标对象;
获取与所述待处理目标对象的运动状态信息匹配的待处理AR特效数据;
通过所述目标AR设备展示由所述待处理AR特效数据生成的目标AR特效。
本公开实施例中,通过对目标AR设备拍摄的目标现实场景图像进行识别,可以根据识别到的待处理目标对象获取与待处理目标对象的运动状态匹配的待处理AR特效数据,从而可以通过AR设备精准地展示出与AR设备拍摄的目标现实场景图像匹配的AR特效。
在一种可能的实施方式中,所述通过所述目标AR设备展示由所述待处理AR特效数据生成的目标AR特效,包括:
确定所述待处理AR特效数据生成的所述目标AR特效在所述目标AR设备上的展示位姿;
在所述目标AR设备上展示具有所述展示位姿的目标AR特效。
本公开实施例中,可以确定目标AR特效在目标AR设备上的展示位姿,按照此展示位姿进行展示,能够使得展示的AR特效与用户当前观看的实际内容紧密关联,提升观看体验。
在一种可能的实施方式中,所述确定所述待处理AR特效数据生成的所述目标AR特效在所述目标AR设备上的展示位姿,包括:
获取所述待处理AR特效数据的第三位姿数据;
基于所述待处理AR特效数据的第三位姿数据以及所述目标AR设备的第四位姿数据,确定所述目标AR特效在所述目标AR设备上的展示位姿。
本公开实施例中,可以根据待处理AR特效的第三位姿数据、以及目标AR设备的第四位姿数据,确定出目标AR特效在目标AR设备上的展示位姿,从而便于通过AR设备中展示出更为逼真的AR特效。
第二方面,本公开实施例提供了一种增强现实场景的展示装置,包括:
获取模块,用于获取在目标场所中设置的采集设备采集的视频流,所述采集设备的采集范围为目标场所中的设定子区域的范围;
确定模块,用于基于所述视频流,识别在所述设定子区域内的目标对象的运动状态信息;
展示模块,用于通过增强现实AR设备展示与所述运动状态信息对应的AR特效。
第三方面,本公开实施例提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如第一方面所述的展示方法的步骤。
第四方面,本公开实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如第一方面所述的展示方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种增强现实场景的展示方法的流程图;
图2示出了本公开实施例所提供的一种AR特效的展示示意图;
图3示出了本公开实施例所提供的一种确定目标对象的运动状态信息的方法流程图;
图4示出了本公开实施例所提供的一种生成空间模型的方法流程图;
图5示出了本公开实施例所提供的一种展示AR特效的方法流程图;
图6示出了本公开实施例所提供的一种增强现实场景的展示装置的结构示意图;
图7示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
增强现实(Augmented Reality,AR)技术可以应用于AR设备中,AR设备可以为任何能够支持AR功能的电子设备,包括但不限于AR眼镜、平板电脑、智能手机等。当AR设备在现实场景中被操作时,通过该AR设备可以观看到叠加在现实场景中的虚拟对象,随着AR技术的发展,该技术逐渐应用于多种领域,为用户的生活带来全新体验和便利,如何在运动比赛场景下结合AR技术,为用户展示增强现实场景,为本公开实施例所要讨论的内容,下面将结合以下具体实施例进行阐述。
基于上述研究,本公开提供了一种增强现实场景的展示方案,通过设置在目标场所中的采集设备对目标场所中的设定子区域进行视频流采集,可以识别出目标场所中的目标对象以及目标对象在设定子区域的运动状态信息,从而可以基于运动状态信息将匹配的AR特效传输到观众佩戴的AR设备上,通过AR设备向观众不断展示出与变化的现实场景匹配的AR特效,由此实现在观赛场景中向观众精准展示运动场地内的运动对象的不同运动状态,提高观赛体验。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种增强现实场景的展示方法进行详细介绍,本公开实施例所提供的增强现实场景的展示方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:服务器或其它处理设备,本公开实施例中不作限定。在一些可能的实现方式中,该增强现实场景的展示方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示,为本公开实施例提供的一种增强现实场景的展示方法的流程图,该展示方法包括以下S101~S103:
S101,获取在目标场所中设置的采集设备采集的视频流,该采集设备的采集范围为目标场所中的设定子区域的范围。
示例性地,目标场所可以进行运动比赛的场地,可以包含多个子区域,目标场所内可以设置有针对其中一个设定子区域进行视频流采集的采集设备,以目标场所为体育馆为例,体育馆中设置有采集设备,该采集设备包含用于采集彩色图像的摄像头或者用于采集灰度图像的摄像头,摄像头可以按照预先设定的位姿,对体育馆中的设定子区域进行拍摄,获取该设定子区域的视频流。
S102,基于视频流,识别在设定子区域内的目标对象的运动状态信息。
示例性地,可以对视频流进行分帧处理,得到多帧视频帧,针对每帧视频帧可以进行目标检测,确定是否包含目标对象,并在确定包含目标对象的情况下,确定目标对象在设定子区域的运动状态信息。
示例性地,在目标场所为体育馆的情况下,目标对象为在体育馆中的运动员,目标对象的运动状态信息可以用于指示体育馆中的运动员的运动状态,比如静止状态、走路状态和跑步状态等,针对不同的运动比赛场景,这里的运动状态信息对应的运动状态类别可以不同,比如以跑步运动员为例,这里的运动状态信息可以包含跑道外静止等待状态、跑道内准备跑步状态以及跑道内跑步状态等。
S103,通过增强现实AR设备展示与运动状态信息对应的AR特效。
示例性地,AR设备可以包括但不限于AR眼镜、平板电脑、智能手机、智能穿戴式设备等具有显示功能和数据处理能力的设备,这些AR设备中可以安装用于展示AR场景内容的应用程序,用户可以在该应用程序中体验AR特效。
示例性地,AR特效可以根据预先设定的与目标场所关联的AR特效数据进行展示,比如针对不同的运动比赛场景,AR特效数据可以包含在该运动比赛场景下的虚拟文字信息、虚拟动画信息等,以如以图2所示的跑步运动比赛场景为例,AR特效数据可以包含运动状态的虚拟文字描述信息,比如图2中展示“跑步:45km/h”文字说明。
在一种实施方式中,在通过增强现实AR设备展示与运动状态信息对应的AR特效时,可以包括:
检测到目标对象的运动状态信息指示预设运动状态和/或指示目标对象进入目标区域,通过AR设备展示与运动状态信息对应的AR特效。
示例性地,预设运动状态可以为根据不同的运动场景预先设定的特定类型的运动状态,比如跑步比赛中的预设运动状态可以为跑步状态,排球比赛中的预设运动状态可以为发球状态等;目标区域可以运动场景中的正式赛区对应的区域。
考虑到并不是全部的运动过程都适合展示AR特效,故基于具体应用场景可设置好触发AR特效的展示条件,比如在运动状态信息指示预设运动状态或进入目标区域的条件下,触发展示对应的AR特效,由此可使得AR设备上展示的AR特效更具有针对性,更符合当前应用场景的展示需求。
本公开实施例中,通过设置在目标场所中的采集设备对目标场所中的设定子区域进行视频流采集,可以识别出目标场所中的目标对象以及目标对象在设定子区域的运动状态信息,从而可以基于运动状态信息将匹配的AR特效传输到观众佩戴的AR设备上,通过AR设备向观众不断展示出与变化的现实场景匹配的AR特效,由此实现在观赛场景中向观众精准展示运动场地内的运动对象的不同运动状态,提高观赛体验。
下面将结合具体实施例对上述S101~S103进行说明。
针对上述S102,在一些实施例中,基于视频流,确定在设定子区域内的目标对象的运动状态信息时,可以包括:基于视频流,和预先构建的包含设定子区域的目标场所的空间模型,确定在设定子区域内的目标对象的运动状态信息。
示例性地,预先构建的包含设定子区域的目标场所的空间模型与目标场所具有对应关系,两者在相同的坐标系中可以按照1:1进行呈现,因此这里可以通过视频流和空间模型,来确定目标对象在设定子区域的运动状态信息。
本公开实施例中,引入预先构建的包含设定子区域的目标场所的空间模型,可以快速将目标对象在二维视频流中的运动状态信息转换成三维空间模型中的运动状态信息,从而便于快速确定出目标对象的运动状态信息。
具体地,在基于视频流,和预先构建的包含设定子区域的目标场所的空间模型,确定在设定子区域内的目标对象的运动状态信息时,如图3所示,可以包括以下S201~S203:
S201,检测目标对象在视频流中的第一位姿数据。
示例性地,第一位姿数据可以包含目标对象在视频流中的至少一帧视频帧中的位置信息和/或姿态信息。
其中,目标对象在视频帧中的位置信息可以包含构成目标对象的特征点(目标对象的头部关键特征点、四肢关键骨骼点等)在视频帧中的图像坐标值、目标对象与视频帧中设定区域的位置关系等,比如,以运动比赛场景为例,目标对象与视频帧中设定区域的位置关系可以基于目标对象脚部的特征点对应的图像坐标值与视频帧中设定区域的位置范围确定,比如在设定区域为赛道时,可以确定目标对象是位于赛道内还是赛道外。
示例性地,目标对象在视频帧中的姿态信息可以表示目标对象在视频帧中的朝向、姿势(比如站立、蹲坐、趴着等)等信息。
S202,基于第一位姿数据、以及图像坐标系和预先构建的空间模型对应的坐标系之间的转换关系,确定目标对象在空间模型下的第二位姿数据。
示例性地,图像坐标系和预先构建的空间模型对应的坐标系之间的转换关系可以预先确定,预先构建的空间模型对应的坐标系可以和目标场所对应的世界坐标系对应,可以根据图像坐标系和采集设备的相机坐标系之间的转换关系,以及采集设备的相机坐标系和世界坐标系之间的转换关系,确定图像坐标系和预先构建的空间模型对应的坐标系之间的转换关系,比如可以预先对采集设备进行标定,确定采集设备采集的现实场景图像中的特征点在图像坐标系中的图像坐标值,以及特征点在空间模型中的坐标位置,这样,可以得到图像坐标系和预先构建的空间模型对应的坐标系之间的转换关系。
进一步地,在得到图像坐标系和预先构建的空间模型对应的坐标系之间的转换关系后,可以按照该转换关系,将目标对象的特征点在视频帧对应的图像坐标系下的图像坐标值转换至在空间模型对应的坐标系下的坐标值,即可以得到目标对象包含的特征点(目标对象的头部关键特征点、四肢关键骨骼点等)在空间模型中的位置信息,进一步可以将目标对象的关键特征点(比如构成目标对象脚部的特征点)在空间模型对应的坐标系下的位置信息作为目标对象在空间模型下的位置信息,根据目标对象包含的多个特征点在空间模型中的位置信息确定目标对象在空间模型中的姿态,至此得到目标对象在空间模型下的第二位姿数据。
S203,基于第二位姿数据,确定目标对象的运动状态信息。
示例性地,可以基于目标对象对应的至少一个第二位姿数据,对目标对象进行追踪,准确地确定出该目标对象在设定子区域处于的运动状态,比如基于多个第二位姿数据检测出目标对象在一段时间内的位姿不发生变化,可以确定目标对象的运动状态为静止状态。
本公开实施例中,通过基于视频流可以确定出的目标对象在二维图像中的第一位姿数据,进而利用二维的图像坐标系和三维的空间模型之间的转换关系,可将目标对象在二维的图像中的第一位姿数据转换为在三维的空间模型中的第二位姿数据,基于此,可以快速准确的确定出目标对象在目标场所中的运动状态信息。
具体地,针对上述S203,在基于第二位姿数据,确定目标对象的运动状态信息时,可以包括以下S2031~S2032:
S2031,基于第二位姿数据,确定目标对象的运动属性信息;
S2032,基于目标对象的运动属性信息,以及预设的目标属性值阈值和/或目标场所内目标区域的位置范围信息,确定目标对象的运动状态信息。
示例性地,目标对象的运动属性信息可以包含运动轨迹、运动方向、运动速度等。
示例性地,目标属性值阈值可以包括速度阈值、运动距离阈值等,目标对象的运动属性信息可以和目标属性值阈值结合确定目标对象的运动状态信息,比如可以根据运动速度、运动轨迹和运动速度阈值,确定目标对象的运动状态,比如确定为走路状态还是跑步状态。
示例性地,目标场所内目标区域的位置范围信息表示目标场所内目标区域在空间模型下的坐标区域,比如针对目标场所为跑步赛场为例,目标区域可以包含各个赛道在空间模型下的坐标区域,目标对象的运动属性信息可以和目标区域的位置范围信息结合确定目标对象是否进入目标区域。
示例性地,目标对象的运动属性信息可以与目标属性值阈值以及目标区域的位置范围信息结合,共同确定目标对象的运动状态信息,比如确定目标对象是否进入目标区域且在目标区域内的运动状态。
本公开实施例中,考虑到目标对象的运动状态的多样性,通过将预设的目标属性值阈值和/或目标区域的位置范围信息作为运动状态的判断标准,可准确掌握目标对象当前属于哪一类具体的运动状态,以便快速准确地确定匹配的AR特效。
在一种实施方式中,运动属性信息包含运动姿态数据;在基于目标对象的运动属性信息,以及预设的目标属性值阈值,确定目标对象的运动状态信息时,包括:
基于目标对象的运动姿态数据,以及预设的目标属性值阈值,检测到目标对象的运动状态与预设运动状态匹配的情况下,确定目标对象的运动状态信息为处于预设运动状态。
示例性地,运动姿态数据可以包含目标对象在运动场景中的姿态、以及按照该姿态运动时的速度等数据,比如可以包括站立姿态、走路姿态、下蹲姿态等、以及对应的运动速度等。
示例性地,预先可以存储预设运动状态对应的目标属性值阈值,这样可以基于运动姿态数据以及目标属性值阈值,检测目标对象的运动状态是否与预设运动状态匹配,或者,将运动姿态数据以及目标属性值阈值输入预先训练的用于检测目标对象是否和预设运动状态匹配的神经网络中,确定目标对象的运动状态是否与预设运动状态匹配,在确定目标对象的运动状态与预设运动状态匹配的情况下,确定目标对象的运动状态信息为处于预设运动状态。
本公开实施例中,可以根据目标对象的运动姿态数据以及预设目标属性值阈值,快速确定目标对象是否处于预设运动状态,从而可以快速生成与运动状态信息匹配的AR特效,便于通过AR设备向用户展示和目标对象当前的运动状态紧密贴合的AR特效。
在另一种实施方式中,运动属性信息包含运动位置数据;基于目标对象的运动属性信息,以及目标场所内目标区域的位置范围信息,确定目标对象的运动状态信息,包括:
基于目标对象的运动位置数据,以及目标场所内目标区域的位置范围信息,检测到目标对象进入目标区域内的情况下,确定目标对象的运动状态信息为位于目标区域内对应的运动状态。
示例性地,运动位置数据可以包含目标对象的运动轨迹、运动位置等数据,这样通过目标对象的运动位置数据,以及预先存储的或者检测出来的目标区域的位置范围信息,可以确定目标对象是否进入目标区域,比如目标区域为跑道,可以确定出目标对象是否进入跑道内。
本公开实施例中,可以根据目标对象的运动位置数据以及目标场所内目标区域的位置范围信息,快速确定目标对象是否进入目标区域,从而可以快速生成与进入目标区域的运动状态匹配的AR特效,便于通过AR设备向用户展示和目标对象当前的运动状态紧密贴合的AR特效。
在另一种实施方式中,运动属性信息包含运动姿态数据和运动位置数据,可以基于目标对象的运动属性信息,以及预设的目标属性值阈值和目标场所内目标区域的位置范围信息,共同确定目标对象的运动状态信息,具体可以包括以下S20321~S20323:
S20321,基于目标对象的运动位置数据,以及目标场所内目标区域的位置范围信息,确定目标对象是否进入目标区域内;
S20322,在确定目标对象进入目标区域内的情况下,基于目标对象的运动姿态数据,以及预设的目标属性值阈值,确定目标对象的运动状态是否与预设运动状态匹配;
S20323,在确定目标对象的运动状态与预设动状态匹配的情况下,确定目标对象的运动状态信息为位于目标区域内且处于目标运动状态。
示例性地,比如可以结合目标对象的运动轨迹和跑道对应的位置范围信息确定目标对象是否进入跑道,在确定目标对象进入跑道后,可以结合目标对象的运动位姿数据和目标属性值阈值,确定出目标对象的运动状态为跑步状态,这样可以确定出目标对象的运动状态信息为是否位于跑道内,且处于跑步状态。
针对上述提到的空间模型,如图4所示,可以按照以下方式构建表征目标场所的空间模型,具体包括以下S301~S302:
S301,获取采集设备拍摄包含设定子区域的目标场所得到的样本图像;
S302,基于样本图像、图像坐标系和目标场所对应的坐标系之间的转换关系,生成空间模型。
示例性地,在得到样本图像后,可以根据样本图像中包含多个特征点在图像坐标系下对应的图像坐标值,以及图像坐标系和目标场所对应的坐标系之间的转换关系,确定出多个特征点在目标场所对应的坐标系下的坐标值,这样可以基于多个特征点在目标场所对应的坐标系下的坐标值,来生成空间模型。
本公开实施例中,可以基于目标场所对应的样本场景图像,以及预先对采集设备进行标定确定的图像坐标系和目标场所对应的坐标系之间的转换关系,快速生成空间模型,为后期确定目标对象的运动状态信息提供便利。
具体地,针对上述S302,在基于样本图像、图像坐标系和目标场所对应的坐标系之间的转换关系,生成空间模型时,可以包括以下S3021~S3023:
S3021,提取样本图像中包含的多个特征点在图像坐标系下分别对应的第一位置信息。
示例性地,样本图像中的特征点可以为该表征目标场所关键信息的点,比如针对体育馆,这里样本图像中包含的多个特征点可以包含体育馆中目标区域边界的拐点、建筑物的顶点等不容易发生位置移动的位置点,可以在样本图像对应的图像坐标系中提取这些特征点的位置坐标,记为多个特征点对应的第一位置信息。
S3022,基于多个特征点分别对应的第一位置信息、图像坐标系和目标场所对应的坐标系之间的转换关系,确定多个特征点在目标场所对应的坐标系下分别对应的第二位置信息。
S3023,基于多个特征点分别对应的第二位置信息,生成空间模型。
示例性地,多个特征点可以构成表征目标场所的稠密点云,进一步结合稠密点云中的特征点在目标场所中对应的第二位置信息,可以生成表征目标场所的空间模型。
本公开实施例中,通过坐标系转换关系,可以快速确定样本图像中的多个特征点在目标场所对应的坐标系下的第二位置信息,基于此可以基于此快速生成目标场所的空间模型。
针对上述S103,在通过增强现实AR设备展示与运动状态信息对应的AR特效时,以观赛场景为例,AR设备可以为观众佩戴的AR设备,比如上述提到的AR眼镜或者手机等,考虑到每个观众佩戴AR设备时的观看范围不同,故为了便于准确为每台AR设备投放其对应的AR特效,本实施例中任意一台AR设备作为目标AR设备为例,来说明如何展示该目标AR设备匹配的目标AR特效。如图5所示,可以包括以下S401~S404:
S401,获取目标AR设备拍摄的目标现实场景图像;
S402,识别目标现实场景图像中出现在设定子区域的待处理目标对象;
S403,获取与待处理目标对象的运动状态信息匹配的待处理AR特效数据;
S404,通过目标AR设备展示由待处理AR特效数据生成的目标AR特效。
示例性地,在获取到目标AR设备拍摄的目标现实场景图像后,可以根据目标AR设备拍摄的目标现实场景图像,提取目标现实场景图像中包含的出现在设定子区域的待处理目标对象,可以将出现在目标场景图像中的目标对象作为这里的待处理目标对象,或者也可以将运动状态符合预设运动状态和/或进入设定子区域中的目标区域的目标对象作为这里的待处理目标对象。
示例性地,与待处理目标对象的运动状态信息匹配的待处理AR特效数据可以根据实时获取的待处理目标对象的运动状态信息生成的,也可以根据预先设定的不同运动状态信息匹配的AR特效数据,直接获取得到的,在此不进行限定。
示例性地,待处理AR特效数据可以包含多种类型的虚拟对象,比如可以包含虚拟文字、虚拟标识、虚拟动画等,以与跑步匹配的待处理AR特效数据为例,虚拟文字可以通过虚拟的文字内容来描述运动状态信息,比如如图2所示“跑步:45km/h”,虚拟标识可以包括用于表示不同运动状态信息的标识,比如通过红色的箭头表示待处理目标对象位于目标区域内,通过绿色的箭头表示待处理目标对象位于目标区域外;虚拟动画可以通过跑步的动画来进行展示,具体展示哪种类型的虚拟对象可以由用户进行设置,或者由服务器进行默认确定,在此不进行限定。
在得到与待处理目标对象的运动状态信息匹配的待处理AR特效数据后,可以通过目标AR设备展示由待处理AR特效生成的目标AR特效,比如在目标现实场景图像中叠加与待处理目标对象的运动状态匹配的目标AR特效。
本公开实施例中,通过对目标AR设备拍摄的目标现实场景图像进行识别,可以根据识别到的待处理目标对象获取与待处理目标对象的运动状态匹配的待处理AR特效数据,从而可以通过AR设备精准地展示出与AR设备拍摄的目标现实场景图像匹配的AR特效。
具体地,在通过目标AR设备展示由待处理AR特效数据生成的目标AR特效时,可以包括以下S4041~S4042:
S4041,确定待处理AR特效数据生成的目标AR特效在目标AR设备上的展示位姿;
S4042,在目标AR设备上展示具有展示位姿的目标AR特效。
示例性地,展示位姿可以包括目标AR特效在目标AR设备中展示时的位置数据/或姿态数据,具体地,目标AR特效在目标AR设备上的展示位姿可以根据待处理AR特效数和AR设备在同一坐标系下的位姿数据进行确定,比如可以确定待处理AR特效数据和AR设备在空间模型对应的坐标系下的位姿数据,或者可以确定待处理AR特效数据在AR设备对应的坐标系下的位姿数据,进而确定待处理AR特效数据生成的目标AR特效在目标AR设备上的展示位姿。
本公开实施例中,可以确定目标AR特效在目标AR设备上的展示位姿按照此展示位姿进行展示,能够使得展示的AR特效与用户当前观看的实际内容紧密关联,提升观看体验。
具体地,在确定待处理AR特效数据生成的目标AR特效在目标AR设备上的展示位姿时,可以包括以下过程S40411~S40412:
S40411,获取待处理AR特效数据的第三位姿数据;
S40412,基于待处理AR特效数据的第三位姿数据以及目标AR设备的第四位姿数据,确定目标AR特效在目标AR设备上的展示位姿。
示例性地,可以根据待处理目标对象在空间模型中的第二位姿数据、以及预先设定的待处理AR特效数据与待处理目标对象之间的相对展示关系,确定待处理AR特效数据在空间模型中的第三位姿数据。
示例性地,相对展示关系可以用于指示待处理AR特效数据和待处理目标对象在空间模型中的相对位置关系,可以包含待处理AR特效数据位于待处理目标对象上方且与待处理目标对象间隔设定距离、待处理AR特效数据位于待处理目标对象的右侧且与待处理目标对象间隔设定距离、待处理AR特效数据位于待处理目标对象的左侧且与待处理目标对象间隔设定距离、待处理AR特效数据与待处理目标对象重合等,这样,基于待处理目标对象在空间模型中的第二位姿数据以及相对展示关系,可以确定待处理AR特效数据在空间模型中的第三位姿数据。
示例性地,可以对AR设备拍摄的现实场景图像进行特征点提取,然后将提取的特征点与预先构建空间模型时的特征点进行比对,在构建空间模型时使用的样本图像中选取与AR设备拍摄的现实场景图像匹配的目标样本图像,然后将目标样本图像对应的拍摄位姿作为这里AR设备对应的第四位姿数据。
示例性地,AR设备对应的第四位姿数据可以包括用于显示目标AR特效的显示部件所在的位置和/或显示角度,比如以空间模型所在的坐标系为例,示例性地,AR设备对应第四位姿数据可以包括但不限于以下至少一种:AR设备的显示部件在该空间模型所在的坐标系中的坐标位置;AR设备的显示部件与空间模型所在的坐标系中各个坐标轴的夹角;包括AR设备的显示部件在空间模型所在的坐标系中的坐标位置以及与空间模型所在的坐标系中各个坐标轴的夹角。
其中,AR设备的显示部件具体指该AR设备中用于显示目标AR特效的部件,示例性地,AR设备为手机或者平板时,对应的显示部件可以为显示屏,当AR设备为AR眼镜时,对应的显示部件可以为用于显示目标AR特效的镜片。
示例性地,可以根据空间模型对应的坐标系、以及AR设备在空间模型中的第四位姿数据,确定出AR设备拍摄的图像对应的坐标系与空间模型对应的坐标系之间的转换关系,进一步基于该转换关系以及待处理AR特效数据的第三位姿数据,确定出目标AR特效在AR设备拍摄的图像中呈现时的展示位姿。
示例性地,上述提到的待处理目标对象在空间模型中的第二位姿数据可以预先根据采集设备采集的视频流进行确定,详见上文确定目标对象在空间模型下的第二位姿数据的过程,或者可以根据AR设备采集的目标现实场景图像进行确定,比如获取到AR设备拍摄的目标现实场景图像后,可以基于目标现实场景图像对应的图像坐标系与AR设备对应的坐标系之间的转换关系,确定出待处理目标对象在AR设备中的位姿数据,然后根据待处理目标对象在AR设备中的位姿数据,以及AR设备在空间模型中的第四位姿数据,确定出待处理目标对象在空间模型中的第二位姿数据。
本公开实施例中,可以根据待处理AR特效的第三位姿数据、以及目标AR设备的第四位姿数据,确定出目标AR特效在目标AR设备上的展示位姿,从而便于通过AR设备中展示出更为逼真的AR特效。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思,本公开实施例中还提供了与增强现实场景的展示方法对应的增强现实场景的展示装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述展示方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图6所示,为本公开实施例提供的一种增强现实场景的展示装置500的示意图,该展示装置包括:
获取模块501,用于获取在目标场所中设置的采集设备采集的视频流,采集设备的采集范围为目标场所中的设定子区域的范围;
确定模块502,用于基于视频流,识别在设定子区域内的目标对象的运动状态信息;
展示模块503,用于通过增强现实AR设备展示与运动状态信息对应的AR特效。
在一种可能的实施方式中,确定模块502在用于基于视频流,识别在设定子区域内的目标对象的运动状态信息时,包括:
基于视频流,和预先构建的包含设定子区域的目标场所的空间模型,确定在设定子区域内的目标对象的运动状态信息。
在一种可能的实施方式中,确定模块502在用于基于视频流,和预先构建的包含设定子区域的目标场所的空间模型,确定在设定子区域内的目标对象的运动状态信息时,包括:
检测目标对象在视频流中的第一位姿数据;
基于第一位姿数据、以及图像坐标系和预先构建的空间模型对应的坐标系之间的转换关系,确定目标对象在空间模型下的第二位姿数据;
基于第二位姿数据,确定目标对象的运动状态信息。
在一种可能的实施方式中,确定模块502在用于基于第二位姿数据,确定目标对象的运动状态信息时,包括:
基于第二位姿数据,确定目标对象的运动属性信息;
基于目标对象的运动属性信息,以及预设的目标属性值阈值和/或目标场所内目标区域的位置范围信息,确定目标对象的运动状态信息。
在一种可能的实施方式中,运动属性信息包含运动姿态数据;确定模块502在用于基于目标对象的运动属性信息,以及预设的目标属性值阈值,确定目标对象的运动状态信息时,包括:
基于目标对象的运动姿态数据,以及预设的目标属性值阈值,检测到目标对象的运动状态与预设运动状态匹配的情况下,确定目标对象的运动状态信息为处于预设运动状态。
在一种可能的实施方式中,运动属性信息包含运动位置数据;确定模块502在用于基于目标对象的运动属性信息,以及目标场所内目标区域的位置范围信息,确定目标对象的运动状态信息时,包括:
基于目标对象的运动位置数据,以及目标场所内目标区域的位置范围信息,检测到目标对象进入目标区域内的情况下,确定目标对象的运动状态信息为位于目标区域内对应的运动状态。
在一种可能的实施方式中,展示模块503在用于通过增强现实AR设备展示与运动状态信息对应的AR特效时,包括:
检测到目标对象的运动状态信息指示预设运动状态和/或指示目标对象进入目标区域,通过AR设备展示与运动状态信息对应的AR特效。
在一种可能的实施方式中,展示装置还包括构建模块504,构建模块504用于按照以下方式构建包含设定子区域的目标场所的空间模型:
获取采集设备拍摄包含设定子区域的目标场所得到的样本图像;
基于样本图像、图像坐标系和目标场所对应的坐标系之间的转换关系,生成空间模型。
在一种可能的实施方式中,构建模块504在用于基于样本图像、图像坐标系和目标场所对应的坐标系之间的转换关系,生成空间模型时,包括:
提取样本图像中包含的多个特征点在图像坐标系下分别对应的第一位置信息;
基于多个特征点分别对应的第一位置信息、图像坐标系和目标场所对应的坐标系之间的转换关系,确定多个特征点在目标场所对应的坐标系下分别对应的第二位置信息;
基于多个特征点分别对应的第二位置信息,生成空间模型。
在一种可能的实施方式中,展示模块503在用于通过增强现实AR设备展示与运动状态信息对应的AR特效时,包括:
获取目标AR设备拍摄的目标现实场景图像;
识别目标现实场景图像中出现在设定子区域的待处理目标对象;
获取与待处理目标对象的运动状态信息匹配的待处理AR特效数据;
通过目标AR设备展示由待处理AR特效数据生成的目标AR特效。
在一种可能的实施方式中,展示模块503在用于通过目标AR设备展示由待处理AR特效数据生成的目标AR特效时,包括:
确定待处理AR特效数据生成的目标AR特效在目标AR设备上的展示位姿;
在目标AR设备上展示具有展示位姿的目标AR特效。
在一种可能的实施方式中,展示模块503在用于确定待处理AR特效数据生成的目标AR特效在目标AR设备上的展示位姿时,包括:
获取待处理AR特效数据的第三位姿数据;
基于待处理AR特效数据的第三位姿数据以及目标AR设备的第四位姿数据,确定目标AR特效在目标AR设备上的展示位姿。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
对应于图1中的增强现实场景的展示方法,本公开实施例还提供了一种电子设备600,如图7所示,为本公开实施例提供的电子设备600结构示意图,包括:
处理器61、存储器62、和总线63;存储器62用于存储执行指令,包括内存621和外部存储器622;这里的内存621也称内存储器,用于暂时存放处理器61中的运算数据,以及与硬盘等外部存储器622交换的数据,处理器61通过内存621与外部存储器622进行数据交换,当电子设备600运行时,处理器61与存储器62之间通过总线63通信,使得处理器61执行以下指令:获取在目标场所中设置的采集设备采集的视频流,采集设备的采集范围为目标场所中的设定子区域的范围;基于视频流,识别在设定子区域内的目标对象的运动状态信息;通过增强现实AR设备展示与运动状态信息对应的AR特效。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中的增强现实场景的展示方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中的增强现实场景的展示方法的步骤,具体可参见上述方法实施例,在此不再赘述。
其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种增强现实场景的展示方法,其特征在于,包括:
获取在目标场所中设置的采集设备采集的视频流,所述采集设备的采集范围为目标场所中的设定子区域的范围;
基于所述视频流,识别在所述设定子区域内的目标对象的运动状态信息;其中,所述运动状态信息包括所述目标对象的位置信息及运动状态;
检测到目标对象的运动状态信息指示预设运动状态和/或指示所述目标对象进入目标区域,获取目标增强现实设备拍摄的目标现实场景图像;
识别所述目标现实场景图像中出现在所述设定子区域的待处理目标对象;所述待处理目标对象为出现在所述目标现实场景图像中的所述目标对象;
获取与所述待处理目标对象的运动状态信息匹配的待处理增强现实特效数据;
通过所述目标增强现实设备展示由所述待处理增强现实特效数据生成的目标增强现实特效。
2.根据权利要求1所述的展示方法,其特征在于,所述基于所述视频流,识别在所述设定子区域内的目标对象的运动状态信息,包括:
基于所述视频流,和预先构建的包含所述设定子区域的目标场所的空间模型,确定在所述设定子区域内的所述目标对象的运动状态信息。
3.根据权利要求2所述的展示方法,其特征在于,所述基于所述视频流,和预先构建的包含所述设定子区域的目标场所的空间模型,确定在所述设定子区域内的所述目标对象的运动状态信息,包括:
检测所述目标对象在所述视频流中的第一位姿数据;
基于所述第一位姿数据、以及图像坐标系和预先构建的所述空间模型对应的坐标系之间的转换关系,确定所述目标对象在所述空间模型下的第二位姿数据;
基于所述第二位姿数据,确定所述目标对象的运动状态信息。
4.根据权利要求3所述的展示方法,其特征在于,所述基于所述第二位姿数据,确定所述目标对象的运动状态信息,包括:
基于所述第二位姿数据,确定所述目标对象的运动属性信息;
基于所述目标对象的运动属性信息,以及预设的目标属性值阈值和/或所述目标场所内目标区域的位置范围信息,确定所述目标对象的运动状态信息。
5.根据权利要求4所述的展示方法,其特征在于,所述运动属性信息包含运动姿态数据;基于所述目标对象的运动属性信息,以及预设的目标属性值阈值,确定所述目标对象的运动状态信息,包括:
基于所述目标对象的运动姿态数据,以及预设的目标属性值阈值,检测到所述目标对象的运动状态与预设运动状态匹配的情况下,确定所述目标对象的运动状态信息为处于所述预设运动状态。
6.根据权利要求4或5所述的展示方法,其特征在于,所述运动属性信息包含运动位置数据;基于所述目标对象的运动属性信息,以及所述目标场所内目标区域的位置范围信息,确定所述目标对象的运动状态信息,包括:
基于所述目标对象的运动位置数据,以及所述目标场所内目标区域的位置范围信息,检测到所述目标对象进入所述目标区域内的情况下,确定所述目标对象的运动状态信息为位于所述目标区域内对应的运动状态。
7.根据权利要求2所述的展示方法,其特征在于,按照以下方式构建包含所述设定子区域的目标场所的空间模型:
获取所述采集设备拍摄包含所述设定子区域的目标场所得到的样本图像;
基于所述样本图像、图像坐标系和所述目标场所对应的坐标系之间的转换关系,生成所述空间模型。
8.根据权利要求7所述的展示方法,其特征在于,所述基于所述样本图像、图像坐标系和所述目标场所对应的坐标系之间的转换关系,生成所述空间模型,包括:
提取所述样本图像中包含的多个特征点在所述图像坐标系下分别对应的第一位置信息;
基于所述多个特征点分别对应的第一位置信息、所述图像坐标系和所述目标场所对应的坐标系之间的转换关系,确定所述多个特征点在所述目标场所对应的坐标系下分别对应的第二位置信息;
基于所述多个特征点分别对应的第二位置信息,生成所述空间模型。
9.根据权利要求1所述的展示方法,其特征在于,所述通过所述目标增强现实设备展示由所述待处理增强现实特效数据生成的目标增强现实特效,包括:
确定所述待处理增强现实特效数据生成的所述目标增强现实特效在所述目标增强现实设备上的展示位姿;
在所述目标增强现实设备上展示具有所述展示位姿的目标增强现实特效。
10.根据权利要求9所述的展示方法,其特征在于,所述确定所述待处理增强现实特效数据生成的所述目标增强现实特效在所述目标增强现实设备上的展示位姿,包括:
获取所述待处理增强现实特效数据的第三位姿数据;
基于所述待处理增强现实特效数据的第三位姿数据以及所述目标增强现实设备的第四位姿数据,确定所述目标增强现实特效在所述目标增强现实设备上的展示位姿。
11.一种增强现实场景的展示装置,其特征在于,包括:
获取模块,用于获取在目标场所中设置的采集设备采集的视频流,所述采集设备的采集范围为目标场所中的设定子区域的范围;
确定模块,用于基于所述视频流,识别在所述设定子区域内的目标对象的运动状态信息;其中,所述运动状态信息包括所述目标对象的位置信息及运动状态;
展示模块,用于检测到目标对象的运动状态信息指示预设运动状态和/或指示所述目标对象进入目标区域,获取目标增强现实设备拍摄的目标现实场景图像;识别所述目标现实场景图像中出现在所述设定子区域的待处理目标对象;所述待处理目标对象为出现在所述目标现实场景图像中的所述目标对象;获取与所述待处理目标对象的运动状态信息匹配的待处理增强现实特效数据;通过所述目标增强现实设备展示由所述待处理增强现实特效数据生成的目标增强现实特效。
12.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至10任一所述的展示方法的步骤。
13.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至10任一所述的展示方法的步骤。
CN202011536815.3A 2020-12-23 2020-12-23 增强现实场景下的展示方法、装置、电子设备及存储介质 Active CN112637665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011536815.3A CN112637665B (zh) 2020-12-23 2020-12-23 增强现实场景下的展示方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011536815.3A CN112637665B (zh) 2020-12-23 2020-12-23 增强现实场景下的展示方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112637665A CN112637665A (zh) 2021-04-09
CN112637665B true CN112637665B (zh) 2022-11-04

Family

ID=75321508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011536815.3A Active CN112637665B (zh) 2020-12-23 2020-12-23 增强现实场景下的展示方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112637665B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113190120B (zh) * 2021-05-11 2022-06-24 浙江商汤科技开发有限公司 位姿获取方法、装置、电子设备及存储介质
CN113359988B (zh) * 2021-06-03 2022-11-29 北京市商汤科技开发有限公司 一种信息的展示方法、装置、计算机设备及存储介质
CN113542891B (zh) * 2021-06-22 2023-04-21 海信视像科技股份有限公司 一种视频特效显示方法及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108712661A (zh) * 2018-05-28 2018-10-26 广州虎牙信息科技有限公司 一种直播视频处理方法、装置、设备及存储介质
CN109089038A (zh) * 2018-08-06 2018-12-25 百度在线网络技术(北京)有限公司 增强现实拍摄方法、装置、电子设备及存储介质
CN109474850A (zh) * 2018-11-29 2019-03-15 北京字节跳动网络技术有限公司 运动像素视频特效添加方法、装置、终端设备及存储介质
CN109618183A (zh) * 2018-11-29 2019-04-12 北京字节跳动网络技术有限公司 一种视频特效添加方法、装置、终端设备及存储介质
CN111640197A (zh) * 2020-06-09 2020-09-08 上海商汤智能科技有限公司 一种增强现实ar特效控制方法、装置及设备
CN111640202A (zh) * 2020-06-11 2020-09-08 浙江商汤科技开发有限公司 一种ar场景特效生成的方法及装置
CN111665942A (zh) * 2020-06-08 2020-09-15 浙江商汤科技开发有限公司 一种ar特效触发展示方法、装置、电子设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102317247B1 (ko) * 2015-06-15 2021-10-26 한국전자통신연구원 영상정보를 이용한 증강현실 기반 손 인터랙션 장치 및 방법
WO2018213481A1 (en) * 2017-05-16 2018-11-22 Sportscastr.Live Llc Systems, apparatus, and methods for scalable low-latency viewing of integrated broadcast commentary and event video streams of live events, and synchronization of event information with viewed streams via multiple internet channels

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108712661A (zh) * 2018-05-28 2018-10-26 广州虎牙信息科技有限公司 一种直播视频处理方法、装置、设备及存储介质
CN109089038A (zh) * 2018-08-06 2018-12-25 百度在线网络技术(北京)有限公司 增强现实拍摄方法、装置、电子设备及存储介质
CN109474850A (zh) * 2018-11-29 2019-03-15 北京字节跳动网络技术有限公司 运动像素视频特效添加方法、装置、终端设备及存储介质
CN109618183A (zh) * 2018-11-29 2019-04-12 北京字节跳动网络技术有限公司 一种视频特效添加方法、装置、终端设备及存储介质
CN111665942A (zh) * 2020-06-08 2020-09-15 浙江商汤科技开发有限公司 一种ar特效触发展示方法、装置、电子设备和存储介质
CN111640197A (zh) * 2020-06-09 2020-09-08 上海商汤智能科技有限公司 一种增强现实ar特效控制方法、装置及设备
CN111640202A (zh) * 2020-06-11 2020-09-08 浙江商汤科技开发有限公司 一种ar场景特效生成的方法及装置

Also Published As

Publication number Publication date
CN112637665A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN112637665B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
US11532172B2 (en) Enhanced training of machine learning systems based on automatically generated realistic gameplay information
CN112653848B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN112348969B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN111638793B (zh) 飞行器的展示方法、装置、电子设备及存储介质
US20200193671A1 (en) Techniques for rendering three-dimensional animated graphics from video
CN110716645A (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
US9728011B2 (en) System and method for implementing augmented reality via three-dimensional painting
CN106355153A (zh) 一种基于增强现实的虚拟对象显示方法、装置以及系统
JP2022505998A (ja) 拡張現実データの提示方法、装置、電子機器及び記憶媒体
CN112148189A (zh) 一种ar场景下的交互方法、装置、电子设备及存储介质
CN112927349A (zh) 三维虚拟特效的生成方法、装置、计算机设备及存储介质
CN111651057A (zh) 一种数据展示方法、装置、电子设备及存储介质
CN111970557A (zh) 图像显示方法、装置、电子设备及存储介质
CN112905014A (zh) Ar场景下的交互方法、装置、电子设备及存储介质
CN112882576A (zh) Ar交互方法、装置、电子设备及存储介质
CN111651058A (zh) 历史场景的控制展示方法、装置、电子设备及存储介质
CN106536004A (zh) 增强的游戏平台
WO2022166173A1 (zh) 视频资源处理方法、装置、计算机设备、存储介质及程序
CN111639613A (zh) 一种增强现实ar特效生成方法、装置及电子设备
CN112991555A (zh) 数据展示方法、装置、设备以及存储介质
CN113178017A (zh) Ar数据展示方法、装置、电子设备及存储介质
CN114584681A (zh) 目标对象的运动展示方法、装置、电子设备及存储介质
CN112333498A (zh) 一种展示控制方法、装置、计算机设备及存储介质
CN114758041A (zh) 虚拟对象展示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant