CN112927349B - 三维虚拟特效的生成方法、装置、计算机设备及存储介质 - Google Patents

三维虚拟特效的生成方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112927349B
CN112927349B CN202110198019.1A CN202110198019A CN112927349B CN 112927349 B CN112927349 B CN 112927349B CN 202110198019 A CN202110198019 A CN 202110198019A CN 112927349 B CN112927349 B CN 112927349B
Authority
CN
China
Prior art keywords
target
functional area
dimensional
virtual special
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110198019.1A
Other languages
English (en)
Other versions
CN112927349A (zh
Inventor
侯欣如
姜翰青
刘文韬
焦飞
冯友计
欧华富
王鼎禄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202110198019.1A priority Critical patent/CN112927349B/zh
Publication of CN112927349A publication Critical patent/CN112927349A/zh
Application granted granted Critical
Publication of CN112927349B publication Critical patent/CN112927349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供了一种三维虚拟特效的生成方法、装置、计算机设备及存储介质，其中，该方法包括：获取对目标运动场馆进行采集得到的目标图像；基于目标图像，生成与目标运动场馆匹配的三维场馆模型，其中，三维场馆模型包括目标运动场馆中至少一个功能区域的特征数据，每个功能区域的特征数据分别标识有对应功能区域的类别标注信息；基于至少一个功能区域分别对应的类别标注信息，为目标运动场馆的至少一个功能区域匹配虚拟特效，得到目标运动场馆的三维虚拟特效。

Description

三维虚拟特效的生成方法、装置、计算机设备及存储介质
技术领域
本公开涉及增强现实(Augmented Reality，AR)技术领域，具体而言，涉及一种三维虚拟特效的生成方法、装置、计算机设备及存储介质。
背景技术
AR技术是一种将虚拟信息与真实世界融合的技术，运用了多媒体、三维建模等多种技术手段，将计算机生成的虚拟图像信息模拟仿真后应用于真实世界中向用户展示，在虚拟场景展示、场景导览等领域应用广泛。当前针对大型场馆生成的三维虚拟特效的匹配度较差。
发明内容
本公开实施例至少提供一种三维虚拟特效的生成方法、装置、计算机设备及存储介质。
第一方面，本公开实施例提供了一种三维虚拟特效的生成方法，包括：获取对目标运动场馆进行采集得到的目标图像；基于所述目标图像，生成与所述目标运动场馆匹配的三维场馆模型，其中，所述三维场馆模型包括所述目标运动场馆中至少一个功能区域的特征数据，每个所述功能区域的特征数据分别标识有对应所述功能区域的类别标注信息；基于所述至少一个功能区域分别对应的所述类别标注信息，为所述目标运动场馆的至少一个功能区域匹配虚拟特效，得到所述目标运动场馆的三维虚拟特效。
这样，由于目标运动场馆的三维虚拟特效是根据目标运动场馆的不同功能区域对应生成的，因此得到的三维虚拟特效可以更细致、和更具有针对性的匹配到目标运动场馆的不同功能区域，并且三维虚拟特效在功能区域层级有更明确的划分，使得生成的虚拟三维特效与目标运动场馆的匹配度更高。
一种可选的实施方式中，所述基于所述目标图像，生成与所述目标运动场馆匹配的三维场馆模型，包括：对所述目标图像进行特征点提取，得到所述目标图像中的特征点；确定所述目标图像中特征点对应的功能区域的类别标注信息；基于所述目标图像、以及所述特征点对应的功能区域的类别标注信息，生成所述目标运动场馆的三维场馆模型。
这样，通过对目标图像进行特征点提取得到的特征点来表征运动场馆内各功能区域，简化了各功能区域在目标运动场馆内具体位置的表达方式、和数据量，进而在基于目标图像、以及特征点对应的功能区域的类别标注信息生成目标运动场馆的三维场馆模型时，处理更简单，效率更高。
一种可选的实施方式中，所述确定所述目标图像中特征点对应的功能区域的类别标注信息，包括：基于所述特征点与所述目标图像中像素点之间的映射关系、以及对所述目标图像中对各所述功能区域的原始标注信息，得到所述目标图像中各特征点分别对应的功能区域的类别标注信息。
这样，利用目标图像中的特征点进行识别，相较于目标图像中的像素点以及对应目标运动场馆中的点云点数据量更少，可以在有代表性地表示目标图像中原始数据的同时，有效的提升处理的速度。此外，利用目标图像的原始标注信息得到目标图像中不同特征点分别对应的功能区域的类别标注信息，可以对不同的特征点进行准确的分类标注。
一种可选的实施方式中，所述三维场馆模型中每个所述功能区域的特征数据包括每个所述功能区域的点云点的数据；所述基于所述目标图像、以及所述特征点对应的功能区域的类别标注信息，生成所述目标运动场馆的三维场馆模型，包括：基于所述目标图像，对所述目标运动场馆进行三维重建，得到在同一功能区域中与所述特征点对应的点云点在三维场馆模型中的坐标值；以及，基于所述特征点对应的功能区域的类别标注信息，确定在同一功能区域中与所述特征点对应的点云点的类别标注信息。
这样，由于特征点对应的功能区域的类别标注信息较为准确，因此利用特征点对应的功能区域的类别信息、以及特征点与点云点之间的对应的关系确定统一功能区域中与特征点对应的点云点的类别标注信息时，确定的点云点的类别标注信息也更为准确。
一种可选的实施方式中，所述获取所述目标图像，包括：获取位于所述目标运动场馆内的多个功能区域的摄像头采集的视频流；从各功能区域的所述视频流中，选择各功能区域在同一时间戳下采集的所述目标图像。
这样，利用多个摄像头对目标运动场馆内的多个功能区域进行采集，可以避免出现摄像死角，使得采集得到的目标运动场馆对应的目标图像对目标运动场馆中的多个功能区域拍摄更完整；并且，利用对同一区域拍摄的两个摄像头，即可以确定区域中的点云点，因此还可以不使用广角摄像头或者深度摄像头，也即对摄像头的要求较低，从而可以降低模型重建的设备成本。
一种可选的实施方式中，所述从各功能区域的所述视频流中，选择各功能区域在同一时间戳下采集的所述目标图像，包括：基于所述视频流中各帧视频帧图像的时间戳，从各功能区域的所述视频流中，获取多个图像组；其中，每个图像组中包括在同一时间戳下采集的各功能区域的备选视频帧图像；从所述多个图像组中，确定备选视频帧图像均满足预设图像质量条件的目标图像组，并将所述目标图像组中的备选视频帧图像确定为所述目标图像。
这样，可以获取到质量较高的目标图像，以使后续对目标图像进行处理时更容易，且得到的处理结果更加准确。此外，利用时间戳确定不同摄像头分别对应的一组图像组，可以有效的避免在拍摄中摄像头的位姿变化或者场景变化对目标图像造成的影响。
一种可选的实施方式中，所述基于所述至少一个功能区域分别对应的所述类别标注信息，为所述目标运动场馆的至少一个功能区域匹配虚拟特效，得到所述目标运动场馆的三维虚拟特效，包括：基于所述类别标注信息所表征的区域类别、以及所述至少一个功能区域分别在所述三维场馆模型中的坐标值，为所述至少一个功能区域分别匹配与所述区域类别对应的虚拟特效，生成所述目标运动场馆的三维虚拟特效。
这样，即能够为目标运动场馆的不同区域确定对应的三维虚拟特效，使得生成的目标运动场馆的三维虚拟特效与目标运动场馆中的各个功能区域在针对性更强的同时，具有更高的匹配度。
一种可选的实施方式中，还包括：在AR设备中展示所述目标运动场馆的三维虚拟特效；响应于对指定类型的三维虚拟特效的触发操作，控制所述AR设备中展示调整所述指定类型的三维虚拟特效的展示效果。
这样，通过展示三维虚拟特效，并响应对不同类型三维虚拟特效的触发，还可以提升目标运动场馆和触发三维虚拟特效的用户之间的互动性。同时，不同类型的三维虚拟特效，还可以提升三维虚拟特效内容的丰富性和多样性。
第二方面，本公开实施例还提供一种三维虚拟特效的生成装置，包括：
获取模块，用于获取对目标运动场馆进行采集得到的目标图像；第一生成模块，用于基于所述目标图像，生成与所述目标运动场馆匹配的三维场馆模型，其中，所述三维场馆模型包括所述目标运动场馆中至少一个功能区域的特征数据，每个所述功能区域的特征数据分别标识有对应所述功能区域的类别标注信息；第二生成模块，用于基于所述至少一个功能区域分别对应的所述类别标注信息，为所述目标运动场馆的至少一个功能区域匹配虚拟特效，得到所述目标运动场馆的三维虚拟特效。
一种可选的实施方式中，所述第二生成模块在基于所述目标图像，生成与所述目标运动场馆匹配的三维场馆模型时，用于：对所述目标图像进行特征点提取，得到所述目标图像中的特征点；确定所述目标图像中特征点对应的功能区域的类别标注信息；基于所述目标图像、以及所述特征点对应的功能区域的类别标注信息，生成所述目标运动场馆的三维场馆模型。
一种可选的实施方式中，所述第一生成模块在确定所述目标图像中特征点对应的功能区域的类别标注信息时，用于：基于所述特征点与所述目标图像中像素点之间的映射关系、以及对所述目标图像中对各所述功能区域的原始标注信息，得到所述目标图像中各特征点分别对应的功能区域的类别标注信息。
一种可选的实施方式中，所述三维场馆模型中每个所述功能区域的特征数据包括每个所述功能区域的点云点的数据；所述第二生成模块在基于所述目标图像、以及所述特征点对应的功能区域的类别标注信息，生成所述目标运动场馆的三维场馆模型时，用于：基于所述目标图像，对所述目标运动场馆进行三维重建，得到在同一功能区域中与所述特征点对应的点云点在三维场馆模型中的坐标值；以及，基于所述特征点对应的功能区域的类别标注信息，确定在同一功能区域中与所述特征点对应的点云点的类别标注信息。
一种可选的实施方式中，所述获取模块在获取所述目标图像时，用于：获取位于所述目标运动场馆内的多个功能区域的摄像头采集的视频流；从各功能区域的所述视频流中，选择各功能区域在同一时间戳下采集的所述目标图像。
一种可选的实施方式中，所述获取模块在从各功能区域的所述视频流中，选择各功能区域在同一时间戳下采集的所述目标图像时，用于：基于所述视频流中各帧视频帧图像的时间戳，从各功能区域的所述视频流中，获取多个图像组；其中，每个图像组中包括在同一时间戳下采集的各功能区域的备选视频帧图像；从所述多个图像组中，确定备选视频帧图像均满足预设图像质量条件的目标图像组，并将所述目标图像组中的备选视频帧图像确定为所述目标图像。
一种可选的实施方式中，所述第二生成模块在基于所述至少一个功能区域分别对应的所述类别标注信息，为所述目标运动场馆的至少一个功能区域匹配虚拟特效，得到所述目标运动场馆的三维虚拟特效时，用于：基于所述类别标注信息所表征的区域类别、以及所述至少一个功能区域分别在所述三维场馆模型中的坐标值，为所述至少一个功能区域分别匹配与所述区域类别对应的虚拟特效，生成所述目标运动场馆的三维虚拟特效。
一种可选的实施方式中，还包括展示模块，用于：在AR设备中展示所述目标运动场馆的三维虚拟特效；响应于对指定类型的三维虚拟特效的触发操作，控制所述AR设备中展示调整所述指定类型的三维虚拟特效的展示效果。
第三方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
关于上述三维虚拟特效的生成装置、计算机设备、及计算机可读存储介质的效果描述参见上述三维虚拟特效的生成方法的说明，这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种三维虚拟特效的生成方法的流程图；
图2示出了本公开实施例所提供的一种综合比赛场馆的场馆内部展示示意图；
图3示出了本公开实施例所提供的一种从各功能区域的视频流中，选择各功能区域在同一时间戳下采集的目标图像的具体方法的流程图；
图4示出了本公开实施例所提供的一种生成与目标运动场馆匹配的三维场馆模型的具体方法的流程图；
图5示出了本公开实施例所提供的一种生成目标运动场馆的三维模型的具体方法的流程图；
图6示出了本公开实施例所提供的一种为不同点云点组分别匹配的与点云点组的区域类别对应的三维虚拟特效的示意图；
图7示出了本公开实施例所提供的一种向用户展示的目标运动场馆的三维虚拟特效的示意图；
图8示出了本公开实施例所提供的一种三维虚拟特效的生成装置的示意图；
图9示出了本公开实施例所提供的一种计算机设备结构的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
经研究发现，针对在体育场馆内进行的体育赛事，用户通常可以通过到现场观看、或者通过直播或者录播节目观看，而为了增加观看的趣味性，当前会在观看体育赛事使用的设备中展示预先生成的三维虚拟特效；三维虚拟特效的展示位置一般由设计人员确定；人为确定三维虚拟特效在体育场馆中展示位置导致了三维虚拟特效与体育场馆的匹配度较低。
基于上述研究，本公开提供了一种三维虚拟特效的生成方法、装置、计算机设备及存储介质，能够针对目标运动场馆内各个功能区域分别匹配对应的虚拟特效，以得到目标运动场馆的三维虚拟特效，从而生成的三维虚拟特效与目标运动场馆具有更高的匹配度。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种三维虚拟特效的生成方法进行详细介绍，本公开实施例所提供的三维虚拟特效的生成方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、AR设备、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等；AR设备比如可以包括AR眼镜、平板电脑、智能手机、智能穿戴式设备等具有明显显示功能和数据处理功能的设备，AR设备可以通过应用程序连接服务器。在一些可能的实现方式中，该三维虚拟特效的生成方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面对本公开实施例提供的三维虚拟特效的生成方法加以说明。
参见图1所示，为本公开实施例提供的三维虚拟特效的生成方法的流程图，所述方法包括步骤S101～S103，其中：
S101：获取对目标运动场馆进行采集得到的目标图像；
S102：基于目标图像，生成与目标运动场馆匹配的三维场馆模型，其中，三维场馆模型包括目标运动场馆中至少一个功能区域的特征数据，每个功能区域的特征数据分别标识有对应功能区域的类别标注信息；
S103：基于至少一个功能区域分别对应的类别标注信息，为目标运动场馆的至少一个功能区域匹配虚拟特效，得到目标运动场馆的三维虚拟特效。
本公开实施例通过对目标运动场馆进行采集得到目标图像，并基于目标图像生成包含目标运动场馆中至少一个功能区域的类别标注信息的三维场馆模型，然后利用至少一个功能区域的类别标注信息，为不同的功能区域匹配虚拟特效，以使得得到的三维虚拟特效可以更细致、和更具有针对性的匹配到目标运动场馆的不同功能区域，使得目标运动场馆的三维虚拟特效能够在功能区域层级具有更明确的划分，生成的三维虚拟特效与目标运动场馆具有更高的匹配度。
下面对上述S101～S103加以详细说明。
针对上述S101，目标运动场馆例如可以包括羽毛球馆、击剑馆、冰壶馆、游泳馆、综合比赛场馆等室内封闭型场馆，或者田径运动场、足球场等室外半开放型场馆。具体的目标运动场馆可以根据实际情况确定，在此不做限定。
本公开实施例以目标运动场馆为综合比赛场馆为例，对三维虚拟特效的生成方法进行说明。
在对目标运动场馆进行采集获取目标图像时，例如可以采用下述方式：获取位于目标运动场馆内的多个功能区域的摄像头采集的视频流；从各功能区域的视频流中，选择各功能区域在同一时间戳下采集的目标图像。
在一种可能的实施方式中，在获取位于目标运动场馆内的摄像头采集的视频流时，例如可以利用在目标运动场馆的不同功能区域安装的多个摄像头，并获取多个摄像头分别采集的视频流。
在具体实施中，可以根据实际的三维虚拟特效的展示需求，确定需要对目标运动场馆采集获取目标图像的多个摄像头的安装位置，然后利用安装的多个摄像头对目标运动场馆进行视频拍摄，从而基于拍摄得到的视频确定目标图像。
其中，安装的摄像头例如可以包括下述至少一种：激光雷达传感器、飞行时间(Time of Flight，TOF)深度相机等可以得到深度图像的设备；彩色相机等二维图像的设备。
示例性的，三维虚拟特效的展示需求例如可以包括对综合比赛场馆中预先确定的多个展示区域分别展示不同的三维虚拟特效，则可以先确定例如领奖台区域、赛道区域、裁判席区域、选手候场区域、观众席区域、以及显示大屏区域等多个功能区域。参见图2所示，为本公开实施例提供的一种综合比赛场馆的场馆内部展示示意图，其中，21表示比赛区域、22以及23分别表示西区和东区两个区域的观众席区域、以及24表示显示大屏区域。在确定多个确定的多个展示区域后，通过在目标运动场馆中设置多个摄像头，可以对多个功能区域进行完整拍摄获取视频流。
此时，值得注意的是，由于在目标运动场馆中，确定的同一类别的功能区域在目标运动场馆中可能存在多个，例如当综合比赛场馆中的西区和东区均设置观众席的情况，则设置的摄像头应当对西区和东区的所有观众席进行拍摄。
在获取到多个摄像头分别采集的视频流后，例如还可以基于视频流中各帧视频图像的时间戳，从多个摄像头分别采集的视频流中，选择由多个摄像头在各个功能区域采集得到的分别在同一时间戳下的目标图像。
参见图3所示，本公开实施例提供了一种从各功能区域的视频流中，选择各功能区域在同一时间戳下采集的目标图像的具体方法，包括：
S301：基于视频流中各帧视频帧图像的时间戳，从各功能区域的视频流中，获取多个图像组；其中，每个图像组中包括在同一时间戳下采集的各功能区域的备选视频帧图像；
S302：从多个图像组中，确定备选视频帧图像均满足预设图像质量条件的目标图像组，并将目标图像组中的备选视频帧图像确定为目标图像。
在具体实施中，例如可以确定初始时间戳以及时间间隔，然后利用初始时间戳确定多个摄像头分别获取的各功能区域的视频流对应的第一帧备选视频帧图像；针对每个视频流，可以利用时间间隔确定初始时间戳后的多个时间戳，然后利用确定的多个时间戳从视频流中确定多张采集各功能区域得到的备选视频帧图像。
此时，即可以将多个第一帧备选视频帧图像以及利用多个第一备选视频帧图像确定的多张备选视频帧图像作为目标图像。然后，将每个视频流对应的备选视频帧图像分开进行存储，获得多个图像组，以使得在使用目标图像时，可以容易的获取时间戳一致的多个摄像头分别对应的目标图像。
在另一种可能的实施方式中，例如还可以利用一个摄像头对目标运动场馆进行拍摄，以得到目标运动场馆对应的目标图像。其中，在利用一个摄像头对目标运动场馆进行拍摄时，例如可以由工作人员手持摄像头，或者利用智能行走机构搭载摄像头围绕目标运动场馆进行拍摄，以得到各功能区域的视频流；基于得到的视频流中的多帧备选视频帧图像，可以利用拼接或者截取的方式确定多个展示区域对应的备选视频帧图像，并将此备选视频帧图像作为目标图像。
在确定多个图像组的情况下，还可以从备选视频帧图像中筛选满足预设图像质量条件的目标图像组。其中，预设图像质量条件例如可以包括运动模糊程度、分辨率等条件达到预设的阈值。这样，可以从备选视频帧图像中筛除不利于进行处理的备选视频帧图像，并将目标图像中保留的备选视频帧图像确定为目标图像。
针对上述S102，在确定了目标图像的情况下，可以根据目标图像，生成与目标运动场馆匹配的三维场馆模型。
具体地，参见图4所示，为本公开实施例提供的一种生成与目标运动场馆匹配的三维场馆模型的具体方法，包括：
S401：对目标图像进行特征点提取，得到目标图像中的特征点。
在具体实施中，由于目标图像中的特征点的数量相比于利用目标图像确定的目标运动场馆对应三维场馆模型中的点云点的数量、或者目标图像中的像素点的数量减少很多，因此在生成三维场馆模型时使用特征点可以较大程度的减少需要处理的数据量；并且，由于目标图像中的特征点是对目标图像进行提取得到的，因此提取得到的特征点与目标图像中像素点之间具有确定的映射关系，可以在能够有代表性地表示目标图像中的原始数据的同时，加快后续处理的速度。
在具体实施中，对目标图像进行特征点提取时，例如可以采用下述至少一种特征点检测方法：哈里斯角点检测算法(Harris Corner-Point，HCP)、尺度不变性特征变换算法(Scale-invariant feature transform，SIFT)、加速鲁棒性特征算法(Speeded Up RobustFeatures，SURF)、以及快速特征点提取和描述算法(Oriented FAST and Rotated BRIEF，ORB)。
S402：确定目标图像中特征点对应的功能区域的类别标注信息。
在得到目标图像中的特征点的情况下，即能够确定目标图像中特征点对应的功能区域的类别标注信息。
具体地，在确定目标图像中特征点对应的功能区域的类别标注信息时，例如可以采用下述方法：基于特征点与目标图像中像素点之间的映射关系、以及对目标图像中对各功能区域的原始标注信息，得到目标图像中各特征点分别对应的功能区域的类别标注信息。
目标图像的原始标注信息例如包括对目标图像中的像素点分别进行标注时确定的标注信息。在对目标图像中的像素点分别进行标注时，例如可以采用下述两种方法(1)或(2)：
(1)：利用人工标注的方法；示例性的，可以利用标注框对目标图像中的不同功能区域进行标注；其中，标注框例如为矩形框。
在利用标注框标注不同功能区域时，例如还可以对不同的标注框确定的区域确定不同的标注信息，例如在综合比赛场馆中，为标注框划分出的比赛区域确定“比赛区”标注信息、为标注框划分出的观众席区域确定“观众席”标注信息、以及为标注框划分出的显示大屏区域确定“显示大屏”标注信息。
(2)：利用神经网络标注的方法；示例性的，可以利用预先训练得到的神经网络对目标图像中的不同功能区域进行标注，并确定不同功能区域对应的标注信息。
其中，神经网络包括下述至少一种：卷积神经网络(Convolutional NeuralNetworks，CNN)、区域卷积神经网络(Regions Region-based Convolutional Network，R-CNN)、快速区域卷积神经网络(Fast Region-based Convolutional Network，Fast R-CNN)、更快速区域卷积神经网络(Faster Region-based Convolutional Network，FasterR-CNN)。
在训练待训练的神经网络时，例如可以确定足够数量的样本图像，在样本图像中包含不同功能区域以及不同功能区域分别对应的标注信息。待训练的神经网络在对样本图像进行学习后，可以得到标注较为准确的神经网络；利用训练好的神经网络，可以对目标图像中的不同功能区域进行较为准确的标注。具体对神经网络的训练方法在此不再赘述。
此时，即可以在目标图像中确定不同功能区域的标注信息，并将不同功能区域分别对应的标注信息确定为目标图像中不同功能区域中的像素点对应的原始标注信息。
在确定目标图像的原始标注信息的情况下，由于利用目标图像得到的特征点与目标图像中像素点具有映射关系，因此可以利用目标图像的原始标注信息，确定目标图像中不同特征点分别对应的功能区域的类别标注信息。
示例性的，在确定目标图像中不同特征点分别对应的功能区域的类别标注信息时，可以将对应的像素点的原始标注信息作为功能区域的类别标注信息，以较为方便地将像素点的原始标注信息迁移至特征点对应的功能区域的类别标注信息；或者，可以为功能区域的类别标注信息与原始标注信息确定对应的关联关系，例如可以将包括“比赛区”、“观众席”、以及“显示大屏”的原始标注信息分别对应的功能区域的类别标注信息确定为“G”、“A”、以及“S”的缩写字符形式，以便于存储、识别和比对等操作。
承接上述S402，生成与目标运动场馆匹配的三维场馆模型的具体方法还包括：
S403：基于目标图像、以及特征点对应的功能区域的类别标注信息，生成目标运动场馆的三维场馆模型。
具体地，参见图5所示，为本公开实施例提供了一种生成目标运动场馆的三维模型的具体方法，包括：
S501：基于目标图像，对目标运动场馆进行三维重建，得到在同一功能区域中与特征点对应的点云点在三维场馆模型中的坐标值。
示例性的，在基于目标图像对目标运动场馆进行三维重建时，例如可以利用同步定位与建图建模(Simultaneous Localization and Mapping，SLAM)、运动恢复结构建模(Structure-From-Motion，SFM)中任一种方式。具体对目标运动场馆进行三维重建的方法在此不再赘述。其中，三维模型包括多个点云点，以及多个点云点分别对应的类别标注信息。然后，可以利用三维模型、以及利用三维模型确定的坐标系，得到特征点对应的点云点在三维模型空间中的坐标值。
此时，即可以确定三维场馆模型中每个功能区域的特征数据；其中，每个功能区域的特征数据包括每个功能区域的点云点数据。
S502：基于特征点对应的功能区域的类别标注信息，确定在同一功能区域中与特征点对应的点云点的类别标注信息。
此处，在确定特征点的目标图像不同时，确定特征点对应的点云点的方式也有所不同。
示例性的，在利用可以得到深度图像的设备获取目标图像时，针对目标运动场馆中的同一功能区域，由于得到的深度图像中可以直接将摄像头光心与目标运动场馆中个点的距离(也即深度)作为像素值，并经过图像坐标系与目标运动场馆的三维坐标系的坐标转换，计算得到目标运动场馆对应的点云数据。因此，可以利用深度图像的数据直观的表达在三维坐标系下目标运动场馆对应的点云数据，从而直接确定特征点对应的点云点。
在利用可以得到二维图像的设备获取目标图像时，针对目标运动场馆中的同一功能区域，例如可以基于对此功能区域进行拍摄得到的至少两张目标图像确定摄像头的位姿，然后基于摄像头的位姿确定目标图像中的多个像素点指示的在目标运动场馆中的点云数据的深度，从而确定目标图像中特征点对应在三维坐标系下目标运动场馆中的点云点。具体地利用摄像头的位姿确定目标图像中像素点指示的点云数据的方法，在此不再赘述。
在具体实施中，多个点云点分别对应的类别标注信息例如可以和与点云点具有关联关系的特征点对应的类别标注信息相同；或者，可以为点云点分别对应的类别标注信息与特征点对应的类别标注信息之间确定对应的关联关系，例如可以将点云点对应的“G”、“A”、以及“S”等功能区域的类别标注信息分别对应的特征点对应的类别标注信息确定为“g”、“a”、以及“s”等的小写字母字符形式。
另外，在一种可能的实施方式中，由于对于同一类别的区域可能存在多个的情况，例如在综合比赛场馆中的西区和东区均设置观众席的情况，还可以为西区和东区分别确定“a1”以及“a2”两个不同的类别标注信息，以进一步细化对同一类别的区域对应的类别标注信息。
针对上述S103，为目标运动场馆生成的三维虚拟特效包括下述至少一种：场景展示特效、互动游戏特效、以及评论弹幕特效。
示例性的，在三维虚拟特效包括场景展示特效的情况下，场景展示特效例如为对目标运动场馆中区域的边界部分显示发光标注线、彩色标注线等特效。利用场景展示特效，可以对目标运动场馆中的不同区域做出更明显突出的划分，可以帮助用户确定目标运动场馆的不同位置，达到例如包括位置导引、逃生指引等不同的功能。
在三维虚拟特效包括互动游戏特效的情况下，场景展示特效例如为触发虚拟运动游戏的触发特效。其中，虚拟运动游戏例如可以根据目标运动场馆中的比赛项目确定，例如在冰壶馆中，虚拟运动游戏例如可以包括推冰壶运动游戏；在排球馆中，虚拟运动游戏例如可以包括打排球运动游戏。具体的虚拟运动游戏在此不再赘述。触发特效例如还可以通过不同的形式展示，例如可以包括按钮图标、邀请信形状的图标等形式。此时，还可以设置在赛前入场准备、中场休息等阶段为用户提供有较高关联度的互动游戏以提供更多的互动形式，以使用户在目标运动场馆中在观看比赛外有更多的互动选择，以提升用户体验。
在三维虚拟特效包括评论弹幕特效的情况下，场景展示特效例如为利用预设的例如包括对话框、标签框等文字框进行包装的弹幕内容。其中，弹幕内容例如可以包括文字信息，例如用户发送的包括赛程类评论、解说类评论等文字信息；或者例如可以包括图像信息，利用用户发送的比赛照片、合影照片等图片信息。具体的弹幕特效可以根据实际情况确定，在此不再赘述。
具体地，在基于至少一个功能区域分别对应的类别标注信息，为目标运动场馆的至少一个功能区域匹配虚拟特效，得到目标运动场馆的三维虚拟特效时，例如可以采用下述方法：基于类别标注信息所表征的区域类别、以及至少一个功能区域分别在三维场馆模型中的坐标值，为至少一个功能区域分别匹配与区域类别对应的虚拟特效，生成目标运动场馆的三维虚拟特效。
在具体实施中，利用类别标注信息所表征的区域类别，可以确定三维模型中的不同点云点对应的区域类别，并利用多个点云点分别在三维模型空间中的坐标值，可以将点云点分为不同的点云点组。
示例性的，在综合比赛场馆中，对于赛道区域的点云点，在对应的类别标注信息包括“g”的情况下，由于在综合比赛场馆中可以唯一确定一个比赛区域，因此可以将类别标注信息为“g”的点云点划分为一个点云点组Ol；对于观众席区域的点云点，在对应的类别标注信息包括“a1”以及“a2”的情况下，可以将类别标注信息为“a1”的点云点划分为一个点云点组Oa1、以及将类别标注信息为“a2”的点云点划分为一个点云点组Oa2。这样，可以对同一区域类别的不同位置的点云点做出更细致的划分，以使得还可以对不同位置的同一区域类别的点云点匹配不同的三维虚拟特效。
在确定多个点云点组的情况下，可以对多个点云点组分别添加三维虚拟特效。
示例性的，对于点云点组Ol，例如可以确定包括展示赛程信息、选手信息等比赛信息的三维虚拟特效；对于点云点组Oa1、以及Oa2，例如可以确定不同队伍的观众分别对应的标语口号、庆祝手势、庆祝标牌等观众三维虚拟特效。参见图6所示，为本公开实施例提供的一种为不同点云点组分别匹配的与点云点组的区域类别对应的三维虚拟特效的示意图，其中，61表示比赛区域的点云点组Ol对应的三维虚拟特效示意图、62表示西区观众席区域的点云点组Oa1对应的三维虚拟特效示意图、63表示东区观众席区域的点云点组Oa2对应的三维虚拟特效示意图、以及64表示显示大屏区域的点云点组OS对应的三维虚拟特效示意图。其中，西区、东区的两个不同的观众席例如可以大小不同，因此对应的两个三维虚拟特效也可能相同，但大小不同。
此时，即可以利用多个点云点组分别匹配的三维虚拟特效，生成目标运动场馆的三维虚拟特效。
在生成目标运动场馆的三维虚拟特效后，还可以在AR设备中展示该目标运动场馆的三维虚拟特效。
其中，用户的AR设备例如包括下述至少一种：移动AR设备和AR智能眼镜等；其中，移动AR设备例如包括下述至少一种：手机、平板和发光二极管(Light-Emitting Diode，LED)大屏设备。
当用户携带AR设备位于目标运动场馆中时，可以利用AR设备中的图像采集装置对目标运动场馆进行拍摄，得到用户视频流，AR设备能够从用户视频流中，采样用户视频帧图像，并将用户视频帧图像发送至服务器。利用用户视频帧图像以及图像识别技术，即可以确定AR设备在目标运动场馆中AR设备的具体位姿，并基于AR设备的具体位姿，确定AR设备与三维虚拟特效之间的相对位姿，并基于该相对位姿在AR设备的图形用户界面中展示三维虚拟特效。
另外，AR设备也可以直接基于采样的用户视频帧图像、以及部署在AR设备中的目标运动场馆的三维虚拟特效，确定AR设备在目标运动场馆内，与三维虚拟特效之间的相对位姿，并基于该相对位姿，在AR设备的图形用户界面中展示三维虚拟特效。
参见图7所示，为本公开实施例提供的一种向用户展示的目标运动场馆的三维虚拟特效的示意图。这样，即可以向用户展示与目标运动场馆匹配度较高的三维虚拟特效。
在另一实施例中，还可以响应于对指定类型的三维虚拟特效的触发操作，控制AR设备中展示调整指定类型的三维虚拟特效的展示效果。
示例性的，在用户对指定类型的三维虚拟特效进行触发后，可以在用户的图形用户界面中显示场景展示特效、互动游戏特效、以及评论弹幕特效中的至少一种三维虚拟特效。
针对用户在触发场景展示特效的情况，用户例如可以采用上滑、下滑等方式对例如发光标注线进行发光亮度的调整，或者对彩色标注线进行色彩变换的调整。
针对用户在触发互动游戏特效的情况，用户例如可以选择参与互动游戏。以虚拟运动游戏包括推冰壶运动为例，用户例如可以采用点击的方式推出冰壶，然后通过连续滑动的方式模拟擦赛道的过程推动虚拟运动游戏中的冰壶在虚拟运动赛道上移动。此外，还可以通过用户设置，使目标运动场馆中的不同用户共同参与游戏，并且可以根据成绩产生排名。具体地虚拟运动游戏的游戏设置可以根据实际情况确定，在此不再赘述。
针对用户在触发评论弹幕特效的情况，用户例如可以在预先设置的评论弹幕发送框中编写文字信息或者上传图片。用户在发送评论弹幕后，例如还可以基于不同用户在目标运动场馆中的不同位置确定评论弹幕特效的不同显示位置。
上述对不同三维虚拟特效类型的说明均为举出的部分示例，均不对本公开实施例的显示方法造成限定。
通过上述方式可以实现用户与目标运动场馆中展示的三维虚拟特效交互，进一步增加交互性。
另外，以将本公开实施例提供的三维虚拟特效的生成方法应用于工业场景为例，该三维虚拟特效的生成方法包括：
获取对目标工业场景进行采集得到的目标图像；
基于所述目标图像，生成与所述目标工业场景匹配的三维工业场景模型，其中，所述三维工业场景场馆模型包括所述目标工业场景中至少一个功能区域的特征数据，每个所述功能区域的特征数据分别标识有对应所述功能区域的类别标注信息；
基于所述至少一个功能区域分别对应的所述类别标注信息，为所述目标工业场景的至少一个功能区域匹配虚拟特效，得到所述目标工业场景的三维虚拟特效。
此处，目标工业场景中的至少一个功能区域，例如包括：车间、生产线、工业工程部件等。生成三维工业场景模型的方式，与生成目标运动场馆的方式类似，在此不再赘述。
为目标工业场景中至少一个功能区域匹配的虚拟特效，例如包括：功能区域的属性信息展示特效、工业工程部件的状态AR特效、工业工程部件的内部构造AR特效等。
在生成目标工业场景的三维工业场景模型后，可以基于AR设备在工业场景内的位姿，将目标工业场景的三维工业场景模型展示出来，以能够更生动形象的为用户对目标工业场景进行展示或者演示。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与三维虚拟特效的生成方法对应的三维虚拟特效的生成装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述三维虚拟特效的生成方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图8所示，为本公开实施例提供的一种三维虚拟特效的生成装置的示意图，装置包括：获取模块81、第一生成模块82、第二生成模块83；其中，
获取模块81，用于获取对目标运动场馆进行采集得到的目标图像；第一生成模块82，用于基于所述目标图像，生成与所述目标运动场馆匹配的三维场馆模型，其中，所述三维场馆模型包括所述目标运动场馆中至少一个功能区域的特征数据，每个所述功能区域的特征数据分别标识有对应所述功能区域的类别标注信息；第二生成模块83，用于基于所述至少一个功能区域分别对应的所述类别标注信息，为所述目标运动场馆的至少一个功能区域匹配虚拟特效，得到所述目标运动场馆的三维虚拟特效。
一种可选的实施方式中，所述第二生成模块83在基于所述目标图像，生成与所述目标运动场馆匹配的三维场馆模型时，用于：对所述目标图像进行特征点提取，得到所述目标图像中的特征点；确定所述目标图像中特征点对应的功能区域的类别标注信息；基于所述目标图像、以及所述特征点对应的功能区域的类别标注信息，生成所述目标运动场馆的三维场馆模型。
一种可选的实施方式中，所述第一生成模块82在确定所述目标图像中特征点对应的功能区域的类别标注信息时，用于：基于所述特征点与所述目标图像中像素点之间的映射关系、以及对所述目标图像中对各所述功能区域的原始标注信息，得到所述目标图像中各特征点分别对应的功能区域的类别标注信息。
一种可选的实施方式中，所述三维场馆模型中每个所述功能区域的特征数据包括每个所述功能区域的点云点的数据；所述第二生成模块83在基于所述目标图像、以及所述特征点对应的功能区域的类别标注信息，生成所述目标运动场馆的三维场馆模型时，用于：基于所述目标图像，对所述目标运动场馆进行三维重建，得到在同一功能区域中与所述特征点对应的点云点在三维场馆模型中的坐标值；以及，基于所述特征点对应的功能区域的类别标注信息，确定在同一功能区域中与所述特征点对应的点云点的类别标注信息。
一种可选的实施方式中，所述获取模块81在获取所述目标图像时，用于：获取位于所述目标运动场馆内的多个功能区域的摄像头采集的视频流；从各功能区域的所述视频流中，选择各功能区域在同一时间戳下采集的所述目标图像。
一种可选的实施方式中，所述获取模块81在从各功能区域的所述视频流中，选择各功能区域在同一时间戳下采集的所述目标图像时，用于：基于所述视频流中各帧视频帧图像的时间戳，从各功能区域的所述视频流中，获取多个图像组；其中，每个图像组中包括在同一时间戳下采集的各功能区域的备选视频帧图像；从所述多个图像组中，确定备选视频帧图像均满足预设图像质量条件的目标图像组，并将所述目标图像组中的备选视频帧图像确定为所述目标图像。
一种可选的实施方式中，所述第二生成模块83在基于所述至少一个功能区域分别对应的所述类别标注信息，为所述目标运动场馆的至少一个功能区域匹配虚拟特效，得到所述目标运动场馆的三维虚拟特效时，用于：基于所述类别标注信息所表征的区域类别、以及所述至少一个功能区域分别在所述三维场馆模型中的坐标值，为所述至少一个功能区域分别匹配与所述区域类别对应的虚拟特效，生成所述目标运动场馆的三维虚拟特效。
一种可选的实施方式中，还包括展示模块84，用于：在AR设备中展示所述目标运动场馆的三维虚拟特效；响应于对指定类型的三维虚拟特效的触发操作，控制所述AR设备中展示调整所述指定类型的三维虚拟特效的展示效果。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本公开实施例还提供了一种计算机设备，如图9所示，为本公开实施例提供的一种计算机设备结构的示意图，包括：
处理器10和存储器20；所述存储器20存储有处理器10可执行的机器可读指令，处理器10用于执行存储器20中存储的机器可读指令，所述机器可读指令被处理器10执行时，处理器10执行下述步骤：
获取对目标运动场馆进行采集得到的目标图像；基于目标图像，生成与目标运动场馆匹配的三维场馆模型，其中，三维场馆模型包括目标运动场馆中至少一个功能区域的特征数据，每个功能区域的特征数据分别标识有对应功能区域的类别标注信息；基于至少一个功能区域分别对应的类别标注信息，为目标运动场馆的至少一个功能区域匹配虚拟特效，得到目标运动场馆的三维虚拟特效。
上述存储器20包括内存221和外部存储器222；这里的内存221也称内存储器，用于暂时存放处理器10中的运算数据，以及与硬盘等外部存储器222交换的数据，处理器10通过内存221与外部存储器222进行数据交换。
上述指令的具体执行过程可以参考本公开实施例中所述的三维虚拟特效的生成方法的步骤，此处不再赘述。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的三维虚拟特效的生成方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的三维虚拟特效的生成方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种三维虚拟特效的生成方法，其特征在于，包括：
获取对目标运动场馆进行采集得到的目标图像；
基于所述目标图像，生成与所述目标运动场馆匹配的三维场馆模型，其中，所述三维场馆模型包括所述目标运动场馆中至少一个功能区域的特征数据，每个所述功能区域的特征数据分别标识有对应所述功能区域的类别标注信息；所述功能区域包括领奖台区域、赛道区域、裁判席区域、选手候场区域、至少一个观众席区域、以及显示大屏区域中至少一种；每个功能区域的特征数据包括每个功能区域的点云点数据；
基于所述至少一个功能区域分别对应的所述类别标注信息，为所述目标运动场馆的至少一个功能区域匹配虚拟特效，得到所述目标运动场馆的三维虚拟特效；
所述基于所述至少一个功能区域分别对应的所述类别标注信息，为所述目标运动场馆的至少一个功能区域匹配虚拟特效，得到所述目标运动场馆的三维虚拟特效，包括：基于所述类别标注信息所表征的区域类别、以及所述至少一个功能区域分别在所述三维场馆模型中的坐标值，为所述至少一个功能区域分别匹配与所述区域类别对应的虚拟特效，生成所述目标运动场馆的三维虚拟特效。
2.根据权利要求1所述的生成方法，其特征在于，所述基于所述目标图像，生成与所述目标运动场馆匹配的三维场馆模型，包括：
对所述目标图像进行特征点提取，得到所述目标图像中的特征点；
确定所述目标图像中特征点对应的功能区域的类别标注信息；
基于所述目标图像、以及所述特征点对应的功能区域的类别标注信息，生成所述目标运动场馆的三维场馆模型。
3.根据权利要求2所述的生成方法，其特征在于，所述确定所述目标图像中特征点对应的功能区域的类别标注信息，包括：
基于所述特征点与所述目标图像中像素点之间的映射关系、以及对所述目标图像中对各所述功能区域的原始标注信息，得到所述目标图像中各特征点分别对应的功能区域的类别标注信息。
4.根据权利要求2所述的生成方法，其特征在于，所述三维场馆模型中每个所述功能区域的特征数据包括每个所述功能区域的点云点的数据；
所述基于所述目标图像、以及所述特征点对应的功能区域的类别标注信息，生成所述目标运动场馆的三维场馆模型，包括：
基于所述目标图像，对所述目标运动场馆进行三维重建，得到在同一功能区域中与所述特征点对应的点云点在三维场馆模型中的坐标值；以及，
基于所述特征点对应的功能区域的类别标注信息，确定在同一功能区域中与所述特征点对应的点云点的类别标注信息。
5.根据权利要求1-4任一项所述的生成方法，其特征在于，获取所述目标图像，包括：
获取位于所述目标运动场馆内的多个功能区域的摄像头采集的视频流；
从各功能区域的所述视频流中，选择各功能区域在同一时间戳下采集的所述目标图像。
6.根据权利要求5所述的生成方法，其特征在于，所述从各功能区域的所述视频流中，选择各功能区域在同一时间戳下采集的所述目标图像，包括：
基于所述视频流中各帧视频帧图像的时间戳，从各功能区域的所述视频流中，获取多个图像组；其中，每个图像组中包括在同一时间戳下采集的各功能区域的备选视频帧图像；
从所述多个图像组中，确定备选视频帧图像均满足预设图像质量条件的目标图像组，并将所述目标图像组中的备选视频帧图像确定为所述目标图像。
7.根据权利要求1-4任一项所述的生成方法，其特征在于，还包括：
在AR设备中展示所述目标运动场馆的三维虚拟特效；
响应于对指定类型的三维虚拟特效的触发操作，控制所述AR设备中展示调整所述指定类型的三维虚拟特效的展示效果。
8.一种三维虚拟特效的生成装置，其特征在于，包括：
获取模块，用于获取对目标运动场馆进行采集得到的目标图像；
第一生成模块，用于基于所述目标图像，生成与所述目标运动场馆匹配的三维场馆模型，其中，所述三维场馆模型包括所述目标运动场馆中至少一个功能区域的特征数据，每个所述功能区域的特征数据分别标识有对应所述功能区域的类别标注信息；所述功能区域包括领奖台区域、赛道区域、裁判席区域、选手候场区域、至少一个观众席区域、以及显示大屏区域中至少一种；每个功能区域的特征数据包括每个功能区域的点云点数据；
第二生成模块，用于基于所述至少一个功能区域分别对应的所述类别标注信息，为所述目标运动场馆的至少一个功能区域匹配虚拟特效，得到所述目标运动场馆的三维虚拟特效；
所述第二生成模块在基于所述至少一个功能区域分别对应的所述类别标注信息，为所述目标运动场馆的至少一个功能区域匹配虚拟特效，得到所述目标运动场馆的三维虚拟特效时，用于：基于所述类别标注信息所表征的区域类别、以及所述至少一个功能区域分别在所述三维场馆模型中的坐标值，为所述至少一个功能区域分别匹配与所述区域类别对应的虚拟特效，生成所述目标运动场馆的三维虚拟特效。
9.一种计算机设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至7任一项所述的三维虚拟特效的生成方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机设备运行时，所述计算机设备执行如权利要求1至7任一项所述的三维虚拟特效的生成方法的步骤。
CN202110198019.1A 2021-02-22 2021-02-22 三维虚拟特效的生成方法、装置、计算机设备及存储介质 Active CN112927349B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110198019.1A CN112927349B (zh) 2021-02-22 2021-02-22 三维虚拟特效的生成方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110198019.1A CN112927349B (zh) 2021-02-22 2021-02-22 三维虚拟特效的生成方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112927349A CN112927349A (zh) 2021-06-08
CN112927349B true CN112927349B (zh) 2024-03-26

Family

ID=76170099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110198019.1A Active CN112927349B (zh) 2021-02-22 2021-02-22 三维虚拟特效的生成方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112927349B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113467616A (zh) * 2021-07-05 2021-10-01 浙江商汤科技开发有限公司 增强现实处理方法和相关装置、车辆、存储介质
CN113409473B (zh) * 2021-07-06 2023-03-03 浙江商汤科技开发有限公司 实现虚实融合的方法、装置、电子设备及存储介质
CN113660469A (zh) * 2021-08-20 2021-11-16 北京市商汤科技开发有限公司 一种数据标注方法、装置、计算机设备及存储介质
CN113840049A (zh) * 2021-09-17 2021-12-24 阿里巴巴（中国）有限公司 图像处理方法、视频流场景切换方法、装置、设备及介质
CN114241132B (zh) * 2021-12-16 2023-07-21 北京字跳网络技术有限公司 场景内容展示控制方法、装置、计算机设备及存储介质
CN114596363B (zh) * 2022-05-10 2022-07-22 北京鉴智科技有限公司 一种三维点云标注方法、装置及终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107993191A (zh) * 2017-11-30 2018-05-04 腾讯科技（深圳）有限公司 一种图像处理方法和装置
CN109410316A (zh) * 2018-09-21 2019-03-01 深圳前海达闼云端智能科技有限公司 物体的三维重建的方法、跟踪方法、相关装置及存储介质
CN111638793A (zh) * 2020-06-04 2020-09-08 浙江商汤科技开发有限公司 飞行器的展示方法、装置、电子设备及存储介质
CN111815781A (zh) * 2020-06-30 2020-10-23 北京市商汤科技开发有限公司 增强现实数据呈现方法、装置、设备和计算机存储介质
CN111918024A (zh) * 2020-06-29 2020-11-10 北京大学 一种城市路网数字化监控系统和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6323040B2 (ja) * 2014-02-12 2018-05-16 株式会社リコー 画像処理装置、画像処理方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107993191A (zh) * 2017-11-30 2018-05-04 腾讯科技（深圳）有限公司 一种图像处理方法和装置
CN109410316A (zh) * 2018-09-21 2019-03-01 深圳前海达闼云端智能科技有限公司 物体的三维重建的方法、跟踪方法、相关装置及存储介质
CN111638793A (zh) * 2020-06-04 2020-09-08 浙江商汤科技开发有限公司 飞行器的展示方法、装置、电子设备及存储介质
CN111918024A (zh) * 2020-06-29 2020-11-10 北京大学 一种城市路网数字化监控系统和方法
CN111815781A (zh) * 2020-06-30 2020-10-23 北京市商汤科技开发有限公司 增强现实数据呈现方法、装置、设备和计算机存储介质

Also Published As

Publication number Publication date
CN112927349A (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
CN112927349B (zh) 三维虚拟特效的生成方法、装置、计算机设备及存储介质
WO2022095467A1 (zh) 增强现实场景下的展示方法、装置、设备、介质及程序
US10325410B1 (en) Augmented reality for enhancing sporting events
US11494993B2 (en) System and method to integrate content in real time into a dynamic real-time 3-dimensional scene
CN106982387B (zh) 弹幕的显示、推送方法及装置及弹幕应用系统
CN106664376B (zh) 增强现实设备和方法
JP2021511729A (ja) 画像、又はビデオデータにおいて検出された領域の拡張
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
CN106464773A (zh) 增强现实的装置及方法
US11758218B2 (en) Integrating overlaid digital content into displayed data via graphics processing circuitry
CN112702643B (zh) 弹幕信息显示方法、装置、移动终端
CN109313653A (zh) 增强媒体
CN114584680A (zh) 一种运动数据展示方法、装置、计算机设备及存储介质
CN114584681A (zh) 目标对象的运动展示方法、装置、电子设备及存储介质
US20230043683A1 (en) Determining a change in position of displayed digital content in subsequent frames via graphics processing circuitry
US20220353069A1 (en) Generating a secure random number by determining a change in parameters of digital content in subsequent frames via graphics processing circuitry
US20230334790A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
CN113015018B (zh) 弹幕信息的展示方法、装置、系统、电子设备及存储介质
US20230334791A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
US20230334792A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
US20240185546A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
CN106201251A (zh) 一种增强现实的内容确定方法、装置及移动终端
US20230326094A1 (en) Integrating overlaid content into displayed data via graphics processing circuitry and processing circuitry using a computing memory and an operating system memory
WO2024039885A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2023215637A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant