CN113971693A - 直播画面生成方法、系统、装置及电子设备 - Google Patents
直播画面生成方法、系统、装置及电子设备 Download PDFInfo
- Publication number
- CN113971693A CN113971693A CN202111272244.1A CN202111272244A CN113971693A CN 113971693 A CN113971693 A CN 113971693A CN 202111272244 A CN202111272244 A CN 202111272244A CN 113971693 A CN113971693 A CN 113971693A
- Authority
- CN
- China
- Prior art keywords
- picture
- rotation angle
- target
- current
- target player
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000000007 visual effect Effects 0.000 claims abstract description 42
- 238000004891 communication Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例涉及计算机视觉技术领域，公开了一种直播画面生成方法、系统、装置及电子设备。该方法包括：获取包含目标运动员的当前运动画面；确定所述目标运动员在所述当前运动画面中的位置及头部旋转角；根据所述目标运动员在所述当前运动画面中的位置及头部旋转角，确定所述目标运动员在三维全景画面中的位置及视角；根据所述目标运动员在所述三维全景画面中的位置及视角，生成模拟所述目标运动员第一人称视角的直播画面。通过上述方式，本发明实施例提高了视频直播的用户体验。
Description
技术领域
本发明实施例涉及计算机视觉技术领域，具体涉及一种直播画面生成方法、系统、装置及电子设备。
背景技术
随着互联网技术的不断发展，对各类体育赛事进行直播可以使得观众实时观看体育赛事，提升观众的观看体验。
对于拳击比赛等体育项目，由于比赛过程中运动员的活动范围较小，因此进行赛事直播时，通过摄像机在固定机位拍摄或者通过人工跟拍的方式可以实现较好的直播效果。然而，发明人在实现本发明实施例的过程中发现：对于滑雪比赛等体育项目，在比赛过程中运动员的活动范围较大，通过摄像机在固定机位拍摄或者通过人工跟拍无法实现较好的直播效果，进行体育赛事的视频直播时用户体验较差。
发明内容
鉴于上述问题，本发明实施例提供了一种直播画面生成方法、系统、装置及电子设备，用于解决现有技术中存在的视频直播用户体验较差的问题。
根据本发明实施例的一个方面，提供了一种直播画面生成方法，所述方法包括：
获取包含目标运动员的当前运动画面；
确定所述目标运动员在所述当前运动画面中的位置及头部旋转角；
根据所述目标运动员在所述当前运动画面中的位置及头部旋转角，确定所述目标运动员在三维全景画面中的位置及视角；
根据所述目标运动员在所述三维全景画面中的位置及视角，生成模拟所述目标运动员第一人称视角的直播画面。
在一种可选的方式中，所述当前运动画面包括第一当前运动画面和第二当前运动画面，所述第一当前运动画面和所述第二当前运动画面为基于不同视角采集的运动画面。
在一种可选的方式中，所述确定所述目标运动员在所述当前运动画面中的位置及头部旋转角包括：
对所述第一当前运动画面进行识别以确定所述目标运动员在所述第一当前运动画面中的位置，将所述目标运动员在所述第一当前运动画面中的位置确定为所述目标运动员在所述当前运动画面中的位置；
将所述第一当前运动画面和所述第二当前运动画面分别输入预设旋转角识别模型；
根据所述预设旋转角识别模型确定所述目标运动员在所述当前运动画面中的头部旋转角。
在一种可选的方式中，所述将所述第一当前运动画面和所述第二当前运动画面分别输入预设旋转角识别模型之前，所述方法还包括：
获取所述目标运动员的头部在三维空间不同旋转角度下的多张样本图像；
确定每张样本图像的旋转角；
根据所述多张样本图像以及所述每张样本图像的旋转角生成所述预设旋转角识别模型。
在一种可选的方式中，所述方法还包括：
根据所述目标运动员在所述第一当前运动画面中的位置确定所述目标运动员的高度；
控制摄像机基于所述目标运动员的高度采集所述第二当前运动画面。
在一种可选的方式中，所述头部旋转角包括第一旋转角、第二旋转角和第三旋转角，所述第一旋转角、所述第二旋转角和所述第三旋转角分别为所述目标运动员的头部在三维空间不同维度下的旋转角；
所述根据所述预设旋转角识别模型确定所述运动目标在所述当前运动画面中的头部旋转角包括：
通过所述预设旋转角识别模型对所述第一当前运动画面进行识别，以确定所述第一旋转角和所述第二旋转角；
通过所述预设旋转角识别模型对所述第二当前运动画面进行识别，以确定所述第三旋转角。
根据本发明实施例的另一方面，提供了一种滑雪比赛的直播画面生成系统，所述系统包括：服务器和摄像机；所述服务器用于：
获取所述摄像机采集的包含目标运动员的当前运动画面；
确定所述运动目标在所述当前运动画面中的位置及头部旋转角；
根据所述运动目标在所述当前运动画面中的位置及头部旋转角，确定所述运动目标在三维全景画面中的位置及视角；
根据所述运动目标在所述三维全景画面中的位置及视角，生成模拟所述目标运动员第一人称视角的直播画面。
根据本发明实施例的另一方面，提供了一种滑雪比赛的直播画面生成装置，所述装置包括：
获取模块，用于获取包含目标运动员的当前运动画面；
第一确定模块，用于确定所述运动目标在所述当前运动画面中的位置及头部旋转角；
第二确定模块，用于根据所述运动目标在所述当前运动画面中的位置及头部旋转角，确定所述运动目标在三维全景画面中的位置及视角；
生成模块，用于根据所述运动目标在所述三维全景画面中的位置及视角，生成模拟所述目标运动员第一人称视角的直播画面。
根据本发明实施例的另一方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述的直播画面生成方法的操作。
根据本发明实施例的又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令在电子设备上运行时，使得电子设备执行上述的直播画面生成方法的操作。
本发明实施例中，在目标运动员的运动过程中，对目标运动员进行拍摄，以获取包含目标运动员的当前运动画面；对当前运动画面进行图片识别可以确定目标运动员在当前运动画面中的位置及头部旋转角；根据目标运动员在当前运动画面中的位置及头部旋转角，可以进一步确定目标运动员在三维全景画面中的位置及视角；根据目标运动员在三维全景画面中的位置及视角，可以生成模拟目标运动员第一人称视角的直播画面。在上述实施方式中，通过包含目标运动员的当前运动画面可以生成模拟目标运动员第一人称视角的直播画面，提高了用户观看视频直播时的用户体验。
上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
附图仅用于示出实施方式，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的直播画面生成方法的流程示意图；
图2示出了本发明实施例提供的直播画面生成系统的结构示意图；
图3示出了本发明实施例提供的直播画面生成装置的结构示意图；
图4示出了本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。
图1示出了本发明实施例直播画面生成方法的流程图，该方法由电子设备执行。电子设备的存储器用于存放至少一可执行指令，该可执行指令使电子设备的处理器执行上述的直播画面生成方法的操作。
如图1所示，该方法包括以下步骤：
步骤110：获取包含目标运动员的当前运动画面。
其中，本发明实施例中的目标运动员一般指体育赛事中的运动员。目标运动员在体育赛事中的位置不断移动，例如在滑雪比赛过程中，目标运动员从起始点出发，经过滑雪赛道一直到比赛终点。在目标运动员的运动过程中，可以通过摄像机对目标运动员进行拍摄，以生成包含目标运动员的当前运动画面。摄像机具有网络单元，可以通过网络单元将当前运动画面上传至网络。进一步的，可以获取包含目标运动员的当前运动画面。
在一种可选的方式中，当前运动画面包括第一当前运动画面和第二当前运动画面，第一当前运动画面和第二当前运动画面为基于不同视角采集的运动画面。例如，在跳台滑雪比赛中，在赛道侧面和赛道终点分别设置侧面摄像机和正面摄像机，侧面摄像机朝向赛道方向并随着目标运动员的移动变换拍摄视角，正面摄像机朝向跳台方向并随着目标运动员的移动变换拍摄视角。通过侧面摄像机可以采集第一当前运动画面，通过正面摄像机可以采集第二当前运动画面。进一步的，在通过正面摄像机采集第二当前运动画面时，可以首先确定目标运动员所在的高度，控制正面摄像机在目标运动员所在高度上采集第二当前运动画面。在通过正面摄像机采集第二当前运动画面时，还可以根据目标运动员在第一当前运动画面中的位置确定目标运动员的高度。例如，在跳台滑雪场景下，建立空间直角坐标系，将跳台位置确定为原点位置，跳台位置上方确定为Z轴正方向，雪道延伸方向确定为Y轴正方向，跳台位置左侧或右侧设置为X轴正方向。假设跳台滑雪场地为100*100*100箱体，正面摄像机的位置坐标例如可以为(0,100,100)，侧面摄像机的位置坐标例如可以为(100,100,50)。
步骤120：确定所述目标运动员在所述当前运动画面中的位置及头部旋转角。
其中，获取到当前运动画面之后，通过图片识别算法对当前运动画面进行识别可以确定目标运动员在当前运动画面中的位置及头部旋转角。在确定目标运动员在当前运动画面中的位置及头部旋转角时，可以对第一当前运动画面进行识别以确定目标运动员在第一当前运动画面中的位置，将目标运动员在第一当前运动画面中的位置确定为目标运动员在当前运动画面中的位置，例如通过主体识别方法，将目标运动员在第一当前运动画面中的位置表示为(Yc,Zc)；进一步将第一当前运动画面和第二当前运动画面分别输入预设旋转角识别模型，根据该预设旋转角识别模型确定目标运动员在当前运动画面中的头部旋转角。进一步的，在将第一当前运动画面和第二当前运动画面分别输入预设旋转角识别模型之前，还可以获取目标运动员的头部在三维空间不同旋转角度下的多张样本图像，确定每张样本图像的旋转角；根据多张样本图像以及每张样本图像的旋转角生成预设旋转角识别模型。
其中，目标运动员的头部旋转角包括第一旋转角、第二旋转角和第三旋转角，第一旋转角、第二旋转角和第三旋转角分别为目标运动员的头部在三维空间不同维度下的旋转角。在根据预设旋转角识别模型确定运动目标在当前运动画面中的头部旋转角时，通过预设旋转角识别模型对第一当前运动画面进行识别，以确定第一旋转角和第二旋转角；通过预设旋转角识别模型对第二当前运动画面进行识别，以确定第三旋转角。
其中，预设旋转角识别模型例如可以为基于SIFT(Scale invariant featureTransform，尺度不变换特征变换)算法的识别模型。在跳台滑雪比赛场景下，比赛开始后，在每名运动员上场前，通过头部信息采集装置，在运动员佩戴正式装备的前提下，通过环形八向相机采集目标运动员头部360度静态信息。通过环形八向相机分别在空间坐标系X轴、Y轴和Z轴的旋转，模拟目标运动员的头部在X轴、Y轴和Z轴的旋转，通过环形八向相机的高速快门对目标运动员的头部进行拍摄，记录记录每张照片对应旋转的X轴、Y轴和Z轴角度，并且存储在对应数据库中。进一步的，根据存储在对应数据库中的照片和对应旋转角度生成预设旋转角识别模型。在通过预设旋转角识别模型确定目标运动员的头部旋转角时，通过SIFT算法确定与当前运动画面最匹配的照片，将该最匹配的照片对应的旋转角确定为目标运动员在当前运动画面中的头部旋转角。
步骤130：根据所述目标运动员在所述当前运动画面中的位置及头部旋转角，确定所述目标运动员在三维全景画面中的位置及视角。
其中，由于侧面摄像机从侧面对目标运动员进行拍摄，因此根据目标运动员在第一当前运动画面中的位置(Yc,Zc)，即可确定目标运动员在三维全景画面中的位置(0，Yc，Zc)。根据目标运动员在当前运动画面中的第一旋转角Xr、第二旋转角Yr和第三旋转角Zr，即可确定目标运动员在三维全景画面中的视角(Xr，Yr，Zr)。
步骤140：根据所述目标运动员在所述三维全景画面中的位置及视角，生成模拟所述目标运动员的第一人称视角的直播画面。
其中，根据目标运动员在三维全景画面中的位置及视角，可以唯一确定三维全景画面中的一帧画面。在生成直播画面时，若当前时刻为T1，根据T1时刻对应的目标运动员在三维全景画面中的位置及视角，可以生成T1时刻模拟目标运动员的第一人称视角的直播画面。根据直播画面不同帧之间的时间间隔，继续生成下一时刻T2模拟目标运动员的第一人称视角的直播画面，以向进行直播画面展示的终端设备输出视频流。
本发明实施例中，在目标运动员的运动过程中，对目标运动员进行拍摄，以获取包含目标运动员的当前运动画面；对当前运动画面进行图片识别可以确定目标运动员在当前运动画面中的位置及头部旋转角；根据目标运动员在当前运动画面中的位置及头部旋转角，可以进一步确定目标运动员在三维全景画面中的位置及视角；根据目标运动员在三维全景画面中的位置及视角，可以生成模拟目标运动员的第一人称视角的直播画面。在上述实施方式中，通过包含目标运动员的当前运动画面可以生成模拟目标运动员的第一人称视角的直播画面，提高了用户观看视频直播时的用户体验。
图2示出了本发明实施例直播画面生成系统的结构示意图。如图2所示，该系统200包括：服务器210和至少一个摄像机220。
其中，服务器210用于：获取所述摄像机采集的包含目标运动员的当前运动画面；确定所述运动目标在所述当前运动画面中的位置及头部旋转角；根据所述运动目标在所述当前运动画面中的位置及头部旋转角，确定所述运动目标在三维全景画面中的位置及视角；根据所述运动目标在所述三维全景画面中的位置及视角，生成模拟所述目标运动员第一人称视角的直播画面。
本发明实施例中，在目标运动员的运动过程中，对通过摄像机目标运动员进行拍摄，以获取包含目标运动员的当前运动画面；对当前运动画面进行图片识别可以确定目标运动员在当前运动画面中的位置及头部旋转角；根据目标运动员在当前运动画面中的位置及头部旋转角，可以进一步确定目标运动员在三维全景画面中的位置及视角；根据目标运动员在三维全景画面中的位置及视角，可以生成模拟目标运动员的第一人称视角的直播画面。在上述实施方式中，通过包含目标运动员的当前运动画面可以生成模拟目标运动员第一人称视角的直播画面，提高了用户观看视频直播时的用户体验。
图3示出了本发明实施例直播画面生成装置的结构示意图。如图3所示，该装置300包括：获取模块310、第一确定模块320、第二确定模块330和生成模块340。
其中，获取模块310用于获取包含目标运动员的当前运动画面；第一确定模块320用于确定所述目标运动员在所述当前运动画面中的位置及头部旋转角；第二确定模块330用于根据所述目标运动员在所述当前运动画面中的位置及头部旋转角，确定所述目标运动员在三维全景画面中的位置及视角；生成模块340用于根据所述目标运动员在所述三维全景画面中的位置及视角，生成模拟所述目标运动员第一人称视角的直播画面。
在一种可选的方式中，所述当前运动画面包括第一当前运动画面和第二当前运动画面，所述第一当前运动画面和所述第二当前运动画面为基于不同视角采集的运动画面。
在一种可选的方式中，第一确定模块320用于：
对所述第一当前运动画面进行识别以确定所述目标运动员在所述第一当前运动画面中的位置，将所述目标运动员在所述第一当前运动画面中的位置确定为所述目标运动员在所述当前运动画面中的位置；
将所述第一当前运动画面和所述第二当前运动画面分别输入预设旋转角识别模型；
根据所述预设旋转角识别模型确定所述目标运动员在所述当前运动画面中的头部旋转角。
在一种可选的方式中，第一确定模块320用于：在将所述第一当前运动画面和所述第二当前运动画面分别输入预设旋转角识别模型之前，获取所述目标运动员的头部在三维空间不同旋转角度下的多张样本图像；
确定每张样本图像的旋转角；
根据所述多张样本图像以及所述每张样本图像的旋转角生成所述预设旋转角识别模型。
在一种可选的方式中，获取模块310用于：
根据所述目标运动员在所述第一当前运动画面中的位置确定所述目标运动员的高度；
控制摄像机基于所述目标运动员的高度采集所述第二当前运动画面。
在一种可选的方式中，所述头部旋转角包括第一旋转角、第二旋转角和第三旋转角，所述第一旋转角、所述第二旋转角和所述第三旋转角分别为所述目标运动员的头部在三维空间不同维度下的旋转角；第一确定模块320用于：
通过所述预设旋转角识别模型对所述第一当前运动画面进行识别，以确定所述第一旋转角和所述第二旋转角；
通过所述预设旋转角识别模型对所述第二当前运动画面进行识别，以确定所述第三旋转角。
本发明实施例中，在目标运动员的运动过程中，对目标运动员进行拍摄，以获取包含目标运动员的当前运动画面；对当前运动画面进行图片识别可以确定目标运动员在当前运动画面中的位置及头部旋转角；根据目标运动员在当前运动画面中的位置及头部旋转角，可以进一步确定目标运动员在三维全景画面中的位置及视角；根据目标运动员在三维全景画面中的位置及视角，可以生成模拟目标运动员的第一人称视角的直播画面。在上述实施方式中，通过包含目标运动员的当前运动画面可以生成模拟目标运动员的第一人称视角的直播画面，提高了用户观看视频直播时的用户体验。
图4示出了本发明实施例电子设备结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。
如图4所示，该电子设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中：处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。处理器402，用于执行程序410，具体可以执行上述用于直播画面生成方法实施例中的相关步骤。
具体地，程序410可以包括程序代码，该程序代码包括计算机可执行指令。
处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序410具体可以被处理器402调用使电子设备执行以下操作：
获取包含目标运动员的当前运动画面；
确定所述目标运动员在所述当前运动画面中的位置及头部旋转角；
根据所述目标运动员在所述当前运动画面中的位置及头部旋转角，确定所述目标运动员在三维全景画面中的位置及视角；
根据所述目标运动员在所述三维全景画面中的位置及视角，生成模拟所述目标运动员的第一人称视角的直播画面。
在一种可选的方式中，所述当前运动画面包括第一当前运动画面和第二当前运动画面，所述第一当前运动画面和所述第二当前运动画面为基于不同视角采集的运动画面。
在一种可选的方式中，程序410具体可以被处理器402调用使电子设备执行以下操作：
对所述第一当前运动画面进行识别以确定所述目标运动员在所述第一当前运动画面中的位置，将所述目标运动员在所述第一当前运动画面中的位置确定为所述目标运动员在所述当前运动画面中的位置；
将所述第一当前运动画面和所述第二当前运动画面分别输入预设旋转角识别模型；
根据所述预设旋转角识别模型确定所述目标运动员在所述当前运动画面中的头部旋转角。
在一种可选的方式中，程序410具体可以被处理器402调用使电子设备执行以下操作：
在将所述第一当前运动画面和所述第二当前运动画面分别输入预设旋转角识别模型之前，获取所述目标运动员的头部在三维空间不同旋转角度下的多张样本图像；确定每张样本图像的旋转角；根据所述多张样本图像以及所述每张样本图像的旋转角生成所述预设旋转角识别模型。
在一种可选的方式中，程序410具体可以被处理器402调用使电子设备执行以下操作：
根据所述目标运动员在所述第一当前运动画面中的位置确定所述目标运动员的高度；
控制摄像机基于所述目标运动员的高度采集所述第二当前运动画面。
在一种可选的方式中，所述头部旋转角包括第一旋转角、第二旋转角和第三旋转角，所述第一旋转角、所述第二旋转角和所述第三旋转角分别为所述目标运动员的头部在三维空间不同维度下的旋转角；程序410具体可以被处理器402调用使电子设备执行以下操作：
通过所述预设旋转角识别模型对所述第一当前运动画面进行识别，以确定所述第一旋转角和所述第二旋转角；
通过所述预设旋转角识别模型对所述第二当前运动画面进行识别，以确定所述第三旋转角。
本发明实施例中，在目标运动员的运动过程中，对目标运动员进行拍摄，以获取包含目标运动员的当前运动画面；对当前运动画面进行图片识别可以确定目标运动员在当前运动画面中的位置及头部旋转角；根据目标运动员在当前运动画面中的位置及头部旋转角，可以进一步确定目标运动员在三维全景画面中的位置及视角；根据目标运动员在三维全景画面中的位置及视角，可以生成模拟目标运动员的第一人称视角的直播画面。在上述实施方式中，通过包含目标运动员的当前运动画面可以生成模拟目标运动员的第一人称视角的直播画面，提高了用户观看视频直播时的用户体验。
本发明实施例提供了一种计算机可读存储介质，所述存储介质存储有至少一可执行指令，该可执行指令在电子设备上运行时，使得所述电子设备执行上述任意方法实施例中的直播画面生成方法。
本发明实施例提供一种直播画面生成装置，用于执行上述直播画面生成方法。
本发明实施例提供了一种计算机程序，所述计算机程序可被处理器调用使电子设备执行上述任意方法实施例中的直播画面生成方法。
本发明实施例提供了一种计算机程序产品，计算机程序产品包括存储在计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令在计算机上运行时，使得所述计算机执行上述任意方法实施例中的直播画面生成方法。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。
本领域技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。
Claims (10)
1.一种直播画面生成方法，其特征在于，所述方法包括：
获取包含目标运动员的当前运动画面；
确定所述目标运动员在所述当前运动画面中的位置及头部旋转角；
根据所述目标运动员在所述当前运动画面中的位置及头部旋转角，确定所述目标运动员在三维全景画面中的位置及视角；
根据所述目标运动员在所述三维全景画面中的位置及视角，生成模拟所述目标运动员第一人称视角的直播画面。
2.根据权利要求1所述的方法，其特征在于，所述当前运动画面包括第一当前运动画面和第二当前运动画面，所述第一当前运动画面和所述第二当前运动画面为基于不同视角采集的运动画面。
3.根据权利要求2所述的方法，其特征在于，所述确定所述目标运动员在所述当前运动画面中的位置及头部旋转角包括：
对所述第一当前运动画面进行识别以确定所述目标运动员在所述第一当前运动画面中的位置，将所述目标运动员在所述第一当前运动画面中的位置确定为所述目标运动员在所述当前运动画面中的位置；
将所述第一当前运动画面和所述第二当前运动画面分别输入预设旋转角识别模型；
根据所述预设旋转角识别模型确定所述目标运动员在所述当前运动画面中的头部旋转角。
4.根据权利要求3所述的方法，其特征在于，所述将所述第一当前运动画面和所述第二当前运动画面分别输入预设旋转角识别模型之前，所述方法还包括：
获取所述目标运动员的头部在三维空间不同旋转角度下的多张样本图像；
确定每张样本图像的旋转角；
根据所述多张样本图像以及所述每张样本图像的旋转角生成所述预设旋转角识别模型。
5.根据权利要求2至4任一项所述的方法，其特征在于，所述方法还包括：
根据所述目标运动员在所述第一当前运动画面中的位置确定所述目标运动员的高度；
控制摄像机基于所述目标运动员的高度采集所述第二当前运动画面。
6.根据权利要求3或4所述的方法，其特征在于，所述头部旋转角包括第一旋转角、第二旋转角和第三旋转角，所述第一旋转角、所述第二旋转角和所述第三旋转角分别为所述目标运动员的头部在三维空间不同维度下的旋转角；
所述根据所述预设旋转角识别模型确定所述目标运动员在所述当前运动画面中的头部旋转角包括：
通过所述预设旋转角识别模型对所述第一当前运动画面进行识别，以确定所述第一旋转角和所述第二旋转角；
通过所述预设旋转角识别模型对所述第二当前运动画面进行识别，以确定所述第三旋转角。
7.一种直播画面生成系统，其特征在于，所述系统包括：服务器和摄像机；所述服务器用于：
获取所述摄像机采集的包含目标运动员的当前运动画面；
确定所述运动目标在所述当前运动画面中的位置及头部旋转角；
根据所述运动目标在所述当前运动画面中的位置及头部旋转角，确定所述运动目标在三维全景画面中的位置及视角；
根据所述运动目标在所述三维全景画面中的位置及视角，生成模拟所述目标运动员第一人称视角的直播画面。
8.一种直播画面生成装置，其特征在于，所述装置包括：
获取模块，用于获取包含目标运动员的当前运动画面；
第一确定模块，用于确定所述运动目标在所述当前运动画面中的位置及头部旋转角；
第二确定模块，用于根据所述运动目标在所述当前运动画面中的位置及头部旋转角，确定所述运动目标在三维全景画面中的位置及视角；
生成模块，用于根据所述运动目标在所述三维全景画面中的位置及视角，生成模拟所述目标运动员第一人称视角的直播画面。
9.一种电子设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-6任意一项所述的直播画面生成方法的操作。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一可执行指令，所述可执行指令在电子设备上运行时，使得电子设备执行如权利要求1-6任意一项所述的直播画面生成方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111272244.1A CN113971693A (zh) | 2021-10-29 | 2021-10-29 | 直播画面生成方法、系统、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111272244.1A CN113971693A (zh) | 2021-10-29 | 2021-10-29 | 直播画面生成方法、系统、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113971693A true CN113971693A (zh) | 2022-01-25 |
Family
ID=79589201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111272244.1A Pending CN113971693A (zh) | 2021-10-29 | 2021-10-29 | 直播画面生成方法、系统、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113971693A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114979708A (zh) * | 2022-05-20 | 2022-08-30 | 咪咕数字传媒有限公司 | 视频推送方法、装置、服务器设备及可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104853104A (zh) * | 2015-06-01 | 2015-08-19 | 深圳市微队信息技术有限公司 | 一种自动跟踪拍摄运动目标的方法以及系统 |
| CN110222651A (zh) * | 2019-06-10 | 2019-09-10 | Oppo广东移动通信有限公司 | 一种人脸姿态检测方法、装置、终端设备及可读存储介质 |
| CN111210041A (zh) * | 2019-12-31 | 2020-05-29 | 京东数字科技控股有限公司 | 交互方法、交互装置、交互系统及介质 |
| CN112839165A (zh) * | 2020-11-27 | 2021-05-25 | 深圳市捷视飞通科技股份有限公司 | 人脸跟踪摄像的实现方法、装置、计算机设备和存储介质 |
| WO2021134178A1 (zh) * | 2019-12-30 | 2021-07-08 | 华为技术有限公司 | 一种视频流处理方法、装置、设备及介质 |
-
2021
- 2021-10-29 CN CN202111272244.1A patent/CN113971693A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104853104A (zh) * | 2015-06-01 | 2015-08-19 | 深圳市微队信息技术有限公司 | 一种自动跟踪拍摄运动目标的方法以及系统 |
| CN110222651A (zh) * | 2019-06-10 | 2019-09-10 | Oppo广东移动通信有限公司 | 一种人脸姿态检测方法、装置、终端设备及可读存储介质 |
| WO2021134178A1 (zh) * | 2019-12-30 | 2021-07-08 | 华为技术有限公司 | 一种视频流处理方法、装置、设备及介质 |
| CN111210041A (zh) * | 2019-12-31 | 2020-05-29 | 京东数字科技控股有限公司 | 交互方法、交互装置、交互系统及介质 |
| CN112839165A (zh) * | 2020-11-27 | 2021-05-25 | 深圳市捷视飞通科技股份有限公司 | 人脸跟踪摄像的实现方法、装置、计算机设备和存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114979708A (zh) * | 2022-05-20 | 2022-08-30 | 咪咕数字传媒有限公司 | 视频推送方法、装置、服务器设备及可读存储介质 |
| CN114979708B (zh) * | 2022-05-20 | 2023-10-17 | 咪咕数字传媒有限公司 | 视频推送方法、装置、服务器设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10771760B2 (en) | Information processing device, control method of information processing device, and storage medium | |
| CN110544301A (zh) | 一种三维人体动作重建系统、方法和动作训练系统 | |
| US20030012410A1 (en) | Tracking and pose estimation for augmented reality using real features | |
| CN107529091B (zh) | 视频剪辑方法及装置 | |
| CN109089038B (zh) | 增强现实拍摄方法、装置、电子设备及存储介质 | |
| CN108416832B (zh) | 媒体信息的显示方法、装置和存储介质 | |
| WO2020037881A1 (zh) | 运动轨迹绘制方法、装置、设备和存储介质 | |
| CN109902675B (zh) | 物体的位姿获取方法、场景重构的方法和装置 | |
| CN112543343A (zh) | 基于连麦直播的直播画面处理方法、装置及电子设备 | |
| CN111970557A (zh) | 图像显示方法、装置、电子设备及存储介质 | |
| CN114943773A (zh) | 相机标定方法、装置、设备和存储介质 | |
| CN114025183B (zh) | 直播方法、装置、设备、系统和存储介质 | |
| CN109587572B (zh) | 一种展示产品的方法、装置、存储介质及电子设备 | |
| CN113971693A (zh) | 直播画面生成方法、系统、装置及电子设备 | |
| CN114037923A (zh) | 一种目标活动热点图绘制方法、系统、设备及存储介质 | |
| CN116523962B (zh) | 针对目标对象的视觉跟踪方法、装置、系统、设备和介质 | |
| CN114584681A (zh) | 目标对象的运动展示方法、装置、电子设备及存储介质 | |
| CN115311472A (zh) | 一种动作捕捉方法及相关设备 | |
| CN111292234A (zh) | 一种全景图像生成方法及装置 | |
| CN114092706A (zh) | 一种体育全景足球录像方法、系统、存储介质及终端设备 | |
| CN112312041A (zh) | 基于拍摄的图像校正方法、装置、电子设备及存储介质 | |
| CN113344981A (zh) | 位姿数据处理方法、装置及电子设备 | |
| WO2021056552A1 (zh) | 视频的处理方法和装置 | |
| JP7493302B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN110853130A (zh) | 三维图像的生成方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |