CN107147920B - 一种多源视频剪辑播放方法及系统 - Google Patents

一种多源视频剪辑播放方法及系统 Download PDF

Info

Publication number
CN107147920B
CN107147920B CN201710427066.2A CN201710427066A CN107147920B CN 107147920 B CN107147920 B CN 107147920B CN 201710427066 A CN201710427066 A CN 201710427066A CN 107147920 B CN107147920 B CN 107147920B
Authority
CN
China
Prior art keywords
picture
court
sportsman
location information
position coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710427066.2A
Other languages
English (en)
Other versions
CN107147920A (zh
Inventor
吴建成
张也雷
韩步勇
罗向望
郭岱硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gengee Technology Co Ltd
Original Assignee
Gengee Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gengee Technology Co Ltd filed Critical Gengee Technology Co Ltd
Priority to CN201710427066.2A priority Critical patent/CN107147920B/zh
Publication of CN107147920A publication Critical patent/CN107147920A/zh
Priority to PCT/CN2017/102172 priority patent/WO2018223554A1/zh
Application granted granted Critical
Publication of CN107147920B publication Critical patent/CN107147920B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及视频数据处理技术领域，具体涉及一种多源视频剪辑播放方法及系统。通过设计一种多源视频剪辑播放方法及系统，根据对实时多源镜头画面捕捉后，并将获取的同步视频流进行本地存储，再根据球和球员在双坐标系中的位置映射关系实现球和球员的位置的匹配，通过对历史赛事的海量数据进行球场事件的机器学习和训练，获得局部战术判断模型，根据时间预测和判断模型进行精彩事件中的球或球员的锚定，进而根据球场位置坐标系的方向角来实现镜头的切换，再根据图形画面坐标系上的定位信息来实现图像截取及输出，最终输出剪辑后的精彩赛事。本发明通过球场事件智能处理单元，实现球场上的精彩事件智能预测、判断与高效及时处理与视频直播。

Description

一种多源视频剪辑播放方法及系统
技术领域
本发明涉及视频数据处理技术领域，具体涉及一种多源视频剪辑播放方法及系统。
背景技术
球类运动是世界上最广泛的体育运动，深受广大球迷的喜爱。而球类运动视频实时转播过程中，由于场地的广阔性以及运动球员数量较多，因而一些精彩的镜头无法被视频采集装置智能捕捉和切换。目前的球类赛事直播过程中，对于精彩事件的切换采用人工导播切换的方式，而人为的方式容易造成时延和错过精彩事件，也无法精准地切换到精彩事件的最佳观看角度。目前的现有技术中也有一些是通过视觉信息进行精彩事件检测从而根据检测结果来进行视频剪辑或切换，但是其主要是根据球门和镜头类型来进行识别和判定，其识别的精彩事件更多发生至球门或者禁区附近，而其他区域的精彩事件，例如精准传球配合、争抢犯规等没有发生在禁区或者球门附近的事件，则无法准确检测判定并进行智能视频剪辑切换。
发明内容
为此，需要提供一种多源视频剪辑播放方法及系统，通过对球和球员身上的可穿戴设备发送的定位信息进行在线实时检测，根据精准的定位算法还原球和球员在视频画面中的精确位置，并根据球和球员的位置信息的变化来实现对视频的剪辑播放。
为实现上述目的，本发明提供了一种多源视频剪辑播放方法，包括以下步骤：
步骤1：对球场进行实时镜头画面捕捉，获取整个球场的同步视频流，并将该视频流进行本地保存，实时保存至视频服务器的本地视频存储单元；
步骤2：获取球场的球和球员的球场位置坐标系上定位信息，并将该定位信息传输至视频服务器中，映射成图形画面坐标系上的定位信息；
步骤3：根据球场位置坐标系上定位信息获取球或球员所处的方向角，并根据该方向角生成切换画面指令，根据该切换画面指令切换至局部画面；
步骤4：对该局部画面进行放大处理，生成放大画面；
步骤5：根据图形画面坐标系上的定位信息作为画面中心点，对放大画面按第一尺寸标准进行截取，获得截取图像，并将截取图像输出至显示终端。
进一步的，还包括步骤21，对历史赛事的海量数据进行球场事件的机器学习和训练，获得时间预测和判断模型。
进一步的，步骤2中，所述球场位置坐标系上定位信息通过设置在球和球员上的位置采集终端采集。
更进一步的，步骤2中，将球场位置坐标系上定位信息映射成图形画面坐标系上的定位信息，其映射方法如下：
voutput＝MinMextvinput＝Min(RT)extvinput＝Min(RxRzT)extvinput (1)
其中：
vinput＝[x,y,z,1]T为足球/球员的在xoy中的位置，z为平行于光轴的维度；
voutput＝[u,v,1]T为足球/球员在uov中的位置；
Min为从xoy尺度单位到uov尺度单位的缩放矩阵；
Mext为位置坐标的旋转与平移矩阵；
R为位置坐标的旋转矩阵；
RzRx为位置坐标分别绕z,x轴的旋转矩阵；
T为位置坐标的平移矩阵。
更进一步的，步骤3中，根据vinput计算出球或球员在以球场长边中点为圆心，x轴正方向为0度基准线的所处方位角，再根据所处方位角下达切换画面指令到对应方位角朝向的镜头，从而实现局部画面的切换。
更进一步的，步骤4中，根据预设的画面清晰度，对局部画面进行放大处理，生成放大画面。
更进一步的，步骤5中，根据voutput截取放大画面，以(u,v)作为画面中心，截取第一尺寸标准的图像作为截取图像，并将截取图像输出至显示终端进行画面输出。
本发明还提供了一种多源视频剪辑播放系统，包括：镜头画面捕捉模组、球和球员定位信息获取模组、视频服务器和视频直播输出接口，在所述视频服务器内部署视频存储单元、画面切换处理单元、画面放大处理单元和画面追踪处理单元，其中镜头画面捕捉模组与视频存储单元相连，球和球员定位信息获取模组分别与画面切换处理单元和画面追踪处理单元相连，画面切换处理单元、画面放大处理单元和画面追踪处理单元依次相连，画面追踪处理单元与视频存储单元相连，画面追踪处理单元与视频直播输出接口相连，
镜头画面捕捉模组对球场进行实时镜头画面捕捉，获取整个球场的同步视频流，并将该视频流进行本地保存，实时保存至视频服务器的本地视频存储单元，
画面切换处理单元，获取球场的球及球员的球场位置坐标系上定位信息，并将该定位信息传输至视频服务器中，映射成图形画面坐标系上的定位信息，根据球场位置坐标系上定位信息获取球或球员所处的方向角，并根据该方向角生成切换画面指令，根据该切换画面指令切换至局部画面，
画面放大处理单元，对该局部画面进行放大处理，生成放大画面，
画面追踪处理单元，根据图形画面坐标系上的定位信息作为画面中心点，对放大画面按第一尺寸标准进行截取，获得截取图像，并将截取图像输出至显示终端。
进一步的，还包括球场事件智能处理单元，所述球场事件智能处理单元输入端与球和球员定位信息获取模组相连，球场事件智能处理单元输出端分别与画面切换处理单元、画面放大处理单元和画面追踪处理单元相连，球场事件智能处理单元还连接有事件日志，所述球场事件智能处理单元对历史赛事的海量数据进行球场事件的机器学习和训练，获得时间预测和判断模型。
进一步的，所述球场位置坐标系上定位信息通过设置在球和球员上的位置采集终端采集。
更进一步的，将球场位置坐标系上定位信息映射成图形画面坐标系上的定位信息，其映射方法如下：
定义球场位置坐标系为xoy坐标系，定义图形画面坐标系为uov坐标系：
voutput＝MinMextvinput＝Min(RT)extvinput＝Min(RxRzT)extvinput (1)
其中：
vinput＝[x,y,z,1]T为足球/球员的在xoy中的位置，z为平行于光轴的维度；
voutput＝[u,v,1]T为足球/球员在uov中的位置；
Min为从xoy尺度单位到uov尺度单位的缩放矩阵；
Mext为位置坐标的旋转与平移矩阵；
R为位置坐标的旋转矩阵；
RzRx为位置坐标分别绕z,x轴的旋转矩阵；
T为位置坐标的平移矩阵。
更进一步的，根据vinput计算出球或球员在以球场长边中点为圆心，x轴正方向为0度基准线的所处方位角，再根据所处方位角下达切换画面指令到对应方位角朝向的镜头，从而实现局部画面的切换。
更进一步的，根据预设的画面清晰度，对局部画面进行放大处理，生成放大画面。
更进一步的，根据voutput截取放大画面，以(u,v)作为画面中心，截取第一尺寸标准的图像作为截取图像，并将截取图像输出至显示终端进行画面输出。
区别于现有技术，上述技术方案通过设计一种多源视频剪辑播放方法及系统，根据对实时多源镜头画面捕捉后，并将获取的同步视频流进行本地存储，再根据球和球员在双坐标系中的位置映射关系实现球和球员的位置的匹配，通过对历史赛事的海量数据进行球场事件的机器学习和训练，获得局部战术判断模型，根据局部战术判断模型与球场事件进行精彩事件中的球或球员的锚定，进而根据球场位置坐标系的方向角来实现镜头的切换，再根据图形画面坐标系上的定位信息来实现图像截取及输出，最终输出剪辑后的精彩赛事。
本发明能够实现
附图说明
图1为本发明实施例1的结构示意图。
图2为本发明实施例1的另一结构示意图。
图3为本发明实施例2中的结构示意图。
图4为本发明实施例2中的另一结构示意图。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
实施例1：
请参阅图1和图2，本实施例为实现上述目的，一种多源视频剪辑播放方法，包括以下步骤：
步骤1：对球场进行实时镜头画面捕捉，获取整个球场的同步视频流，并将该视频流进行本地保存，实时保存至视频服务器的本地视频存储单元；
步骤2：获取球场的球和球员的球场位置坐标系上定位信息，并将该定位信息传输至视频服务器中，映射成图形画面坐标系上的定位信息；所述球场位置坐标系上定位信息通过设置在球和球员上的位置采集终端采集。
将球场位置坐标系上定位信息映射成图形画面坐标系上的定位信息，其映射方法如下：
voutput＝MinMextvinput＝Min(RT)extvinput＝Min(RxRzT)extvinput (1)
其中：
vinput＝[x,y,z,1]T为足球/球员的在xoy中的位置，z为平行于光轴的维度；
voutput＝[u,v,1]T为足球/球员在uov中的位置；
Min为从xoy尺度单位到uov尺度单位的缩放矩阵；
Mext为位置坐标的旋转与平移矩阵；
R为位置坐标的旋转矩阵；
RzRx为位置坐标分别绕z,x轴的旋转矩阵；
T为位置坐标的平移矩阵。
步骤3：根据球场位置坐标系上定位信息获取球或球员所处的方向角，并根据该方向角生成切换画面指令，根据该切换画面指令切换至局部画面；具体地：根据vinput计算出球或球员在以球场长边中点为圆心，x轴正方向为0度基准线的所处方位角，再根据所处方位角下达切换画面指令到对应方位角朝向的镜头，从而实现局部画面的切换。
步骤4：根据预设的画面清晰度，对该局部画面进行放大处理，生成放大画面。
步骤5：根据图形画面坐标系上的定位信息作为画面中心点，对放大画面按第一尺寸标准进行截取，获得截取图像，并将截取图像输出至显示终端。具体地根据voutput截取放大画面，以(u,v)作为画面中心，截取第一尺寸标准的图像作为截取图像，并将截取图像输出至显示终端进行画面输出。
在本实施例的方法中，对画面进行切换的过程中，其切换的画面可以是某一镜头的某一局部画面，也可以是通过拼接手段将多个视频流进行拼接后的整体视频的局部画面。
参考图1和图2所示，本实施例1还提供了一种多源视频剪辑播放系统，包括：镜头画面捕捉模组、球和球员定位信息获取模组、视频服务器和视频直播输出接口，在所述视频服务器内部署视频存储单元、画面切换处理单元、画面放大处理单元和画面追踪处理单元，其中镜头画面捕捉模组与视频存储单元相连，球和球员定位信息获取模组分别与画面切换处理单元和画面追踪处理单元相连，画面切换处理单元、画面放大处理单元和画面追踪处理单元依次相连，画面追踪处理单元与视频存储单元相连，画面追踪处理单元与视频直播输出接口相连，
镜头画面捕捉模组对球场进行实时镜头画面捕捉，获取整个球场的同步视频流，并将该视频流进行本地保存，实时保存至视频服务器的本地视频存储单元，
画面切换处理单元，获取球场的球及球员的球场位置坐标系上定位信息，并将该定位信息传输至视频服务器中，映射成图形画面坐标系上的定位信息，根据球场位置坐标系上定位信息获取球或球员所处的方向角，并根据该方向角生成切换画面指令，根据该切换画面指令切换至局部画面，所述球场位置坐标系上定位信息通过设置在球和球员上的位置采集终端采集。
将球场位置坐标系上定位信息映射成图形画面坐标系上的定位信息，其映射方法如下：
定义球场位置坐标系为xoy坐标系，定义图形画面坐标系为uov坐标系：
voutput＝MinMextvinput＝Min(RT)extvinput＝Min(RxRzT)extvinput (1)
其中：
vinput＝[x,y,z,1]T为足球/球员的在xoy中的位置，z为平行于光轴的维度；
voutput＝[u,v,1]T为足球/球员在uov中的位置；
Min为从xoy尺度单位到uov尺度单位的缩放矩阵；
Mext为位置坐标的旋转与平移矩阵；
R为位置坐标的旋转矩阵；
RzRx为位置坐标分别绕z,x轴的旋转矩阵；
T为位置坐标的平移矩阵。
画面放大处理单元，根据预设的画面清晰度，对该局部画面进行放大处理，生成放大画面，
画面追踪处理单元，根据图形画面坐标系上的定位信息作为画面中心点，对放大画面按第一尺寸标准进行截取，获得截取图像，并将截取图像输出至显示终端。根据vinput计算出球或球员在以球场长边中点为圆心，x轴正方向为0度基准线的所处方位角，再根据所处方位角下达切换画面指令到对应方位角朝向的镜头，从而实现局部画面的切换。根据voutput截取放大画面，以(u，v)作为画面中心，截取第一尺寸标准的图像作为截取图像，并将截取图像输出至显示终端进行画面输出。
举例：球员A从球场中线开始带球往中路球门前进，定位系统定位A球员在位置(x1，y1，z1)，根据公式(1)，
voutput＝MinMextvinput＝Min(RT)extvinput＝Min(RxRzT)extvinput
计算出在正对球场中线摄像头的画面坐标(ul，v1)，此时画面撷取以(u1，v1)为中心对放大画面按第一尺寸标准进行截取，获得截取图像，并将截取图像输出至显示终端；当球员A带球接近到球门的位置(x2，y2，z2)，此时，根据公式(1)计算正对球门的摄像头的画面坐标(u2，v2)，并切换(u2，v2)为中心对放大画面按第一尺寸标准进行截取，获得截取图像，并将截取图像输出至显示终端。
在本实施例的方法中，对画面进行切换的过程中，其切换的画面可以是某一镜头的某一局部画面，也可以是通过拼接手段将多个视频流进行拼接后的整体视频的局部画面。
实施例2：
参考图3和图4所示，本实施例2中，该一种多源视频剪辑播放方法，包括以下步骤：
步骤1：对球场进行实时镜头画面捕捉，获取整个球场的同步视频流，并将该视频流进行本地保存，实时保存至视频服务器的本地视频存储单元；
步骤2：获取球场的球和球员的球场位置坐标系上定位信息，并将该定位信息传输至视频服务器中，映射成图形画面坐标系上的定位信息；所述球场位置坐标系上定位信息通过设置在球和球员上的位置采集终端采集。
将球场位置坐标系上定位信息映射成图形画面坐标系上的定位信息，其映射方法如下：
voutput＝MinMextvinput＝Min(RT)extvinput＝Min(RxRzT)extvinput (1)
其中：
vinput＝[x,y,z,1]T为足球/球员的在xoy中的位置，z为平行于光轴的维度；
voutput＝[u,v,1]T为足球/球员在uov中的位置；
Min为从xoy尺度单位到uov尺度单位的缩放矩阵；
Mext为位置坐标的旋转与平移矩阵；
R为位置坐标的旋转矩阵；
RzRx为位置坐标分别绕z,x轴的旋转矩阵；
T为位置坐标的平移矩阵。
步骤21，对历史赛事的海量数据进行球场事件的机器学习和训练，获得局部战术判断模型。
步骤3：根据球场位置坐标系上定位信息获取球或球员所处的方向角，并根据该方向角生成切换画面指令，根据该切换画面指令切换至局部画面。具体地：步骤3中，根据vinput计算出球或球员在以球场长边中点为圆心，x轴正方向为0度基准线的所处方位角，再根据所处方位角下达切换画面指令到对应方位角朝向的镜头，从而实现局部画面的切换。
步骤4：根据预设的画面清晰度，对该局部画面进行放大处理，生成放大画面；
步骤5：根据图形画面坐标系上的定位信息作为画面中心点，对放大画面按第一尺寸标准进行截取，获得截取图像，并将截取图像输出至显示终端。具体地，根据voutput截取放大画面，以(u,v)作为画面中心，截取第一尺寸标准的图像作为截取图像，并将截取图像输出至显示终端进行画面输出。
本实施例2还提供了一种多源视频剪辑播放系统，包括：镜头画面捕捉模组、球和球员定位信息获取模组、视频服务器和视频直播输出接口，在所述视频服务器内部署视频存储单元、画面切换处理单元、画面放大处理单元和画面追踪处理单元，其中镜头画面捕捉模组与视频存储单元相连，球和球员定位信息获取模组分别与画面切换处理单元和画面追踪处理单元相连，画面切换处理单元、画面放大处理单元和画面追踪处理单元依次相连，画面追踪处理单元与视频存储单元相连，画面追踪处理单元与视频直播输出接口相连，
镜头画面捕捉模组对球场进行实时镜头画面捕捉，获取整个球场的同步视频流，并将该视频流进行本地保存，实时保存至视频服务器的本地视频存储单元，
画面切换处理单元，获取球场的球及球员的球场位置坐标系上定位信息，并将该定位信息传输至视频服务器中，映射成图形画面坐标系上的定位信息，
将球场位置坐标系上定位信息映射成图形画面坐标系上的定位信息，其映射方法如下：
定义球场位置坐标系为xoy坐标系，定义图形画面坐标系为uov坐标系：
voutput＝MinMextvinput＝Min(RT)extvinput＝Min(RxRzT)extvinput (1)
其中：
vinput＝[x,y,z,1]T为足球/球员的在xoy中的位置，z为平行于光轴的维度；
voutput＝[u,v,1]T为足球/球员在uov中的位置；
Min为从xoy尺度单位到uov尺度单位的缩放矩阵；
Mext为位置坐标的旋转与平移矩阵；
R为位置坐标的旋转矩阵；
RzRx为位置坐标分别绕z,x轴的旋转矩阵；
T为位置坐标的平移矩阵。
参考图3所示，本实施例中还包括云端海量数据服务器，用于与球场事件智能处理单元连接，存储海量球场事件数据。
球场事件智能处理单元，所述球场事件智能处理单元输入端与球和球员定位信息获取模组相连，球场事件智能处理单元输出端分别与画面切换处理单元、画面放大处理单元和画面追踪处理单元相连，球场事件智能处理单元还连接有事件日志，所述球场事件智能处理单元对历史赛事的海量数据进行球场事件的机器学习和训练，获得局部战术判断模型。通过球场事件智能处理单元，实现球场上的事件(运球、传球、抢断、拦截和射门)智能预测、判断与高效及时处理与视频直播，其核心在于利用机器学习算法结合高性能并行计算技术，达到实时高效的分析与处理，请参阅图3和图4，具体步骤如下：
(1)根据历史赛事的海量数据进行球场事件的机器学习和训练，以得到较高准确性的战术预测和判断模型；
(2)在“实现球场上球/球员(对象)的画面切换与追踪”的基础上，不再是直接根据球/球员定位信息来实现画面切换与追踪，而是通过球场智能处理单元这一中间处理模块，实现基于智能化的事件预测与判断的画面切换、缩放和追踪处理，实现更好的视觉体验。
画面切换处理单元根据球场位置坐标系上定位信息获取球或球员所处的方向角，并根据该方向角生成切换画面指令，根据该切换画面指令切换至局部画面，所述球场位置坐标系上定位信息通过设置在球和球员上的位置采集终端采集。具体地根据vinput计算出球或球员在以球场长边中点为圆心，x轴正方向为0度基准线的所处方位角，再根据所处方位角下达切换画面指令到对应方位角朝向的镜头，从而实现局部画面的切换。
画面放大处理单元，根据预设的画面清晰度，对该局部画面进行放大处理，生成放大画面，
画面追踪处理单元，根据图形画面坐标系上的定位信息作为画面中心点，对放大画面按第一尺寸标准进行截取，获得截取图像，并将截取图像输出至显示终端。根据voutput截取放大画面，以(u,v)作为画面中心，截取第一尺寸标准的图像作为截取图像，并将截取图像输出至显示终端进行画面输出。
单场球赛收集的数据以时间为序列，针对赛事事件的智能判断分为二种情况做处理：
第一种是以事件处理单元计算出的重要事件当作主要剪辑事件，例如射门的事件为重要事件，在事件发生的前后时间段自动生成射门的视频；
第二种是以连续事件所组合成的局部进攻战术当作主要剪辑事件.局部进攻战术(传切配合，交叉掩护配合，二过一配合，定位球战术等)是由两名或两名以上球员完成进攻配合的战术。换句话说一个进攻战术是由一连串时间续列的球员位置，球位置与事件所组成的。本战术判断模型利用循环神经网络进行局部进攻战术侦测与判断。所有在时间点i上球员与球的位置Posi＝{pos1,i,pos2,i,...pos22,i,posb,i}、连同事件处理单元计算出的事件Eventi(如运球dr ibi、传球passi、射门shoti等)为一个时间单元循环神经网络的输入。而神经网络的输出Oi则是进攻战术的种类(传切配合,交叉掩护配合,二过一配合,定位球战术等)与侦测判断。若侦测到进攻战术，则在战术发生的前后时间段自动生成进攻战术的视频。
举例:在时间点ibegin到iend主队球员P1在边路运球并将球传给在中路切入的进攻球员P2。系统利用战术判断模型从ibegin到iend输入球员坐标及事件.在时间点iend时战术判断模型侦测到传切配合后便自动生成从ibegin到iend的进攻战术的视频。
区别于现有技术，上述技术方案通过设计一种多源视频剪辑播放方法及系统，根据对实时多源镜头画面捕捉后，并将获取的同步视频流进行本地存储，再根据球和球员在双坐标系中的位置映射关系实现球和球员的位置的匹配，通过对历史赛事的海量数据进行球场事件的机器学习和训练，获得时间预测和判断模型，根据时间预测和判断模型进行精彩事件中的球或球员的锚定，进而根据球场位置坐标系的方向角来实现镜头的切换，再根据图形画面坐标系上的定位信息来实现图像截取及输出，最终输出剪辑后的精彩赛事。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。
本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。
上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。

Claims (6)

1.一种多源视频剪辑播放方法，其特征在于，包括以下步骤：
步骤1：对球场进行实时镜头画面捕捉，获取整个球场的同步视频流，并将该视频流进行本地保存，实时保存至视频服务器的本地视频存储单元；
步骤2：获取球场的球和球员的球场位置坐标系上定位信息，并将该定位信息传输至视频服务器中，映射成图形画面坐标系上的定位信息；
步骤3：根据球场位置坐标系上定位信息获取球或球员所处的方向角，并根据该方向角生成切换画面指令，根据该切换画面指令切换至局部画面；
步骤4：对该局部画面进行放大处理，生成放大画面；
步骤5：根据图形画面坐标系上的定位信息作为画面中心点，对放大画面按第一尺寸标准进行截取，获得截取图像，并将截取图像输出至显示终端，还包括步骤21，对历史赛事的海量数据进行球场事件的机器学习和训练，获得局部战术判断模型，
所述步骤2中，将球场位置坐标系上定位信息映射成图形画面坐标系上的定位信息，其映射方法如下：
voutput＝MinMextvinput＝Min(RT)extvinput＝Min(RyRxT)extvinput (1)
其中：
vinput＝[x,y,z,1]T为足球/球员的在xoy中的位置，z为平行于光轴的维度；
voutput＝[u,v,1]T为足球/球员在uov中的位置；
Min为从xoy尺度单位到uov尺度单位的缩放矩阵；
Mext为位置坐标的旋转与平移矩阵；
R为位置坐标的旋转矩阵；
Rx,Ry为位置坐标分别绕x,y轴的旋转矩阵；
T为位置坐标的平移矩阵。
2.根据权利要求1所述的一种多源视频剪辑播放方法，其特征在于：步骤3中，根据vinput计算出球或球员在以球场长边中点为圆心，x轴正方向为0度基准线的所处方位角，再根据所处方位角下达切换画面指令到对应方位角朝向的镜头，从而实现局部画面的切换。
3.根据权利要求1所述的一种多源视频剪辑播放方法，其特征在于：
步骤5中，根据voutput截取放大画面，以(u,v)作为画面中心，截取第一尺寸标准的图像作为截取图像，并将截取图像输出至显示终端进行画面输出。
4.一种多源视频剪辑播放系统，其特征在于：包括：镜头画面捕捉模组、球和球员定位信息获取模组、视频服务器和视频直播输出接口，在所述视频服务器内部署视频存储单元、画面切换处理单元、画面放大处理单元和画面追踪处理单元，其中镜头画面捕捉模组与视频存储单元相连，球和球员定位信息获取模组分别与画面切换处理单元和画面追踪处理单元相连，画面切换处理单元、画面放大处理单元和画面追踪处理单元依次相连，画面追踪处理单元与视频存储单元相连，画面追踪处理单元与视频直播输出接口相连，
镜头画面捕捉模组对球场进行实时镜头画面捕捉，获取整个球场的同步视频流，并将该视频流进行本地保存，实时保存至视频服务器的本地视频存储单元，
画面切换处理单元，获取球场的球及球员的球场位置坐标系上定位信息，并将该定位信息传输至视频服务器中，映射成图形画面坐标系上的定位信息，根据球场位置坐标系上定位信息获取球或球员所处的方向角，并根据该方向角生成切换画面指令，根据该切换画面指令切换至局部画面，
画面放大处理单元，对该局部画面进行放大处理，生成放大画面，
画面追踪处理单元，根据图形画面坐标系上的定位信息作为画面中心点，对放大画面按第一尺寸标准进行截取，获得截取图像，并将截取图像输出至显示终端，
还包括球场事件智能处理单元，所述球场事件智能处理单元输入端与球和球员定位信息获取模组相连，球场事件智能处理单元输出端分别与画面切换处理单元、画面放大处理单元和画面追踪处理单元相连，球场事件智能处理单元还连接有事件日志，所述球场事件智能处理单元对历史赛事的海量数据进行球场事件的机器学习和训练，获得局部战术判断模型，
将球场位置坐标系上定位信息映射成图形画面坐标系上的定位信息，其映射方法如下：
定义球场位置坐标系为xoy坐标系，定义图形画面坐标系为uov坐标系：
voutput＝MinMextvinput＝Min(RT)extvinput＝Min(RxRzT)extvinput (1)
其中：
vinput＝[x,y,z,1]T为足球/球员的在xoy中的位置，z为平行于光轴的维度；
voutput＝[u,v,1]T为足球/球员在uov中的位置；
Min为从xoy尺度单位到uov尺度单位的缩放矩阵；
Mext为位置坐标的旋转与平移矩阵；
R为位置坐标的旋转矩阵；
RzRx为位置坐标分别绕z,x轴的旋转矩阵；
T为位置坐标的平移矩阵。
5.根据权利要求4所述的一种多源视频剪辑播放系统，其特征在于：根据vinput计算出球或球员在以球场长边中点为圆心，x轴正方向为0度基准线的所处方位角，再根据所处方位角下达切换画面指令到对应方位角朝向的镜头，从而实现局部画面的切换。
6.根据权利要求5所述的一种多源视频剪辑播放系统，其特征在于：根据voutput截取放大画面，以(u,v)作为画面中心，截取第一尺寸标准的图像作为截取图像，并将截取图像输出至显示终端进行画面输出。
CN201710427066.2A 2017-06-08 2017-06-08 一种多源视频剪辑播放方法及系统 Active CN107147920B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710427066.2A CN107147920B (zh) 2017-06-08 2017-06-08 一种多源视频剪辑播放方法及系统
PCT/CN2017/102172 WO2018223554A1 (zh) 2017-06-08 2017-09-19 一种多源视频剪辑播放方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710427066.2A CN107147920B (zh) 2017-06-08 2017-06-08 一种多源视频剪辑播放方法及系统

Publications (2)

Publication Number Publication Date
CN107147920A CN107147920A (zh) 2017-09-08
CN107147920B true CN107147920B (zh) 2019-04-12

Family

ID=59779575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710427066.2A Active CN107147920B (zh) 2017-06-08 2017-06-08 一种多源视频剪辑播放方法及系统

Country Status (2)

Country Link
CN (1) CN107147920B (zh)
WO (1) WO2018223554A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107147920B (zh) * 2017-06-08 2019-04-12 简极科技有限公司 一种多源视频剪辑播放方法及系统
CN109165686B (zh) * 2018-08-27 2021-04-23 成都精位科技有限公司 通过机器学习构建球员带球关系的方法、装置及系统
CN111147889B (zh) * 2018-11-06 2022-09-27 阿里巴巴集团控股有限公司 多媒体资源回放方法及装置
CN112399096B (zh) * 2019-08-16 2023-06-23 咪咕文化科技有限公司 一种视频处理方法、设备及计算机可读存储介质
CN111787341B (zh) 2020-05-29 2023-12-05 北京京东尚科信息技术有限公司 导播方法、装置及系统
CN111757147B (zh) * 2020-06-03 2022-06-24 苏宁云计算有限公司 一种赛事视频结构化的方法、装置及系统
CN113542894B (zh) * 2020-11-25 2022-08-19 腾讯科技（深圳）有限公司 游戏视频剪辑方法、装置、设备及存储介质
CN113259770B (zh) * 2021-05-11 2022-11-18 北京奇艺世纪科技有限公司 视频播放方法、装置、电子设备、介质及产品
CN113365093B (zh) * 2021-06-07 2022-09-06 广州虎牙科技有限公司 直播方法、装置、系统、电子设备及存储介质
CN114500773B (zh) * 2021-12-28 2023-10-13 天翼云科技有限公司 一种转播方法、系统和存储介质
CN116744028B (zh) * 2023-02-21 2024-08-06 深圳市华方信息产业有限公司 一种手术室的示教方法、系统、终端及存储介质
CN116781985B (zh) * 2023-08-23 2023-10-20 北京盘腾科技有限公司 一种赛事直播画面的控制方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5513854A (en) * 1993-04-19 1996-05-07 Daver; Gil J. G. System used for real time acquistion of data pertaining to persons in motion
CN101324957A (zh) * 2008-07-16 2008-12-17 上海大学 一种面向移动设备的足球视频智能播放方法
CN101753852A (zh) * 2008-12-15 2010-06-23 姚劲草 基于目标检测与跟踪的体育比赛动态微型地图
CN102347043A (zh) * 2010-07-30 2012-02-08 腾讯科技（北京）有限公司 多角度视频播放方法和系统
US20150297949A1 (en) * 2007-06-12 2015-10-22 Intheplay, Inc. Automatic sports broadcasting system
CN106464958A (zh) * 2014-02-28 2017-02-22 第二频谱公司 用于执行体育事件的时空分析的系统和方法
CN106606857A (zh) * 2016-02-29 2017-05-03 简极科技有限公司 一种基于定位的足球比赛技术统计方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030023974A1 (en) * 2001-07-25 2003-01-30 Koninklijke Philips Electronics N.V. Method and apparatus to track objects in sports programs and select an appropriate camera view
US8891941B2 (en) * 2007-11-07 2014-11-18 Gvbb Holdings S.A.R.L. Editing apparatus, editing method, and editing program
CN113491872B (zh) * 2015-11-10 2023-01-03 迪迪体育公司 用于体育比赛的定位和事件跟踪系统
CA2913432A1 (en) * 2015-11-26 2016-01-27 Robert Zakaluk System and method for identifying, analyzing, and reporting on players in a game from video
CN106488127B (zh) * 2016-11-02 2019-12-06 深圳锐取信息技术股份有限公司 基于足球检测跟踪的摄像机切换控制方法及装置
CN107147920B (zh) * 2017-06-08 2019-04-12 简极科技有限公司 一种多源视频剪辑播放方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5513854A (en) * 1993-04-19 1996-05-07 Daver; Gil J. G. System used for real time acquistion of data pertaining to persons in motion
US20150297949A1 (en) * 2007-06-12 2015-10-22 Intheplay, Inc. Automatic sports broadcasting system
CN101324957A (zh) * 2008-07-16 2008-12-17 上海大学 一种面向移动设备的足球视频智能播放方法
CN101753852A (zh) * 2008-12-15 2010-06-23 姚劲草 基于目标检测与跟踪的体育比赛动态微型地图
CN102347043A (zh) * 2010-07-30 2012-02-08 腾讯科技（北京）有限公司 多角度视频播放方法和系统
CN106464958A (zh) * 2014-02-28 2017-02-22 第二频谱公司 用于执行体育事件的时空分析的系统和方法
CN106606857A (zh) * 2016-02-29 2017-05-03 简极科技有限公司 一种基于定位的足球比赛技术统计方法

Also Published As

Publication number Publication date
CN107147920A (zh) 2017-09-08
WO2018223554A1 (zh) 2018-12-13

Similar Documents

Publication Publication Date Title
CN107147920B (zh) 一种多源视频剪辑播放方法及系统
US11532172B2 (en) Enhanced training of machine learning systems based on automatically generated realistic gameplay information
Sheng et al. GreenSea: visual soccer analysis using broad learning system
US10391378B2 (en) Smart-court system and method for providing real-time debriefing and training services of sport games
US8300935B2 (en) Method and system for the detection and the classification of events during motion actions
CN110929596A (zh) 一种基于智能手机和人工智能的投篮训练系统与方法
He et al. Notice of violation of ieee publication principles: study on sports volleyball tracking technology based on image processing and 3D space matching
Li et al. Video-based table tennis tracking and trajectory prediction using convolutional neural networks
Yoshikawa et al. Shot detection using skeleton position in badminton videos
Li et al. [Retracted] Deep Learning Algorithm‐Based Target Detection and Fine Localization of Technical Features in Basketball
He et al. Mathematical modeling and simulation of table tennis trajectory based on digital video image processing
Grontman et al. Analysis of sword fencing training evaluation possibilities using Motion Capture techniques
Du RETRACTED: Preventive monitoring of basketball players' knee pads based on IoT wearable devices
Messelodi et al. A low-cost computer vision system for real-time tennis analysis
Lyu et al. [Retracted] Badminton Path Tracking Algorithm Based on Computer Vision and Ball Speed Analysis
Wang et al. Research and implementation of the sports analysis system based on 3D image technology
Xiao et al. A football training method based on improved tiny-yolov3 and virtual reality
Hsu et al. Computer-assisted billiard self-training using intelligent glasses
Rashid et al. Footballer detection on position based classification recognition using deep learning approach
Yang et al. [Retracted] Falling‐Point Recognition and Scoring Algorithm in Table Tennis Using Dual‐Channel Target Motion Detection
Chakraborty et al. Deep Learning-Based Prediction of Football Players’ Performance During Penalty Shootout
Zhang et al. VR-based basketball movement simulation
CN118200750A (zh) 一种乒乓球比赛数据采集与可视化技术用于转播的方法
Xiao et al. Research on tennis video target tracking based on visual analysis
Smith et al. Computer vision in netball

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Multi-source video clipping and playing method and system

Effective date of registration: 20190909

Granted publication date: 20190412

Pledgee: Lin Zhihong

Pledgor: GENGEE TECHNOLOGY Co.,Ltd.

Registration number: Y2019980000128

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20220729

Granted publication date: 20190412

Pledgee: Lin Zhihong

Pledgor: GENGEE TECHNOLOGY Co.,Ltd.

Registration number: Y2019980000128

PC01 Cancellation of the registration of the contract for pledge of patent right