CN115104137A - 提供基于体育视频的平台服务的服务器的操作方法 - Google Patents

提供基于体育视频的平台服务的服务器的操作方法 Download PDF

Info

Publication number
CN115104137A
CN115104137A CN202180014460.8A CN202180014460A CN115104137A CN 115104137 A CN115104137 A CN 115104137A CN 202180014460 A CN202180014460 A CN 202180014460A CN 115104137 A CN115104137 A CN 115104137A
Authority
CN
China
Prior art keywords
video
player
cluster
server
service server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180014460.8A
Other languages
English (en)
Inventor
金志训
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Litif Co ltd
Original Assignee
Litif Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Litif Co ltd filed Critical Litif Co ltd
Publication of CN115104137A publication Critical patent/CN115104137A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck

Abstract

一种提供基于体育视频的平台服务的服务器的操作方法包括如下步骤：在球类项目的体育视频中利用留下动态像素的预处理来跟踪球的步骤；利用球的跟踪结果来确定与体育视频的得分相关场景相关的非识别选手；跟踪非识别选手直到能够识别非识别选手的相邻帧，从而识别非识别选手；以及对应于得分相关场景，生成体育视频的时间区间及非识别选手的识别信息。

Description

提供基于体育视频的平台服务的服务器的操作方法
技术领域
以下实施例涉及一种提供基于体育视频的平台服务的服务器的操作方法。
背景技术
为了分析体育视频，要求相当水平的专业人员的人力资源。虽然提出过分析体育视频的若干方案，但是这些方案仍然需要专用拍摄设备或专门小组。因此，要求一种资源有效地分析体育视频的技术。
发明内容
技术问题
实施例提供一种利用人工智能技术而显著减少分析体育视频所需要的人力资源的技术。并且，实施例提供一种通过将体育视频的分析结果与相应的场景联动而进行数据库化，从而细致地搜索体育视频的技术。
技术方案
根据一方面的一种视频分析服务器的操作方法包括如下步骤：接收包括球类项目的体育视频的链接的分析请求信号；执行对包括在所述体育视频的多个帧中的静态像素进行滤除来留下动态像素的预处理；基于所述经预处理的视频而跟踪所述体育视频的球；从所述经预处理的视频中检测出所述体育视频的得分相关场景；响应于所述得分相关场景的检测，利用所述球的跟踪结果来确定与所述得分相关场景相关的非识别选手；跟踪所述非识别选手直到能够识别所述非识别选手的相邻帧，从而识别所述非识别选手；以及对应于所述得分相关场景，输出所述体育视频的时间区间及所述非识别选手的识别信息。
跟踪所述球的步骤可以包括如下步骤：对应于所述帧中的每一个，基于相应帧的动态像素来检测球。
检测所述得分相关场景的步骤可以包括如下步骤：对应于所述帧中的每一个，基于相应帧的动态像素来检测边缘；以及将与检测出所述边缘的帧相邻的帧确定为所述得分相关场景。
确定与所述得分相关场景相关的非识别选手的步骤可以包括如下步骤：利用所述球的跟踪结果，在包括于所述得分相关场景的帧中检测与试图得分的选手相关的动态像素；以及通过对检测出与所述试图得分的选手相关的动态像素的帧进行实例分割，确定与所述得分相关场景相关的非识别选手。
识别所述非识别选手的步骤可以包括如下步骤：从所述确定的非识别选手提取特征；将所述提取的特征与已注册的选手的特征进行比较；基于所述比较的结果，判断所述非识别选手是否能够识别；以及根据无法识别所述非识别选手的判断，通过对相邻帧进行实例分割来跟踪所述非识别选手。
执行所述预处理的步骤可以包括如下步骤：在所述体育视频为以固定视点拍摄的视频的情况下，基于预定范围的相邻帧之间的像素值的变化来滤除静态像素；以及在所述体育视频为以移动视点拍摄的视频的情况下，基于帧内像素的光流(optical flow)的统计值来滤除静态像素。
根据一方面的一种提供基于体育视频的平台服务的服务器的操作方法包括如下步骤：基于体育视频的链接，向视频分析模块传输请求分析所述体育视频的信号；将从所述视频分析模块接收的按选手的簇(player-specific clusters)存储在数据库中；基于所述数据库，向用户终端提供用于从所述体育视频中提取按选手的视频片段(player-specificvideo clips)的信息；从所述用户终端接收用于识别至少一个簇的非识别选手的输入，其中，所述用户终端从流传输服务器按所述选手接收所述视频片段；以及基于所述输入，在所述数据库中更新至少一个相应的簇的识别信息。
提供基于体育视频的平台服务的服务器的操作方法还可以包括如下步骤：向所述用户终端提供表示选手的贡献度的统计；从所述用户终端接收选择包括在所述统计中的细部记录的输入；基于所述数据库获取与所述选择的细部记录相关的至少一个子簇；以及基于所述至少一个子簇，向所述用户终端提供用于从所述体育视频中提取视频片段的信息。
所述提供基于体育视频的平台服务的服务器的操作方法还可以包括如下步骤：从所述用户终端接收包括搜索对象选手和所述搜索对象的场景的搜索查询；从所述数据库中搜索与所述搜索查询对应的子簇；以及基于所述搜索到的子簇，向所述用户终端提供用于从所述体育视频中提取视频片段的信息。
所述提供基于体育视频的平台服务的服务器的操作方法还可以包括如下步骤中的至少一个：基于所述簇的可靠度来确定计费水平；以及基于修改所述簇的反馈输入来确定补偿水平。
所述提供基于体育视频的平台服务的服务器的操作方法还可以包括如下步骤：从所述用户接收指示包括在所述至少一个簇中的至少一个区间的选手不属于相应簇的反馈输入；以及基于所述反馈输入，从相应簇中排除相应区间。
所述提供基于体育视频的平台服务的服务器的操作方法还可以包括如下步骤：从所述用户接收指示包括在所述至少一个簇中的至少一个区间的选手属于另一簇的反馈输入；以及基于所述反馈输入，从相应簇中排除相应区间并将所述区间包括在所述另一簇中。
所述提供基于体育视频的平台服务的服务器的操作方法还可以包括如下步骤：生成依赖于所述更新的数据库的训练数据；以及基于所述训练数据，学习估计选手的检测信息、识别信息和运动类型信息中的至少一个的专用模型。
附图说明
图1是说明根据一实施例的提供基于体育视频的平台服务的系统的图。
图2是示出根据一实施例的提供基于体育视频的平台服务的服务服务器的操作方法的操作流程图。
图3是说明根据一实施例的簇操作的图。
图4是说明根据一实施例的基于体育视频的平台服务的图。
图5是说明根据一实施例的基于体育视频的平台服务的图。
图6是说明根据一实施例的基于运动类型的特征矢量的分布的图。
图7是说明根据一实施例的基于运动类型的聚类操作的图。
图8是说明根据一实施例的通用模型及专用模型的图。
图9是说明根据一实施例的与表示篮球比赛的按选手的贡献度的统计联动而提供的视频片段的图。
图10是说明根据一实施例的反映用户对视频片段的反馈的功能的图。
图11是说明根据一实施例的搜索功能的图。
图12是说明根据一实施例的生成跟踪簇的操作的图。
图13是说明根据一实施例的匹配跟踪簇的操作的图。
图14是说明根据一实施例的感知得分事件的操作的图。
具体实施方式
本说明书中公开的特定的结构性或功能性说明仅用于说明基于技术概念的实施例的目的而举例示出的，实施例能够以多样的其他形态实施，并不限于本说明书中说明的实施例。
“第一”或“第二”等术语可用于说明多样的构成要素，但这种术语应理解为仅用于将一个构成要素与其他构成要素区分开的目的。例如，第一构成要素可以命名为第二构成要素，类似地，第二构成要素也可以命名为第一构成要素。
应当理解的是，当提及某一构成要素与另一构成要素“连接”或“结合”时，其可以与另一构成要素直接连接或结合，但也可以在其中间存在其他构成要素。相反，当提及某一构成要素与另一构成要素“直接连接”或“直接结合”时，应理解为中间不存在其他构成要素。用于说明构成要素之间的关系的表述，例如，“～之间”和“直接～之间”或“与～相邻”和“与～直接相邻”等也应以相同的方式进行解释。
除非上下文另有明确说明，否则单数形式也包括复数形式。在本说明书中，“包括”或“具有”等术语应理解为，用于指定所陈述的特征、数字、步骤、操作、构成要素、部件或它们的组合的存在，并不预先排除一个或其以上的其他特征或数字、步骤、操作、构成要素、部件或它们的组合的存在或附加的可能性。
除非另有定义，否则本文使用的所有术语(包括技术术语和科学术语)具有与本技术领域中具有普通知识的人员通常理解的含义相同的含义。与通常使用的词典中定义的术语相同的术语应解释为具有与相关技术的上下文中所具有的含义一致的含义，只要在本说明书中未明确定义，则不应解释为理想性或过度地形式性的含义。
实施例可以作为个人计算机、膝上型计算机、平板计算机、智能电话、电视、智能家电、智能型汽车、自助服务终端、可穿戴装置等多样形态的产品而被提供服务。
以下，参照附图对实施例进行详细说明。各附图中示出的相同的附图标记表示相同的部件。
图1是说明根据一实施例的提供基于体育视频的平台服务的系统的图。参照图1，根据一实施例的系统包括服务服务器，并且根据系统的设计，还可以包括流传输服务器、存储服务器、社交网络服务(SNS)服务器和即时通讯服务(IMS)服务器中的至少一个。服务服务器可以包括与设置于用户终端的应用程序进行通信的前端服务器和分析体育视频的视频分析服务器。根据系统的设计，前端服务器和视频分析服务器可以在相同的服务器内以模块的形式实现，也可以实现为彼此不同的独立的服务器并实现为通过网络彼此进行通信的形态。
服务服务器接收体育视频。体育视频是拍摄体育比赛的图像，包括多个帧。体育比赛可以是篮球、足球、排球、手球、曲棍球、冰球、网球等实时球类项目、美式足球、橄榄球、棒球、槌球(croquet)、高尔夫等回合制球类项目以及跳水、游泳、滑雪、单板滑雪等非球类项目中的一种。以下，以篮球比赛为例进行说明，但实施例也可以以实质上相同的方式应用于除篮球比赛以外的其他体育比赛。
体育视频可以是已经上载到流传输服务器或存储服务器的视频。在此情况下，服务服务器可以通过流传输服务器或存储服务器来接收访问体育视频的信息(例如，统一资源定位符(URL)等)。或者，服务服务器也可以接收上载体育视频的请求。服务服务器可以将请求上载的体育视频上载至流传输服务器或存储服务器。流传输服务器或存储服务器可以由与服务服务器相同的主体运营，也可以根据实施例而由不同的主体运营。
体育视频包括多个非识别选手。非识别选手是相应选手的身份未被识别的选手，例如，可以包括相应选手的识别信息未被设置的选手。包括在体育视频中的多个非识别选手执行用于体育比赛的多样的运动，并分析体育视频，从而可以评价参与相应体育比赛的选手的个人层面的能力或球队层面的能力。但是，为了分析体育视频，需要熟练掌握相应体育比赛的规则的一名以上的专家在相应体育比赛的整个时间内执行用于各选手的记录。
以下说明的实施例提供一种利用人工智能技术而显著减少分析体育视频所需要的人力资源的技术。
根据一实施例，视频分析服务器可以从前端服务器接收包括球类项目的体育视频的链接的分析请求信号。视频分析服务器可以执行通过从包括在体育视频的多个帧中滤出静态像素来保留动态像素的预处理。例如，在体育视频是以固定视角拍摄的视频(以固定相机角度拍摄的视频)的情况下，可以基于预定范围的相邻帧之间的像素值的变化来滤出静态像素。在相邻帧之间的相同位置处的像素值的变化超过预定的阈值范围的情况下，可以将其分类为动态像素。
如果体育视频是以移动视角拍摄的视频(以跟着球而移动的相机角度拍摄的视频)，则可以基于帧内像素的光流(optical flow)的统计值来滤出静态像素。由于相机角度的移动，帧内的像素可以具有共同的光流分量。若去除包括在像素的共同分量的光流，则可以获得与实际移动的客体(移动的选手、移动的球、振动的边缘等)对应的像素的光流的分量。在去除共同分量的光流之后，具有超过预定的阈值大小的光流的像素可以被分类为动态像素。
视频分析服务器可以基于经预处理的视频来跟踪体育视频的球。例如，视频分析服务器可以与体育视频的各个帧对应地基于相应帧的动态像素来检测球，从而跟踪体育视频的球。由于包括在体育视频中的球被拍摄为比图像中的其他对象(选手或球门等)相对小，因此难以通过现有的对象跟踪模型来跟踪球。实施例可以利用被训练为利用通过预处理而获得的动态像素来跟踪球的人工神经网络来显著提高球跟踪的性能。
视频分析服务器可以从经预处理的视频检测出体育视频的得分相关场景。例如，视频分析服务器对应于各个帧，基于相应帧的动态像素来检测边缘(rim)，并将与检测到边缘的帧相邻的帧确定为得分相关场景，从而能够检测体育视频的得分相关场景。
边缘表示在球类项目体育比赛中用于判别球通过而是否得分的预定形状的结构物，以下，附着于边缘的网也可以理解为包括于边缘。边缘在平时不移动而分类为静态像素，而在球击中边缘而实际边缘移动的情况或移动的球通过边缘的情况等与得分相关的场景中可以分类为动态像素。因此，若在经预处理的图像中检测到边缘，则可以判断为与得分相关的场景。
视频分析服务器响应于得分相关场景的检测，可以利用球的跟踪结果而确定与得分相关场景相关的非识别选手。例如，视频分析服务器利用球的跟踪结果，从包括于得分相关场景的帧中检测与试图得分的选手相关的动态像素，并对检测到与试图得分的选手相关的动态像素的帧进行实例分割(instance segmentation)，从而可以确定与得分相关场景相关的非识别选手。
由于视频分析服务器在经预处理的图像中跟踪球，因此，若在经预处理的图像中检测出边缘，则能够以检测出边缘的帧为开始，获得其之前的相邻帧中所包括的球的移动轨迹。视频分析服务器可以在搜索球的移动轨迹的同时从包括在相邻帧中的选手的动态像素中筛选出与球接近预定的基准距离以内的动态像素。筛选出的动态像素可以包括试图得分的非识别选手。
视频分析服务器在筛选出与球接近预定的基准距离以内的动态像素时，对相应帧进行实例分割，从而可以获取试图得分的非识别选手的掩模(mask)。此时，未经预处理的原始帧的图像可以作为执行实例分割的神经网络模型的输入而被输入。
视频分析服务器跟踪非识别选手直到能够识别的相邻帧为止，从而能够识别非识别选手。例如，视频分析服务器可以从确定的非识别选手提取特征(feature)。视频分析服务器可以利用非识别选手的掩模来获取对应于非识别选手的像素值，并基于所获取的像素值来提取特征。
视频分析服务器可以将提取的特征与已注册的选手的特征进行比较，从而判断是否能够识别非识别选手。视频分析服务器可以从服务服务器接收参与请求分析的体育比赛的选手的注册信息。注册信息可以包括选手的名单及选手的照片。视频分析服务器可以从已注册的选手的照片中提取特征，并与非识别选手的特征进行比较。视频分析服务器可以根据比较结果将非识别选手与已注册的选手中的一名进行匹配。
比较结果判断为无法识别非识别选手的情况下，视频分析服务器可以通过对相邻帧(过去或未来的相邻帧)进行实例分割来跟踪非识别选手。由于非识别选手被其他选手遮挡等多样的因素，在试图投篮的帧中可能不包括用于识别非识别选手的充分的图像信息。视频分析服务器可以追踪非识别选手直到包括有足以识别非识别选手的图像信息的相邻帧为止。视频分析服务器在相邻帧中跟踪非识别选手之后，可以基于在相应相邻帧跟踪的非识别选手的图像信息来判断可否识别非识别选手。视频分析服务器可以反复执行相邻帧中的跟踪操作和识别操作，直到能够识别出非识别选手为止。
视频分析服务器可以在得分相关场景中判断得分成功还是得分失败。例如，视频分析服务器可以利用被训练为将以包括在得分相关场景中的多个帧中的边缘的位置为基准的球的移动轨迹作为输入来判断得分是否成功的神经网络模型。
视频分析服务器可以对应于各个得分相关场景而输出体育视频的时间区间、非识别选手的识别信息及/或得分成功与否，由此来响应前端服务器的分析请求信号。前端服务器可以基于响应信号来建立数据库。
根据一实施例，服务服务器可以利用非指导式学习方案来彼此区分包括于体育视频的非识别选手。服务服务器即使在无法识别非识别选手分别是谁的情况下，也能够区分第一非识别选手和第二非识别份选手彼此不同。例如，在体育视频内，第一非识别选手的外形特征和第二非识别选手的外形特征可以被彼此区分。外形特征是非识别选手的外形特征，例如，不仅可以包括体型、身高、肤色、发型、脸部等非识别选手自身的外形特征，还可以包括运动服、背部号码、鞋子、保护带、饰品的外形特征。并且，第一非识别选手的运动特征和第二非识别选手的运动特征可以被彼此区分。运动特征是非识别选手的运动特征，例如，在篮球比赛中，可以包括在跳跃投篮运动、立定投篮运动、上篮运动、扣篮运动、带球运动、传球运动、挑球运动、抢篮板球运动、阻挡运动、防守运动等多样的运动中相应的非识别选手固有的姿势或运动的特征。服务服务器可以利用外形特征和/或运动特征来彼此区分非识别选手。
服务服务器可以按彼此区分的非识别选手生成视频片段。例如，服务服务器可以生成仅选择性地包括整个比赛图像中的第一非识别选手的图像的第一视频片段，并生成仅选择性地包括第二非识别选手的图像的第二视频片段。服务服务器可以向用户提供按非识别选手的视频片段，从而可以从用户接收识别视频片段的非识别选手的信息。用户可以是相应的体育视频内的非识别选手中的一名，根据情况，用户可以是虽然不是体育视频内的非识别选手但能够识别相应的体育视频内的非识别选手的人。
用户可以输入识别对应于多个视频片段中的至少一个视频片段的非识别选手的信息。例如，用户可以在视频片段中自身的视频片段中输入确认是自身的信息，或者在视频片段中自己能够识别出的非识别选手的视频片段中输入识别相应非识别选手的信息。
服务服务器可以基于按视频片段输入的识别信息来分析体育视频。由于大多数体育比赛基于预定的规则而进行，因此可以根据体育比赛的规则来预先的确定被允许的运动类型。因此，一个运动类型和另一个运动类型可以被彼此区分。例如，在篮球比赛中，投篮运动和带球运动可以彼此被区分。进而，在投篮运动中，跳跃投篮运动和扣篮运动也可以被彼此区分。因此，服务服务器可以从体育视频中提取特征场景或帧，并对所提取的场景的运动类型进行分类。以下将详细说明，服务服务器也可以提取一部分区域而不是整个场景或帧，并对所提取的区域的运动类型进行分类。
因此，实施例可以提供仅通过从用户接收按视频片段的识别信息来分析体育比赛内的多样的瞬间(moments)的技术。进而，随着识别为相同的选手的图像数据的累积，可以学习自动地识别相应选手的专用模型。专用模型也可以被训练为不仅自动地识别相应的选手而且更准确地对相应的选手的运动进行分类。
并且，服务服务器可以对体育视频中检测到的时刻标注识别信息及运动类型信息，从而建立数据库。用户可以通过多样的查询而在数据库中搜索期望的图像。例如，用户可以输入i)指定选手来ii)搜索期望的场景的查询。服务服务器可以从数据库中搜索对应于查询的场景对应于哪个体育视频内的哪个时间点(帧)，并可以基于搜索结果生成视频片段并提供给用户。根据实施例，可以通过指定多个选手来搜索期望的场景(例如，选手B受选手A助攻而得分的场景，或者选手C被选手D拦网的场景等)。
以下将详细说明，服务服务器可以生成表示在体育比赛中按选手的贡献度的统计。例如，服务服务器可以生成将篮球比赛的结果数值化而表现的技术统计(box score)。服务服务器可以针对技术统计内的每个细部记录提供与该细部记录的场景联动的服务。例如，当在技术统计中选择特定选手的“断球”细部记录时，可以提供包括相应选手“断球”的场景的视频片段。根据一实施例，前端服务器响应于针对特定比赛的技术统计中的“断球”的选择输入，而搜索相应比赛的断球相关簇。前端服务器可以基于搜索到的簇向用户终端提供能够通过流传输接收相关视频片段的信息(例如，图像URL和至少一个时间区间)。
服务服务器可以向社交网络服务器或即时通讯服务器共享提供给用户的视频片段。服务服务器可以通过网络界面向用户提供服务，或者可以通过应用程序界面向用户提供服务。
图2是示出根据一实施例的提供基于体育视频的平台服务的服务服务器的操作方法的操作流程图。如通过图1所述，服务服务器可以由前端模块及视频分析模块的单服务器实现，或者可以由前端服务器及视频分析服务器的独立服务器实现。以下，为了便于说明，以由单服务器实现的实施例为基准进行说明。
参照图2，服务服务器的前端模块基于体育视频的链接，向视频分析模块传输请求分析体育视频的信号(210)。服务服务器的前端模块将从视频分析模块接收的按选手的簇(player-specific clusters)存储在数据库中(220)。按选手的簇可以包括关于可以计算为按选手的比赛内贡献度的场景(例如，得分相关场景、防守相关场景、失误或犯规相关场景等)的区间信息。
服务服务器的前端模块基于数据库，向用户终端提供用于从体育视频中提取按选手的视频片段(player-specific video clips)的信息(230)。提供给用户终端的信息可以包括视频的链接和用于按选手的主要场景的时间区间。用户终端可以基于所接收的信息来向流传输服务器请求选择性地仅流传输对应于主场景的时间区间。
服务服务器的前端模块从用户终端接收识别至少一个簇的非识别选手的输入(240)。服务服务器的前端模块基于用户输入在数据库中更新至少一个相应簇的识别信息(250)。
服务服务器从用户接收识别至少一个簇的非识别选手的输入。由于用户按非识别选手接收视频片段，因此可以按视频片段进行识别非识别选手的输入。视频片段以簇单位提取或生成，所接收的输入对应于识别与相应簇对应的非识别选手的信息。
服务服务器基于用户的输入，设置至少一个相应簇的识别信息。根据一实施例，簇可以包括{体育视频的访问信息、识别信息、区域的索引}的字段。在此情况下，服务服务器可以基于用户的输入来设置簇的识别信息。识别信息可以对应于基于体育视频的平台服务的账户信息。或者，识别信息也可以对应于与基于体育视频的平台服务联动的社交网络服务的账户信息或者与基于体育视频的平台服务联动的即时消息服务的账户信息。识别信息可以包括用于识别非识别选手的预定模板的信息(例如，姓氏、名字、昵称、所属球队、背部号码、性别、年龄、身高、体重、位置等)。根据实施例，识别信息也可以存储在区域中。在此情况下，簇可以包括{区域的索引}的字段，并且各个区域可以包括{识别信息}的字段。
或者，服务服务器可以从用户终端接收包括在至少一个簇中的至少一个区间的选手不属于相应簇的反馈输入，并从相应簇中排除相应区间。
或者，服务服务器可以从用户终端接收包括在至少一个簇中的至少一个区间的选手属于另一簇的反馈输入，并且可以相应区间从相应簇中排除并将其包括在另一簇中。
并且，服务服务器的前端模块可以提供基于体育视频的平台服务(260)。例如，服务服务器可以基于设置有识别信息的簇(或区域)来提供基于体育视频的平台服务。服务服务器可以提供如下的多样的服务：自动分析体育比赛，或提供将体育比赛的内容指标化的统计信息，或提供与统计信息联动的视频片段，或提供体育视频的细部(detail)搜索功能，或提供与搜索结果相应的视频片段等。并且，服务服务器还可以提供将视频片段共享到社交网络服务或即时通讯服务的功能。
服务服务器可以向用户终端提供表示选手的贡献度的统计，并从用户终端接收选择包括在统计中的细部记录的输入。服务服务器可以基于数据库来获取与所选择的细部记录相关的至少一个子簇，并基于至少一个子簇向用户终端提供用于从体育视频中提取视频片段的信息。
或者，服务服务器可以从用户终端接收包括搜索对象选手和搜索对象场景的搜索查询，并从数据库中搜索与搜索查询对应的子簇。服务服务器可以基于搜索到的子簇向用户终端提供用于从体育视频中提取视频片段的信息。
或者，服务服务器可以基于簇的可靠性来确定计费水平，或者基于修改簇的反馈输入来确定奖励水平。
不仅如此，服务服务器可以生成依赖于更新的数据库的训练数据来学习估计选手的检测信息、识别信息和运动类型信息中的至少一个的专用模型。
服务服务器可以基于设置有识别信息的簇(或区域)来学习用于所识别的选手的专用模型。或者，服务服务器可以学习用于多个识别的选手所属的球队的专用模型。专用模型可以通过检测体育视频中的选手的区域的检测模块、对区域进行分类的分类模块、对区域进行识别的识别模块、或用于上述功能的多样的组合的复合模块等来学习。
服务服务器可以通过使用专用模型来为输入识别信息的选手提供更高品质的服务。作为一示例，随着通过累积设置有识别信息的数据来学习专用模型，可以自动地设置新的体育视频中的相应选手的识别信息。并且，可以通过专用模型更准确地分析相应选手的比赛内容。
虽然未图示，但根据一实施例，服务服务器从拍摄非识别选手的体育视频中检测出与非识别选手对应的区域。“检测”可以是确定与图像内的检测对象相对应的一部分区域的操作。体育视频包括多个帧，服务服务器可以在个别帧中检测个别非识别选手所占的区域。服务服务器可以利用用于检测在体育视频中进行相应体育比赛的选手的检测器来检测与非识别选手对应的区域。对应于非识别选手的区域可以具有预定的形状，例如可以具有四边形的窗口形状。服务服务器可以以体育视频的个别帧为单位，在该帧中检测出与非识别选手对应的窗口。作为一示例，服务服务器可以获取指示帧的帧索引、作为指示检测出的窗口的位置的信息的(x,y)-坐标和作为指示检测出的窗口的大小的信息的(宽度,高度)。在此情况下，个别区域可以定义为{帧_索引,x坐标,y坐标,宽度,高度}。服务服务器可以直接驱动检测模块，也可以向与服务服务器联动而驱动检测模块的其他服务器请求检测。
服务服务器对检测出的区域进行聚类以彼此区分非识别选手，并生成按非识别选手的簇(unidentified player-specific clusters)。服务服务器可以基于非指导式学习方法对区域进行聚类。例如，服务服务器可以利用以K-均值聚类(K-means clustering)技术为代表的群集分析(cluster analysis)技术来对区域进行聚类。所生成的簇可以包括指示属于相应簇的区域的信息(例如，区域的索引等)。
可以通过从用户接收参与比赛的选手的数量来设置用于聚类的K参数。或者，将根据体育比赛可同时参与的选手的数量(例如，篮球的情况下，每队5名，共10名)设置为K参数的初始值，调节K参数的值的同时反复地(iteratively)执行聚类，从而也可以在相应的体育视频中估计参与体育比赛的选手的数量。考虑到替补成员，参与体育比赛的选手的数量可以大于可同时参与的选手的数量。以下将详细说明，根据实施例，服务服务器可以利用分层群集化技术作为簇分析技术。
服务服务器可以为了聚类而提取区域的特征。根据一实施例，服务服务器可以从个别区域提取外形特征。外形特征可以以多样的方式定义。例如，外形特征是多维矢量，并且可以在每个维度中包括与体型、身高、肤色、发型、面部、运动服、背部号码、鞋、护具和/或配件等相关的信息。或者，服务服务器可以从区域的序列中提取运动特征。可以以多样的方式定义运动特征。作为一示例，运动特征可以是多维矢量，可以包括从非识别选手的姿势提取的信息或从非识别选手的运动提取的信息等。
服务服务器可以基于外形特征或运动特征，对区域进行聚类。例如，服务服务器可以将外形特征彼此相似的区域分类为相同的簇，将外形特征彼此不同的区域分类为不同的簇。或者，服务服务器可以将运动特征彼此相似的区域分类为相同的簇，将运动特征彼此不同的区域分类为不同的簇。根据实施例，服务服务器可以基于外形特征和运动特征的组合而对区域及进行聚类。例如，参照图3，服务服务器可以将外形特征和运动特征的组合彼此相似的区域分类为相同的簇，将外形特征和运动特征的组合彼此不同的区域分类为不同的簇。为了便于说明，图3中仅示出了三个簇，但如上所述，可以生成与体育视频中包括的非识别选手的数量对应的数量的簇。并且，在图3中，外形特征和运动特征分别以单维度示出，但是如上所述，外形特征或运动特征可以包括多维信息。
根据实施例，可以从单个帧的区域中提取外形特征，并且可以从多个帧的区域序列中提取运动特征。在此情况下，可能需要区域与区域序列之间的同步操作。作为一示例，在特定帧中检测到的区域的外形特征可以与在先前帧和后续帧中检测到的区域的外形特征一起被统计处理(平均等)。先前帧和后续帧的范围可以对应于用于提取运动特征的区域序列的帧范围。
服务服务器基于所生成的簇从体育视频中提取按非识别选手的视频片段(unidentified player-specific video clips)(230)。服务服务器可以对应于各个簇而获取包括于相应簇的区域的帧索引及各个帧内的区域的位置和大小等。服务服务器可以通过从体育视频中提取与个别簇相应的帧索引的帧来生成用于相应簇的视频片段。
根据一实施例，服务服务器可以向视频片段赋予视觉效果。服务服务器可以基于帧内区域的位置和大小而截断从体育视频中提取的帧。或者，服务服务器可以基于帧内区域的位置和大小而赋予在相应帧中强调相应区域的视觉效果。或者，服务服务器可以以字幕等形式添加与簇相关的信息或与区域相关的信息。
服务服务器将提取的视频片段按非识别选手提供给用户。服务服务器可以通过网络界面和/或应用程序界面向用户提供视频片段。根据实施例，服务服务器可以通过社交网络服务和/或即时通讯服务向用户提供视频片段。
图4是说明根据一实施例的基于体育视频的平台服务的图。参照图4，体育视频可以包括多个帧...、k、k+1、...、l、l+1、...、m、m+1、...。服务服务器可从多个帧中检测出多个非识别选手的区域401至416。
服务服务器可以利用非指导式学习技术来对区域401至416进行聚类。例如，服务服务器可以将区域401、区域403、区域413和区域416分类为第一簇C1，将区域405、区域408、区域411和区域414分类为第二簇C2，将区域402、区域404、区域406和区域409分类为第三簇C3，并且将区域407、区域410、区域412和区域415分类为第四簇C4。
服务服务器可以基于第一簇至第四簇，从体育视频中提取按非识别选手的视频片段。例如，服务服务器可以提取对应于第一簇的帧k、k+1、m、m+1，生成用于第一非识别选手的视频片段。并且，服务服务器可以提取对应于第二簇的帧l、l+1、m、m+1，生成用于第二非识别选手的视频片段。服务服务器可以提取对应于第三簇的帧k、k+1、l、l+1，生成用于第三非识别选手的视频片段。服务服务器可以提取对应于第四簇的帧l、l+1、m、m+1，生成用于第四非识别选手的视频片段。
服务服务器将按非识别选手生成的视频片段提供给用户，从而可以按视频片段接收识别信息。例如，服务服务器可以对应于第一簇而接收球队A的第一选手的识别信息，对应于第二簇而接收球队A的第二选手的识别信息，对应于第三簇而接收球队B的第一选手的识别信息，并且对应于第四簇而接收球队B的第二选手的识别信息。
服务服务器可以收集从多个用户接收的识别信息。例如，服务器可以从第一用户接收识别第一簇中视频片段的输入，并且从第二用户接收识别第二簇的视频片段的输入。或者，服务服务器可以接收来自多个用户的识别同一簇的视频片段的信息，并采用可靠度最高的识别信息。例如，服务服务器可以接收来自多个用户的同一簇的视频片段的彼此不同的识别信息。在此情况下，服务服务器可以采用由最多用户输入的识别信息。或者，服务服务器可以采用由可靠度最高的用户输入的识别信息。或者，服务服务器可以基于用户的可靠度，对由该用户输入的识别信息赋予分数，并选择具有最高分数的识别信息。用户的可靠度可以基于相应用户使用现有的基于体育视频的平台服务的历史或相应用户的本人认证等级等来确定。
图5是说明根据一实施例的基于体育视频的平台服务的图。服务服务器可以按运动类型执行聚类。为此，服务服务器可以将从体育视频中检测出的非识别选手的区域按预定的运动类型进行分类，并对按运动类型的区域(motion type-specific regions)进行聚类。或者，服务服务器可以利用分层群集化技术对区域进行分层聚类。
在体育比赛中出现的按运动类型的运动特征可以共同地包括在非识别选手中。例如，第一非识别选手的扣篮运动和第二非识别选手的扣篮运动可以共同地包括用于扣篮的运动特征。并且，第一非识别选手的跳跃投篮运动和第二非识别选手的跳跃投篮运动可以共同地包括跳跃投篮运动的运动特征。参照图6，第一非识别选手的扣篮运动可以用运动矢量610表示，第一非识别球手的跳跃投篮运动可以用运动矢量620表示，第二非识别选手的扣篮运动可以用运动矢量630表示，第二非识别选手的跳跃投篮运动可以用运动矢量640表示。
在图6的实施例中，运动矢量610与运动矢量620之间的距离可以大于运动矢量610与运动矢量630之间的距离，并且运动矢量640与运动矢量630之间的距离可以大于运动矢量640与运动矢量620之间的距离。在此情况下，无法按非识别选手进行聚类，可以按运动类型进行聚类。
根据一实施例，服务服务器可以对区域的运动类型进行分类，然后在与相同的运动类型相对应的区域之间执行聚类。在此情况下，区域可以被分类为与扣篮运动相对应的第一簇650和与跳跃投篮运动相对应的第二簇660。根据实施例，也可以同时执行区域检测和运动类型分类。例如，可以利用被学习为从体育视频中检测出非识别选手的同时对相应区域的运动类型进行分类(classify)的检测模块。当然，根据实施例，区域检测和运动类型分类也可以由单独的模块(或神经网络)执行。区域按运动类型分类之后，服务服务器可以对按运动类型的区域(motion type-specific regions)进行聚类，以便按运动类型彼此区分非识别选手。
根据一实施例，服务服务器可以利用分层群集化技术，首先执行一次聚类后，在各簇内执行二次聚类。在此情况下，通过一次聚类生成第一簇650和第二簇660，通过二次聚类在第一簇650内区分第一非识别选手和第二非识别选手，在第二簇660内区分第一非识别选手和第二非识别选手。用于一次聚类的K1可以对应于相应体育比赛中允许的运动类型的数量，用于二次聚类的K2可以对应于参与相应运动比赛的选手的数量。
参照图7，示出了根据运动类型、运动特征和外形特征对区域进行聚类而生成子簇的实施例。再次参照图6，以下将详细说明，第一簇650内对应于第一非识别选手的子簇和第二簇660内对应于第一非识别选手的子簇可以基于跟踪信息、外形信息或它们的组合而彼此匹配。当然，第一簇650内对应于第二非识别选手的子簇和第二簇660内对应于第二非识别选手的子簇也可以基于跟踪信息、外形信息或它们的组合而彼此匹配。
参照图5，服务服务器可以按运动类型对区域501至516进行分类。例如，区域501和区域511可以被分类为带球运动，区域503、区域510和区域514可以被分类为投篮运动，区域504可以被分类为阻挡运动，区域506可以被分类为传球运动，并且区域513和区域516可以被分类为掩护运动。
服务服务器可以对按运动类型的区域进行聚类，以便按运动类型彼此区分非识别选手。例如，服务服务器可以将被分类为带球运动的区域501和区域511聚类为彼此不同的子簇DR1、DR2。服务服务器可以将被分类为投篮运动的区域503、区域510和区域514聚类为彼此不同的子簇SH1、SH2、SH3。服务服务器可以将被分类为掩护运动的区域513和区域516聚类为相同的子簇SC1。
服务服务器可以利用区域的跟踪信息对彼此不同的运动类型的子簇进行匹配。例如，服务服务器可以基于区域501和区域503为彼此连续的区域的跟踪信息，将DR1和SH1进行匹配而分类为相同的簇C1。服务服务器可以基于区域511和区域514为彼此连续的区域的跟踪信息，将DR2和SH3进行匹配而分类为相同的簇C2。
服务服务器可以利用区域的外形信息匹配彼此不同的运动类型的子簇。例如，根据区域514的外形特征与区域506的外形特征相似的判断，服务服务器可以将BR1和PA1分类为相同的簇C3。服务服务器可以根据区域513的外形特征与区域502或区域503的外形特征相似的判断，将SC1分类为簇C1。
在图5的实施例中，说明了按运动类型对区域进行分类之后对区域进行聚类的示例，但是如上所述，在利用分层群集化技术的情况下也可以以实质上相同的方式进行操作。并且，尽管已经说明了为了匹配子簇而应用跟踪信息之后应用外形信息的示例，但是可以对应用跟踪信息和外形信息的顺序或方法进行多样的变形。
根据一实施例，服务服务器可以利用根据预定的运动类型的子簇来生成视频片段。例如，服务服务器可以仅利用对应于进攻运动的运动类型的子簇来生成视频片段。进而，服务服务器可以仅利用对应于进攻运动中的得分成功的场景的区域序列来生成视频片段。
图8是说明根据一实施例的通用模型及专用模型的图。参照图8，通用模型可以包括从体育视频通用地检测出非识别选手的检测器及通用地分类检测出的区域的运动类型的分类器。通用模型可以包括独立于非识别选手的数据而学习的检测器或分类器。
专用模型可以利用根据基于体育视频的平台服务而设置识别信息的数据库，专门化到特定选手、特定组或特定球队，可以包括检测选手的检测器、对运动类型进行分类的分类器、识别选手的识别器、或者检测功能、分类功能和/或识别功能以多样的方式组合的混合模块。通用模型和专用模型可以是基于人工神经网络的模型。在此情况下，数据库可以包括依赖于设置识别信息的选手的数据的训练数据。
专用模型可以是针对特定组新学习的模型，并且可以是根据实施例基于通用模型而以适合于特定组的方式附加地学习的模型。例如，可以通过附加地学习通用模型来生成专用模型，使得通用模型根据国籍、年龄段、性别等而专门化到特定组而表现出更高的性能。
服务服务器可以利用专用模型从新接收的体育视频中自动地设置按非识别选手的簇的识别信息。体育视频可以是直播流传输视频，在此情况下，服务服务器可以基于专用模型实时生成表示从体育视频自动识别的选手的贡献度的统计。表示选手的贡献度的统计不仅可以包括正在进行篮球比赛中的两队的分数，还可以包括个别选手的得分成功次数、得分尝试次数、比赛时间中的球队得失、总得分数、进攻篮板球次数、防守篮板球次数、助攻次数、抢断次数、阻挡次数、被阻挡次数、犯规次数、失误次数等细部记录。
图9是说明根据一实施例的与表示篮球比赛的按选手的贡献度的统计联动而提供的视频片段的图。参照图9，服务服务器可以根据从篮球视频中检测出的区域的识别信息和区域的运动类型而生成统计性地表示按选手的比赛贡献度的技术统计(box score)。
服务服务器可以根据区域的运动类型来确定是否追加分析体育视频。例如，服务服务器可以根据运动类型是投篮运动的判断来追加分析投篮是否成功。服务服务器可以在投篮运动的帧之后确认球是否通过边缘。服务服务器可以在投篮运动之后的帧中检测与边缘相应的区域，并可以判断在检测出的区域中球是否通过。
服务服务器在提供技术统计的同时，可以响应于技术统计内的细部记录的选择而提供包括被选择的细部记录的场面的视频片段。例如，技术统计内的FG可以由“得分成功次数”-“得分尝试次数”表示，如“08-14”。在用户选择对应于“得分成功次数”的08的情况下，服务服务器可以生成包括相应选手在相应比赛中成功得分的场景的视频片段并提供给用户。
更具体而言，技术统计的细部记录可以将相应区域(或子簇)存储为诸如链表等的数据结构。服务服务器可以根据链表而获取相关的区域，并基于存储于各区域的信息(帧索引、窗口位置、窗口大小等)而从篮球视频提取视频片段。如上所述，服务服务器可以对视频片段赋予视觉效果。
图10是说明根据一实施例的反映用户对视频片段的反馈的功能的图。参照图10，服务服务器可以接收用户对视频片段的反馈。例如，服务服务器可以从用户接收包括在视频片段的簇中的至少一个区域的非识别选手不属于相应簇的反馈输入1010。服务服务器可以从相应的簇中排除或移除相应的区域，或者进一步从相应的簇中排除或移除包括相应的区域的子簇1015。在此情况下，根据实施例，服务服务器可以将排除的区域或子簇临时存储于未分类的池(pool)。服务服务器可以向用户提供临时存储在未分类池中的子簇的视频片段，并询问相应子簇属于哪个簇。
或者，服务服务器可以从用户接收包括在视频片段的簇中的至少一个区域的非识别选手属于另一簇的反馈输入1020。服务服务器可以从相应的簇中排除或移除相应的区域或包括相应的区域的子簇1025。服务服务器可以将排除的区域或子簇包括在由用户指定的另一簇中。
虽然未图示，但服务服务器可以根据服务的准确度(或可靠度)而区别性地确定收费水平。例如，服务服务器可以以每场比赛的服务费用(例如，1美元)为基准，根据检测准确度、分类准确度或它们的组合而对服务费用进行折扣。检测准确度和/或分类准确度可以称为簇的准确度。
并且，服务服务器可以根据用户的反馈输入确定补偿水平。例如，服务服务器可以根据簇的准确度(或可靠度)基于用户的反馈输入而提高的程度，或者根据专用模型的性能基于用户的反馈输入而提高的程度而向相应用户累积可以在下一次服务中使用的积分。
图11是说明根据一实施例的搜索功能的图。服务服务器可以建立用于搜索体育视频的数据库。服务服务器可以从用户终端接收搜索查询。搜索查询可以包括搜索对象选手和搜索对象场景。服务服务器可以从数据库中搜索与搜索查询对应的体育视频的URL及相应的体育视频内的时间区间。
服务服务器向流传输服务器提供用于提取视频片段的信息，从而能够从流传输服务器直接向用户传送视频片段。服务服务器可向用户终端提供包括体育视频的URL及时间区间的搜索结果。用户终端可以基于搜索结果向流传输服务器或存储服务器请求体育视频的相应时间区间的图像。
虽然未图示，但根据实施例，服务服务器可以基于包括搜索到的子簇(或区间序列)的簇的{体育视频的访问信息}而从流传输服务器或存储服务器提取视频片段。服务服务器可以将视频片段提供给用户。服务服务器可以缓存已生成的视频片段。服务服务器可以在数据库中存储视频片段的缓存与否。当作为查询处理的结果，判断为提供缓存的视频片段即可的情况下，服务服务器可以省略提取(或生成)视频片段的操作，并直接将缓存的视频片段提供给用户。
根据一实施例，外形特征或运动特征可以根据拍摄体育视频的相机的视点而不同地提取。在此，相机的视点(viewpoint)可以具有作为相机的3D位置和相机的3D方位的六个自由度(DOF：Degree of Freedom)的值。
服务服务器可以利用对摄像机的视点变化具有鲁棒性的外形特征或运动特征。例如，服务服务器可以以使包括在多维外形矢量的信息不依赖于相机的视点而独立的方式对外形特征(appearance feature)进行编码。独立于相机视点的外形特征可以包括发型、皮肤风格(或皮肤类型)和/或纹身风格等的选手自身的风格特征、球衣风格、篮球鞋风格和/或其他装饰品风格等的选手穿戴的物体的风格特征和/或基于基准对象而标准化的选手的身高或体格等的选手的物理(physical)特征。
选手自身的风格特征和选手穿戴的物体的特征可以以独立于相机的视点的形态定义。基准对象是包括在相应的体育比赛中标准化的外形的对象，例如，可以包括在球门柱或竞技场绘制的线条。可以以在体育视频中拍摄的基准对象的大小为基准来对选手的身高或体格等的物理特征进行标准化。由于基准对象的大小在相应的体育比赛中被标准化，因此以基准对象为基准标准化的物理特征可以独立而不依赖于相机的视点。
并且，服务服务器可以以使包括在多维运动矢量的信息独立而不依赖于相机的视点的方式对运动特征(motion feature)进行编码。独立于相机视点的运动特征可以包括以基准对象为基准标准化的运动(例如，方向、大小、速度等)或姿势。在选手的关节可识别的情况下，运动特征可以包括按主要关节标准化的运动或姿势。在此，可以按运动类型来定义用于运动特征的主要关节。
根据一实施例，可以在体育场的一部分被裁剪的情况下拍摄体育视频。服务服务器可以利用区域序列来估计选手在未被拍摄而被裁剪的空间中的运动。例如，在未感测到投篮运动的状态下感测到球通过边缘或球击中边缘的事件时，服务服务器可以估计在未被拍摄而被裁剪的空间中发生了投篮运动。进而，服务服务器可以从与相应帧相邻的先前帧找到未拍摄而移动到被裁剪的空间的选手，并可以估计投篮运动由相应选手发生。
根据一实施例，服务服务器可以追加利用裁判的运动、裁判的哨声或分数系统的蜂鸣声等来分析体育视频。例如，服务服务器可以利用裁判的运动来区分是2分投篮还是3分投篮。或者，服务服务器可以利用哨声或蜂鸣声等来判断在相应时间点是否中止比赛进行。
根据一实施例，服务服务器可以识别根据运动类型的关联情况。例如，服务服务器可以与投篮运动之前的传球运动相关联地识别助攻情况。或者，服务服务器可以与投篮运动之后的阻挡运动相关联地识别阻挡情况。在阻挡状况的情况下，也可以一起考虑投篮运动之后的球的行进方向来进行识别。
图12是说明根据一实施例的生成跟踪簇的操作的图。参照图12，用户可以将体育视频上载到流传输服务器1210。用户可以将流传输服务器的链接提供给服务服务器。如上所述，除了流传输服务器1210之外，体育视频也可以上载到存储服务器，或者也可以直接上载到服务服务器。
服务服务器可以利用相应链接访问流式传输服务器1210来接收体育视频。根据实施例，服务服务器可以在流接收体育视频的同时进行处理，或者也可以在下载体育视频之后进行处理。
服务服务器的预处理模块1220可以对体育视频进行预处理。例如，服务服务器可从体育视频中提取除休息时间之外的比赛时间的图像。在体育比赛由第四节组成的情况下，服务服务器可以提取第一节至第四节的比赛图像。并且，服务服务器可以从比赛图像中提取除比赛非进行图像之外的比赛进行图像。例如，即使在一节内，比赛也会因犯规或暂停时间等而中断。服务服务器除了比赛中断的比赛非进行图像之外，可以提取比赛进行中的比赛进行图像。比赛进行图像可根据体育比赛的规则进行细分。例如，在篮球比赛的情况下，可以向被犯规的选手给予罚球，而在足球比赛的情况下，可以给予任意球。服务服务器可以根据相应的体育比赛的规则而提取罚球图像或任意球图像。
服务服务器可以以提取体育视频内的帧区间或时间区间的方式提取图像。体育视频的预处理可以以自动处理的自动模式、自动处理后接收用户反馈的半自动模式或接收用户输入的手动模式进行操作。例如，服务服务器可以从用户接收第一节至第四节的开始时间及结束时间。或者，服务服务器可以通过视频分析自动提取第一节至第四节的开始场景候选和结束场景候选，并从用户接收对各个节的实际开始场景和实际结束场景的选择。并且，服务服务器可以通过分析裁判的哨声或裁判的运动来识别因犯规导致的比赛中断情况。当然，服务服务器可以通过视频分析来识别比赛中断情况。例如，比赛进行中选手的运动量和比赛中断情况下选手的运动量可能存在差异。服务服务器通过视频分析获取选手的运动量，从而可以识别比赛中断情况。
服务服务器可以在经预处理的视频中检测并跟踪非识别选手(1230)。服务服务器可以从体育视频追踪对应于非识别选手的区域并生成跟踪簇i0、i1、j0、k0。体育视频包括多个帧，跟踪簇可以包括包含在多个帧中的至少一部分连续的帧中的相同的非识别选手的区域。
服务服务器可以向跟踪簇i0、i1、j0、k0赋予固有的标识符。例如，服务服务器可以通过开始帧和固有编号的组合向跟踪簇赋予标识符。如果存在从第i帧开始的跟踪簇，则可以赋予i0的标识符。如果存在从第i帧开始的另一跟踪簇，则可以赋予i1的标识符。与此相同地，从第j帧开始的跟踪簇可以被赋予j0的标识符，并且从第k帧开始的跟踪簇可以被赋予k0的标识符。
并且，服务服务器可以在标识符中添加指示跟踪簇的结束帧或跟踪簇的帧数的信息。以下将说明，当执行跟踪簇之间的匹配时，若只要一部分帧重叠，则可以省略匹配。服务服务器可以利用添加到标识符的结束帧或帧数来容易地判断跟踪簇是否彼此重叠。
在以流传输方式处理体育视频的情况下，服务服务器还可以在标识符中添加指示跟踪簇在当前帧中是否仍然有效的信息。
在对体育视频中的非识别选手进行跟踪的过程中，由于各种因素，非识别选手的跟踪可能会中断。例如，根据相机的视点，可能会发生非识别选手之间彼此重叠的情况。或者，可能会发生非识别选手脱离相机视点的情况。或者，在拍摄体育视频的过程中，可能会发生画面的一部分或全部因障碍物而被遮挡的情况。或者，由于其他技术原因，跟踪模块可能会丢失对非识别选手的跟踪。在此情况下，可以生成直到跟踪丢失之前的第一跟踪簇，并且可以生成在跟踪丢失之后新跟踪的第二跟踪簇。以下，在图13中说明通过匹配而合并对应于相同的非识别选手而分离生成的跟踪簇的实施例。
图13是说明根据一实施例的匹配跟踪簇的操作的图。参照图13，服务服务器可以按跟踪簇对运动类型进行分类(1310)并提取特征(1320)。服务服务器可以提取包括在跟踪簇中的非识别选手的外形特征。如上所述，外形特征可以包括独立于相机的视点的多维特征矢量。
服务服务器可以基于预定的运动类型对包括在跟踪簇中的至少一部分区间的运动类型进行分类。例如，服务服务器可以检测包括在跟踪簇中的多个区域中与预定的运动类型中的一个相对应的至少一部分连续的区域。作为一示例，参照跟踪簇i0，服务服务器可以检测带球区间和传球区间。服务服务器可以利用依次(sequentially)接收包括在跟踪簇中的连续场景并输出预定的运动类型中的至少一个的神经网络模型。服务服务器可以基于运动类型提取包括在跟踪簇内的相应区间的非识别选手的运动特征。如上所述，运动特征可以包括独立于相机的视点的多维特征矢量。
在检测到投篮区间的情况下，服务服务器可以单独标记相应非识别选手试图投篮的球场上的位置。以下将说明，服务服务器可以感测得分事件，并追加标记非识别选手的投篮尝试是否成功。
根据实施例，服务服务器从包括在跟踪簇中的多个区域中提取对应于拥有球的状态的区域，并可以从提取的区域中检测对应于预定的运动类型中的一个的至少一部分连续的区域。
在图13的实施例中，服务服务器可以从跟踪簇i0中提取外形特征af_i0。服务服务器可以从包括在跟踪簇i0中的带球区间中提取运动特征mf_i0_dribble，并从传球区间中提取运动特征mf_i0_pass。以实质上相同的方式，服务服务器可以从跟踪簇i1中提取外形特征af_i1，并提取运动特征mf_i1_shoot。并且，服务服务器可以从跟踪簇j0中提取外形特征af_j0和运动特征mf_j0_shoot，并从跟踪簇k0中提取外形特征af_k0和运动特征mf_k0_block。
服务服务器可以基于外形特征和运动特征中的至少一个来匹配跟踪簇(1330)。服务服务器可以对具有部分重叠的帧区间的跟踪簇不进行匹配。这是因为即使是部分帧区间重叠的彼此不同的跟踪簇也可以视为彼此不同的非识别选手。据此，服务服务器可以省略跟踪簇i0与跟踪簇i1之间的匹配。服务服务器匹配跟踪簇i0的外形特征和跟踪簇j0的外形特征后，可以判断为匹配失败(Failure)。服务服务器在匹配跟踪簇i0的外形特征和跟踪簇k0的外形特征后，可以判断为匹配成功(Success)。在匹配成功的情况下，服务服务器可以合并跟踪簇i0和跟踪簇k0。在此，合并可以理解为将跟踪簇i0和跟踪簇k0包括在用于相同的非识别选手的按非识别选手的簇中的操作。
并且，服务服务器可以在帧区间彼此不重叠的跟踪簇之间匹配相同运动类型的运动特征。例如，服务服务器对从跟踪簇i1的投篮区间提取的mf_i1_shoot与从跟踪簇j0的投篮区间提取的mf_j0_shoot进行匹配后，可以判断为匹配失败(Failure)。
服务服务器可以通过前述的匹配操作而生成按非识别选手的簇。在以上的实施例中，“簇”是指按非识别选手的簇，可以理解为与“跟踪簇”相区别的概念。服务服务器可以基于簇而生成按非识别选手的视频片段(1340)。在生成按非识别选手的簇之后的操作中，可以直接应用通过图1至图11所述的事项，因此省略更详细的说明。
图14是说明根据一实施例的感测得分事件(scoring event)的操作的图。参照图14，服务服务器可以在体育视频中感测球通过球门柱的得分事件。在篮球比赛的情况下，可以感测球是否通过球门柱的边缘(rim)。服务服务器在体育视频中检测球门柱区域或球门柱的边缘区域，随着帧的进行，可以判断在检测出的区域中是否感测到球通过的得分事件。
在感测到得分事件的情况下，服务服务器可以基于相应帧而识别跟踪簇中与相应事件相关的跟踪簇。例如，服务服务器可以在跟踪簇中识别出包括在相应帧和先前帧中与相应事件相关的运动类型的区间的跟踪簇。在感测到得分事件的情况下，服务服务器可以识别包括投篮区间的跟踪簇。服务服务器可以识别出在得分事件的先前帧中包括最近的投篮区间的跟踪簇。服务服务器可以标记在相应投篮区间中试图的投篮成功的信息。
根据一实施例，在按非识别选手生成视频片段时，服务服务器可以在选择性地获取与得分事件相关的子簇之后，基于与得分事件相关的子簇从体育视频中提取视频片段。
以上说明的实施例可以由硬件构成要素、软件构成要素和/或硬件构成要素及软件构成要素的组合的处理装置来实现。例如，在实施例中说明的装置、方法及构成要素可以利用一个以上的通用计算机或专用计算机(例如，如处理器、控制器、算术逻辑单元(ALU：arithmetic logic unit)、数字信号处理器(digital signal processor)、微型计算机、现场可编程门阵列(FPGA：field programmable gate array)、可编程逻辑单元(PLU：programmable logic unit)、微处理器或可执行指令(instruction)并响应的其他任何装置)来实现。处理装置可以执行操作系统(OS)及在所述操作系统上执行的一个以上的软件应用程序。并且，处理装置可以响应于软件的执行来访问、存储、操作、处理及生成数据。为了便于理解，虽然存在使用一个处理装置的情况，但本技术领域的普通技术人员可知处理装置可以包括多个处理要素(processing element)和/或多个类型的处理要素。例如，处理装置可以包括多个处理器或一个处理器和一个控制器。并且，也可以是如并行处理器(parallel processor)之类的其他处理构成(processing configuration)。
软件可以包括计算机程序(computer program)、代码(code)、指令(instruction)或它们中的一个以上的组合，可以以所期望的方式操作的方式构成处理装置，或者可以独立地或结合地(collectively)命令处理装置。为了通过处理装置进行解析或向处理装置提供指令或数据，软件和/或数据可以在某种类型的机器、构成要素(component)、物理装置、虚拟装置(virtual equipment)、计算机存储介质或装置、或所传输的信号波(signalwave)中永久地或临时地具体化(embody)。软件分散在通过网络连接的计算机系统上，从而也可以以分散的方法存储或执行。软件及数据可以存储于一个以上的计算机可读记录介质。
根据实施例的方法可以通过多种计算机单元以可执行的程序命令形态实现并记录在计算机可读介质中。所述计算机可读介质可以单独地或组合地包括程序命令、数据文件、数据结构等。记录在介质中的程序命令可以是为实施例专门设计和构成的程序命令，或者可以是计算机软件领域的技术人员公知和可用的程序命令。计算机可读记录介质的示例包括诸如硬盘、软盘和磁带之类的磁介质(magnetic media)、诸如CD-ROM、DVD之类的光学介质(optical media)、诸如软光盘(floptical disk)之类的磁光介质(magneto-opticalmedia)以及专门构成为存储并执行程序命令的诸如ROM、RAM和闪存等的硬件装置。程序命令的示例不仅包括由编译器生成的机器语言代码，而且包括可由计算机使用解释器执行的高级语言代码。所述硬件装置为了执行实施例的操作，可以构成为作为一个以上的软件模块进行操作，反之亦然。
如上所述，虽然通过限定的附图对实施例进行了说明，但只要是本发明所属技术领域的普通技术人员，就能够以上述内容为基础应用多种技术修改及变形。例如，即使所说明的技术以与所说明的方法不同的顺序执行，和/或所说明的系统、结构、装置、电路等的构成要素以与所说明的方法不同的形态结合或组合，或者被其他构成要素或等同物代替或置换，也可以实现适当的结果。

Claims (15)

1.一种视频分析服务器的操作方法，包括如下步骤：
接收包括球类项目的体育视频的链接的分析请求信号；
执行对包括在所述体育视频的多个帧中的静态像素进行滤除来留下动态像素的预处理；
基于所述经预处理的视频而跟踪所述体育视频的球；
从所述经预处理的视频中检测出所述体育视频的得分相关场景；
响应于所述得分相关场景的检测，利用所述球的跟踪结果来确定与所述得分相关场景相关的非识别选手；
跟踪所述非识别选手直到能够识别所述非识别选手的相邻帧，从而识别所述非识别选手；以及
对应于所述得分相关场景，输出所述体育视频的时间区间及所述非识别选手的识别信息。
2.根据权利要求1所述的视频分析服务器的操作方法，其中，
跟踪所述球的步骤包括如下步骤：
对应于所述帧中的每一个，基于相应帧的动态像素来检测球。
3.根据权利要求1所述的视频分析服务器的操作方法，其中，
检测所述得分相关场景的步骤包括如下步骤：
对应于所述帧中的每一个，基于相应帧的动态像素来检测边缘；以及
将与检测出所述边缘的帧相邻的帧确定为所述得分相关场景。
4.根据权利要求1所述的视频分析服务器的操作方法，其中，
确定与所述得分相关场景相关的非识别选手的步骤包括如下步骤：
利用所述球的跟踪结果，在包括于所述得分相关场景的帧中检测与试图得分的选手相关的动态像素；以及
通过对检测出与所述试图得分的选手相关的动态像素的帧进行实例分割，确定与所述得分相关场景相关的非识别选手。
5.根据权利要求1所述的视频分析服务器的操作方法，其中，
识别所述非识别选手的步骤包括如下步骤：
从所述确定的非识别选手提取特征；
将所述提取的特征与已注册的选手的特征进行比较；
基于所述比较的结果，判断所述非识别选手是否能够识别；以及
根据无法识别所述非识别选手的判断，通过对相邻帧进行实例分割来跟踪所述非识别选手。
6.根据权利要求1所述的视频分析服务器的操作方法，其中，
执行所述预处理的步骤包括如下步骤：
在所述体育视频为以固定视点拍摄的视频的情况下，基于预定范围的相邻帧之间的像素值的变化来滤除静态像素；以及
在所述体育视频为以移动视点拍摄的视频的情况下，基于帧内像素的光流的统计值来滤除静态像素。
7.一种计算机可读记录介质，记录有用于执行权利要求1所述的方法的程序。
8.一种提供基于体育视频的平台服务的服务器的操作方法，包括如下步骤：
基于体育视频的链接，向视频分析模块传输请求分析所述体育视频的信号；
将从所述视频分析模块接收的按选手的簇存储在数据库中；
基于所述数据库，向用户终端提供用于从所述体育视频中提取按选手的视频片段的信息；
从所述用户终端接收用于识别至少一个簇的非识别选手的输入，其中，所述用户终端从流传输服务器按所述选手接收所述视频片段；以及
基于所述输入，在所述数据库中更新至少一个相应的簇的识别信息。
9.根据权利要求8所述的提供基于体育视频的平台服务的服务器的操作方法，还包括如下步骤：
向所述用户终端提供表示选手的贡献度的统计；
从所述用户终端接收选择包括在所述统计中的细部记录的输入；
基于所述数据库获取与所述选择的细部记录相关的至少一个子簇；以及
基于所述至少一个子簇，向所述用户终端提供用于从所述体育视频中提取视频片段的信息。
10.根据权利要求8所述的提供基于体育视频的平台服务的服务器的操作方法，还包括如下步骤：
从所述用户终端接收包括搜索对象选手和所述搜索对象的场景的搜索查询；
从所述数据库中搜索与所述搜索查询对应的子簇；以及
基于所述搜索到的子簇，向所述用户终端提供用于从所述体育视频中提取视频片段的信息。
11.根据权利要求8所述的提供基于体育视频的平台服务的服务器的操作方法，还包括如下步骤中的至少一个：
基于所述簇的可靠度来确定计费水平；以及
基于修改所述簇的反馈输入来确定补偿水平。
12.根据权利要求8所述的提供基于体育视频的平台服务的服务器的操作方法，还包括如下步骤：
从所述用户终端接收指示包括在所述至少一个簇中的至少一个区间的选手不属于相应簇的反馈输入；以及
基于所述反馈输入，从相应簇中排除相应区间。
13.根据权利要求8所述的提供基于体育视频的平台服务的服务器的操作方法，还包括如下步骤：
从所述用户终端接收指示包括在所述至少一个簇中的至少一个区间的选手属于另一簇的反馈输入；以及
基于所述反馈输入，从相应簇中排除相应区间并将所述区间包括在所述另一簇中。
14.根据权利要求8所述的提供基于体育视频的平台服务的服务器的操作方法，还包括如下步骤：
生成依赖于所述更新的数据库的训练数据；以及
基于所述训练数据，学习估计选手的检测信息、识别信息和运动类型信息中的至少一个的专用模型。
15.一种计算机可读记录介质，记录有用于执行权利要求8所述的方法的程序。
CN202180014460.8A 2020-02-15 2021-01-30 提供基于体育视频的平台服务的服务器的操作方法 Pending CN115104137A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20200018665 2020-02-15
KR10-2020-0018665 2020-02-15
KR10-2020-0031651 2020-03-14
KR20200031651 2020-03-14
PCT/KR2021/001263 WO2021162305A1 (ko) 2020-02-15 2021-01-30 스포츠 동영상 기반 플랫폼 서비스를 제공하는 서버의 동작 방법

Publications (1)

Publication Number Publication Date
CN115104137A true CN115104137A (zh) 2022-09-23

Family

ID=77292715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180014460.8A Pending CN115104137A (zh) 2020-02-15 2021-01-30 提供基于体育视频的平台服务的服务器的操作方法

Country Status (4)

Country Link
US (2) US11810352B2 (zh)
KR (2) KR102427358B1 (zh)
CN (1) CN115104137A (zh)
WO (1) WO2021162305A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114827478B (zh) * 2022-01-05 2022-09-16 深眸科技(北京)有限公司 一种自动跟踪拍摄体育比赛的智能系统及其控制方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5363297A (en) * 1992-06-05 1994-11-08 Larson Noble G Automated camera-based tracking system for sports contests
US20150297949A1 (en) * 2007-06-12 2015-10-22 Intheplay, Inc. Automatic sports broadcasting system
KR20000064088A (ko) * 2000-08-21 2000-11-06 주진용 스포츠 영상 분석 방송 시스템 및 방법
KR100474848B1 (ko) * 2002-07-19 2005-03-10 삼성전자주식회사 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법
KR20040054960A (ko) 2002-12-20 2004-06-26 현대자동차주식회사 테일게이트 도어의 길이 조절형 가스리프트 장치
CA2563478A1 (en) * 2004-04-16 2005-10-27 James A. Aman Automatic event videoing, tracking and content generation system
US20070060380A1 (en) * 2005-02-11 2007-03-15 The Score Line Channel, Llc Fantasy sports television programming systems and methods
KR100785076B1 (ko) * 2006-06-15 2007-12-12 삼성전자주식회사 스포츠 동영상에서의 실시간 이벤트 검출 방법 및 그 장치
KR101918057B1 (ko) * 2011-11-30 2019-01-30 삼성전자주식회사 이미지의 깊이 정보를 복원하는 방법 및 장치
CN103959802B (zh) * 2012-08-10 2018-01-26 松下电器（美国）知识产权公司 影像提供方法、发送装置以及接收装置
US8948457B2 (en) 2013-04-03 2015-02-03 Pillar Vision, Inc. True space tracking of axisymmetric object flight using diameter measurement
KR101272645B1 (ko) * 2013-04-24 2013-06-10 (주)나인정보시스템 시공간 가우시안 혼합 배경모델을 이용한 영상내 물체 탐지 장치 및 방법
US9700781B2 (en) * 2015-06-26 2017-07-11 Lawrence Maxwell Monari Sports entertainment tracking system for mobile sports spectators
US11263461B2 (en) * 2015-10-05 2022-03-01 Pillar Vision, Inc. Systems and methods for monitoring objects at sporting events
JP6720587B2 (ja) * 2016-03-08 2020-07-08 富士通株式会社 映像処理装置、映像処理方法および映像処理プログラム
JP6922369B2 (ja) * 2017-04-14 2021-08-18 富士通株式会社 視点選択支援プログラム、視点選択支援方法及び視点選択支援装置
US10489656B2 (en) 2017-09-21 2019-11-26 NEX Team Inc. Methods and systems for ball game analytics with a mobile device
AU2017272325A1 (en) * 2017-12-08 2019-06-27 Canon Kabushiki Kaisha System and method of generating a composite frame
US11048977B1 (en) * 2018-09-27 2021-06-29 Apple Inc. Method and device for pixel-level object segmentation
US11157742B2 (en) * 2019-09-04 2021-10-26 NEX Team Inc. Methods and systems for multiplayer tagging for ball game analytics generation with a mobile computing device
US11113535B2 (en) * 2019-11-08 2021-09-07 Second Spectrum, Inc. Determining tactical relevance and similarity of video sequences

Also Published As

Publication number Publication date
US11810352B2 (en) 2023-11-07
US20230072888A1 (en) 2023-03-09
KR102427358B1 (ko) 2022-08-01
KR20210151232A (ko) 2021-12-13
KR20220112305A (ko) 2022-08-10
US20230377336A1 (en) 2023-11-23
WO2021162305A1 (ko) 2021-08-19

Similar Documents

Publication Publication Date Title
US11755952B2 (en) System and method for predictive sports analytics using body-pose information
US11544928B2 (en) Athlete style recognition system and method
Shih A survey of content-aware video analysis for sports
CN102819749B (zh) 一种基于视频分析的足球越位自动判别系统和方法
US11967086B2 (en) Player trajectory generation via multiple camera player tracking
Wu et al. A survey on video action recognition in sports: Datasets, methods and applications
CN111444890A (zh) 一种基于机器学习的体育数据分析系统和方法
CN107944431A (zh) 一种基于运动变化的智能识别方法
JP6488295B2 (ja) 映像処理方法、映像処理装置
JP2015070503A (ja) 情報処理装置、情報処理方法及びプログラム
US20230377336A1 (en) Method of operating server providing sports video-based platform service
Weeratunga et al. Application of computer vision and vector space model for tactical movement classification in badminton
US10803598B2 (en) Ball detection and tracking device, system and method
Akan et al. Use of deep learning in soccer videos analysis: survey
Markoski et al. Application of adaboost algorithm in basketball player detection
Liu et al. Detecting and matching related objects with one proposal multiple predictions
Choroś Highlights extraction in sports videos based on automatic posture and gesture recognition
KR102299459B1 (ko) 중계 영상을 활용한 야구 경기 분석 장치 및 방법과 요약 비디오 생성 방법
Hudovernik et al. Video-based detection of combat positions and automatic scoring in jiu-jitsu
Cheng et al. Automatic data volley: game data acquisition with temporal-spatial filters
Rashid et al. Footballer Detection on Position Based Classification Recognition using Deep Learning Approach
Choroś Improved video scene detection using player detection methods in temporally aggregated TV sports news
Ivankovic et al. Adaboost in basketball player identification
US11707663B1 (en) System for tracking, locating and predicting the position of a ball in a game of baseball or similar
Chen et al. Recognizing jump patterns with physics-based validation in human moving trajectory

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination