CN117132925A - 一种体育赛事的智能场记方法及装置 - Google Patents

一种体育赛事的智能场记方法及装置 Download PDF

Info

Publication number
CN117132925A
CN117132925A CN202311394653.8A CN202311394653A CN117132925A CN 117132925 A CN117132925 A CN 117132925A CN 202311394653 A CN202311394653 A CN 202311394653A CN 117132925 A CN117132925 A CN 117132925A
Authority
CN
China
Prior art keywords
template
matching
score
points
logo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311394653.8A
Other languages
English (en)
Other versions
CN117132925B (zh
Inventor
罗宏智
梅亮
梁安危
许春香
倪宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sobey Digital Technology Co Ltd
Original Assignee
Chengdu Sobey Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sobey Digital Technology Co Ltd filed Critical Chengdu Sobey Digital Technology Co Ltd
Priority to CN202311394653.8A priority Critical patent/CN117132925B/zh
Publication of CN117132925A publication Critical patent/CN117132925A/zh
Application granted granted Critical
Publication of CN117132925B publication Critical patent/CN117132925B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种体育赛事的智能场记方法及装置，该方法应用于智能处理器中，首先预先设置匹配logo模板并提取匹配logo模板的模板特征，将收录设备收录的每一帧视频流与匹配logo模板的模板特征进行模板相似度匹配得到模板相似度，若模板相似度高于预设阈值，将收录设备收录的每一帧视频流与匹配logo模板进行模板匹配得到不同类型的场记点，最后根据场记点计算场记段，生成含有场记点和场记段的时间线。通过将提取到的模板特征进行匹配来判断出比赛类型，再进行模板匹配生成时间线，能够利用时间线来生成运动员的各个比赛片段，进行通用体育赛事智能场记生产。

Description

一种体育赛事的智能场记方法及装置
技术领域
本申请涉及体育赛事视频制作技术领域，具体而言，涉及一种体育赛事的智能场记方法及装置。
背景技术
随着人工智能技术的日趋完善，对于体育赛事视频能够快速准确、稳定、智能地输出个人集锦片段、比赛精彩片段的需求愈加旺盛。市面上已经出现了很多针对体育赛事智能生成精彩集锦的方法，但是这些方法均是基于某一个具体类别的体育赛事，泛化能力弱，无法快速应用到其它类别的比赛，就算能够复制模式应用到其它比赛场景中，也达不到用户期望的结果。
此外，现有的体育比赛在生成智能集锦时会存在诸多挑战，如多路信号流需要同时处理、比赛类型不一样、比赛规则不一样等，其中最具挑战性的就是体育类别不一样，体育赛事种类繁多，很难给出一个通用的方法来满足各类不同比赛的规则。
因此，如何判断是哪种类型的比赛并辅助通用体育赛事智能场记生产成为本领域技术人员不得不解决的问题。
发明内容
本申请的目的在于，为了克服现有的技术缺陷，提供了一种体育赛事的智能场记方法及装置，取到的模板特征进行匹配来判断出比赛类型，结合LOGO图片出现的位置、识别分析比赛的比分变化情况、人脸识别等特征，综合分析得到运动员的各个比赛片段，来实现通用体育赛事智能场记生产。
本申请目的通过下述技术方案来实现：
第一方面，本申请提出了一种体育赛事的智能场记方法，所述方法应用于智能处理器中，所述方法包括：
预先设置匹配logo模板并提取所述匹配logo模板的模板特征；
将收录设备收录的每一帧视频流与所述匹配logo模板的模板特征进行模板相似度匹配得到模板相似度；
若所述模板相似度高于预设阈值，将收录设备收录的每一帧视频流与所述匹配logo模板进行模板匹配得到不同类型的场记点；
根据场记点计算场记段，生成含有场记点和场记段的时间线。
在一种可选的实施方式中，在预先设置匹配logo模板并提取所述匹配logo模板的模板特征之前的步骤，包括：
预先配置场记类型，所述场记类型包括比赛回放、比赛开始、比赛结果、比赛比分、每位运动员的开始和结束。
在一种可选的实施方式中，所述匹配logo模板包括比分子模板，将收录设备收录的每一帧视频流与所述匹配logo模板进行模板匹配得到不同类型的场记点的步骤，包括：
将收录设备收录的每一帧视频流与比分子模板进行匹配得到比分区域；
对所述比分区域进行OCR识别得到文字识别结果；
在所述文字识别结果合理的情况下，生成比分类型的场记点。
在一种可选的实施方式中，对所述比分区域进行OCR识别得到文字识别结果的步骤，包括：
对所述比分区域进行OCR识别得到比分信息和/或排名信息；
对所述比分信息和/或排名信息进行排序组合得到文字识别结果。
在一种可选的实施方式中，根据场记点计算场记段，生成含有场记点和场记段的时间线的步骤，包括：
按照时间顺序对所述场记点进行排序，判断相邻两个场记点的时间间隔是否超过预设阈值；
若超过预设阈值，将两个场记点之间的片段标记为场记段；
生成含有场记点和场记段的时间线。
第二方面，本申请提出了一种体育赛事的智能场记装置，所述装置包括：
特征提取模块，用于预先设置匹配logo模板并提取所述匹配logo模板的模板特征；
相似度匹配模块，用于将收录设备收录的每一帧视频流与所述匹配logo模板的模板特征进行模板相似度匹配得到模板相似度；
模板匹配模块，用于若所述模板相似度高于预设阈值，将收录设备收录的每一帧视频流与所述匹配logo模板进行模板匹配得到不同类型的场记点；
生成模块，用于根据场记点计算场记段，生成含有场记点和场记段的时间线。
在一种可选的实施方式中，所述装置还包括：
配置模块，用于预先配置场记类型，所述场记类型包括比赛回放、比赛开始、比赛结果、比赛比分、每位运动员的开始和结束。
在一种可选的实施方式中，所述模板匹配模块还用于：
将收录设备收录的每一帧视频流与比分子模板进行匹配得到比分区域；
对所述比分区域进行OCR识别得到文字识别结果；
在所述文字识别结果合理的情况下，生成比分类型的场记点。
在一种可选的实施方式中，所述模板匹配模块还用于：
对所述比分区域进行OCR识别得到比分信息和/或排名信息；
对所述比分信息和/或排名信息进行排序组合得到文字识别结果。
在一种可选的实施方式中，所述生成模块，还用于：
按照时间顺序对所述场记点进行排序，判断相邻两个场记点的时间间隔是否超过预设阈值；
若超过预设阈值，将两个场记点之间的片段标记为场记段；
生成含有场记点和场记段的时间线。
上述本申请主方案及其各进一步选择方案可以自由组合以形成多个方案，均为本申请可采用并要求保护的方案；且本申请，（各非冲突选择）选择之间以及和其他选择之间也可以自由组合。本领域技术人员在了解本申请方案后根据现有技术和公知常识可明了有多种组合，均为本申请所要保护的技术方案，在此不做穷举。
本申请公开了一种体育赛事的智能场记方法及装置，该方法应用于智能处理器中，首先预先设置匹配logo模板并提取匹配logo模板的模板特征，将收录设备收录的每一帧视频流与匹配logo模板的模板特征进行模板相似度匹配得到模板相似度，若模板相似度高于预设阈值，将收录设备收录的每一帧视频流与匹配logo模板进行模板匹配得到不同类型的场记点，最后根据场记点计算场记段，生成含有场记点和场记段的时间线。通过将提取到的模板特征进行匹配来判断出比赛类型，再进行模板匹配生成时间线，能够利用时间线来生成运动员的各个比赛片段，进行通用体育赛事智能场记生产。
附图说明
图1示出了本申请实施例提出的一种体育赛事的智能场记方法的流程示意图。
图2示出了本申请实施例提出的步骤S400的流程示意图。
图3示出了本申请实施例提出的体育赛事智能场记生产流程图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在现有技术中，由于现有的体育比赛在生成智能集锦时会存在诸多挑战，如多路信号流需要同时处理、比赛类型不一样、比赛规则不一样等，同时又由于体育类别不一样，体育赛事种类繁多，因此很难给出一个通用的方法来满足各类不同比赛的规则。
为此，本申请实施例提出了一种体育赛事的智能场记方法及装置，其依照的原理是：由于官方会在多种体育赛事中展示出一些特定的LOGO图片，将该LOGO图片进行提取并对其特征进行匹配来确定体育比赛的类型，确定不了比赛的类型也能够通过模板匹配进行确定，并结合LOGO图片出现的位置、比分情况、运动员，进行综合分析自动生成体育赛事智能场记时间线，实现通用体育赛事智能场记生产，给内容生产业务端提供体育比赛精彩集锦生产依据，接下来对其进行详细说明。
请参照图1，图1示出了本申请实施例提出的一种体育赛事的智能场记方法的流程示意图。该方法应用于智能处理器，通过智能处理器对收录设备收录的视频流进行收录智能分析以对不同类型的体育比赛进行区分，该方法包括以下各个步骤：
S100、预先设置匹配logo模板并提取匹配logo模板的模板特征。
在体育比赛中，录制的比赛视频中均会出现logo图像，而每种logo图像都会有对应的匹配logo模板，通过提取匹配logo模板的模板特征来判断场记类型，确认是否有回放、比赛开始的镜头等，根据配置的场记类型提供对应的匹配logo模板及logo在视频中的坐标位置。
为了对匹配logo模板进行新增或更新，可以将模板存储路径映射到其所在的宿主机上，同时为了消除不同模板之间的影响，针对每个比赛都应当有对应的模板，当一个比赛模板使用时，将其他的比赛模板隔离开来，进而减小对当前比赛的模板分析的影响。
匹配logo模板包含模板图片和坐标文件yml，在正确识别匹配logo模板时，先固定好模板的格式和坐标形式，将文件名称按照“0”、“1”、“2”、“...”等英文数字的方式命名。设置yml文件内容格式，threshold为模板匹配阈值，也支持自定义，yml文件内容格式为：
location:
xmax:1160；
xmin:180；
ymax:650；
ymin:520；
threshold:
threshold:0.35；
S200、将收录设备收录的每一帧视频流与匹配logo模板的模板特征进行模板相似度匹配得到模板相似度。
在提取匹配logo模板的模板特征之后，计算其与收录设备收录的每一帧视频流对应坐标位置区域的相似度，如果相似度大于预设阈值则认为模板匹配。在实际的匹配过程当中，预先设置偏移量，在偏移范围内计算匹配logo模板与视频中对应在坐标位置之间的交集面积，交集面积大于设定的值表明模板已经匹配上，此时找到与模板相匹配的视频帧。
此外，为了确保模板与设置的场记类型能够匹配，将模板文件夹的名称与配置文件中设置的场记类型保持一致，在模板匹配之后找到对应的场记类型。例如：配置文件中场记类型有templateType:GameStart，将配置的模板文件夹命名为：GameStart。
S300、若模板相似度高于预设阈值，将收录设备收录的每一帧视频流与匹配logo模板进行模板匹配得到不同类型的场记点。
可选的，将收录设备收录的每一帧视频流与匹配logo模板进行模板匹配得到不同类型的场记点的步骤，包括：
将收录设备收录的每一帧视频流与比分子模板进行匹配得到比分区域；
对比分区域进行OCR识别得到文字识别结果；
在文字识别结果合理的情况下，生成比分类型的场记点。
在进行模板匹配时，匹配logo模板包括比分子模板，将比分子模板与每一帧视频流进行匹配，找到和该模板相同的帧每一帧视频流。
此外，对比分区域进行OCR识别得到文字识别结果的步骤，包括：
对比分区域进行OCR识别得到比分信息和/或排名信息；
对比分信息和/或排名信息进行排序组合得到文字识别结果。
如果匹配不上相同的帧，就将最近的一帧作为匹配帧，按照前后五个偏移量的区间进行OCR识别，提取比分信息和排名信息。
在进行OCR识别之后，由于识别到的内容并不能够保证有序，因此需要将将模板区域内的文字结果提取出来，按照文字的纵坐标从上到下进行排序，判断哪些文字是处于同一行的，再对同一行的文字按照横坐标从左到右进行排序，将文字坐标进行组合汇合，得到比分模板区域的文字识别结果。由于不同时间点的比分信息和排名信息可能不同，因此分析不同时间所对应的比分即可得到比分变化信息，比分变化就意味着在比分变化之前，有进球、胜利等精彩瞬间。
比分信息包括人物名称，比分，排名。比分类的场记类型是一个特殊的类型。其场记支持按片段输出，也支持按场记点输出。在完成了比分模板匹配，提取到了比分信息之后，对其整理成了可读的比分数据。然后结合比分的规则，判断识别的比分识别结果格式是否正确合理。由于比分是以累加的方式在进行，比分变化的趋势是往前走，而不是往后退，因此比分的跨度有一定限制。根据当前模板的位置，找到比分有变化的场记点，取场记点前后总共10s的窗口作为比分变化事件的片段输出。
在找到能够匹配模板的视频帧之后，从配置文件中查找是否有场记类型，将这一帧的位置作为对应场记类型的标记点。针对同一种场记类型的场记点进行排序，如果场记点之间时间间隔超过阈值，那么当前任务判断出来的场记点就可以标注为一个新的场记点。
S400、根据场记点计算场记段，生成含有场记点和场记段的时间线。
请参照图2，图2示出了本申请实施例提出的步骤S400的流程示意图。步骤S400还包括以下子步骤：
S401、按照时间顺序对场记点进行排序，判断相邻两个场记点的时间间隔是否超过预设阈值；
S402、若超过预设阈值，将两个场记点之间的片段标记为场记段；
S403、生成含有场记点和场记段的时间线。
在场记类型中只有比赛回放提供了场记段，其它场记类型均是场记点的方式标记。如果找到两个比赛回放的场记点，先判断两个比赛回放的场记点的时间间隔是否超过阈值，如果时间间隔在设置的范围内，区分场记段的结束时间点和场记段的开始时间点，将该入出点的片段标记为场记段。继续对第二个同样类型的场记段进行划分，判断第二个场记段和第一个场记段是否有重复帧，如果有重复帧，就抛弃，没有重复帧，就将当前场记段标记为一段新的场记片段。以此类推，直至找到所有的场记段，最后将相同场记类型的标记点或场记段放到一组里进行对外输出，生成含有场记点和场记段的时间线。
在步骤S100之前，还包括步骤S500、预先配置场记类型，场记类型包括比赛回放、比赛开始、比赛结果、比赛比分、每位运动员的开始和结束，此外本申请实施例对此不作限定，还可以包含其他的场记类型。
本申请实施例的场记类型为各个体育比赛所通用的场记类型，能够在配置文件中配置场记类型，程序的结果也将根据配置的类型进行推理分析出来。也可自定义场记类型，本申请并不限定。
示例地，templateType:Gamestart；
markOutType:point；
language:ch；
chMarkType:全场比赛开始；
enMarkType:GameStart；
templateType:GroupGameStart；
markOutType:point；
language:ch；
chMarkType:小节比赛开始；
enMarkType:GroupGamestart。
上述的templateType表示设置的类型，支持自定义。
此外，结合人脸识别处理提取视频中的人脸特征，将其与人物库中的人脸进行匹配，便可得到人物出现的时间点，匹配场记段的入出点，筛查是否有已知人物的识别信息，如果有，则将该区间类的人物与场记片段一同输出，即可得到运动员精彩回放片段。
请参照图3，图3示出了本申请实施例提出的体育赛事智能场记生产流程图，首先准备了各个比赛的比分模板、回放模板、比赛开始和结束模板等，通过模板匹配找到场记点，使用了OCR、人脸识别等算法处理，接下来结合比赛的规则（比分的规则和赛程的规则）将各个处理结果进行跨模特推理，如比分信息纠错、场记类型去重等；再对推理处理的赛事数据进行整合，得到我们想要的场记点或场记片段。在提供了赛事场记后，业务端可基于该结果作进一步的处理和分析，业务需求不同，处理方式不同，如直接拆分比赛视频入库，制作比赛精彩集锦，制作人物集锦等。
在现有技术中，由于对每一种体育比赛分别开发一套处理流程来实现智能场记生产会大大增加场记生产的难度，本申请仅用一种方式便能够应对多种赛事，大大节省了重复开发的成本。同时，在体育场记智能生产的过程中，人脸识别、模板LOGO匹配、OCR等算法需要消耗一定的CPU、GPU和内存资源的，而通过一套通用的流程就解决了不同比赛的场记生产，在项目落地过程中，仅需部署一套流程和算法，节省了部署的人力成本和硬件资源成本。如果想加快体育比赛场记生产，可以部署多个算法，实现任务并行处理。
本申请需要提前预置好需要匹配的模板logo，通过模板匹配，找到模板与体育比赛视频中相似的地方，进而定位到比赛回放、比赛开始、比赛结束等时间点。如果没有模板匹配，很难得到我们想要的场记点，输入一张图片与设定的logo图片进行对比，检测出是否为被对比的logo图片，给出对比的相似度。通过模板匹配的方式解决不同体育比赛的场记分析，无需针对每一种比赛单独处理。通过模板匹配，找到模板所在的时间点，进行场记标记，结合一定的数据处理和推理判断，对外输出场记点和场记段，以及人脸信息及比分信息。业务端则可快速基于智能分析的基础做进一步的分析处理，业务需求不同，处理方式不同，如直接拆分比赛视频入库，制作比赛精彩集锦，制作人物集锦等。
下面给出一种体育赛事的智能场记装置可能的实现方式，其用于执行上述实施例及可能的实现方式中示出的智能场记方法各个执行步骤和相应的技术效果，该装置包括：
特征提取模块，用于预先设置匹配logo模板并提取匹配logo模板的模板特征；
相似度匹配模块，用于将收录设备收录的每一帧视频流与匹配logo模板的模板特征进行模板相似度匹配得到模板相似度；
模板匹配模块，用于若模板相似度高于预设阈值，将收录设备收录的每一帧视频流与匹配logo模板进行模板匹配得到不同类型的场记点；
生成模块，用于根据场记点计算场记段，生成含有场记点和场记段的时间线。
在一种可选的实施方式中，智能场记装置还包括：
配置模块，用于预先配置场记类型，场记类型包括比赛回放、比赛开始、比赛结果、比赛比分、每位运动员的开始和结束。
在一种可选的实施方式中，模板匹配模块还用于：
将收录设备收录的每一帧视频流与比分子模板进行匹配得到比分区域；
对比分区域进行OCR识别得到文字识别结果；
在文字识别结果合理的情况下，生成比分类型的场记点。
在一种可选的实施方式中，模板匹配模块还用于：
对比分区域进行OCR识别得到比分信息和/或排名信息；
对比分信息和/或排名信息进行排序组合得到文字识别结果。
在一种可选的实施方式中，生成模块，还用于：
按照时间顺序对场记点进行排序，判断相邻两个场记点的时间间隔是否超过预设阈值；
若超过预设阈值，将两个场记点之间的片段标记为场记段；
生成含有场记点和场记段的时间线。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种体育赛事的智能场记方法，其特征在于，所述方法应用于智能处理器中，所述方法包括：
预先设置匹配logo模板并提取所述匹配logo模板的模板特征；
将收录设备收录的每一帧视频流与所述匹配logo模板的模板特征进行模板相似度匹配得到模板相似度；
若所述模板相似度高于预设阈值，将收录设备收录的每一帧视频流与所述匹配logo模板进行模板匹配得到不同类型的场记点；
根据场记点计算场记段，生成含有场记点和场记段的时间线。
2.如权利要求1所述的智能场记方法，其特征在于，在预先设置匹配logo模板并提取所述匹配logo模板的模板特征之前的步骤，包括：
预先配置场记类型，所述场记类型包括比赛回放、比赛开始、比赛结果、比赛比分、每位运动员的开始和结束。
3.如权利要求1所述的智能场记方法，其特征在于，所述匹配logo模板包括比分子模板，将收录设备收录的每一帧视频流与所述匹配logo模板进行模板匹配得到不同类型的场记点的步骤，包括：
将收录设备收录的每一帧视频流与比分子模板进行匹配得到比分区域；
对所述比分区域进行OCR识别得到文字识别结果；
在所述文字识别结果合理的情况下，生成比分类型的场记点。
4.如权利要求3所述的智能场记方法，其特征在于，对所述比分区域进行OCR识别得到文字识别结果的步骤，包括：
对所述比分区域进行OCR识别得到比分信息和/或排名信息；
对所述比分信息和/或排名信息进行排序组合得到文字识别结果。
5.如权利要求1所述的智能场记方法，其特征在于，根据场记点计算场记段，生成含有场记点和场记段的时间线的步骤，包括：
按照时间顺序对所述场记点进行排序，判断相邻两个场记点的时间间隔是否超过预设阈值；
若超过预设阈值，将两个场记点之间的片段标记为场记段；
生成含有场记点和场记段的时间线。
6.一种体育赛事的智能场记装置，其特征在于，所述装置包括：
特征提取模块，用于预先设置匹配logo模板并提取所述匹配logo模板的模板特征；
相似度匹配模块，用于将收录设备收录的每一帧视频流与所述匹配logo模板的模板特征进行模板相似度匹配得到模板相似度；
模板匹配模块，用于若所述模板相似度高于预设阈值，将收录设备收录的每一帧视频流与所述匹配logo模板进行模板匹配得到不同类型的场记点；
生成模块，用于根据场记点计算场记段，生成含有场记点和场记段的时间线。
7.如权利要求6所述的智能场记装置，其特征在于，所述装置还包括：
配置模块，用于预先配置场记类型，所述场记类型包括比赛回放、比赛开始、比赛结果、比赛比分、每位运动员的开始和结束。
8.如权利要求6所述的智能场记装置，其特征在于，所述模板匹配模块还用于：
将收录设备收录的每一帧视频流与比分子模板进行匹配得到比分区域；
对所述比分区域进行OCR识别得到文字识别结果；
在所述文字识别结果合理的情况下，生成比分类型的场记点。
9.如权利要求8所述的智能场记装置，其特征在于，所述模板匹配模块还用于：
对所述比分区域进行OCR识别得到比分信息和/或排名信息；
对所述比分信息和/或排名信息进行排序组合得到文字识别结果。
10.如权利要求6所述的智能场记装置，其特征在于，所述生成模块，还用于：
按照时间顺序对所述场记点进行排序，判断相邻两个场记点的时间间隔是否超过预设阈值；
若超过预设阈值，将两个场记点之间的片段标记为场记段；
生成含有场记点和场记段的时间线。
CN202311394653.8A 2023-10-26 2023-10-26 一种体育赛事的智能场记方法及装置 Active CN117132925B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311394653.8A CN117132925B (zh) 2023-10-26 2023-10-26 一种体育赛事的智能场记方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311394653.8A CN117132925B (zh) 2023-10-26 2023-10-26 一种体育赛事的智能场记方法及装置

Publications (2)

Publication Number Publication Date
CN117132925A true CN117132925A (zh) 2023-11-28
CN117132925B CN117132925B (zh) 2024-02-06

Family

ID=88858533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311394653.8A Active CN117132925B (zh) 2023-10-26 2023-10-26 一种体育赛事的智能场记方法及装置

Country Status (1)

Country Link
CN (1) CN117132925B (zh)

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101464949A (zh) * 2009-01-16 2009-06-24 清华大学 体育视频中数字时钟的识别方法
CN101751550A (zh) * 2008-12-19 2010-06-23 杭州中正生物认证技术有限公司 快速指纹搜索方法及快速指纹搜索系统
US20100183280A1 (en) * 2008-12-10 2010-07-22 Muvee Technologies Pte Ltd. Creating a new video production by intercutting between multiple video clips
CN104025465A (zh) * 2011-09-13 2014-09-03 索尼公司 包括帧匹配的记录媒体文件中的事件
WO2014167085A1 (fr) * 2013-04-12 2014-10-16 Kolor Fusion de plusieurs flux video
CN107172487A (zh) * 2017-06-09 2017-09-15 成都索贝数码科技股份有限公司 一种通过镜头回放特征提取精彩镜头的方法
CN107241645A (zh) * 2017-06-09 2017-10-10 成都索贝数码科技股份有限公司 一种通过对视频的字幕识别自动提取进球精彩瞬间的方法
CN107548318A (zh) * 2014-12-19 2018-01-05 瑞柯有限责任公司 用于在模拟比赛中管理个别表现挑战的系统
US20180071610A1 (en) * 2016-09-15 2018-03-15 Karhu Media, LLC Athletic training method and system for remote video playback
CN110012348A (zh) * 2019-06-04 2019-07-12 成都索贝数码科技股份有限公司 一种赛事节目自动集锦系统及方法
CN110008374A (zh) * 2019-06-04 2019-07-12 成都索贝数码科技股份有限公司 一种用于赛事智能制作的挑选编辑方法
CN110188241A (zh) * 2019-06-04 2019-08-30 成都索贝数码科技股份有限公司 一种赛事智能制作系统及制作方法
CN111432140A (zh) * 2020-06-15 2020-07-17 成都索贝数码科技股份有限公司 一种利用人工神经网络进行电视新闻拆条的方法
CN111428589A (zh) * 2020-03-11 2020-07-17 新华智云科技有限公司 一种渐变转场的识别方法及系统
CN111757148A (zh) * 2020-06-03 2020-10-09 苏宁云计算有限公司 体育赛事视频处理方法、装置和系统
CN112291574A (zh) * 2020-09-17 2021-01-29 上海东方传媒技术有限公司 一种基于人工智能技术的大型体育赛事内容管理系统
CN112633087A (zh) * 2020-12-09 2021-04-09 新奥特（北京）视频技术有限公司 一种ibc系统的基于画面分析的自动场记方法和装置
US11100747B1 (en) * 2020-09-24 2021-08-24 Adrenalineip Live event recording method and system
KR20210139021A (ko) * 2020-05-13 2021-11-22 주식회사 플레이어스어셈블 회원간에 이루어지는 스포츠 게임 관리 시스템
WO2021243572A1 (zh) * 2020-06-02 2021-12-09 焦旭 运动检测方法和装置、电子设备以及计算机可读存储介质
CN114821445A (zh) * 2022-05-17 2022-07-29 浙江广播电视集团 基于帧间检测的多机位体育赛事精彩集锦制作方法及设备
CN115828112A (zh) * 2022-12-02 2023-03-21 德联易控科技(北京)有限公司 一种故障事件的响应方法、装置、电子设备及存储介质
CN115858839A (zh) * 2023-02-16 2023-03-28 上海蜜度信息技术有限公司 一种跨模态logo检索方法、系统、终端及存储介质

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100183280A1 (en) * 2008-12-10 2010-07-22 Muvee Technologies Pte Ltd. Creating a new video production by intercutting between multiple video clips
CN101751550A (zh) * 2008-12-19 2010-06-23 杭州中正生物认证技术有限公司 快速指纹搜索方法及快速指纹搜索系统
CN101464949A (zh) * 2009-01-16 2009-06-24 清华大学 体育视频中数字时钟的识别方法
CN104025465A (zh) * 2011-09-13 2014-09-03 索尼公司 包括帧匹配的记录媒体文件中的事件
WO2014167085A1 (fr) * 2013-04-12 2014-10-16 Kolor Fusion de plusieurs flux video
CN107548318A (zh) * 2014-12-19 2018-01-05 瑞柯有限责任公司 用于在模拟比赛中管理个别表现挑战的系统
US20180071610A1 (en) * 2016-09-15 2018-03-15 Karhu Media, LLC Athletic training method and system for remote video playback
CN107172487A (zh) * 2017-06-09 2017-09-15 成都索贝数码科技股份有限公司 一种通过镜头回放特征提取精彩镜头的方法
CN107241645A (zh) * 2017-06-09 2017-10-10 成都索贝数码科技股份有限公司 一种通过对视频的字幕识别自动提取进球精彩瞬间的方法
CN110008374A (zh) * 2019-06-04 2019-07-12 成都索贝数码科技股份有限公司 一种用于赛事智能制作的挑选编辑方法
CN110188241A (zh) * 2019-06-04 2019-08-30 成都索贝数码科技股份有限公司 一种赛事智能制作系统及制作方法
CN110012348A (zh) * 2019-06-04 2019-07-12 成都索贝数码科技股份有限公司 一种赛事节目自动集锦系统及方法
CN111428589A (zh) * 2020-03-11 2020-07-17 新华智云科技有限公司 一种渐变转场的识别方法及系统
KR20210139021A (ko) * 2020-05-13 2021-11-22 주식회사 플레이어스어셈블 회원간에 이루어지는 스포츠 게임 관리 시스템
WO2021243572A1 (zh) * 2020-06-02 2021-12-09 焦旭 运动检测方法和装置、电子设备以及计算机可读存储介质
CN111757148A (zh) * 2020-06-03 2020-10-09 苏宁云计算有限公司 体育赛事视频处理方法、装置和系统
CN111432140A (zh) * 2020-06-15 2020-07-17 成都索贝数码科技股份有限公司 一种利用人工神经网络进行电视新闻拆条的方法
CN112291574A (zh) * 2020-09-17 2021-01-29 上海东方传媒技术有限公司 一种基于人工智能技术的大型体育赛事内容管理系统
US11100747B1 (en) * 2020-09-24 2021-08-24 Adrenalineip Live event recording method and system
CN112633087A (zh) * 2020-12-09 2021-04-09 新奥特（北京）视频技术有限公司 一种ibc系统的基于画面分析的自动场记方法和装置
CN114821445A (zh) * 2022-05-17 2022-07-29 浙江广播电视集团 基于帧间检测的多机位体育赛事精彩集锦制作方法及设备
CN115828112A (zh) * 2022-12-02 2023-03-21 德联易控科技(北京)有限公司 一种故障事件的响应方法、装置、电子设备及存储介质
CN115858839A (zh) * 2023-02-16 2023-03-28 上海蜜度信息技术有限公司 一种跨模态logo检索方法、系统、终端及存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
D. WU: ""Research on target tracking method of sports video based on multi-template matching"", 《2020 INTERNATIONAL CONFERENCE ON VIRTUAL REALITY AND INTELLIGENT SYSTEMS (ICVRIS)》, pages 82 - 85 *
万三英: ""LOGO识别技术在体育视频图像中的应用"", 《福建电脑》, vol. 32, no. 4, pages 46 - 47 *
张强: ""基于回放场景的足球视频精彩镜头检测"", 中国优秀硕士学位论文全文数据库 信息科技辑》, no. 6, pages 2 *
张盼华: ""混合色彩空间多信息融合及自适应学习速率运动目标检测算法\'", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 138 - 1087 *
杨磊: ""智能动作标签在花样滑冰赛事场记中的应用探索"", 《现代电视技术》, vol. 2022, no. 11, pages 22 - 26 *
知乎用户0XZDDB: ""AI技术为体育赛事内容创新带来卓越体验"", pages 1 - 2, Retrieved from the Internet <URL:《https://zhuanlan.zhihu.com/p/82286482》> *

Also Published As

Publication number Publication date
CN117132925B (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
CN110119711B (zh) 一种获取视频数据人物片段的方法、装置及电子设备
US9881215B2 (en) Apparatus and method for identifying a still image contained in moving image contents
JP5010292B2 (ja) 映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法
CN103714094B (zh) 识别视频中的对象的设备和方法
US7243101B2 (en) Program, image managing apparatus and image managing method
US9510044B1 (en) TV content segmentation, categorization and identification and time-aligned applications
CN112740713B (zh) 用于提供多媒体内容中的关键时刻的方法及其电子设备
CN103488764B (zh) 个性化视频内容推荐方法和系统
JP5371083B2 (ja) 顔識別特徴量登録装置、顔識別特徴量登録方法、顔識別特徴量登録プログラム及び記録媒体
US6546185B1 (en) System for searching a particular character in a motion picture
US7663643B2 (en) Electronic album display system, an electronic album display method, and a machine readable medium storing thereon a computer program for displaying an electronic album
US8068678B2 (en) Electronic apparatus and image processing method
CN106127106A (zh) 视频中目标人物查找方法和装置
JP2020061729A (ja) スポーツ競技のハイライト抽出方法および装置
JP2006236218A (ja) 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム
JPH11339009A (ja) 解析データ生成装置
KR102248456B1 (ko) 스포츠 경기의 하이라이트 추출 방법 및 장치
JP4490214B2 (ja) 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム
CN106851395B (zh) 视频播放方法和播放器
KR102037997B1 (ko) 전자 장치 및 콘텐츠 생성 방법
US20090087101A1 (en) Image processing apparatus and apparatus for searching operator
JP2006081021A (ja) 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム
JPH10263126A (ja) パソコンを使用した運動の姿勢の分析装置
JP2006079460A (ja) 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム
CN113992973A (zh) 视频摘要生成方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant