CN111488847A - 体育比赛视频进球片段获取系统及方法、终端 - Google Patents
体育比赛视频进球片段获取系统及方法、终端 Download PDFInfo
- Publication number
- CN111488847A CN111488847A CN202010302493.XA CN202010302493A CN111488847A CN 111488847 A CN111488847 A CN 111488847A CN 202010302493 A CN202010302493 A CN 202010302493A CN 111488847 A CN111488847 A CN 111488847A
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- module
- sports game
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000008859 change Effects 0.000 claims abstract description 24
- 238000012805 post-processing Methods 0.000 claims abstract description 17
- 239000000284 extract Substances 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 45
- 230000015654 memory Effects 0.000 claims description 21
- 238000003708 edge detection Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
Abstract
本发明提供了一种体育比赛视频进球片段获取系统及方法、终端，其中，输入模块读取待处理的体育比赛视频，得到待处理视频片段；计分板定位模块在待处理视频片段中定位计分板的位置，得到计分板的坐标；文字定位模块识别计分板上的文字位置，提取文字框；文字识别模块识别文字框中的文字得到文字集合；后处理模块根据对文字集合的内容进行分析，判定是否进球得分，并根据得分情况从缓冲视频片段中提取进球片段。本发明不需要获取海量的标注数据，通过将视频中进球问题转化为计分板的分数变化问题，简单、易行；不需要过多的人工参与，判定规则基于计分板，客观且准确；基于对计分板的分数识别，对于各种体育比赛视频都具有适用性、易拓展性。
Description
技术领域
本发明涉及视频信息检索技术领域，具体地，涉及一种体育比赛视频进球片段获取系统及方法、终端。
背景技术
体育活动有着庞大的受众全体，对大多数人来说，由于时间、地点等因素的限制，前往现场观看体育比赛往往是困难的。观看体育比赛视频无论是空间还是时间，都不存在这样的限制，由于受众群体大，体育比赛视频存在着巨大的商业价值。从各类体育比赛视频中得到进球得分的精彩事件剪辑，一直是视频分析领域研究的热点、难点。
经过检索发现：
公开号为CN110314361A，公开日为2019.10.11的中国发明专利申请《一种基于卷积神经网络的篮球进球得分判断方法及系统》，该方法及系统能够获取待判定视频片段进球分类结果，输出相应得分。但是，该方法及系统为了训练出一个性能较好的卷积神经网络，需要大量的有标注的数据来训练卷积神经网络；为了获取标注数据，需要耗费巨大的人力和时间资源；由于不同体育比赛视频不属于同一分布，基于卷积神经网络的方法不具备直接拓展性，当迁移到一个新的体育比赛视频时，需要重新收集大量的数据，同时性能无法保障。也就是说，该方法及系统需要巨大的标注成本，针对其他运动例如足球、乒乓球等体育比赛视频时，需要新的标注数据，故需要寻找其他的方法来解决这个问题。
公开号为CN102306153A，公开日为2012.01.04的中国发明专利申请《基于归一化语义加权和规则的足球视频进球事件检测方法》,公开了一种基于归一化语义加权和规则的足球视频进球事件检测方法，该方法能够快速、准确实现进球语义时间的检测，可用于足球视频精彩时间检测等语义分析领域。但是，该方法需要人为的对视频进行物理镜头分割、得到语义镜头标注，对于实际使用的视频来说，将视频进行这样的划分会耗费大量的时间，同时，对视频进行划分的时候存在一定的主观性，即标准不统一；该方法的语义镜头不具有普适性，对于没有这样的语义镜头来说，所谓的语义加权和就毫无意义。也就是说，该方法对输入视频进行物理镜头分割，对得到的物理镜头序列进行语义标注，得到语义镜头序列，统计每种语义镜头的语义观测权重并求其归一化语义加权和，选取判定阈值，在应用到例如篮球、乒乓球等其他体育比赛视频时，则无法有效判断是否进球，有着局限性。
综上所述，现有的视频信息检索技术通常存在如下问题：
1、为了训练出一个性能较好的卷积神经网络，需要大量的有标注的数据来训练卷积神经网络。为了获取标注数据，需要耗费巨大的人力和时间资源；
2、由于不同体育比赛视频不属于同一分布，基于卷积神经网络的方法不具备易拓展性，当迁移到其他类体育比赛视频时，需要重新收集大量的数据，同时性能无法保障；
3、需要人为的对视频进行物理镜头分割、得到语义镜头标注，对于实际使用的视频来说，将视频进行这样的划分会耗费大量的时间，同时，对视频进行划分的时候存在一定的主观性，即标准不统一；
4、语义镜头不具有普适性，对于没有这样的语义镜头的体育比赛视频来说，所谓的语义加权和就毫无意义。
发明内容
本发明针对现有技术中存在的上述不足，提供了一种体育比赛视频进球片段获取系统及方法、终端。
本发明是通过以下技术方案实现的。
根据本发明的一个方面，提供了一种体育比赛视频进球片段获取系统，包括：
输入模块：所述输入模块读取待处理的体育比赛视频，得到待处理视频片段；
计分板定位模块：所述计分板定位模块在所述待处理视频片段中定位计分板的位置，得到计分板的坐标；
文字定位模块：所述文字定位模块识别所述计分板上的文字位置，提取文字框；
文字识别模块：所述文字识别模块识别所述文字框中的文字得到文字集合；
后处理模块：所述后处理模块根据对所述文字集合的内容进行分析，判定是否进球得分，并根据得分情况从缓冲视频片段中提取进球片段。
优选地，所述计分板定位模块包括：
视频平均帧模块：所述视频平均帧模块对输入的待处理视频片段求取视频平均帧；
边缘检测模块：所述边缘检测模块对所述视频平均帧进行边缘检测，得到视频平均帧的边缘图；
轮廓定位模块：所述轮廓定位模块定位所述视频平均帧的边缘图的轮廓坐标集合；
定位后处理模块：所述定位后处理模块处理所述轮廓坐标集合，得到最终的计分板的位置。
优选地，所述后处理模块包括：
视频片段获取模块：所述视频片段获取模块获取输入的待处理视频片段，得到包括当前帧在内的T帧加入视频缓冲区；
内容筛选模块：所述内容筛选模块筛选所述文字集合中数字的部分，得到数字集合；
内容匹配过滤模块：所述内容匹配过滤模块对相邻处理视频帧的数字集合进行一一对应，得到匹配的数字集合，过滤不符合比分变化原则的数字，得到分数；
进球输出模块：所述进球输出模块根据所述分数的变化判定是否进球，如果进球，则输出视频缓冲区中对应的视频片段。
根据本发明的另一个方面，提供了一种体育比赛视频进球片段获取方法，包括：
对输入的体育比赛视频进行处理，得到视频平均帧；
将得到的视频平均帧进行边缘检测，得到关于该体育比赛视频的边缘图，对边缘图进行轮廓定位，得到轮廓坐标集合；
结合视频先验，对得到的轮廓坐标集合进行分析，得到计分板的位置；
读取输入的体育比赛视频，得到当前帧，将当前帧存储在视频缓冲区中，视频缓冲区存储包括当前帧在内的T帧，T为最大存储帧数；
判断是否处理当前帧，若处理当前帧，则获取当前帧的计分板，对得到的计分板进行文字检测，得到文字的位置；
根据文字的位置得到相应的文字框，识别文字框中内容，得到对应的文字内容；
匹配当前处理帧和前一处理帧的文字内容，得到分数的变化；
根据分数变化判断是否进球，如果进球，则提取视频缓冲区中对应的视频片段进行剪辑，同时清空视频缓冲区；
判断当前体育比赛视频是否结束，如未结束，则返回读取输入的体育比赛视频的步骤，继续进行当前帧处理。
优选地，对输入的体育比赛视频进行处理，得到视频平均帧，包括：
对输入的体育比赛视频，将所有的视频帧进行相加，除以视频总帧数，得到一个视频平均帧。
优选地，将得到的视频平均帧进行边缘检测，得到关于该体育比赛视频的边缘图，对边缘图进行轮廓定位，得到轮廓坐标集合，包括：
使用Canny算子对得到的视频平均帧进行边缘检测，得到边缘图；
使用基于边界跟踪方法的数字化二值图像拓扑结构分析算法，得到边缘图的轮廓坐标集合。
优选地，结合视频先验，对得到的轮廓坐标进行分析，得到计分板的位置，包括：
基于得到的轮廓图的面积大小，筛除不符合面积范围的轮廓坐标，对得到的轮廓坐标进行NMS(非极大值抑制)的操作，得到不重合的轮廓坐标集合；
根据视频先验——输入的体育比赛视频的台标位置，对台标位置进行去除，得到最终的计分板位置。
优选地，判断是否处理当前帧，若处理当前帧，则获取当前帧的计分板，对得到的计分板进行文字检测，得到文字的位置，包括：
设置每N帧进行一次采样处理，若当前帧是采样视频帧，则获取当前帧的计分板，并进行文字检测；若当前帧不是采样视频帧，则不进行文字检测，返回读取输入的体育比赛视频的步骤，继续进行当前帧处理。
优选地，匹配当前处理帧和前一处理帧的文字内容，得到分数的变化，包括：
结合得到的文字位置和得到的文字内容，过滤包含非数字的文字内容；
计算仅包含数字的文字框的中心坐标，通过对前一处理帧和当前处理帧的文字框的中心坐标进行匹配，得到前后处理帧文字内容的对应关系；
计算两者差异，即前一处理帧和当前处理帧匹配到的文字框中当前处理帧的数字减去前一处理帧对应位置的数字的差值，结合比分变化原则，判定是否属于分数。
优选地，所述比分变化原则为：一场比赛的得分仅增长或不变。
根据本发明的第三方面，提供一种体育比赛视频进球片段获取终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述体育比赛视频进球片段获取方法。
本发明提供的体育比赛视频进球片段获取系统及方法、终端，针对现有技术需要巨大标注成本的缺陷，通过将进球问题转化为对计分板的处理问题，避免了对标注数据的依赖；针对现有技术的难拓展问题，可以简单方便的迁移到不同的体育比赛视频中；针对现有技术的主观性，基于计分板的进球片段获取系统及方法客观且准确。
与现有技术相比，本发明具有如下至少一种有益效果：
1、相比于对特定球类运动的进球检测的方法，本发明不局限于特定种类的体育比赛视频，可以快速获取体育比赛视频进球的剪辑。
2、本发明通过对计分板的分析来判定是否进球的方法，简单、易拓展、准确且可靠。
3、本发明不依赖于海量的标注数据，避免了标注数据所需的人力和时间成本。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例所提供的体育比赛视频进球片段获取系统结构框图；
图2为本发明实施例所提供的体育比赛视频进球片段获取方法流程图。
具体实施方式
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
本发明实施例提供了一种体育比赛视频进球片段获取系统，该系统通过定位体育比赛视频中的计分板位置，定位计分板中文字位置并识别这些文字，按照规则进行匹配、过滤，得到分数的变化，从而判断是否进球，得到精彩视频片段剪辑。
如图1所示，为本实施例提供的体育比赛视频进球片段获取系统，包括如下模块：输入模块、计分板定位模块、文字定位模块、文字识别模块、后处理模块，其中：输入模块读取待处理的体育比赛视频，得到待处理视频片段；计分板定位模块在待处理视频片段中定位计分板的位置，得到计分板的坐标；文字定位模块识别计分板上的文字位置，提取文字框；文字识别模块识别文字框中的文字得到文字集合；后处理模块根据对文字集合的内容进行分析，判定是否进球得分，根据得分情况从缓冲视频片段中提取进球片段。本实施例通过将进球问题转化为对计分板的处理问题，避免了对标注数据的依赖，不需要巨大标注成本。
作为一优选实施例，计分板定位模块包含以下模块：视频平均帧模块、边缘检测模块、轮廓定位模块、定位后处理模块，其中：视频平均帧模块求输入的体育比赛视频的视频平均帧；边缘检测模块对视频平均帧进行边缘检测，得到视频平均帧的边缘图；轮廓定位模块寻找视频平均帧的边缘图的轮廓坐标集合；定位后处理模块处理轮廓坐标集合，得到最终的计分板的位置。本实施例通过对计分板的分析来判定是否进球的方法，简单、易拓展、准确且可靠。
作为一优选实施例，后处理模块包含以下模块：视频片段获取模块、内容筛选模块、内容匹配过滤模块、进球输出模块，其中：视频片段获取模块获取输入的体育比赛视频帧加入缓冲区域，设置缓冲视频帧数最大为T；内容筛选模块筛选文字集合中数字的部分，得到数字集合；内容匹配过滤模块将相邻识别帧的数字集合进行一一对应，得到匹配的数字集合，过滤不符合人工规则的数字，得到分数；进球输出模块根据分数的变化判定是否进球，进球的话处理缓冲区域视频并输出精彩片段。
在上述优选实施例中，将包括当前帧在内的T帧加入视频缓冲区的目的是为了输出视频进球画面，因为计分板的变化相对进球画面是滞后的。将包括当前帧在内的T帧都加入到视频缓冲区中，T是一个最大的帧数，即缓冲区中视频帧数小于等于T。T可以为300，当然，在其他实施例中T也可以根据实际需要选择其他数值。
本发明上述实施例不依赖于海量的标注数据，避免了标注数据所需的人力和时间成本，不局限于特定种类的体育比赛视频，可以快速获取体育比赛视频进球的剪辑。
在实施例另一实施例中，还提供一种体育比赛视频进球片段获取方法。
如图2所示，本实施例提供的体育比赛视频进球片段获取方法，包括如下步骤：
步骤1：对输入的体育比赛视频进行处理，得到平均帧；
步骤2：将步骤1中得到的平均帧进行边缘检测，得到关于该体育比赛视频的边缘图，对边缘图进行轮廓定位，得到轮廓坐标集合；
步骤3：结合视频先验，对步骤2中的轮廓坐标集合进行分析，得到计分板的位置；如果体育比赛视频有视频网站的logo的话，则会定位出多个框，本实施例根据视频先验(视频logo在右上角)，对定位出的框进行筛选，最终定位出计分板的位置；
步骤4：读取输入的体育比赛视频，得到当前帧，将当前帧存储在缓冲区域中；
步骤5：判断是否处理当前帧，若处理当前帧，则获取当前帧的计分板，对得到的计分板进行文字检测，得到文字的位置，若不处理，则重复步骤4；
步骤6：根据步骤5中文字位置得到相应的文字框，识别文字框中内容，得到对应的文字内容；
步骤7：匹配前后处理帧的文字内容，得到分数的变化；
步骤8：根据步骤7中的分数变化，判断是否进球，若进球，产生精彩视频剪辑，清空视频缓冲区；
步骤9：判断当前视频是否结束，未结束则重复步骤4；
作为一优选实施例，步骤1具体包含：对输入的体育比赛视频，将所有的视频帧进行相加，除以视频帧数，得到一个视频平均帧。
作为一优选实施例，步骤2具体包含以下步骤：
步骤2.1：使用Canny算子对步骤1得到的平均帧进行边缘检测，得到边缘图；
步骤2.2：使用基于边界跟踪方法的数字化二值图像拓扑结构分析算法，得到边缘图的轮廓坐标集合。
作为一优选实施例，步骤3具体按包含以下步骤：
步骤3.1：基于得到的轮廓图的面积大小，筛除不符合面积范围的轮廓坐标，对步骤2所得到的轮廓坐标进行NMS的操作，得到不重合的轮廓坐标集合；原始的轮廓坐标会出现重合或包含现象，即一个框和另一个框之间重合较大，或者一个框出现在另一个框里面；本实施例需要去除那些重合程度较大的框和那些被更大的框包含的框，得到相互之间独立存在的框的轮廓坐标集合；
步骤3.2：根据视频先验输入的体育比赛视频的台标位置，对台标位置进行去除，得到最终的计分板位置；执行前面的步骤后，得到的轮廓坐标集合只有两个，一个是计分板的轮廓坐标，一个是台标的轮廓坐标；去除台标的轮廓坐标后，剩下来的即为最终的计分板位置。
作为一优选实施例，步骤5中，设置每N帧进行一次采样处理，若当前帧是采样视频帧，则获取当前帧的计分板，并进行文字检测。若当前帧不是采样视频帧，则不进行文字检测，重复步骤4。具体地，每N帧进行一次采样处理是指：本实施例中进行采样处理的策略，并不是每一帧我们都处理，处理完当前帧后，隔N帧再处理；对于视频来说，每一帧视频都进行读取，但只处理间隔为N的帧，以N取值为50为例，标记第一帧为1，第二帧为2，若首先处理第一帧，则后续处理的帧为第51，101，151…直到最后；此处处理的第一帧即为视频的第一帧。
假设处理视频总共有7000帧的话，以50帧等间隔采样，共采样140帧进行处理，采样的起始点为第一帧。
作为一优选实施例，步骤7中，结合步骤5得到的文字位置和步骤6识别出来的文字，首先过滤包含非数字的文字。计算仅为数字的文字框的中心坐标，通过将前一处理帧和当前处理帧的文字框的中心坐标进行匹配，得到前后帧的对应关系。计算两者差异，结合先验——一场比赛的得分只会增长或不变，判定是否属于分数。将前一处理帧和当前处理帧的文字框的中心坐标进行匹配，具体为：计算前一处理帧和当前处理帧的文字框的中心坐标的距离的平方，若距离的平方小于设置的阈值(设置为200)，则认为这两个文字框匹配上；匹配结果是，判断这两个文字框是否位于同一位置，若位于同一位置，则判定是同一队伍的分数，计算两者的差值，也就是得分的变化。两者的差值是指：当前处理帧的数字减去前一处理帧对应位置的数字的差值。
在本发明另一实施例中，还提供一种体育比赛视频进球片段获取终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述程序时可用于执行上述任一项实施例中的体育比赛视频进球片段获取方法。
可选地，存储器，用于存储程序；存储器，可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)，如静态随机存取存储器(英文：static random-access memory，缩写：SRAM)，双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic Random Access Memory，缩写：DDR SDRAM)等；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)。存储器62用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
处理器，用于执行存储器存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。
处理器和存储器可以是独立结构，也可以是集成在一起的集成结构。当处理器和存储器是独立结构时，存储器、处理器可以通过总线耦合连接。
本发明上述实施例所提供的体育比赛视频进球片段获取系统及方法、终端，不需要获取海量的标注数据，通过将视频中进球问题转化为计分板的分数变化问题，简单、易行；不需要过多的人工参与，判定规则基于计分板，客观且准确；基于对计分板的分数识别，对于各种体育比赛视频都具有适用性、易拓展性。
需要说明的是，本发明提供的所述方法中的步骤，可以利用所述系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程，即，所述系统中的实施例可理解为实现所述方法的优选例，在此不予赘述。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本领域那些技术人员可以理解，除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书中公开的所有特征以及如此公开的任何装置的所有过程或单元进行组合。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
Claims (10)
1.一种体育比赛视频进球片段获取系统，其特征在于，包括：
输入模块：所述输入模块读取待处理的体育比赛视频，得到待处理视频片段；
计分板定位模块：所述计分板定位模块在所述待处理视频片段中定位计分板的位置，得到计分板的坐标；
文字定位模块：所述文字定位模块识别所述计分板上的文字位置，提取文字框；
文字识别模块：所述文字识别模块识别所述文字框中的文字得到文字集合；
后处理模块：所述后处理模块根据对所述文字集合的内容进行分析，判定是否进球得分，并根据得分情况从缓冲视频片段中提取进球片段。
2.根据权利要求1所述的体育比赛视频进球片段获取系统，其特征在于，所述计分板定位模块包括：
视频平均帧模块：所述视频平均帧模块对输入的待处理视频片段求取视频平均帧；
边缘检测模块：所述边缘检测模块对所述视频平均帧进行边缘检测，得到视频平均帧的边缘图；
轮廓定位模块：所述轮廓定位模块定位所述视频平均帧的边缘图的轮廓坐标集合；
定位后处理模块：所述定位后处理模块处理所述轮廓坐标集合，得到最终的计分板的位置。
3.根据权利要求1所述的体育比赛视频进球片段获取系统，其特征在于，所述后处理模块包括：
视频片段获取模块：所述视频片段获取模块获取输入的待处理视频片段，得到包括当前帧在内的T帧加入视频缓冲区；
内容筛选模块：所述内容筛选模块筛选所述文字集合中数字的部分，得到数字集合；
内容匹配过滤模块：所述内容匹配过滤模块对相邻处理视频帧的数字集合进行一一对应，得到匹配的数字集合，过滤不符合比分变化原则的数字，得到分数；
进球输出模块：所述进球输出模块根据所述分数的变化判定是否进球，如果进球，则输出视频缓冲区中对应的视频片段。
4.一种体育比赛视频进球片段获取方法，其特征在于，包括：
对输入的体育比赛视频进行处理，得到视频平均帧；
将得到的视频平均帧进行边缘检测，得到关于该体育比赛视频的边缘图，对边缘图进行轮廓定位，得到轮廓坐标集合；
结合视频先验，对得到的轮廓坐标集合进行分析，得到计分板的位置；
读取输入的体育比赛视频，得到当前帧，将当前帧存储在视频缓冲区中，视频缓冲区存储包括当前帧在内的T帧，T为最大存储帧数；
判断是否处理当前帧，若处理当前帧，则获取当前帧的计分板，对得到的计分板进行文字检测，得到文字的位置；
根据文字的位置得到相应的文字框，识别文字框中内容，得到对应的文字内容；
匹配当前处理帧和前一处理帧的文字内容，得到分数的变化；
根据分数变化判断是否进球，如果进球，则提取视频缓冲区中对应的视频片段进行剪辑，同时清空视频缓冲区；
判断当前体育比赛视频是否结束，如未结束，则返回读取输入的体育比赛视频的步骤，继续进行当前帧处理。
5.根据权利要求4所述的体育比赛视频进球片段获取方法，其特征在于，对输入的体育比赛视频进行处理，得到视频平均帧，包括：
对输入的体育比赛视频，将所有的视频帧进行相加，除以视频总帧数，得到一个视频平均帧。
6.根据权利要求4所述的体育比赛视频进球片段获取方法，其特征在于，将得到的视频平均帧进行边缘检测，得到关于该体育比赛视频的边缘图，对边缘图进行轮廓定位，得到轮廓坐标集合，包括：
使用Canny算子对得到的视频平均帧进行边缘检测，得到边缘图；
使用基于边界跟踪方法的数字化二值图像拓扑结构分析算法，得到边缘图的轮廓坐标集合。
7.根据权利要求4所述的体育比赛视频进球片段获取方法，其特征在于，结合视频先验，对得到的轮廓坐标进行分析，得到计分板的位置，包括：
基于得到的轮廓图的面积大小，筛除不符合面积范围的轮廓坐标，对得到的轮廓坐标进行NMS的操作，得到不重合的轮廓坐标集合；
根据视频先验输入的体育比赛视频的台标位置，对台标位置进行去除，得到最终的计分板位置。
8.根据权利要求4所述的体育比赛视频进球片段获取方法，其特征在于，判断是否处理当前帧，若处理当前帧，则获取当前帧的计分板，对得到的计分板进行文字检测，得到文字的位置，包括：
设置每N帧进行一次采样处理，若当前帧是采样视频帧，则获取当前帧的计分板，并进行文字检测；若当前帧不是采样视频帧，则不进行文字检测，返回读取输入的体育比赛视频的步骤，继续进行当前帧处理。
9.根据权利要求4所述的体育比赛视频进球片段获取方法，其特征在于，匹配当前处理帧和前一处理帧的文字内容，得到分数的变化，包括：
结合得到的文字位置和得到的文字内容，过滤包含非数字的文字内容；
计算仅包含数字的文字框的中心坐标，通过对前一处理帧和当前处理帧的文字框的中心坐标进行匹配，得到前后处理帧文字内容的对应关系；
计算两者差异，即前一处理帧和当前处理帧匹配到的文字框中当前处理帧的数字减去前一处理帧对应位置的数字的差值，结合比分变化原则，判定是否属于分数；所述比分变化原则为：一场比赛的得分仅增长或不变。
10.一种体育比赛视频进球片段获取终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求4-9任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010302493.XA CN111488847B (zh) | 2020-04-17 | 2020-04-17 | 体育比赛视频进球片段获取系统及方法、终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010302493.XA CN111488847B (zh) | 2020-04-17 | 2020-04-17 | 体育比赛视频进球片段获取系统及方法、终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111488847A true CN111488847A (zh) | 2020-08-04 |
| CN111488847B CN111488847B (zh) | 2024-02-02 |
Family
ID=71797871
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010302493.XA Active CN111488847B (zh) | 2020-04-17 | 2020-04-17 | 体育比赛视频进球片段获取系统及方法、终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111488847B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113507630A (zh) * | 2021-07-08 | 2021-10-15 | 北京百度网讯科技有限公司 | 比赛视频的拆条方法和装置 |
| CN113537207A (zh) * | 2020-12-22 | 2021-10-22 | 腾讯科技（深圳）有限公司 | 视频处理方法、模型的训练方法、装置以及电子设备 |
| CN113609981A (zh) * | 2021-08-04 | 2021-11-05 | 深圳市菲普莱体育发展有限公司 | 一种基于视频识别进球的装置以及识别判断方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102263907A (zh) * | 2011-08-04 | 2011-11-30 | 央视国际网络有限公司 | 比赛视频的播放控制方法及其片段信息的生成方法和装置 |
| US8358345B1 (en) * | 2007-03-19 | 2013-01-22 | Monitoring Technology Corporation | System and method of video capture for sports applications |
| CN102915438A (zh) * | 2012-08-21 | 2013-02-06 | 北京捷成世纪科技股份有限公司 | 一种视频字幕的提取方法及装置 |
| US20160365121A1 (en) * | 2015-06-11 | 2016-12-15 | David M. DeCaprio | Game Video Processing Systems and Methods |
| CN107241645A (zh) * | 2017-06-09 | 2017-10-10 | 成都索贝数码科技股份有限公司 | 一种通过对视频的字幕识别自动提取进球精彩瞬间的方法 |
| CN110210295A (zh) * | 2019-04-24 | 2019-09-06 | 北京理工大学 | 一种网格背景下的高精度靶标识别检测方法 |
| CN110472561A (zh) * | 2019-08-13 | 2019-11-19 | 新华智云科技有限公司 | 足球进球类型识别方法、装置、系统及存储介质 |
-
2020
- 2020-04-17 CN CN202010302493.XA patent/CN111488847B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8358345B1 (en) * | 2007-03-19 | 2013-01-22 | Monitoring Technology Corporation | System and method of video capture for sports applications |
| CN102263907A (zh) * | 2011-08-04 | 2011-11-30 | 央视国际网络有限公司 | 比赛视频的播放控制方法及其片段信息的生成方法和装置 |
| CN102915438A (zh) * | 2012-08-21 | 2013-02-06 | 北京捷成世纪科技股份有限公司 | 一种视频字幕的提取方法及装置 |
| US20160365121A1 (en) * | 2015-06-11 | 2016-12-15 | David M. DeCaprio | Game Video Processing Systems and Methods |
| CN107241645A (zh) * | 2017-06-09 | 2017-10-10 | 成都索贝数码科技股份有限公司 | 一种通过对视频的字幕识别自动提取进球精彩瞬间的方法 |
| CN110210295A (zh) * | 2019-04-24 | 2019-09-06 | 北京理工大学 | 一种网格背景下的高精度靶标识别检测方法 |
| CN110472561A (zh) * | 2019-08-13 | 2019-11-19 | 新华智云科技有限公司 | 足球进球类型识别方法、装置、系统及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 刘亚洲;刘国荣;王田甲;: "基于Harris角点的彩色图像文字检测", 微电子学与计算机, no. 10 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113537207A (zh) * | 2020-12-22 | 2021-10-22 | 腾讯科技（深圳）有限公司 | 视频处理方法、模型的训练方法、装置以及电子设备 |
| CN113537207B (zh) * | 2020-12-22 | 2023-09-12 | 腾讯科技（深圳）有限公司 | 视频处理方法、模型的训练方法、装置以及电子设备 |
| CN113507630A (zh) * | 2021-07-08 | 2021-10-15 | 北京百度网讯科技有限公司 | 比赛视频的拆条方法和装置 |
| CN113609981A (zh) * | 2021-08-04 | 2021-11-05 | 深圳市菲普莱体育发展有限公司 | 一种基于视频识别进球的装置以及识别判断方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111488847B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Duan et al. | Corner proposal network for anchor-free, two-stage object detection | |
| US10896349B2 (en) | Text detection method and apparatus, and storage medium | |
| CN103927387B (zh) | 图像检索系统及其相关方法和装置 | |
| CN111488847A (zh) | 体育比赛视频进球片段获取系统及方法、终端 | |
| CN106162223B (zh) | 一种新闻视频切分方法和装置 | |
| CN111462183A (zh) | 一种基于注意力机制双流网络的行为识别方法及系统 | |
| CN105868708A (zh) | 一种图像目标识别方法及装置 | |
| CN110460838B (zh) | 一种镜头切换的检测方法、装置及计算机设备 | |
| CN112487848B (zh) | 文字识别方法和终端设备 | |
| CN107330027B (zh) | 一种弱监督的深度台标检测方法 | |
| CN105069457B (zh) | 图像识别方法和装置 | |
| CN109919060A (zh) | 一种基于特征匹配的身份证内容识别系统及方法 | |
| CN110674886B (zh) | 一种融合多层级特征的视频目标检测方法 | |
| CN109145906B (zh) | 目标对象的图像确定方法、装置、设备及存储介质 | |
| CN111652140A (zh) | 基于深度学习的题目精准分割方法、装置、设备和介质 | |
| CN111159150A (zh) | 一种数据扩充方法及装置 | |
| CN109508716B (zh) | 一种图像文字的定位方法及装置 | |
| CN113569687B (zh) | 基于双流网络的场景分类方法、系统、设备及介质 | |
| CN103092929B (zh) | 一种视频摘要的生成方法及装置 | |
| CN105404682A (zh) | 一种基于数字图像内容的图书检索方法 | |
| CN107730532B (zh) | 一种羽毛球运动轨迹跟踪方法、系统、介质及设备 | |
| CN103353939A (zh) | 动态背景下图像特征对象模版提取及识别方法 | |
| CN112749704A (zh) | 文本区域的检测方法、装置和服务器 | |
| CN112749599A (zh) | 图像增强方法、装置和服务器 | |
| CN111476132A (zh) | 视频场景识别方法、装置及电子设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |