CN110543856B - 足球射门时刻识别方法、装置、存储介质及计算机设备 - Google Patents

足球射门时刻识别方法、装置、存储介质及计算机设备 Download PDF

Info

Publication number
CN110543856B
CN110543856B CN201910836556.7A CN201910836556A CN110543856B CN 110543856 B CN110543856 B CN 110543856B CN 201910836556 A CN201910836556 A CN 201910836556A CN 110543856 B CN110543856 B CN 110543856B
Authority
CN
China
Prior art keywords
candidate
football
shooting
video
moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910836556.7A
Other languages
English (en)
Other versions
CN110543856A (zh
Inventor
王灿进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinhua Zhiyun Technology Co ltd
Original Assignee
Xinhua Zhiyun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinhua Zhiyun Technology Co ltd filed Critical Xinhua Zhiyun Technology Co ltd
Priority to CN201910836556.7A priority Critical patent/CN110543856B/zh
Publication of CN110543856A publication Critical patent/CN110543856A/zh
Application granted granted Critical
Publication of CN110543856B publication Critical patent/CN110543856B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种足球射门时刻识别方法，该方法包括：获取待识别视频的每个时刻足球的运动特征；对待识别视频的每个时刻，判断足球的运动特征是否满足预设的射门匹配条件；响应于判定足球的运动特征满足射门匹配条件，将待识别视频中对应的时刻确定为候选射门时刻；根据待识别视频中每个候选射门时刻对应的画面，确定每个候选射门时刻对应的候选带球人集合；对候选带球人集合中的候选带球人进行姿势识别；响应于识别出候选带球人集合中的任意一个候选带球人的姿势为射门姿势，将对应的候选射门时刻确定为足球射门时刻。本发明不需要球员佩戴传感器便能够识别出足球比赛中的射门时刻。同时本发明还提供一种足球射门时刻识别装置、系统及存储介质。

Description

足球射门时刻识别方法、装置、存储介质及计算机设备
技术领域
本发明涉及计算机视觉技术领域，尤其涉及足球射门时刻识别方法、装置、存储介质及计算机设备。
背景技术
足球运动是最受欢迎的体育运动之一，各大足球比赛视频亦受到广大球迷的关注。足球比赛中的射门时刻是每场比赛的重要瞬间。通过识别足球比赛中的射门时刻，比赛视频的观看者可以快速聚焦足球比赛视频中的射门视频片段，有利于提升观看体验，进一步地，观看者可以进行射门人动作分析、攻守方阵型分析等，观看者在此基础上还可以改进足球比赛战术。
目前，最直接的方案是通过人观看比赛视频，肉眼选取射门时刻。但这种方案需要人全程观看视频，人力成本过高。
申请公布号为CN106529387A的发明专利申请《球员踢足球的运动状态分析方法及终端》公开了利用固定在球员身体上的传感器来获得部分肢体的角速度、加速度和地磁场数据，将这些数据输入踢球运动状态识别模型来识别带球、射门、长传、短传等。然而，该方案需要球员佩戴传感器，这不仅对硬件的要求较高，而且在大部分足球比赛中难以普及。
发明内容
基于此，有必要针对上述技术问题，提供一种不需要球员佩戴传感器便能够识别出足球比赛中的射门时刻的足球射门时刻识别方法、装置、存储介质及计算机设备。
一种足球射门时刻识别方法，所述方法包括：
获取待识别视频的每个时刻足球的运动特征；
对所述待识别视频的每个时刻，判断所述足球的运动特征是否满足预设的射门匹配条件；
响应于判定所述足球的运动特征满足所述射门匹配条件，将所述待识别视频中对应的时刻确定为候选射门时刻；
根据所述待识别视频中每个所述候选射门时刻对应的画面，确定每个所述候选射门时刻对应的候选带球人集合；
对每个所述候选射门时刻，对所述候选带球人集合中的候选带球人进行姿势识别；
响应于识别出所述候选带球人集合中的任意一个候选带球人的姿势为射门姿势，将所述候选带球人集合对应的所述候选射门时刻确定为足球射门时刻。
一种足球射门时刻识别装置，所述装置包括：第一获取模块、第一判断模块、第一响应模块、第一确定模块、姿势识别模块和第二确定模块。
第一获取模块用于获取待识别视频的每个时刻足球的运动特征；
第一判断模块用于对所述待识别视频的每个时刻，判断所述足球的运动特征是否满足预设的射门匹配条件；
第一响应模块用于响应于判定所述足球的运动特征满足所述射门匹配条件，将所述待识别视频中对应的时刻确定为候选射门时刻；
第一确定模块用于根据所述待识别视频中每个所述候选射门时刻对应的画面，确定每个所述候选射门时刻对应的候选带球人集合；
姿势识别模块用于对每个所述候选射门时刻，对所述候选带球人集合中的候选带球人进行姿势识别；
第二确定模块用于响应于识别出所述候选带球人集合中的任意一个候选带球人的姿势为射门姿势，将所述候选带球人集合对应的所述候选射门时刻确定为足球射门时刻。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述任一实施例所述的足球射门时刻识别方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一实施例所述的足球射门时刻识别方法。
相对于现有技术，本发明具有如下突出的有益效果：本发明提供的足球射门时刻识别方法、装置、存储介质及计算机设备，通过对待识别视频的每个时刻判断足球的运动特征是否与射门匹配条件相符，从足球的角度初步确定可能射门的足球，从而筛选候选射门时刻；然后通过确定每个候选射门时刻对应的候选带球人集合，并对每个候选射门时刻，对候选带球人集合中的候选带球人进行姿势识别，以及响应于识别出候选带球人集合中的任意一个候选带球人的姿势为射门姿势，将候选带球人集合对应的候选射门时刻确定为足球射门时刻，通过带球人姿势进一步确定射门时刻，从而有效识别视频中的足球比赛射门时刻，不需要球员佩戴传感器，提高了智能化程度。
附图说明
图1为实施例一中足球射门时刻识别方法的流程示意图；
图2为实施例一中步骤S140的流程示意图；
图3为实施例一中步骤S150的流程示意图；
图4为实施例二中足球射门时刻识别方法的流程示意图；
图5为实施例二中步骤S320的流程示意图；
图6为实施例二中步骤S370的流程示意图；
图7为实施例三中足球射门时刻识别方法的流程示意图；
图8为一个实施例中足球射门时刻识别装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的足球射门时刻识别方法，可实现对足球比赛的直播或电视转播视频进行足球射门时刻识别。
实施例一
如图1所示，提供了一种足球射门时刻识别方法，该方法可以程序形式应用于服务器。服务器可以是独立服务器，也可以是由多个服务器组成的服务器集群。该方法包括以下步骤：
步骤S110、获取待识别视频的每个时刻足球的运动特征。
其中，待识别视频可以是是足球比赛的电视直播视频或者转播视频。该视频可以是整场足球比赛的视频，也可以是足球比赛的集锦视频，还可以是多场足球比赛拼接的视频，本发明对视频长度不做限制。待识别视频的每个时刻为待识别视频的每帧画面对应的时刻。
具体地，运动特征可以包括速度、加速度、足球与球门的位置关系等。
应当理解的是，待识别视频的每个时刻对应的画面中不一定都会出现足球，在具体实现时，在执行步骤S110时可将没有出现足球的画面忽略。
步骤S120、对待识别视频的每个时刻，判断足球的运动特征是否满足预设的射门匹配条件。
其中，射门匹配条件用于表示足球的运动突然变化，且足球往球门的方向做加速运动。具体地，可通过加速度的大小来衡量足球的运动是否突然变化。
应当理解的是，足球的运动特征满足射门匹配条件时，足球可能射门，也可能没有射门。例如，足球被障碍物反弹后可能会满足射门匹配条件，但是该足球并没有射门的情况。
步骤S130、响应于判定足球的运动特征满足射门匹配条件，将待识别视频中对应的时刻确定为候选射门时刻。
步骤S140、根据待识别视频中每个候选射门时刻对应的画面，确定每个候选射门时刻对应的候选带球人集合。
其中，候选带球人，即画面中可能带球的人。
具体地，结合图2所示，步骤S140包括：
步骤S1401、检测每个所述候选射门时刻对应的画面中出现的球员的位置；
步骤S1402、对每个所述候选射门时刻，计算对应的画面中出现的球员的位置与所述足球的位置之间的距离；
步骤S1403、对每个所述候选射门时刻，将所述距离小于预设的距离阈值的球员确定为候选带球人，以形成所述候选射门时刻的候选带球人集合。
其中，该距离阈值为经验值。
应当理解的是，待识别视频中每个候选射门时刻对应的画面中，不一定都会出现候选带球人，例如，画面中没有人，在这种情况下，可将没有候选带球人集合的画面忽略。
步骤S150、对每个候选射门时刻，对候选带球人集合中的候选带球人进行姿势识别。
具体地，结合图3所示，步骤S150包括：
步骤S1501、对每个候选射门时刻，提取候选带球人集合中的候选带球人的特征。
具体地，步骤S1501包括：对每个候选射门时刻，基于神经网络提取候选带球人集合中的候选带球人的图片特征。
神经网络可以是Resnet，也可以是Densenet，还可以是其他神经网络。
步骤S1502、将候选带球人集合中的候选带球人的特征输入至预设的姿势识别模型，以识别出候选带球人的姿势。其中，姿势识别模型为通过第二训练数据训练二分类器所生成。第二训练数据包括多张标注了射门球员与非射门球员的足球比赛图片。
步骤S160、响应于识别出所述候选带球人集合中的任意一个候选带球人的姿势为射门姿势，将所述候选带球人集合对应的候选射门时刻确定为足球射门时刻。
本实施例通过对待识别视频的每个时刻判断足球的运动特征是否与射门匹配条件相符，从足球的角度初步确定可能射门的足球，从而筛选候选射门时刻；然后通过确定每个候选射门时刻对应的候选带球人集合，并对每个候选射门时刻，对候选带球人集合中的候选带球人进行姿势识别，以及响应于识别出候选带球人集合中的任意一个候选带球人的姿势为射门姿势，将候选带球人集合对应的候选射门时刻确定为足球射门时刻，通过带球人姿势进一步确定射门时刻，从而有效识别视频中的足球比赛射门时刻，不需要球员佩戴传感器，提高了智能化程度。
应该理解的是，虽然图1-图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-图3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
实施例二
如图4所示，提供了一种足球射门时刻识别方法，该方法可以程序形式应用于服务器。该方法包括以下步骤：
步骤S310、检测待识别视频的每一帧画面中出现的足球、球门和球员的位置。
具体地，所述方法还包括：
在根据所述待识别视频中每个所述候选射门时刻对应的画面，确定每个所述候选射门时刻对应的候选带球人集合之前，获取第一训练数据；所述第一训练数据包括多张足球比赛图片；
对每张所述足球比赛图片中的足球、球门和球员进行检测框标注；通常，目标检测算中，对于每个检测框会生成一个类别标签，用于表示这个检测框里面是足球、球员还是球门。
将每张所述足球比赛图片作为输入，将对应的图片中已标注的足球、球员和球门作为目标，对基于深度学习的目标检测算法进行训练，得到检测模型。
则步骤S310包括：使用该检测模型检测待识别视频的每一帧画面中出现的足球、球门和球员的位置。
在其他实施方式中，可基于背景建模的方法，通过对球场进行建模，然后利用前景相对于背景的变化提取前景目标的轮廓，计算轮廓与模版的相似度来区分球、球员和球门。在其他实施方式中，还可以基于LBP或HOG的局部不变特征的检测方法来检测待识别视频的每一帧画面中出现的足球、球门和球员的位置。
步骤S320、根据待识别视频的视频时序、每一帧画面中足球的位置，确定待识别视频的每个时刻足球的速度和加速度。
具体地，结合图5所示，步骤S320包括：
步骤S3201、根据所述待识别视频的视频时序和所述每一帧画面中足球的位置生成所述足球的运动轨迹。
具体地，步骤S3201包括：基于卡尔曼滤波算法或sort跟踪算法，根据所述待识别视频的视频时序和所述每一帧画面中足球的位置生成所述足球的运动轨迹。即通过跟踪算法对足球的位置进行连通计算，得到足球的轨迹。在这个过程中，跟踪算法会自动填补检测失败、纠正检测错误的足球位置，提高准确性。
步骤S3202、根据所述足球的运动轨迹确定所述待识别视频的每个时刻所述足球的速度和加速度。
其中，速度和加速度为矢量。
步骤S330、检测待识别视频的每一帧画面中出现的球门的位置。
步骤S340、对待识别视频的每个时刻，判断足球的速度和加速度、以及位置关系向量是否满足预设的射门匹配条件。其中，位置关系向量是从足球的位置指向所述球门的位置的向量。
步骤S350、响应于判定足球的速度和加速度、以及位置关系向量满足射门匹配条件，将待识别视频中对应的时刻确定为候选射门时刻。
进一步，射门匹配条件为：所述足球的加速度大小大于第一预设阈值、第一夹角的余弦值大于第二预设阈值、以及第二夹角的余弦值大于第三预设阈值；其中，所述第一夹角为所述位置关系向量与所述足球的加速度方向之间的夹角；所述第二夹角为所述位置关系向量与所述足球的速度方向之间的夹角。
其中，第一预设阈值、第二预设阈值和第三预设阈值为经验值。
步骤S360、根据待识别视频中每个候选射门时刻对应的画面，确定每个候选射门时刻对应的候选带球人集合。
步骤S370、对每个候选射门时刻，对候选带球人集合中的候选带球人进行姿势识别。
具体地，结合图6所示，步骤S370包括：
步骤S3701、对每个候选射门时刻，提取候选带球人集合中的候选带球人的特征。
具体地，步骤S3701包括：
对每个候选射门时刻，通过OpenPose模型提取候选带球人的骨骼点的特征。
步骤S3702、将候选带球人集合中的候选带球人的特征输入至预设的姿势识别模型，以识别出候选带球人的姿势。其中，姿势识别模型为通过第二训练数据训练二分类器所生成。第二训练数据包括多张标注了射门球员与非射门球员的足球比赛图片。
步骤S380、响应于识别出候选带球人集合中的任意一个候选带球人的姿势为射门姿势，将候选带球人集合对应的候选射门时刻确定为足球射门时刻。
本实施例提供的足球射门时刻识别方法、装置、存储介质及计算机设备，通过对待识别视频的每个时刻判断足球的运动特征是否与射门匹配条件相符，以初步筛选候选射门时刻；通过确定每个候选射门时刻对应的候选带球人集合，并对每个候选射门时刻，对候选带球人集合中的候选带球人进行姿势识别，以及响应于识别出候选带球人集合中的任意一个候选带球人的姿势为射门姿势，将候选带球人集合对应的候选射门时刻确定为足球射门时刻，通过带球人姿势进一步确定射门时刻，从而有效识别视频中的足球比赛射门时刻，不需要球员佩戴传感器，提高了智能化程度。
应该理解的是，虽然图4-图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图4-图6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
实施例三
如图7所示，提供了一种足球射门时刻识别方法，该方法可应用于终端。终端包括但不限于笔记本电脑、个人计算机和台式电脑。该方法包括以下步骤：
步骤S510、获取待识别视频的每个时刻足球的运动特征。
具体地，步骤S510包括：
检测待识别视频的每一帧画面中出现的足球的位置；
根据所述待识别视频的视频时序、所述每一帧画面中所述足球的位置，确定所述待识别视频的每个时刻所述足球的速度和加速度。
可选的，可基于深度学习的目标检测算法检测待识别视频的每一帧画面中出现的足球、球门和球员的位置。通常，目标检测算法会对检测到的足球、球门和球员标注检测框。
具体地，所述根据所述待识别视频的视频时序、所述每一帧画面中所述足球的位置，确定所述待识别视频的每个时刻所述足球的速度和加速度，包括：
根据所述待识别视频的视频时序和所述每一帧画面中足球的位置生成所述足球的运动轨迹；
根据所述足球的运动轨迹确定所述待识别视频的每个时刻所述足球的速度和加速度。
其中，所述根据所述待识别视频的视频时序和所述每一帧画面中足球的位置生成所述足球的运动轨迹，具体为：
基于卡尔曼滤波算法或sort跟踪算法，根据所述待识别视频的视频时序和所述每一帧画面中足球的位置生成所述足球的运动轨迹。
具体的，通过下式计算足球的速度和加速度
Figure BDA0002192350360000101
Figure BDA0002192350360000102
其中
Figure BDA0002192350360000103
分别是t时刻足球的速度和加速度,
Figure BDA0002192350360000104
是t时刻足球的位置。
步骤S520、对待识别视频的每个时刻，判断足球的运动特征是否满足预设的射门匹配条件。
具体地，步骤S520包括：
检测待识别视频的每一帧画面中出现的球门的位置；
对所述待识别视频的每个时刻，判断所述足球的速度和加速度、以及位置关系向量是否满足预设的射门匹配条件；位置关系向量是从所述足球的位置指向所述球门的位置的向量。
步骤S530、响应于判定足球的运动特征满足射门匹配条件，将待识别视频中对应的时刻确定为候选射门时刻。
具体地，射门匹配条件为：
Figure BDA0002192350360000105
cos(θ)>Tθ
cos(α)>Tα
其中，θ是
Figure BDA0002192350360000106
与
Figure BDA0002192350360000107
的夹角；α是
Figure BDA0002192350360000108
与
Figure BDA0002192350360000109
的夹角；g表示球门；
Figure BDA00021923503600001010
表示t时刻从足球的位置指向球门的位置的向量，即位置关系向量；
Ta为第一预设阈值；Tθ为第二预设阈值；Tα为第三预设阈值。
满足射门匹配条件的所有t构成候选射门时刻的集合T。
步骤S540、根据待识别视频中每个候选射门时刻对应的画面，确定每个候选射门时刻对应的候选带球人集合。
具体地，步骤S540包括：
对每个所述候选射门时刻，确定对应的画面中出现的球员与所述足球之间的距离；
对每个所述候选射门时刻，将所述距离小于预设的距离阈值的球员确定为候选带球人，以形成所述候选射门时刻的候选带球人集合。
具体地，从视频流中取出t时刻对应的图片I，利用步骤S510的检测结果，提取所有球员的检测框构成集合BBPlayer。对BBPlayer中的每个检测框，计算其与足球的距离dpb，满足条件dpb<Td的球员为候选的带球人，Td为预先设定的距离阈值。图片I中的候选带球人可能是一个，也可能是多个。
步骤S550、对每个候选射门时刻，提取候选带球人集合中的候选带球人的特征。
步骤S560、将候选带球人集合中的候选带球人的特征输入至预设的姿势识别模型，以识别出候选带球人的姿势。其中，姿势识别模型为通过第二训练数据训练二分类器所生成。第二训练数据包括多张标注了射门球员与非射门球员的足球比赛图片。
步骤S570、响应于识别出所述候选带球人集合中的任意一个候选带球人的姿势为射门姿势，将所述候选带球人集合对应的所述候选射门时刻确定为足球射门时刻。
对于步骤S550～步骤S570，对T中的每个候选射门时刻t，生成候选带球人集合，并提取集合中所有候选带球人的特征，进行姿势识别。
如果t时刻BBPlayer中任一个带球人的姿势被判定为射门姿势，则将t时刻确定为足球射门时刻。
本实施例通过对待识别视频的每个时刻判断足球的运动特征是否与射门匹配条件相符，从足球的角度初步确定可能射门的足球，从而筛选候选足球射门时刻；然后通过确定每个候选射门时刻对应的候选带球人集合，并对每个候选射门时刻，对候选带球人集合中的候选带球人进行姿势识别，以及响应于识别出候选带球人集合中的任意一个候选带球人的姿势为射门姿势，将候选带球人集合对应的候选射门时刻确定为足球射门时刻，通过带球人姿势进一步确定射门时刻，从而有效识别视频中的足球比赛射门时刻，不需要球员佩戴传感器，提高了智能化程度。
应该理解的是，虽然图7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
参见图8，其是本发明提供的一实施方式的足球射门时刻识别装置的结构示意图。如图8所示，足球射门时刻识别装置2包括第一获取模块210、第一判断模块220、第一响应模块230、第一确定模块240、姿势识别模块250和第二确定模块260。
第一获取模块210用于获取待识别视频的每个时刻足球的运动特征；
第一判断模块220用于对所述待识别视频的每个时刻，判断所述足球的运动特征是否满足预设的射门匹配条件；
第一响应模块230用于响应于判定所述足球的运动特征满足所述射门匹配条件，将所述待识别视频中对应的时刻确定为候选射门时刻；
第一确定模块240用于根据所述待识别视频中每个所述候选射门时刻对应的画面，确定每个所述候选射门时刻对应的候选带球人集合；
姿势识别模块250用于对每个所述候选射门时刻，对所述候选带球人集合中的候选带球人进行姿势识别；
第二确定模块260用于响应于识别出所述候选带球人集合中的任意一个候选带球人的姿势为射门姿势，将所述候选带球人集合对应的所述候选射门时刻确定为足球射门时刻。
在一个实施例中，第一获取模块210包括足球位置检测单元和运动特征确定单元。
足球位置检测单元用于检测待识别视频的每一帧画面中出现的足球的位置；
运动特征确定单元用于根据所述待识别视频的视频时序、所述每一帧画面中所述足球的位置，确定所述待识别视频的每个时刻所述足球的速度和加速度。
第一判断模块220包括球门检测单元和条件判断单元。
球门检测单元用于检测待识别视频的每一帧画面中出现的球门的位置；
条件判断单元用于对所述待识别视频的每个时刻，判断所述足球的速度和加速度、以及位置关系向量是否满足预设的射门匹配条件；所述位置关系向量是从所述足球的位置指向所述球门的位置的向量；
第一响应模块230包括候选射门时刻确定单元，候选射门时刻确定单元用于响应于判定所述足球的速度和加速度、以及所述位置关系向量满足所述射门匹配条件，将所述待识别视频中对应的时刻确定为候选射门时刻。
在一个实施例中，所述射门匹配条件为：所述足球的加速度大小大于第一预设阈值、第一夹角的余弦值大于第二预设阈值、以及第二夹角的余弦值大于第三预设阈值；其中，所述第一夹角为所述位置关系向量与所述足球的加速度方向之间的夹角；所述第二夹角为所述位置关系向量与所述足球的速度方向之间的夹角。
在一个实施例中，运动特征确定单元包括运动轨迹生成子单元和运动特征确定子单元。
运动轨迹生成子单元用于根据所述待识别视频的视频时序和所述每一帧画面中足球的位置生成所述足球的运动轨迹；
运动特征确定子单元用于根据所述足球的运动轨迹确定所述待识别视频的每个时刻所述足球的速度和加速度。
在一个实施例中，运动轨迹生成子单元包括：第一子单元，用于基于卡尔曼滤波算法或sort跟踪算法，根据所述待识别视频的视频时序和所述每一帧画面中足球的位置生成所述足球的运动轨迹。
在一个实施例中，第一确定模块240包括距离确定单元和候选带球人确定单元。
距离确定单元用于对每个所述候选射门时刻，确定对应的画面中出现的球员与所述足球之间的距离；
候选带球人确定单元用于对每个所述候选射门时刻，将所述距离小于预设的距离阈值的球员确定为候选带球人，以形成所述候选射门时刻的候选带球人集合。
在一个实施例中，姿势识别模块250包括特征提取单元和姿势识别单元。
特征提取单元用于对每个所述候选射门时刻，提取所述候选带球人集合中的候选带球人的特征；
姿势识别单元用于将所述候选带球人集合中的候选带球人的特征输入至预设的姿势识别模型，以识别出所述候选带球人的姿势。其中，所述姿势识别模型为通过第二训练数据训练二分类器所生成；所述第二训练数据包括多张标注了射门球员与非射门球员的足球比赛图片。
关于足球射门时刻识别装置的具体限定可以参见上文中对于足球射门时刻识别方法的限定，在此不再赘述。上述足球射门时刻识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种足球射门时刻识别方法。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待识别视频的每个时刻足球的运动特征；
对所述待识别视频的每个时刻，判断所述足球的运动特征是否满足预设的射门匹配条件；
响应于判定所述足球的运动特征满足所述射门匹配条件，将所述待识别视频中对应的时刻确定为候选射门时刻；
根据所述待识别视频中每个所述候选射门时刻对应的画面，确定每个所述候选射门时刻对应的候选带球人集合；
对每个所述候选射门时刻，对所述候选带球人集合中的候选带球人进行姿势识别；
响应于识别出所述候选带球人集合中的任意一个候选带球人的姿势为射门姿势，将所述候选带球人集合对应的所述候选射门时刻确定为足球射门时刻。
在一个实施例中，所述获取待识别视频的每个时刻足球的运动特征，包括：
检测待识别视频的每一帧画面中出现的足球的位置；
根据所述待识别视频的视频时序、所述每一帧画面中所述足球的位置，确定所述待识别视频的每个时刻所述足球的速度和加速度；
则所述对所述待识别视频的每个时刻，判断所述足球的运动特征是否满足预设的射门匹配条件，包括：
检测待识别视频的每一帧画面中出现的球门的位置；
对所述待识别视频的每个时刻，判断所述足球的速度和加速度、以及位置关系向量是否满足预设的射门匹配条件；所述位置关系向量是从所述足球的位置指向所述球门的位置的向量；
所述响应于判定所述足球的运动特征满足所述射门匹配条件，将所述待识别视频中对应的时刻确定为候选射门时刻，包括：
响应于判定所述足球的速度和加速度、以及所述位置关系向量满足所述射门匹配条件，将所述待识别视频中对应的时刻确定为候选射门时刻。
在一个实施例中，所述射门匹配条件为：所述足球的加速度大小大于第一预设阈值、第一夹角的余弦值大于第二预设阈值、以及第二夹角的余弦值大于第三预设阈值；其中，所述第一夹角为所述位置关系向量与所述足球的加速度方向之间的夹角；所述第二夹角为所述位置关系向量与所述足球的速度方向之间的夹角。
在一个实施例中，所述根据所述待识别视频的视频时序、所述每一帧画面中所述足球的位置，确定所述待识别视频的每个时刻所述足球的速度和加速度，包括：
根据所述待识别视频的视频时序和所述每一帧画面中足球的位置生成所述足球的运动轨迹；
根据所述足球的运动轨迹确定所述待识别视频的每个时刻所述足球的速度和加速度。
在一个实施例中，所述根据所述待识别视频的视频时序和所述每一帧画面中足球的位置生成所述足球的运动轨迹，具体为：
基于卡尔曼滤波算法或sort跟踪算法，根据所述待识别视频的视频时序和所述每一帧画面中足球的位置生成所述足球的运动轨迹。
在一个实施例中，所述根据所述待识别视频中每个所述候选射门时刻对应的画面，确定每个所述候选射门时刻对应的候选带球人集合，包括：
对每个所述候选射门时刻，确定对应的画面中出现的球员与所述足球之间的距离；
对每个所述候选射门时刻，将所述距离小于预设的距离阈值的球员确定为候选带球人，以形成所述候选射门时刻的候选带球人集合。
在一个实施例中，所述对每个所述候选射门时刻，对所述候选带球人集合中的候选带球人进行姿势识别，包括：
对每个所述候选射门时刻，提取所述候选带球人集合中的候选带球人的特征；
将所述候选带球人集合中的候选带球人的特征输入至预设的姿势识别模型，以识别出所述候选带球人的姿势；其中，所述姿势识别模型为通过第二训练数据训练二分类器所生成；所述第二训练数据包括多张标注了射门球员与非射门球员的足球比赛图片。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待识别视频的每个时刻足球的运动特征；
对所述待识别视频的每个时刻，判断所述足球的运动特征是否满足预设的射门匹配条件；
响应于判定所述足球的运动特征满足所述射门匹配条件，将所述待识别视频中对应的时刻确定为候选射门时刻；
根据所述待识别视频中每个所述候选射门时刻对应的画面，确定每个所述候选射门时刻对应的候选带球人集合；
对每个所述候选射门时刻，对所述候选带球人集合中的候选带球人进行姿势识别；
响应于识别出所述候选带球人集合中的任意一个候选带球人的姿势为射门姿势，将所述候选带球人集合对应的所述候选射门时刻确定为足球射门时刻。
在一个实施例中，所述获取待识别视频的每个时刻足球的运动特征，包括：
检测待识别视频的每一帧画面中出现的足球的位置；
根据所述待识别视频的视频时序、所述每一帧画面中所述足球的位置，确定所述待识别视频的每个时刻所述足球的速度和加速度；
则所述对所述待识别视频的每个时刻，判断所述足球的运动特征是否满足预设的射门匹配条件，包括：
检测待识别视频的每一帧画面中出现的球门的位置；
对所述待识别视频的每个时刻，判断所述足球的速度和加速度、以及位置关系向量是否满足预设的射门匹配条件；所述位置关系向量是从所述足球的位置指向所述球门的位置的向量；
所述响应于判定所述足球的运动特征满足所述射门匹配条件，将所述待识别视频中对应的时刻确定为候选射门时刻，包括：
响应于判定所述足球的速度和加速度、以及所述位置关系向量满足所述射门匹配条件，将所述待识别视频中对应的时刻确定为候选射门时刻。
在一个实施例中，所述射门匹配条件为：所述足球的加速度大小大于第一预设阈值、第一夹角的余弦值大于第二预设阈值、以及第二夹角的余弦值大于第三预设阈值；其中，所述第一夹角为所述位置关系向量与所述足球的加速度方向之间的夹角；所述第二夹角为所述位置关系向量与所述足球的速度方向之间的夹角。
在一个实施例中，所述根据所述待识别视频的视频时序、所述每一帧画面中所述足球的位置，确定所述待识别视频的每个时刻所述足球的速度和加速度，包括：
根据所述待识别视频的视频时序和所述每一帧画面中足球的位置生成所述足球的运动轨迹；
根据所述足球的运动轨迹确定所述待识别视频的每个时刻所述足球的速度和加速度。
在一个实施例中，所述根据所述待识别视频的视频时序和所述每一帧画面中足球的位置生成所述足球的运动轨迹，具体为：
基于卡尔曼滤波算法或sort跟踪算法，根据所述待识别视频的视频时序和所述每一帧画面中足球的位置生成所述足球的运动轨迹。
在一个实施例中，所述根据所述待识别视频中每个所述候选射门时刻对应的画面，确定每个所述候选射门时刻对应的候选带球人集合，包括：
对每个所述候选射门时刻，确定对应的画面中出现的球员与所述足球之间的距离；
对每个所述候选射门时刻，将所述距离小于预设的距离阈值的球员确定为候选带球人，以形成所述候选射门时刻的候选带球人集合。
在一个实施例中，所述对每个所述候选射门时刻，对所述候选带球人集合中的候选带球人进行姿势识别，包括：
对每个所述候选射门时刻，提取所述候选带球人集合中的候选带球人的特征；
将所述候选带球人集合中的候选带球人的特征输入至预设的姿势识别模型，以识别出所述候选带球人的姿势；其中，所述姿势识别模型为通过第二训练数据训练二分类器所生成；所述第二训练数据包括多张标注了射门球员与非射门球员的足球比赛图片。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种足球射门时刻识别方法，其特征在于，包括：
获取待识别视频的每个时刻足球的运动特征；所述足球的运动特征包括所述足球的速度和加速度；
对所述待识别视频的每个时刻，判断所述足球的运动特征是否满足预设的射门匹配条件，所述对所述待识别视频的每个时刻，判断所述足球的运动特征是否满足预设的射门匹配条件包括：检测待识别视频的每一帧画面中出现的球门的位置；
对所述待识别视频的每个时刻，判断所述足球的速度和加速度、以及位置关系向量是否满足预设的射门匹配条件；所述位置关系向量是从所述足球的位置指向所述球门的位置的向量；
响应于判定所述足球的运动特征满足所述射门匹配条件，将所述待识别视频中对应的时刻确定为候选射门时刻；
根据所述待识别视频中每个所述候选射门时刻对应的画面，确定每个所述候选射门时刻对应的候选带球人集合；
对每个所述候选射门时刻，对所述候选带球人集合中的候选带球人进行姿势识别；
响应于识别出所述候选带球人集合中的任意一个候选带球人的姿势为射门姿势，将所述候选带球人集合对应的所述候选射门时刻确定为足球射门时刻。
2.如权利要求1所述的足球射门时刻识别方法，其特征在于，所述获取待识别视频的每个时刻足球的运动特征，包括：
检测待识别视频的每一帧画面中出现的足球的位置；
根据所述待识别视频的视频时序、所述每一帧画面中所述足球的位置，确定所述待识别视频的每个时刻所述足球的速度和加速度；
所述响应于判定所述足球的运动特征满足所述射门匹配条件，将所述待识别视频中对应的时刻确定为候选射门时刻，包括：
响应于判定所述足球的速度和加速度、以及所述位置关系向量满足所述射门匹配条件，将所述待识别视频中对应的时刻确定为候选射门时刻。
3.如权利要求2所述的足球射门时刻识别方法，其特征在于，所述射门匹配条件为：所述足球的加速度大小大于第一预设阈值、第一夹角的余弦值大于第二预设阈值、以及第二夹角的余弦值大于第三预设阈值；其中，所述第一夹角为所述位置关系向量与所述足球的加速度方向之间的夹角；所述第二夹角为所述位置关系向量与所述足球的速度方向之间的夹角。
4.如权利要求2或3所述的足球射门时刻识别方法，其特征在于，所述根据所述待识别视频的视频时序、所述每一帧画面中所述足球的位置，确定所述待识别视频的每个时刻所述足球的速度和加速度，包括：
根据所述待识别视频的视频时序和所述每一帧画面中足球的位置生成所述足球的运动轨迹；
根据所述足球的运动轨迹确定所述待识别视频的每个时刻所述足球的速度和加速度。
5.如权利要求4所述的足球射门时刻识别方法，其特征在于，所述根据所述待识别视频的视频时序和所述每一帧画面中足球的位置生成所述足球的运动轨迹，具体为：
基于卡尔曼滤波算法或sort跟踪算法，根据所述待识别视频的视频时序和所述每一帧画面中足球的位置生成所述足球的运动轨迹。
6.如权利要求1所述的足球射门时刻识别方法，其特征在于，所述根据所述待识别视频中每个所述候选射门时刻对应的画面，确定每个所述候选射门时刻对应的候选带球人集合，包括：
对每个所述候选射门时刻，确定对应的画面中出现的球员与所述足球之间的距离；
对每个所述候选射门时刻，将所述距离小于预设的距离阈值的球员确定为候选带球人，以形成所述候选射门时刻的候选带球人集合。
7.如权利要求1所述的足球射门时刻识别方法，其特征在于，所述对每个所述候选射门时刻，对所述候选带球人集合中的候选带球人进行姿势识别，包括：
对每个所述候选射门时刻，提取所述候选带球人集合中的候选带球人的特征；
将所述候选带球人集合中的候选带球人的特征输入至预设的姿势识别模型，以识别出所述候选带球人的姿势；其中，所述姿势识别模型为通过第二训练数据训练二分类器所生成；所述第二训练数据包括多张标注了射门球员与非射门球员的足球比赛图片。
8.一种足球射门时刻识别装置，其特征在于，包括：
第一获取模块，用于获取待识别视频的每个时刻足球的运动特征；
第一判断模块，用于对所述待识别视频的每个时刻，判断所述足球的运动特征是否满足预设的射门匹配条件；
第一响应模块，用于响应于判定所述足球的运动特征满足所述射门匹配条件，将所述待识别视频中对应的时刻确定为候选射门时刻；
第一确定模块，用于根据所述待识别视频中每个所述候选射门时刻对应的画面，确定每个所述候选射门时刻对应的候选带球人集合；
姿势识别模块，用于对每个所述候选射门时刻，对所述候选带球人集合中的候选带球人进行姿势识别；
第二确定模块，用于响应于识别出所述候选带球人集合中的任意一个候选带球人的姿势为射门姿势，将所述候选带球人集合对应的所述候选射门时刻确定为足球射门时刻。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述足球射门时刻识别方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述足球射门时刻识别的方法的步骤。
CN201910836556.7A 2019-09-05 2019-09-05 足球射门时刻识别方法、装置、存储介质及计算机设备 Active CN110543856B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910836556.7A CN110543856B (zh) 2019-09-05 2019-09-05 足球射门时刻识别方法、装置、存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910836556.7A CN110543856B (zh) 2019-09-05 2019-09-05 足球射门时刻识别方法、装置、存储介质及计算机设备

Publications (2)

Publication Number Publication Date
CN110543856A CN110543856A (zh) 2019-12-06
CN110543856B true CN110543856B (zh) 2022-04-22

Family

ID=68712609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910836556.7A Active CN110543856B (zh) 2019-09-05 2019-09-05 足球射门时刻识别方法、装置、存储介质及计算机设备

Country Status (1)

Country Link
CN (1) CN110543856B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110769178B (zh) * 2019-12-25 2020-05-19 北京影谱科技股份有限公司 自动生成足球比赛射门集锦的方法、装置及设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991358A (zh) * 2016-01-20 2017-07-28 上海慧体网络科技有限公司 基于全景视频的自动识别足球比赛进球的算法
CN106991685A (zh) * 2016-01-20 2017-07-28 上海慧体网络科技有限公司 一种在全景模式下对球赛视频中足球进行跟踪的算法
CN107463949A (zh) * 2017-07-14 2017-12-12 北京协同创新研究院 一种视频动作分类的处理方法及装置
CN109961039A (zh) * 2019-03-20 2019-07-02 上海者识信息科技有限公司 一种个人进球视频捕捉方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10489656B2 (en) * 2017-09-21 2019-11-26 NEX Team Inc. Methods and systems for ball game analytics with a mobile device
US10719712B2 (en) * 2018-02-26 2020-07-21 Canon Kabushiki Kaisha Classify actions in video segments using play state information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991358A (zh) * 2016-01-20 2017-07-28 上海慧体网络科技有限公司 基于全景视频的自动识别足球比赛进球的算法
CN106991685A (zh) * 2016-01-20 2017-07-28 上海慧体网络科技有限公司 一种在全景模式下对球赛视频中足球进行跟踪的算法
CN107463949A (zh) * 2017-07-14 2017-12-12 北京协同创新研究院 一种视频动作分类的处理方法及装置
CN109961039A (zh) * 2019-03-20 2019-07-02 上海者识信息科技有限公司 一种个人进球视频捕捉方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
足球比赛场景的三维再现和自动解说;杜威 等;《计算机辅助设计与图形学学报》;20020930;第14卷(第9期);第4节 *

Also Published As

Publication number Publication date
CN110543856A (zh) 2019-12-06

Similar Documents

Publication Publication Date Title
US11755952B2 (en) System and method for predictive sports analytics using body-pose information
Reyes et al. Featureweighting in dynamic timewarping for gesture recognition in depth data
JP6525453B2 (ja) オブジェクト位置推定システム、及びそのプログラム
US9600717B1 (en) Real-time single-view action recognition based on key pose analysis for sports videos
Fani et al. Hockey action recognition via integrated stacked hourglass network
CN111936212A (zh) 使用卷积神经网络对体育运动中的赛事进行检测的方法
JP6412998B1 (ja) 動体追跡装置、動体追跡方法、動体追跡プログラム
JP4886707B2 (ja) オブジェクト軌道識別装置、オブジェクト軌道識別方法、及びオブジェクト軌道識別プログラム
US10186044B2 (en) Person tracking method and person tracking device
Yang et al. Single shot multibox detector with kalman filter for online pedestrian detection in video
CN114625251A (zh) 基于vr的交互方法、装置、计算机设备及存储介质
Theagarajan et al. An automated system for generating tactical performance statistics for individual soccer players from videos
CN111582027B (zh) 身份认证方法、装置、计算机设备和存储介质
CN110543856B (zh) 足球射门时刻识别方法、装置、存储介质及计算机设备
Sokolova et al. Human identification by gait from event-based camera
US20220362630A1 (en) Method, device, and non-transitory computer-readable recording medium for estimating information on golf swing
Lee et al. Soccer event recognition technique based on pattern matching
Cheng et al. Ball state based parallel ball tracking and event detection for volleyball game analysis
Liu et al. Detecting and matching related objects with one proposal multiple predictions
CN111814514A (zh) 号码识别装置、方法以及电子设备
Zhang et al. Motion trajectory tracking of athletes with improved depth information-based KCF tracking method
CN110956098A (zh) 图像处理方法及相关设备
Archana et al. Tracking based event detection of singles broadcast tennis video
CN117333947B (zh) 一种羽毛球动作分析方法与系统
KR101658466B1 (ko) 열 영상 시퀀스 기반의 표적 분류 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant