CN112154482A - 球类运动影像分析装置及球类运动影像分析方法 - Google Patents

球类运动影像分析装置及球类运动影像分析方法 Download PDF

Info

Publication number
CN112154482A
CN112154482A CN201980033962.8A CN201980033962A CN112154482A CN 112154482 A CN112154482 A CN 112154482A CN 201980033962 A CN201980033962 A CN 201980033962A CN 112154482 A CN112154482 A CN 112154482A
Authority
CN
China
Prior art keywords
motion
frame
actor
ball
player
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980033962.8A
Other languages
English (en)
Other versions
CN112154482B (zh
Inventor
上田纯子
片山优麻
田靡雅基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN112154482A publication Critical patent/CN112154482A/zh
Application granted granted Critical
Publication of CN112154482B publication Critical patent/CN112154482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

球类运动影像分析装置接收各摄像机拍摄到的视频帧，使用接收到的多个视频帧计算球的三维位置的轨迹，基于球的轨迹的变化，判定是否发生了运动员针对球的动作，在发生了动作的情况下，选择该动作发生的时间点的视频帧作为动作帧，从动作帧识别进行了动作的运动员。

Description

球类运动影像分析装置及球类运动影像分析方法
技术领域
本发明涉及球类运动影像分析装置及球类运动影像分析方法。
背景技术
跟踪体育比赛中的运动员的动作并将其数据化以将所获得的数据用于队伍的策略规划和向体育观众的信息提供等中的技术已被实用化。目前，由分析员手动地进行该数据化，但因为耗费工夫，所以存在通过装置进行自动化的需求。例如，非专利文献1中公开了根据拍摄体育比赛所得的影像来自动地跟踪多个运动员的动作的技术。
现有技术文献
非专利文献
非专利文献1：Junliang Xing,Haizhou Ai,Liwei Liu,and Shihong Lao"Multiple Player Tracking in Sports Video:A Dual-Mode Two-Way BayesianInference Approach With Progressive Observation Modeling",IEEE TRANSACTIONSON IMAGE PROCESSING,VOL.20,NO.6,JUNE 2011
非专利文献2：Xina CHENG,Norikazu IKOMA,Masaaki HONDA and TakeshiIKENAGA"Multi-view 3D Ball Tracking with Abrupt Motion Adaptive System Model,Anti-occlusion Observation and Spatial Density based Recovery in SportsAnalysis",IEICE TRANS.FUNDAMENTALS,VOL.E94–A,NO.1JANUARY 2011
发明内容
发明要解决的问题
然而，若像非专利文献1那样跟踪体育比赛中的所有运动员的动作，则存在处理负荷高且容易产生误检测的问题。另一方面，对球类运动而言，重要的是确定对球进行了动作的运动员，在很多情况下未必需要跟踪所有运动员的动作。
本发明的非限定性的一方式有助于提供根据拍摄球类运动所得的影像来识别对球进行了动作的运动员的球类运动影像分析装置及球类运动影像分析方法。
解决问题的方案
本发明的一方式的球类运动影像分析装置是对球类运动的影像进行分析的球类运动影像分析装置，包括：影像接收部，接收处在不同位置的多个摄像机各自拍摄球类运动所得的多个视频帧；轨迹计算部，使用所述多个视频帧计算球类运动用的移动体的轨迹；动作判定部，基于所述移动体的轨迹的变化，判定是否发生了所述球类运动的运动员针对所述移动体了动作；动作帧选择部，在发生了所述动作的情况下，从所述多个视频帧中选择所述动作发生的时间点的视频帧作为动作帧；以及动作者识别部，从所述动作帧识别进行了所述动作的运动员。
此外，这些涵盖性的或具体的方式可通过系统、装置、方法、集成电路、计算机程序或记录介质来实现，也可通过系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合实现。
发明效果
根据本发明的一方式，能够根据拍摄球类运动所得的影像来识别对球进行了动作的运动员。
根据说明书和附图可以明确本发明的一方式的进一步的优点和效果。上述优点和/或效果通过若干个实施方式与说明书以及附图中公开的特征分别提供，不必为了获得一个或一个以上的同一特征的优点和/或效果而提供全部特征。
附图说明
图1是表示一实施方式的球类运动影像分析系统的概要的图。
图2是表示一实施方式的球类运动影像分析装置的结构的例子的图。
图3是表示一实施方式的分析结果信息的例子的图。
图4是表示一实施方式的检测区域和动作者区域的一例的图。
图5是表示一实施方式的检测区域和动作者区域的另一例的图。
图6A是在一实施方式的同一运动员判定处理中被判定为同一运动员的情况下的图。
图6B是在一实施方式的同一运动员判定处理中被判定为不同运动员的情况下的图。
图7是表示一实施方式的动作判定处理的流程图。
图8是表示一实施方式的动作者识别处理的流程图。
图9是表示本发明的实施方式的硬件结构的例子的图。
具体实施方式
下面，适当参照附图来详细地说明本发明的实施方式。但是，有时会省略不必要的详细说明。例如，有时会省略已知事项的详细说明或对于实质上相同的结构的重复说明。这是为了避免以下的说明不必要地冗长，以使本领域技术人员容易理解。
此外，提供附图及以下的说明的目的在于使本领域技术人员充分理解本发明，并无由此对权利要求书所述的主题进行限定的意图。
另外，在将同类要素区别开来进行说明的情况下，以例如“摄像机3A”、“摄像机3B”的方式使用附图标记，而在不将同类要素区别开来进行说明的情况下，有时会仅使用附图标记中的通用编号，如“摄像机3”。
(一实施方式)
＜球类运动影像分析系统＞
首先，参照图1说明一实施方式的球类运动影像分析系统的概要。
球类运动影像分析系统1是对拍摄球类运动所得的影像进行分析，并识别对球类运动中使用的移动体进行了动作的运动员的系统。球类运动中使用的移动体典型地为球，但也可以是羽毛球运动中使用的羽毛球等。在本实施方式中，以球类运动之一的排球为例进行说明。但是，球类运动影像分析系统1可应用于足球、棒球、乒乓球、篮球、网球、英式橄榄球、美式橄榄球、棍网球或羽毛球等各种球类运动。另外，球类运动影像分析系统1也可应用于冰球运动的冰球等形状不符合“球”这一概念的移动体。即，只要是通过由多人构成的队伍对移动体进行动作来决定比分或胜负的体育运动，则球类运动影像分析系统1可应用于任何体育运动。
球类运动影像分析系统1包括多个摄像机3(3A、3B、3C、3D)、显示装置4、操作装置5及球类运动影像分析装置100。
多个摄像机3分别设置在不同的位置。例如，如图1所示，各摄像机3设置在能够以不同的视点(视角)从高处拍摄球场10的位置。此外，图1中的摄像机3是4台，但本实施方式不限于此，摄像机3的台数只要是两台以上即可，可以是任意的台数。通过使用两台以上的摄像机3，能够计算球的三维位置。
各摄像机3以可通过有线或无线通信的方式与球类运动影像分析装置100连接。各摄像机3拍摄球类运动中的状况并生成拍摄图像。接着，各摄像机3根据多个拍摄图像生成视频帧。然后，各摄像机3向球类运动影像分析装置100发送视频帧。视频帧201(参照图2)可以是基于例如MP4、H.264、H.265或Motion JPEG等标准对多个拍摄图像进行压缩所得的视频帧。
显示装置4以可通过有线或无线通信的方式与球类运动影像分析装置100连接，显示从球类运动影像分析装置100输出的图像。显示装置4例如为液晶显示器或有机EL显示器等。
操作装置5以可通过有线或无线通信的方式与球类运动影像分析装置100连接，接受来自用户的操作，并向球类运动影像分析装置100发送该操作的信息。操作装置5例如为键盘、鼠标、麦克风和/或触控板等。此外，操作装置5和显示装置4也可以是一体型的装置。
球类运动影像分析装置100使用各摄像机3所拍摄的视频帧来确定对球进行了动作的运动员。在对象为排球的情况下，针对球进行的动作有发球、接球、垫球、抛球、扣球及拦网等。下面，有时将对球进行了动作的运动员表现为“动作者”。
此外，在本实施方式中，如图1所示，将球场10的地面的中心点作为原点O，将与球场10的地面平行且与球网11平行的轴作为X轴，将与球场10的地面平行且与球网11垂直的轴作为Y轴，将与球场10的地面垂直的轴作为Z轴。X轴将远离裁判12的方向作为正方向，将接近裁判12的方向作为负方向。Y轴将面朝球场10的裁判12看到的左方向作为正方向，将右方向作为负方向。Z轴将远离球场10的地面的方向作为正方向。即，Z轴的坐标z相当于从球场10的地面算起的高度。
＜球类运动影像分析装置＞
接着，参照图2说明球类运动影像分析装置100。
球类运动影像分析装置100包括影像接收部101、轨迹计算部102、动作判定部103、动作帧选择部104、检测区域设定部105、运动员检测部106、号码识别部107、结果输出部108及存储部109。
影像接收部101接收从各摄像机3A～摄像机3D发送的视频帧201，并将该视频帧201存储于存储部109。
轨迹计算部102对存储部109所存储的多个视频帧201应用例如非专利文献2中公开的方法，计算视频帧201被拍摄的时刻(以下称为“帧时刻”)的球的三维位置(x，y，z)及速度。接着，轨迹计算部102使帧时刻与球的三维位置和速度对应而生成球轨迹信息202，并将该球轨迹信息202存储于存储部109。
动作判定部103根据球轨迹信息202判定是否发生了针对球的动作。动作判定部103在判定为发生了动作的情况下，使动作发生的帧时刻(以下称为“动作帧时刻”)与该已发生的动作的类别对应而生成动作信息203，并将该动作信息203存储于存储部109。此外，关于动作判定部103的详情，将在后面进行说明。
动作帧选择部104从存储部109所存储的多个视频帧201中，选择与动作信息203中所含的动作帧时刻对应的视频帧、和与该动作帧时刻附近的帧时刻对应的视频帧作为动作帧。此外，关于动作帧选择部104的详情，将在后面进行说明。
检测区域设定部105针对动作帧选择部104所选择的动作帧，设定检测运动员的区域即检测区域。此外，关于检测区域设定部105的详情，将在后面进行说明。
运动员检测部106从检测区域设定部105所设定的检测区域内的图像中，检测拍摄到运动员的区域(以下称为“运动员区域”)。接着，运动员检测部106在检测出多个运动员区域的情况下，选择拍摄到进行了动作的运动员(动作者)的运动员区域作为动作者区域。此外，关于运动员检测部106的详情，将在后面进行说明。
号码识别部107从运动员检测部106所检测出的动作者区域内的图像中，识别动作者的队服号码。接着，号码识别部107使动作帧时刻与该识别出的动作者的队服号码对应而生成动作者信息204，并将该动作者信息204存储于存储部109。此外，关于号码识别部107的详情，将在后面进行说明。
结果输出部108使球轨迹信息202、动作信息203及动作者信息204对应而生成分析结果信息205，并将该分析结果信息205存储于存储部109。例如，在动作信息203中的动作帧时刻T与动作类别“扣球”对应，且动作者信息204中的动作帧时刻T与动作者的队服号码“14”对应的情况下，结果输出部108生成如图3所示的分析结果信息205。即，如图3所示，结果输出部108生成动作类别“扣球”和动作者的队服号码“14”与球轨迹信息202的帧时刻T对应的分析结果信息205。由此，用户或其他装置能够使用分析结果信息205，获知在帧时刻T时，队服号码“14”的运动员(动作者)对三维位置(xT，yT，zT)的球进行了速度“ST(km/h)”的“扣球”。
＜动作判定部的详情＞
接着，说明动作判定部103的详情。
动作判定部103根据球轨迹信息202中所含的每个帧时刻的球的三维位置和速度计算球的轨迹。接着，动作判定部103在该计算的球的轨迹变化符合规定条件的情况下，判定为发生了针对球的动作。接着，动作判定部103在判定为发生了动作的情况下，将符合该条件的帧时刻设为动作帧时刻。
此外，动作判定部103也可基于球的轨迹变化、球的三维位置和速度以及球类运动的规则等来判定动作类别。排球的动作类别有发球、接球、垫球、抛球、扣球及拦网等。例如，动作判定部103在从分析开始起首次检测出的球的轨迹具有Y轴方向(图1所示的球场的长边方向)的移动成分，且该Y轴方向的球的速度成分处于规定范围内的情况下，将动作类别判定为“发球”。作为其他例子，动作判定部103在“发球”后，球的轨迹越过Y轴上的球网11所处的坐标，且球的三维位置的变化从下降转变为上升的情况下(即，在Z轴方向的坐标的变化变为正向的情况下)，将动作类别判定为“接球”。在排球的规则上，接受“发球”的动作为“接球”，因此，通过进行基于此种规则的判定，能够将“接球”和“垫球”区别开来。
同样地，动作判定部103在球的轨迹变化等符合规定条件的情况下，根据依照比赛规则的判定基准来判定为其他的动作类别。
此外，在上述内容中，使用三维信息来判定动作的发生，但也可使用二维或一维的信息来判定动作的发生。例如，在根据上述条件判定“发球”的发生的情况下，可不使用X轴方向和Z轴方向的信息而根据分析开始的时刻和Y轴方向的信息进行判定。
另外，动作判定部103也可进一步使与动作帧时刻对应的球的三维位置对应于该动作帧时刻和动作类别而生成动作信息203。这是因为球的三维位置的信息会被后述的动作帧选择部104等使用。
＜动作帧选择部的详情＞
接着，说明动作帧选择部104的详情。
动作帧选择部104首先选择靠近与动作帧时刻对应的球的三维位置的至少两个摄像机3。例如，动作帧选择部104在球的y坐标为0以上的情况下(在图1的球场10的左侧有球的情况下)，选择摄像机3A和3B，在球的y坐标小于0的情况下(在图1的球场10的右侧有球的情况下)，选择摄像机3C和3D。由此，选择拍摄到运动员队服的队服号码的可能性高的摄像机3。
另外，动作帧选择部104从上述已选择的各摄像机3的视频帧201中，选择与动作信息203的动作帧时刻T对应的视频帧201、与比动作帧时刻T更靠前方的帧时刻(例如帧时刻T－3)对应的视频帧201、以及与比动作帧时刻T更靠后方的帧时刻(例如帧时刻T+3)对应的视频帧201作为动作帧。
这样，通过选择多个动作帧，有时即使在一个动作帧中无法识别动作者的队服号码，也能够在其他的动作帧中识别动作者的队服号码。即，能够识别动作者的队服号码的可能性提高。
另外，这样，通过选择相隔两帧以上的视频帧201作为动作帧，有时即使在一个动作帧中无法识别动作者的队服号码，在其他的动作帧中，动作者的姿势会发生变化，从而也能够识别动作者的队服号码。即，能够识别动作者的队服号码的可能性提高。
此外，使选择为动作帧的视频帧相隔两帧以上的做法仅为一例。只要动作者的姿势发生变化，且能够提取拍摄到动作者的可能性高的多个帧，则也可提取相隔3帧以上的视频帧201或仅相隔一帧的视频帧201作为动作帧。但是，若过于远离动作帧时刻T，则视频帧201遗漏进行了动作的动作者的可能性会提高。因此，例如对与60fps的视频对应的视频帧201而言，优选设置为帧的间隔以10帧左右为上限。
另外，动作帧选择部104也可根据作为视频帧来源的视频的帧速率的高低，决定提取与动作帧时刻T相隔多少帧的视频帧201作为动作帧。例如，60fps的两帧相当于30fps的一帧，因此，动作帧选择部104在帧速率为60fps的情况下，选择相隔两帧的视频帧201，在帧速率为30fps的情况下，选择相隔一帧的视频帧201。由此，即使fps不同，仍能够提取与相同程度的实际时间对应的视频帧201作为动作帧。
另外，动作帧选择部104也可根据由动作判定部103判定出的动作的类别，对选择相隔多少帧以上的视频帧201作为动作帧进行切换。因为在球类运动中会进行各种动作，所以动作者的姿势的易改变度会根据动作的不同而异。因此，若针对姿势大幅改变的动作所选择的动作帧彼此过于相隔，则有可能未拍摄到动作者的视频帧201被选择为动作帧。另一方面，若针对姿势不易发生改变的动作所选择的动作帧彼此过于接近，则有可能会导致拍摄到大致相同的姿势的动作者的视频帧201被选择为动作帧，在所有的动作帧中无法识别队服号码。因此，动作帧选择部104对于动作者的姿势变化越大的动作，选择越靠近动作帧时刻T的视频帧201作为动作帧，对于动作者的姿势变化越小的动作，选择越远离动作帧时刻T的视频帧201作为动作帧。由此，能够减轻如上所述的问题的产生。
另外，球类运动影像分析装置100也可接受由用户手动地进行的应选择相隔多少帧以上的视频帧201作为动作帧的设定。即使动作相同，也难以自动地完全预测动作者的姿势变化的大小，因此，能够根据用户的判断来变更动作帧的选择基准是有益的。
此外，即使动作帧选择部104采用了如下结构，即，不进行选择与比动作帧时刻T更靠前方或后方的帧时刻对应的视频帧201作为动作帧的处理的结构，仍可实现本实施方式。另外，动作帧选择部104可选择更多的视频帧201作为动作帧，也可选择更少的视频帧201作为动作帧。另外，动作帧选择部104也可并非从比动作帧时刻T更靠前方的帧时刻和比动作帧时刻T更靠后方的帧时刻中均等地选择视频帧，而是选择与前方或后方中的一方的帧时刻对应的动作帧。
＜检测区域设定部的详情＞
接着，说明检测区域设定部105的详情。
检测区域设定部105针对动作帧选择部104所选择的各动作帧，设定与动作帧时刻T时的球的三维位置对应的检测区域。接着，参照图4和图5来说明排球中的检测区域的设定。
如图4所示，检测区域设定部105在动作帧时刻T时的球的坐标z(高度)为规定的阈值(例如2m)以上的情况下，以使球图像301A位于检测区域300A的上边(上端)中央的方式，针对动作帧设定检测区域300A。这是因为在球的坐标z(高度)为规定的阈值以上的情况下，动作者处在球下方的可能性高。此外，也可以是，以使球图像301A位于从精确的检测区域300A的上边中央偏离一个像素～多个像素的位置的方式设定检测区域300A。本说明书中的“上边中央”也包含此种位置。
另一方面，如图5所示，检测区域设定部105在动作帧时刻T时的球的坐标z(高度)小于规定的阈值(例如2m)的情况下，以使球图像301B位于检测区域300B的中心的方式，针对动作帧设定检测区域300B。这是因为在球的坐标z(高度)小于规定的阈值的情况下，动作者处在球附近的可能性高。此外，也可以是，以使球图像301B位于从精确的检测区域300B的中心偏离一个像素～多个像素的位置的方式设定检测区域300B。本说明书中的“中心”也包含此种位置。
这样，通过由检测区域设定部105设定检测区域300，并由运动员检测部106从检测区域300内检测动作者区域400，从而与从整个动作帧中检测动作者区域的情况相比，处理负荷降低，且处理时间缩短。由此，球类运动影像分析装置100能够几乎实时地识别动作者的队服号码。
此外，检测区域300的尺寸优选稍微大于比赛中的运动员最靠近摄像机3的情况下的该运动员在视频帧中所占的尺寸。这是因为比赛中的运动员会采取多种姿势，例如大幅张开腿或进行鱼跃救球等，加之，帧之间的移动距离也大。
＜运动员检测部的详情＞
接着，说明运动员检测部106的详情。
首先，运动员检测部106从各检测区域300内检测拍摄到运动员(人物)的区域(以下称为“运动员区域”)。例如，运动员检测部106使用通过深度学习来学习比赛中的多个运动员图像所得的用于检测运动员的模型(神经网络)，从检测区域300内检测运动员区域。
接着，运动员检测部106从该检测出的运动员区域中，选择拍摄到动作者的运动员区域作为动作者区域。例如，运动员检测部106在检测出的运动员区域为一个的情况下，选择该运动员区域作为动作者区域400，在检测出的运动员区域为多个的情况下，根据以下的(A1)和(A2)选择一个运动员区域作为动作者区域400。
(A1)在从动作帧时刻T的动作帧检测出多个运动员区域的情况下，运动员检测部106选择三维空间上的与动作帧时刻T时的球的三维位置最接近的运动员区域作为动作者区域400。
(A2)在从动作帧时刻T的前方(例如帧时刻T－3)或后方(例如帧时刻T+3)的动作帧检测出多个运动员区域的情况下，选择三维空间上的与在上述(A1)中选择的动作者区域400最接近的运动员区域作为动作者区域400。
此外，运动员检测部106也可推断动作者区域400中的动作者的姿势，在推断为背朝摄像机3的姿势的情况下，保留该动作者区域400，在推断为其他姿势的情况下，舍弃该动作者区域400。由此，拍摄到队服号码500的动作者区域400得以保留，未拍摄到队服号码500的动作者区域400被舍弃，因此，号码识别部107对于号码的误识别减少。
＜＜同一运动员判定＞＞
此外，运动员检测部106也可对于以上述方式从各动作帧检测出的动作者区域400，判定这些动作者区域400是否是同一运动员的动作者区域。下面，将该判定处理称为“同一运动员判定处理”。
接着，参照图6A、图6B说明同一运动员判定处理的一例。图6A是被判定为同一运动员的情况下的图，图6B是被判定为不同运动员的情况下的图。
首先，如图6A所示，运动员检测部106计算从摄像机3A的位置向如下位置延伸的向量线402A，即，从该摄像机3A在帧时刻T时拍摄到的动作帧检测出的动作者区域400C的上边中央401A的位置。同样地，如图6A所示，运动员检测部106计算从摄像机3B的位置向如下位置延伸的向量线402B，即，从该摄像机3B在帧时刻T时拍摄到的动作帧检测出的动作者区域400D的上边中央401B的位置。
接着，运动员检测部106在向量线402A与向量线402B之间的最小距离403A小于规定的阈值的情况下，判定为动作者区域400C和动作者区域400D是同一运动员的动作者区域，在该最小距离403A为规定的阈值以上的情况下，判定为动作者区域400C和动作者区域400D是不同运动员的动作者区域。例如，在图6A的情况下，最小距离403A小于规定的阈值，因此，运动员检测部106判定为动作者区域400C和动作者区域400D是同一运动员的动作者区域。另一方面，在图6B的情况下，最小距离403B为规定的阈值以上，因此，运动员检测部106判定为动作者区域400D和动作者区域400E是不同运动员的动作者区域。
下面，更详细地对该判定进行说明。
同一运动员的同一部位处于同一三维坐标。因此，即使像图6A那样，摄像机3A、3B的三维坐标不同，向量线402A与402B理想上也会在一个点(同一运动员的同一部位)处相交。尽管根据动作者区域400C和400D的提取精度的不同，向量线会稍微偏移，但只要检测到同一人物，向量线402A与402B极端地分离的可能性低。因此，运动员检测部106在向量线402A与402B之间的最短距离小于阈值的情况下，判定为动作者区域400C和动作者区域400D是同一运动员的动作者区域。
另一方面，在像图6B那样，在动作者区域400D和动作者区域400E中检测出不同运动员的情况下，看上去似是相同的部位(401B和401C)在三维空间内，处于明显不同的坐标。其结果，向量线402B和402C为异面直线，向量线之间的最小距离403B与检测出同一运动员的情况相比，明显增大。因此，运动员检测部106在向量线402B与向量线402C之间的最短距离为阈值以上的情况下，判定为动作者区域400D和动作者区域400E是不同运动员的动作者区域。例如，在图6B的动作者区域400D中检测出队服号码“13”的运动员，在动作者区域400E中检测出处在队服号码“13”跟前的身高更高的队服号码“33”的运动员。在此情况下，向量线402C在Z轴方向上，通过明显比向量线402B高的位置。因此，向量线402B与向量线402C之间的最短距离增大，可知在动作者区域400D和动作者区域400E中检测出了不同的运动员。
此外，运动员检测部106也可保留判定为是同一运动员的动作者区域的动作者区域400，并舍弃判定为是不同运动员的动作者区域的动作者区域400。由此，不同的运动员被误检测为动作者区域400的可能性降低，因此，号码识别部107识别出彼此不同的队服号码500的可能性降低。即，动作者队服号码的识别精度提高。
＜号码识别部的详情＞
接着，说明号码识别部107的详情。
号码识别部107从各动作者区域400识别动作者的队服号码500。例如，号码识别部107使用通过深度学习来学习多个运动员的队服的数字图像所得的用于检测队服号码的模型(神经网络)，从动作者区域400内识别动作者的队服号码500。
此外，号码识别部107在从各动作者区域400识别出的队服号码500不一致的情况下，可根据多数决定原则决定动作者的队服号码500。例如，在从6个动作者区域400识别出的队服号码500中的4个队服号码为“13”，两个队服号码为“10”的情况下，号码识别部107将一致的数量为4个，即，一致的数量最多的队服号码“13”决定为动作者的队服号码。
另外，号码识别部107也可分两个阶段进行处理，该两个阶段是指，首先从动作者区域400检测号码的图像区域，接着，从该检测出的图像区域识别号码本身。
另外，号码识别部107也可针对各动作者区域400，计算表示识别出的队服号码候选的置信度的似然度(例如0以上～1以下的值)，将似然度相加所得的结果最大的候选决定为动作者的队服号码。在上述多数决定原则的情况下，识别出的号码的置信度不会对决定产生影响，因此，即使从一个动作者区域400识别出的队服号码“16”90％正确，而从两个动作者区域400识别出的队服号码“10”30％正确，也会导致决定为正确的队服号码是“10”。另一方面，通过以上述方式进行考虑了似然度的决定，能够将识别出的号码的置信度反映到号码的决定中。
＜处理流程＞
接着，说明球类运动影像分析装置100中的处理流程。处理流程大致分为动作判定处理和动作者识别处理。
＜＜动作判定处理＞＞
下面，参照图7所示的流程图来说明动作判定处理。
影像接收部101接收从摄像机3A～摄像机3D发送的视频帧201，并将该视频帧201存储于存储部109(S101)。轨迹计算部102根据存储部109所存储的多个视频帧201计算各帧时刻的球的三维位置和速度，并生成球轨迹信息202(S102)。
动作判定部103根据球轨迹信息202判定是否发生了针对球的动作(S103)。在判定为未发生动作的情况下(S103：否)，本流程返回至S101。在判定为发生了动作的情况下(S103：是)，动作判定部103生成动作信息203(S104)，并生成动作者识别处理的线程(S105)。接着，本流程返回至S101。
＜＜动作者识别处理＞＞
下面，参照图8所示的流程图来说明动作者识别处理。该动作者识别处理相当于在图7的S105中生成的线程的处理。
动作帧选择部104基于动作信息203中所含的球的三维位置和摄像机3的位置，选择至少两个摄像机3(S201)。
接着，动作帧选择部104从在S201中选择的各摄像机3的视频帧201，选择与动作帧时刻对应的动作帧和与该动作帧时刻前后的帧时刻对应的动作帧(S202)。
接着，检测区域设定部105针对在S202中选择的各动作帧设定检测区域300(S203)。
接着，运动员检测部106从在S203中设定的各检测区域300检测运动员区域(S204)。接着，运动员检测部106从在S204中检测出的各运动员区域中选择动作者区域400(S205)。然后，运动员检测部106使用在S201中选择的各摄像机3的动作者区域400进行同一运动员判定处理(S206)。此外，也可省略该同一运动员判定处理。
接着，号码识别部107从各动作者区域400识别队服号码500，并决定动作者的队服号码(S207)。此外，如上所述，号码识别部107在识别出的队服号码500不一致的情况下，将最多的队服号码500决定为动作者的队服号码。
接着，号码识别部107生成使动作帧时刻T与在S207中检测出的动作者的队服号码对应所得的动作者信息204，并将该动作者信息204存储于存储部109(S208)。然后，本流程结束(END)。
这样，球类运动影像分析装置100反复执行动作判定处理，在判定为发生了动作的情况下，生成动作者识别处理的线程，对动作者的队服号码进行识别。由此，动作者识别处理仅在发生了针对球的动作的情况下被执行，因此，能够降低球类运动影像分析装置100的处理负荷。
＜实施方式的总结＞
在本实施方式中，球类运动影像分析装置100从摄像机3A～摄像机3D接收视频帧201，根据这些接收到的多个视频帧201计算球的轨迹，基于该计算出的球的轨迹变化，判定是否发生了运动员针对球的动作，在发生了动作的情况下，从多个视频帧201中选择该动作发生的时间点的视频帧作为动作帧，例如根据队服号码500，从该动作帧识别进行了动作的运动员(动作者)。
由此，能够基于拍摄球类运动所得的视频帧来确定对球进行了动作的运动员(动作者)。
另外，在本实施方式中，也可针对上述动作帧设定与动作发生的时间点的球的三维位置对应的检测区域300，从该检测区域300检测拍摄到动作者的动作者区域400，并从该动作者区域400识别动作者。
由此，动作者的检测处理被限定在检测区域300内进行，队服号码500的识别处理被限定在动作者区域400内进行。因此，与针对整个视频帧进行动作者的检测处理和队服号码的识别处理的情况相比，能够降低处理负荷。由此，球类运动影像分析装置100能够几乎实时地识别动作者。
以上，对实施方式进行了说明。
上述实施方式中已说明的球类运动影像分析装置100的功能可通过计算机程序实现。
图9是表示通过程序实现球类运动影像分析装置100的功能的计算机的硬件结构的图。
该计算机2100包括键盘或鼠标、触控板等输入装置2101(相当于操作装置5)、显示器或扬声器等输出装置2102(相当于显示装置4)、CPU(Central Processing Unit，中央处理器)2103、GPU(Graphics Processing Unit，图形处理器)2104、ROM(Read Only Memory，只读存储器)2105、RAM(Random Access Memory，随机存取存储器)2106、硬盘装置或SSD(Solid State Drive，固态驱动器)等存储装置2107、从DVD-ROM(Digital Versatile DiskRead Only Memory，数字通用光盘只读存储器)或USB(Universal Serial Bus，通用串行总线)存储器等记录介质读取信息的读取装置2108、经由网络进行通信的收发装置2109，各部分通过总线2110连接。
而且，读取装置2108从记录有用于实现上述各装置的功能的程序的记录介质读取该程序，并将该程序存储于存储装置2107。或者，收发装置2109与连接于网络的服务器装置进行通信，将从服务器装置下载的用于实现上述各装置的功能的程序存储于存储装置2107。
接着，CPU2103将存储装置2107所存储的程序复制到RAM2106中，从RAM2106依次读取并执行该程序中所含的命令，由此实现上述各装置的功能。
例如，与球类运动影像分析装置100的功能相当的影像接收部101、轨迹计算部102、动作判定部103、动作帧选择部104、检测区域设定部105、运动员检测部106、号码识别部107以及结果输出部108可以是由CPU2103执行的程序。另外，球类运动影像分析装置100的存储部109可由RAM2106和/或存储装置2107构成。
另外，也可代替具有通用功能的CPU2103而由GPU2104执行程序中所含的命令，由此实现上述各装置的功能。
另外，上述实施方式中已说明的球类运动影像分析系统1采用了摄像机3连接于球类运动影像分析装置100的结构，但球类运动影像分析系统1的结构不限于此。例如，球类运动影像分析系统1也可为如下结构，即，还包括将摄像机3拍摄到的视频分解成连续的静态图像的装置，由球类运动影像分析装置100接收由该装置分解成静态图像的集合而得的结果并进行分析的结构。在此情况下，上述“视频帧”对应于分解成的一张静态图像。即，本说明书中的“视频帧”可以是对由摄像机3提供的视频直接进行分析所得的视频帧，也可以是由与球类运动影像分析装置100不同的装置提供的与帧时刻对应的各静态图像。
另外，在上述实施方式中，球类运动影像分析装置100在轨迹变化符合规定的条件的情况下，判定为发生了动作，但也可在轨迹变化明显不符合物理法则的情况下，判定为发生了动作。例如，在处于空中的球在接触地面之前偏离了抛物线轨道的情况下，判定为发生了某些动作。另外，在对动作的发生进行判定时，也可考虑如下两方面，即，对轨迹变化是否不符合物理法则的判定，以及对是否符合特定的模式的判定。
另外，在上述实施方式中，球类运动影像分析装置100对动作者的队服号码500进行识别，但此仅为用于确定与动作关联的动作者的一个方式而已。只要最终能够识别动作者，则也可使用队服号码以外的信息。例如，只要动作者正面朝向摄像机3，则即使不使用队服号码，也能够通过人脸识别来确定动作者。当然，在使用人脸识别的情况下，也可并用队服号码来提高识别精度。因此，号码识别部107也可以理解为“动作者识别部”。
另外，在上述实施方式的说明中所用的各功能也可被实现为作为集成电路的LSI(Large Scale Integration，大规模集成电路)。这些既可以分别实行单芯片化，也可以包含各功能的一部分或全部而实行单芯片化。此处，虽设为LSI，但根据集成度的不同，有时也称为IC(Integrated Circuit，集成电路)、系统LSI(System LSI)、超大LSI(Super LSI)、特大LSI(Ultra LSI)。
另外，集成电路化的方法不限于LSI，也可通过专用电路或通用处理器实现。也可利用LSI制造后能够编程的FPGA(Field Programmable Gate Array，现场可编程门阵列)、或可以对LSI内部的电路块的连接或设定进行重构的可重构处理器。
再有，如果随着半导体技术的进步或者其他技术的派生，出现了代替LSI的集成电路化的技术，当然也可以利用该技术来实现功能块的集成化。例如，还存在应用生物技术的可能性。
本专利申请基于在2018年5月21日提出的日本专利申请第2018-097086号而主张其优先权，并将日本专利申请第2018-097086号的全部内容引用于本申请。
工业实用性
本发明能够应用于对体育比赛进行分析的装置及方法。
附图标记说明
3、3A、3B、3C、3D 摄像机
1 球类运动影像分析系统
4 显示装置
5 操作装置
100 球类运动影像分析装置
101 影像接收部
102 轨迹计算部
103 动作判定部
104 动作帧选择部
105 检测区域设定部
106 运动员检测部
107 号码识别部
108 结果输出部
109 存储部

Claims (8)

1.一种球类运动影像分析装置，是对球类运动的影像进行分析的球类运动影像分析装置，其特征在于，包括：
影像接收部，接收处在不同位置的多个摄像机各自拍摄球类运动所得的多个视频帧；
轨迹计算部，使用所述多个视频帧计算球类运动用的移动体的轨迹；
动作判定部，基于所述移动体的轨迹的变化，判定是否发生了所述球类运动的运动员针对所述移动体的动作；
动作帧选择部，在发生了所述动作的情况下，从所述多个视频帧中选择所述动作发生的时间点的视频帧作为动作帧；以及
动作者识别部，从所述动作帧识别进行了所述动作的运动员。
2.如权利要求1所述的球类运动影像分析装置，还包括：
检测区域设定部，针对所述动作帧设定与所述动作发生的时间点的所述移动体的三维位置对应的检测区域；以及
运动员检测部，从所述检测区域检测拍摄到进行了所述动作的运动员的动作者区域，
所述动作者识别部从所述动作帧中的所述动作者区域识别进行了所述动作的运动员。
3.如权利要求2所述的球类运动影像分析装置，
所述检测区域设定部在所述动作发生的时间点的所述移动体的三维位置的高度为规定的阈值以上的情况下，以使所述移动体的图像位于所述检测区域的上端的方式来设定所述检测区域，
所述检测区域设定部在所述动作发生的时间点的所述移动体的三维位置的高度小于规定的阈值的情况下，以使所述移动体的图像位于所述检测区域的中心的方式来设定所述检测区域。
4.如权利要求2所述的球类运动影像分析装置，
所述动作帧选择部选择与所述动作发生的时间点对应的视频帧作为第一动作帧，选择对应于与所述第一动作帧不同的时间点的视频帧作为第二动作帧。
5.如权利要求4所述的球类运动影像分析装置，
所述运动员检测部在从针对所述第一动作帧设定的检测区域检测出拍摄到运动员的多个区域的情况下，将最靠近所述时间点的移动体的位置的区域选择为所述动作者区域，
所述运动员检测部在从针对所述第二动作帧设定的检测区域检测出拍摄到运动员的多个区域的情况下，将所述第一动作帧中的最靠近所述动作者区域的区域选择为所述动作者区域。
6.如权利要求1至5中任一项所述的球类运动影像分析装置，
所述动作帧选择部从位于靠近所述动作发生的时间点的所述移动体的三维位置处的至少两个摄像机拍摄到的视频帧中选择所述动作帧。
7.如权利要求1至6中任一项所述的球类运动影像分析装置，
所述动作者识别部通过识别进行了所述动作的运动员的队服号码来识别进行了所述动作的运动员。
8.一种球类运动影像分析方法，是对球类运动的影像进行分析的球类运动影像分析方法，
接收处在不同位置的多个摄像机各自拍摄球类运动所得的多个视频帧，
使用所述多个视频帧计算球类运动用的移动体的三维位置的轨迹，
基于所述移动体的轨迹的变化，判定是否发生了所述球类运动的运动员针对所述移动体的动作，
在发生了所述动作的情况下，从所述多个视频帧中选择所述动作发生的时间点的视频帧作为动作帧，
从所述动作帧识别进行了所述动作的运动员。
CN201980033962.8A 2018-05-21 2019-05-15 球类运动影像分析装置及球类运动影像分析方法 Active CN112154482B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-097086 2018-05-21
JP2018097086 2018-05-21
PCT/JP2019/019212 WO2019225415A1 (ja) 2018-05-21 2019-05-15 球技映像解析装置、及び、球技映像解析方法

Publications (2)

Publication Number Publication Date
CN112154482A true CN112154482A (zh) 2020-12-29
CN112154482B CN112154482B (zh) 2024-05-10

Family

ID=68615720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980033962.8A Active CN112154482B (zh) 2018-05-21 2019-05-15 球类运动影像分析装置及球类运动影像分析方法

Country Status (5)

Country Link
US (1) US11521388B2 (zh)
EP (1) EP3798978A4 (zh)
JP (1) JP7289080B2 (zh)
CN (1) CN112154482B (zh)
WO (1) WO2019225415A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI782649B (zh) * 2021-08-03 2022-11-01 動智科技股份有限公司 羽球殺球測量系統及其方法
CN116543013A (zh) * 2023-04-19 2023-08-04 北京拙河科技有限公司 一种球类运动轨迹分析方法及装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220184481A1 (en) * 2019-07-31 2022-06-16 Intel Corporation Game Status Detection and Trajectory Fusion
JP7429887B2 (ja) * 2020-03-09 2024-02-09 パナソニックＩｐマネジメント株式会社 球技映像解析装置、球技映像解析方法、及び、コンピュータプログラム
JP7437652B2 (ja) 2020-03-16 2024-02-26 パナソニックＩｐマネジメント株式会社 球技映像解析装置、球技映像解析システム、球技映像解析方法、及び、コンピュータプログラム
JP7442089B2 (ja) 2020-03-26 2024-03-04 パナソニックＩｐマネジメント株式会社 球技映像解析装置、球技映像解析方法、及び、コンピュータプログラム
KR102395089B1 (ko) * 2020-09-23 2022-05-04 연세대학교 산학협력단 불확실성 기반의 배경 모델링을 통한 약한 지도 학습 기반의 행동 프레임 검출 장치 및 방법
US11893808B2 (en) * 2020-11-30 2024-02-06 Mangolytics, Inc. Learning-based 3D property extraction
WO2022232299A1 (en) * 2021-04-27 2022-11-03 Maiden Ai, Inc Methods and systems to track a moving sports object trajectory in 3d using a single camera
WO2022232302A1 (en) 2021-04-27 2022-11-03 Maiden Ai, Inc Methods and systems to automatically record relevant action in a gaming environment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006012012A (ja) * 2004-06-29 2006-01-12 Matsushita Electric Ind Co Ltd イベント抽出装置及びその方法及びそのプログラム
WO2016084611A1 (ja) * 2014-11-26 2016-06-02 ソニー株式会社 画像処理装置および方法、並びに、プログラム
US20170132470A1 (en) * 2015-11-06 2017-05-11 Fujitsu Limited Image processing method, non-transitory computer-readable recording medium, and image processing device
CN106991356A (zh) * 2016-01-20 2017-07-28 上海慧体网络科技有限公司 一种对球赛视频中运动员进行跟踪的算法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6428411B1 (en) * 1997-05-02 2002-08-06 Konami Co., Ltd. Volleyball video game system
US7102615B2 (en) * 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US9264765B2 (en) * 2012-08-10 2016-02-16 Panasonic Intellectual Property Corporation Of America Method for providing a video, transmitting device, and receiving device
US10186044B2 (en) 2015-03-04 2019-01-22 Panasonic Intellectual Property Management Co., Ltd. Person tracking method and person tracking device
JP7009058B2 (ja) 2016-12-09 2022-01-25 キヤノン株式会社 光走査装置及びそれを備える画像形成装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006012012A (ja) * 2004-06-29 2006-01-12 Matsushita Electric Ind Co Ltd イベント抽出装置及びその方法及びそのプログラム
WO2016084611A1 (ja) * 2014-11-26 2016-06-02 ソニー株式会社 画像処理装置および方法、並びに、プログラム
US20170132470A1 (en) * 2015-11-06 2017-05-11 Fujitsu Limited Image processing method, non-transitory computer-readable recording medium, and image processing device
CN106991356A (zh) * 2016-01-20 2017-07-28 上海慧体网络科技有限公司 一种对球赛视频中运动员进行跟踪的算法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI782649B (zh) * 2021-08-03 2022-11-01 動智科技股份有限公司 羽球殺球測量系統及其方法
CN116543013A (zh) * 2023-04-19 2023-08-04 北京拙河科技有限公司 一种球类运动轨迹分析方法及装置

Also Published As

Publication number Publication date
EP3798978A1 (en) 2021-03-31
JP7289080B2 (ja) 2023-06-09
US11521388B2 (en) 2022-12-06
JPWO2019225415A1 (ja) 2021-06-17
WO2019225415A1 (ja) 2019-11-28
EP3798978A4 (en) 2021-08-04
CN112154482B (zh) 2024-05-10
US20210150220A1 (en) 2021-05-20

Similar Documents

Publication Publication Date Title
CN112154482B (zh) 球类运动影像分析装置及球类运动影像分析方法
US11755952B2 (en) System and method for predictive sports analytics using body-pose information
KR20220040433A (ko) 다중 카메라 플레이어 추적을 통한 플레이어 궤적 생성
US20170206932A1 (en) Video processing method, and video processing device
WO2020235339A1 (ja) プレイ分析装置、及び、プレイ分析方法
US11790652B2 (en) Detection of contacts among event participants
Moshayedi et al. Kinect based virtual referee for table tennis game: TTV (Table Tennis Var System)
US11638068B2 (en) Mobile entity tracking device and method for tracking mobile entity
JP7113335B2 (ja) プレイ分析装置、及び、プレイ分析方法
WO2020255948A1 (ja) プレイ分析装置、プレイ分析方法、及び、コンピュータプログラム
JP7113336B2 (ja) プレイ分析装置、及び、プレイ分析方法
WO2020071092A1 (ja) プレイ分析装置、及び、プレイ分析方法
Leong et al. Computer vision approach to automatic linesman
JP7289054B2 (ja) プレイ分析装置、プレイ分析方法、及び、コンピュータプログラム
JP7296546B2 (ja) プレイ分析装置、及び、プレイ分析方法
Weeratunga et al. Application of computer vision to automate notation for tactical analysis of badminton
US11900678B2 (en) System for tracking, locating and calculating the position of an object in a game involving moving objects
US11707663B1 (en) System for tracking, locating and predicting the position of a ball in a game of baseball or similar
EP4325443A1 (en) Data processing apparatus and method
EP4325448A1 (en) Data processing apparatus and method
JP7300668B2 (ja) プレイ分析装置、及び、プレイ分析方法
Pathak et al. A Machine Learning Framework for Shuttlecock Tracking and Player Service Fault Detection
Xia et al. Advanced Volleyball Stats for All Levels: Automatic Setting Tactic Detection and Classification with a Single Camera
CN114565641A (zh) 图像识别方法、装置、设备、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant