CN111228777B - 智能篮球裁判处理方法和装置 - Google Patents

智能篮球裁判处理方法和装置 Download PDF

Info

Publication number
CN111228777B
CN111228777B CN202010123794.6A CN202010123794A CN111228777B CN 111228777 B CN111228777 B CN 111228777B CN 202010123794 A CN202010123794 A CN 202010123794A CN 111228777 B CN111228777 B CN 111228777B
Authority
CN
China
Prior art keywords
referee
gesture
acquiring
game
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202010123794.6A
Other languages
English (en)
Other versions
CN111228777A (zh
Inventor
董捷
王浩
董海韬
沈光野
李晨
崔琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeast Petroleum University
Original Assignee
Northeast Petroleum University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeast Petroleum University filed Critical Northeast Petroleum University
Priority to CN202010123794.6A priority Critical patent/CN111228777B/zh
Publication of CN111228777A publication Critical patent/CN111228777A/zh
Application granted granted Critical
Publication of CN111228777B publication Critical patent/CN111228777B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0605Decision makers and devices using detection means facilitating arbitration

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了智能篮球裁判处理方法和装置,该方法包括:通过设置在篮球比赛场地的摄像机获取正在进行比赛的比赛视频;从比赛视频中获取包括裁判员动作的多个图像;对图像中的裁判员的动作进行识别,其中,识别裁判员的动作所对应的裁判手势;获取裁判手势对应的含义并进行记录。通过本申请解决了相关技术中篮球比赛主要是靠人工来承担记录员的工作所导致的问题,为篮球提供了自动识别记录辅助,为减少记录人员数量以及提高记录准确性提供了可能。

Description

智能篮球裁判处理方法和装置
技术领域
本申请涉及体育领域,具体而言,涉及一种智能篮球裁判处理方法和装置。
背景技术
篮球作为三大球之一,比赛数量是比较多的。除了每年的各国家和地区的联赛之外,还有很多国际性质的比赛。除了这些大型的比赛,在各个省或者各个市也有很多比赛。这就需要大量的裁判员。
篮球裁判员应是一名主篮球裁判员和一名或两名副篮球裁判员。他们由记录台人员和技术代表协助。记录台人员应是一名记录员、一名助理记录员、一名计时员和一名24秒钟计时员。一名技术代表应坐在记录员和计时员之间。比赛中他的主要职责是监督记录台人员的工作,并协助主篮球裁判员和副篮球裁判员使比赛顺利进行。
由此可见,在篮球场地比赛时,记录人员以及计时人员多达四名,这使得人员需求量比较大,另外记录人员的记录主要依靠人为来进行记录,记录效率低。
目前,针对篮球比赛主要是靠人工来承担记录员的工作所导致的问题,相关技术中尚没有较好的解决方案。
发明内容
本申请提供一种智能篮球裁判处理方法和装置,以解决相关技术中篮球比赛主要是靠人工来承担记录员的工作所导致的问题。
根据本申请的一个方面,提供了一种智能篮球裁判处理方法,包括:通过设置在篮球比赛场地的摄像机获取正在进行比赛的比赛视频;从所述比赛视频中获取包括所述裁判员动作的多个图像;对所述图像中的所述裁判员的动作进行识别,其中,识别所述裁判员的动作所对应的裁判手势;获取所述裁判手势对应的含义并进行记录。
进一步地,获取所述裁判手势对应的含义并进行记录包括:从所述裁判手势中获取对应的裁判规则;从所述裁判手势中获取该手势所针对的球员号码;记录所述球员号码和所述裁判规则。
进一步地,所述方法还包括:在所述裁判手势中包括比赛时钟信号的情况下,根据所述比赛时钟信号对所述比赛计时进行处理。
进一步地,对所述比赛计时进行处理包括:停止所述比赛计时或者恢复所述比赛计时。
根据本申请的另一个方面,还提供了一种智能篮球裁判处理装置,包括:第一获取模块,用于通过设置在篮球比赛场地的摄像机获取正在进行比赛的比赛视频;第二获取模块,用于从所述比赛视频中获取包括所述裁判员动作的多个图像;识别模块,用于对所述图像中的所述裁判员的动作进行识别,其中,识别所述裁判员的动作所对应的裁判手势;记录模块,用于获取所述裁判手势对应的含义并进行记录。
进一步地,所述记录模块用于:从所述裁判手势中获取对应的裁判规则;从所述裁判手势中获取该手势所针对的球员号码;记录所述球员号码和所述裁判规则。
进一步地,所述装置还包括:处理模块,用于在所述裁判手势中包括比赛时钟信号的情况下,根据所述比赛时钟信号对所述比赛计时进行处理。
进一步地,所述处理模块用于:停止所述比赛计时或者恢复所述比赛计时。
根据本申请的另一个方面,还提供了一种存储器,用于存储软件,其中,所述软件用于执行上述的方法。
根据本申请的另一个方面,还提供一种处理器,用于执行软件,其中,所述软件用于执行上述的方法。
本申请采用以下步骤:通过设置在篮球比赛场地的摄像机获取正在进行比赛的比赛视频;从所述比赛视频中获取包括所述裁判员动作的多个图像;对所述图像中的所述裁判员的动作进行识别,其中,识别所述裁判员的动作所对应的裁判手势;获取所述裁判手势对应的含义并进行记录。通过本申请解决了相关技术中篮球比赛主要是靠人工来承担记录员的工作所导致的问题,为篮球提供了自动识别记录辅助,为减少记录人员数量以及提高记录准确性提供了可能。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的智能篮球裁判处理方法的流程图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体 (transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
在本实施例中,提供了一种智能篮球裁判处理方法,图1是根据本发明实施例的智能篮球裁判处理方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,通过设置在篮球比赛场地的摄像机获取正在进行比赛的比赛视频;
步骤S104,从所述比赛视频中获取包括所述裁判员动作的多个图像;
在一个可选实施方式,多个图像是裁判员动作的连续图像。
步骤S106,对所述图像中的所述裁判员的动作进行识别,其中,识别所述裁判员的动作所对应的裁判手势;
在一个可选的实施方式中,在篮球比赛场地架设了多个摄像机的情况下,可以从多个摄像机拍摄的视频中分别识别所裁判员的动作,在每个摄像机的视频中识别出的动作对应的手势均相同的情况下,进行步骤S108。
在本实施例中,可以训练一个模型,该模型是机器学习模型,是使用多组训练数据得到的,每一组训练数据的输入均包括一段视频以及从该视频中得到的多个图像,该多个图像就是裁判做出预定裁判手势的连续的图像。该模型训练完毕之后,可以直接将比赛视频放入到该模型中,则该模型输出多个图像。
还可以再训练另一个模型,该模型也是机器学习模型,是使用多组第二训练数据训练得到的,为了区分上一个模型(上一个模型可以称为第一模型),该模型可以称为是第二模型,每一组第二训练数据均包括多个图像以及该多个图像对应的裁判手势的名称。该模型训练完毕之后,可以连接第一模型,将第一模型的输出作为第二模型的输入,第二模型直接输出裁判手势的对应含义。
步骤S108,获取所述裁判手势对应的含义并进行记录。
通过上述步骤,引入了自动裁判手势识别,解决了相关技术中篮球比赛主要是靠人工来承担记录员的工作所导致的问题,为篮球提供了自动识别记录辅助,为减少记录人员数量以及提高记录准确性提供了可能。
上述步骤可以通过服务器来进行处理,并且,服务器可以将步骤S104中获取的至少一个图像显示给工作人员,并且将步骤S108中的判断出来的裁判手势的含义也显示给工作人员,显示给工作人员之后,可以增加由工作人员确认的步骤,如果工作人员确认无误,则进行记录。作为一个优选实施方式,在获取所述裁判手势对应的含义之后,还可以将所述裁判手势对应的含义在球场内进行广播,如果广播之后预定时长内未收到反馈,则进行记录。在此可以引入一个新的裁判手势,该裁判手势用于指示识别进行广播播报的手势识别出现错误,如果裁判在预定时长内做出了该手势,则由工作人员进行修改。或者,使用视频图像识别出该指示错误的手势之后,通知工作人员进行人工识别。
作为一个可选实施方式,在实施时,还可以再篮筐设置红外传感器,红外传感器用来探测是否有球落入篮筐,结合上述步骤中分析出裁判的手势是否为得分手势、得分的分数以及得分是否有效,根据传感器和手势分析结果自动进行计分。
可选地,获取所述裁判手势对应的含义并进行记录包括:从所述裁判手势中获取对应的裁判规则;从所述裁判手势中获取该手势所针对的球员号码;记录所述球员号码和所述裁判规则。
可选地,所述方法还包括:在所述裁判手势中包括比赛时钟信号的情况下,根据所述比赛时钟信号对所述比赛计时进行处理。
可选地,对所述比赛计时进行处理包括:停止所述比赛计时或者恢复所述比赛计时。
在本实施例中还提供了一种装置,该装置中的模块对应于上述的方法步骤,在上述实施例中已经进行过说明的,在此不再赘述。
在本实施例中,还提供了一种智能篮球裁判处理装置,包括:第一获取模块,用于通过设置在篮球比赛场地的摄像机获取正在进行比赛的比赛视频;第二获取模块,用于从所述比赛视频中获取包括所述裁判员动作的多个图像;识别模块,用于对所述图像中的所述裁判员的动作进行识别,其中,识别所述裁判员的动作所对应的裁判手势;记录模块,用于获取所述裁判手势对应的含义并进行记录。
可选地,所述记录模块用于:从所述裁判手势中获取对应的裁判规则;从所述裁判手势中获取该手势所针对的球员号码;记录所述球员号码和所述裁判规则。
可选地,所述装置还包括:处理模块,用于在所述裁判手势中包括比赛时钟信号的情况下,根据所述比赛时钟信号对所述比赛计时进行处理。
可选地,所述处理模块用于:停止所述比赛计时或者恢复所述比赛计时。
在本实施例中,提供了一种存储器,用于存储软件,其中,该软件用于执行上述的方法。
在本实施例中,提供了一种处理器,用于执行软件,其中,该软件用于执行上述的方法。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例提供了一种存储介质,其上存储有程序或者软件,该程序被处理器执行时实现上述方法。存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (6)

1.一种智能篮球裁判处理方法,其特征在于,包括:
通过设置在篮球比赛场地的摄像机获取正在进行比赛的比赛视频;
从所述比赛视频中获取包括裁判员动作的多个图像;
对所述图像中的所述裁判员的动作进行识别,其中,识别所述裁判员的动作所对应的裁判手势;
获取所述裁判手势对应的含义并进行记录;
其中,上述步骤通过服务器来进行处理,所述服务器将从所述比赛视频中获取的至少一个图像显示给工作人员,并且将获取到的裁判手势的含义也显示给所述工作人员,在显示给所述工作人员之后,增加由所述工作人员进行确认的步骤,如果所述工作人员确认无误,则进行记录;在获取所述裁判手势对应的含义之后,还将所述裁判手势对应的含义在球场内进行广播,如果进行所述广播之后预定时长内未收到反馈,则进行记录;如果所述裁判员在所述预定时长内做出了新的裁判手势,则由所述工作人员进行修改;其中,所述新的裁判手势用于指示所述广播的裁判手势出现识别错误;或者,使用视频图像识别出所述新的裁判手势之后,通知所述工作人员进行人工识别。
2.根据权利要求1所述的方法,其特征在于,获取所述裁判手势对应的含义并进行记录包括:
从所述裁判手势中获取对应的裁判规则;
从所述裁判手势中获取该手势所针对的球员号码;
记录所述球员号码和所述裁判规则。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述裁判手势中包括比赛时钟信号的情况下,根据所述比赛时钟信号对所述比赛计时进行处理。
4.根据权利要求1至3中任一项所述的方法,其特征在于,对所述比赛计时进行处理包括:
停止所述比赛计时或者恢复所述比赛计时。
5.一种存储器,其特征在于,用于存储软件,其中,所述软件用于执行权利要求1至4中任一项所述的方法。
6.一种处理器,其特征在于,用于执行软件,其中,所述软件用于执行权利要求1至4中任一项所述的方法。
CN202010123794.6A 2020-02-27 2020-02-27 智能篮球裁判处理方法和装置 Expired - Fee Related CN111228777B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010123794.6A CN111228777B (zh) 2020-02-27 2020-02-27 智能篮球裁判处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010123794.6A CN111228777B (zh) 2020-02-27 2020-02-27 智能篮球裁判处理方法和装置

Publications (2)

Publication Number Publication Date
CN111228777A CN111228777A (zh) 2020-06-05
CN111228777B true CN111228777B (zh) 2021-04-16

Family

ID=70876595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010123794.6A Expired - Fee Related CN111228777B (zh) 2020-02-27 2020-02-27 智能篮球裁判处理方法和装置

Country Status (1)

Country Link
CN (1) CN111228777B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343844A (zh) * 2021-06-04 2021-09-03 北京格灵深瞳信息技术股份有限公司 球类比赛判罚指令自动生成方法、系统和服务器

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4541013A (en) * 1982-07-19 1985-09-10 Alpert Sidney A Football signaling system
ITRM20060110A1 (it) * 2006-03-03 2007-09-04 Cnr Consiglio Naz Delle Ricerche Metodo e sistema per la rilevazione automatica di eventi in ambito sportivo
CN101667059A (zh) * 2008-09-03 2010-03-10 黑龙江大学 基于手势识别的无线智能裁判系统
CN102520791A (zh) * 2011-11-28 2012-06-27 北京盈胜泰科技术有限公司 一种无线手势识别装置
CN102819749B (zh) * 2012-07-23 2016-08-03 西安体育学院 一种基于视频分析的足球越位自动判别系统和方法
CN103182177A (zh) * 2013-04-07 2013-07-03 张云 一种台球自动记分和辅助判罚系统
CN103550923B (zh) * 2013-10-29 2015-09-09 南京邮电大学 一种无线智能裁判系统及其实现智能裁判打分的方法
CN105797354A (zh) * 2016-04-28 2016-07-27 顽石运动智能科技(北京)有限公司 一种新型篮球入网检测系统
AU2017328161B2 (en) * 2016-09-13 2022-02-17 Magic Leap, Inc. Sensory eyewear
US10948567B2 (en) * 2016-11-17 2021-03-16 Trinamix Gmbh Detector for optically detecting at least one object
CN107261463A (zh) * 2017-07-10 2017-10-20 上海电机学院 篮球裁判手套及互动展示系统
CN108806717B (zh) * 2018-04-26 2020-01-10 上海庚视光电科技股份有限公司 一种体育比赛哨音识别装置及方法
CN109145733A (zh) * 2018-07-17 2019-01-04 焦点科技股份有限公司 一种篮球比赛的人工智能解说方法及系统
CN108681728A (zh) * 2018-07-26 2018-10-19 咪付(广州)网络科技有限公司 基于深度网络及信标辅助的快速识别系统及方法
CN109858357A (zh) * 2018-12-27 2019-06-07 深圳市赛亿科技开发有限公司 一种手势识别方法及系统

Also Published As

Publication number Publication date
CN111228777A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN108229294B (zh) 一种运动数据获取方法、装置、电子设备及存储介质
CN109657100B (zh) 视频集锦生成方法及装置、电子设备及存储介质
CN101472082B (zh) 一种场记系统和方法
KR20160044999A (ko) 질의동작기반 안무 검색 시스템 및 방법
US20170100661A1 (en) Vision system for monitoring board games and method thereof
CN112738640B (zh) 一种视频流的字幕的确定方法、装置及可读存储介质
CN110944123A (zh) 一种体育赛事智能导播方法
CN102595206B (zh) 基于体育赛事视频的数据同步方法及装置
CN111228777B (zh) 智能篮球裁判处理方法和装置
CN113440789B (zh) 一种多人跳绳测试智能计数方法及系统
US20170245010A1 (en) Video playing detection method and apparatus
CN115563449A (zh) 个人轨迹检测方法、装置、电子设备和存储介质
CN114550067A (zh) 一种体育赛事自动直播与导播方法、装置、设备及存储介质
CN105117400A (zh) 信息搜索方法和系统
CN112307852A (zh) 面部检测目标与打标匹配方法、存储介质及处理器
Pizzera et al. The video review system in association football: implementation and effectiveness for match officials and referee education
CN107977359A (zh) 一种影视剧本场景信息的提取方法
CN115204678A (zh) 一种基于景区旅游平台的旅游评价分析系统
US20140113719A1 (en) Computing device and video game direction method
US20220405509A1 (en) Image processing method and device, edge computing device, and computer storage medium
US20220414673A1 (en) Game image processing method, electronic device, and computer storage medium
CN113472834A (zh) 一种对象推送方法及设备
US20170128843A1 (en) Systems, methods, and apparatuses for extracting and analyzing live video content
CN114282586A (zh) 一种数据标注方法、系统和电子设备
CN109857818B (zh) 确定生产关系的方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210416