CN113370206A - 擂台机器人重新登台方法、控制系统和擂台机器人 - Google Patents

擂台机器人重新登台方法、控制系统和擂台机器人 Download PDF

Info

Publication number
CN113370206A
CN113370206A CN202110525815.1A CN202110525815A CN113370206A CN 113370206 A CN113370206 A CN 113370206A CN 202110525815 A CN202110525815 A CN 202110525815A CN 113370206 A CN113370206 A CN 113370206A
Authority
CN
China
Prior art keywords
robot
arena
pixel block
gray
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110525815.1A
Other languages
English (en)
Inventor
华军明
宋恒力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202110525815.1A priority Critical patent/CN113370206A/zh
Publication of CN113370206A publication Critical patent/CN113370206A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了擂台机器人重新登台方法、控制系统和擂台机器人。基于图像‑灰度融合的视觉导向方法,我方机器人被敌方攻下擂台后,能够通过灰度传感器自动识别掉下擂台后的状态,依靠摄像头获取比赛场地图像,通过CSCTR法识别登台位置,从而在控制器的控制下重新登上擂台。本发明公开的重新登台方法充分利用了比赛擂台场地的环境特点,能够使掉落擂台后的机器人更准确、快速地重新登上擂台,明显提高武术擂台机器人重新登台的成功率。

Description

擂台机器人重新登台方法、控制系统和擂台机器人
技术领域
本发明涉及机器人视觉控制技术领域,具体涉及擂台机器人重新登台方法、控制系统和擂台机器人。
背景技术
近年来,机器人武术擂台赛作为一项具有挑战性和创新性的科技竞赛,越来越受到全国各大高校学生的欢迎和参与。比赛的擂台高出地面10cm,武术擂台机器人需要在黑色渐变的正方形擂台上与敌方机器人对抗,当机器人被敌方击下擂台后,应在规定的时间内重新登上擂台继续比赛。
传统的武术擂台机器人判断是否掉下擂台的主要装置是红外检测模块,红外检测模块布置于机器人的前、后、左、右四个方向,通过各个红外模块检测值的排列组合来判断机器人是否掉下擂台。采用该方法设计的机器人,当机器人掉下擂台后无法精准识别擂台位置和状态,难以快速、准确的重新登上比赛擂台,重新登台效率较低,不利于比赛得分。
发明内容
本发明解决的一个主要问题是如何使机器人精准识别擂台位置并快速准确的重新登上擂台。
根据本发明的一个方面,本发明提供擂台机器人重新登台方法,包括:
获取当前所处位置的第一灰度值,并将所述第一灰度值与灰度阀值进行比较,当所述灰度值小于所述灰度阀值时,认定当前状态为掉下擂台,执行下一步;
采集当前环境的图像信息,并将所述图像信息通过CSCTR法进行分割与识别,获取登台位置和当前所处位置;
根据所述登台位置以及所述当前所处位置,进行路径规划,生成路径控制指令及目标规划路径;
根据所述路径控制指令沿所述目标规划路径移动至所述登台位置;
判断机器人是否已经到达所述登台位置,若未到达,则进行位置修正后再次执行上一步,若到达,则执行登台程序。
进一步地,所述并将所述图像信息通过CSCTR法进行分割与识别,获取机器人登台位置信息包括:
利用颜色空间对所述图像信息的不同颜色进行描述;
把所述图像信息中的像素依据颜色特征进行分类,根据不同颜色特征的像素边界分割成不同的像素区块;
所述图像信息中擂台和机器人的图像信息被映射为长方形像素区块或平行四边形像素区块,登台位置的图像信息被映射为圆形像素区块,排除相近色块的干扰,获得圆形像素区块的位置信息。
进一步地,所述获取机器人登台位置信息包括:
计算所述像素区块的中心点到所述像素区块16个边界点的距离的平均值和方差;
计算所述平均值和方差的比值,当所述比值大于0且小于所述灰度阀值时确定识别出了登台位置。
进一步地,所述颜色空间包括:
YUG颜色空间和HSV颜色空间。
进一步地,所述计算所述像素区块的中心点到所述像素区块16个边界点的距离的平均值和方差包括:
对于一幅大小为m×n的图像P,令白色像素点P[i,j]=1,黑色像素点P[i,j]=0,则所求像素区块的图像面积以第一公式进行计算:
Figure BDA0003065167140000021
其中,m、n分别为图像在长、宽方向上的像素点个数,i、j为像素点分别在图像长、宽方向上的位置坐标。
所求像素区块的区域中心点的横坐标以第二公式进行计算:
Figure BDA0003065167140000031
所求像素区块的区域中心点的纵坐标以第三公式进行计算:
Figure BDA0003065167140000032
其中,S为所求区域的图像面积,
Figure BDA0003065167140000033
为像素区块中心点坐标;
再提取所述像素区块边缘的16个边界点,计算像素区块中心点
Figure BDA0003065167140000034
到16个边界点的距离的平均值和方差,其中,用第四公式计算所述平均值:
Figure BDA0003065167140000035
用第五公式计算所述方差:
Figure BDA0003065167140000036
其中,k为所选16个边界点的编号。
根据本发明的另一个方面,还提供一种控制系统,其特征在于,所述控制系统启动时用于实现如权利要求1-4任一所述的擂台机器人重新登台方法,所述控制系统包括:
主控制器、摄像头、灰度传感器、电机驱动器、直流减速电机和数字舵机;
所述摄像头、所述灰度传感器、所述数字舵机和所述电机驱动器分别与所述主控制器连接;
所述电机驱动器还与所述直流减速电机相连接。
进一步的,获取当前所处位置的第二灰度值,并把第二灰度值与所述灰度阀值进行比较,当所述第二灰度值小于所述灰度阀值时,判断机器人登台失败,重新向数字舵机和直流减速电机发出控制信号,执行登台程序,当所述第二灰度值小于所述灰度阀值时,判断机器人登台成功。
进一步地,当机器人登台成功时,执行击敌程序。
根据本发明的另一个方面,还公开一种擂台机器人,其特征在于,包括机器人本体和配置在所述机器人本体上的如前所述的一种控制系统。
本发明提供的一种武术擂台机器人掉台后的重新登台方法和控制系统,基于图像-灰度融合的视觉导向方法,我方机器人被敌方攻下擂台后,能够通过灰度传感器自动识别掉下擂台后的状态,依靠摄像头获取比赛场地图像,通过CSCTR法识别登台位置,从而在控制器的控制下重新登上擂台,充分利用了比赛擂台场地的环境特点,能够使掉落擂台后的机器人更准确、快速地重新登上擂台,明显提高武术擂台机器人重新登台的成功率。
附图说明
本发明构成说明书的一部分附图描述了本发明的实施例,并且连同说明书一起用于解释本发明的原理。
图1为本发明实施例中擂台机器人重新登台方法的流程示意图。
图2为本发明实施例中一种控制系统的结构示意图。
图3为本发明实施例中CSCTR法的流程示意图。
具体实施方式
下面将结合附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
为了解决现在技术存在的缺陷,本发明提供了一种武术擂台机器人掉台后的重新登台方法。该方法基于图像-灰度融合的视觉导向方法,我方机器人被敌方攻下擂台后,能够通过灰度传感器自动识别掉下擂台后的状态,依靠摄像头获取比赛场地图像,通过CSCTR法识别登台位置,从而在控制器的控制下重新登上擂台。本发明所述的重新登台方法充分利用了比赛擂台场地的环境特点,能够使掉落擂台后的机器人更准确、快速地重新登上擂台,明显提高武术擂台机器人重新登台的成功率。
如图1所示,为本发明一个实施例中的一种武术擂台机器人掉台后的重新登台方法,是一种基于图像-灰度融合的视觉导向方法,包括以下步骤:
第一步,主控制器通过灰度传感器获取当前机器人所处位置的灰度值,并把所获取的灰度值与预先设置的灰度阀值进行比较,从而判断机器人是处于擂台下方还是擂台上方;当灰度值小于擂台下的灰度阀值时,判断为机器人处于擂台的下方,即机器人掉下了擂台,执行下一步;否则,说明机器人在擂台上方,执行第七步。
第二步,主控制器通过摄像头采集当前的机器人所处场景的图像信息,并把所采集到的图像信息通过CSCTR法进行分割与识别,寻找到登台的位置,同时确定当前机器人所处的位置。
第三步,根据第二步获得的登台位置信息以及当前所处的位置信息,主控制器对机器人进行路径规划,并向直流减速电机发出控制信号,以控制机器人沿规划好的路径向登台位置移动。
第四步,执行第二步,并判断机器人是否已经到达登台位置,若未到达,则进行位置修正后执行第三步,若到达,则执行第五步。
第五步,主控制器向数字舵机和直流减速电机发出控制信号,执行登台程序。
第六步,主控制器通过灰度传感器的检测当前的灰度值,并把所测得的灰度值与预先设定的灰度阀值进行比较,若小于灰度阀值,说明机器人登台失败,返回执行第五步;若大于灰度阀值,说明登台成功,则执行第七步。
第七步,机器人处于武术擂台上方,执行台上击敌程序。
本实施例的执行主体是所述擂台机器人,在一些实施例中,前述步骤第二步中的CSCTR法是一种颜色-形状结合的目标识别方法,由于比赛场地的登台位置贴有蓝色的圆形图标,可通过识别蓝色的圆形图标获得登台位置信息,所述CSCTR法的识别流程如图3所示,该识别方法可分为如下步骤:
第一步,颜色描述,利用颜色空间对图像的不同颜色进行描述,此处选择YUG颜色空间和HSV颜色空间,两者是线性变换关系,计算量小且实时性好,两者关系如下:
Figure BDA0003065167140000061
第二步,图像分割,即把图像中的像素依据颜色特征进行分类,根据不同颜色的像素边界分割成不同的像素区块。
第三步,目标识别,在机器人武术擂台赛中,擂台、机器人在二维平面中图像信息处理的结果为长方形像素区块或平行四边形像素区块,而登台位置被映射为圆形像素区块,通过排除相近色块的干扰,可以获得圆形像素区块的位置信息。此处识别圆形像素区块的算法如下:
对于一幅大小为m×n的图像P,令白色像素点P[i,j]=1,黑色像素点P[i,j]=0,则所求像素区块的图像面积以第一公式进行计算:
Figure BDA0003065167140000071
其中,m、n分别为图像在长、宽方向上的像素点个数,i、j为像素点分别在图像长、宽方向上的位置坐标;
所求像素区块的区域中心点的横坐标以第二公式进行计算:
Figure BDA0003065167140000072
所求像素区块的区域中心点的纵坐标以第三公式进行计算:
Figure BDA0003065167140000073
其中,S为所求区域的图像面积,
Figure BDA0003065167140000076
为像素区块中心点坐标;
再提取所述像素区块边缘的16个边界点,计算像素区块中心点
Figure BDA0003065167140000077
到16个边界点的距离的平均值和方差,其中,用第四公式计算所述平均值:
Figure BDA0003065167140000074
用第五公式计算所述方差:
Figure BDA0003065167140000075
其中,k为所选16个边界点的编号;
所述平均值与方差的比值为:
T=σcC (6);
在理想情况下,T=0,但由于光照等环境因素的影响,圆形登台位置的边缘不一定是绝对的光滑,根据比赛场地环境设置合适的灰度阀值上限Th,当0≤T<Th时,即可认为识别到了登台位置。
以上所述仅为本发明的较佳实施例而已,并不用于限制本发明,凡在本发明的精神和原则范围之内所作的任何修改、等同替换以及改进等,均应包含在本发明的保护范围之内。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

Claims (9)

1.一种擂台机器人重新登台方法,其特征在于:
擂台机器人获取当前所处位置的第一灰度值,并将所述第一灰度值与灰度阀值进行比较,当所述灰度值小于所述灰度阀值时,认定当前状态为掉下擂台;
采集当前环境的图像信息,并将所述图像信息通过CSCTR法进行分割与识别,获得登台位置和当前所处位置;
根据所述登台位置以及所述当前所处位置,进行路径规划,生成路径控制指令及目标规划路径;
根据所述路径控制指令沿所述目标规划路径移动至所述登台位置;
判断是否已经到达所述登台位置,若未到达,则进行位置修正后再次执行上一步,若到达,则进行登台。
2.如权利要求1所述的擂台机器人重新登台方法,其特征在于,所述将所述图像信息通过CSCTR法进行分割与识别,获得登台位置和当前所处位置,包括:
利用颜色空间对所述图像信息的不同颜色进行描述;
把所述图像信息中的像素依据颜色特征进行分类,根据不同颜色特征的像素边界分割成不同的像素区块;
所述图像信息中擂台和所述擂台机器人的图像信息被映射为长方形像素区块或平行四边形像素区块,登台位置的图像信息被映射为圆形像素区块,排除相近色块的干扰,获得圆形像素区块的位置信息。
3.如权利要求2所述的擂台机器人重新登台方法,其特征在于,所述获得圆形像素区块的位置信息包括:
计算所述像素区块的中心点到所述像素区块16个边界点的距离的平均值和方差;
计算所述平均值和方差的比值,当所述比值大于0且小于所述灰度阀值时确定识别出了登台位置。
4.如权利要求2所述的擂台机器人重新登台方法,其特征在于,所述颜色空间包括:
YUG颜色空间和HSV颜色空间。
5.如权利要求3所述的擂台机器人重新登台方法,其特征在于,所述计算所述像素区块的中心点到所述像素区块16个边界点的距离的平均值和方差包括:
对于一幅大小为m×n的图像P,令白色像素点P[i,j]=1,黑色像素点P[i,j]=0,则所求像素区块的图像面积以第一公式进行计算:
Figure FDA0003065167130000021
其中,m、n分别为图像在长、宽方向上的像素点个数,i、j为像素点分别在图像长、宽方向上的位置坐标;
所求像素区块的区域中心点的横坐标以第二公式进行计算:
Figure FDA0003065167130000022
所求像素区块的区域中心点的纵坐标以第三公式进行计算:
Figure FDA0003065167130000023
其中,S为所求区域的图像面积,
Figure FDA0003065167130000024
为像素区块中心点坐标;
再提取所述像素区块边缘的16个边界点,计算像素区块中心点
Figure FDA0003065167130000025
到16个边界点的距离的平均值和方差,其中,用第四公式计算所述平均值:
Figure FDA0003065167130000026
用第五公式计算所述方差:
Figure FDA0003065167130000031
其中,k为所选16个边界点的编号。
6.如权利要求1所述的一种擂台机器人重新登台方法,其特征在于,机器人执行登台程序后还包括:
获取当前所处位置的第二灰度值,并把第二灰度值与所述灰度阀值进行比较,当所述第二灰度值小于所述灰度阀值时,判断机器人登台失败,重新向数字舵机和直流减速电机发出控制信号,执行登台程序,当所述第二灰度值小于所述灰度阀值时,判断机器人登台成功。
7.如权利要求1~6中任一项中所述的擂台机器人重新登台方法,其特征在于,还包括:
当机器人登台成功时,执行击敌程序。
8.一种控制系统,其特征在于,所述控制系统启动时用于实现如权利要求1-7任一所述的擂台机器人重新登台方法,所述控制系统包括:
主控制器、摄像头、灰度传感器、电机驱动器、直流减速电机和数字舵机;
所述摄像头、所述灰度传感器、所述数字舵机和所述电机驱动器分别与所述主控制器连接;
所述电机驱动器还与所述直流减速电机相连接。
9.一种擂台机器人,其特征在于,包括机器人本体和配置在所述机器人本体上的如权利要求8所述的一种控制系统。
CN202110525815.1A 2021-05-13 2021-05-13 擂台机器人重新登台方法、控制系统和擂台机器人 Pending CN113370206A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110525815.1A CN113370206A (zh) 2021-05-13 2021-05-13 擂台机器人重新登台方法、控制系统和擂台机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110525815.1A CN113370206A (zh) 2021-05-13 2021-05-13 擂台机器人重新登台方法、控制系统和擂台机器人

Publications (1)

Publication Number Publication Date
CN113370206A true CN113370206A (zh) 2021-09-10

Family

ID=77570946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110525815.1A Pending CN113370206A (zh) 2021-05-13 2021-05-13 擂台机器人重新登台方法、控制系统和擂台机器人

Country Status (1)

Country Link
CN (1) CN113370206A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101619984A (zh) * 2009-07-28 2010-01-06 重庆邮电大学 一种基于颜色路标的移动机器人视觉导航方法
CN103366190A (zh) * 2013-07-26 2013-10-23 中国科学院自动化研究所 一种识别交通标志的方法
US20160086051A1 (en) * 2014-09-19 2016-03-24 Brain Corporation Apparatus and methods for tracking salient features
CN105667616A (zh) * 2016-03-01 2016-06-15 太原工业学院 弧形撑杆越障小车
CN106965185A (zh) * 2017-05-17 2017-07-21 许昌学院 一种武术擂台赛机器人的防掉台控制方法
KR20190134867A (ko) * 2018-04-30 2019-12-05 한국과학기술원 경기용 로봇 및 이를 이용한 표지 인식 방법
CN111558210A (zh) * 2019-09-20 2020-08-21 西北工业大学 一种全自动捡球机器人的捡球方法及全自动捡球机器人
KR20210021746A (ko) * 2019-08-19 2021-03-02 주식회사 마로로봇 테크 물류이송로봇용 추적구동시스템

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101619984A (zh) * 2009-07-28 2010-01-06 重庆邮电大学 一种基于颜色路标的移动机器人视觉导航方法
CN103366190A (zh) * 2013-07-26 2013-10-23 中国科学院自动化研究所 一种识别交通标志的方法
US20160086051A1 (en) * 2014-09-19 2016-03-24 Brain Corporation Apparatus and methods for tracking salient features
CN105667616A (zh) * 2016-03-01 2016-06-15 太原工业学院 弧形撑杆越障小车
CN106965185A (zh) * 2017-05-17 2017-07-21 许昌学院 一种武术擂台赛机器人的防掉台控制方法
KR20190134867A (ko) * 2018-04-30 2019-12-05 한국과학기술원 경기용 로봇 및 이를 이용한 표지 인식 방법
KR20210021746A (ko) * 2019-08-19 2021-03-02 주식회사 마로로봇 테크 물류이송로봇용 추적구동시스템
CN111558210A (zh) * 2019-09-20 2020-08-21 西北工业大学 一种全自动捡球机器人的捡球方法及全自动捡球机器人

Similar Documents

Publication Publication Date Title
US10599228B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
CN105069799B (zh) 一种角点定位方法及装置
CN104282020B (zh) 一种基于目标运动轨迹的车辆速度检测方法
US11631192B2 (en) Robot climbing control method and device and storage medium and robot
CN101930543B (zh) 一种自拍视频中眼睛图像的调正方法
CN108694356B (zh) 行人检测装置及方法、辅助驾驶系统
CN108089695B (zh) 一种控制可移动设备的方法和装置
CN110006444B (zh) 一种基于优化混合高斯模型的抗干扰视觉里程计构建方法
EP3819812B1 (en) A method of object re-identification
CN109961013A (zh) 车道线的识别方法、装置、设备及计算机可读存储介质
CN110597282A (zh) 一种无人机自主降落控制系统
CN113780181A (zh) 基于无人机的足球比赛越位判断方法及装置、电子设备
Togo et al. Gesture recognition using hand region estimation in robot manipulation
CN113370206A (zh) 擂台机器人重新登台方法、控制系统和擂台机器人
CN116665097A (zh) 一种结合上下文感知的自适应目标跟踪方法
CN112802051B (zh) 基于神经网络的篮球投篮曲线的拟合方法及系统
JP2005157733A (ja) 車線認識装置および車線認識方法
KR102248654B1 (ko) 골프장 내 카트의 자율주행을 위한 카트길 인식 장치 및 방법
CN112465867A (zh) 一种基于卷积神经网络的红外点目标实时检测跟踪方法
CN112232132A (zh) 一种融合导航信息的目标识别定位方法
CN115294478B (zh) 一种应用于现代光电平台的空中无人机目标检测方法
JPH09282460A (ja) 自動目標認識装置
Sanusi et al. Humanoid robosoccer goal detection using hough transform
CN114155281B (zh) 一种无人机目标跟踪自动初始化方法
CN115797397B (zh) 一种机器人全天候自主跟随目标人员的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210910