CN113063370A - 多波段扫描仪的标定方法、系统、电子装置和存储介质 - Google Patents

多波段扫描仪的标定方法、系统、电子装置和存储介质 Download PDF

Info

Publication number
CN113063370A
CN113063370A CN202110260791.1A CN202110260791A CN113063370A CN 113063370 A CN113063370 A CN 113063370A CN 202110260791 A CN202110260791 A CN 202110260791A CN 113063370 A CN113063370 A CN 113063370A
Authority
CN
China
Prior art keywords
scanner
multiband
laser
calibration
scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110260791.1A
Other languages
English (en)
Other versions
CN113063370B (zh
Inventor
郑俊
郑佳乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Scantech Co ltd
Original Assignee
Hangzhou Scantech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Scantech Co ltd filed Critical Hangzhou Scantech Co ltd
Priority to CN202110260791.1A priority Critical patent/CN113063370B/zh
Publication of CN113063370A publication Critical patent/CN113063370A/zh
Application granted granted Critical
Publication of CN113063370B publication Critical patent/CN113063370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504Calibration devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及一种多波段扫描仪的标定方法、系统、电子装置和存储介质,其中,该多波段扫描仪的标定方法包括:接收多波段扫描仪轮询拍摄标定板获得的多个标定板图像,并确定拍摄各标定板图像时多波段扫描仪使用的扫描激光的波段;获取标定板上的标记点的三维信息和与各扫描激光的波段对应的多波段扫描仪的摄像头内参;根据与各扫描激光的波段对应的多波段扫描仪的摄像头内参、与各扫描激光的波段对应的标定板图像和标记点的三维信息,确定与各扫描激光的波段对应的多波段扫描仪的外参,通过本申请,解决了标定多波段扫描仪的外参时,操作起来繁琐的问题,实现了快速的标定多波段扫描仪在各扫描激光对应波段下的外参。

Description

多波段扫描仪的标定方法、系统、电子装置和存储介质
技术领域
本申请涉及三维扫描仪领域,特别是涉及多波段扫描仪的标定方法、系统、电子装置和存储介质。
背景技术
近年来出现的三维扫描仪的原理是采用激光和摄像头的组合根据三角测量法获得物体表面的三维数据,多波段扫描仪是指可以发出不同波段的激光来满足不同三维扫描场景,在多波段三维扫描仪进行扫描前,需要在不同波段的激光下进行标定,包括对多波段扫描仪的内参和外参进行标定,多波段扫描仪的内参在出厂前已标定好,多波段扫描仪的内参包括摄像头的焦距和像素大小,多波段扫描仪的外参包括多波段扫描仪中摄像头的位置和多波段扫描仪中激光器所投射的激光面的位置,多波段扫描仪的外参标定需要依赖于多波段扫描仪的内参,多波段扫描仪在不同波段激光下的内参不同。
现有技术中通过不断地切换各波段激光来标定多波段扫描仪的外参,比如,多波段扫描仪带有蓝色激光和红色激光,当标定蓝色激光下的多波段扫描仪的外参时,需要手动切换至蓝色激光,当标定红色激光下的多波段扫描仪的外参时,需要手动切换至红色激光,这种手动切换各波段下的激光来标定多波段扫描仪的外参方式,操作起来繁琐。
目前针对相关技术中标定多波段扫描仪的外参时,操作起来繁琐的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种多波段扫描仪的标定方法、系统、电子装置和存储介质,以至少解决相关技术中标定多波段扫描仪的外参时,操作起来繁琐的问题。
第一方面,本申请实施例提供了一种多波段扫描仪的标定方法,所述方法包括:
接收所述多波段扫描仪轮询拍摄标定板获得的多个标定板图像,并确定拍摄各所述标定板图像时所述多波段扫描仪使用的扫描激光的波段;
获取标定板上标记点的三维信息和与各扫描激光的波段对应的所述多波段扫描仪的摄像头内参;
根据与各扫描激光的波段对应的所述多波段扫描仪的摄像头内参、与各扫描激光的波段对应的标定板图像和标记点的三维信息,确定与各扫描激光的波段对应的所述多波段扫描仪的外参。
在其中一些实施例中,接收所述多波段扫描仪轮询拍摄标定板获得的多个标定板图像之前包括:
发送轮询命令至多波段扫描仪,其中,所述轮询命令包括每个拍摄周期内各扫描激光的切换顺序、每个拍摄周期内各扫描激光的闪烁次数和拍摄周期。
在其中一些实施例中,所述多波段扫描仪轮询拍摄标定板包括:
设置所述多波段扫描仪的拍摄周期、每个拍摄周期内各扫描激光的切换顺序和每个拍摄周期内各扫描激光的闪烁次数;
所述多波段扫描仪在每个拍摄周期内,根据各扫描激光的闪烁次数以及各扫描激光的切换顺序,拍摄标定板。
在其中一些实施例中,所述多波段扫描仪包括摄像头,所述多波段扫描仪在每个拍摄周期内,根据各扫描激光的闪烁次数以及各扫描激光的切换顺序,所述拍摄标定板包括:
所述多波段扫描仪在每个拍摄周期内,根据各扫描激光的切换顺序和各扫描激光的闪烁次数切换至对应波段的扫描激光,在扫描激光每次闪烁时,所述摄像头拍摄标定板。
在其中一些实施例中,确定拍摄各所述标定板图像时所述多波段扫描仪使用的扫描激光的波段包括:
根据多波段扫描仪的拍摄周期、每个拍摄周期内各扫描激光的切换顺序和每个拍摄周期内各扫描激光的闪烁次数,确定拍摄各所述标定板图像时所述多波段扫描仪使用的扫描激光的波段。
在其中一些实施例中,根据与各扫描激光的波段对应的所述多波段扫描仪的摄像头内参、与各扫描激光的波段对应的标定板图像和所述标记点的三维信息,确定与各扫描激光的波段对应的所述多波段扫描仪的外参之前包括:
根据与各扫描激光的波段对应的所述多波段扫描仪的摄像头内参、与各扫描激光的波段对应的标定板图像和标记点的三维信息,确定标定板图像中的标记点与标定板上的标记点的对应关系。
在其中一些实施例中,所述多波段扫描仪的外参包括摄像头的外参和激光器所投射的激光面的位置,根据与各扫描激光的波段对应的所述多波段扫描仪的摄像头内参、与各扫描激光的波段对应的标定板图像和标记点的三维信息,确定与各扫描激光的波段对应的所述多波段扫描仪的外参包括:
根据标定板图像中的标记点与标定板上的标记点的对应关系和标定板上标记点的三维信息,确定摄像头的外参;以及
提取与各扫描激光的波段对应的标定板图像中的激光轮廓线,根据所述激光轮廓线,获取所述激光轮廓线的点云数据,将多个标定板图像中的激光轮廓线的点云数据转换为同一个坐标,确定激光器所投射的激光面的位置。
第二方面,本申请实施例提供了一种多波段扫描仪的标定系统,所述系统包括:多波段扫描仪、标定板和标定模块;其中,多波段扫描仪包括摄像头和激光器,所述标定模块与多波段扫描仪连接;
所述激光器用于发出激光线,并将所述激光线投射至所述标定板中,其中,所述激光器至少两个;
所述摄像头同步获取多幅多波段扫描仪处于标定板不同角度和不同位置处的标定板图像,其中,所述摄像头至少两个;
所述标定模块根据与各扫描激光的波段对应的标定板图像、与各扫描激光的波段对应的所述多波段扫描仪的摄像头内参和标定板上标记点的三维信息,得到与各扫描激光的波段对应的所述多波段扫描仪的外参。
第三方面,本申请实施例提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的多波段扫描仪的标定方法。
第四方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的多波段扫描仪的标定方法。
相比于相关技术,本申请实施例提供的多波段扫描仪的标定方法、系统、电子装置和存储介质,通过接收多波段扫描仪轮询拍摄标定板获得的多个标定板图像,并确定拍摄各标定板图像时多波段扫描仪使用的扫描激光的波段;获取标记点的三维信息和与各扫描激光的波段对应的多波段扫描仪的摄像头内参;根据与各扫描激光的波段对应的多波段扫描仪的摄像头内参、与各扫描激光的波段对应的标定板图像和标记点的三维信息,确定与各扫描激光的波段对应的多波段扫描仪的外参,解决了标定多波段扫描仪的外参时,操作起来繁琐的问题,实现了快速的标定多波段扫描仪在各扫描激光对应波段下的外参。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的多波段扫描仪的标定方法的应用终端的硬件结构框图;
图2是根据本申请实施例的多波段扫描仪的标定方法的流程图一;
图3是根据本申请实施例的多波段扫描仪多个角度下拍摄标定板的示意图;
图4是根据本申请实施例的标定多波段扫描仪所投射的激光面位置的示意图;
图5是根据本申请实施例的多波段扫描仪所投射的激光面的示意图;
图6是根据本申请实施例的多波段扫描仪的标定方法的流程图二;
图7是根据本申请实施例的多波段扫描仪的标定方法的流程图三;
图8是根据本申请实施例的多波段扫描仪的标定系统的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例,图1是根据本申请实施例的多波段扫描仪的标定方法的应用终端的硬件结构框图。如图1所示,终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,可选地,上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述终端的结构造成限定。例如,终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的多波段扫描仪的标定方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
本实施例提供了一种多波段扫描仪的标定方法,图2是根据本申请实施例的多波段扫描仪的标定方法的流程图一,如图2所示,该流程包括如下步骤:
步骤S201,接收多波段扫描仪轮询拍摄标定板获得的多个标定板图像,并确定拍摄各标定板图像时多波段扫描仪使用的扫描激光的波段。
假设多波段扫描仪中有两个激光器,这两个激光器发出两种不同波段的扫描激光,假设这两种扫描激光分别为红光激光和蓝光激光,多波段扫描仪轮询发出红色激光和蓝色激光,并将红色激光和蓝色激光投射到标定板中形成红色激光轮廓线和蓝色激光轮廓线,多波段扫描仪中的摄像头轮询拍摄标定板,分别得到具有红色激光轮廓线的标定板图像和具有蓝色激光轮廓线的标定板图像,其中,拍摄具有红色激光轮廓线的标定板图像时多波段扫描仪使用红色激光的波段,拍摄具有蓝色激光轮廓线的标定板图像时多波段扫描仪使用蓝色激光的波段。
需要说明的是,轮询(Polling)是一种CPU决策如何提供周边设备服务的方式,又称“程控输入输出”(Programmed I/O)。轮询法的概念是:由CPU定时发出询问,依序询问每一个周边设备是否需要其服务,有即给予服务,服务结束后再问下一个周边,接着不断周而复始。
步骤S202,获取标定板上标记点的三维信息和与各扫描激光的波段对应的多波段扫描仪的摄像头内参。
假设多波段扫描仪具有两个激光器,分别可以发出红色激光和蓝色激光,红色激光的波段对应的摄像头内参与蓝色激光的波段对应的摄像头内参不同,分别获取蓝色激光的波段对应的摄像头内参和红色激光的波段对应的摄像头内参。
步骤S203,根据与各扫描激光的波段对应的多波段扫描仪的摄像头内参、与各扫描激光的波段对应的标定板图像和标记点的三维信息,确定与各扫描激光的波段对应的多波段扫描仪的外参。
假设多波段扫描仪有红色激光和蓝色激光,红色激光的波段对应的摄像头内参为A,蓝色激光的波段对应的摄像头内参为B,红色激光的波段对应具有红色激光轮廓线的标定板图像,蓝色激光的波段对应具有蓝色激光轮廓线的标定板图像,根据摄像头内参A、具有红色激光轮廓线的标定板图像和标记点的三维信息,确定红色激光的波段对应的多波段扫描仪的外参,根据摄像头内参B、具有蓝色激光轮廓线的标定板图像和标记点的三维信息,确定蓝色激光的波段对应的多波段扫描仪的外参,因为红色激光的波段对应的内参A与蓝色激光的波段对应的内参B不同,以及具有红色激光轮廓线的标定板图像与具有蓝色激光轮廓线的标定板图像有差异,会造成红色激光的波段对应的多波段扫描仪的外参与蓝色激光的波段对应的多波段扫描仪的外参不相同,因此,需要分别计算红色激光的波段对应的多波段扫描仪的外参和蓝色激光的波段对应的多波段扫描仪的外参。
通过上述步骤,通过接收多波段扫描仪轮询拍摄标定板获得的多个标定板图像,并确定拍摄各标定板图像时多波段扫描仪使用的扫描激光的波段;获取标记点的三维信息和与各扫描激光的波段对应的多波段扫描仪的摄像头内参;根据与各扫描激光的波段对应的多波段扫描仪的摄像头内参、与各扫描激光的波段对应的标定板图像和标记点的三维信息,确定与各扫描激光的波段对应的多波段扫描仪的外参,解决了标定多波段扫描仪的外参时,操作起来繁琐的问题,实现了快速的标定多波段扫描仪在各扫描激光对应波段下的外参,节省了多波段扫描仪的标定时间。
在其中一些实施例中,接收多波段扫描仪轮询拍摄标定板获得的多个标定板图像之前包括:发送轮询命令至多波段扫描仪,其中,轮询命令包括每个拍摄周期内各扫描激光的切换顺序、每个拍摄周期内各扫描激光的闪烁次数和拍摄周期。
通过上述方式,发送轮询命令至多波段扫描仪,为后续多波段扫描仪根据轮询命令来拍摄标定板做准备。
在其中一些实施例中,步骤S201,多波段扫描仪轮询拍摄标定板包括如下步骤:
步骤S2010,设置多波段扫描仪的拍摄周期、每个拍摄周期内各扫描激光的切换顺序和每个拍摄周期内各扫描激光的闪烁次数。
步骤S2011,多波段扫描仪在每个拍摄周期内,根据各扫描激光的闪烁次数以及各扫描激光的切换顺序,拍摄标定板。
通过上述步骤,多波段扫描仪根据预先设置的拍摄周期、每个拍摄周期内扫描激光的切换顺序以及每个拍摄周期内各扫描激光的闪烁次数拍摄标定板,实现了各扫描激光的波段对应的标定板图像的获取,为后续根据各扫描激光的波段对应的标定板图像进行多波段扫描仪的外参标定做准备。
在其中一些实施例中,多波段扫描仪包括摄像头,多波段扫描仪在每个拍摄周期内,根据各扫描激光的闪烁次数以及各扫描激光的切换顺序,拍摄标定板包括:
多波段扫描仪在每个拍摄周期内,根据各扫描激光的切换顺序和各扫描激光的闪烁次数切换至对应波段的扫描激光,在扫描激光每次闪烁时,摄像头拍摄标定板。
通过上述方式,实现了各扫描激光的波段对应的标定板图像的获取,为后续根据各扫描激光的波段对应的标定板图像进行多波段扫描仪的外参标定做准备。
在其中一些实施例中,摄像头拍摄标定板包括:
摄像头在多个角度和多个位置处拍摄标定板,其中,多个角度包括标定板的前方偏下、标定板的正前方、标定板的前方偏上、标定板的前方偏左和标定板的前方偏右,多个位置包括多波段扫描仪距离标定板的两个及以上位置。
在本实施例中,图3是根据本申请实施例的多波段扫描仪多个角度下拍摄标定板的示意图,如图3所示,多波段扫描仪中两个及以上的摄像头在多个角度拍摄标定板,获得多个角度下的标定板图像,根据每张的标定板图像中的标记点,计算得到摄像头的外参,多个不同角度下的标记板图像得到多个摄像头外参,多个摄像头外参进行求平均处理,得到多波段扫描仪的摄像头外参。
图4是根据本申请实施例的标定多波段扫描仪所投射的激光面位置的示意图,如图4所示,多波段扫描仪在距离标定板的b1~b3号位置处拍摄标定板,得到多个位置处的标定板图像,b1~b3号位置处获得的标定板图像中包括a1~a3的激光轮廓线,比如,多波段扫描仪使用红色激光的波段,则在标定板图像中包括红色激光轮廓线,多个位置处的标定板图像得到多个位置处的红色激光轮廓线,多个位置处的红色激光轮廓线确定红色激光所投射的激光面。
通过上述方式,实现了多个角度下和多个位置处标定板图像的获取,根据多个角度下的标定板图像计算多波段扫描仪中摄像头的外参,提高了摄像头外参的精确度,多个位置处的标定板图像为后续确定多波段扫描仪中激光器所投射的激光面的位置做准备。
在其中一些实施例中,确定拍摄各标定板图像时多波段扫描仪使用的扫描激光的波段包括:
根据多波段扫描仪的拍摄周期、每个拍摄周期内各扫描激光的切换顺序和每个拍摄周期内各扫描激光的闪烁次数,确定拍摄各标定板图像时多波段扫描仪使用的扫描激光的波段。
假设多波段扫描仪的拍摄周期为每三秒循环一次,在三秒的拍摄周期中,先打开红色激光,红色激光的的闪烁次数为两次,红色激光每闪烁一次,拍摄具有红色激光轮廓线的标定板图像,红色激光闪烁两次过后,根据设置自动切换至蓝色激光,蓝色激光闪烁两次,每闪烁一次拍摄一张具有蓝色激光轮廓线的标定板图像,总共拍摄四张标定板图像,根据红色激光与蓝色激光的切换顺序,以及红色激光与蓝色激光的闪烁次数,可以确定拍摄第一张标定板图像、第二张标定板图像使用红色激光的波段,拍摄第三张标定板图像、第四张标定板图像使用蓝色激光的波段。
通过上述方式,实现了拍摄标定板图像时使用的扫描激光的确定,为后续根据与各扫描激光的波段对应的多波段扫描仪的摄像头内参、与各扫描激光的波段对应的标定板图像和标记点的三维信息,确定与各扫描激光的波段对应的多波段扫描仪的外参做准备。
在其中一些实施例中,步骤S203,多波段扫描仪的外参包括摄像头的外参和激光器所投射的激光面的位置,根据与各扫描激光的波段对应的多波段扫描仪的摄像头内参、与各扫描激光的波段对应的标定板图像和标记点的三维信息,确定与各扫描激光的波段对应的多波段扫描仪的外参包括如下步骤:
步骤S2030,根据与各扫描激光的波段对应的多波段扫描仪的摄像头内参、与各扫描激光的波段对应的标定板图像和标记点的三维信息,确定标定板图像中的标记点与标定板中的标记点的对应关系。
步骤S2031,根据对应关系和标定板中真实标记点的坐标,确定摄像头的外参。
步骤S2032,提取与各扫描激光的波段对应的标定板图像中的激光轮廓线,根据激光轮廓线,获取激光轮廓线的点云数据,将多个标定板图像中的激光轮廓线的点云数据转换为同一个坐标,确定激光器所投射的激光面的位置。
图5是根据本申请实施例的多波段扫描仪所投射的激光面的示意图,如图5所示,将a1~a3的激光轮廓线点云转化到同一个坐标系下,得到c1~c3三维空间线段,根据c1~c3三维空间线段拟合出多波段扫描仪所投射的激光面的位置。
通过上述步骤,实现了多波段扫描仪外参的标定,避免了由于多波段扫描仪外参的不准确而造成的误差,提高了多波段扫描仪扫描物体的精确度。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。例如,步骤S2031与步骤S2032之间可以互换。
在一个实施例中,提供了多波段扫描仪的标定方法,图6是根据本申请实施例的多波段扫描仪的标定方法的流程图二,如图6所示,该流程包括如下步骤:
步骤S601,设置多波段扫描仪的拍摄周期、每个拍摄周期内各扫描激光的切换顺序和每个拍摄周期内各扫描激光的闪烁次数,多波段扫描仪在每个拍摄周期内,根据各扫描激光的闪烁次数以及各扫描激光的切换顺序,拍摄标定板,得到标定板图像。
在本实施例中,多波段扫描仪在每个拍摄周期内,根据各扫描激光的切换顺序和各扫描激光的闪烁次数切换至对应波段的扫描激光,在扫描激光每次闪烁时,设置在多波段扫描仪不同位置处的摄像头拍摄标定板,设置在多波段扫描仪不同位置处的摄像头在多个角度和多个位置处拍摄标定板,其中,多个角度包括标定板的前方偏下、标定板的正前方、标定板的前方偏上、标定板的前方偏左和标定板的前方偏右,多个位置包括多波段扫描仪距离标定板的两个及以上位置。
步骤S602,终端接收多波段扫描仪轮询拍摄标定板获得的多个标定板图像,根据多波段扫描仪的拍摄周期、每个拍摄周期内各扫描激光的切换顺序和每个拍摄周期内各扫描激光的闪烁次数,确定拍摄各标定板图像时多波段扫描仪使用的扫描激光的波段。
步骤S603,终端根据与各扫描激光的波段对应的多波段扫描仪的摄像头内参、与各扫描激光的波段对应的标定板图像和标定板上标记点的三维信息,确定标定板图像中的标记点与标定板中的标记点的对应关系,根据对应关系和标定板中真实标记点的坐标,确定摄像头的外参。
步骤S604,终端提取与各扫描激光的波段对应的标定板图像中的激光轮廓线,根据激光轮廓线,获取激光轮廓线的点云数据,将多个标定板图像中的激光轮廓线的点云数据转换为同一个坐标,确定激光器所投射的激光面的位置。
通过上述步骤,多波段扫描仪根据设置的拍摄周期、每个拍摄周期内各扫描激光的切换顺序和每个拍摄周期内各扫描激光的闪烁次数,拍摄多个标定板图像,终端根据多波段扫描仪的拍摄周期、每个拍摄周期内各扫描激光的切换顺序和每个拍摄周期内各扫描激光的闪烁次数,确定拍摄标定板图像时多波段扫描仪使用的扫描激光的波段,以及根据与各扫描激光的波段对应的多波段扫描仪的摄像头内参、与各扫描激光的波段对应的标定板图像和标记点的三维信息确定摄像头的外参和激光器所投射的激光面的位置,解决了标定多波段扫描仪的外参时,操作起来繁琐的问题,实现了快速的标定多波段扫描仪在各扫描激光对应波段下的外参。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。例如,步骤S603与步骤S604之间可以互换。
图7是根据本申请实施例的多波段扫描仪的标定方法的流程图三。如图7所示,该流程包括如下步骤:
步骤S701,发送轮询命令至多波段扫描仪。
步骤S702,获取多波段扫描仪根据轮询命令拍摄的多个角度和多个位置处的标定板图像。
在本实施例中,轮询命令包括多波段扫描仪中拍摄标定板的拍摄周期、每个拍摄周期内扫描激光的切换顺序和每个拍摄周期内每个扫描激光的闪烁次数,多波段扫描仪在每个拍摄周期内,根据扫描激光的切换顺序和每个扫描激光的闪烁次数,在多个角度和多个位置处拍摄标定板,得到多个角度和多个位置处的标定板图像,比如,设置在一个拍摄周期内,红色激光和蓝色激光分别闪烁一次,轮询命令中设置先切换至红色激光,再切换至蓝色激光,根据轮询命令,依次拍摄具有红色激光轮廓线的标定板图像和具有蓝色激光轮廓线的标定板图像。
步骤S703,根据多波段扫描仪的拍摄周期、每个拍摄周期内扫描激光的切换顺序以及扫描激光的闪烁次数,将标定板图像进行分类。
比如,在每个拍摄周期内,扫描激光的切换顺序为红色激光、蓝色激光,每个拍摄周期内红色激光与蓝色激光的闪烁次数分别为一次,一个拍摄周期内获取两张标定板图像,第一张标定图像是使用红色激光的波段拍摄的标定板图像,第二张标定图像是使用蓝色激光的波段拍摄的标定板图像。
步骤S704,根据分类后的图像确定每张标定板图像对应的波段,根据波段调用对应的摄像头内参。
比如,分类后的第一张标定图像是使用红色激光的波段拍摄的标定板图像,第二张标定图像是使用蓝色激光的波段拍摄的标定板图像,则第一张标定板图像调用红色激光的波段对应的摄像头内参,第二张标定板图像调用蓝色激光的波段对应的摄像头内参。
步骤S705,根据分类后的标定板图像、每张标定板图像对应的摄像头内参和标定板上标记点的三维信息,标定摄像头的外参和激光器所投射的激光面位置。
在本实施例中,读取预存的标定板文件,标定板文件中包括每张标定板图像对应的摄像头内参和标记点的三维信息,根据与各扫描激光的波段对应的多波段扫描仪的摄像头内参、与各扫描激光的波段对应的标定板图像和标记点的三维信息,确定标定板图像中的标记点与标定板中的标记点对应关系;根据对应关系和标定板中真实标记点的坐标,确定摄像头的外参;提取与各扫描激光的波段对应的标定板图像中的激光轮廓线,根据激光轮廓线,获取激光轮廓线的点云数据,将多个标定板图像中的激光轮廓线的点云数据转换为同一个坐标,确定激光器所投射的激光面的位置。
通过上述步骤,多波段扫描仪轮询命令拍摄多个标定板图像,终端根据轮询命令确定拍摄标定板图像时多波段扫描仪使用的扫描激光的波段,以及根据与各扫描激光的波段对应的多波段扫描仪的摄像头内参、与各扫描激光的波段对应的标定板图像和标记点的三维信息确定摄像头的外参和激光器所投射的激光面的位置,解决了标定多波段扫描仪的外参时,操作起来繁琐的问题,实现了快速的标定多波段扫描仪在各扫描激光对应波段下的外参。
本实施例还提供了一种多波段扫描仪的标定系统,图8是根据本申请实施例的多波段扫描仪的标定系统的结构框图,如图8所示,该系统包括:多波段扫描仪1、标定板2和标定模块3;其中,多波段扫描仪包括摄像头10和激光器11,标定模块3与多波段扫描仪1连接;
激光器11用于发出激光线,并将激光线投射至标定板中,其中,激光器至少两个;
摄像头10同步获取多幅多波段扫描仪处于标定板不同角度和不同位置处的标定板图像,其中,摄像头至少两个;
标定模块3根据与各扫描激光的波段对应的标定板图像、与各扫描激光的波段对应的多波段扫描仪的摄像头内参和标定板上标记点的三维信息,得到与各扫描激光的波段对应的多波段扫描仪的外参。
通过上述实施例,标定模块3获取摄像头10拍摄的各扫描激光的波段对应的标定板图像、与各扫描激光的波段对应的多波段扫描仪的摄像头内参和标记点的三维信息,并根据与各扫描激光的波段对应的标定板图像、与各扫描激光的波段对应的多波段扫描仪的摄像头内参和标记点的三维信息,得到与各扫描激光的波段对应的多波段扫描仪的外参,解决了标定多波段扫描仪的外参时,操作起来繁琐的问题,实现了快速的标定多波段扫描仪在各扫描激光对应波段下的外参。
在一个实施例中,标定模块3还用于发送轮询命令至多波段扫描仪,其中,轮询命令包括每个拍摄周期内各扫描激光的切换顺序、每个拍摄周期内各扫描激光的闪烁次数和拍摄周期。
在一个实施例中,设置多波段扫描仪1的拍摄周期、每个拍摄周期内各扫描激光的切换顺序和每个拍摄周期内各扫描激光的闪烁次数;
多波段扫描仪在每个拍摄周期内,摄像头10根据各扫描激光的闪烁次数以及各扫描激光的切换顺序,拍摄标定板。
在一个实施例中,多波段扫描仪1在每个拍摄周期内,根据各扫描激光的切换顺序和各扫描激光的闪烁次数切换至对应波段的扫描激光,在扫描激光每次闪烁时,设置在多波段扫描仪不同位置处的摄像头10拍摄标定板2。
在一个实施例中,设置在多波段扫描仪不同位置处的摄像头10在多个角度和多个位置处拍摄标定板2,其中,多个角度包括标定板2的前方偏下、标定板2的正前方、标定板2的前方偏上、标定板2的前方偏左和标定板2的前方偏右,多个位置包括多波段扫描仪1距离标定板3的两个及以上位置。
在一个实施例中,标定模块3还用于根据多波段扫描仪的拍摄周期、每个拍摄周期内各扫描激光的切换顺序和每个拍摄周期内各扫描激光的闪烁次数,确定拍摄各标定板图像时多波段扫描仪使用的扫描激光的波段。
在一个实施例中,标定模块3还用于根据与各扫描激光的波段对应的多波段扫描仪的摄像头内参、与各扫描激光的波段对应的标定板图像和标定板上标记点的三维信息,确定标定板图像中的标记点与标定板中的标记点对应关系;根据对应关系和标定板中真实标记点的坐标,确定摄像头的外参;以及提取与各扫描激光的波段对应的标定板图像中的激光轮廓线,根据激光轮廓线,获取激光轮廓线的点云数据,将多个标定板图像中的激光轮廓线的点云数据转换为同一个坐标,确定激光器所投射的激光面的位置。
本实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,接收多波段扫描仪轮询拍摄标定板获得的多个标定板图像,并确定拍摄各标定板图像时多波段扫描仪使用的扫描激光的波段。
S2,获取标定板上的标记点的三维信息和与各扫描激光的波段对应的多波段扫描仪的摄像头内参。
S3,根据与各扫描激光的波段对应的多波段扫描仪的摄像头内参、与各扫描激光的波段对应的标定板图像和标记点的三维信息,确定与各扫描激光的波段对应的多波段扫描仪的外参。
需要说明的是,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
另外,结合上述实施例中的多波段扫描仪的标定方法,本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种多波段扫描仪的标定方法。
本领域的技术人员应该明白,以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种多波段扫描仪的标定方法,其特征在于,包括:
接收所述多波段扫描仪轮询拍摄标定板获得的多个标定板图像,并确定拍摄各所述标定板图像时所述多波段扫描仪使用的扫描激光的波段;
获取标定板上标记点的三维信息和与各扫描激光的波段对应的所述多波段扫描仪的摄像头内参;
根据与各扫描激光的波段对应的所述多波段扫描仪的摄像头内参、与各扫描激光的波段对应的标定板图像和标记点的三维信息,确定与各扫描激光的波段对应的所述多波段扫描仪的外参。
2.根据权利要求1所述的多波段扫描仪的标定方法,其特征在于,接收所述多波段扫描仪轮询拍摄标定板获得的多个标定板图像之前包括:
发送轮询命令至多波段扫描仪,其中,所述轮询命令包括每个拍摄周期内各扫描激光的切换顺序、每个拍摄周期内各扫描激光的闪烁次数和拍摄周期。
3.根据权利要求1所述的多波段扫描仪的标定方法,其特征在于,所述多波段扫描仪轮询拍摄标定板包括:
设置所述多波段扫描仪的拍摄周期、每个拍摄周期内各扫描激光的切换顺序和每个拍摄周期内各扫描激光的闪烁次数;
所述多波段扫描仪在每个拍摄周期内,根据各扫描激光的闪烁次数以及各扫描激光的切换顺序,拍摄标定板。
4.根据权利要求3所述的多波段扫描仪的标定方法,其特征在于,所述多波段扫描仪包括摄像头,所述多波段扫描仪在每个拍摄周期内,根据各扫描激光的闪烁次数以及各扫描激光的切换顺序,所述拍摄标定板包括:
所述多波段扫描仪在每个拍摄周期内,根据各扫描激光的切换顺序和各扫描激光的闪烁次数切换至对应波段的扫描激光,在扫描激光每次闪烁时,所述摄像头拍摄标定板。
5.根据权利要求1所述的多波段扫描仪的标定方法,其特征在于,确定拍摄各所述标定板图像时所述多波段扫描仪使用的扫描激光的波段包括:
根据多波段扫描仪的拍摄周期、每个拍摄周期内各扫描激光的切换顺序和每个拍摄周期内各扫描激光的闪烁次数,确定拍摄各所述标定板图像时所述多波段扫描仪使用的扫描激光的波段。
6.根据权利要求1所述的多波段扫描仪的标定方法,其特征在于,根据与各扫描激光的波段对应的所述多波段扫描仪的摄像头内参、与各扫描激光的波段对应的标定板图像和所述标记点的三维信息,确定与各扫描激光的波段对应的所述多波段扫描仪的外参之前包括:
根据与各扫描激光的波段对应的所述多波段扫描仪的摄像头内参、与各扫描激光的波段对应的标定板图像和标记点的三维信息,确定标定板图像中的标记点与标定板上的标记点的对应关系。
7.根据权利要求1所述的多波段扫描仪的标定方法,其特征在于,所述多波段扫描仪的外参包括摄像头的外参和激光器所投射的激光面的位置,根据与各扫描激光的波段对应的所述多波段扫描仪的摄像头内参、与各扫描激光的波段对应的标定板图像和标记点的三维信息,确定与各扫描激光的波段对应的所述多波段扫描仪的外参包括:
根据标定板图像中的标记点与标定板上的标记点的对应关系和标定板上标记点的三维信息,确定摄像头的外参;以及
提取与各扫描激光的波段对应的标定板图像中的激光轮廓线,根据所述激光轮廓线,获取所述激光轮廓线的点云数据,将多个标定板图像中的激光轮廓线的点云数据转换为同一个坐标,确定激光器所投射的激光面的位置。
8.一种多波段扫描仪的标定系统,其特征在于,包括:多波段扫描仪、标定板和标定模块;其中,多波段扫描仪包括摄像头和激光器,所述标定模块与多波段扫描仪连接;
所述激光器用于发出激光线,并将所述激光线投射至所述标定板中,其中,所述激光器至少两个;
所述摄像头同步获取多幅多波段扫描仪处于标定板不同角度和不同位置处的标定板图像,其中,所述摄像头至少两个;
所述标定模块根据与各扫描激光的波段对应的标定板图像、与各扫描激光的波段对应的所述多波段扫描仪的摄像头内参和标定板上标记点的三维信息,得到与各扫描激光的波段对应的所述多波段扫描仪的外参。
9.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的多波段扫描仪的标定方法。
10.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至7中任一项所述的多波段扫描仪的标定方法。
CN202110260791.1A 2021-03-10 2021-03-10 多波段扫描仪的标定方法、系统、电子装置和存储介质 Active CN113063370B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110260791.1A CN113063370B (zh) 2021-03-10 2021-03-10 多波段扫描仪的标定方法、系统、电子装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110260791.1A CN113063370B (zh) 2021-03-10 2021-03-10 多波段扫描仪的标定方法、系统、电子装置和存储介质

Publications (2)

Publication Number Publication Date
CN113063370A true CN113063370A (zh) 2021-07-02
CN113063370B CN113063370B (zh) 2023-01-31

Family

ID=76560338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110260791.1A Active CN113063370B (zh) 2021-03-10 2021-03-10 多波段扫描仪的标定方法、系统、电子装置和存储介质

Country Status (1)

Country Link
CN (1) CN113063370B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457154A (zh) * 2022-11-11 2022-12-09 思看科技(杭州)股份有限公司 三维扫描仪的标定方法、装置、计算机设备和存储介质
CN117579754A (zh) * 2024-01-16 2024-02-20 思看科技(杭州)股份有限公司 三维扫描方法、装置、计算机设备以及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104142157A (zh) * 2013-05-06 2014-11-12 北京四维图新科技股份有限公司 一种标定方法、装置及设备
CN105066909A (zh) * 2015-09-01 2015-11-18 华中科技大学 一种手持式多激光条纹快速三维测量方法
CN204944431U (zh) * 2015-08-12 2016-01-06 杭州思看科技有限公司 采用闪烁方式投影的手持激光三维扫描仪
CN106500627A (zh) * 2016-10-19 2017-03-15 杭州思看科技有限公司 含有多个不同波长激光器的三维扫描方法及扫描仪
CN107202554A (zh) * 2017-07-06 2017-09-26 杭州思看科技有限公司 同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统
CN207215013U (zh) * 2016-08-25 2018-04-10 深圳市虚拟现实技术有限公司 虚拟现实姿态及坐标定位装置
US20190242697A1 (en) * 2016-10-19 2019-08-08 Hangzhou Scantech Company Limited Three-dimensional scanning method containing multiple lasers with different wavelengths and scanner
CN110470238A (zh) * 2019-07-02 2019-11-19 杭州非白三维科技有限公司 一种手持激光三维扫描仪、扫描方法及装置
CN111551349A (zh) * 2020-05-13 2020-08-18 西安应用光学研究所 一种便携式、多光谱、大口径目标模拟器均匀性测试装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104142157A (zh) * 2013-05-06 2014-11-12 北京四维图新科技股份有限公司 一种标定方法、装置及设备
CN204944431U (zh) * 2015-08-12 2016-01-06 杭州思看科技有限公司 采用闪烁方式投影的手持激光三维扫描仪
CN105066909A (zh) * 2015-09-01 2015-11-18 华中科技大学 一种手持式多激光条纹快速三维测量方法
CN207215013U (zh) * 2016-08-25 2018-04-10 深圳市虚拟现实技术有限公司 虚拟现实姿态及坐标定位装置
CN106500627A (zh) * 2016-10-19 2017-03-15 杭州思看科技有限公司 含有多个不同波长激光器的三维扫描方法及扫描仪
US20190242697A1 (en) * 2016-10-19 2019-08-08 Hangzhou Scantech Company Limited Three-dimensional scanning method containing multiple lasers with different wavelengths and scanner
CN107202554A (zh) * 2017-07-06 2017-09-26 杭州思看科技有限公司 同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统
CN110470238A (zh) * 2019-07-02 2019-11-19 杭州非白三维科技有限公司 一种手持激光三维扫描仪、扫描方法及装置
CN111551349A (zh) * 2020-05-13 2020-08-18 西安应用光学研究所 一种便携式、多光谱、大口径目标模拟器均匀性测试装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457154A (zh) * 2022-11-11 2022-12-09 思看科技(杭州)股份有限公司 三维扫描仪的标定方法、装置、计算机设备和存储介质
CN117579754A (zh) * 2024-01-16 2024-02-20 思看科技(杭州)股份有限公司 三维扫描方法、装置、计算机设备以及存储介质
CN117579754B (zh) * 2024-01-16 2024-05-07 思看科技(杭州)股份有限公司 三维扫描方法、装置、计算机设备以及存储介质

Also Published As

Publication number Publication date
CN113063370B (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
CN113063370B (zh) 多波段扫描仪的标定方法、系统、电子装置和存储介质
US9456202B2 (en) Attachable three-dimensional scan module
CN109584352B (zh) 三维扫描的图像获取、处理方法、装置以及三维扫描设备
CN109672871B (zh) 白平衡信息同步方法、装置及计算机可读介质
CN109409147B (zh) 一种条码识别方法和装置
CN109842763A (zh) 一种自动补光方法、系统及摄像机
CN113393492A (zh) 目标跟踪方法、装置、电子装置和存储介质
CN111294563B (zh) 视频监控方法及装置、存储介质、电子装置
US11523056B2 (en) Panoramic photographing method and device, camera and mobile terminal
CN210719062U (zh) 一种基于无线同步的跟踪装置及扫描系统
CN114627249A (zh) 三维扫描系统及三维扫描方法
CN111935415B (zh) 亮度调整方法、装置、存储介质及电子装置
CN115457154A (zh) 三维扫描仪的标定方法、装置、计算机设备和存储介质
CN110848907A (zh) 空调器的控制方法、空调器及计算机可读存储介质
CN116206069A (zh) 三维扫描中的图像数据处理方法、装置和三维扫描仪
CN111723619A (zh) 移动信息的确定方法、装置、存储介质及电子装置
CN215338215U (zh) 一种结构光三维扫描仪和扫描系统
WO2021022989A1 (zh) 标定参数的获取方法、装置、处理器及电子设备
CN115205110A (zh) 一种全景图像拼接方法、装置、电子装置和存储介质
CN210719061U (zh) 一种基于无线同步的扫描装置及扫描系统
CN111182290B (zh) 图像检测方法及装置、存储介质、电子装置
CN113340433A (zh) 温度测量方法、装置、存储介质及电子装置
CN105407337A (zh) 投影方法、装置、终端及服务器
CN114143527B (zh) 一种分段式拍摄指令控制方法、装置、系统、电子装置和存储介质
CN111638043A (zh) 一种光学中心确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 102, Unit 1, Building 12, No. 998, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province, 311121

Applicant after: Sikan Technology (Hangzhou) Co.,Ltd.

Address before: Room 101, building 12, No. 998, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province

Applicant before: HANGZHOU SCANTECH Co.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant