CN113052920B - 摄像头标定方法、装置及计算机可读存储介质 - Google Patents

摄像头标定方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN113052920B
CN113052920B CN202110456433.8A CN202110456433A CN113052920B CN 113052920 B CN113052920 B CN 113052920B CN 202110456433 A CN202110456433 A CN 202110456433A CN 113052920 B CN113052920 B CN 113052920B
Authority
CN
China
Prior art keywords
array
camera calibration
parameter
displayed
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110456433.8A
Other languages
English (en)
Other versions
CN113052920A (zh
Inventor
王春达
徐建军
姜滨
迟小羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Optical Technology Co Ltd
Original Assignee
Goertek Optical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Optical Technology Co Ltd filed Critical Goertek Optical Technology Co Ltd
Priority to CN202110456433.8A priority Critical patent/CN113052920B/zh
Publication of CN113052920A publication Critical patent/CN113052920A/zh
Application granted granted Critical
Publication of CN113052920B publication Critical patent/CN113052920B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种摄像头标定方法、装置及计算机可读存储介质,所述摄像头标定方法包括:读取测试图卡并进行编码获得第一图卡多维数组,对第一图卡多维数组进行处理,得到第一待显数组并输出到显示屏进行显示;在通过IMU传感器检测到摄像头标定装置的位置发生变化时,获取IMU传感器的变化参数,将变化参数与所述第一图卡多维数组进行运算,得到第二图卡多维数组,对第二图卡多维数组重新进行处理,得到第二待显数组,并输出到所述显示屏进行显示,以供摄像头拍摄显示屏基于第一待显数组和第二待显数组显示的图卡图片,从而进行摄像头标定。本发明能够解决现有的摄像头标定方法存在的成本较高且效率较低的问题。

Description

摄像头标定方法、装置及计算机可读存储介质
技术领域
本发明涉及摄像头标定技术领域,尤其涉及一种摄像头标定方法、装置及计算机可读存储介质。
背景技术
摄像头作为一种高端的数码产品已经深深融入了我们的生活当中,随着科技的不断发展,对摄像头的性能要求也越来越高,其中对摄像头进行标定是一个重要的环节,其结果精度会直接影响视觉系统后续工作的准确性。传统的摄像头标定过程中,需要打印大尺寸测试图卡和使用多轴机械臂等传动装置,进而通过人工调整多轴机械臂,来使得摄像头设备在不同角度拍摄测试图卡的特定区域。此外,不同摄像头设备需要使用不同类型的测试图卡,需通过人工方式调整打印不同的测试图卡内容。因此,现有的摄像头标定方法存在成本较高且效率较低的问题。
发明内容
本发明的主要目的在于提供一种摄像头标定方法、装置及计算机可读存储介质,旨在解决现有的摄像头标定方法存在的成本较高且效率较低的问题。
为实现上述目的,本发明提供一种摄像头标定方法,所述摄像头标定方法包括:
读取测试图卡,并对所述测试图卡进行编码获得第一图卡多维数组;
对所述第一图卡多维数组进行处理,得到第一待显数组,并将所述第一待显数组输出到显示屏进行显示;
在通过IMU传感器检测到摄像头标定装置的位置发生变化时,获取所述IMU传感器的变化参数,并将所述变化参数与所述第一图卡多维数组进行运算,得到第二图卡多维数组;
对所述第二图卡多维数组进行处理,得到第二待显数组,并将所述第二待显数组输出到所述显示屏进行显示,以供摄像头拍摄所述显示屏基于所述第一待显数组和所述第二待显数组显示的图卡图片,从而进行摄像头标定。
可选地,所述对所述第一图卡多维数组进行处理,得到第一待显数组的步骤包括:
根据预设起始像素行列坐标,对所述第一图卡多维数组进行裁剪,得到裁剪后的数组;
将所述裁剪后的数组与预设畸变参数进行矩阵运算,得到第一待显数组。
可选地,所述在通过IMU传感器检测到摄像头标定装置的位置发生变化时,获取所述IMU传感器的变化参数的步骤之前,还包括:
读取IMU传感器的初始位置参数,所述初始位置参数包括IMU传感器在初始静止状态下的初始角度参数和初始位移参数;
读取IMU传感器的当前位置参数,所述当前位置参数包括当前角度参数和当前位移参数;
比较所述当前角度参数与所述初始角度参数是否一致,并比较所述当前位移参数与所述初始位移参数是否一致;
根据比较结果检测所述摄像头标定装置的位置是否发生变化。
可选地,所述获取所述IMU传感器的变化参数的步骤包括:
将所述初始角度参数与所述当前角度参数做差值并进行转换,得到旋转矩阵参数;
将所述初始位移参数与所述当前位移参数做差值并进行转换,得到平移矩阵参数,其中,IMU传感器的变化参数包括所述旋转矩阵参数和所述平移矩阵参数。
可选地,所述摄像头标定方法还包括:
实时或定时检测预设起始像素行列坐标和预设畸变参数是否被更新;
当检测到预设起始像素行列坐标和/或预设畸变参数被更新时,根据更新后的预设起始像素行列坐标和/或更新后的预设畸变参数,对所述第二图卡多维数组重新进行处理,得到第三待显数组;
将所述第三待显数组输出到所述显示屏进行显示。
可选地,所述显示屏采用电子墨水屏,所述摄像头标定方法还包括:
调整背光板亮度至预设初始亮度,读取光照传感器的模数AD值;
计算所述AD值与预设光照强度参数之间的差值,并判断所述差值是否在预设可容许范围内;
若所述差值不在预设可容许范围内,则调整背光板亮度,直至检测到调整后的差值在预设可容许范围内。
可选地,所述读取测试图卡,并对所述测试图卡进行编码获得第一图卡多维数组的步骤之前,还包括:
判断是否检测到接近传感器的开关量信号;
若是,则执行步骤:读取测试图卡,并对所述测试图卡进行编码获得第一图卡多维数组。
此外,为实现上述目的,本发明还提供一种摄像头标定装置,所述摄像头标定装置包括:控制单元、以及与所述控制单元通信连接的IMU传感器和显示屏,所述控制单元包括:存储器、处理器、以及存储在所述存储器上并可在所述处理器上运行的摄像头标定程序,所述摄像头标定程序被处理器执行时实现如上述的摄像头标定方法的步骤。
可选地,所述摄像头标定装置还包括:光照传感组件、透镜组件、摄像头固定架、以及设于所述摄像头固定架上的接近传感器,所述摄像头固定架用于安装摄像头,所述摄像头固定架、所述光照传感组件、所述透镜组件、所述显示屏和所述控制单元依次连接。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有摄像头标定程序,所述摄像头标定程序被处理器执行时实现如上述的摄像头标定方法的步骤。
本发明提供一种摄像头标定方法、装置及计算机可读存储介质,该摄像头标定方法应用于摄像头标定装置,首先读取测试图卡,并对测试图卡进行编码获得第一图卡多维数组,然后对第一图卡多维数组进行处理,得到第一待显数组,并将第一待显数组输出到显示屏进行显示,在通过IMU传感器检测到摄像头标定装置的位置发生变化时,获取IMU传感器的变化参数,并将变化参数与第一图卡多维数组进行运算,得到第二图卡多维数组,进而对第二图卡多维数组重新进行处理,得到第二待显数组,并将第二待显数组输出到显示屏进行显示,以供摄像头拍摄显示屏基于第一待显数组和第二待显数组显示的图卡图片,从而进行摄像头标定。通过上述方式,将现有技术中使用多轴机械装置和大尺寸测试图卡配合的标定方式压缩到小尺寸的摄像头标定装置中,可大大节省占用空间,同时具备低功耗和复用性等特性。此外,通过该摄像头标定装置可实现测试图卡的自动化的处理和送显、及不同角度的测试图卡的显示,以供摄像头拍摄得到多组不同角度的测试图卡进行标定,本发明实施例无需人工调整多轴机械臂及打印不同的测试图卡,从而可节省人工成本,提高摄像头标定效率。
附图说明
图1为本发明摄像头标定装置的结构示意图;
图2是本发明实施例方案涉及的硬件运行环境的终端结构示意图;
图3为本发明摄像头标定方法第一实施例的流程示意图;
图4为本发明摄像头标定方法第二实施例的流程示意图;
图5为本发明摄像头标定方法第三实施例的流程示意图;
图6为本发明摄像头标定方法第四实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明摄像头标定装置的结构示意图。
如图1所示,摄像头标定装置包括控制单元1、以及与控制单元1通信连接的IMU(Inertial Measurement Unit,惯性测量单元)传感器(图中未示出)和显示屏2。其中,控制单元1可选地为MCU(Microcontroller Unit,微控制单元,又称单片微型计算机或单片机)控制单元,控制单元1还可以包括PCB(Printed Circuit Board,印制电路板)电路板,IMU传感器、光照传感器41和接近传感器等可通过FPC(Flexible Printed Circuit,柔性电路板)引到PCB电路板上,以与各传感器进行通信连接;此外,控制单元1还可以包括存储器、处理器、以及存储在存储器上并可在处理器上运行的摄像头标定程序,摄像头标定程序被处理器执行时实现摄像头标定方法实施例中的各步骤,具体的功能和实现过程可参照各实施例,此处不作赘述;IMU传感器,通常由3个加速度计和3个陀螺仪组成,用于检测和测量摄像头标定装置的加速度与旋转运动,进而检测摄像头标定装置的位置是否发生变化;显示屏2用于显示基于待显数组对应的图卡图片,以供摄像头进行拍摄,进而用于摄像头标定。
进一步地,摄像头标定装置还包括:光照传感组件4、透镜组件3、摄像头固定架5、以及设于摄像头固定架5上的接近传感器(图中未示出),摄像头固定架5、光照传感组件4、透镜组件3、显示屏2和控制单元1依次连接。其中,光照传感组件4包括光照传感器41和外部遮光罩42,光照传感器41固定在外部遮光罩42内部,用于获取当前环境光照强度对应的AD(模数)值;透镜组件3包括光学透镜31和透镜固定架32,光学透镜31嵌套至透镜固定架32上;摄像头固定架5用于安装摄像头;接近传感器用于检测待标定的摄像头是否被置于摄像头固定架5上,具体的,当待标定的摄像头被置于摄像头固定架5上时,接近传感器会输出开关量信号至控制单元1。此外,光照传感器41、接近传感器、显示屏2分别与控制单元1通信连接。
参照图2,图2为本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端为摄像头标定装置内的控制单元。
如图2所示,该终端可以包括:处理器1001,例如CPU(Central Processing Unit,中央处理器),通信总线1002,网络接口1003,存储器1004。其中,通信总线1002用于实现这些组件之间的连接通信。网络接口1003可选的可以包括标准的有线接口(如USB接口)、无线接口(如Wi-Fi接口)。存储器1004可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1004可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图2中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图2所示,作为一种计算机存储介质的存储器1004中可以包括操作系统、网络通信模块以及摄像头标定程序。
在图2所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;而处理器1001可以用于调用存储器1004中存储的摄像头标定程序,并执行以下操作:
读取测试图卡,并对所述测试图卡进行编码获得第一图卡多维数组;
对所述第一图卡多维数组进行处理,得到第一待显数组,并将所述第一待显数组输出到显示屏进行显示;
在通过IMU传感器检测到摄像头标定装置的位置发生变化时,获取所述IMU传感器的变化参数,并将所述变化参数与所述第一图卡多维数组进行运算,得到第二图卡多维数组;
对所述第二图卡多维数组进行处理,得到第二待显数组,并将所述第二待显数组输出到所述显示屏进行显示,以供摄像头拍摄所述显示屏基于所述第一待显数组和所述第二待显数组显示的图卡图片,从而进行摄像头标定。
进一步地,处理器1001可以调用存储器1004中存储的摄像头标定程序,还执行以下操作:
根据预设起始像素行列坐标,对所述第一图卡多维数组进行裁剪,得到裁剪后的数组;
将所述裁剪后的数组与预设畸变参数进行矩阵运算,得到第一待显数组。
进一步地,处理器1001可以调用存储器1004中存储的摄像头标定程序,还执行以下操作:
读取IMU传感器的初始位置参数,所述初始位置参数包括IMU传感器在初始静止状态下的初始角度参数和初始位移参数;
读取IMU传感器的当前位置参数,所述当前位置参数包括当前角度参数和当前位移参数;
比较所述当前角度参数与所述初始角度参数是否一致,并比较所述当前位移参数与所述初始位移参数是否一致;
根据比较结果检测所述摄像头标定装置的位置是否发生变化。
进一步地,处理器1001可以调用存储器1004中存储的摄像头标定程序,还执行以下操作:
将所述初始角度参数与所述当前角度参数做差值并进行转换,得到旋转矩阵参数;
将所述初始位移参数与所述当前位移参数做差值并进行转换,得到平移矩阵参数,其中,IMU传感器的变化参数包括所述旋转矩阵参数和所述平移矩阵参数。
进一步地,处理器1001可以调用存储器1004中存储的摄像头标定程序,还执行以下操作:
实时或定时检测预设起始像素行列坐标和预设畸变参数是否被更新;
当检测到预设起始像素行列坐标和/或预设畸变参数被更新时,根据更新后的预设起始像素行列坐标和/或更新后的预设畸变参数,对所述第二图卡多维数组重新进行处理,得到第三待显数组;
将所述第三待显数组输出到所述显示屏进行显示。
进一步地,所述显示屏采用电子墨水屏,处理器1001可以调用存储器1004中存储的摄像头标定程序,还执行以下操作:
调整背光板亮度至预设初始亮度,读取光照传感器的模数AD值;
计算所述AD值与预设光照强度参数之间的差值,并判断所述差值是否在预设可容许范围内;
若所述差值不在预设可容许范围内,则调整背光板亮度,直至检测到调整后的差值在预设可容许范围内。
进一步地,处理器1001可以调用存储器1004中存储的摄像头标定程序,还执行以下操作:
判断是否检测到接近传感器的开关量信号;
若是,则执行步骤:读取测试图卡,并对所述测试图卡进行编码获得第一图卡多维数组。
基于上述硬件结构,提出本发明摄像头标定方法各个实施例。
本发明提供一种摄像头标定方法。
参照图3,图3为本发明摄像头标定方法第一实施例的流程示意图。
在本实施例中,所述摄像头标定方法包括:
步骤S10,读取测试图卡,并对所述测试图卡进行编码获得第一图卡多维数组;
在本实施例中,该摄像头标定方法应用于摄像头标定装置,如图1所示,摄像头标定装置包括控制单元1、以及与控制单元1通信连接的IMU(Inertial Measurement Unit,惯性测量单元)传感器(图中未示出)和显示屏2。其中,控制单元1可选地为MCU(Microcontroller Unit,微控制单元,又称单片微型计算机或单片机)控制单元,控制单元1还可以包括PCB(Printed Circuit Board,印制电路板)电路板,IMU传感器、光照传感器41和接近传感器等可通过FPC(Flexible Printed Circuit,柔性电路板)引到PCB电路板上,以与各传感器进行通信连接;此外,控制单元1还可以包括存储器、处理器、以及存储在存储器上并可在处理器上运行的摄像头标定程序,摄像头标定程序被处理器执行时实现摄像头标定方法实施例中的各步骤,具体的功能和实现过程可参照各实施例,此处不作赘述;IMU传感器,通常由3个加速度计和3个陀螺仪组成,用于检测和测量摄像头标定装置的加速度与旋转运动,进而检测摄像头标定装置的位置是否发生变化;显示屏2用于显示基于待显数组对应的图卡图片,以供摄像头进行拍摄,进而用于摄像头标定。
进一步地,摄像头标定装置还包括:光照传感组件4、透镜组件3、摄像头固定架5、以及设于摄像头固定架5上的接近传感器(图中未示出),摄像头固定架5、光照传感组件4、透镜组件3、显示屏2和控制单元1依次连接。其中,光照传感组件4包括光照传感器41和外部遮光罩42,光照传感器41固定在外部遮光罩42内部,用于获取当前环境光照强度对应的AD(模数)值;透镜组件3包括光学透镜31和透镜固定架32,光学透镜31嵌套至透镜固定架32上;摄像头固定架5用于安装摄像头;接近传感器用于检测待标定的摄像头是否被置于摄像头固定架5上,具体的,当待标定的摄像头被置于摄像头固定架5上时,接近传感器会输出开关量信号至控制单元1。此外,光照传感器41、接近传感器、显示屏2分别与控制单元1通信连接。
进一步地,在上述步骤S10之前,还包括:
步骤A,判断是否检测到接近传感器的开关量信号;
步骤B,若是,则执行步骤S10:读取测试图卡,并对所述测试图卡进行编码获得第一图卡多维数组。
在本实施例中,当摄像头安装在摄像头固定架上时,接近传感器会发送开关量信号至控制单元,因此,控制单元在检测到接近传感器的开关量信号时,默认摄像头已安装完成,进而执行步骤“读取测试图卡,并对所述测试图卡进行编码获得第一图卡多维数组”。
具体的,先从存储器中读取测试图卡,其中,测试图卡为用于摄像头标定的测试图卡,可以为黑白棋盘格图卡。然后,读取测试图卡的像素行列信息,按照先行后列的方式对像素行列信息进行十六进制编码,获得第一图卡多维数组。
步骤S20,对所述第一图卡多维数组进行处理,得到第一待显数组,并将所述第一待显数组输出到显示屏进行显示;
在得到第一图卡多维数组之后,对第一图卡多维数组进行处理,得到第一待显数组,并将第一待显数组输出到显示屏进行显示。
具体的,步骤“对所述第一图卡多维数组进行处理,得到第一待显数组”包括:
步骤a21,根据预设起始像素行列坐标,对所述第一图卡多维数组进行裁剪,得到裁剪后的数组;
步骤a22,将所述裁剪后的数组与预设畸变参数进行矩阵运算,得到第一待显数组。
本实施例中,第一待显数组的具体获取过程为:
根据预设起始像素行列坐标,对第一图卡多维数组进行裁剪,例如,预设起始像素行列坐标为(2,2),第一图卡多维数组为一个16行16列的数组,每一像素坐标对应测试图卡上的一个点,按照预设显示区域大小从预设起始像素行列坐标为(2,2)开始裁剪,得到裁剪后的数组。其中,预设显示区域大小可基于摄像头分辨率设定,以保证裁剪后的数组处于摄像头分辨率范围内。之后将裁剪后的数组与预设畸变参数进行矩阵乘法运算,得到一个多维数组,即第一待显数组,然后将第一待显数组输出到显示屏进行显示,其中,预设畸变参数可基于显示屏的畸变系数设定。
步骤S30,在通过IMU传感器检测到摄像头标定装置的位置发生变化时,获取所述IMU传感器的变化参数,并将所述变化参数与所述第一图卡多维数组进行运算,得到第二图卡多维数组;
为了使摄像头拍摄不同角度的测试图卡图片,可调整摄像头标定装置的位置,因此,在摄像头标定过程中,可实时或定时获取IMU传感器的参数,以检测摄像头标定装置的位置是否发生变化,进而在通过IMU传感器检测到摄像头标定装置的位置发生变化时,获取IMU传感器的变化参数,其中,IMU传感器的变化参数包括旋转矩阵参数和平移矩阵参数,具体的检测过程和变化参数的获取过程可参照下述第二实施例,此处不作赘述。然后,将旋转矩阵参数和平移矩阵参数及上述第一图卡多维数组进行相乘运算,得到第二图卡多维数组。
步骤S40,对所述第二图卡多维数组进行处理,得到第二待显数组,并将所述第二待显数组输出到所述显示屏进行显示,以供摄像头拍摄所述显示屏基于所述第一待显数组和所述第二待显数组显示的图卡图片,从而进行摄像头标定。
最后,对第二图卡多维数组进行处理,得到第二待显数组,第二待显数组的获取过程与上述第一待显数组的获取过程相似,即,根据预设起始像素行列坐标,对上述第二图卡多维数组进行裁剪,例如,预设起始像素行列坐标为(2,2),第二图卡多维数组为一个16行16列的数组,每一像素坐标对应测试图卡上的一个点,按照预设显示区域大小从预设起始像素行列坐标为(2,2)开始裁剪,得到裁剪后的数组。其中,预设显示区域大小可基于摄像头分辨率设定,以保证裁剪后的数组处于摄像头分辨率范围内。之后将裁剪后的数组与预设畸变参数进行矩阵乘法运算,得到一个多维数组,即第二待显数组,然后将第二待显数组输出到显示屏进行显示,其中,预设畸变参数可基于显示屏的畸变系数设定。
本发明实施例提供一种摄像头标定方法,该摄像头标定方法应用于摄像头标定装置,首先读取测试图卡,并对测试图卡进行编码获得第一图卡多维数组,然后对第一图卡多维数组进行处理,得到第一待显数组,并将第一待显数组输出到显示屏进行显示,在通过IMU传感器检测到摄像头标定装置的位置发生变化时,获取IMU传感器的变化参数,并将变化参数与第一图卡多维数组进行运算,得到第二图卡多维数组,进而对第二图卡多维数组重新进行处理,得到第二待显数组,并将第二待显数组输出到显示屏进行显示,以供摄像头拍摄显示屏基于第一待显数组和第二待显数组显示的图卡图片,从而进行摄像头标定。通过上述方式,将现有技术中使用多轴机械装置和大尺寸测试图卡配合的标定方式压缩到小尺寸的摄像头标定装置中,可大大节省占用空间,同时具备低功耗和复用性等特性。此外,通过该摄像头标定装置可实现测试图卡的自动化的处理和送显、及不同角度的测试图卡的显示,以供摄像头拍摄得到多组不同角度的测试图卡进行标定,本发明实施例无需人工调整多轴机械臂及打印不同的测试图卡,从而可节省人工成本,提高摄像头标定效率。
进一步地,基于上述第一实施例,提出本发明摄像头标定方法的第二实施例。
参照图4,图4为本发明摄像头标定方法第二实施例的流程示意图。
在本实施例中,在上述步骤S30之前,还包括:
步骤S50,读取IMU传感器的初始位置参数,所述初始位置参数包括IMU传感器在初始静止状态下的初始角度参数和初始位移参数;
步骤S60,读取IMU传感器的当前位置参数,所述当前位置参数包括当前角度参数和当前位移参数;
在本实施例中,可预先读取IMU传感器的初始位置参数,具体的,可通过IMU传感器中的陀螺仪测得IMU传感器在初始静止状态下的角度参数,记为初始角度参数,并通过MU传感器中的加速度计测得IMU传感器在初始静止状态下的位移参数,记为初始位移参数,初始位置参数包括初始角度参数和初始位移参数。
在标定过程中,可实时或定时(如每隔1分钟)读取IMU传感器的当前位置参数,即,通过IMU传感器中的陀螺仪测得IMU传感器当前状态下的角度参数,记为当前角度参数,同时通过MU传感器中的加速度计测得IMU传感器当前状态下的位移参数,记为当前位移参数,当前位置参数包括当前角度参数和当前位移参数。
步骤S70,比较所述当前角度参数与所述初始角度参数是否一致,并比较所述当前位移参数与所述初始位移参数是否一致;
步骤S80,根据比较结果检测所述摄像头标定装置的位置是否发生变化。
然后,比较当前角度参数与初始角度参数是否一致,根据第一比较结果检测摄像头标定装置的角度是否发生变化;同时,比较当前位移参数与初始位移参数是否一致,根据第二比较结果检测摄像头标定装置的位移是否发生变化。
当IMU传感器检测到的角度或者位移发生变化时,判定摄像头标定装置的位置发生变化;或者当IMU传感器检测到的角度和位移同时发生变化时,判定摄像头标定装置的位置发生变化;当IMU传感器检测到的角度和位移均未发生变化时,判定摄像头标定装置的位置未发生变化。
此时,在通过IMU传感器检测到摄像头标定装置的位置发生变化时,步骤“获取IMU传感器的变化参数”包括:
步骤a31,将所述初始角度参数与所述当前角度参数做差值并进行转换,得到旋转矩阵参数;
步骤a32,将所述初始位移参数与所述当前位移参数做差值并进行转换,得到平移矩阵参数,其中,IMU传感器的变化参数包括所述旋转矩阵参数和所述平移矩阵参数。
在通过IMU传感器检测到摄像头标定装置的位置发生变化时,将初始角度参数与当前角度参数做差值,得到摄像头标定装置的角度变化量,根据旋转矩阵转换公式,将角度变化量进行转换,得到旋转矩阵参数;同时,将初始位移参数与当前位移参数做差值,得到摄像头标定装置的位移变化量,通过平移矩阵运算,将位移变化量进行转换,得到平移矩阵参数。
本实施例,通过比较IMU传感器的初始位置参数和当前位置参数,判断摄像头标定装置的位置是否发生变化,在检测到摄像头标定装置的位置发生变化时,获取IMU传感器的变化参数,以便于后续基于变化参数对第一图卡多维数组进行一系列处理后,得到第二待显数组,进而显示第二待显数组对应的图卡图片,以供摄像头拍摄不同位置的测试图卡图片。上述方式通过调整摄像头标定装置的位置,可便于后续实现对测试图卡不同位置的拍摄,无需人工调整多轴机械臂及打印不同的测试图卡,从而可节省人工成本,提高标定效率。
进一步地,基于上述第一和第二实施例,提出本发明摄像头标定方法的第三实施例。
参照图5,图5为本发明摄像头标定方法第三实施例的流程示意图。
在本实施例中,在上述步骤S40之后,所述摄像头标定方法还包括:
步骤S90,实时或定时检测预设起始像素行列坐标和预设畸变参数是否被更新;
在需要拍摄测试图卡的不同位置内容时,还可以更新预设起始像素行列坐标,进而基于更新后的预设起始像素行列坐标,对第二图卡多维数组重新进行裁剪运算处理,得到测试图卡的不同位置内容,即第三待显数组。或,更换显示屏时,以更新预设畸变参数,进而基于更新后的预设畸变参数,对第二图卡多维数组重新进行裁剪运算处理,得到不同的测试图卡内容,即第三待显数组。对应的,控制单元可实时或定时(如每隔1分钟)检测预设起始像素行列坐标和预设畸变参数是否被更新。
步骤S100,当检测到预设起始像素行列坐标和/或预设畸变参数被更新时,根据更新后的预设起始像素行列坐标和/或更新后的预设畸变参数,对所述第二图卡多维数组重新进行处理,得到第三待显数组;
步骤S110,将所述第三待显数组输出到所述显示屏进行显示。
当检测到预设起始像素行列坐标和/或预设畸变参数被更新时,根据更新后的预设起始像素行列坐标和/或更新后的预设畸变参数,对第二图卡多维数组重新进行处理,得到第三待显数组;然后,将第三待显数组输出到显示屏进行显示。
其中,第三待显数组的获取过程与上述第二待显数组的获取过程相似,即,根据预设起始像素行列坐标,对上述第二图卡多维数组进行裁剪,得到裁剪后的数组。其中,预设显示区域大小可基于摄像头分辨率设定,以保证裁剪后的数组处于摄像头分辨率范围内。之后将裁剪后的数组与预设畸变参数进行矩阵乘法运算,得到一个多维数组,即第三待显数组,其中,预设畸变参数可基于显示屏的畸变系数设定。
在本实施例中,通过更新预设起始像素行列坐标和预设畸变参数,对第二图卡多维数组重新进行处理,以得到新的待显数组(即第三待显数组),进而输出至显示屏进行显示,供摄像头进一步拍摄不同的测试图卡内容,以用于标定。
进一步地,在现有的摄像头标定过程中,摄像头拍摄LCD(Liquid CrystalDisplay,液晶屏幕)或OLED(Organic Light-Emitting Diode,有机电激光显示)时,由于刷新率和快门时间不匹配会出现条纹和频闪问题,因此,现有的摄像头标定方式还存在摄像头拍摄LCD/OLED屏幕时会出现条纹和频闪的问题。
因此,基于上述第一和第二实施例,提出本发明摄像头标定方法的第四实施例。
参照图6,图6为本发明摄像头标定方法第四实施例的流程示意图。
在本实施例中,所述显示屏采用电子墨水屏,该摄像头标定方法还包括:
步骤S120,调整背光板亮度至预设初始亮度,读取光照传感器的模数AD值;
在本实施例中,为了解决摄像头拍摄LCD/OLED屏幕时会出现条纹和频闪的问题,显示屏采用电子墨水屏,电子墨水屏即为使用电子墨水的屏幕,又被称为电子纸显示技术,是基于电泳技术的显示技术,在电场的作用下,颜色粒子上下浮动形成画面。在形成画面后,颜色粒子就停止运动,不需要不断刷新,因此不会出现条纹或频闪的问题。但是由于电子墨水屏本身不发光,需要一个背光板提供亮度,具体的,可通过PWM(Pulse WidthModulation,脉冲宽度调制)技术调整背光板驱动电流以调整背光板亮度。
在本实施例中,上述步骤S120的执行顺序可位于步骤“将所述第一待显数组输出到显示屏进行显示”之前,也可以位于步骤“将所述第一待显数组输出到显示屏进行显示”之后,具体可根据实际情况进行设置。
将背光板亮度调整至预设初始亮度,从而为电子墨水屏提供一个基本的亮度,进一步地,可通过感知当前环境光照强度来适应性调整背光板亮度,以提供更好的拍摄效果。具体的,可定时或实时读取光照传感器检测到的当前环境光照强度所对应的AD(模数,其中,A为Analog模拟量,D为Digital数字量)值。
步骤S130,计算所述AD值与预设光照强度参数之间的差值,并判断所述差值是否在预设可容许范围内;
步骤S140,若所述差值不在预设可容许范围内,则调整背光板亮度,直至检测到调整后的差值在预设可容许范围内。
然后,计算该AD值与预设光照强度参数之间的差值,判断差值是否在预设可容许范围内,若差值不在预设可容许范围内,则调整背光板亮度,直至检测到调整后的差值在预设可容许范围内时,停止调整。其中,调整后的差值记为调整背光板亮度后,重新检测到的AD值与预设光照强度参数之间的差值。
本实施例中,通过上述方式,采用电子墨水屏可有效解决现有的摄像头标定过程中,采用LCD/OLED屏幕供摄像头拍摄时出现的条纹和频闪的问题,同时,通过调整背光板亮度以提高电子墨水屏的显示效果,从而使得摄像头拍摄得到更佳的测试图卡图像,以提高后续的摄像头标定效果。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有摄像头标定程序,所述摄像头标定程序被处理器执行时实现如以上任一项实施例所述的摄像头标定方法的步骤。
本发明计算机可读存储介质的具体实施例与上述摄像头标定方法各实施例基本相同,在此不作赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种摄像头标定方法,其特征在于,所述摄像头标定方法包括:
读取测试图卡,并对所述测试图卡进行编码获得第一图卡多维数组;
根据预设起始像素行列坐标,对所述第一图卡多维数组进行裁剪,得到裁剪后的数组;
将所述裁剪后的数组与预设畸变参数进行矩阵运算,得到第一待显数组,并将所述第一待显数组输出到显示屏进行显示;
在通过IMU传感器检测到摄像头标定装置的位置发生变化时,获取所述IMU传感器的变化参数,并将所述变化参数与所述第一图卡多维数组进行相乘运算,得到第二图卡多维数组,其中,所述IMU传感器的变化参数包括旋转矩阵参数和平移矩阵参数;
根据预设起始像素行列坐标,对所述第二图卡多维数组进行裁剪,得到裁剪后的数组;
将所述裁剪后的数组与预设畸变参数进行矩阵运算,得到第二待显数组,并将所述第二待显数组输出到所述显示屏进行显示,以供摄像头拍摄所述显示屏基于所述第一待显数组和所述第二待显数组显示的图卡图片,从而进行摄像头标定。
2.根据权利要求1所述的摄像头标定方法,其特征在于,所述在通过IMU传感器检测到摄像头标定装置的位置发生变化时,获取所述IMU传感器的变化参数的步骤之前,还包括:
读取IMU传感器的初始位置参数,所述初始位置参数包括IMU传感器在初始静止状态下的初始角度参数和初始位移参数;
读取IMU传感器的当前位置参数,所述当前位置参数包括当前角度参数和当前位移参数;
比较所述当前角度参数与所述初始角度参数是否一致,并比较所述当前位移参数与所述初始位移参数是否一致;
根据比较结果检测所述摄像头标定装置的位置是否发生变化。
3.根据权利要求2所述的摄像头标定方法,其特征在于,所述获取所述IMU传感器的变化参数的步骤包括:
将所述初始角度参数与所述当前角度参数做差值并进行转换,得到旋转矩阵参数;
将所述初始位移参数与所述当前位移参数做差值并进行转换,得到平移矩阵参数,其中,IMU传感器的变化参数包括所述旋转矩阵参数和所述平移矩阵参数。
4.根据权利要求1至3中任一项所述的摄像头标定方法,其特征在于,所述摄像头标定方法还包括:
实时或定时检测预设起始像素行列坐标和预设畸变参数是否被更新;
当检测到预设起始像素行列坐标和/或预设畸变参数被更新时,根据更新后的预设起始像素行列坐标和/或更新后的预设畸变参数,对所述第二图卡多维数组重新进行处理,得到第三待显数组;
将所述第三待显数组输出到所述显示屏进行显示。
5.根据权利要求1至3中任一项所述的摄像头标定方法,其特征在于,所述显示屏采用电子墨水屏,所述摄像头标定方法还包括:
调整背光板亮度至预设初始亮度,读取光照传感器的模数AD值;
计算所述AD值与预设光照强度参数之间的差值,并判断所述差值是否在预设可容许范围内;
若所述差值不在预设可容许范围内,则调整背光板亮度,直至检测到调整后的差值在预设可容许范围内。
6.根据权利要求1至3中任一项所述的摄像头标定方法,其特征在于,所述读取测试图卡,并对所述测试图卡进行编码获得第一图卡多维数组的步骤之前,还包括:
判断是否检测到接近传感器的开关量信号;
若是,则执行步骤:读取测试图卡,并对所述测试图卡进行编码获得第一图卡多维数组。
7.一种摄像头标定装置,其特征在于,所述摄像头标定装置包括控制单元、以及与所述控制单元通信连接的IMU传感器和显示屏,所述控制单元包括:存储器、处理器、以及存储在所述存储器上并可在所述处理器上运行的摄像头标定程序,所述摄像头标定程序被处理器执行时实现如权利要求1至6中任一项所述的摄像头标定方法的步骤。
8.根据权利要求7所述的摄像头标定装置,其特征在于,所述摄像头标定装置还包括:光照传感组件、透镜组件、摄像头固定架、以及设于所述摄像头固定架上的接近传感器,所述摄像头固定架用于安装摄像头,所述摄像头固定架、所述光照传感组件、所述透镜组件、所述显示屏和所述控制单元依次连接。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有摄像头标定程序,所述摄像头标定程序被处理器执行时实现如权利要求1至6中任一项所述的摄像头标定方法的步骤。
CN202110456433.8A 2021-04-26 2021-04-26 摄像头标定方法、装置及计算机可读存储介质 Active CN113052920B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110456433.8A CN113052920B (zh) 2021-04-26 2021-04-26 摄像头标定方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110456433.8A CN113052920B (zh) 2021-04-26 2021-04-26 摄像头标定方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113052920A CN113052920A (zh) 2021-06-29
CN113052920B true CN113052920B (zh) 2022-11-22

Family

ID=76520587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110456433.8A Active CN113052920B (zh) 2021-04-26 2021-04-26 摄像头标定方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113052920B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643383B (zh) * 2021-08-26 2024-02-23 惠州市德赛自动化技术有限公司 摄像头内参标定设备
CN117795553A (zh) * 2021-09-02 2024-03-29 深圳市大疆创新科技有限公司 信息采集系统及其标定方法、装置及计算机可读存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101750014A (zh) * 2009-12-31 2010-06-23 重庆大学 正交式三坐标测量机中摄像机的标定方法
CN103702033A (zh) * 2013-12-31 2014-04-02 南京车联网研究院有限公司 基于移动终端的车载摄像头标定方法、装置及系统
CN104732542A (zh) * 2015-03-27 2015-06-24 安徽省道一电子科技有限公司 基于多摄像头自标定的全景车辆安全系统的图像处理方法
CN105913414A (zh) * 2016-04-01 2016-08-31 歌尔声学股份有限公司 一种红外摄像头视觉系统的标定装置及标定方法
CN108038886A (zh) * 2017-12-06 2018-05-15 智车优行科技(北京)有限公司 双目摄像系统标定方法、装置及其汽车
CN108240793A (zh) * 2018-01-26 2018-07-03 广东美的智能机器人有限公司 物体尺寸测量方法、装置和系统
US10070123B1 (en) * 2017-08-14 2018-09-04 Oculus Vr, Llc Apparatuses, systems, and methods for characterizing and calibrating displays
WO2018223084A1 (en) * 2017-06-02 2018-12-06 Ostendo Technologies, Inc. Methods and systems for light field compression using multiple reference depth image-based rendering
CN109615663A (zh) * 2018-12-12 2019-04-12 深圳市至高通信技术发展有限公司 全景视频校正方法及终端
CN109919933A (zh) * 2019-03-08 2019-06-21 歌尔股份有限公司 Vr设备及其画面检测方法、装置、计算机可读存储介质
WO2019127406A1 (zh) * 2017-12-29 2019-07-04 深圳市锐明技术股份有限公司 一种adas摄像头的标定方法、装置、存储介质及终端设备
CN110009685A (zh) * 2018-12-29 2019-07-12 南京衍构科技有限公司 一种应用于电弧增材的激光相机手眼标定方法
CN110223332A (zh) * 2019-06-10 2019-09-10 长安大学 一种桥梁裂缝标定方法
CN110503694A (zh) * 2019-08-08 2019-11-26 Oppo广东移动通信有限公司 多摄像头标定方法、装置、存储介质及电子设备
CN110728638A (zh) * 2019-09-25 2020-01-24 深圳疆程技术有限公司 一种图像的畸变矫正方法、车机及汽车
CN111338546A (zh) * 2020-02-28 2020-06-26 歌尔科技有限公司 控制头戴显示设备的方法、终端及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101904770B (zh) * 2009-06-05 2012-11-14 复旦大学 一种基于光学增强现实技术的手术导航系统及方法
CN101674443B (zh) * 2009-09-08 2011-09-21 长春理工大学 一种投影仪颜色校正方法
US8230260B2 (en) * 2010-05-11 2012-07-24 Hewlett-Packard Development Company, L.P. Method and system for performing parallel computer tasks
CN104266606B (zh) * 2014-09-18 2017-01-25 河北工业大学 2ccd相机红外/可见光靶面校准方法
CN109905700A (zh) * 2019-03-08 2019-06-18 歌尔股份有限公司 虚拟显示设备及其检测方法、装置、计算机可读存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101750014A (zh) * 2009-12-31 2010-06-23 重庆大学 正交式三坐标测量机中摄像机的标定方法
CN103702033A (zh) * 2013-12-31 2014-04-02 南京车联网研究院有限公司 基于移动终端的车载摄像头标定方法、装置及系统
CN104732542A (zh) * 2015-03-27 2015-06-24 安徽省道一电子科技有限公司 基于多摄像头自标定的全景车辆安全系统的图像处理方法
CN105913414A (zh) * 2016-04-01 2016-08-31 歌尔声学股份有限公司 一种红外摄像头视觉系统的标定装置及标定方法
WO2018223084A1 (en) * 2017-06-02 2018-12-06 Ostendo Technologies, Inc. Methods and systems for light field compression using multiple reference depth image-based rendering
US10070123B1 (en) * 2017-08-14 2018-09-04 Oculus Vr, Llc Apparatuses, systems, and methods for characterizing and calibrating displays
CN108038886A (zh) * 2017-12-06 2018-05-15 智车优行科技(北京)有限公司 双目摄像系统标定方法、装置及其汽车
WO2019127406A1 (zh) * 2017-12-29 2019-07-04 深圳市锐明技术股份有限公司 一种adas摄像头的标定方法、装置、存储介质及终端设备
CN108240793A (zh) * 2018-01-26 2018-07-03 广东美的智能机器人有限公司 物体尺寸测量方法、装置和系统
CN109615663A (zh) * 2018-12-12 2019-04-12 深圳市至高通信技术发展有限公司 全景视频校正方法及终端
CN110009685A (zh) * 2018-12-29 2019-07-12 南京衍构科技有限公司 一种应用于电弧增材的激光相机手眼标定方法
CN109919933A (zh) * 2019-03-08 2019-06-21 歌尔股份有限公司 Vr设备及其画面检测方法、装置、计算机可读存储介质
CN110223332A (zh) * 2019-06-10 2019-09-10 长安大学 一种桥梁裂缝标定方法
CN110503694A (zh) * 2019-08-08 2019-11-26 Oppo广东移动通信有限公司 多摄像头标定方法、装置、存储介质及电子设备
CN110728638A (zh) * 2019-09-25 2020-01-24 深圳疆程技术有限公司 一种图像的畸变矫正方法、车机及汽车
CN111338546A (zh) * 2020-02-28 2020-06-26 歌尔科技有限公司 控制头戴显示设备的方法、终端及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Auto-fit multiple movable projections into one display screen;Driss Azougagh;《2019 International Conference on Wireless Technologies, Embedded and Intelligent Systems (WITS)》;20190530;论文全文 *
基于多路双光模组的智能识别预警摄像机;田瑞娟;《兵工自动化》;20200415;论文全文 *
钻孔摄像机器人视频序列拼接;周媛媛;《云南民族大学学报(自然科学版)》;20190123;论文全文 *

Also Published As

Publication number Publication date
CN113052920A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN113052920B (zh) 摄像头标定方法、装置及计算机可读存储介质
KR100593113B1 (ko) 화상 처리 시스템, 프로젝터 및 화상 처리 방법
US11270663B2 (en) Method for detecting compensation parameters of brightness, method for compensating brightness, detection device for detecting compensation parameters of brightness, brightness compensation device, display device, and non-volatile storage medium
CN111791589B (zh) 基于喷墨打印机的定位检测方法、装置、电子设备及介质
KR100648592B1 (ko) 화상 처리 시스템, 프로젝터 및 화상 처리 방법
US10940591B2 (en) Calibration method, calibration system, and program
CN111699525B (zh) 用于补偿显示器的颜色的电子设备
EP3156995A1 (en) Optical compensation device of display panel, display panel, and optical compensation method for display panel
US20110074961A1 (en) System and method for testing a digital camera module
WO2020159049A1 (en) Electronic device with illuminance sensor mounted at back side of display and method for measuring illuminance using illuminance sensor
CN110753167B (zh) 时间同步方法、装置、终端设备及存储介质
US8957998B2 (en) Lens shading correction apparatus and method in auto focus camera module
CN111556219A (zh) 图像扫描装置及图像扫描方法
US20100039360A1 (en) Liquid crystal display and operating method thereof
CN113838003A (zh) 图像的斑点检测方法、设备、介质及计算机程序产品
CN113012607A (zh) 显示模块检测方法、装置和系统
CN114255699B (zh) 显示屏画面补偿方法、装置及显示设备
KR20200017890A (ko) 디스플레이 모듈로부터 획득된 휘도 데이터에 기반하여 휘도를 조절하는 전자 장치 및 그 휘도 조절 방법
CN111369923B (zh) 显示屏幕异常点检测方法、检测设备和可读存储介质
JP7184072B2 (ja) 特定方法、特定システム、及びプログラム
WO2014038804A1 (ko) 전자펜을 이용한 입력 시스템
CN114495796A (zh) 亮度不均补偿方法及其装置、电子设备和存储介质
KR20210094956A (ko) 디스플레이를 포함하는 전자 장치 및 전자 장치의 동작 방법
CN107316293B (zh) 一种led模糊图片识别判断方法及其系统
EP3821468A1 (en) Display module and display device including inorganic light emitting element and light blocking member on connecting member

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant