CN112734721B - 一种光轴偏转角度检测方法、装置、设备和介质 - Google Patents

一种光轴偏转角度检测方法、装置、设备和介质 Download PDF

Info

Publication number
CN112734721B
CN112734721B CN202110022514.7A CN202110022514A CN112734721B CN 112734721 B CN112734721 B CN 112734721B CN 202110022514 A CN202110022514 A CN 202110022514A CN 112734721 B CN112734721 B CN 112734721B
Authority
CN
China
Prior art keywords
image
distance
center
checkerboard
deflection angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110022514.7A
Other languages
English (en)
Other versions
CN112734721A (zh
Inventor
彭成毕
金元斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunshan Q Technology Co Ltd
Original Assignee
Kunshan Q Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunshan Q Technology Co Ltd filed Critical Kunshan Q Technology Co Ltd
Priority to CN202110022514.7A priority Critical patent/CN112734721B/zh
Publication of CN112734721A publication Critical patent/CN112734721A/zh
Application granted granted Critical
Publication of CN112734721B publication Critical patent/CN112734721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种光轴偏转角度检测方法、装置、设备和介质，包括：获取两张原始图片；其中，两张原始图片是由同一拍摄设备在同一目标位置以不同拍摄角度对棋盘格进行拍摄获得的，且两张原始图片中的每一张原始图片的图像中心均处于对应的棋盘格图像上；获取每一张原始图片的图像中心与棋盘格图像的两条相邻边缘之间的方格图像边界的第一数量和第二数量；根据第一数量和第二数量，确定拍摄设备拍摄两张原始图片时拍摄设备的光心与棋盘格的两条相邻边缘之间的第一距离和第二距离；根据目标位置的参数信息、第一距离和第二距离，确定不同拍摄角度之间的偏转角度值，以检测拍摄设备的偏转角度是否合格。本申请提高了标定的准确性，缩短了标定时间。

Description

一种光轴偏转角度检测方法、装置、设备和介质
技术领域
本发明涉及拍摄技术领域，尤其涉及一种光轴偏转角度检测方法、装置、设备和介质。
背景技术
摄像设备在拍摄影像时，如果取景方向(即光轴方向)与景物不垂直，会导致拍照画面上不同位置的景物放大倍率各不相同，并且，焦距越短，处于不同位置的各个景物的放大倍率就越不均衡，具体体现在图像画面的左右两侧景物大小不一或上下两侧景物大小不一，镜头的焦距越短这个现象越明显。因此，需要测量光轴角度，以实现对摄像设备的标定。然而，相关技术中提供的标定方式需要确定外参矩阵，导致标定时间较长；在确定外参矩阵时容易受拍摄条件的影响，进而导致标定结果的准确率不高。
发明内容
本申请实施例通过提供一种光轴偏转角度检测方法、装置、设备和介质，解决了现有技术中标定时间长和标定准确率不高的技术问题，实现了缩短标定时间和提高标定准确率的技术效果。
第一方面，本申请提供了一种光轴偏转角度检测方法，方法包括：
获取两张原始图片；其中，两张原始图片是由同一拍摄设备在同一目标位置以不同拍摄角度对棋盘格进行拍摄获得的，且两张原始图片中的每一张原始图片的图像中心均处于对应的棋盘格图像上；
获取每一张原始图片的图像中心与棋盘格图像的两条相邻边缘之间的方格图像边界的第一数量和第二数量；
根据第一数量和第二数量，确定拍摄设备拍摄两张原始图片时拍摄设备的光心与棋盘格的两条相邻边缘之间的第一距离和第二距离；
根据目标位置的参数信息、第一距离和第二距离，确定不同拍摄角度之间的偏转角度值，以检测拍摄设备的偏转角度是否合格。
进一步地，第一数量是按照如下方式获得：
对每一张原始图片进行水平方向的边缘检测，得到水平方向上的第一单像素边缘线；
获取图像中心与棋盘格图像的两条相邻边缘中的第一边缘之间的第一单像素边缘线的第一数量。
进一步地，获取图像中心与棋盘格图像的两条相邻边缘中的第一边缘之间的第一单像素边缘线的第一数量，具体包括：
当图像中心未处于第一单像素边缘线上时，确定第一占比和第一基础数量，并将第一占比与第一基础数量之和作为第一数量；其中，第一占比是指第三距离与图像中心所处的方格图像边长的比值；第三距离是指图像中心在朝向第一边缘的方向上最近的一根第一单像素边缘线与图像中心之间的距离；第一基础数量是指图像中心与棋盘格图像的第一边缘之间的第一单像素边缘线的数量减1；
当图像中心处于第一单像素边缘线上时，确定第二基础数量，并将第二基础数量作为第一数量；其中，第二基础数量是指图像中心与棋盘格图像的第一边缘之间的第一单像素边缘线的数量。
进一步地，第一距离是按照如下方式获得：
根据第一数量和棋盘格的方格边长，确定第一距离。
进一步地，第二数量是按照如下方式获得：
对每一张原始图片进行垂直方向的边缘检测，得到垂直方向上的第二单像素边缘线；
获取图像中心与棋盘格图像的两条相邻边缘中的第二边缘之间的第二单像素边缘线的第二数量。
进一步地，获取图像中心与棋盘格图像的两条相邻边缘中的第二边缘之间的第二单像素边缘线的第二数量，具体包括：
当图像中心未处于第二单像素边缘线上时，确定第二占比和第三基础数量，并将第二占比与第三基础数量之和作为第二数量；其中，第二占比是指第四距离与图像中心所处的方格图像边长的比值；第四距离是指图像中心在朝向第二边缘的方向上最近的一根第二单像素边缘线与图像中心之间的距离；第三基础数量是指图像中心与棋盘格图像的第二边缘之间的第二单像素边缘线的数量减1；
当图像中心处于第二单像素边缘线上时，确定第四基础数量，并将第四基础数量作为第二数量；其中，第四基础数量是指图像中心与棋盘格图像的第二边缘之间的第二单像素边缘线的数量。
进一步地，第二距离是按照如下方式获得：
根据第二数量和棋盘格的方格边长，确定第二距离。
进一步地，参数信息是指在同一水平面上，拍摄设备的光心与棋盘格之间的距离；
根据目标位置的参数信息、第一距离和第二距离，确定不同拍摄角度之间的偏转角度值，具体包括：
根据第一比较值和参数信息之间的三角函数关系，确定水平方向上的第一偏转角度值；其中，第一比较值是指两张原始图片的两个第一距离的比较值；
根据第二比较值和参数信息之间的三角函数关系，确定垂直方向上的第二偏转角度值；其中，第二比较值是指两张原始图片的两个第二距离的比较值；
根据第一偏转角度值和第二偏转角度值，确定不同拍摄角度之间的偏转角度值。
第二方面，本申请提供了一种光轴偏转角度检测装置，装置包括：
第一获取模块，用于获取两张原始图片；其中，两张原始图片是由同一拍摄设备在同一目标位置以不同拍摄角度对棋盘格进行拍摄获得的，且两张原始图片中的每一张原始图片的图像中心均处于对应的棋盘格图像上；
第二获取模块，用于获取每一张原始图片的图像中心与棋盘格图像的两条相邻边缘之间的方格图像边界的第一数量和第二数量；
第一确定模块，用于根据第一数量和第二数量，确定拍摄设备拍摄两张原始图片时拍摄设备的光心与棋盘格的两条相邻边缘之间的第一距离和第二距离；
第二确定模块，用于根据目标位置的参数信息、第一距离和第二距离，确定不同拍摄角度之间的偏转角度值，以检测拍摄设备的偏转角度是否合格。
第三方面，本申请提供了一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为执行以实现一种光轴偏转角度检测方法。
本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
本申请摒弃了相关技术中通过确定外参矩阵进行标定的方式，而是对获取的两张图像进行处理以获得在拍摄两张图像时光心在棋盘格上的投影与棋盘格之间的相对位置关系，进而确定拍摄设备在拍摄两张图像时产生的偏转角度值，其计算方式简单、快捷，进一步提高了标定的准确性，也缩短了标定时间。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的一种光轴偏转角度检测方法的流程示意图；
图2为本申请提供的一张原始图片；
图3为本申请提供的一张经过水平边缘检测的图片；
图4为本申请提供的一张经过竖直边缘检测的图片；
图5为本申请提供的一种光轴偏转角度检测装置的结构示意图；
图6为本申请提供的一种电子设备的结构示意图。
具体实施方式
本申请实施例通过提供一种光轴偏转角度检测方法，解决了现有技术中标定时间长和标定准确率不高的技术问题。
本申请实施例的技术方案为解决上述技术问题，总体思路如下：
一种光轴偏转角度检测方法，方法包括：获取两张原始图片；其中，两张原始图片是由同一拍摄设备在同一目标位置以不同拍摄角度对棋盘格进行拍摄获得的，且两张原始图片中的每一张原始图片的图像中心均处于对应的棋盘格图像上；获取每一张原始图片的图像中心与棋盘格图像的两条相邻边缘之间的方格图像边界的第一数量和第二数量；根据第一数量和第二数量，确定拍摄设备拍摄两张原始图片时拍摄设备的光心与棋盘格的两条相邻边缘之间的第一距离和第二距离；根据目标位置的参数信息、第一距离和第二距离，确定不同拍摄角度之间的偏转角度值，以检测拍摄设备的偏转角度是否合格。
本申请摒弃了相关技术中通过确定外参矩阵进行标定的方式，而是对获取的两张图像进行处理以获得在拍摄两张图像时光心在棋盘格上的投影与棋盘格之间的相对位置关系，进而确定拍摄设备在拍摄两张图像时产生的偏转角度值，其计算方式简单、快捷，进一步提高了标定的准确性，也缩短了标定时间。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
首先说明，本文中出现的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
相关技术中提供的标定方式需要确定外参矩阵，导致标定时间较长；在确定外参矩阵时容易受拍摄条件的影响，进而导致标定结果的准确率不高。在确定外参矩阵时，主要对棋盘格进行拍摄获得相关图像，对图像进行二值化处理，获取图像中的棋盘格角点精度。然而，在确定外参矩阵时，如果拍摄的图片本身太亮或太暗，在对图片进行二值化时，会导致图片中的棋盘格的黑格和白格的面积产生变化，进而导致图片中的棋盘格的角点发生多个像素点的偏移，致使标定准确性较低。并且相关技术中需要获取多张图像才能确定外参矩阵，且外参矩阵的计算方式较为复杂，导致标定时间较长。
本申请提供了如图1所示的一种光轴偏转角度检测方法，方法包括：
步骤S11，获取两张原始图片；其中，两张原始图片是由同一拍摄设备在同一目标位置以不同拍摄角度对棋盘格进行拍摄获得的，且两张原始图片中的每一张原始图片的图像中心均处于棋盘格图像上。
步骤S11中涉及的拍摄设备可以是待检测设备(即需要判断偏转角度是否合格的设备)，也可以是正常使用的拍摄设备(例如需要实现光学防抖的拍摄设备)。执行步骤S11-步骤S14便可以对该拍摄设备进行检测，以确定该拍摄设备的偏转角度是否合格。执行步骤S11-步骤S14也可以实现拍摄设备的光学防抖，以得到效果更好的图片。步骤S11涉及的目标位置可以是能够拍摄棋盘格且拍摄设备的光心的投影处于棋盘格上的任意位置，可以根据具体情况进行设定。
步骤S11中获取了两张原始图片，两张原始图片是拍摄设备在同一目标位置进行拍摄的(两张原始图片可以是按下快门之后得到的图片，也可以是未按下快门之前得到的预览图像)，两张原始图片的拍摄角度不一样，即拍摄两张原始图片时的光轴之间存在一定角度差。两张原始图片中均包括完整的棋盘格图像，棋盘格图像是棋盘格在原始图片中所成的像。如图2所示，为两张原始图片中的任意一张图片。
步骤S12，获取每一张原始图片的图像中心与棋盘格图像的两条相邻边缘之间的方格图像边界的第一数量和第二数量。
第一数量是指图像中心与棋盘格图像的一条边缘线(记为第一边缘)之间的方格图像边界的数量。第二数量是指图像中心与棋盘格图像的另一条边缘线(记为第二边缘)之间的方格图像边界的数量。第一边缘和第二边缘是相邻的。例如，如图2所示，当第一边缘是左侧(或右侧)的边缘线，第二边缘则是上侧或下侧的边缘线。第一数量和第二数量可以通过手工测量、使用其他测量工具测量、使用图像处理方面的技术测量，也可以按照如下提供的方式进行测量。
例如，第一数量可以是按照如下方式获得的：
步骤S121，对每一张原始图片进行水平方向的边缘检测，得到水平方向上的第一单像素边缘线。
步骤S122，获取图像中心与棋盘格图像的两条相邻边缘中的第一边缘之间的第一单像素边缘线的第一数量。第一边缘是指原始图片最左侧的边缘或者原始图片最右侧的边缘。
对每张原始图片进行水平方向的边缘检测，并进行细化，得到单像素宽的边缘线，并将其记为第一单像素边缘线。如图3所示，图3是对图2进行边缘检测以及细化操作后得到的图片。图3中的每一条第一单像素边缘的线条宽度为一个像素。图3中的白点即为图像中心。
图像中心在棋盘格图像中，以原始图片最左侧的边缘为第一边缘为例，对图像中心与第一边缘之间的第一单像素边缘线之间的数量进行计数，得到第一数量。
图像中心与第一单像素边缘线之间的关系有以下两种情况：
第一，图像中心不在第一单像素边缘线上，如图3所示。
当图像中心未处于第一单像素边缘线上时，确定第一占比和第一基础数量，并将第一占比与第一基础数量之和作为第一数量；其中，第一占比是指第三距离与图像中心所处的方格图像边长的比值；第三距离是指图像中心在朝向第一边缘的方向上最近的一根第一单像素边缘线与图像中心之间的距离；第一基础数量是指图像中心与棋盘格图像的第一边缘之间的第一单像素边缘线的数量减1。
图像中心未处于第一单像素边缘线上，是指图像中心处于棋盘格图像的某一个方格内，也就意味着图像中心与第一边缘之间的第一单像素边缘线的数量不是一个整数。在该种情况下，即在图像中心不在第一单像素边缘线的情况下，需要确定图像中心朝向第一边缘的方向上最近的一根第一单像素边缘线与图像中心之间的距离(即为第三距离，第三距离可以是以像素为单位进行计数得到的距离)，根据第三距离与棋盘格图像中的方格图像边长(方格图像边长可以是以像素为单位进行计数得到的距离；方格图像边长是指棋盘格图像在原始图片中的边长)之间的比值，确定第一占比。再确定第一基础数量，即确定图像中心与棋盘格图像的第一边缘之间的第一单像素边缘线的数量减1的差值。此处“减1”的含义是指：图像中心不处于第一单像素边缘线上，那么在图像中心朝向第一边缘的方向上最近的一根第一单像素边缘线便不能算作一个完整的方格，因此需要减1。再将第一占比和第一基础数量相加，便是“图像中心不在第一单像素边缘线上”时对应的第一数量。例如，第一占比为0.8，第一基础数量为12，那么第一数量为12-1+0.8＝11.8。
此外，当图像中心未处于第一单像素边缘线上时，还可以通过以下方式得到：
当图像中心未处于第一单像素边缘线上时，确定第三占比和第五基础数量，并将第三占比与第五基础数量之差作为第一数量；其中，第三占比是指第五距离与图像中心所处的方格图像边长的比值；第五距离是指图像中心在朝向第一边缘的反方向上最近的一根第一单像素边缘线与图像中心之间的距离；第五基础数量是指图像中心与棋盘格图像的第一边缘之间的第一单像素边缘线的数量。例如，第三占比为0.6，第五基础数量为10，那么第一数量为10-0.6＝9.4。
第二，图像中心处于第一单像素边缘线上。
当图像中心处于第一单像素边缘线上时，确定第二基础数量，并将第二基础数量作为第一数量；其中，第二基础数量是指图像中心与棋盘格图像的第一边缘之间的第一单像素边缘线的数量。
图像中心处于第一单像素边缘线上时，第一数量则是一个整数，第二基础数量即为第一数量。
再例如，第二数量可以按照如下方式获得：
步骤S123，对每一张原始图片进行垂直方向的边缘检测，得到垂直方向上的第二单像素边缘线。
步骤S124，获取图像中心与棋盘格图像的两条相邻边缘中的第二边缘之间的第二单像素边缘线的第二数量。第一边缘和第二边缘相邻。第二边缘是指原始图片最上侧的边缘或者原始图片最下侧的边缘。
对每张原始图片进行竖直方向的边缘检测，并进行细化，得到单像素宽的边缘线，并将其记为第二单像素边缘线。如图4所示，为经过边缘检测以及细化操作的图片。由于图4中的每一条第一单像素边缘的线条宽度为一个像素，因此比较细。图4中的白点即为图像中心。
图像中心在棋盘格图像中，以原始图片最下侧的边缘为第二边缘为例，对图像中心与第二边缘之间的第二单像素边缘线之间的数量进行计数，得到第二数量。
图像中心与第二单像素边缘线之间的关系有以下两种情况：
第一，图像中心不在第二单像素边缘线上，即如图4所示。
当图像中心未处于第二单像素边缘线上时，确定第二占比和第三基础数量，并将第二占比与第三基础数量之和作为第二数量；其中，第二占比是指第四距离与图像中心所处的方格图像边长的比值；第四距离是指图像中心在朝向第二边缘的方向上最近的一根第二单像素边缘线与图像中心之间的距离；第三基础数量是指图像中心与棋盘格图像的第二边缘之间的第二单像素边缘线的数量减1。
图像中心未处于第二单像素边缘线上，是指图像中心处于棋盘格图像的某一个方格内，也就意味着图像中心与第二边缘之间的第二单像素边缘线的数量不是一个整数。在该种情况下，即在图像中心不在第二单像素边缘线的情况下，需要确定图像中心朝向第二边缘的方向上最近的一根第二单像素边缘线与图像中心之间的距离(即为第四距离)，根据第四距离与棋盘格图像中的方格图像边长(方格图像边长是指棋盘格图像在原始图片中的边长)之间的比值，确定第二占比。再确定第二基础数量，即确定图像中心与棋盘格图像的第二边缘之间的第二单像素边缘线的数量减1的差值。此处“减1”的含义是指：图像中心不处于第二单像素边缘线上，那么在图像中心朝向第二边缘的方向上最近的一根第二单像素边缘线便不能算作一个完整的方格，因此需要减1。再将第二占比和第二基础数量相加，便是“图像中心不在第二单像素边缘线上”时对应的第二数量。
此外，当图像中心未处于第二单像素边缘线上时，还可以通过以下方式得到：
当图像中心未处于第二单像素边缘线上时，确定第四占比和第六基础数量，并将第四占比与第六基础数量之差作为第一数量；其中，第四占比是指第六距离与图像中心所处的方格图像边长的比值；第六距离是指图像中心在朝向第二边缘的反方向上最近的一根第二单像素边缘线与图像中心之间的距离；第六基础数量是指图像中心与棋盘格图像的第二边缘之间的第二单像素边缘线的数量。
第二，图像中心处于第二单像素边缘线上。
当图像中心处于第二单像素边缘线上时，确定第四基础数量，并将第四基础数量作为第二数量；其中，第四基础数量是指图像中心与棋盘格图像的第二边缘之间的第二单像素边缘线的数量。
图像中心处于第二单像素边缘线上时，第二数量则是一个整数，第四基础数量即为第二数量。
步骤S13，根据第一数量和第二数量，确定拍摄设备拍摄两张原始图片时拍摄设备的光心与棋盘格的两条相邻边缘之间的第一距离和第二距离。
第一距离是按照如下方式获得：
根据第一数量和棋盘格的方格边长，确定第一距离。
第二距离是按照如下方式获得：
根据第二数量和棋盘格的方格边长，确定第二距离。
其中，第一距离是指：在拍摄每一张原始图片时，拍摄设备的光心在棋盘格上的投影与棋盘格的第一边缘之间的距离；第二距离是指：在拍摄每一张原始图片时，拍摄设备的光心在棋盘格上的投影与棋盘格的第二边缘之间的距离。
图像中心在原始图片中的位置在拍摄原始图片时就已经确定，图像中心与棋盘格图像之间的位置关系也就是确定的。由于棋盘格图像是拍摄设备对棋盘格进行拍摄获得的，在棋盘格图像形成的过程中，棋盘格图像可能会存在变形。如图2所示，棋盘格图像的右侧较窄，而左侧较宽。因此，不能直接根据原始图像确定图像中心与棋盘格之间的位置关系。
本申请依赖于图像中心与棋盘格图像之间的相对位置关系，可以确定在拍摄原始图片的瞬间，拍摄设备的光心在棋盘格上的投影与棋盘格之间的相对位置关系。
具体地，在步骤S12中，已经确定了第一数量和第二数量，第一数量和第二数量则表征了光心在棋盘格上的投影与棋盘格之间的相对位置关系。进一步地，棋盘格图像中的方格边长是可以获得的，因此，可以根据第一数量、第二数量和方格边长，便能确定光心在棋盘格上的投影与棋盘格的第一边缘之间的第一距离，以及确定光心在棋盘格上的投影与棋盘格的第二边缘之间的第二距离。也就是说，本申请中的第一距离和第二距离并非是指原始图像上的距离，而是指在拍摄原始图像的瞬间，光心在棋盘格上的投影与棋盘格边缘的实际距离。
步骤S14，根据目标位置的参数信息、第一距离和第二距离，确定不同拍摄角度之间的偏转角度值，以检测拍摄设备的偏转角度是否合格。
根据目标位置的参数信息、第一距离和第二距离，确定拍摄设备拍摄两张原始图片时产生的偏转角度值，以检测拍摄设备的偏转角度是否合格。
其中，参数信息是指在同一水平面上，拍摄设备的光心与棋盘格之间的距离。
其中，步骤S14中，根据目标位置的参数信息、第一距离和第二距离，确定不同拍摄角度之间的偏转角度值，具体包括：
步骤S141，根据第一比较值和参数信息之间的三角函数关系，确定水平方向上的第一偏转角度值；其中，第一比较值是指两张原始图片的两个第一距离的比较值。
第一比较值是指两张原始图片的两个第一距离的比较值，其实质是指在拍摄两张原始图片时，光心在棋盘格上的投影在水平方向上的移动距离。已知移动距离和光心与棋盘格之间的距离，便能通过三角函数关系，确定水平方向上的第一偏转角度。
步骤S142，根据第二比较值和参数信息之间的三角函数关系，确定垂直方向上的第二偏转角度值；其中，第二比较值是指两张原始图片的两个第二距离的比较值。
第二比较值是指两张原始图片的两个第二距离的比较值，其实质是指在拍摄两张原始图片时，光心在棋盘格上的投影在竖直方向上的移动距离。已知移动距离和光心与棋盘格之间的距离，便能通过三角函数关系，确定竖直方向上的第二偏转角度。
步骤S143，根据第一偏转角度值和第二偏转角度值，确定不同拍摄角度之间的偏转角度值，即确定拍摄设备拍摄两张原始图片时产生的偏转角度值。
根据第一偏转角度值和第二偏转角度值，便能通过三角函数关系，确定拍摄设备拍摄两张原始图片时产生的偏转角度值。
更具体地，偏转角度值是根据水平方向偏转角度值(实质上是指第一偏转角度值)和竖直方向偏转角度值(实质上是指第二偏转角度值)确定的；其中，水平方向偏转角度值和竖直方向偏转角度值的计算公式如下：
其中，x2和x1分别是指两张原始图片的第一数量；y2和y1分别是指两张原始图片的第二数量；w是指棋盘格的方格边长；d是指在同一水平面上，拍摄设备的光心与棋盘格之间的距离。
综上，本申请使用同一拍摄设备在同一目标位置拍摄两张原始图片，根据两张原始图片上图像中心与棋盘格图像之间的相对位置关系，确定在拍摄两张原始图片的瞬间，光心在棋盘格上的投影与棋盘格之间的实际位置关系，进而确定拍摄设备拍摄两张原始图片时产生的偏转角度值。本申请摒弃了相关技术中使用二值化对图片进行处理的方式，而是采用边缘检测的方式对图片进行处理，进而可以避免原始图片中过亮或过暗对图片处理的影响，以提高标定的准确性。本申请摒弃了相关技术中通过确定外参矩阵进行标定的方式，而是对获取的两张图像进行处理以获得在拍摄两张图像时光心在棋盘格上的投影与棋盘格之间的相对位置关系，进而确定拍摄设备在拍摄两张图像时产生的偏转角度值，其计算方式简单、快捷，进一步提高了标定的准确性，也缩短了标定时长。
本申请不仅可以应用于拍摄设备的标定过程，还可以应用于光学防抖，即通过快速获得拍摄设备在获取相邻两张图片(在未按下拍摄设备的快门时，该图片可以是预览图片)时产生的偏转角度值，进而达到对图片进行光学防抖的快速处理。
基于同一发明构思，本申请提供了如图5所示的一种光轴偏转角度检测装置，装置包括：
第一获取模块51，用于获取两张原始图片；其中，两张原始图片是由同一拍摄设备在同一目标位置以不同拍摄角度对棋盘格进行拍摄获得的，且两张原始图片中的每一张原始图片的图像中心均处于对应的棋盘格图像上；
第二获取模块52，用于获取每一张原始图片的图像中心与棋盘格图像的两条相邻边缘之间的方格图像边界的第一数量和第二数量；
第一确定模块53，用于根据第一数量和第二数量，确定拍摄设备拍摄两张原始图片时拍摄设备的光心与棋盘格的两条相邻边缘之间的第一距离和第二距离；
第二确定模块54，用于根据目标位置的参数信息、第一距离和第二距离，确定不同拍摄角度之间的偏转角度值，以检测拍摄设备的偏转角度是否合格。
进一步地，第二获取模块52具体包括：
第一水平边缘检测子模块，用于对每一张原始图片进行水平方向的边缘检测，得到水平方向上的第一单像素边缘线；
第一数量确定子模块，用于获取图像中心与棋盘格图像的两条相邻边缘中的第一边缘之间的第一单像素边缘线的第一数量。
进一步地，第一数量确定子模块具体包括：
第二水平边缘检测子模块，用于当图像中心未处于第一单像素边缘线上时，确定第一占比和第一基础数量，并将第一占比与第一基础数量之和作为第一数量；其中，第一占比是指第三距离与图像中心所处的方格图像边长的比值；第三距离是指图像中心在朝向第一边缘的方向上最近的一根第一单像素边缘线与图像中心之间的距离；第一基础数量是指图像中心与棋盘格图像的第一边缘之间的第一单像素边缘线的数量减1；
第三水平边缘检测子模块，用于当图像中心处于第一单像素边缘线上时，确定第二基础数量，并将第二基础数量作为第一数量；其中，第二基础数量是指图像中心与棋盘格图像的第一边缘之间的第一单像素边缘线的数量。
进一步地，第一确定模块53具体包括：
第三确定模块，用于根据第一数量和棋盘格的方格边长，确定第一距离。
进一步地，第二获取模块52具体包括：
第一竖直边缘检测子模块，用于对每一张原始图片进行垂直方向的边缘检测，得到垂直方向上的第二单像素边缘线；
第二数量确定子模块，用于获取图像中心与棋盘格图像的两条相邻边缘中的第二边缘之间的第二单像素边缘线的第二数量。
进一步地，第二数量确定子模块具体包括：
第二竖直边缘检测子模块，用于当图像中心未处于第二单像素边缘线上时，确定第二占比和第三基础数量，并将第二占比与第三基础数量之和作为第二数量；其中，第二占比是指第四距离与图像中心所处的方格图像边长的比值；第四距离是指图像中心在朝向第二边缘的方向上最近的一根第二单像素边缘线与图像中心之间的距离；第三基础数量是指图像中心与棋盘格图像的第二边缘之间的第二单像素边缘线的数量减1；
第三竖直边缘检测子模块，用于当图像中心处于第二单像素边缘线上时，确定第四基础数量，并将第四基础数量作为第二数量；其中，第四基础数量是指图像中心与棋盘格图像的第二边缘之间的第二单像素边缘线的数量。
进一步地，第一确定模块53具体包括：
第四确定模块，用于根据第二数量和棋盘格的方格边长，确定第二距离。
进一步地，参数信息是指在同一水平面上，拍摄设备的光心与棋盘格之间的距离；
第二确定模块54具体包括：
第一偏转角度值确定子模块，用于根据第一比较值和参数信息之间的三角函数关系，确定水平方向上的第一偏转角度值；其中，第一比较值是指两张原始图片的两个第一距离的比较值；
第二偏转角度值确定子模块，用于根据第二比较值和参数信息之间的三角函数关系，确定垂直方向上的第二偏转角度值；其中，第二比较值是指两张原始图片的两个第二距离的比较值；
第三偏转角度值确定子模块，用于根据第一偏转角度值和第二偏转角度值，确定拍摄设备拍摄两张原始图片时产生的偏转角度值。
基于同一发明构思，本申请提供了如图6所示的一种电子设备，包括：
处理器61；
用于存储处理器61可执行指令的存储器62；
其中，处理器61被配置为执行以实现一种光轴偏转角度检测方法。
基于同一发明构思，本申请提供了一种非临时性计算机可读存储介质，当存储介质中的指令由电子设备的处理器61执行时，使得电子设备能够执行实现一种光轴偏转角度检测方法。
由于本实施例所介绍的电子设备为实施本申请实施例中信息处理的方法所采用的电子设备，故而基于本申请实施例中所介绍的信息处理的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本申请实施例中的方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中信息处理的方法所采用的电子设备，都属于本申请所欲保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种光轴偏转角度检测方法，其特征在于，所述方法包括：
获取两张原始图片；其中，所述两张原始图片是由同一拍摄设备在同一目标位置以不同拍摄角度对棋盘格进行拍摄获得的，且所述两张原始图片中的每一张原始图片的图像中心均处于对应的棋盘格图像上；
获取所述每一张原始图片的图像中心与所述棋盘格图像的两条相邻边缘之间的方格图像边界的第一数量和第二数量，包括：获取所述每一张原始图片的图像中心与所述棋盘格图像的第一边缘之间的方格图像边界的第一数量，以及所述每一张原始图片的图像中心与所述棋盘格图像的第二边缘之间的方格图像边界的第二数量，所述第一边缘和所述第二边缘相邻；所述方格图像边界是指所述棋盘格图像中方格与方格之间的边界；
根据所述第一数量和所述第二数量，确定所述拍摄设备拍摄所述两张原始图片时所述拍摄设备的光心与所述棋盘格的两条相邻边缘之间的第一距离和第二距离；
根据所述目标位置的参数信息、所述第一距离和所述第二距离，确定所述不同拍摄角度之间的偏转角度值，以检测所述拍摄设备的偏转角度是否合格，包括：
根据第一比较值和参数信息之间的三角函数关系，确定水平方向上的第一偏转角度值；其中，第一比较值是指两张原始图片的两个第一距离的比较值；
根据第二比较值和参数信息之间的三角函数关系，确定垂直方向上的第二偏转角度值；其中，第二比较值是指两张原始图片的两个第二距离的比较值；参数信息是指在同一水平面上，拍摄设备的光心与棋盘格之间的距离；
根据第一偏转角度值和第二偏转角度值，确定不同拍摄角度之间的偏转角度值，即确定拍摄设备拍摄两张原始图片时产生的偏转角度值。
2.如权利要求1所述的方法，其特征在于，所述第一数量是按照如下方式获得：
对所述每一张原始图片进行水平方向的边缘检测，得到水平方向上的第一单像素边缘线；
获取所述图像中心与所述棋盘格图像的两条相邻边缘中的第一边缘之间的所述第一单像素边缘线的第一数量。
3.如权利要求2所述的方法，其特征在于，所述获取所述图像中心与所述棋盘格图像的两条相邻边缘中的第一边缘之间的所述第一单像素边缘线的第一数量，具体包括：
当所述图像中心未处于所述第一单像素边缘线上时，确定第一占比和第一基础数量，并将所述第一占比与所述第一基础数量之和作为所述第一数量；其中，所述第一占比是指第三距离与所述图像中心所处的方格图像边长的比值；所述第三距离是指所述图像中心在朝向所述第一边缘的方向上最近的一根所述第一单像素边缘线与所述图像中心之间的距离；所述第一基础数量是指所述图像中心与所述棋盘格图像的第一边缘之间的所述第一单像素边缘线的数量减1；
当所述图像中心处于所述第一单像素边缘线上时，确定第二基础数量，并将所述第二基础数量作为所述第一数量；其中，所述第二基础数量是指所述图像中心与所述棋盘格图像的第一边缘之间的所述第一单像素边缘线的数量。
4.如权利要求2或3所述的方法，其特征在于，所述第一距离是按照如下方式获得：
根据所述第一数量和所述棋盘格的方格边长，确定所述第一距离。
5.如权利要求1所述的方法，其特征在于，所述第二数量是按照如下方式获得：
对所述每一张原始图片进行垂直方向的边缘检测，得到垂直方向上的第二单像素边缘线；
获取所述图像中心与所述棋盘格图像的两条相邻边缘中的第二边缘之间的所述第二单像素边缘线的第二数量。
6.如权利要求5所述的方法，其特征在于，所述获取所述图像中心与所述棋盘格图像的两条相邻边缘中的第二边缘之间的所述第二单像素边缘线的第二数量，具体包括：
当所述图像中心未处于所述第二单像素边缘线上时，确定第二占比和第三基础数量，并将所述第二占比与所述第三基础数量之和作为所述第二数量；其中，所述第二占比是指第四距离与所述图像中心所处的方格图像边长的比值；所述第四距离是指所述图像中心在朝向所述第二边缘的方向上最近的一根所述第二单像素边缘线与所述图像中心之间的距离；所述第三基础数量是指所述图像中心与所述棋盘格图像的第二边缘之间的所述第二单像素边缘线的数量减1；
当所述图像中心处于所述第二单像素边缘线上时，确定第四基础数量，并将所述第四基础数量作为所述第二数量；其中，所述第四基础数量是指所述图像中心与所述棋盘格图像的第二边缘之间的所述第二单像素边缘线的数量。
7.如权利要求5或6所述的方法，其特征在于，所述第二距离是按照如下方式获得：
根据所述第二数量和所述棋盘格的方格边长，确定所述第二距离。
8.如权利要求1所述的方法，其特征在于，所述参数信息是指在同一水平面上，所述拍摄设备的光心与所述棋盘格之间的距离；
所述根据所述目标位置的参数信息、所述第一距离和所述第二距离，确定所述不同拍摄角度之间的偏转角度值，具体包括：
根据第一比较值和所述参数信息之间的三角函数关系，确定水平方向上的第一偏转角度值；其中，所述第一比较值是指所述两张原始图片的两个所述第一距离的比较值；
根据第二比较值和所述参数信息之间的三角函数关系，确定垂直方向上的第二偏转角度值；其中，所述第二比较值是指所述两张原始图片的两个所述第二距离的比较值；
根据所述第一偏转角度值和所述第二偏转角度值，确定所述不同拍摄角度之间的偏转角度值。
9.一种光轴偏转角度检测装置，其特征在于，所述装置包括：
第一获取模块，用于获取两张原始图片；其中，所述两张原始图片是由同一拍摄设备在同一目标位置以不同拍摄角度对棋盘格进行拍摄获得的，且所述两张原始图片中的每一张原始图片的图像中心均处于对应的棋盘格图像上；
第二获取模块，用于获取所述每一张原始图片的图像中心与所述棋盘格图像的两条相邻边缘之间的方格图像边界的第一数量和第二数量，具体用于获取所述每一张原始图片的图像中心与所述棋盘格图像的第一边缘之间的方格图像边界的第一数量，以及所述每一张原始图片的图像中心与所述棋盘格图像的第二边缘之间的方格图像边界的第二数量，所述第一边缘和所述第二边缘相邻；所述方格图像边界是指所述棋盘格图像中方格与方格之间的边界；
第一确定模块，用于根据所述第一数量和所述第二数量，确定所述拍摄设备拍摄所述两张原始图片时所述拍摄设备的光心与所述棋盘格的两条相邻边缘之间的第一距离和第二距离；
第二确定模块，用于根据所述目标位置的参数信息、所述第一距离和所述第二距离，确定所述不同拍摄角度之间的偏转角度值，以检测所述拍摄设备的偏转角度是否合格；所述第二确定模块具体用于：
根据第一比较值和参数信息之间的三角函数关系，确定水平方向上的第一偏转角度值；其中，第一比较值是指两张原始图片的两个第一距离的比较值；
根据第二比较值和参数信息之间的三角函数关系，确定垂直方向上的第二偏转角度值；其中，第二比较值是指两张原始图片的两个第二距离的比较值；参数信息是指在同一水平面上，拍摄设备的光心与棋盘格之间的距离；
根据第一偏转角度值和第二偏转角度值，确定不同拍摄角度之间的偏转角度值，即确定拍摄设备拍摄两张原始图片时产生的偏转角度值。
10.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行以实现如权利要求1至8中任一项所述的一种光轴偏转角度检测方法。
CN202110022514.7A 2021-01-08 2021-01-08 一种光轴偏转角度检测方法、装置、设备和介质 Active CN112734721B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110022514.7A CN112734721B (zh) 2021-01-08 2021-01-08 一种光轴偏转角度检测方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110022514.7A CN112734721B (zh) 2021-01-08 2021-01-08 一种光轴偏转角度检测方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN112734721A CN112734721A (zh) 2021-04-30
CN112734721B true CN112734721B (zh) 2024-01-16

Family

ID=75589749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110022514.7A Active CN112734721B (zh) 2021-01-08 2021-01-08 一种光轴偏转角度检测方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN112734721B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113686867B (zh) * 2021-07-15 2024-10-11 昆山丘钛微电子科技股份有限公司 一种点胶质量检测方法、装置、介质及摄像头调焦机

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012161431A2 (ko) * 2011-05-23 2012-11-29 아진산업(주) 차량 어라운드 뷰 영상 생성 방법
CN203217624U (zh) * 2013-05-04 2013-09-25 长春工业大学 一种新型棋盘格标定板
CN103792667A (zh) * 2012-10-30 2014-05-14 财团法人工业技术研究院 立体摄像装置、自动校正装置与校正方法
CN108074267A (zh) * 2016-11-18 2018-05-25 松下知识产权经营株式会社 交点检测装置及方法、摄像头校正系统及方法、程序及记录介质
CN108198222A (zh) * 2018-01-29 2018-06-22 大连东软信息学院 一种广角镜头标定及图像矫正方法
CN109451298A (zh) * 2018-10-26 2019-03-08 歌尔股份有限公司 双摄像头的偏差角检测方法、装置和设备
CN110264426A (zh) * 2019-06-24 2019-09-20 Oppo广东移动通信有限公司 图像畸变校正方法和装置
CN110677634A (zh) * 2019-11-27 2020-01-10 成都极米科技股份有限公司 投影仪的梯形校正方法、装置、系统及可读存储介质
CN112037284A (zh) * 2020-08-13 2020-12-04 重庆守愚科技有限公司 棋盘格格子中心点检测方法、摄像机畸变标定方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7672531B2 (en) * 2007-04-26 2010-03-02 Geostudio Consultants Limited System and method for determining edges of objects in an image

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012161431A2 (ko) * 2011-05-23 2012-11-29 아진산업(주) 차량 어라운드 뷰 영상 생성 방법
CN103792667A (zh) * 2012-10-30 2014-05-14 财团法人工业技术研究院 立体摄像装置、自动校正装置与校正方法
CN203217624U (zh) * 2013-05-04 2013-09-25 长春工业大学 一种新型棋盘格标定板
CN108074267A (zh) * 2016-11-18 2018-05-25 松下知识产权经营株式会社 交点检测装置及方法、摄像头校正系统及方法、程序及记录介质
CN108198222A (zh) * 2018-01-29 2018-06-22 大连东软信息学院 一种广角镜头标定及图像矫正方法
CN109451298A (zh) * 2018-10-26 2019-03-08 歌尔股份有限公司 双摄像头的偏差角检测方法、装置和设备
CN110264426A (zh) * 2019-06-24 2019-09-20 Oppo广东移动通信有限公司 图像畸变校正方法和装置
CN110677634A (zh) * 2019-11-27 2020-01-10 成都极米科技股份有限公司 投影仪的梯形校正方法、装置、系统及可读存储介质
CN112037284A (zh) * 2020-08-13 2020-12-04 重庆守愚科技有限公司 棋盘格格子中心点检测方法、摄像机畸变标定方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"可见光变焦镜头结构优化设计";程志峰;《中国光学》;全文 *
"基于机器视觉的工件定位与识别系统";高华;《中国优秀硕士学位论文全文数据库信息科技辑》;全文 *

Also Published As

Publication number Publication date
CN112734721A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
JP6701118B2 (ja) 画像処理装置および画像処理方法
CN110717942B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
WO2019233264A1 (zh) 图像处理方法、计算机可读存储介质和电子设备
US7868922B2 (en) Foreground/background segmentation in digital images
CN109479082B (zh) 图象处理方法及装置
JP6363863B2 (ja) 情報処理装置および情報処理方法
CN107666546B (zh) 图像拍摄对位方法和系统
CN110915193B (zh) 图像处理系统、服务器装置、图像处理方法及记录介质
JP2017198671A (ja) 画像処理装置および画像処理方法
CN110909750B (zh) 图像差异检测方法及装置、存储介质、终端
JP2010041417A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
JP2011182397A (ja) ずれ量算出方法およびずれ量算出装置
KR20130090615A (ko) 이미지 자동 보정을 위한 구도 기반 노출 측정 방법 및 장치
CN113781414B (zh) 一种镜头解像力测试方法、装置和电子设备
CN111970500A (zh) 用于投影设备的自动距步校准方法及系统
CN112734721B (zh) 一种光轴偏转角度检测方法、装置、设备和介质
CN1992916A (zh) 影像清晰检测方法
JP2014191685A (ja) 画像処理装置および画像処理方法
JP2010177832A (ja) 画像処理装置及び画像処理方法
JP2004134861A (ja) 解像度評価方法、解像度評価プログラム、および光学機器
CN111145674B (zh) 显示面板的检测方法、电子设备和存储介质
TW201644271A (zh) 測試系統及測試方法
CN109565544B (zh) 位置指定装置及位置指定方法
JP2016072924A (ja) 画像処理装置及び画像処理方法
CN101990045B (zh) 数字图像检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant