CN109493391A - 摄像头标定方法和装置、电子设备、计算机可读存储介质 - Google Patents

摄像头标定方法和装置、电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN109493391A
CN109493391A CN201811451825.XA CN201811451825A CN109493391A CN 109493391 A CN109493391 A CN 109493391A CN 201811451825 A CN201811451825 A CN 201811451825A CN 109493391 A CN109493391 A CN 109493391A
Authority
CN
China
Prior art keywords
angles
angle
image
uncalibrated image
hall
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811451825.XA
Other languages
English (en)
Inventor
方攀
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201811451825.XA priority Critical patent/CN109493391A/zh
Publication of CN109493391A publication Critical patent/CN109493391A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及一种摄像头标定方法、装置、电子设备和计算机可读存储介质,该方法包括:获取至少三个角度的标定图像,以及获取至少三个角度中各个角度所对应的防抖组件的位置;从至少三个角度中选取一个角度作为参考角度,以参考角度所对应的防抖组件的位置为参考位置,确定至少三个角度中剩余各个角度所对应的防抖组件的位置与该参考位置的偏移量;将剩余各个角度的标定图像中各个像素点按照剩余各个角度所对应的偏移量进行偏移处理,得到修正后的该剩余各个角度的标定图像;根据参考角度的标定图像以及修正后的剩余各个角度的标定图像对摄像头标定。采用本方法能够提高摄像头标定准确性。

Description

摄像头标定方法和装置、电子设备、计算机可读存储介质
技术领域
本申请涉及影像技术领域,特别是涉及一种摄像头标定方法、装置、电子设备、计算机可读存储介质。
背景技术
随着电子设备和影像技术的发展,越来越多的用户使用电子设备的摄像头拍摄图像。为了拍摄出精度较高的图像,在出厂前,电子设备厂商会对摄像头进行标定。然而,传统的摄像头标定因存在抖动,会影响标定结果的准确性。
发明内容
本申请实施例提供一种摄像头标定方法、装置、电子设备、计算机可读存储介质,可以提高摄像头标定的准确性。
一种摄像头标定方法,包括:
获取至少三个角度的标定图像,以及获取所述至少三个角度中各个角度所对应的防抖组件的位置;
从所述至少三个角度中选取一个角度作为参考角度,以所述参考角度所对应的防抖组件的位置为参考位置,确定所述至少三个角度中剩余各个角度所对应的防抖组件的位置与所述参考位置的偏移量;
将所述剩余各个角度的标定图像中各个像素点按照所述剩余各个角度所对应的偏移量进行偏移处理,得到修正后的所述剩余各个角度的标定图像;
根据所述参考角度的标定图像以及修正后的所述剩余各个角度的标定图像对摄像头标定。
一种摄像头标定装置,包括:
获取模块,用于获取至少三个角度的标定图像,以及获取所述至少三个角度中各个角度所对应的防抖组件的位置;
确定模块,用于从所述至少三个角度中选取一个角度作为参考角度,以所述参考角度所对应的防抖组件的位置为参考位置,确定所述至少三个角度中剩余各个角度所对应的防抖组件的位置与所述参考位置的偏移量;
偏移模块,用于将所述剩余各个角度的标定图像中各个像素点按照所述剩余各个角度所对应的偏移量进行偏移处理,得到修正后的所述剩余各个角度的标定图像;
标定模块,根据所述参考角度的标定图像以及修正后的所述剩余各个角度的标定图像对摄像头标定。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行以下步骤:
获取至少三个角度的标定图像,以及获取所述至少三个角度中各个角度所对应的防抖组件的位置;
从所述至少三个角度中选取一个角度作为参考角度,以所述参考角度所对应的防抖组件的位置为参考位置,确定所述至少三个角度中剩余各个角度所对应的防抖组件的位置与所述参考位置的偏移量;
将所述剩余各个角度的标定图像中各个像素点按照所述剩余各个角度所对应的偏移量进行偏移处理,得到修正后的所述剩余各个角度的标定图像;
根据所述参考角度的标定图像以及修正后的所述剩余各个角度的标定图像对摄像头标定。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行以下步骤:
获取至少三个角度的标定图像,以及获取所述至少三个角度中各个角度所对应的防抖组件的位置;
从所述至少三个角度中选取一个角度作为参考角度,以所述参考角度所对应的防抖组件的位置为参考位置,确定所述至少三个角度中剩余各个角度所对应的防抖组件的位置与所述参考位置的偏移量;
将所述剩余各个角度的标定图像中各个像素点按照所述剩余各个角度所对应的偏移量进行偏移处理,得到修正后的所述剩余各个角度的标定图像;
根据所述参考角度的标定图像以及修正后的所述剩余各个角度的标定图像对摄像头标定。
上述摄像头标定方法、装置、电子设备、计算机可读存储介质,通过对标定图像的偏移处理,得到参考角度的标定图像和修正后的其余标定图像,并对摄像头进行标定,以参考角度对应的参考位置为基础,将其他角度对应的标定图像进行偏移处理,得到的标定图像均为参考位置下的标定图像,进行摄像头标定时,考虑了防抖组件的位置偏移,得到的标定结果更加准确。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中摄像头标定方法的应用环境图;
图2为一个实施例中摄像头标定方法的流程图;
图3为一个实施例中防抖组件的位置示意图;
图4(a)为一个实施例中三个角度中各个角度对应的防抖组件的位置示意图;
图4(b)为一个实施例中偏移处理后的各个角度对应的防抖组件的位置示意图;
图5为一个实施例中获取图像中心坐标的流程图;
图6另一个实施例中获取图像中心坐标的流程图;
图7为一个实施例中摄像头标定装置的结构框图;
图8为一个实施例中电子设备的内部结构示意图;
图9为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图1为一个实施例中摄像头标定方法的应用环境示意图。如图1所示,该应用环境包括具备摄像头的电子设备,包括但不限于移动终端、平板电脑、个人数字助理(PersonalDigital Assistant,PDA)、便携设备、可穿戴设备等,本申请实施例对此不做具体限定。电子设备的摄像头不限个数且不限种类,可以为一个、两个或多个,也可以为长焦摄像头、短焦摄像头、广角摄像头、黑白摄像头和彩色摄像头中的任意一种、两种或多种。
图2为一个实施例中摄像头标定方法的流程图。本实施例中的摄像头标定方法,以运行于图1中的电子设备上为例进行描述。如图2所示,摄像头标定方法包括步骤202至步骤208。
步骤202,获取至少三个角度的标定图像,以及获取至少三个角度中各个角度所对应的防抖组件的位置。
具体地,防抖组件是OIS(Optical Image Stabilization,光学防抖)组件,能在有抖动的情况下,控制镜头相对于图像传感器平移而对抖动造成的图像偏移进行补偿。如图3所示,图3为防抖组件的位置示意图,其中302为无抖动时的防抖组件的位置,304为发生抖动的防抖组件的位置,306为防抖组件能够防抖的范围。带有防抖组件的电子设备的摄像头至少拍摄三个角度的标定图像,不同角度的标定图像需要覆盖满整个摄像头的视场角。当标定图像为平面标定板的图像时,带有摄像头的电子设备可在不同距离不同角度下拍摄平面标定板的图像。例如第一角度、第二角度和第三角度等;第一角度为0度,第二角度为-15度和第三角度为+15度等。当标定图像为立体标定板的图像时,则带有摄像头的电子设备可以直接拍摄立体标定板的三个垂直面获取不同角度的标定图像。其中,标定图像的图案可以为棋盘格图案、圆阵列图案或圆环阵列图案或其他二维码图案等。
电子设备获取至少三个角度的标定图像,例如第一角度时的标定图像、第二角度时的标定图像和第三角度时的标定图像,并获取各个角度对应的防抖组件的位置。例如该防抖组件的位置为摄像头焦点所在的位置,或者摄像头光学中心的位置。
步骤204,从至少三个角度中选取一个角度作为参考角度,以参考角度所对应的防抖组件的位置为参考位置,确定至少三个角度中剩余各个角度所对应的防抖组件的位置与该参考位置的偏移量。
具体地,如图4(a)所示,图4(a)为三个角度中各个角度对应的防抖组件的位置示意图。其中,402为第一角度对应的防抖组件的位置,404为第二角度对应的防抖组件的位置,406为第三角度对应的防抖组件的位置。电子设备从至少三个角度中选取一个角度作为参考角度,例如选取第一角度作为参考角度,也可以选择第二角度作为参考角度,还可以选择第三角度作为参考角度不限于此。电子设备以该参考角度对应的防抖组件的位置作为参考位置,即参考位置不变;当电子设备以第一角度作为参考角度时,确定第二角度和第三角度对应的防抖组件的位置相对于参考位置的偏移量。例如参考角度所对应的防抖组件的位置为(x1,y1),第二角度对应的防抖组件的位置为(x2,y2),第三角度对应的防抖组件的位置为(x3,y3),那么第二角度相对于参考位置的偏移量为(x2-x1,y2-y1),第三角度相对于参考位置的偏移量为(x3-x1,y3-y1)。
步骤206,将剩余各个角度的标定图像中各个像素点按照剩余各个角度所对应的偏移量进行偏移处理,得到修正后的该剩余各个角度的标定图像。
具体地,例如选取第一角度作为参考角度,则电子设备将第二标定图像的各个像素点根据第二角度对应的防抖组件的位置相对于参考位置的偏移量进行偏移处理,得到修正后的第二角度的标定图像。此外,将第三标定图像进行同样的处理。如图4(b)所示,图4(b)为偏移处理后的各个角度对应的防抖组件的位置示意图,其中402为第一角度对应的防抖组件的位置。例如,第二角度的标定图像中的各个像素点按照(x2-x1,y2-y1)的偏移量进行偏移处理,得到修正后的第二角度的标定图像。第三角度的标定图像中的各个像素点按照(x3-x1,y3-y1)的偏移量进行偏移处理,得到修正后的第三角度的标定图像。
步骤208,根据参考角度的标定图像以及修正后的剩余各个角度的标定图像对摄像头标定。
具体地,电子设备检测参考角度的标定图像和剩余各个角度的标定图像的特征点,并根据带有防抖组件的摄像头的内参和外参及对应的标定图像中的特征点对摄像头进行标定。
本实施例中的摄像头标定方法,通过对标定图像的偏移处理,得到参考角度的标定图像和修正后的其余标定图像,并对摄像头进行标定,以参考角度对应的参考位置为基础,将其他角度对应的标定图像进行偏移处理,得到的标定图像均为参考位置下的标定图像,进行摄像头标定时,考虑了防抖组件的位置偏移,得到的标定结果更加准确。
在一个实施例中,获取至少三个角度中各个角度所对应的防抖组件的位置,包括:获取至少三个角度中各个角度所对应的防抖组件工作时所拍摄标定图像的图像中心位置;将各个角度所对应的标定图像的图像中心位置作为各个角度所对应的防抖组件的位置。
具体地,图像中心位置可以是光学中心位置。电子设备获取在各个角度下,防抖组件所拍摄的标定图像的图像中心位置,并将各个角度对应的标定图像的图像中心位置作为各个角度所对应的防抖组件的位置。例如防抖组件在第一角度下拍摄第一标定图像,第一标定图像对应的图像中心位置为(x1,y1),则将(x1,y1)作为第一角度所对应的防抖组件的位置。
本实施例中的摄像头标定方法,通过将标定图像的中心位置作为防抖组件的位置,考虑了标定图像的中心位置与防抖组件的位置之间的关系,能更加准确地得到防抖组件的位置,从而减少偏移带来的图像变化,对图像进行补偿,提高摄像头标定的准确性。
在一个实施例中,获取至少三个角度中各个角度所对应的防抖组件工作时所拍摄标定图像的图像中心位置,将各个角度所对应的标定图像的图像中心位置作为防抖组件的位置,包括:
通过霍尔传感器获取至少三个角度中各个角度所对应的防抖组件的霍尔值,将各个角度所对应的霍尔值转换为各个角度所对应的标定图像的图像中心坐标;将各个角度所对应的标定图像的图像中心坐标作为各个角度所对应的防抖组件的位置。
具体地,在该电子设备的防抖组件上设置有磁铁,在电子设备上设置有霍尔传感器,该霍尔传感器可以检测磁场强度的变化,从而得到霍尔值,即图像的偏移量。电子设备获取防抖组件未发生偏移时的图像中心坐标,未发生偏移时的图像中心坐标再根据霍尔值进行偏移,能得到标定图像的图像中心的坐标。或者,读取防抖组件的标定信息得到各个角度所对应的标定图像的图像中心坐标。或者,电子设备拍摄标定板的多张不同角度的图像,以其中一张图像作为参考图像,并定义参考图像的图像中心坐标为(0,0),得到对应的霍尔值。再选定其余每副图像的图像中心坐标,分别获取每副图像的图像中心坐标对应的霍尔值,则通过拟合等方式得到霍尔值与图像中心坐标的关系曲线。那么,根据霍尔值与图像中心坐标的关系曲线,能将各个角度所对应的霍尔值转换为各个角度所对应的标定图像的图像中心坐标。电子设备获取各个角度对应的标定图像的图像中心坐标,并将各个角度对应的标定图像的图像中心坐标,作为各个角度对应的防抖组件的位置。例如第一角度对应的图像中心坐标为(0,0),那么电子设备将(0,0)作为第一角度对应的防抖组件的位置。
本实施例中的摄像头标定方法,通过霍尔传感器获取各个角度的霍尔值,再转化成图像中心坐标,将中心坐标作为防抖组件对应的位置,对图像进行偏移补偿,能提高中心坐标点的准确性,从而提高摄像头标定的准确性。
图5为一个实施例中获取图像中心坐标的方法。如图5所示,通过霍尔传感器获取至少三个角度中各个角度所对应的防抖组件的霍尔值,将各个角度所对应的霍尔值转换为各个角度所对应的标定图像的图像中心坐标,包括步骤502至步骤506。
步骤502,通过霍尔传感器获取至少三个角度中各个角度所对应的防抖组件的多个霍尔值。
具体地,多个霍尔值是指两个或两个以上的霍尔值,本实施例中以两个霍尔值为例进行说明。上电后,电子设备在第一角度的位置拍摄图像并获取第一角度对应的防抖组件的第一霍尔值。下电后,再次进行上电,电子设备仍在第一角度的位置拍摄图像并获取第一角度对应的防抖组件的第二霍尔值。同样地,电子设备在第二角度的位置拍摄图像并获取第二角度对应的防抖组件的第一霍尔值和第二霍尔值。电子设备在第三角度的位置拍摄图像并获取第三角度对应的防抖组件的第一霍尔值和第二霍尔值。
步骤504,求取各个角度所对应的防抖组件的多个霍尔值的加权平均值。
具体地,以两个霍尔值为例,电子设备求取第一角度对应的防抖组件的第一霍尔值和第二霍尔值的加权平均值,得到第一加权平均值。其中,加权平均的求取公式中第一霍尔值和第二霍尔值的权重可以相同,也可以不同。同样地,电子设备求取第二角度对应的防抖组件的第一霍尔值和第二霍尔值的加权平均值,得到第二加权平均值。电子设备求取第三角度对应的防抖组件的第一霍尔值和第二霍尔值的加权平均值,得到第三加权平均值。
步骤506,将各个角度所对应的防抖组件的多个霍尔值的加权平均值转换为各个角度所对应的标定图像的图像中心坐标。
具体地,读取防抖组件的标定信息得到各个角度所对应的标定图像的图像中心坐标。或者,电子设备拍摄标定板的多张不同角度的图像,以其中一张图像作为参考图像,并定义图像中心坐标为(0,0),得到对应的霍尔值。再选定其余每副图像的图像中心坐标,分别获取每副图像的图像中心坐标对应的霍尔值,则通过拟合等方式得到霍尔值与图像中心坐标的关系曲线。那么,根据霍尔值与图像中心坐标的关系曲线,能将各个角度所对应的多个霍尔值的加权平均值转换为各个角度所对应的标定图像的图像中心坐标。
本实施例中的摄像头标定方法,通过防抖组件的多个霍尔值求取加权平均值,并将加权平均值转化为图像中心坐标,能够提高获取防抖组件的位置的准确性,避免偶然状况,从而提高摄像头的标定准确性。
图6为另一个实施例中获取图像中心坐标的流程图。如图6所示,该摄像头标定方法还包括步骤602至步骤606。
步骤602,获取当前温度值,并根据当前温度值获取对应的霍尔温度补偿系数。
具体地,电子设备通过温度计等获取当前状态下的电子设备温度值,并根据霍尔值与温度值的关系,即温度与霍尔值呈正相关,获取当前温度值对应的霍尔温度补偿系数。
本实施例中,电子设备可以根据霍尔传感器的温度补偿电路获取当前温度值对应的霍尔温度补偿系数。例如霍尔传感器的温度补偿电路是采用恒流源进行供电,并使霍尔传感器与电阻并联;或者采用恒压源,使霍尔传感器与电阻串联的方式;或者在霍尔传感器的温度补偿电路的输入端并联电阻和在输出端并联电阻的方式以获取霍尔温度补偿系数。
步骤604,根据霍尔温度补偿系数对获取的霍尔值进行温度补偿处理得到补偿后的霍尔值。
具体地,电子设备根据霍尔温度补偿系数对获取的霍尔值进行温度补偿处理得到补偿后的霍尔值。
步骤606,将各个角度所对应的补偿后的霍尔值转换为各个角度所对应的标定图像的图像中心坐标。
具体地,电子设备根据霍尔值与坐标的对应关系,例如霍尔值与坐标存在预设的关系,当霍尔值为1时,坐标为(0,0),将各个角度补偿后的霍尔值转化成各个角度对应的标定图像的图像中心坐标。
本实施例中的摄像头标定方法,通过根据当前温度值获取霍尔温度补偿系数,根据温度补偿系数得到补偿后的霍尔值,并转化为图像中心坐标,能够减少温度对霍尔传感器的影响,提高摄像头标定的准确性。
在一个实施例中,该至少三个角度包括0度;从该至少三个角度中选取一个角度作为参考角度,包括:从该至少三个角度中选取0度作为参考角度。
具体地,获取至少三个角度的标定图像,该至少三个角度包括0度,另外两个角度为±θ度,θ值可以大于15度,以保证姿态间解耦。电子设备从该至少三个角度中选取0度作为参考角度,并以0度对应的防抖组件的位置作为参考位置,确定剩余各个角度的防抖组件的位置相对于0度的防抖组件的位置的偏移量。
本申请实施例中的摄像头标定方法,通过选取0度作为参考角度,使防抖组件所在的平面与标定板所在的平面相互平行,使摄像头的标定准确性更高。
在一个实施例中,该摄像头标定方法还包括:获取对摄像头标定后的标定信息,将标定信息和参考位置对应存储。
具体地,该标定信息包括参考角度的标定图像和修正后的各个角度的标定图像。电子设备获取该标定信息,并将标定信息和参考位置对应存储在存储器中。
本实施例中,该标定信息还可以包括各个角度、各个角度所对应的防抖组件的霍尔值、各个角度所对应的防抖组件的位置、各个角度所对应的防抖组件工作时所拍摄标定图像的图像中心位置、霍尔温度补偿系数和经过温度补偿处理后得到的补偿后的霍尔值中的一种或多种。
本申请实施例中的摄像头标定方法,通过获取对摄像头标定后的标定信息,并将标定信息和参考位置对应存储,方便后续信息的调用和比对,同时能提高摄像头标定的准确性。
在一个实施例中,该摄像头标定方法,包括:
步骤(a1),获取至少三个角度的标定图像,该至少三个角度包括0度;
步骤(a2),获取当前温度值,并根据当前温度值获取对应的霍尔温度补偿系数。
步骤(a3),根据霍尔温度补偿系数对获取的霍尔值进行温度补偿处理得到补偿后的霍尔值。
步骤(a4),将各个角度所对应的防抖组件的多个霍尔值的加权平均值转换为各个角度所对应的标定图像的图像中心坐标。
步骤(a5),通过霍尔传感器获取至少三个角度中各个角度所对应的防抖组件的多个霍尔值;
步骤(a6),求取各个角度所对应的防抖组件的多个霍尔值的加权平均值;
步骤(a7),将各个角度所对应的防抖组件的多个霍尔值的加权平均值转换为各个角度所对应的标定图像的图像中心坐标;
步骤(a8),将各个角度所对应的标定图像的图像中心坐标作为各个角度所对应的防抖组件的位置;
步骤(a9),从至少三个角度中选取0度作为参考角度,以参考角度所对应的防抖组件的位置为参考位置,确定至少三个角度中剩余各个角度所对应的防抖组件的位置与参考位置的偏移量;
步骤(a10),将剩余各个角度的标定图像中各个像素点按照剩余各个角度所对应的偏移量进行偏移处理,得到修正后的剩余各个角度的标定图像;
步骤(a11),根据参考角度的标定图像以及修正后的剩余各个角度的标定图像对摄像头标定。
步骤(a12),获取对摄像头标定后的标定信息,将标定信息和参考位置对应存储。
本实施例中的摄像头标定方法,通过根据当前温度值获取霍尔温度补偿系数,根据温度补偿系数得到补偿后的霍尔值,根据防抖组件的多个霍尔值求取加权平均值,并将加权平均值转化为图像中心坐标,以参考角度对应的参考位置为基础,将其他角度对应的标定图像进行偏移处理,得到的标定图像均为参考位置下的标定图像;进行摄像头标定时,减少温度对霍尔传感器的影响,且考虑了偶然性和防抖组件的位置偏移,能够提高防抖组件的位置的准确性,避免偶然状况,从而提高摄像头的标定准确性。
应该理解的是,虽然图2、图5和图6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、图5和图6中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图7为一个实施例的摄像头标定装置的结构框图。如图7所示,一种摄像头标定装置,包括获取模块702、确定模块704、偏移模块706和标定模块708,其中:
获取模块702,用于获取至少三个角度的标定图像,以及获取至少三个角度中各个角度所对应的防抖组件的位置。
确定模块704,用于从至少三个角度中选取一个角度作为参考角度,以参考角度所对应的防抖组件的位置为参考位置,确定至少三个角度中剩余各个角度所对应的防抖组件的位置与参考位置的偏移量。
偏移模块706,用于将剩余各个角度的标定图像中各个像素点按照剩余各个角度所对应的偏移量进行偏移处理,得到修正后的剩余各个角度的标定图像。
标定模块708,根据参考角度的标定图像以及修正后的剩余各个角度的标定图像对摄像头标定。
上述摄像头标定装置中,通过对标定图像的偏移处理,得到参考角度的标定图像和修正后的其余标定图像,并对摄像头进行标定,以参考角度对应的参考位置为基础,将其他角度对应的标定图像进行偏移处理,得到的标定图像均为参考位置下的标定图像,进行摄像头标定时,考虑了防抖组件的位置偏移,得到的标定结果更加准确。
在一个实施例中,获取模块702还用于获取至少三个角度中各个角度所对应的防抖组件工作时所拍摄标定图像的图像中心位置;将各个角度所对应的标定图像的图像中心位置作为各个角度所对应的防抖组件的位置。
上述摄像头标定装置中,通过将标定图像的中心位置作为防抖组件的位置,考虑了标定图像的中心位置与防抖组件的位置之间的关系,能更加准确地得到防抖组件的位置,从而减少偏移带来的图像变化,对图像进行补偿,提高摄像头标定的准确性。
在一个实施例中,获取模块702还用于通过霍尔传感器获取至少三个角度中各个角度所对应的防抖组件的霍尔值,将各个角度所对应的霍尔值转换为各个角度所对应的标定图像的图像中心坐标;将各个角度所对应的标定图像的图像中心坐标作为各个角度所对应的防抖组件的位置。
上述摄像头标定装置中,通过霍尔传感器获取各个角度的霍尔值,再转化成图像中心坐标,将中心坐标作为防抖组件对应的位置,对图像进行偏移补偿,能提高中心坐标点的准确性,从而提高摄像头标定的准确性。
在一个实施例中,获取模块702还用于通过霍尔传感器获取至少三个角度中各个角度所对应的防抖组件的多个霍尔值;求取各个角度所对应的防抖组件的多个霍尔值的加权平均值;将各个角度所对应的防抖组件的多个霍尔值的加权平均值转换为各个角度所对应的标定图像的图像中心坐标。
上述摄像头标定装置中,通过防抖组件的多个霍尔值求取加权平均值,并将加权平均值转化为图像中心坐标,能够提高防抖组件的位置的准确性,避免偶然状况,从而提高摄像头的标定准确性。
在一个实施例中,获取模块702还用于获取当前温度值,并根据当前温度值获取对应的霍尔温度补偿系数;根据霍尔温度补偿系数对获取的霍尔值进行温度补偿处理得到补偿后的霍尔值;将各个角度所对应的补偿后的霍尔值转换为各个角度所对应的标定图像的图像中心坐标。
上述摄像头标定装置中,通过根据当前温度值获取霍尔温度补偿系数,根据温度补偿系数得到补偿后的霍尔值,并转化为图像中心坐标,能够减少温度对霍尔传感器的影响,提高摄像头标定的准确性。
在一个实施例中,该至少三个角度包括0度;确定模块704还用于从该至少三个角度中选取0度作为参考角度。
上述摄像头标定装置中,通过选取0度作为参考角度,使防抖组件所在的平面与标定板所在的平面相互平行,使摄像头的标定准确性更高。
在一个实施例中,该摄像头标定装置还包括存储模块。存储模块用于获取对摄像头标定后的标定信息,将标定信息和参考位置对应存储。
上述摄像头标定装置中,通过获取对摄像头标定后的标定信息,并将标定信息和参考位置对应存储,方便后续信息的调用和比对,同时能提高摄像头标定的准确性。
上述摄像头标定装置中各个模块的划分仅用于举例说明,在其他实施例中,可将摄像头标定装置按照需要划分为不同的模块,以完成上述摄像头标定装置的全部或部分功能。
图8为一个实施例中电子设备的内部结构示意图。如图8所示,该电子设备包括通过系统总线连接的处理器和存储器。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种摄像头标定方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
本申请实施例中提供的摄像头标定装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在电子设备或服务器上运行。该计算机程序构成的程序模块可存储在电子设备或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图9一个实施例中图像处理电路的示意图。如图9所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图9所示,图像处理电路包括第一ISP处理器930、第二ISP处理器940和控制逻辑器950。第一摄像头910包括一个或多个第一透镜912和第一图像传感器914。第一图像传感器914可包括色彩滤镜阵列(如Bayer滤镜),第一图像传感器914可获取用第一图像传感器914的每个成像像素捕捉的光强度和波长信息,并提供可由第一ISP处理器930处理的一组图像数据。第二摄像头920包括一个或多个第二透镜922和第二图像传感器924。第二图像传感器924可包括色彩滤镜阵列(如Bayer滤镜),第二图像传感器924可获取用第二图像传感器924的每个成像像素捕捉的光强度和波长信息,并提供可由第二ISP处理器940处理的一组图像数据。
第一摄像头910采集的第一图像传输给第一ISP处理器930进行处理,第一ISP处理器930处理第一图像后,可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器950,控制逻辑器950可根据统计数据确定第一摄像头910的控制参数,从而第一摄像头910可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一ISP处理器930进行处理后可存储至图像存储器960中,第一ISP处理器930也可以读取图像存储器960中存储的图像以对进行处理。另外,第一图像经过ISP处理器930进行处理后可直接发送至显示器990进行显示,显示器990也可以读取图像存储器960中的图像以进行显示。
其中,第一ISP处理器930按多种格式逐个像素地处理图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,第一ISP处理器930可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度准确性进行。
图像存储器960可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自第一图像传感器914接口时,第一ISP处理器930可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器960,以便在被显示之前进行另外的处理。第一ISP处理器930从图像存储器960接收处理数据,并对所述处理数据进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器930处理后的图像数据可输出给显示器990,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,第一ISP处理器930的输出还可发送给图像存储器960,且显示器990可从图像存储器960读取图像数据。在一个实施例中,图像存储器960可被配置为实现一个或多个帧缓冲器。
第一ISP处理器930确定的统计数据可发送给控制逻辑器950。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜912阴影校正等第一图像传感器914统计信息。控制逻辑器950可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定第一摄像头910的控制参数及第一ISP处理器930的控制参数。例如,第一摄像头910的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜912控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及第一透镜912阴影校正参数。
同样地,第二摄像头920采集的第二图像传输给第二ISP处理器940进行处理,第二ISP处理器940处理第一图像后,可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器950,控制逻辑器950可根据统计数据确定第二摄像头920的控制参数,从而第二摄像头920可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二ISP处理器940进行处理后可存储至图像存储器960中,第二ISP处理器940也可以读取图像存储器960中存储的图像以对进行处理。另外,第二图像经过ISP处理器940进行处理后可直接发送至显示器990进行显示,显示器990也可以读取图像存储器960中的图像以进行显示。第二摄像头920和第二ISP处理器940也可以实现如第一摄像头910和第一ISP处理器930所描述的处理过程。
以下为运用图9中图像处理技术实现摄像头标定方法的步骤:
获取至少三个角度的标定图像,以及获取至少三个角度中各个角度所对应的防抖组件的位置;从至少三个角度中选取一个角度作为参考角度,以参考角度所对应的防抖组件的位置为参考位置,确定至少三个角度中剩余各个角度所对应的防抖组件的位置与该参考位置的偏移量;将剩余各个角度的标定图像中各个像素点按照剩余各个角度所对应的偏移量进行偏移处理,得到修正后的该剩余各个角度的标定图像;根据参考角度的标定图像以及修正后的剩余各个角度的标定图像对摄像头标定。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行以下步骤:获取至少三个角度的标定图像,以及获取至少三个角度中各个角度所对应的防抖组件的位置;从至少三个角度中选取一个角度作为参考角度,以参考角度所对应的防抖组件的位置为参考位置,确定至少三个角度中剩余各个角度所对应的防抖组件的位置与该参考位置的偏移量;将剩余各个角度的标定图像中各个像素点按照剩余各个角度所对应的偏移量进行偏移处理,得到修正后的该剩余各个角度的标定图像;根据参考角度的标定图像以及修正后的剩余各个角度的标定图像对摄像头标定。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行以下步骤:获取至少三个角度的标定图像,以及获取至少三个角度中各个角度所对应的防抖组件的位置;从至少三个角度中选取一个角度作为参考角度,以参考角度所对应的防抖组件的位置为参考位置,确定至少三个角度中剩余各个角度所对应的防抖组件的位置与该参考位置的偏移量;将剩余各个角度的标定图像中各个像素点按照剩余各个角度所对应的偏移量进行偏移处理,得到修正后的该剩余各个角度的标定图像;根据参考角度的标定图像以及修正后的剩余各个角度的标定图像对摄像头标定。
本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种摄像头标定方法,其特征在于,包括:
获取至少三个角度的标定图像,以及获取所述至少三个角度中各个角度所对应的防抖组件的位置;
从所述至少三个角度中选取一个角度作为参考角度,以所述参考角度所对应的防抖组件的位置为参考位置,确定所述至少三个角度中剩余各个角度所对应的防抖组件的位置与所述参考位置的偏移量;
将所述剩余各个角度的标定图像中各个像素点按照所述剩余各个角度所对应的偏移量进行偏移处理,得到修正后的所述剩余各个角度的标定图像;
根据所述参考角度的标定图像以及修正后的所述剩余各个角度的标定图像对摄像头标定。
2.根据权利要求1所述的方法,其特征在于,所述获取所述至少三个角度中各个角度所对应的防抖组件的位置,包括:
获取所述至少三个角度中各个角度所对应的防抖组件工作时所拍摄标定图像的图像中心位置,将所述各个角度所对应的标定图像的图像中心位置作为所述各个角度所对应的防抖组件的位置。
3.根据权利要求2所述的方法,其特征在于,所述获取所述至少三个角度中各个角度所对应的防抖组件工作时所拍摄标定图像的图像中心位置,将所述各个角度所对应的标定图像的图像中心位置作为所述防抖组件的位置,包括:
通过霍尔传感器获取所述至少三个角度中各个角度所对应的防抖组件的霍尔值,将所述各个角度所对应的霍尔值转换为所述各个角度所对应的标定图像的图像中心坐标;
将所述各个角度所对应的标定图像的图像中心坐标作为所述各个角度所对应的防抖组件的位置。
4.根据权利要求3所述的方法,其特征在于,所述通过霍尔传感器获取所述至少三个角度中各个角度所对应的防抖组件的霍尔值,将所述各个角度所对应的霍尔值转换为所述各个角度所对应的标定图像的图像中心坐标,包括:
通过霍尔传感器获取所述至少三个角度中各个角度所对应的防抖组件的多个霍尔值;
求取所述各个角度所对应的防抖组件的多个霍尔值的加权平均值;
将所述各个角度所对应的防抖组件的多个霍尔值的加权平均值转换为所述各个角度所对应的标定图像的图像中心坐标。
5.根据权利要求3所述的方法,其特征在于,所述方法还包括:
获取当前温度值,并根据所述当前温度值获取对应的霍尔温度补偿系数;
根据所述霍尔温度补偿系数对获取的霍尔值进行温度补偿处理得到补偿后的霍尔值;
将所述各个角度所对应的补偿后的霍尔值转换为所述各个角度所对应的标定图像的图像中心坐标。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述至少三个角度包括0度;
所述从所述至少三个角度中选取一个角度作为参考角度,包括:
从所述至少三个角度中选取0度作为参考角度。
7.根据权利要求1至5任一项所述的方法,其特征在于,所述方法还包括:
获取对摄像头标定后的标定信息,将所述标定信息和所述参考位置对应存储。
8.一种摄像头标定装置,其特征在于,包括:
获取模块,用于获取至少三个角度的标定图像,以及获取所述至少三个角度中各个角度所对应的防抖组件的位置;
确定模块,用于从所述至少三个角度中选取一个角度作为参考角度,以所述参考角度所对应的防抖组件的位置为参考位置,确定所述至少三个角度中剩余各个角度所对应的防抖组件的位置与所述参考位置的偏移量;
偏移模块,用于将所述剩余各个角度的标定图像中各个像素点按照所述剩余各个角度所对应的偏移量进行偏移处理,得到修正后的所述剩余各个角度的标定图像;
标定模块,根据所述参考角度的标定图像以及修正后的所述剩余各个角度的标定图像对摄像头标定。
9.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的摄像头标定方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
CN201811451825.XA 2018-11-30 2018-11-30 摄像头标定方法和装置、电子设备、计算机可读存储介质 Pending CN109493391A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811451825.XA CN109493391A (zh) 2018-11-30 2018-11-30 摄像头标定方法和装置、电子设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811451825.XA CN109493391A (zh) 2018-11-30 2018-11-30 摄像头标定方法和装置、电子设备、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN109493391A true CN109493391A (zh) 2019-03-19

Family

ID=65698831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811451825.XA Pending CN109493391A (zh) 2018-11-30 2018-11-30 摄像头标定方法和装置、电子设备、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109493391A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110580724A (zh) * 2019-08-28 2019-12-17 贝壳技术有限公司 一种对双目相机组进行标定的方法、装置和存储介质
CN110736431A (zh) * 2019-10-23 2020-01-31 Oppo广东移动通信有限公司 尺寸标注方法、装置、电子设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527040A (zh) * 2008-03-05 2009-09-09 深圳华为通信技术有限公司 图像处理方法及系统
JP2011064889A (ja) * 2009-09-16 2011-03-31 Nikon Corp カメラシステム
CN102519510A (zh) * 2011-12-09 2012-06-27 中国科学院上海光学精密机械研究所 位置敏感传感器的标定装置和标定方法
CN104537663A (zh) * 2014-12-26 2015-04-22 广东中科遥感技术有限公司 一种图像抖动的快速校正方法
CN104796596A (zh) * 2014-01-20 2015-07-22 联想(北京)有限公司 一种信息处理方法及电子设备
EP3104328A1 (en) * 2015-06-11 2016-12-14 Thomson Licensing Method and apparatus for camera calibration
WO2017020150A1 (zh) * 2015-07-31 2017-02-09 深圳市大疆创新科技有限公司 一种图像处理方法、装置及摄像机
CN107038703A (zh) * 2017-04-26 2017-08-11 国家电网公司 一种基于双目视觉的货物距离测量方法
CN107340424A (zh) * 2017-05-22 2017-11-10 合肥师范学院 一种霍尔电流传感器的温度补偿方法
CN108737735A (zh) * 2018-06-15 2018-11-02 Oppo广东移动通信有限公司 图像校正方法、电子设备及计算机可读存储介质
CN108769528A (zh) * 2018-06-15 2018-11-06 Oppo广东移动通信有限公司 图像补偿方法和装置、计算机可读存储介质和电子设备
CN108876739A (zh) * 2018-06-15 2018-11-23 Oppo广东移动通信有限公司 一种图像补偿方法、电子设备及计算机可读存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527040A (zh) * 2008-03-05 2009-09-09 深圳华为通信技术有限公司 图像处理方法及系统
JP2011064889A (ja) * 2009-09-16 2011-03-31 Nikon Corp カメラシステム
CN102519510A (zh) * 2011-12-09 2012-06-27 中国科学院上海光学精密机械研究所 位置敏感传感器的标定装置和标定方法
CN104796596A (zh) * 2014-01-20 2015-07-22 联想(北京)有限公司 一种信息处理方法及电子设备
CN104537663A (zh) * 2014-12-26 2015-04-22 广东中科遥感技术有限公司 一种图像抖动的快速校正方法
EP3104328A1 (en) * 2015-06-11 2016-12-14 Thomson Licensing Method and apparatus for camera calibration
WO2017020150A1 (zh) * 2015-07-31 2017-02-09 深圳市大疆创新科技有限公司 一种图像处理方法、装置及摄像机
CN107038703A (zh) * 2017-04-26 2017-08-11 国家电网公司 一种基于双目视觉的货物距离测量方法
CN107340424A (zh) * 2017-05-22 2017-11-10 合肥师范学院 一种霍尔电流传感器的温度补偿方法
CN108737735A (zh) * 2018-06-15 2018-11-02 Oppo广东移动通信有限公司 图像校正方法、电子设备及计算机可读存储介质
CN108769528A (zh) * 2018-06-15 2018-11-06 Oppo广东移动通信有限公司 图像补偿方法和装置、计算机可读存储介质和电子设备
CN108876739A (zh) * 2018-06-15 2018-11-23 Oppo广东移动通信有限公司 一种图像补偿方法、电子设备及计算机可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110580724A (zh) * 2019-08-28 2019-12-17 贝壳技术有限公司 一种对双目相机组进行标定的方法、装置和存储介质
CN110580724B (zh) * 2019-08-28 2022-02-25 贝壳技术有限公司 一种对双目相机组进行标定的方法、装置和存储介质
CN110736431A (zh) * 2019-10-23 2020-01-31 Oppo广东移动通信有限公司 尺寸标注方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN108737734A (zh) 图像补偿方法和装置、计算机可读存储介质和电子设备
EP3609177A1 (en) Control method, control apparatus, imaging device, and electronic device
CN109767467A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN110473159A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108769528A (zh) 图像补偿方法和装置、计算机可读存储介质和电子设备
CN104702971B (zh) 相机阵列高动态范围成像方法
CN109194876A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
JP2007524289A (ja) 画像フィールドデータを修正するための技術
CN110536057A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109544620A (zh) 图像处理方法和装置、计算机可读存储介质和电子设备
CN109714536A (zh) 图像校正方法、装置、电子设备及计算机可读存储介质
JP2009212853A (ja) ホワイトバランス制御装置およびその制御方法並びに撮像装置
CN107509044A (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN110213494A (zh) 拍摄方法和装置、电子设备、计算机可读存储介质
CN109685853B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN109559352B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN109598764A (zh) 摄像头标定方法和装置、电子设备、计算机可读存储介质
CN109600548A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110266966A (zh) 图像生成方法和装置、电子设备、计算机可读存储介质
CN111385461B (zh) 全景拍摄方法及装置、相机、移动终端
JP2015036632A (ja) 距離計測装置、撮像装置、距離計測方法
CN107948617A (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
US9143756B2 (en) Camera module, photographing method, and electronic apparatus
TW201601538A (zh) 影像擷取裝置及其影像補償方法
CN110035206A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190319