CN104361599B - 云台摄像机的标定及拍摄方法 - Google Patents

云台摄像机的标定及拍摄方法 Download PDF

Info

Publication number
CN104361599B
CN104361599B CN201410684361.2A CN201410684361A CN104361599B CN 104361599 B CN104361599 B CN 104361599B CN 201410684361 A CN201410684361 A CN 201410684361A CN 104361599 B CN104361599 B CN 104361599B
Authority
CN
China
Prior art keywords
video camera
monopod video
image
spotting
uncalibrated image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410684361.2A
Other languages
English (en)
Other versions
CN104361599A (zh
Inventor
曹泉
何小晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN HAGONGDA TRAFFIC ELECTRONIC TECHNOLOGY Co Ltd
Original Assignee
SHENZHEN HAGONGDA TRAFFIC ELECTRONIC TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN HAGONGDA TRAFFIC ELECTRONIC TECHNOLOGY Co Ltd filed Critical SHENZHEN HAGONGDA TRAFFIC ELECTRONIC TECHNOLOGY Co Ltd
Priority to CN201410684361.2A priority Critical patent/CN104361599B/zh
Publication of CN104361599A publication Critical patent/CN104361599A/zh
Application granted granted Critical
Publication of CN104361599B publication Critical patent/CN104361599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种云台摄像机的标定及拍摄方法,其包括对云台摄像机的调整系数进行标定;通过所述云台摄像机设定拍摄目标后,根据所述拍摄目标设置基准目标;以及使用标定后的所述调整系数,对所述基准目标进行自动拍摄。本发明的云台摄像机的标定及拍摄方法通过设置不同的调整系数实现不同参数的云台摄像机的自动拍摄操作;解决了现有的云台摄像机的标定及拍摄方法中无法对云台摄像机的角度和焦距进行调整的技术问题。

Description

云台摄像机的标定及拍摄方法
技术领域
本发明涉及视频监控领域,特别是涉及一种云台摄像机的标定及拍摄方法。
背景技术
在现有的监控领域中,云台摄像机是最为普遍使用的监控前端设备之一。通过云台的转动,摄像机可以朝向不同的方向以及使用不同的焦距,观察到不同距离范围内的目标或场景,从而能够监控非常大的范围。通常云台摄像机可以转动的角度包括俯仰角(tiltangle)和转动角(pan angle),而旋转角(swing angle)一般设定为不变,这样加上摄像机的焦距变化,一共有三个自由度可供调整。
当云台摄像机拍摄动态目标时,如果摄像机的焦距固定,那么随着云台摄像机与目标距离的变化,目标在云台摄像机的显示屏幕上的大小也会发生变化;因此要保持一定的观测精度,需要保持目标的成像大小在一个合适的尺寸范围内。
如果可以获知云台摄像机内部的各项参数,现有的云台摄像机可以较好的保证自动拍摄的准确性。然而在实际应用中,不同品牌的云台摄像机之间,同一品牌的不同型号云台摄像机之间,云台摄像机内部的各项参数均各不相同。即使内部参数设置相同的同一批次云台摄像机,由于生产工艺的原因,相机参数与设定值也可能存在不同的误差值,而这些误差值会导致云台摄像机无法根据基准点或基准线的变化,准确的对云台摄像机的角度和焦距进行调整。
故,有必要提供一种云台摄像机的标定及拍摄方法,以解决现有技术所存在的问题。
发明内容
本发明实施例还提供一种可兼容不同参数的云台摄像机的云台摄像机的标定及拍摄方法,以解决现有的云台摄像机的标定及拍摄方法中无法对云台摄像机的角度和焦距进行调整的技术问题。
本发明实施例提供一种云台摄像机的标定及拍摄方法,其包括:
对云台摄像机的调整系数进行标定;
通过所述云台摄像机设定拍摄目标后,根据所述拍摄目标设置基准目标;以及
使用标定后的所述调整系数,对所述基准目标进行自动拍摄。
在本发明所述的云台摄像机的标定及拍摄方法中,如所述云台摄像机通过设定角度进行控制;则所述对云台摄像机的调整系数进行标定的步骤包括:
通过所述云台摄像机设定标定目标,并将所述标定目标的当前图像设置为第一标定图像;
控制所述云台摄像机按设定方向转动设定角度,并将转动后的所述标定目标的图像设置为第二标定图像;
根据所述标定目标在所述第一标定图像中的位置以及所述标定图像在所述第二标定图像中的位置,确定所述标定目标的偏移量;以及
根据所述偏移量和所述设定角度,计算所述云台摄像机的调整系数。
在本发明所述的云台摄像机的标定及拍摄方法中,所述云台摄像机的调整系数包括横向调整系数以及纵向调整系数
其中为所述标定目标的横向偏移量,为所述云台摄像机横向转动的所述设定角度,为所述标定目标的纵向偏移量,为所述云台摄像机纵向转动的所述设定角度,为所述云台摄像机的当前放大倍数。
在本发明所述的云台摄像机的标定及拍摄方法中,如所述云台摄像机通过控制命令的持续时间进行控制;则所述对云台摄像机的调整系数进行标定的步骤包括:
通过所述云台摄像机设定标定目标,并将所述标定目标的当前图像设置为第一标定图像;
控制所述云台摄像机按所述控制命令转动n次,记录每次所述控制命令的持续时间,并将第i次转动后的所述标定目标的图像设置为第i+1标定图像,n为大于等于2的正整数;
根据所述标定目标在所述第一标定图像中的位置以及所述标定图像在所述第i+1标定图像中的位置,确定所述标定目标的第i偏移量;以及
根据多个所述第i偏移量和所述每次控制命令的持续时间,计算所述云台摄像机的调整系数;或
通过所述云台摄像机设定标定目标,并将所述标定目标的当前图像设置为第一标定图像;
控制所述云台摄像机按所述控制命令变焦放大操作m次,记录每次所述控制命令的持续时间,并将第j次转动后的所述标定目标的图像设置为第j+1标定图像,m为大于等于2的正整数;
根据所述标定目标在所述第一标定图像中的大小以及所述标定图像在所述第j+1标定图像中的大小,确定所述标定目标的第j放大倍数;以及
根据多个所述第j放大倍数和所述每次控制命令的持续时间,计算所述云台摄像机的调整系数。
在本发明所述的云台摄像机的标定及拍摄方法中,所述云台摄像机的调整系数包括横向调整系数、纵向调整系数以及变焦调整系数γ;所述控制命令包括横向偏移控制命令、纵向偏移控制命令以及变焦调整控制命令;
其中横向调整系数表示为
其中为所述标定目标的第i次转动的横向偏移量, 为所述云台摄像机的第i次转动的所述横向偏移控制命令的持续时间,为所述云台摄像机的第i次转动的时间, 为所述云台摄像机的响应延时,为所述云台摄像机的设定放大倍数;
纵向调整系数表示为:
其中为所述标定目标的第i次转动的纵向偏移量,为所述云台摄像机的第i次转动的所述纵向偏移控制命令的持续时间; 为所述云台摄像机的第i次转动的时间,为所述云台摄像机的响应延时,为所述云台摄像机的设定放大倍数;
变焦调整系数表示为:
其中为所述标定目标的第j次变焦放大操作的放大倍数,为所述云台摄像机的第j次变焦放大操作的所述变焦调整控制命令的持续时间;为所述云台摄像机的第j次变焦放大操作的时间,为所述云台摄像机的响应延时。
在本发明所述的云台摄像机的标定及拍摄方法中,所述根据所述标定目标在所述第一标定图像中的大小以及所述标定图像在所述第j+1标定图像中的大小,确定所述标定目标的第j放大倍数的步骤包括:
将所述第一标定图像按固定步长进行图像放大,生成一系列具有设定放大倍数的放大后的第一标定图像;
将所述第j+1标定图像中的所述标定图像与所有的所述放大后的第一标定图像中的所述标定图像逐一进行比较,获取与所述第j+1标定图像中的所述标定图像匹配度最高的所述放大后的第一标定图像;以及
将获取的所述放大后的第一标定图像的设定放大倍数,确定为所述标定目标的第j放大倍数。
在本发明所述的云台摄像机的标定及拍摄方法中,使用模板匹配法或光流法确定所述标定目标的第i偏移量。
在本发明所述的云台摄像机的标定及拍摄方法中,在所述通过所述云台摄像机设定拍摄目标后,根据所述拍摄目标设置基准目标的步骤之前还包括步骤:
对所述云台摄像机的光轴位置进行标定。
在本发明所述的云台摄像机的标定及拍摄方法中,所述对所述云台摄像机的光轴位置进行标定的步骤包括:
通过所述云台摄像机设定标定目标,并将所述标定目标的当前图像设置为第一标定图像;
控制所述云台摄像机进行设定倍数的变焦放大操作,将变焦放大操作后的所述标定目标的图像设定为第二标定图像;
对所述第二标定图像进行所述设定倍数的缩小操作,获取缩小后的第二标定图像;
根据所述标定目标在所述第一标定图像中的位置以及所述缩小后的第二标定图像,确定所述光轴的偏移量;以及
根据所述光轴的偏移量,对所述云台摄像机的光轴位置进行标定。
在本发明所述的云台摄像机的标定及拍摄方法中,所述根据所述标定目标在所述第一标定图像中的位置以及所述缩小后的第二标定图像,确定所述光轴的偏移量的步骤包括:
获取所述缩小后的第二标定图像的中心区域;
查找所述缩小后的第二标定图像的中心区域在所述第一标定图像中的偏移位置;以及
根据所述第一标定图像中的偏移位置以及所述标定目标在所述第一标定图像中的位置,确定所述光轴的偏移量。
相较于现有技术的云台摄像机的标定及拍摄方法,本发明的云台摄像机的标定及拍摄方法通过设置不同的调整系数实现不同参数的云台摄像机的自动拍摄操作;解决了现有的云台摄像机的标定及拍摄方法中无法对云台摄像机的角度和焦距进行调整的技术问题。
附图说明
图1为本发明的云台摄像机的标定及拍摄方法的第一优选实施例的流程图;
图2为本发明的云台摄像机的标定及拍摄方法的第一优选实施例的步骤S101的流程图(通过设定角度进行控制);
图3为本发明的云台摄像机的标定及拍摄方法的第一优选实施例的步骤S101的流程图(通过转动控制命令的持续时间进行控制);
图4为本发明的云台摄像机的标定及拍摄方法的第一优选实施例的步骤S101的流程图(通过变焦放大操作控制命令的持续时间进行控制);
图5为本发明的云台摄像机的标定及拍摄方法的第一优选实施例的步骤S1013C的流程图;
图6为本发明的云台摄像机的标定及拍摄方法的第二优选实施例的流程图;
图7为本发明的云台摄像机的标定及拍摄方法的第二优选实施例的步骤S603的流程图;
图8为本发明的云台摄像机的标定及拍摄方法的第二优选实施例的步骤S6034的流程图。
具体实施方式
请参照图式,其中相同的组件符号代表相同的组件,本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例,其不应被视为限制本发明未在此详述的其它具体实施例。
在以下的说明中,本发明的具体实施例将参考由一部或多部计算机所执行之作业的步骤及符号来说明,除非另有述明。因此,其将可了解到这些步骤及操作,其中有数次提到为由计算机执行,包括了由代表了以一结构化型式中的数据之电子信号的计算机处理单元所操纵。此操纵转换该数据或将其维持在该计算机之内存系统中的位置处,其可重新配置或另外以本领域技术人员所熟知的方式来改变该计算机之运作。该数据所维持的数据结构为该内存之实体位置,其具有由该数据格式所定义的特定特性。但是,本发明原理以上述文字来说明,其并不代表为一种限制,本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
如本申请所使用的术语“组件”、“模块”、“系统”、“接口”、“进程”等等一般地旨在指计算机相关实体:硬件、硬件和软件的组合、软件或执行中的软件。例如,组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和/或计算机。通过图示,运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和/或线程内,并且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。
而且,要求保护的主题可以被实现为使用标准编程和/或工程技术产生软件、固件、硬件或其任意组合以控制计算机实现所公开的主题的方法、装置或制造品。本文所使用的术语“制造品”旨在包含可从任意计算机可读设备、载体或介质访问的计算机程序。当然,本领域技术人员将认识到可以对该配置进行许多修改,而不脱离要求保护的主题的范围或精神。
本文提供了实施例的各种操作。在一个实施例中,所述的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令,其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且,应当理解,不是所有操作必需在本文所提供的每个实施例中存在。
而且,本文所使用的词语“优选的”意指用作实例、示例或例证。奉文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反,词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即,除非另外指定或从上下文中清楚,“X使用A或B”意指自然包括排列的任意一个。即,如果X使用A;X使用B;或X使用A和B二者,则“X使用A或B”在前述任一示例中得到满足。
而且,尽管已经相对于一个或多个实现方式示出并描述了本公开,但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型,并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能,用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示),即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外,尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开,但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且,就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言,这样的术语旨在以与术语“包含”相似的方式包括。
请参照图1,图1为本发明的云台摄像机的标定及拍摄方法的第一优选实施例的流程图。本优选实施例的云台摄像机的标定及拍摄方法可使用与云台摄像机连接的固定终端或移动终端进行实施,该固定终端或移动终端包括但不限于个人计算机、服务器、多处理器系统、微电脑为主的系统、主架构型计算机、及分布式运算环境,其中包括了任何的上述系统或装置。本优选实施例的云台摄像机的标定及拍摄方法包括:
步骤S101,对云台摄像机的调整系数进行标定;
步骤S102,通过云台摄像机设定拍摄目标后,根据拍摄目标设置基准目标;
步骤S103,使用标定后的调整系数,对基准目标进行自动拍摄。
下面详细说明本优选实施例的云台摄像机的标定及拍摄方法的各步骤的具体流程。
在步骤S101中,自动拍摄装置对云台摄像机的调整系数进行标定,根据云台摄像机的类型不同可设置不同的调整系数,如通过设定角度进行控制的云台摄像机,该调整系数可为横向调整系数以及纵向调整系数。如通过控制命令的持续时间进行控制的云台摄像机,该调整系数可为横向调整系数、纵向调整系数以及变焦调整系数。这样根据实际拍摄情况对上述云台摄像机的调整系数进行标定(即标准化)处理。具体的标定过程请参见下述的实施例。随后转到步骤S102。
在步骤S102中,自动拍摄装置设定或根据预设条件发现拍摄目标,如发现动态目标等后,根据拍摄目标设置基准目标,如将拍摄目标设置在拍摄画面的中心位置,或通过拍摄目标中的特征确定拍摄目标的大小和位置,从而确定待拍摄的基准目标等。随后转到步骤S103。
在步骤S103中,使用步骤S101获取的标定后的调整参数,对步骤S102中设置的基准目标进行自动拍摄,从而可对基准目标进行监控。
这样即完成了本优选实施例的云台摄像机的标定及拍摄方法的自动拍摄过程。
本发明的云台摄像机的标定及拍摄方法通过设置不同的调整系数实现不同参数的云台摄像机的自动拍摄操作。
下面详细说明如何对不同类型的云台摄像机进行调整系数的标定操作。
请参照图2,图2为本发明的云台摄像机的标定及拍摄方法的第一优选实施例的步骤S101的流程图(通过设定角度进行控制)。在本优选实施例中,云台摄像机通过设定角度进行拍摄控制。该步骤S101包括:
步骤S1011A,通过云台摄像机设定标定目标,并将标定目标的当前图像设置为第一标定图像;
步骤S1012A,控制云台摄像机按设定方向转动设定角度,并将转动后的标定目标的图像设置为第二标定图像;
步骤S1013A,根据标定目标在第一标定图像中的位置以及标定图像在第二标定图像中的位置,确定标定目标的偏移量;
步骤S1014A,根据偏移量和设定角度,计算云台摄像机的调整系数。
下面详细说明上述各步骤的具体流程。
在步骤S1011A中,自动拍摄装置通过云台摄像机设置或确定标定目标,即确定拍摄图像中的某个物体作为标定目标,并将该标定目标的当前拍摄图像设置为第一标定图像;随后转到步骤S1012A;
在步骤S1012A中,自动拍摄装置控制云台摄像机按设定方向转动设定角度,如向左转动5度或向上转动5度等,并将转动后的标定目标的当前拍摄图像设置为第二标定图像;随后转到步骤S1013A;
在步骤S1013A中,自动拍摄装置根据标定目标在第一标定图像中的位置以及标定图像在第二标定图像中的位置,确定标定目标的偏移量。如通过模板匹配法或光流法确定标定目标的偏移量;随后转到步骤S1014A;
在步骤S1014A中,自动拍摄装置根据步骤S1013A获取的标定目标的偏移量和步骤S1012A获取的设定角度,计算云台摄像机的横向调整系数以及纵向调整系数。具体计算公式如下:
其中为标定目标的横向偏移量,为云台摄像机横向转动的设定角度,为标定目标的纵向偏移量,为云台摄像机纵向转动的设定角度,为云台摄像机的当前放大倍数(通过设定角度进行拍摄控制的云台摄像机可直接获取该参数)。
由于上述公式中只有横向调整系数以及纵向调整系数两个未知数,因此可通过上述公式中的偏移量、设定角度以及当前放大倍数直接算出横向调整系数以及纵向调整系数
请参照图3,图3为本发明的云台摄像机的标定及拍摄方法的第一优选实施例的步骤S101的流程图(通过转动控制命令的持续时间进行控制)。在本优选实施例中,云台摄像机通过转动控制命令的持续时间进行拍摄控制,该步骤S101包括:
步骤S1011B,通过云台摄像机设定标定目标,并将标定目标的当前图像设置为第一标定图像;
步骤S1012B,控制云台摄像机按所述控制命令转动n次,记录每次控制命令的持续时间,并将第i次转动后的所述标定目标的图像设置为第i+1标定图像;
步骤S1013B,根据标定目标在第一标定图像中的位置以及标定图像在第i+1标定图像中的位置,确定标定目标的第i偏移量;
步骤S1014B,根据多个所述第i偏移量和所述每次控制命令的持续时间,计算所述云台摄像机的调整系数;
下面详细说明上述各步骤的具体流程。
在步骤S1011B中,自动拍摄装置通过云台摄像机设置或确定标定目标,即确定拍摄图像中的某个物体作为标定目标,并将标定目标的当前图像设置为第一标定图像;随后转到步骤S1012B;
在步骤S1012B中,自动拍摄装置控制云台摄像机按控制命令转动n次,并记录每次控制命令的持续时间。如第一次向左转动100毫秒,然后复位;第二次向左转动200毫秒,然后复位;……第n次向左转动1000毫秒,然后复位等。云台摄像机按控制命令转动后,将转动后的标定目标的当前拍摄图像进行记录,即将第i次转动后的标定目标的当前拍摄图像设置为第i+1标定图像,这里的转动次数大于等于2次,即至少记录了第二标定图像和第三标定图像两个标定图像。随后转到步骤S1013B;
在步骤S1013B中,自动拍摄装置根据标定目标在第一标定图像中的位置以及标定图像在第i+1标定图像中的位置,确定标定目标的第i偏移量,即可获取至少两个标定目标的偏移量。如可通过模板匹配法或光流法确定标定目标的偏移量;随后转到步骤S1014B;
在步骤S1014B中,自动拍摄装置根据步骤S1013B获取的多个标定目标的偏移量和步骤S1012B获取的每次控制命令的持续时间,计算云台摄像机的横向调整系数以及纵向调整系数。具体计算公式如下:
横向调整系数表示为
其中为标定目标的第i次转动的横向偏移量,为云台摄像机的第i次转动的横向偏移控制命令的持续时间,为云台摄像机的第i次转动的时间,为云台摄像机的响应延时,为云台摄像机的设定放大倍数(通过转动控制命令的持续时间进行拍摄控制的云台摄像机一般不可直接获取该参数,通常的做法是在最小放大倍数下进行标定,即z为1)。
由于上述公式中只有横向调整系数以及云台摄像机的响应延时两个未知数,因此可通过至少两组偏移量、控制命令的持续时间以及设定放大倍数直接算出横向调整系数。由于上述参数的获取过程可能存在误差,这里也可获取多组偏移量以及控制命令的持续时间(设定放大倍数为固定量),然后使用最小二乘法准确算出横向调整系数
纵向调整系数表示为:
其中为标定目标的第i次转动的纵向偏移量,为云台摄像机的第i次转动的纵向偏移控制命令的持续时间;为云台摄像机的第i次转动的时间,为云台摄像机的响应延时,为云台摄像机的设定放大倍数(通过转动控制命令的持续时间进行拍摄控制的云台摄像机一般不可直接获取该参数,通常的做法是在最小放大倍数下进行标定,即z为1)。
由于上述公式中只有纵向调整系数以及云台摄像机的响应延时两个未知数,因此可通过至少两组偏移量、控制命令的持续时间以及设定放大倍数直接算出纵向调整系数。由于上述参数的获取过程可能存在误差,这里也可获取多组偏移量以及控制命令的持续时间(设定放大倍数为固定量),然后使用最小二乘法准确算出纵向调整系数
请参照图4,图4为本发明的云台摄像机的标定及拍摄方法的第一优选实施例的步骤S101的流程图(通过变焦放大操作控制命令的持续时间进行控制)。在本优选实施例中,云台摄像机通过变焦放大操作控制命令的持续时间进行拍摄控制,该步骤S101包括:
步骤S1011C,通过云台摄像机设定标定目标,并将标定目标的当前图像设置为第一标定图像;
步骤S1012C,控制云台摄像机按控制命令变焦放大操作m次,记录每次控制命令的持续时间,并将第j次转动后的标定目标的图像设置为第j+1标定图像;
步骤S1013C,根据标定目标在所述第一标定图像中的大小以及标定图像在第j+1标定图像中的大小,确定标定目标的第j放大倍数;
步骤S1014C,根据多个第j放大倍数和每次控制命令的持续时间,计算云台摄像机的调整系数。
下面详细说明上述各步骤的具体流程。
在步骤S1011C中,自动拍摄装置通过云台摄像机设置或确定标定目标,即确定拍摄图像中的某个物体作为标定目标,并将标定目标的当前图像设置为第一标定图像;随后转到步骤S1012C;
在步骤S1012C中,自动拍摄装置控制云台摄像机按控制命令变焦放大操作m次,并记录每次控制命令的持续时间。如第一次变焦放大100毫秒,然后复位;第二次变焦放大200毫秒,然后复位;……第n次变焦放大1000毫秒,然后复位等;即每次变焦放大操作的起始放大倍数是固定的。云台摄像机按控制命令变焦放大操作后,将变焦放大操作后的标定目标的当前拍摄图像进行记录,即将第j次变焦放大操作后的标定目标的当前拍摄图像设置为第j+1标定图像,这里的变焦放大操作次数大于等于2次,即至少记录了第二标定图像和第三标定图像两个标定图像。随后转到步骤S1013C;
在步骤S1013C中,自动拍摄装置根据标定目标在第一标定图像中的位置以及标定图像在第j+1标定图像中的位置,确定标定目标的第j放大倍数。具体确定标定目标的第j放大倍数的步骤请参照图5,图5为本发明的云台摄像机的标定及拍摄方法的第一优选实施例的步骤S1013C的流程图。
该步骤S1013C包括:
步骤S501,将第一标定图像按固定步长进行图像放大,生成一系列具有设定放大倍数的放大后的第一标定图像;
步骤S502,将第j+1标定图像中的标定图像与所有的放大后的第一标定图像中的标定图像逐一进行比较,获取与第j+1标定图像中的标定图形匹配度最高的放大后的第一标定图像;
步骤S503,将获取的放大后的第一标定图像的设定放大倍数,确定为标定目标的第j放大倍数。
这样通过步骤S1013C可获取至少两个标定目标的放大倍数;随后转到步骤S1014C;
在步骤S1014C中,自动拍摄装置根据步骤S1013C获取的多个标定目标的放大倍数和步骤S1012C获取的每次控制命令的持续时间,计算云台摄像机的变焦调整系数γ。具体计算公式如下:
其中为标定目标的第j次变焦放大操作的放大倍数,为云台摄像机的第j次变焦放大操作的变焦调整控制命令的持续时间;为云台摄像机的第j次变焦放大操作的时间,为云台摄像机的响应延时。
由于上述公式中只有变焦调整系数γ以及云台摄像机的响应延时两个未知数,因此可通过至少两组放大倍数以及控制命令的持续时间可直接算出变焦调整系数γ。由于上述参数的获取过程可能存在误差,这里也可获取多组放大倍数以及控制命令的持续时间,然后使用最小二乘法准确算出变焦调整系数γ。
请参照图6,图6为本发明的云台摄像机的标定及拍摄方法的第二优选实施例的流程图。本优选实施例的云台摄像机的标定及拍摄方法包括:
步骤S601,对云台摄像机的调整系数进行标定;
步骤S602,通过云台摄像机设定拍摄目标;
步骤S603,对云台摄像机的光轴位置进行标定;
步骤S604,根据拍摄目标设置基准目标;
步骤S605,使用标定后的调整系数,对基准目标进行自动拍摄。
本优选实施例的云台摄像机的标定及拍摄方法在第一优选实施例的基础上,增加了步骤S603,对云台摄像机的光轴位置进行标定。这样使得自动拍摄过程更加准确。
该步骤S603的具体步骤请参照图7,图7为本发明的云台摄像机的标定及拍摄方法的第二优选实施例的步骤S603的流程图。该步骤S603包括:
步骤S6031,通过云台摄像机设定标定目标,并将标定目标的当前图像设置为第一标定图像;
步骤S6032,控制云台摄像机进行设定倍数的变焦放大操作,将变焦放大操作后的标定目标的图像设定为第二标定图像;
步骤S6033,对第二标定图像进行设定倍数的缩小操作,获取缩小后的第二标定图像;
步骤S6035,根据标定目标在第一标定图像中的位置以及缩小后的第二标定图像,确定光轴的偏移量;
步骤S6035,根据光轴的偏移量,对云台摄像机的光轴位置进行标定。
在步骤S6031中,自动拍摄装置通过云台摄像机设置或确定标定目标,即确定拍摄图像中的某个物体作为标定目标,并将该标定目标的当前拍摄图像设置为第一标定图像;随后转到步骤S6032;
在步骤S6032中,自动拍摄装置控制云台摄像机进行设定倍数的变焦放大操作,并将变焦放大操作后的标定目标的当前拍摄图像设置为第二标定图像。随后转到步骤S6033;
在步骤S6033中,自动拍摄装置对第二标定图像进行设定倍数的缩小操作,获取缩小后的第二标定图像;这里缩小后的第二标定图像应与步骤S6032中未放大的第二标定图像的大小相同。随后转到步骤S6034;
在步骤S6034中,自动拍摄装置根据标定目标在第一标定图像中的位置以及缩小后的第二标定图像,确定光轴的偏移量。具体过程请参照图8,图8为本发明的云台摄像机的标定及拍摄方法的第二优选实施例的步骤S6034的流程图。该步骤S6034包括:
步骤S801,获取缩小后的第二标定图像的中心区域;
步骤S802,查找缩小后的第二标定图像的中心区域在第一标定图像中的偏移位置;
步骤S803,根据第一标定图像中的偏移位置以及标定目标在第一标定图像中的位置,确定光轴的偏移量。随后转到步骤S6035;
在步骤S6035中,自动拍摄装置根据光轴的偏移量,对云台摄像机的光轴位置进行标定。
本优选实施例的云台摄像机的标定及拍摄方法在第一优选实施例的基础上,对云台摄像机的光轴位置进行标定,进一步提高了自动拍摄操作的准确性。
下面通过一具体实施例说明本发明的云台摄像机的标定及拍摄方法的工作原理。
如为通过设定角度进行控制的云台摄像机,该云台摄像机可以精确控制转动角、俯仰角以及拍摄的放大倍数。
该云台摄像机拍摄远处景观时,可以基本忽略镜头的鱼眼效应。近似认为同一放大倍数下,云台摄像机的转动角与图像的横向像素偏移成正比,云台摄像机的仰俯角与图像的纵向像素偏移成正比。这样即可通过第一优选实施例中的横向调整系数以及纵向调整系数的计算公式获取横向调整系数以及纵向调整系数。具体标定过程如下:
1、将云台摄像机调至最小放大倍数,并对准一个具有足够特征点的远处物体;
2、将远处物体的图像保存为图像A;
3、控制云台摄像机的仰俯角不变,转动角改变一个固定的角度(例如5度),将转动后远处物体的图像记录为图像B;
4、通过图像A和图像B的远处物体的偏移量以及云台摄像机的转动角的变化值,即可计算出云台摄像机的横向调整系数
5、将云台摄像机返回步骤2中的位置;
6、控制云台摄像机的转动角不变,仰俯角改变一个固定的角度(例如5度),将转动后远处物体的图像记录为图像C;
7、通过图像A和图像C的远处物体的偏移量以及云台摄像机的仰俯角的变化值,即可计算出云台摄像机的纵向调整系数
如为通过控制命令的持续时间进行控制的云台摄像机,该云台摄像机由于云台摄像机的响应延时的存在,需要多组偏移位置以及控制命令的持续时间才能准确计算出云台摄像机的横向调整系数以及纵向调整系数,具体的计算公式请参照第一优选实施例中的横向调整系数以及纵向调整系数的计算公式。具体标定过程如下:
1、将云台摄像机调至最小放大倍数,并对准一个具有足够特征点的远处物体;
2、将云台摄像机的当前位置设定为预置位,并将远处物体的图像保存为图像A;
3、控制云台摄像机的仰俯角不变,转动角向左转动50ms,将转动后远处物体的图像记录为图像B;并使用模板匹配法或光流法计算出图像A和图像B的远处物体的偏移量。如该偏移量为0,则说明云台摄像机的响应延时大于50ms(云台摄像机并未发生转动),图像A和图像B的远处物体的偏移量不做记录。
4、将云台摄像机复位到预置位,然后控制云台摄像机的仰俯角不变,转动角向左转动100ms,将转动后远处物体的图像记录为图像C,并使用模板匹配法或光流法计算出图像A和图像C的远处物体的偏移量。
5、重复上述操作,可以获取多个图像A和图像N的远处物体的偏移量以及对应的多个转动时间,这样可以通过最小二乘法拟合出一条直线,计算出云台摄像机的横向调整系数,同时使用类似的方法可以计算出云台摄像机的纵向调整系数
如为通过控制命令的持续时间进行控制的云台摄像机,该云台摄像机由于云台摄像机的响应延时的存在,需要多组偏移位置以及控制命令的持续时间才能准确计算出云台摄像机的变焦调整系数γ,具体的计算公式请参照第一优选实施例中的变焦调整系数γ的计算公式。具体标定过程如下:
1、将云台摄像机调至最小放大倍数,并对准一个具有足够特征点的远处物体;
2、将云台摄像机的当前位置设定为预置位,并将远处物体的图像保存为图像A;
3、控制云台摄像机的仰俯角和转动角不变,进行变焦放大操作50ms,记录变焦放大操作之后的图像B;将图像B以固定步长s(s<1)进行图像缩放,形成一系列图像B0、B1、B2……Bn,其尺寸分别为图像B的S0、S1、S2……Sn倍;然后使用模板匹配的方法,在一系列图像B0、B1、B2……Bn中找到与图像A匹配度最高的图像(即最相像的图像),并记录该图像的尺寸,从而计算出图像B的放大倍数。如放大倍数为1,则说明云台摄像机的响应延时大于50ms(云台摄像机并未进行变焦放大操作),该放大倍数不做记录。
4、将云台摄像机复位到预置位,然后控制云台摄像机的仰俯角和转动角不变,进行变焦放大操作100ms,记录变焦放大操作之后的图像C;并通过步骤3中的计算得出图像C的放大倍数。
5、重复上述操作,可以获取多个图像的放大倍数以及对应的多个变焦放大操作时间,这样可以通过最小二乘法拟合出一条直线,计算出云台摄像机的变焦调整系数γ。
同时云台摄像机还有可能存在光轴偏移,因此需要对云台摄像机的光轴位置进行标定。标定过程如下:
1、将云台摄像机调至最小放大倍数,并对准一个具有足够特征点的远处物体;
2、将云台摄像机的当前位置设定为预置位,并将远处物体的图像保存为图像A;
3、控制云台摄像机仅变焦放大两倍,并将当前图像保存为图像B;
4、将图像B缩小至原始尺寸的一般,保存为图像C;
5、使用模板匹配法,计算图像A和图像C的偏移量,然后根据该偏移量对云台摄像机的光轴位置进行标定。
本发明的云台摄像机的标定及拍摄方法通过设置不同的调整系数实现不同参数的云台摄像机的自动拍摄操作,即可在普通的云台摄像机上以低成本实现高精度的云台转动以及变焦放大操作。云台摄像机的标定过程简单,每个云台摄像机只需要标定一次,然后将标定结果保存至系统内存或硬盘上,之后云台摄像机只需要直接调取标定结果即可实现自动拍摄操作;解决了现有的云台摄像机的标定及拍摄方法中无法对云台摄像机的角度和焦距进行调整的技术问题。
本发明实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器,磁盘或光盘等。上述的各装置或系统,可以执行相应方法实施例中的方法。
综上所述,虽然本发明已以优选实施例揭露如上,但上述优选实施例并非用以限制本发明,本领域的普通技术人员,在不脱离本发明的精神和范围内,均可作各种更动与润饰,因此本发明的保护范围以权利要求界定的范围为准。

Claims (8)

1.一种云台摄像机的标定及拍摄方法,其特征在于,包括:
对云台摄像机的调整系数进行标定;
通过所述云台摄像机设定拍摄目标后,根据所述拍摄目标设置基准目标;以及
使用标定后的所述调整系数,对所述基准目标进行自动拍摄;
如所述云台摄像机通过控制命令的持续时间进行控制;则所述对云台摄像机的调整系数进行标定的步骤包括:
通过所述云台摄像机设定标定目标,并将所述标定目标的当前图像设置为第一标定图像;
控制所述云台摄像机按所述控制命令转动n次,记录每次所述控制命令的持续时间,并将第i次转动后的所述标定目标的图像设置为第i+1标定图像,n为大于等于2的正整数;
根据所述标定目标在所述第一标定图像中的位置以及所述标定图像在所述第i+1标定图像中的位置,确定所述标定目标的第i偏移量;以及
根据多个所述第i偏移量和所述每次控制命令的持续时间,计算所述云台摄像机的调整系数;或
通过所述云台摄像机设定标定目标,并将所述标定目标的当前图像设置为第一标定图像;
控制所述云台摄像机按所述控制命令变焦放大操作m次,记录每次所述控制命令的持续时间,并将第j次转动后的所述标定目标的图像设置为第j+1标定图像,m为大于等于2的正整数;
根据所述标定目标在所述第一标定图像中的大小以及所述标定图像在所述第j+1标定图像中的大小,确定所述标定目标的第j放大倍数;以及
根据多个所述第j放大倍数和所述每次控制命令的持续时间,计算所述云台摄像机的调整系数;
所述云台摄像机的调整系数包括横向调整系数、纵向调整系数以及变焦调整系数;所述控制命令包括横向偏移控制命令、纵向偏移控制命令以及变焦调整控制命令;
其中横向调整系数表示为
其中为所述标定目标的第i次转动的横向偏移量,为所述云台摄像机的第i次转动的所述横向偏移控制命令的持续时间,为所述云台摄像机的第i次转动的时间,为所述云台摄像机的响应延时,为所述云台摄像机的设定放大倍数;
纵向调整系数表示为:
其中为所述标定目标的第i次转动的纵向偏移量,为所述云台摄像机的第i次转动的所述纵向偏移控制命令的持续时间;为所述云台摄像机的第i次转动的时间,为所述云台摄像机的响应延时,为所述云台摄像机的设定放大倍数;
变焦调整系数表示为:
其中为所述标定目标的第j次变焦放大操作的放大倍数,为所述云台摄像机的第j次变焦放大操作的所述变焦调整控制命令的持续时间;为所述云台摄像机的第j次变焦放大操作的时间,为所述云台摄像机的响应延时。
2.根据权利要求1所述的云台摄像机的标定及拍摄方法,其特征在于,如所述云台摄像机通过设定角度进行控制;则所述对云台摄像机的调整系数进行标定的步骤包括:
通过所述云台摄像机设定标定目标,并将所述标定目标的当前图像设置为第一标定图像;
控制所述云台摄像机按设定方向转动设定角度,并将转动后的所述标定目标的图像设置为第二标定图像;
根据所述标定目标在所述第一标定图像中的位置以及所述标定图像在所述第二标定图像中的位置,确定所述标定目标的偏移量;以及
根据所述偏移量和所述设定角度,计算所述云台摄像机的调整系数。
3.根据权利要求2所述的云台摄像机的标定及拍摄方法,其特征在于,所述云台摄像机的调整系数包括横向调整系数以及纵向调整系数
其中为所述标定目标的横向偏移量,为所述云台摄像机横向转动的所述设定角度,为所述标定目标的纵向偏移量,为所述云台摄像机纵向转动的所述设定角度,为所述云台摄像机的当前放大倍数。
4.根据权利要求1所述的云台摄像机的标定及拍摄方法,其特征在于,所述根据所述标定目标在所述第一标定图像中的大小以及所述标定图像在所述第j+1标定图像中的大小,确定所述标定目标的第j放大倍数的步骤包括:
将所述第一标定图像按固定步长进行图像放大,生成一系列具有设定放大倍数的放大后的第一标定图像;
将所述第j+1标定图像中的所述标定图像与所有的所述放大后的第一标定图像中的所述标定图像逐一进行比较,获取与所述第j+1标定图像中的所述标定图像匹配度最高的所述放大后的第一标定图像;以及
将获取的所述放大后的第一标定图像的设定放大倍数,确定为所述标定目标的第j放大倍数。
5.根据权利要求1所述的云台摄像机的标定及拍摄方法,其特征在于,使用模板匹配法或光流法确定所述标定目标的第i偏移量。
6.根据权利要求1所述的云台摄像机的标定及拍摄方法,其特征在于,在所述通过所述云台摄像机设定拍摄目标后,根据所述拍摄目标设置基准目标的步骤之前还包括步骤:
对所述云台摄像机的光轴位置进行标定。
7.根据权利要求6所述的云台摄像机的标定及拍摄方法,其特征在于,所述对所述云台摄像机的光轴位置进行标定的步骤包括:
通过所述云台摄像机设定标定目标,并将所述标定目标的当前图像设置为第一标定图像;
控制所述云台摄像机进行设定倍数的变焦放大操作,将变焦放大操作后的所述标定目标的图像设定为第二标定图像;
对所述第二标定图像进行所述设定倍数的缩小操作,获取缩小后的第二标定图像;
根据所述标定目标在所述第一标定图像中的位置以及所述缩小后的第二标定图像,确定所述光轴的偏移量;以及
根据所述光轴的偏移量,对所述云台摄像机的光轴位置进行标定。
8.根据权利要求7所述的云台摄像机的标定及拍摄方法,其特征在于,所述根据所述标定目标在所述第一标定图像中的位置以及所述缩小后的第二标定图像,确定所述光轴的偏移量的步骤包括:
获取所述缩小后的第二标定图像的中心区域;
查找所述缩小后的第二标定图像的中心区域在所述第一标定图像中的偏移位置;以及
根据所述第一标定图像中的偏移位置以及所述标定目标在所述第一标定图像中的位置,确定所述光轴的偏移量。
CN201410684361.2A 2014-11-25 2014-11-25 云台摄像机的标定及拍摄方法 Active CN104361599B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410684361.2A CN104361599B (zh) 2014-11-25 2014-11-25 云台摄像机的标定及拍摄方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410684361.2A CN104361599B (zh) 2014-11-25 2014-11-25 云台摄像机的标定及拍摄方法

Publications (2)

Publication Number Publication Date
CN104361599A CN104361599A (zh) 2015-02-18
CN104361599B true CN104361599B (zh) 2017-08-01

Family

ID=52528857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410684361.2A Active CN104361599B (zh) 2014-11-25 2014-11-25 云台摄像机的标定及拍摄方法

Country Status (1)

Country Link
CN (1) CN104361599B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105513072A (zh) * 2015-12-05 2016-04-20 中国航空工业集团公司洛阳电光设备研究所 一种云台校正方法
US10412303B2 (en) * 2016-07-21 2019-09-10 Olympus Corporation Imaging device, startup method of imaging device, and computer readable recording medium
CN108475075A (zh) * 2017-05-25 2018-08-31 深圳市大疆创新科技有限公司 一种控制方法、装置及云台
CN109076101B (zh) * 2017-12-29 2021-07-23 深圳市大疆创新科技有限公司 云台控制方法、设备及计算机可读存储介质
CN108737718B (zh) * 2018-03-21 2020-10-16 北京猎户星空科技有限公司 拍摄方法、装置和智能设备
CN109391775A (zh) * 2018-10-22 2019-02-26 哈尔滨工业大学(深圳) 一种基于人脸识别的智能拍摄云台控制方法与系统
CN109544648B (zh) * 2018-11-30 2021-07-13 北京小马智行科技有限公司 一种标定方法及装置
CN109769116B (zh) * 2019-01-17 2020-06-16 国网福建省电力有限公司泉州供电公司 一种摄像机预置位校正方法及装置
CN110086988A (zh) * 2019-04-24 2019-08-02 薄涛 拍摄角度调整方法、装置、设备及其存储介质
CN110753172B (zh) * 2019-10-22 2022-02-15 Oppo广东移动通信有限公司 校正方法、装置、电子设备和音圈马达
CN112802121B (zh) * 2021-01-14 2023-09-05 杭州海康威视数字技术股份有限公司 监控相机的标定方法
CN113963072B (zh) * 2021-12-22 2022-03-25 深圳思谋信息科技有限公司 双目摄像头标定方法、装置、计算机设备和存储介质
CN114500858B (zh) * 2022-03-28 2022-07-08 浙江大华技术股份有限公司 一种预置位的参数确定方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101727671A (zh) * 2009-12-01 2010-06-09 湖南大学 基于路面共线三点及其平行线的单摄像机标定方法
CN101894366A (zh) * 2009-05-21 2010-11-24 北京中星微电子有限公司 一种获取标定参数的方法、装置及一种视频监控系统
CN101998136A (zh) * 2009-08-18 2011-03-30 华为技术有限公司 单应矩阵的获取方法、摄像设备的标定方法及装置
CN102436660A (zh) * 2011-11-08 2012-05-02 北京新岸线网络技术有限公司 3d相机图像自动校正方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894366A (zh) * 2009-05-21 2010-11-24 北京中星微电子有限公司 一种获取标定参数的方法、装置及一种视频监控系统
CN101998136A (zh) * 2009-08-18 2011-03-30 华为技术有限公司 单应矩阵的获取方法、摄像设备的标定方法及装置
CN101727671A (zh) * 2009-12-01 2010-06-09 湖南大学 基于路面共线三点及其平行线的单摄像机标定方法
CN102436660A (zh) * 2011-11-08 2012-05-02 北京新岸线网络技术有限公司 3d相机图像自动校正方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于可控旋转的像机高精度标定技术";姜广文等;《光学学报》;20100531;第30卷(第5期);公式(15)、(21),第1314页第2段,第2.3.2节 *

Also Published As

Publication number Publication date
CN104361599A (zh) 2015-02-18

Similar Documents

Publication Publication Date Title
CN104361599B (zh) 云台摄像机的标定及拍摄方法
JP4858263B2 (ja) 3次元計測装置
US9521311B2 (en) Quick automatic focusing method and image acquisition apparatus
CN109922251B (zh) 快速抓拍的方法、装置及系统
JP6635825B2 (ja) 撮像システムおよびその制御方法、撮像装置、レンズ装置
JP6663040B2 (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
CN106482640B (zh) 一种一体机芯光轴校正的装置和方法
US10904439B2 (en) Image pickup apparatus, lens unit, image pickup system, and control method for image pickup system
US10419675B2 (en) Image pickup apparatus for detecting a moving amount of one of a main subject and a background, and related method and storage medium
CN104345517A (zh) 图像抖动校正设备和方法、镜筒、光学设备以及摄像设备
CN104065868A (zh) 摄像设备及其控制方法
CN104950726B (zh) 遥控行驶装置用的延时校正方法及其装置
CN105430377B (zh) 一种摄像机机芯光轴自动纠偏方法及系统
CN106998413A (zh) 图像处理设备、摄像设备和图像处理方法
TWI693829B (zh) 電子裝置及其影像測距方法
JP2017090711A5 (zh)
WO2019205087A1 (zh) 图像增稳方法和装置
CN104268863A (zh) 一种变倍校正方法和设备
TWI726536B (zh) 影像擷取方法及影像擷取設備
JP5225317B2 (ja) 撮像装置及び撮像装置の制御方法
JP2014155008A5 (zh)
CN115379118A (zh) 摄像头切换方法、装置、电子设备和可读存储介质
WO2022077236A1 (zh) 测绘相机的控制方法、测绘相机、无人机以及测绘系统
CN105592256A (zh) 录影装置与录影方法
JP2020067511A (ja) カメラシステム、その制御方法およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant