CN113658276B - 枪球标定数据获取方法、枪球标定方法、装置及电子设备 - Google Patents

枪球标定数据获取方法、枪球标定方法、装置及电子设备 Download PDF

Info

Publication number
CN113658276B
CN113658276B CN202110977281.6A CN202110977281A CN113658276B CN 113658276 B CN113658276 B CN 113658276B CN 202110977281 A CN202110977281 A CN 202110977281A CN 113658276 B CN113658276 B CN 113658276B
Authority
CN
China
Prior art keywords
picture
calibration
gun
dome camera
gunlock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110977281.6A
Other languages
English (en)
Other versions
CN113658276A (zh
Inventor
黄池军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Micro Image Software Co ltd
Original Assignee
Hangzhou Micro Image Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Micro Image Software Co ltd filed Critical Hangzhou Micro Image Software Co ltd
Priority to CN202110977281.6A priority Critical patent/CN113658276B/zh
Priority to CN202210897475.XA priority patent/CN115719383A/zh
Publication of CN113658276A publication Critical patent/CN113658276A/zh
Application granted granted Critical
Publication of CN113658276B publication Critical patent/CN113658276B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了枪球标定数据获取方法、枪球标定方法、装置及电子设备,应用于图像数据处理技术领域。该方法包括:控制球机运动至球机画面中心与枪机画面中的基准位置相对应的初始位置;利用枪机画面中的基准位置、枪机的枪机视场角,确定球机的标定运动控制参数;其中,标定运动控制参数可控制球机运动至球机画面中心与枪机画面中的目标区域相对应;利用标定运动控制参数控制球机运动至目标位置,并获取球机在目标位置处采集的标定画面;利用枪机画面中的目标区域、标定画面、以及标定运动控制参数,确定枪机和球机之间的一对标定点对数据。通过本方案,可以简化标定点对数据的获取过程。

Description

枪球标定数据获取方法、枪球标定方法、装置及电子设备
技术领域
本发明涉及图像数据处理技术领域,特别是涉及枪球标定数据获取方法、枪球标定方法、装置及电子设备。
背景技术
目前,主流的视频监控摄像机分为枪式摄像机(以下简称枪机)和球型摄像机(以下简称球机)。对于大范围内移动的目标对象的视频监控,为了既可以整体监控到该目标对象的移动情况,又可以对该目标对象的细节进行监控,通常需要采用枪球联动的视频监控方法,其中,枪球联动指通过枪机与球机对同一场景内联合进行监控。
为了实现枪球联动,需要利用标定点对数据进行枪球联动标定。相关技术中,主要通过手动方式获取标定点对数据,导致标定点对数据的获取过程繁琐。
发明内容
本发明实施例的目的在于提供一种枪球标定数据获取方法、装置,以简化标定点对数据的获取过程,在此基础上,还提供一种枪球标定方法、装置,以提高枪球标定的效率。具体技术方案如下:
第一方面,本发明实施例提供一种枪球标定数据获取方法,所述方法包括:
控制球机运动至球机画面中心与枪机画面中的基准位置相对应的初始位置;
利用所述枪机画面中的基准位置、所述枪机的枪机视场角,确定所述球机的标定运动控制参数;其中,所述标定运动控制参数可控制所述球机运动至球机画面中心与所述枪机画面中的目标区域相对应;
利用所述标定运动控制参数控制所述球机运动至目标位置,并获取所述球机在所述目标位置处采集的标定画面;
利用所述枪机画面中的目标区域、所述标定画面、以及所述标定运动控制参数,确定所述枪机和所述球机之间的一对标定点对数据。
可选地,所述枪机画面包含多个不同的目标区域;所述标定运动控制参数可控制球机运动至球机画面中心与所述枪机画面中的其中一个目标区域相对应。
可选地,所述枪机画面中的基准位置为所述枪机画面的中心;或者,所述枪机画面中的基准位置为所述枪机画面中各目标区域中的一个目标区域。
可选地,在所述枪机画面中的基准位置为所述枪机画面中各目标区域中的一个目标区域的情况下,所述方法还包括:
利用所述枪机画面中的基准位置和所述球机运动至所述初始位置的运动控制参数,确定所述枪机和所述球机之间的一对标定点对数据。
可选地,在所述枪机画面中的基准位置为所述枪机画面中各目标区域中的一个目标区域的情况下,所述标定运动控制参数可控制所述球机运动至球机画面中心与所述枪机画面中除所述基准位置外的一个目标区域相对应。
可选地,所述利用所述枪机画面中的基准位置、所述枪机的枪机视场角,确定所述球机的标定运动控制参数,包括:按照所述枪机画面中目标区域的预设顺序并利用所述枪机画面中的基准位置、所述枪机的枪机视场角,确定所述球机的标定运动控制参数;
所述标定运动控制参数为可控制所述球机运动至球机画面中心与按照所述预设顺序确定的目标区域相对应;所述标定画面为所述球机在球机画面中心与按照所述预设顺序确定的目标区域相对应状态下采集的画面。
可选地,所述利用所述枪机画面中的目标区域、所述标定画面、以及所述标定运动控制参数,确定所述枪机和所述球机之间的一对标定点对数据,包括:
识别所述枪机画面中目标区域的第一子区域和所述标定画面中的第二子区域;其中,所述第一子区域和所述第二子区域的画面内容相匹配;
利用所述第一子区域在所述枪机画面中的位置信息,以及可控制所述球机的球机画面中心与所述第一子区域相对应的运动控制参数,确定所述枪机和所述球机之间的一对标定点对数据。
可选地,所述识别所述枪机画面中目标区域的第一子区域和所述标定画面中的第二子区域,包括:
利用特征点识别算法,识别所述枪机画面中目标区域内的特征点和所述标定画面内的特征点;
对所述枪机画面中目标区域的特征点和所述标定画面内的特征点进行特征点对比,确定所述枪机画面中目标区域内的多个第一特征点与所述标定画面内的多个第二特征点;其中,所述多个第一特征点与所述多个第二特征点表征同一对象;
从所述枪机画面的目标区域中确定包含所述多个第一特征点的最小区域,作为第一子区域,并将所述标定画面内包含所述多个第二特征点的最小区域,作为第二子区域。
可选地,所述利用所述第一子区域在所述枪机画面中的位置信息,以及可控制所述球机的球机画面中心与所述第一子区域相对应的运动控制参数,确定所述枪机和所述球机之间的一对标定点对数据,包括:
在所述枪机画面中,确定所述第一子区域的中心点处像素点的像素坐标,作为所述第一子区域在所述枪机画面中的位置信息;
将所述第二子区域位于所述标定画面中的位置信息发送至所述球机,并获取可控制所述球机的球机画面中心与所述第一子区域相对应的运动控制参数;
利用所确定的位置信息与所获取的运动控制参数,确定所述枪机和所述球机之间的一对标定点对数据。
可选地,所述枪机的枪机视场角包括:所述枪机的水平最大视场角,以及所述枪机的垂直最大视场角;
所述利用所述枪机画面中的基准位置、所述枪机的枪机视场角,确定所述球机的标定运动控制参数,包括:
确定所述目标区域相对于所述枪机画面中基准位置的距离、水平方向上的第一偏移角度和垂直方向上的第二偏移角度;
基于所述枪机的水平最大视场角、所述第一偏移角度和所述距离的水平分量,确定所述球机的水平移动位置;
基于所述枪机的垂直最大视场角、所述第二偏移角度和所述距离的垂直分量,确定所述球机的垂直移动位置;
利用所述水平移动位置和所述垂直移动位置,确定所述球机的标定运动控制参数。
可选地,所述基于所述枪机的水平最大视场角、所述第一偏移角度和所述距离的水平分量,确定所述球机的水平移动位置,包括:
按照如下公式,确定所述球机的水平移动位置:
Figure BDA0003227976910000041
其中,P为所述球机的水平移动位置,x为所述目标区域中心位置的横坐标,x′为所述基准位置的横坐标,(x-x′)为所述水平分量,Pd为所述水平最大视场角,α为预设对应所述第一偏移角度的水平参数,A为所述球机的采样精度相对于所述枪机采样精度的倍数;
所述基于所述枪机的垂直最大视场角、所述第二偏移角度和所述距离的垂直分量,确定所述球机的垂直移动位置,包括:
按照如下公式,确定所述球机的垂直移动位置:
Figure BDA0003227976910000042
其中,T为所述球机的垂直转动位置,y为所述目标区域中心位置的纵坐标,y′为所述基准位置的纵坐标,(y-y′)为所述垂直分量,Td为所述垂直最大视场角,β为预设对应所述第二偏移角度的垂直参数。
可选地,所述枪机为红外热成像枪机。
第二方面,本发明实施例还提供一种枪球标定方法,所述方法包括:
利用第一方面所述枪球标定数据获取方法获取多对标定点对数据;
利用所述多对标定点对数据,确定枪机的枪机画面中每一位置与球机的运动控制参数之间的映射关系。
第三方面,本发明实施例还提供一种枪球标定数据获取装置,所述装置包括:
球机运动控制模块,用于控制球机运动至球机画面中心与枪机画面中的基准位置相对应的初始位置;
参数确定模块,用于利用所述枪机画面中的基准位置、所述枪机的枪机视场角,确定所述球机的标定运动控制参数;其中,所述标定运动控制参数可控制所述球机运动至球机画面中心与所述枪机画面中的目标区域相对应;
画面获取模块,用于利用所述标定运动控制参数控制所述球机运动至目标位置,并获取所述球机在所述目标位置处采集的标定画面;
数据确定模块,用于利用所述枪机画面中的目标区域、所述标定画面、以及所述标定运动控制参数,确定所述枪机和所述球机之间的一对标定点对数据。
可选地,所述枪机画面包含多个不同的目标区域;所述标定运动控制参数可控制球机运动至球机画面中心与所述枪机画面中的其中一个目标区域相对应。
可选地,所述枪机画面中的基准位置为所述枪机画面的中心;或者,所述枪机画面中的基准位置为所述枪机画面中各目标区域中的一个目标区域。
可选地,所述数据确定模块,还用于在所述枪机画面中的基准位置为所述枪机画面中各目标区域中的一个目标区域的情况下,利用所述枪机画面中的基准位置和所述球机运动至所述初始位置的运动控制参数,确定所述枪机和所述球机之间的一对标定点对数据。
可选地,在所述枪机画面中的基准位置为所述枪机画面中各目标区域中的一个目标区域的情况下,所述标定运动控制参数可控制所述球机运动至球机画面中心与所述枪机画面中除所述基准位置外的一个目标区域相对应。
可选地,所述参数确定模块,具体用于按照所述枪机画面中目标区域的预设顺序并利用所述枪机画面中的基准位置、所述枪机的枪机视场角,确定所述球机的标定运动控制参数;
所述标定运动控制参数为可控制所述球机运动至球机画面中心与按照所述预设顺序确定的目标区域相对应;所述标定画面为所述球机在球机画面中心与按照所述预设顺序确定的目标区域相对应状态下采集的画面。
可选地,所述数据确定模块,包括:
区域识别子模块,用于识别所述枪机画面中目标区域的第一子区域和所述标定画面中的第二子区域;其中,所述第一子区域和所述第二子区域的画面内容相匹配;
数据确定子模块,用于利用所述第一子区域在所述枪机画面中的位置信息,以及可控制所述球机的球机画面中心与所述第一子区域相对应的运动控制参数,确定所述枪机和所述球机之间的一对标定点对数据。
可选地,所述区域识别子模块,具体用于利用特征点识别算法,识别所述枪机画面中目标区域内的特征点和所述标定画面内的特征点;对所述枪机画面中目标区域的特征点和所述标定画面内的特征点进行特征点对比,确定所述枪机画面中目标区域内的多个第一特征点与所述标定画面内的多个第二特征点;其中,所述多个第一特征点与所述多个第二特征点表征同一对象;从所述枪机画面的目标区域中确定包含所述多个第一特征点的最小区域,作为第一子区域,并将所述标定画面内包含所述多个第二特征点的最小区域,作为第二子区域。
可选地,所述数据确定子模块,具体用于在所述枪机画面中,确定所述第一子区域的中心点处像素点的像素坐标,作为所述第一子区域在所述枪机画面中的位置信息;将所述第二子区域位于所述标定画面中的位置信息发送至所述球机,并获取可控制所述球机的球机画面中心与所述第一子区域相对应的运动控制参数;利用所确定的位置信息与所获取的运动控制参数,确定所述枪机和所述球机之间的一对标定点对数据。
可选地,所述枪机的枪机视场角包括:所述枪机的水平最大视场角,以及所述枪机的垂直最大视场角;
所述参数确定模块,包括:
访问确定子模块,用于确定所述目标区域相对于所述枪机画面中基准位置的距离、水平方向上的第一偏移角度和垂直方向上的第二偏移角度;
水平位置确定子模块,用于基于所述枪机的水平最大视场角、所述第一偏移角度和所述距离的水平分量,确定所述球机的水平移动位置;
垂直位置确定子模块,用于基于所述枪机的垂直最大视场角、所述第二偏移角度和所述距离的垂直分量,确定所述球机的垂直移动位置;
参数确定子模块,用于利用所述水平移动位置和所述垂直移动位置,确定所述球机的标定运动控制参数。
可选地,所述水平位置确定子模块,具体用于按照如下公式,确定所述球机的水平移动位置:
Figure BDA0003227976910000071
其中,P为所述球机的水平移动位置,x为所述目标区域中心位置的横坐标,x′为所述基准位置的横坐标,(x-x′)为所述水平分量,Pd为所述水平最大视场角,α为预设对应所述第一偏移角度的水平参数,A为所述球机的采样精度相对于所述枪机采样精度的倍数;
所述垂直位置确定子模块,具体用于按照如下公式,确定所述球机的垂直移动位置:
Figure BDA0003227976910000072
其中,T为所述球机的垂直转动位置,y为所述目标区域中心位置的纵坐标,y′为所述基准位置的纵坐标,(y-y′)为所述垂直分量,Td为所述垂直最大视场角,β为预设对应所述第二偏移角度的垂直参数。
可选地,所述枪机为红外热成像枪机。
本发明实施例提供的上述方案,可以实现自动获取枪机和球机之间的标定数据,不需要手动控制球机采集目标对象的视频画面,从而简化了获取标定数据的过程。
第四方面,本发明实施例还提供一种枪球标定装置,所述装置包括:
数据获取模块,用于利用第三方面所述枪球标定数据获取装置获取多对标定点对数据;
关系确定模块,用于利用所述多对标定点对数据,确定枪机的枪机画面中每一位置与球机的运动控制参数之间的映射关系。
第五方面,本发明实施例提供一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现第一方面所述的枪球标定数据获取方法或第二方面所述的枪球标定方法步骤。
第六方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的枪球标定数据获取方法或第二方面所述的枪球标定方法步骤。
本发明实施例有益效果:
本发明实施例所提供的枪球标定数据获取方法中,先控制球机运动至与枪机画面中基准位置相对应的初始位置,再利用基准位置、枪机的枪机视场角,确定可控制球机运动至球机画面中心与枪机画面中目标区域相对应的目标位置,并利用标定运动控制参数控制球机运动至目标位置,进而获取球机在目标位置处采集的标定画面,最后利用目标区域、标定画面以及标定运动控制参数,确定一对标定点对数据,由于可以通过确定出的标定运动控制参数,控制球机运动至球机画面中心与目标区域相对应的目标位置,使得球机可以在目标位置采集与目标区域包含相同对象的标定画面,实现了对与目标区域包含相同对象的标定画面的自动获取,进而可以自动获取枪机和球机之间的标定点对数据,简化了标定点对数据的获取过程。
在此基础上,本发明实施例还提供了一种枪球标定方法,可以通过本发明提供的枪球标定数据获取方法获取多对标定点对数据,并利用该多对标定点对数据,对枪机和球机进行标定,由于枪球标定数据获取方法简化了标定点对数据的获取过程,从而可以简化整个枪球标定的过程,进一步的提高了枪球标定的效率。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。
图1为枪球联动系统的示意图;
图2为手动枪球联动标定与追踪的流程图;
图3为手动枪球联动标定的处理流程图;
图4为本发明实施例提供的枪球标定数据获取方法的流程图;
图5为枪球联动系统采集视频画面的示意图;
图6为发明实施例提供的枪机画面划分示意图;
图7为本发明实施例提供的预设顺序示意图;
图8为本发明实施例提供的枪球标定数据获取方法的另一流程图;
图9为本发明实施例提供的枪球标定数据获取方法的另一流程图;
图10为本发明实施例提供的枪球标定方法的流程图;
图11为本发明实施例提供的枪球标定数据获取装置的结构示意图;
图12为本发明实施例提供的枪球标定的结构示意图;
图13为本发明实施例所提供的电子设备的结构示意图;
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了更清楚地阐述本发明的技术方案,下面介绍下枪球联动系统。
如图1所示,为枪球联动系统的示意图。图中a表示枪机a,倾斜虚线与水平实线的夹角为枪机a的视野角度,c表示预先与枪机a完成枪球标定的球机c。图中包含人形的图块表示监控中的对象,位于对象右侧的箭头指示该对象的移动方向,位于对象下方的Pc、Tc、Zc为对象在球机坐标系中的PTZ坐标值,其中,PTZ坐标值中P(Pan,平移)为球机水平移动参数,如水平旋转角度,T(Tilt,倾角)为球机垂直移动参数,如垂直旋转角度,或高低俯仰角度,Z(Zoom,变焦)为球机的焦距。
当上述对象在枪机画面中触发报警时,枪机a可以基于该对象在枪机画面中的位置,经过枪球标定算法生成该对象的在球机坐标系中的PTZ坐标值(图中Pc、Tc、Zc)。然后,枪机a通过SDK(Software Development Kit,软件开发工具包)协议等通信协议将生成的PTZ坐标值发送给球机c,球机c在接收到PTZ坐标值后,按照所接收的PTZ坐标值运动,此时球机c画面自动跟踪到该对象所在位置。随着该对象的移动,枪机a持续不断地向球机c发送该对象的PTZ坐标值,以使得球机c持续地采集该对象的画面,直到该对象消失在枪机a的视野范围中。
为了构建枪球联动系统,需要预先对枪机和球机进行枪球标定,以建立枪机画面中的坐标与球机对应PTZ坐标值之间的映射关系。而进行枪球标定的,则需要先获取标定点对数据。
为了清楚地阐述本发明所提供的技术方案与相关技术中方案的区别,下面介绍下相关技术中标定点对数据的获取过程。
相关技术中,手动方式获取标定点对数据的过程包括:人工手动选定枪机画面中的目标对象,再手动控制球机,以使球机运动至采集目标对象的位置,此时利用枪机画面中目标对象的位置信息,以及球机运动至采集目标对象的位置时的运动控制参数,生成一对标定点对数据。
如图2所示,为相关技术中手动枪球联动标定与追踪的流程图。其中,客户端可以接收枪机采集的枪机画面和球机采集的球机画面,例如智能手机、电脑等。当需要进行枪球联动标定时,用户可以先观察枪机画面,从枪机画面中选定用于标定的目标对象,在选定目标对象后用户可通过客户端观察球机反馈的球机画面,同时通过操作客户端向球机发送可控制球机进行运动的PTZ监控命令,并实时观察球机反馈的球机画面。当球机采集到目标对象的球机画面之后后,球机可以将对应的的PTZ坐标值(即图2中的PTZ位置)反馈至客户端。同时,客户端记录目标对象在枪机画面中的坐标位置(X,Y)(即图2中的枪机P、T),进而生成一对格式为(X、Y、P、T、Z)的标定点对数据。一般而言需要重复多次上述过程,得到多对标定点对数据。至此,相关方案中标定点对数据的获取过程结束。
在得到标定点对数据后,枪机应用层可以将标定点对数据送入枪机的DSP(Digital Signal Processing,数字信号处理技术)层,进行算法运算处理,得生成标定模型,至此完成枪球标定。
当枪机检测到目标对象时,枪机应用层可以通过生成的标定模型,将目标对象在枪机画面中的位置转换为球机的PTZ坐标值,并向球机发送携带该PTZ坐标值的命令,以使球机可以按照该PTZ坐标值进行运动,并在采集到目标对象的球机画面后开始对目标对象进行跟踪。
下面对相关技术中手动枪球标定的处理流程进行介绍。
如图3所示,上述手动枪球标定的处理流程包括:界面点击下发命令,即客户端在接收到启动枪球联标定的触发操作后,开始启动枪球联动标定。此时,客户端的标定主入口启动,即进入标定点对数据获取流程。在进入标定主入口启动之后,展示主从跟踪配置接口的配置界面,工作人员可以在该配置界面配置枪机(主机)、球机(从机)的接口参数,从而可以后续过程中,可以利用配置的接口参数实时接收枪机和球机反馈的画面。主从跟踪配置接口配置完成之后,需要用户确定当前的标定类型,即需要用户确认是否进入手动标定,若确认进入手动标定,则继续后续流程,若否,则结束。
在确认进行手动标定的情况下,即可进行手动标定,需要人工手动选定枪机画面中的目标对象,再手动控制球机,以使球机运动至采集目标对象的位置,此时利用枪机画面中目标对象的位置信息,以及球机运动至采集目标对象的位置时的运动控制参数,生成一对标定点对数据。当获取到一对标定点对数据之后,需要对获取的标定点对数据进行合法性转换处理,将获取的标定点对数据转为为预设的合法性格式的数据,进而对所转换的数据进行校验,判断所转换的数据的格式是否无误,若校验成功,则继续对转换后的标定点对数据进行合法性判断,判断标定点对数据是否存在数值过大、过小等不合理的情况,若合法性判断无误,则确定生成一对符合要求的标定点对数据。
在确定生成一对符合要求的标定点对数据之后,判断当前是否完成9次手动标定,若未完成,则返回手动标定过程,继续获取标定点对数据,若完成,则将所生成的9对标定点对数据送入算法库,通过进一步的参数判断无误后,利用所生成的9对标定点对数据进行枪球联动标定。标定完成之后,返回标定完成的标志,同时客户端提示标定完成。
通过上诉对相关技术的介绍可知,相关技术中为了得到标定点对数据,需要手动选定目标对象,并手动控制球机进行运动,导致标定点对数据的获取过程繁琐。并且相关技术中,需要用户手动控制球机运动到指定位置,较为耗时且经常因为目标对象不容易找而影响到标定效果,同时现场实施难度较大,可维护性差,施工成本高。若现场环境没有可用的参考物作为目标对象,则需要多人配合,一人操控客户端,另一人则充当参考物。同时相关技术中,需要依赖参考物作为目标对象,因此相关技术中仅适用于开阔的视野场景。
为了简化标定点对数据的获取过程,本发明实施例提供了一种枪球标定数据获取方法。
需要说明的是,本发明实施例提供的枪球标定数据获取方法可以应用于枪机,也可以应用于其他具有数据处理能力的电子设备,例如手机、服务器、电脑等。并且,本发明实施例提供的枪球标定数据获取方法可以通过软件、硬件或软硬件结合的方式实现。
其中,本发明实施例所提供的枪球标定数据获取方法,包括步骤:
控制球机运动至球机画面中心与枪机画面中的基准位置相对应的初始位置;
利用枪机画面中的基准位置、枪机的枪机视场角,确定球机的标定运动控制参数;其中,标定运动控制参数可控制球机运动至球机画面中心与枪机画面中的目标区域相对应;
利用标定运动控制参数控制球机运动至目标位置,并获取球机在目标位置处采集的标定画面;
利用枪机画面中的目标区域、标定画面、以及标定运动控制参数,确定枪机和球机之间的一对标定点对数据。
本发明实施例提供的上述方案,由于可以通过确定出的标定运动控制参数,控制球机运动至球机画面中心与目标区域相对应的目标位置,使得球机可以在目标位置采集与目标区域包含相同对象的标定画面,实现了对与目标区域包含相同对象的标定画面的自动获取,进而可以自动获取枪机和球机之间的标定点对数据,简化了标定点对数据的获取过程。
同时,由于不依赖手动操控,从而还可以简化枪球联动系统的部署,降低现场施工难度,以及降低施工成本。
进一步的,由于可以通过标定运动控制参数,控制球机运动至球机画面中心与目标区域相对应的目标位置,实现自动获取与目标区域包含相同对象的标定画面,从而可适用于地貌不规则、高度不均匀、视野狭窄等复杂环境下,可见,本发明实施例上述方案对环境的要求较低。
下面结合附图对本发明实施例提供的一种枪球标定数据获取方法进行详细介绍。
如图4所示,本发明实施例提供的枪球标定数据获取方法,可以包括步骤:
S401,控制球机运动至球机画面中心与枪机画面中的基准位置相对应的初始位置;
其中,球机为球型摄像机,如高速球型摄像机、智能球型摄像机等可以进行水平或竖直的旋转,并通过旋转可以改变视野范围的的摄像机,而球机画面中心则为球机采集球机画面的中心。
上述枪机画面为枪机所采集的视频画面,其中,枪机为枪式摄像机,如红外热成像枪机等外观为长方体的摄像机。枪机画面中的基准位置可以为枪球画面中预先指定的任意一点的位置,例如,基准位置可以为枪机画面的中心。或者,在枪机画面中包含预先划分的多个区域的情况下,上述基准位置还可以为各区域中的一个区域。可选的,基准位置为各区域中的一个区域表示:基准位置为该区域内任意一点的位置,例如,基准位置可以为该区域中心。
需要说明的是,枪机在部署完成后,其视野范围是固定,也就是说,部署完成后,枪机所采集的枪机画面的视野范围是固定不变的,由于枪机的视野范围较大,枪机画面即可认为是监控场景的全局视频画面。与枪机所不同的,球机则可以通过水平或竖直旋转,改变视野范围。
举例说明,如图5所示,为枪球联动系统采集画面的示意图。图中,球机画面A1为球机在视野范围1时所采集的球机画面,与枪机画面中的A2区域相对应,通过旋转,球机将其视野范围从视野范围1改变为视野范围2,此时球机所采集的球机画面为球机画面B1,球机画面B1与枪机画面中的B2区域相对应。
本步骤中,可以接收针对球机的控制操作,并基于所接收的控制操作,生成控制球机运动的指令,进而将所生成的指令发送至球机,以控制球机运动。在控制球机运动的过程中,可以实时展示球机画面,供现场人员观察球机的运动位置。若接收到球机运动停止操作,则说明现场人员观察到球机画面中心与枪机画面中的基准位置相对应,停止向球机继续发生指令,此时,球机运动至的位置即为初始位置。
示例性的,枪机画面中基准位置存在对象A,在控制球机进行运动的过程中,当接收到现场人员在观察到球机画面中心移动至对象A时所执行的球机运动停止操作时,则向球机继续发生指令,此时,球机运动至球机画面中心也存在对象A的初始位置。
S402,利用枪机画面中的基准位置、枪机的枪机视场角,确定球机的标定运动控制参数;其中,标定运动控制参数可控制球机运动至球机画面中心与枪机画面中的目标区域相对应;
其中,目标区域可以为枪机画面中任意位置处的区域,而为了确保后续可以从目标区域中识别出第一子区域,目标区域不应过小,也就是说,目标区域的面积应当大于一个面积阈值。
在一种实现方式中,为了提高枪球标定的准确度,需要获取多对标定点对数据,因此,为了能够获取多对标定点对数据,上述枪机画面可以包含多个不同的目标区域,此时,标定运动控制参数可控制球机运动至球机画面中心与枪机画面中的其中一个目标区域相对应。
示例性的,枪机画面包含4个目标区域,分别为目标区域1、目标区域2、目标区域3以及目标区域4。在此情况下,标定运动控制参数可控制球机运动至球机画面中心与目标区域1、目标区域2、目标区域3或目标区域4中任意一个目标区域相对应的位置,例如,标定运动控制参数可控制球机运动至球机画面中心与目标区域1相对应的位置。
可选的,在一种实现方式中,可以按照预设的划分规则,从枪机画面中划分出多个目标区域,预设的划分规则可以基于经验和需求所确定的。可选的,在一种实现方式中,可以将枪机画面均匀划分为预设数量个目标区域。示例性的,如图6所示,为枪机画面划分示意图,以预设数量为4为例,将枪机画面均匀划分为4个画面区域。
上述标定运动控制参数为可控制球机运动至球机运动至球机画面中心与枪机画面中的目标区域相对应的位置。其中,球机画面中心与枪机画面中的目标区域相对应表示此时的球机采集的球机画面与目标区域包含相同的对象。需要说明的是,本发明实施例所提及的对象可以为人物、树木、花草、建筑、云层等任意类型的物体的整体或部分,这都是可以的。
由于目标区域在枪机画面中的位置是已知,因此目标区域相对于基准位置的方位是可以确定,进而结合枪机的枪机视场角可以确定出基准位置与目标区域之间的视野夹角。进一步的,由于球机在初始位置处的球机画面中心与基准位置相对应,因此,可以基于所确定的视野夹角,预估出可控制球机运动至球机画面中心与枪机画面中的目标区域相对应的标定运动控制参数。
上述标定运动参数至少包括球机PTZ坐标值中的P值和Z值,即球机运动后的水平移动位置,以及球机运动后的垂直移动位置。在标定运动参数仅包含P值和Z值的情况下,球机可以采用默认焦距采集球机画面。
S403,利用标定运动控制参数控制球机运动至目标位置,并获取球机在目标位置处采集的标定画面;
本步骤中,可以标定运动控制参数发送至球机,以使球机可按照所接收的标定运动控制参数进行运动,球机运动结束后的位置即为目标位置。
在球机运动至目标位置之后,可以获取球机在目标位置处采集的标定画面。可选的,可以在球机运动结束后,向球机发送画面获取指令,以获取球机反馈的标定画面,或者,球机可以在运动至目标位置之后,主动反馈在目标位置处采集的标定画面,这都是可以的。
S404,利用枪机画面中的目标区域、标定画面、以及标定运动控制参数,确定枪机和球机之间的一对标定点对数据。
本步骤中,由于标定运动控制参数可控制球机运动至球机画面中心与枪机画面中的目标区域相对应,因此,利用标定运动控制参数所获取的标定画面中与目标区域存在相同的对象,此时,可以先确定目标区域与标定画面中相同的对象,再利用该对象在目标区域中的位置以及标定运动控制参数,确定枪机和球机之间的一对标定点对数据。
本发明实施例提供的上述方案,由于可以通过确定出的标定运动控制参数,控制球机运动至球机画面中心与目标区域相对应的目标位置,使得球机可以在目标位置采集与目标区域包含相同对象的标定画面,实现了对与目标区域包含相同对象的标定画面的自动获取,进而可以自动获取枪机和球机之间的标定点对数据,简化了标定点对数据的获取过程。
在本发明的一实施例中,在枪机画面包含多个不同的目标区域的情况下,上述枪机画面中的基准位置可以为枪机画面的中心,或者,枪机画面中的基准位置可以为枪机画面中各目标区域中的一个目标区域。可以理解的,在枪机画面中部分划分目标区域的情况下,枪机画面中的基准位置即可以为枪机画面的中心,也可以为枪机画面中的各目标区域中的一个目标区域,这都是可以的。
示例性的,枪机画面包含4个目标区域,分别为目标区域1、目标区域2、目标区域3以及目标区域4,其中,目标区域4位于枪机画面的中心,此时,在基准位置为枪机画面的中心的同时,基准位置也为目标区域4,即基准位置同时为枪机画面的中心和目标区域4。
在枪机画面中的基准位置为枪机画面中各目标区域中的一个目标区域的情况下,说明球机在初始位置处球机画面中心即与各目标区域中的一个目标区域相对应,为减少球机的运动次数,可以不需要控制球机再次运动至球机画面中心与该目标区域相对应的位置。
此时,上述标定运动控制参数可控制球机运动至球机画面中心与枪机画面中除基准位置外的一个目标区域相对应。
仍以上述示例说明,基准位置同时为枪机画面的中心和目标区域4,则标定运动控制参数可控制球机运动至球机画面中心与目标区域1、目标区域2以及目标区域3中的任意一个目标区域相对应,而不需要控制球机运动至球机画面中心与目标区域4相对应。
在另一实施例中,在枪机画面中的基准位置为枪机画面中各目标区域中的一个目标区域的情况下,球机在初始位置处的运动控制参数以及基准位置已可以用于生成枪机和球机之间的一对标定点对数据,此时,本发明实施例所提供的另一枪球标定数据获取方法,还可以包括:
利用枪机画面中的基准位置和球机运动至初始位置的运动控制参数,确定枪机和球机之间的一对标定点对数据。
本步骤中,可以将枪机画面中的基准位置和球机运动至初始位置的运动控制参数,确定为枪机和球机之间的一对标定点对数据。
示例性的,枪机画面中的基准位置为(Xo,Yo),球机运动至初始位置的运动控制参数为(Po,To,Zo),则所生成的一对标定点对数据为(Xo,Yo,Po,To,Zo)。
本发明实施例上述方案中,可以在枪机画面中的基准位置为枪机画面中各目标区域中的一个目标区域的情况下,可以直接利用枪机画面中的基准位置和球机运动至初始位置的运动控制参数,确定枪机和球机之间的一对标定点对数据,从而不需要再基于该目标区域的标定运动控制参数,生成该目标区域对应的标定点对数据,可以提升标定点对数据获取的效率。
在本发明的一实施例中,在枪机画面包含多个目标区域的情况下,本发明实施例还提供另一种枪球标定参数获取方法,上述利用枪机画面中的基准位置、枪机的枪机视场角,确定球机的标定运动控制参数,可以包括:
按照枪机画面中目标区域的预设顺序并利用枪机画面中的基准位置、枪机的枪机视场角,确定球机的标定运动控制参数。
其中,枪机画面中目标区域的预设顺序可以根据经验和需求确定。示例性的,如图7所示,为本发明实施例提供的预设顺序示意图。预设顺序为目标区域1-目标区域2-目标区域3-目标区域4,即先确定控制球机运动至球机画面中心与目标区域1相对应的标定运动控制参数,再确定控制球机运动至球机画面中心与目标区域2相对应的标定运动控制参数、再控制球机运动至球机画面中心与目标区域3相对应的标定运动控制参数,最后控制球机运动至球机画面中心与目标区域4相对应的标定运动控制参数。
基于枪机画面中目标区域的预设顺序可以确定各目标区域中需要确定对应标定运动控制参数的目标区域,进而基于利用枪机画面中的基准位置、枪机的枪机视场角,确定球机的针对该目标区域的标定运动控制参数。
上述所确定的标定运动控制参数可控制球机运动至球机画面中心与按照所述预设顺序确定的目标区域相对应。示例性的,当按照预设顺序确定出目标区域2对应的标定运动控制参数时,该标定运动控制参数可控制球机运动至球机画面中心与按照目标区域2相对应。
在此基础上,上述标定画面为球机在球机画面中心与按照所述预设顺序确定的目标区域相对应状态下采集的画面。示例性的,标定画面为球机在球机画面中心与目标区域相2对应状态下采集的画面。
通过预设顺序,可以依次采集到每一目标区域所对应的标定画面,进而确定每一目标区域所对应的一对标定点对数据。需要说明的是,本发明实施例中,标定运动控制参数的确定过程与标定点对数据的获取过程可以是同步的,即每基于预设顺序确定一目标区域的标定运动控制参数,即执行该目标区域对应标定点对数据的获取流程,或者,标定运动控制参数的确定过程与标定点对数据的获取过程也可以是不同步的,例如,可以基于预设顺序预先确定每一目标区域对应的标定运动控制参数,进而依次确定每一目标区域对应的标定点对数据,这都是可以的。
本发明实施例上述方案中,通过预设顺序可以依次采集目标区域所对应的标定画面,进而确定每一目标区域所对应的一对标定点对数据,可见,通过预设顺序实现了多对标定点对数据的自动、有序获取,进一步简化了标定点对数据的获取过程,同时,通过获取多对标定点对数据,可以提高后续利用标定点对数据进行枪球标定的准确度。
在图4实施例的基础上,如图8所示,本发明实施例所提供的另一枪球标定数据获取方法,上述利用枪机画面中的目标区域、标定画面、以及标定运动控制参数,确定枪机和球机之间的一对标定点对数据,可以包括:
S801,识别枪机画面中目标区域的第一子区域和标定画面中的第二子区域;其中,第一子区域和第二子区域的画面内容相匹配;
其中,由前述内容可知,目标区域与标定画面中存在同一对象,则上述第一子区域和第二子区域画面内容相匹配即意味着第一子区域的画面内容所描述的对象与第二子区域的画面内容所描述的对象相同。因此,可以将枪机画面中描述该同一对象的画面内容所在的区域作为第一子区域,而将标定画面中描述该同一对象的画面内容所在的区域作为第二子区域。
可选的,在获取到标定画面后,可以对目标区域和标定画面进行画面内容对比,确定目标区域和标定画面中描述的同一对象,进而将该对象在目标区域内的子区域作为第一子区域,而将该对象在标定画面中的区域作为第二子区域。
举例而言,目标区域中包含人物A、人物B和人物C,而标定画面中包含人物C和人物D。则将人物B在目标区域内的子区域作为第一子区域,而将人物B在标定画面中的区域作为第二子区域。
在一种实现方式中,识别枪机画面中目标区域的第一子区域和标定画面中的第二子区域,可以包括:
步骤1:利用特征点识别算法,识别枪机画面中目标区域内的特征点和标定画面内的特征点;
上述特征点识别算法可以为任意能够实现特征点识别的算法,例如SIFT(Scale-invariant feature transform,尺度不变特征变换)算法。利用特征点识别算法,可以识别枪机画面中目标区域内的特征点,以及标定画面内的特征点。其中,特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。
可选的,在对标定画面进行特征点识别之前,还可以对标定画面进行畸变消除、参数处理以及图像有效性判断的处理。其中,畸变消除用于消除标定画面的畸变,参数处理用于获取标定画面的图像参数,如获取标定画面的图像大小、通道信息,还可以获取枪机画面大小等参数,在获取到标定画面的图像参数之后,可以对标定画面进行有效性判断,判断标定画面是否合理,若合理,则利用特征点识别算法,识别标定画面内的特征点。
步骤2:对枪机画面中目标区域的特征点和标定画面内的特征点进行特征点对比,确定枪机画面中目标区域内的多个第一特征点与标定画面内的多个第二特征点;其中,多个第一特征点与多个第二特征点表征同一对象;
其中,对枪机画面中目标区域的特征点和标定画面内的特征点进行特征点对比可以确定同一对象分别在目标区域中对应的特征点以及在标定画面内的特征点,即确定出枪机画面中目标区域内的多个第一特征点与标定画面内的多个第二特征点。
步骤3:从枪机画面的目标区域中确定包含多个第一特征点的最小区域,作为第一子区域,并将标定画面内包含多个第二特征点的最小区域,作为第二子区域。
其中,由于多个第一特征点与多个第二特征点表征同一对象,因此,枪机画面中确定包含多个第一特征点的最小区域与球机画面内包含多个第二特征点的最小区域的画面内容相匹配,即可以在确定出多个第一特征点之后,可以将目标区域中确定包含多个第一特征点的最小区域,作为第一子区域,同理,可以在确定出多个第二特征点之后,可以将标定画面中确定包含多个第二特征点的最小区域,作为第二子区域。
S802,利用第一子区域在枪机画面中的位置信息,以及可控制球机的球机画面中心与第一子区域相对应的运动控制参数,确定枪机和球机之间的一对标定点对数据。
其中,上述位置信息可以为第一子区域中指定像素点的像素坐标,如第一子区域中心点在枪机画面中的像素坐标。
在一种实现方式中,步骤S802,可以包括:
步骤a:在枪机画面中,确定第一子区域的中心点处像素点的像素坐标,作为第一子区域在枪机画面中的位置信息;
示例性的,第一子区域的中心点处的像素点为像素点A,且枪机画面中像素点A的坐标为(Xa,Ya),则第一子区域在枪机画面中的位置信息为(Xa,Ya)。
步骤b:将第二子区域位于标定画面中的位置信息发送至球机,并获取可控制球机的球机画面中心与第一子区域相对应的运动控制参数;
上述可控制球机的球机画面中心与第一子区域相对应的运动控制参数,与可控制球机的球机画面中心与目标区域相对应的标定运动控制参数可能相同,也可能不同。
当第二子区域为球机画面中心时,上述运动控制参数与上述标定运动控制参数相同,当第二子区域不为球机画面中心时,上述运动控制参数与上述标定运动控制参数不相同。
当运动控制参数与上述标定运动控制参数不相同时,可以将第二子区域位于标定画面中的位置信息发送至球机,进而由球机根据其自身的转换规则,确定采集以第二子区域为中心的球机画面时的运动控制参数,即确定球机画面中心与第一子区域相对应的运动控制参数,并将确定的运动参数发送至执行本发明实施例的电子设备。
步骤c:利用所确定的位置信息与所获取的运动控制参数,确定枪机和球机之间的一对标定点对数据。
在确定可控制球机的球机画面中心与第一子区域相对应的运动控制参数之厚,即可利用所确定的位置信息与所获取的运动控制参数,确定枪机和球机之间的一对标定点对数据。
可选的,可以将所确定的位置信息与所获取的运动控制参数,确定为枪机和球机之间的一对标定点对数据。示例性的,所确定的位置信息为(Xa,Ya),所获取的运动控制参数为(Pa,Ta,Za),则所确定的一对标定点对数据为(Xa,Ya,Pa,Ta,Za)。
本发明实施例提供的上述方案,可以自动获取枪机和球机之间的标定点对数据,简化了标定点对数据的获取过程。进一步的,通过识别画面内容相匹配的第一子区域和第二子区域,进而利用第一子区域在枪机画面中的位置信息,以及可控制球机的球机画面中心与第一子区域相对应的运动控制参数,提供了一种自动确定运动控制参数的方式,为简化标定点对数据的获取过程提供了基础。
在本发明另一实施例中,枪机的枪机视场角包括:枪机的水平最大视场角,以及枪机的垂直最大视场角;此时,在图4实施例的基础上,如图9所示,本发明实施例所提供的另一枪球标定数据获取方法,上述利用枪机画面中的基准位置、枪机的枪机视场角,确定球机的标定运动控制参数,可以包括:
S901,确定目标区域相对于枪机画面中基准位置的距离、水平方向上的第一偏移角度和垂直方向上的第二偏移角度;
其中,上述目标区域相对于枪机画面中基准位置的距离可以为目标区域的中心点相对于基准位置的距离。可选的,上述距离可以目标区域的中心点与基准位置之间的直线距离,或者,上述距离还可以包括水平分量和垂直分量,其中,水平分量为目标区域的中心点与基准位置的横坐标差的绝对值,垂直分量为目标区域的中心点与基准位置的纵坐标值的绝对值。
上述水平方向上的第一偏移角度为目标向量与水平单位向量的夹角,上述垂直方向上的第二偏移角度为目标向量与垂直单位向量的夹角,其中,目标向量为以基准位置为起点,以目标区域的中心点为终点的向量。
S902,基于枪机的水平最大视场角、第一偏移角度和距离的水平分量,确定球机的水平移动位置;
其中,按照如下公式,确定球机的水平移动位置:
Figure BDA0003227976910000221
其中,P为球机的水平移动位置,x为目标区域中心位置的横坐标,x′为基准位置的横坐标,(x-x′)为水平分量,Pd为水平最大视场角,α为预设对应第一偏移角度的水平参数,A为球机的采样精度相对于枪机采样精度的倍数。
其中,%为取余预算。针对水平方向,可以预先将水平方向的角度划分多个角度区间,每个角度区间对应一个角度参数。例如,划分三个角度区间,分别为区间1:[0°,60°),对应α=-1、区间2:[60°,120°),对应α=0和区间3:[120°,180°],对应α=1。一般而言,枪机的进度为0.0001,球机的精度为0.01,此时上述A为100。
S903,基于枪机的垂直最大视场角、第二偏移角度和距离的垂直分量,确定球机的垂直移动位置;
按照如下公式,确定球机的垂直移动位置:
Figure BDA0003227976910000231
其中,T为球机的垂直转动位置,y为目标区域中心位置的纵坐标,y′为基准位置的纵坐标,(y-y′)为垂直分量,Td为垂直最大视场角,β为预设对应第二偏移角度的垂直参数。
其中,与水平方向相同的,针对垂直方向,也可以预先将垂直方向的角度划分多个角度区间,每个角度区间对应一个角度参数。例如,划分三个角度区间,分别为区间1:[0°,60°),对应β=-1、区间2:[60°,120°),对应β=0和区间3:[120°,180°],对应β=1。
S904,利用水平移动位置和垂直移动位置,确定球机的标定运动控制参数。
本步骤中,可以将水平移动位置和垂直移动位置确定为标定运动控制参数。示例性的,水平移动位置为Px,垂直移动位置为Tx,则所确定的标定运动控制参数可以为(Px,Tx)。
本发明实施例提供的上述方案,可以自动获取枪机和球机之间的标定点对数据,简化了标定点对数据的获取过程。进一步的,利用目标区域相对于枪机画面中基准位置的距离、水平方向上的第一偏移角度和垂直方向上的第二偏移角度,可以确定出球机的标定运动控制参数,从而可以准确地确定可控制球机的球机画面中心与目标区域相对应的标定运动控制参数,可见为简化标定点对数据的获取过程提供了基础。
基于本发明实施例所提供的枪球标定数据获取方法,本发明实施例还提供一种枪球标定方法。
如图10所示,本发明实施例提供的枪球标定方法,包括步骤:
S1001,利用上述枪球标定数据获取方法获取多对标定点对数据;
本步骤中,可以利用本发明实施例提供的枪球标定数据获取方法获取多对标定点对数据,具体实现过程,参见上述实施例相关描述,在此不再赘述。
上述多对标定点对数据可以为至少4对标定点对数据,例如,可以为4对标定点对数据、9对标定点对数据或16对标定点对数据,这都是可以的。
S1002,利用多对标定点对数据,确定枪机的枪机画面中每一位置与球机的运动控制参数之间的映射关系。
在获取多对标定点的数据之后,可以利用该多对标定点对数据,确定枪机的枪机画面中每一位置与球机的运动控制参数之间的映射关系。可选的,可以将该多对标定点对数据发生至枪机的DSP层,由DSP层对该多对标定点对数据进行算法运算处理,生成枪机的枪机画面中每一位置与球机的运动控制参数之间的映射关系。
本发明实施例提供的上述方案,可以通过本发明提供的枪球标定数据获取方法获取多对标定点对数据,并利用该多对标定点对数据,对枪机和球机进行标定,由于枪球标定数据获取方法简化了标定点对数据的获取过程,从而可以简化整个枪球标定的过程,进一步的提高了枪球标定的效率。
相应于上述实施例所提供的枪球标定数据获取方法,如图11所示,本发明实施例还提供了一种枪球标定数据获取装置,该装置包括:
球机运动控制模块1101,用于控制球机运动至球机画面中心与枪机画面中的基准位置相对应的初始位置;
参数确定模块1102,用于利用枪机画面中的基准位置、枪机的枪机视场角,确定球机的标定运动控制参数;其中,标定运动控制参数可控制球机运动至球机画面中心与枪机画面中的目标区域相对应;
画面获取模块1103,用于利用标定运动控制参数控制球机运动至目标位置,并获取球机在目标位置处采集的标定画面;
数据确定模块1104,用于利用枪机画面中的目标区域、标定画面、以及标定运动控制参数,确定枪机和球机之间的一对标定点对数据。
可选地,枪机画面包含多个不同的目标区域;标定运动控制参数可控制球机运动至球机画面中心与枪机画面中的其中一个目标区域相对应。
可选地,枪机画面中的基准位置为枪机画面的中心;或者,枪机画面中的基准位置为枪机画面中各目标区域中的一个目标区域。
可选地,数据确定模块,还用于在枪机画面中的基准位置为枪机画面中各目标区域中的一个目标区域的情况下,利用枪机画面中的基准位置和球机运动至初始位置的运动控制参数,确定枪机和球机之间的一对标定点对数据。
可选地,在枪机画面中的基准位置为枪机画面中各目标区域中的一个目标区域的情况下,标定运动控制参数可控制球机运动至球机画面中心与枪机画面中除基准位置外的一个目标区域相对应。
可选地,参数确定模块,具体用于按照枪机画面中目标区域的预设顺序并利用枪机画面中的基准位置、枪机的枪机视场角,确定球机的标定运动控制参数;
标定运动控制参数为可控制球机运动至球机画面中心与按照预设顺序确定的目标区域相对应;标定画面为球机在球机画面中心与按照预设顺序确定的目标区域相对应状态下采集的画面。
可选地,数据确定模块,包括:
区域识别子模块,用于识别枪机画面中目标区域的第一子区域和标定画面中的第二子区域;其中,第一子区域和第二子区域的画面内容相匹配;
数据确定子模块,用于利用第一子区域在枪机画面中的位置信息,以及可控制球机运动至画面中心为第二子区域的运动控制参数,确定枪机和球机之间的一对标定点对数据。
可选地,区域识别子模块,具体用于利用特征点识别算法,识别枪机画面中目标区域内的特征点和标定画面内的特征点;对枪机画面中目标区域的特征点和标定画面内的特征点进行特征点对比,确定枪机画面中目标区域内的多个第一特征点与标定画面内的多个第二特征点;其中,多个第一特征点与多个第二特征点表征同一对象;从枪机画面的目标区域中确定包含多个第一特征点的最小区域,作为第一子区域,并将标定画面内包含多个第二特征点的最小区域,作为第二子区域。
可选地,数据确定子模块,具体用于在枪机画面中,确定第一子区域的中心点处像素点的像素坐标,作为第一子区域在枪机画面中的位置信息;将第二子区域位于标定画面中的位置信息发送至球机,并获取可控制球机的球机画面中心与第一子区域相对应的运动控制参数;利用所确定的位置信息与所获取的运动控制参数,确定枪机和球机之间的一对标定点对数据。
可选地,枪机的枪机视场角包括:枪机的水平最大视场角,以及枪机的垂直最大视场角;
参数确定模块,包括:
访问确定子模块,用于确定目标区域相对于枪机画面中基准位置的距离、水平方向上的第一偏移角度和垂直方向上的第二偏移角度;
水平位置确定子模块,用于基于枪机的水平最大视场角、第一偏移角度和距离的水平分量,确定球机的水平移动位置;
垂直位置确定子模块,用于基于枪机的垂直最大视场角、第二偏移角度和距离的垂直分量,确定球机的垂直移动位置;
参数确定子模块,用于利用水平移动位置和垂直移动位置,确定球机的标定运动控制参数。
可选地,水平位置确定子模块,具体用于按照如下公式,确定球机的水平移动位置:
Figure BDA0003227976910000261
其中,P为球机的水平移动位置,x为目标区域中心位置的横坐标,x′为基准位置的横坐标,(x-x′)为水平分量,Pd为水平最大视场角,α为预设对应第一偏移角度的水平参数,A为球机的采样精度相对于枪机采样精度的倍数;
垂直位置确定子模块,具体用于按照如下公式,确定球机的垂直移动位置:
Figure BDA0003227976910000262
其中,T为球机的垂直转动位置,y为目标区域中心位置的纵坐标,y′为基准位置的纵坐标,(y-y′)为垂直分量,Td为垂直最大视场角,β为预设对应第二偏移角度的垂直参数。
可选地,枪机为红外热成像枪机。
本发明实施例提供的上述方案,由于可以通过确定出的标定运动控制参数,控制球机运动至球机画面中心与目标区域相对应的目标位置,使得球机可以在目标位置采集与目标区域包含相同对象的标定画面,实现了对与目标区域包含相同对象的标定画面的自动获取,进而可以自动获取枪机和球机之间的标定点对数据,简化了标定点对数据的获取过程。
相应于本发明实施例所提供的枪球标定方法,如图12所示,本发明实施例还提供了一种枪球标定装置,该装置包括:
数据获取模块1201,用于利用上述任一项枪球标定数据获取装置获取多对标定点对数据;
关系确定模块1202,用于利用多对标定点对数据,确定枪机的枪机画面中每一位置与球机的运动控制参数之间的映射关系。
本发明实施例提供的上述方案,由于可以通过本发明提供的枪球标定数据获取装置获取多对标定点对数据,并利用该多对标定点对数据,对枪机和球机进行标定,由于枪球标定数据获取方法简化了标定点对数据的获取过程,从而可以简化整个枪球标定的过程,进一步的提高了枪球标定的效率。
本发明实施例还提供了一种电子设备,如图13所示,包括处理器1301、通信接口1302、存储器1303和通信总线1304,其中,处理器1301,通信接口1302,存储器1303通过通信总线1304完成相互间的通信,
存储器1303,用于存放计算机程序;
处理器1301,用于执行存储器1303上所存放的程序时,实现上述任一枪球标定数据获取方法或枪球标定方法步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一枪球标定数据获取方法或枪球标定方法的步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一枪球标定数据获取方法或枪球标定方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、设备、系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (15)

1.一种枪球标定数据获取方法,其特征在于,所述方法包括:
控制球机运动至球机画面中心与枪机画面中的基准位置相对应的初始位置;
利用所述枪机画面中的基准位置、所述枪机的枪机视场角,确定所述球机的标定运动控制参数;其中,所述标定运动控制参数可控制所述球机运动至球机画面中心与所述枪机画面中的目标区域相对应;
利用所述标定运动控制参数控制所述球机运动至目标位置,并获取所述球机在所述目标位置处采集的标定画面;
利用所述枪机画面中的目标区域、所述标定画面、以及所述标定运动控制参数,确定所述枪机和所述球机之间的一对标定点对数据;其中,所述标定点对数据包括:所述目标区域中第一子区域的位置信息,以及控制所述球机的球机画面中心与所述第一子区域的位置相对应的运动控制参数;所述第一子区域为所述目标区域中与所述标定画面中画面内容相匹配的区域;
所述枪机的枪机视场角包括:所述枪机的水平最大视场角,以及所述枪机的垂直最大视场角;
所述利用所述枪机画面中的基准位置、所述枪机的枪机视场角,确定所述球机的标定运动控制参数,包括:
确定所述目标区域相对于所述枪机画面中基准位置的距离、水平方向上的第一偏移角度和垂直方向上的第二偏移角度;
基于所述枪机的水平最大视场角、所述第一偏移角度和所述距离的水平分量,确定所述球机的水平移动位置;
基于所述枪机的垂直最大视场角、所述第二偏移角度和所述距离的垂直分量,确定所述球机的垂直移动位置;
利用所述水平移动位置和所述垂直移动位置,确定所述球机的标定运动控制参数。
2.根据权利要求1所述的方法,其特征在于,所述枪机画面包含多个不同的目标区域;所述标定运动控制参数可控制球机运动至球机画面中心与所述枪机画面中的其中一个目标区域相对应。
3.根据权利要求2所述的方法,其特征在于,所述枪机画面中的基准位置为所述枪机画面的中心;或者,所述枪机画面中的基准位置为所述枪机画面中各目标区域中的一个目标区域。
4.根据权利要求3所述的方法,其特征在于,在所述枪机画面中的基准位置为所述枪机画面中各目标区域中的一个目标区域的情况下,所述方法还包括:
利用所述枪机画面中的基准位置和所述球机运动至所述初始位置的运动控制参数,确定所述枪机和所述球机之间的一对标定点对数据。
5.根据权利要求3所述的方法,其特征在于,在所述枪机画面中的基准位置为所述枪机画面中各目标区域中的一个目标区域的情况下,所述标定运动控制参数可控制所述球机运动至球机画面中心与所述枪机画面中除所述基准位置外的一个目标区域相对应。
6.根据权利要求2所述的方法,其特征在于,
所述利用所述枪机画面中的基准位置、所述枪机的枪机视场角,确定所述球机的标定运动控制参数,包括:
按照所述枪机画面中目标区域的预设顺序并利用所述枪机画面中的基准位置、所述枪机的枪机视场角,确定所述球机的标定运动控制参数;
所述标定运动控制参数可控制所述球机运动至球机画面中心与按照所述预设顺序确定的目标区域相对应;所述标定画面为所述球机在球机画面中心与按照所述预设顺序确定的目标区域相对应状态下采集的画面。
7.根据权利要求1所述的方法,其特征在于,所述利用所述枪机画面中的目标区域、所述标定画面、以及所述标定运动控制参数,确定所述枪机和所述球机之间的一对标定点对数据,包括:
识别所述枪机画面中目标区域的第一子区域和所述标定画面中的第二子区域;其中,所述第一子区域和所述第二子区域的画面内容相匹配;
利用所述第一子区域在所述枪机画面中的位置信息,以及可控制所述球机的球机画面中心与所述第一子区域相对应的运动控制参数,确定所述枪机和所述球机之间的一对标定点对数据。
8.根据权利要求7所述的方法,其特征在于,所述识别所述枪机画面中目标区域的第一子区域和所述标定画面中的第二子区域,包括:
利用特征点识别算法,识别所述枪机画面中目标区域内的特征点和所述标定画面内的特征点;
对所述枪机画面中目标区域的特征点和所述标定画面内的特征点进行特征点对比,确定所述枪机画面中目标区域内的多个第一特征点与所述标定画面内的多个第二特征点;其中,所述多个第一特征点与所述多个第二特征点表征同一对象;
从所述枪机画面的目标区域中确定包含所述多个第一特征点的最小区域,作为第一子区域,并将所述标定画面内包含所述多个第二特征点的最小区域,作为第二子区域。
9.根据权利要求7或8所述的方法,其特征在于,所述利用所述第一子区域在所述枪机画面中的位置信息,以及可控制所述球机的球机画面中心与所述第一子区域相对应的运动控制参数,确定所述枪机和所述球机之间的一对标定点对数据,包括:
在所述枪机画面中,确定所述第一子区域的中心点处像素点的像素坐标,作为所述第一子区域在所述枪机画面中的位置信息;
将所述第二子区域位于所述标定画面中的位置信息发送至所述球机,并获取可控制所述球机的球机画面中心与所述第一子区域相对应的运动控制参数;
利用所确定的位置信息与所获取的运动控制参数,确定所述枪机和所述球机之间的一对标定点对数据。
10.根据权利要求9所述的方法,其特征在于,
所述基于所述枪机的水平最大视场角、所述第一偏移角度和所述距离的水平分量,确定所述球机的水平移动位置,包括:
按照如下公式,确定所述球机的水平移动位置:
Figure FDA0003678668050000041
其中,P为所述球机的水平移动位置,x为所述目标区域中心位置的横坐标,x′为所述基准位置的横坐标,(x-x′)为所述水平分量,Pd为所述水平最大视场角,α为预设对应所述第一偏移角度的水平参数,A为所述球机的采样精度相对于所述枪机采样精度的倍数;
所述基于所述枪机的垂直最大视场角、所述第二偏移角度和所述距离的垂直分量,确定所述球机的垂直移动位置,包括:
按照如下公式,确定所述球机的垂直移动位置:
Figure FDA0003678668050000042
其中,T为所述球机的垂直转动位置,y为所述目标区域中心位置的纵坐标,y′为所述基准位置的纵坐标,(y-y′)为所述垂直分量,Td为所述垂直最大视场角,β为预设对应所述第二偏移角度的垂直参数。
11.根据权利要求1所述的方法,其特征在于,所述枪机为红外热成像枪机。
12.一种枪球标定方法,其特征在于,所述方法包括:
利用权利要求1-11任一项所述枪球标定数据获取方法获取多对标定点对数据;
利用所述多对标定点对数据,确定枪机的枪机画面中每一位置与球机的运动控制参数之间的映射关系。
13.一种枪球标定数据获取装置,其特征在于,所述装置包括:
球机运动控制模块,用于控制球机运动至球机画面中心与枪机画面中的基准位置相对应的初始位置;
参数确定模块,用于利用所述枪机画面中的基准位置、所述枪机的枪机视场角,确定所述球机的标定运动控制参数;其中,所述标定运动控制参数可控制所述球机运动至球机画面中心与所述枪机画面中的目标区域相对应;
画面获取模块,用于利用所述标定运动控制参数控制所述球机运动至目标位置,并获取所述球机在所述目标位置处采集的标定画面;
数据确定模块,用于利用所述枪机画面中的目标区域、所述标定画面、以及所述标定运动控制参数,确定所述枪机和所述球机之间的一对标定点对数据;其中,所述标定点对数据包括:所述目标区域中第一子区域的位置信息,以及控制所述球机的球机画面中心与所述第一子区域的位置相对应的运动控制参数;所述第一子区域为所述目标区域中与所述标定画面中画面内容相匹配的区域;
所述枪机的枪机视场角包括:所述枪机的水平最大视场角,以及所述枪机的垂直最大视场角;
所述参数确定模块,具体用于确定所述目标区域相对于所述枪机画面中基准位置的距离、水平方向上的第一偏移角度和垂直方向上的第二偏移角度;基于所述枪机的水平最大视场角、所述第一偏移角度和所述距离的水平分量,确定所述球机的水平移动位置;基于所述枪机的垂直最大视场角、所述第二偏移角度和所述距离的垂直分量,确定所述球机的垂直移动位置;利用所述水平移动位置和所述垂直移动位置,确定所述球机的标定运动控制参数。
14.一种枪球标定装置,其特征在于,所述装置包括:
数据获取模块,用于利用权利要求13所述枪球标定点对数据获取装置获取多对标定点对数据;
关系确定模块,用于利用所述多对标定点对数据,确定枪机的枪机画面中每一位置与球机的运动控制参数之间的映射关系。
15.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-11或12任一所述的方法步骤。
CN202110977281.6A 2021-08-24 2021-08-24 枪球标定数据获取方法、枪球标定方法、装置及电子设备 Active CN113658276B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110977281.6A CN113658276B (zh) 2021-08-24 2021-08-24 枪球标定数据获取方法、枪球标定方法、装置及电子设备
CN202210897475.XA CN115719383A (zh) 2021-08-24 2021-08-24 枪球标定数据获取方法、枪球标定方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110977281.6A CN113658276B (zh) 2021-08-24 2021-08-24 枪球标定数据获取方法、枪球标定方法、装置及电子设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210897475.XA Division CN115719383A (zh) 2021-08-24 2021-08-24 枪球标定数据获取方法、枪球标定方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN113658276A CN113658276A (zh) 2021-11-16
CN113658276B true CN113658276B (zh) 2022-08-05

Family

ID=78492764

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110977281.6A Active CN113658276B (zh) 2021-08-24 2021-08-24 枪球标定数据获取方法、枪球标定方法、装置及电子设备
CN202210897475.XA Pending CN115719383A (zh) 2021-08-24 2021-08-24 枪球标定数据获取方法、枪球标定方法、装置及电子设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210897475.XA Pending CN115719383A (zh) 2021-08-24 2021-08-24 枪球标定数据获取方法、枪球标定方法、装置及电子设备

Country Status (1)

Country Link
CN (2) CN113658276B (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6378367B1 (en) * 1997-02-05 2002-04-30 Sports Sensors, Inc. Miniature sports radar speed measuring device
CN104424631A (zh) * 2013-08-23 2015-03-18 浙江大华技术股份有限公司 一种基于枪球联动系统的坐标关联方法及装置
FR3057368B1 (fr) * 2016-10-11 2019-07-26 Commissariat A L'energie Atomique Et Aux Energies Alternatives Dispositif de localisation d'un impact contre une surface interactive transparente
CN109557944B (zh) * 2018-11-30 2021-08-20 南通大学 一种运动目标位置检测方法
CN111800604A (zh) * 2020-06-12 2020-10-20 深圳英飞拓科技股份有限公司 基于枪球联动检测人形和人脸数据的方法及装置
CN113194263B (zh) * 2021-07-01 2021-10-22 中国南方电网有限责任公司超高压输电公司广州局 枪球联动控制方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN115719383A (zh) 2023-02-28
CN113658276A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN109064545B (zh) 一种对房屋进行数据采集和模型生成的方法及装置
US8803992B2 (en) Augmented reality navigation for repeat photography and difference extraction
US20160283797A1 (en) Surveillance system and method based on accumulated feature of object
CN107167077B (zh) 立体视觉测量系统和立体视觉测量方法
CN114416244B (zh) 信息的显示方法、装置、电子设备及存储介质
CN113436311A (zh) 一种户型图生成方法及其装置
CN116472715A (zh) 显示设备及摄像头追踪方法
CN112207821A (zh) 视觉机器人的目标搜寻方法及机器人
CN114640833A (zh) 投影画面调整方法、装置、电子设备和存储介质
CN114442805A (zh) 一种监控场景展示方法、系统、电子设备及存储介质
CN112118390A (zh) 摄像头的控制方法、装置、电子设备及存储介质
CN110602376B (zh) 抓拍方法及装置、摄像机
JP2015228564A (ja) 監視カメラシステム
CN113658276B (zh) 枪球标定数据获取方法、枪球标定方法、装置及电子设备
JP7467262B2 (ja) 画像情報生成装置、方法およびプログラム
JP2016194784A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
JP2016194783A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
EP2672694B1 (en) Improved control of an image capturing device
JP7379785B2 (ja) 3dツアーの比較表示システム及び方法
CN110636204B (zh) 一种面部抓拍系统
WO2023087894A1 (zh) 区域调整方法和装置、摄像头和存储介质
CN111064947A (zh) 基于全景的视频融合方法、系统、装置和存储介质
CN108055456B (zh) 纹理采集方法及装置
KR101670247B1 (ko) Cctv 실시간 영상의 원클릭 선택을 이용한 객체 확대 이동 시스템 및 그 방법
CN114037758A (zh) 基于图像的摄像机姿态感知系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant