CN113506340A - 一种云台位姿预测的方法、设备和计算机可读存储介质 - Google Patents

一种云台位姿预测的方法、设备和计算机可读存储介质 Download PDF

Info

Publication number
CN113506340A
CN113506340A CN202110662657.4A CN202110662657A CN113506340A CN 113506340 A CN113506340 A CN 113506340A CN 202110662657 A CN202110662657 A CN 202110662657A CN 113506340 A CN113506340 A CN 113506340A
Authority
CN
China
Prior art keywords
time difference
horizontal angle
time
vertical angle
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110662657.4A
Other languages
English (en)
Inventor
蒋茹
隋小波
吴斌
罗焕骏
潘武
梅海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110662657.4A priority Critical patent/CN113506340A/zh
Publication of CN113506340A publication Critical patent/CN113506340A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种云台位姿预测的方法、设备和计算机可读存储介质,该方法应用于枪球联动设备,枪球联动设备包括互相连接的第一监控设备和第二监控设备,第一监控设备包括云台,该方法包括:获取同一待检测目标在至少两个不同时刻的图像坐标,其中,图像坐标为第二监控设备拍摄到的待检测目标在图像中的位置坐标;将图像坐标转换为云台所在的物理坐标系下的物理坐标,得到至少两个物理坐标;基于至少两个物理坐标,预估云台的位姿,得到云台的位姿参数。通过上述方式,本申请能够提升云台位置预测的准确性。

Description

一种云台位姿预测的方法、设备和计算机可读存储介质
技术领域
本申请涉及人工智能领域,具体涉及一种云台位姿预测的方法、设备和计算机可读存储介质。
背景技术
枪球联动设备主要应用在重点区域布控、人群密集区域人脸采集以及重点车辆布控等场景,能够实现联动跟踪或联动定位;枪球联动设备包括两个监控设备,联动跟踪的流程大致分为对象采集、目标选择、第二个监控设备位姿预测、目标快速定位以及目标持续跟踪五个阶段,联动定位的流程分为对象采集、目标选择、第二个监控设备位姿预测以及目标快速定位四个阶段,无论是哪种方式,前三个阶段均在第一个监控设备处理,后续阶段均在第二个监控设备处理,一般第二个监控设备在处理过程中还会附带智能分析、抓拍或录像等功能;但是目前所采用的方案在待预测目标的移动速度较快且预测时间较长时,会致使预测偏差较大,导致目标不在第二个监控设备的画面中央,甚至不在第二个监控设备画面内,监控效果较差。
发明内容
本申请提供一种云台位姿预测的方法、设备和计算机可读存储介质,能够提升云台位置预测的准确性。
为解决上述技术问题,本申请采用的技术方案是:提供一种云台位姿预测的方法,该方法应用于枪球联动设备,枪球联动设备包括互相连接的第一监控设备和第二监控设备,第一监控设备包括云台,该方法包括:获取同一待检测目标在至少两个不同时刻的图像坐标,其中,图像坐标为第二监控设备拍摄到的待检测目标在图像中的位置坐标;将图像坐标转换为云台所在的物理坐标系下的物理坐标,得到至少两个物理坐标;基于至少两个物理坐标,预估云台的位姿,得到云台的位姿参数。
为解决上述技术问题,本申请采用的另一技术方案是:提供一种第一监控设备,该第一监控设备包括互相连接的存储器和处理器,其中,存储器用于存储计算机程序,计算机程序在被处理器执行时,用于实现上述技术方案中的云台位姿预测的方法。
为解决上述技术问题,本申请采用的另一技术方案是:提供一种枪球联动设备,该枪球联动设备包括互相连接的第一监控设备和第二监控设备,第二监控设备用于接收第一监控设备发送的拍摄图像,其中,第一监控设备为上述技术方案中的第一监控设备。
为解决上述技术问题,本申请采用的另一技术方案是:提供一种计算机可读存储介质,该计算机可读存储介质用于存储计算机程序,计算机程序在被处理器执行时,用于实现上述技术方案中的云台位姿预测的方法。
通过上述方案,本申请的有益效果是:先获取不同时刻下待检测目标在第二监控设备所拍摄到的图像中的位置,得到至少两个图像坐标;然后进行坐标转换,将所有图像坐标为实际物理坐标系下的物理坐标;再利用物理坐标去预测待检测目标将要出现的位置,以便预估对应的云台的位姿;通过实际物理坐标系计算解决了仅靠图像上的线性计算来进行云台位姿预测的不准确性,提升了云台位姿预测的准确性,进而提升了枪球联动设备进行目标跟踪或定位的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。其中:
图1是本申请提供的云台位姿预测的方法一实施例的流程示意图;
图2是本申请提供的云台位姿预测的方法另一实施例的流程示意图;
图3是本申请提供的物理坐标系的示意图;
图4是本申请提供的计算下一水平角度的流程示意图;
图5是本申请提供的计算下一垂直角度的流程示意图;
图6是本申请提供的第一监控设备一实施例的结构示意图;
图7是图6所示的实施例中处理器的结构示意图;
图8是本申请提供的枪球联动设备一实施例的结构示意图;
图9是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
由于枪球联动设备一般安装在较高的地方,为了减少程序复杂度,将第一个监控摄像机拍摄到的视频画面中的对象按匀速运动处理,但是受限于图像畸变,直接通过图像上某一对象在不同时刻的两个位置去除时间间隔得到的速度值是不准确的,因而通过该速度值去预测未来某一时刻的云台位姿更是不准确的。基于此,本申请要解决的问题是:根据目标在图像上的历史位置进行线性计算以预测云台位姿的不准确性,本申请通过将图像上的位置转换成实际物理坐标系下的位置,再对云台的位姿进行预测,能够提升预测的准确性。
请参阅图1,图1是本申请提供的云台位姿预测的方法一实施例的流程示意图,该方法应用于枪球联动设备,该枪球联动设备包括互相连接的第一监控设备和第二监控设备,第一监控设备包括云台,该方法包括:
步骤11:获取同一待检测目标在至少两个不同时刻的图像坐标。
待检测目标可以为行人、车辆或其他动物,第一监控设备与第二监控设备可以为摄像机,第二监控设备在拍摄到包含待检测目标的图像后,可以将该图像发送给第一监控设备,以使得第一监控设备获取待检测目标在至少两个不同时刻的图像坐标,该图像坐标为第二监控设备拍摄到的待检测目标在图像中的位置坐标。
可以理解地,第一监控设备可以直接接收第二监控设备发送的图像坐标,即由第二监控设备负责检测拍摄到的图像中待检测目标的位置;或者第一监控设备接收第二监控设备发送的包含待检测目标的拍摄图像,然后再检测待检测目标在该拍摄图像中的位置;例如,第二监控设备在T1时刻拍摄到第一张包含待检测目标的图像A1,在T2时刻拍摄到第二张包含待检测目标的图像A2,在T3时刻拍摄到第三张包含待检测目标的图像A3,则第一监控设备在接收到图像A1-A3后,对这三幅图像进行处理,得到待检测目标在相应图像中的位置。
步骤12:将至少两个图像坐标转换为云台所在的物理坐标系下的物理坐标,得到至少两个物理坐标。
第一监控设备在获取到至少两个图像坐标后,采用坐标转换方法对这些图像坐标进行坐标转换处理,得到实际物理坐标系下待检测目标所在的位置,其对应的坐标记作物理坐标。
步骤13:基于至少两个物理坐标,预估云台的位姿,得到云台的位姿参数。
在获取到实际的物理坐标后,利用这些物理坐标来预估待检测目标在下一时刻所处的位置,以便预估云台的位姿,从而得到云台的位姿参数,该位姿参数包括水平角度或垂直角度,下一时刻即为预估的云台的位姿参数对应的时刻。
本实施例提出了一种通过实际物理坐标系准确预测云台位姿的方法,先获取不同时刻待检测目标在第二监控设备所拍摄到的图像中的位置,然后进行坐标转换,将所获取到的图像坐标转换为实际物理坐标系下的物理坐标,然后利用生成的物理坐标去预测待检测目标在下一时刻的物理坐标,以便预测在下一时刻云台的位置,实现对云台位姿的预测;通过实际物理坐标系计算解决了仅靠图像上线性计算进行云台位姿预测的不准确性,提升了云台位姿预测的准确性,进而提升了枪球联动设备进行目标跟踪或定位的准确性。
请参阅图2,图2是本申请提供的云台位姿预测的方法另一实施例的流程示意图,该方法应用于枪球联动设备,该枪球联动设备包括互相连接的第一监控设备和第二监控设备,该方法包括:
步骤21:获取同一待检测目标在至少两个不同时刻的图像坐标。
步骤21与上述实施例中步骤11相同,在此不再赘述。
步骤22:将至少两个图像坐标转换为云台所在的物理坐标系下的物理坐标,得到至少两个物理坐标。
第一监控设备负责将待检测目标在第二监控设备拍摄到的视频画面中的至少两个点位置转换为第一监控设备的云台下的PTZ坐标,其中,P(Pan)表示相机在水平方向上的移动,即相机的旋转;T(Tilt)表示相机在垂直方向上的移动,即相机镜头的高低俯仰;Z(Zoom)表示变焦,即相机的焦距或倍率。
可以理解地,考虑到光轴偏移时会使得Z值对最终的PT坐标造成影响,而Z值是可被用户设置的,为了减少计算量,本实施例将Z值设为相同值,以便在进行光轴矫正时统一矫正,比如:可将Z值设置为1。
步骤23:按照时间顺序对获取到的至少两个物理坐标进行排序,并计算相邻的两个物理坐标之间的距离与时间差。
每个物理坐标对应一个时刻,在获取到不同时刻的物理坐标后,按照时间先后顺序对所有物理坐标进行排序,以便得到待检测目标的运动规律;然后对排序后的物理坐标来说,计算相邻两个物理坐标之间的距离与时间间隔;例如,假设有三个物理坐标B1-B3,在排序后顺序变成:B1、B3、B2,即待检测目标从物理坐标B1处先运动到物理坐标B3处,再由物理坐标B3处运动到物理坐标B2处,此时可计算物理坐标B1与物理坐标B3之间的距离与时间差,并计算物理坐标B3与物理坐标B2之间的距离与时间差。
可以理解地,如果第二监控设备按照时间先后顺序发送包含待检测目标的图像至第一监控设备,则物理坐标的顺序也是按照时间先后顺序排列的,此时第一监控设备无需进行排序。
步骤24:利用距离与时间差,预测待检测目标的预测位置。
将距离除以对应的时间差,得到相应的运动速度;然后基于所有运动速度,确定待检测目标的运动曲线;利用运动曲线预估在下一时刻待检测目标的位置,得到预测位置。
进一步地,可判断待检测目标是否匀速运动,比如:判断所有运动速度的方差是否小于/等于预设值,如果该方差小于/等于预设值,则表明待检测目标的运动速度的变化不大,此时可判定其匀速运动;如果该方差大于预设值,则表明待检测目标不是匀速运动的,此时可进一步计算,寻找其运动的规律,得到待检测目标的运动曲线。
步骤25:利用预测位置以及至少两个物理坐标,计算云台的位姿参数。
在计算出待检测目标在下一时刻的物理坐标后,可利用预测位置与获取到的物理坐标计算出云台的位姿。
在一具体的实施例中,以待检测目标匀速运动、至少两个物理坐标包括第一物理坐标与第二物理坐标为例进行说明,第一物理坐标与第一时刻对应,第二物理坐标与第二时刻对应,第一物理坐标包括第一水平角度与第一垂直角度,第二物理坐标包括第二水平角度与第二垂直角度,云台的位姿参数包括下一水平角度与下一垂直角度。
将云台的位姿参数对应的时刻记作下一时刻;基于第一水平角度、第一垂直角度、第二水平角度、第二垂直角度、第一时刻与第二时刻的时间差以及下一时刻与第二时刻的时间差,计算下一水平角度与下一垂直角度。
先构建三维物理坐标系,如图3所示,L为枪球联动设备10的安装高度,即与地面的距离;A、B分别为某个待检测目标在t0时刻(即第一时刻)、t1时刻(即第二时刻)的物理位置,其坐标分别为(x0,y0)、(x1,y1);C为该待检测目标在t2时刻(即下一时刻)的预测位置,其坐标为(x2,y2)。A'、B'、C'分别为A、B、C在X轴的投影,α0、α1、α2分别为∠AOA'、∠BOB'、∠COC'的角度,分别记作第一水平角度、第二水平角度、第三水平角度;D为第二监控设备所在的位置;θ0、θ1、θ2分别为∠ADO、∠BDO、∠CDO的角度,分别记作第一垂直角度、第二垂直角度、第三垂直角度。
假设第一监控设备的云台对应的X轴方向水平角度(即水平基准角度)为αx,αx可通过让第一监控设备的中心与第二监控设备的中心在垂直方向上对齐后获取,云台水平坐标系度数为左减右加,则有:
Figure BDA0003115974390000071
其中,
Figure BDA0003115974390000072
分别为t0、t1、t2时刻云台的水平角度,
Figure BDA0003115974390000073
为预测的水平角度,即下一水平角度。
假设云台垂直坐标系度数为上正下负,则有:
Figure BDA0003115974390000074
其中,
Figure BDA0003115974390000075
分别为t0、t1、t2时刻云台的垂直角度,
Figure BDA0003115974390000076
为预测的垂直角度,即下一垂直角度。
根据正切与余弦定理,有如下关系:
Figure BDA0003115974390000077
只要计算出α2、θ2,代入公式(1)-(2)即可求得预测的水平角度、垂直角度。
由于待检测目标的运动情况按照匀速运动处理,固有:
Figure BDA0003115974390000078
综合公式(3)与公式(4),有:
Figure BDA0003115974390000081
由公式(5),可以得到:
Figure BDA0003115974390000082
Figure BDA0003115974390000083
由公式(7),可以得到:
Figure BDA0003115974390000084
由上面的分析可知,如图3所示,计算下一水平角度包括如下步骤:步骤301:计算下一时刻与第一时刻之间的时间差,得到第一时间差。采用如下公式计算第一时间差:
Δt1=t2-t0 (9)
步骤302:计算下一时刻与第二时刻之间的时间差,得到第二时间差。
采用如下公式计算第二时间差:
Δt2=t2-t1 (10)
步骤303:计算第二垂直角度的正切值、第二水平角度的正弦值以及第一时间差的乘积,得到第一数值。
采用如下公式计算第一数值:
c1=tgθ1·sinα1·Δt1=tgθ1·sinα1·(t2-t0) (11)
步骤304:计算第一垂直角度的正切值、第一水平角度的正弦值以及第二时间差的乘积,得到第二数值。
采用如下公式计算第二数值:
c2=tgθ0·sinα0·Δt2=tgθ0·sinα0·(t2-t1) (12)
步骤305:将第一数值与第二数值相减,得到第三数值。
采用如下公式计算第三数值:
c3=c1-c2=tgθ1·sinα1·(t2-t0)-tgθ0·sinα0·(t2-t1) (13)
步骤306:计算第二垂直角度的正切值、第二水平角度的余弦值以及第一时间差的乘积,得到第四数值。
采用如下公式计算第四数值:
c4=tgθ1·cosα1·Δt1=tgθ1·cosα1·(t2-t0) (14)
步骤307:计算第一垂直角度的正切值、第一水平角度的余弦值以及第二时间差的乘积,得到第五数值。
采用如下公式计算第五数值:
c5=tgθ0·cosα0·Δt2=tgθ0·cosα0·(t2-t1) (15)
步骤308:将第四数值与第五数值相减,得到第六数值。
采用如下公式计算第六数值:
c6=c4-c5=tgθ1·cosα1·(t2-t0)-tgθ0·cosα0·(t2-t1) (16)
步骤309:将第三数值与第六数值相除,得到第一比值,并对第一比值进行反正切运算,得到第三水平角度。
采用如下公式计算第三水平角度:
Figure BDA0003115974390000101
步骤310:基于第三水平角度计算出下一水平角度。
将第三水平角度与预设水平角度相加,得到下一水平角度,该预设水平角度为αx,即采用如下公式计算下一水平角度:
Figure BDA0003115974390000102
即云台的水平坐标的预测值
Figure BDA0003115974390000103
等于物理坐标系水平基准角度αx与预测时刻t2物理坐标系水平角度α2的和。
综上所述,t0、t1时刻的物理坐标系水平角度α0、α1,可根据云台水平方向的角度值建立映射关系,从而计算出下一时刻的水平角度
Figure BDA0003115974390000104
可以理解地,α0、α1也可转换成弧度,并与云台水平方向建立关系。
如图4所示,计算下一垂直角度包括如下步骤:
步骤41:计算第二时刻与第一时刻之间的时间差,得到第三时间差。
采用如下公式计算第三时间差:
Δt3=t1-t0 (19)
步骤42:将第三时间差与第二时间差相减,得到第四时间差。
采用如下公式计算第四时间差:
Δt4=Δt3-Δt2=t1-t0-t2+t1 (20)
步骤43:计算第二垂直角度的正切值、第二水平角度的余弦值以及第四时间差的乘积,得到第七数值。
采用如下公式计算第七数值:
c7=tgθ1·cosα1·Δt4=tgθ1·cosα1·(t1-t0-t2+t1) (21)
步骤44:将第七数值与第五数值相加,得到第八数值。
采用如下公式计算第八数值:
c8=c7+c5=tgθ1·cosα1·(t1-t0-t2+t1)+tgθ0·cosα0·(t2-t1) (22)
步骤45:将下一水平角度的余弦值与第三时间差相乘,得到第九数值。
采用如下公式计算第九数值:
c9=tgθ0·cosα0·Δt3=tgθ0·cosα0·(t2-t1) (23)
步骤46:将第八数值与第九数值相除,得到第二比值,并对第二比值进行反正切运算,得到第三垂直角度。
采用如下公式计算第三垂直角度:
Figure BDA0003115974390000111
步骤47:基于第三垂直角度计算出下一垂直角度。
将预设垂直角度与第三垂直角度相减,得到下一垂直角度,该预设垂直角度为-90°,即采用如下公式计算下一垂直角度:
Figure BDA0003115974390000112
综上所述,t0、t1时刻的物理坐标系垂直角度θ0、θ1,可根据云台垂直方向的角度值建立映射关系,从而计算出下一时刻的垂直角度
Figure BDA0003115974390000113
可以理解地,θ0、θ1也可转换成弧度,并与云台垂直方向建立关系。
步骤26:判断当前拍摄倍率是否为预设倍率。
为了确定是否需要进光轴矫正,将当前拍摄倍数与预设倍数进行比较,该预设倍率可以为1。
步骤27:若当前拍摄倍率不为预设倍率,则基于当前拍摄倍率对云台的位姿参数进行修正,以使得在当前拍摄倍率下待检测目标位于第一监控设备所拍摄到的画面的中心。
如果当前拍摄倍数大于或小于预设倍数,则表明需要进行光轴矫正,可根据光轴偏差的参数计算在当前拍摄倍率下的水平角度、垂直角度的修正值,实现对步骤25得到的结果进行修正。
本实施例提供了一种应用于枪球联动设备的方法,通过实际物理坐标系准确预测云台位姿,可以预测出某一时刻第一监控设备要捕捉同一待检测目标时云台的坐标,提升预测的准确性。
请参阅图6,图6是本申请提供的第一监控设备一实施例的结构示意图,第一监控设备60包括互相连接的存储器61和处理器62,存储器61用于存储计算机程序,计算机程序在被处理器62执行时,用于实现上述实施例中的云台位姿预测的方法。
如图7所示,处理器62包括三个模块:坐标转换模块621、物理坐标系计算模块622以及光轴矫正模块623。
坐标转换模块621负责将待检测目标在第二监控设备拍摄到的视频画面中的至少两个点位置转换为第一监控设备60中云台的PTZ坐标。
物理坐标系计算模块622与坐标转换模块621连接,负责根据坐标转换模块621输出的物理坐标,计算下一时刻云台的位姿参数,即预测云台的水平角度与垂直角度。
光轴矫正模块623与物理坐标系计算模块622连接,其根据光轴偏差的参数计算在当前拍摄倍率下的水平角度的修正值、垂直角度的修正值,实现对物理坐标系计算模块622输出的结果进行修正。
本实施例所提供的第一监控设备通过实际物理坐标系准确预测云台的位姿,可以提升预测的准确性。
请参阅图8,图8是本申请提供的枪球联动设备一实施例的结构示意图,枪球联动设备80包括互相连接的第一监控设备81和第二监控设备82,第二监控设备82用于接收第一监控设备81发送的拍摄图像,第一监控设备81为上述实施例中的第一监控设备。
请参阅图9,图9是本申请提供的计算机可读存储介质一实施例的结构示意图,计算机可读存储介质90用于存储计算机程序91,计算机程序91在被处理器执行时,用于实现上述实施例中的云台位姿预测的方法。
计算机可读存储介质90可以是服务端、U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施方式中,应该理解到,所揭露的方法以及设备,可以通过其它的方式实现。例如,以上所描述的设备实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅为本申请的实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (13)

1.一种云台位姿预测的方法,其特征在于,应用于枪球联动设备,所述枪球联动设备包括互相连接的第一监控设备和第二监控设备,所述第一监控设备包括云台,所述方法包括:
获取同一待检测目标在至少两个不同时刻的图像坐标,其中,所述图像坐标为所述第二监控设备拍摄到的所述待检测目标在图像中的位置坐标;
将所述图像坐标转换为所述云台所在的物理坐标系下的物理坐标,得到至少两个物理坐标;
基于所述至少两个物理坐标,预估所述云台的位姿,得到所述云台的位姿参数。
2.根据权利要求1所述的云台位姿预测的方法,其特征在于,所述基于所述至少两个物理坐标,预估所述云台的位姿,得到所述云台的位姿参数的步骤,包括:
按照时间顺序对所述至少两个物理坐标进行排序,并计算相邻的两个所述物理坐标之间的距离与时间差;
利用所述距离与所述时间差,预测所述待检测目标的预测位置;
利用所述预测位置以及所述至少两个物理坐标,计算所述云台的位姿参数。
3.根据权利要求2所述的云台位姿预测的方法,其特征在于,所述利用所述距离与所述时间差,预测所述待检测目标的预测位置的步骤,包括:
将所述距离除以对应的时间差,得到相应的运动速度;
基于所有所述运动速度,确定所述待检测目标的运动曲线;
利用所述运动曲线预估所述待检测目标的位置,得到所述预测位置。
4.根据权利要求3所述的云台位姿预测的方法,其特征在于,所述待检测目标匀速运动,所述至少两个物理坐标包括第一物理坐标与第二物理坐标,所述第一物理坐标与第一时刻对应,所述第二物理坐标与第二时刻对应,所述第一物理坐标包括第一水平角度与第一垂直角度,所述第二物理坐标包括第二水平角度与第二垂直角度,所述云台的位姿参数包括下一水平角度与下一垂直角度,所述方法包括:
将所述云台的位姿参数对应的时刻记作下一时刻;
基于所述第一水平角度、所述第一垂直角度、所述第二水平角度、所述第二垂直角度、所述第一时刻与所述第二时刻的时间差以及所述下一时刻与所述第二时刻的时间差,计算所述下一水平角度与所述下一垂直角度。
5.根据权利要求4所述的云台位姿预测的方法,其特征在于,所述基于所述第一水平角度、所述第一垂直角度、所述第二水平角度、所述第二垂直角度、所述第一时刻与所述第二时刻的时间差以及所述下一时刻与所述第二时刻的时间差,计算所述下一水平角度与所述下一垂直角度的步骤,包括:
计算所述下一时刻与所述第一时刻之间的时间差,得到第一时间差;
计算所述下一时刻与所述第二时刻之间的时间差,得到第二时间差;
计算所述第二垂直角度的正切值、所述第二水平角度的正弦值以及所述第一时间差的乘积,得到第一数值;
计算所述第一垂直角度的正切值、所述第一水平角度的正弦值以及所述第二时间差的乘积,得到第二数值;
将所述第一数值与所述第二数值相减,得到第三数值;
计算所述第二垂直角度的正切值、所述第二水平角度的余弦值以及所述第一时间差的乘积,得到第四数值;
计算所述第一垂直角度的正切值、所述第一水平角度的余弦值以及所述第二时间差的乘积,得到第五数值;
将所述第四数值与所述第五数值相减,得到第六数值;
将所述第三数值与所述第六数值相除,得到第一比值,并对所述第一比值进行反正切运算,得到第三水平角度;
基于所述第三水平角度计算出所述下一水平角度。
6.根据权利要求5所述的云台位姿预测的方法,其特征在于,所述基于所述第三水平角度计算出所述下一水平角度的步骤,包括:
将所述第三水平角度与预设水平角度相加,得到所述下一水平角度。
7.根据权利要求5所述的云台位姿预测的方法,其特征在于,所述基于所述第一水平角度、所述第一垂直角度、所述第二水平角度、所述第二垂直角度、所述第一时刻与所述第二时刻的时间差以及所述下一时刻与所述第二时刻的时间差,计算所述下一水平角度与所述下一垂直角度的步骤,包括:还包括:
计算所述第二时刻与所述第一时刻之间的时间差,得到第三时间差;
将所述第三时间差与所述第二时间差相减,得到第四时间差;
计算所述第二垂直角度的正切值、所述第二水平角度的余弦值以及所述第四时间差的乘积,得到第七数值;
将所述第七数值与所述第五数值相加,得到第八数值;
将所述下一水平角度的余弦值与所述第三时间差相乘,得到第九数值;
将所述第八数值与所述第九数值相除,得到第二比值,并对所述第二比值进行反正切运算,得到第三垂直角度;
基于所述第三垂直角度计算出所述下一垂直角度。
8.根据权利要求7所述的云台位姿预测的方法,其特征在于,所述基于所述第三垂直角度计算出所述下一垂直角度的步骤,包括:
将预设垂直角度与所述第三垂直角度相减,得到所述下一垂直角度。
9.根据权利要求1所述的云台位姿预测的方法,其特征在于,所述方法还包括:
基于当前拍摄倍率对所述云台的位姿参数进行修正,以使得在所述当前拍摄倍率下所述待检测目标位于所述第一监控设备所拍摄到的画面的中心。
10.根据权利要求9所述的云台位姿预测的方法,其特征在于,所述基于当前拍摄倍率对所述云台的位姿参数进行修正的步骤之前,还包括:
判断所述当前拍摄倍率是否为预设倍率;
若否,则执行所述基于当前拍摄倍率对所述云台的位姿参数进行修正的步骤。
11.一种第一监控设备,其特征在于,包括互相连接的存储器和处理器,其中,所述存储器用于存储计算机程序,所述计算机程序在被所述处理器执行时,用于实现权利要求1-10中任一项所述的云台位姿预测的方法。
12.一种枪球联动设备,其特征在于,包括互相连接的第一监控设备和第二监控设备,所述第二监控设备用于接收所述第一监控设备发送的拍摄图像,其中,所述第一监控设备为权利要求11所述的第一监控设备。
13.一种计算机可读存储介质,用于存储计算机程序,其特征在于,所述计算机程序在被处理器执行时,用于实现权利要求1-10中任一项所述的云台位姿预测的方法。
CN202110662657.4A 2021-06-15 2021-06-15 一种云台位姿预测的方法、设备和计算机可读存储介质 Pending CN113506340A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110662657.4A CN113506340A (zh) 2021-06-15 2021-06-15 一种云台位姿预测的方法、设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110662657.4A CN113506340A (zh) 2021-06-15 2021-06-15 一种云台位姿预测的方法、设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113506340A true CN113506340A (zh) 2021-10-15

Family

ID=78010035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110662657.4A Pending CN113506340A (zh) 2021-06-15 2021-06-15 一种云台位姿预测的方法、设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113506340A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113949814A (zh) * 2021-11-09 2022-01-18 重庆紫光华山智安科技有限公司 一种枪球联动抓拍方法、装置、设备及介质
CN114565677A (zh) * 2022-01-14 2022-05-31 浙江大华技术股份有限公司 一种定位纠偏方法、监控设备和计算机可读存储介质
CN116128981A (zh) * 2023-04-19 2023-05-16 北京元客视界科技有限公司 光学系统标定方法、装置和标定系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009017480A (ja) * 2007-07-09 2009-01-22 Nippon Hoso Kyokai <Nhk> カメラキャリブレーション装置およびそのプログラム
CN102629986A (zh) * 2012-04-10 2012-08-08 广州市奥威亚电子科技有限公司 一种自动跟踪拍摄方法
CN104361603A (zh) * 2014-11-28 2015-02-18 苏州科达科技股份有限公司 枪机图像目标标定方法及其系统
WO2017177542A1 (zh) * 2016-04-12 2017-10-19 高鹏 目标跟踪方法、装置和系统
CN107292906A (zh) * 2017-08-11 2017-10-24 阔地教育科技有限公司 一种目标跟踪方法、存储设备及目标跟踪装置
CN108495085A (zh) * 2018-03-14 2018-09-04 成都新舟锐视科技有限公司 一种基于活动目标检测的球机自动跟踪控制方法及系统
CN108628306A (zh) * 2018-04-10 2018-10-09 平安科技(深圳)有限公司 机器人行走障碍检测方法、装置、计算机设备和存储介质
CN110083180A (zh) * 2019-05-22 2019-08-02 深圳市道通智能航空技术有限公司 云台控制方法、装置、控制终端及飞行器系统
CN111798514A (zh) * 2020-06-29 2020-10-20 山东大学日照智能制造研究院 一种海洋牧场智能运动目标跟踪监测方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009017480A (ja) * 2007-07-09 2009-01-22 Nippon Hoso Kyokai <Nhk> カメラキャリブレーション装置およびそのプログラム
CN102629986A (zh) * 2012-04-10 2012-08-08 广州市奥威亚电子科技有限公司 一种自动跟踪拍摄方法
CN104361603A (zh) * 2014-11-28 2015-02-18 苏州科达科技股份有限公司 枪机图像目标标定方法及其系统
WO2017177542A1 (zh) * 2016-04-12 2017-10-19 高鹏 目标跟踪方法、装置和系统
CN107292906A (zh) * 2017-08-11 2017-10-24 阔地教育科技有限公司 一种目标跟踪方法、存储设备及目标跟踪装置
CN108495085A (zh) * 2018-03-14 2018-09-04 成都新舟锐视科技有限公司 一种基于活动目标检测的球机自动跟踪控制方法及系统
CN108628306A (zh) * 2018-04-10 2018-10-09 平安科技(深圳)有限公司 机器人行走障碍检测方法、装置、计算机设备和存储介质
WO2019196313A1 (zh) * 2018-04-10 2019-10-17 平安科技(深圳)有限公司 机器人行走障碍检测方法、装置、计算机设备和存储介质
CN110083180A (zh) * 2019-05-22 2019-08-02 深圳市道通智能航空技术有限公司 云台控制方法、装置、控制终端及飞行器系统
CN111798514A (zh) * 2020-06-29 2020-10-20 山东大学日照智能制造研究院 一种海洋牧场智能运动目标跟踪监测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HUY-HIEU PHAM ET AL.: "Learning to recognise 3D human action from a new skeleton-based representation using deep convolutional neural networks", IET COMPUTER VISION, vol. 13, no. 3, 4 March 2019 (2019-03-04) *
程梦娇;申夏晶;肖江剑;宋文祥;: "基于激光扫描的鱼眼相机三维标定方法", 光学学报, vol. 37, no. 03, 31 March 2017 (2017-03-31) *
郭文强;高晓光;侯勇严;: "基于卡尔曼预测算法的云台三维空间目标跟踪", 陕西科技大学学报, no. 03, 25 June 2007 (2007-06-25) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113949814A (zh) * 2021-11-09 2022-01-18 重庆紫光华山智安科技有限公司 一种枪球联动抓拍方法、装置、设备及介质
CN113949814B (zh) * 2021-11-09 2024-01-26 重庆紫光华山智安科技有限公司 一种枪球联动抓拍方法、装置、设备及介质
CN114565677A (zh) * 2022-01-14 2022-05-31 浙江大华技术股份有限公司 一种定位纠偏方法、监控设备和计算机可读存储介质
CN116128981A (zh) * 2023-04-19 2023-05-16 北京元客视界科技有限公司 光学系统标定方法、装置和标定系统

Similar Documents

Publication Publication Date Title
US10928838B2 (en) Method and device of determining position of target, tracking device and tracking system
CN113506340A (zh) 一种云台位姿预测的方法、设备和计算机可读存储介质
CN107016367B (zh) 一种跟踪控制方法及跟踪控制系统
CN109151375B (zh) 一种目标对象抓拍方法、装置及视频监控设备
JP6734940B2 (ja) 三次元計測装置
US9696404B1 (en) Real-time camera tracking system using optical flow feature points
CN110415278B (zh) 直线移动ptz相机辅助双目ptz视觉系统的主从跟踪方法
CN110910459B (zh) 一种对摄像装置的标定方法、装置及标定设备
CN111678521B (zh) 一种移动机器人定位精度的评估方法和系统
CN113447923A (zh) 目标检测方法、装置、系统、电子设备及存储介质
CN110827321B (zh) 一种基于三维信息的多相机协同的主动目标跟踪方法
KR101111503B1 (ko) 전방향 피티지 카메라 제어 장치 및 그 방법
CN108932732B (zh) 一种获取监测对象数据信息的方法及装置
CN110602376B (zh) 抓拍方法及装置、摄像机
CN116030099B (zh) 一种基于ptz相机的多目标跟踪方法及装置
CN111273701A (zh) 一种云台视觉控制系统以及控制方法
CN111780744B (zh) 移动机器人混合导航方法、设备及存储装置
CN112215036B (zh) 跨镜追踪方法、装置、设备及存储介质
CN115883969B (zh) 一种无人机拍摄方法、装置、设备及介质
CN111405193B (zh) 聚焦方法、装置和摄像设备
CN112601021A (zh) 一种网络摄像机监控视频的处理方法及系统
CN112702513A (zh) 一种双光云台协同控制方法、装置、设备及存储介质
JP2021197572A (ja) カメラ制御装置及びプログラム
CN110827323A (zh) 一种用于水下装置定点悬停的方法和装置
CN113038120B (zh) 一种回程差确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination