CN110609576B - 一种云台控制方法、装置、系统、控制设备及存储介质 - Google Patents
一种云台控制方法、装置、系统、控制设备及存储介质 Download PDFInfo
- Publication number
- CN110609576B CN110609576B CN201910919306.XA CN201910919306A CN110609576B CN 110609576 B CN110609576 B CN 110609576B CN 201910919306 A CN201910919306 A CN 201910919306A CN 110609576 B CN110609576 B CN 110609576B
- Authority
- CN
- China
- Prior art keywords
- holder
- target
- jerk
- moment
- ball machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D3/00—Control of position or direction
- G05D3/12—Control of position or direction using feedback
- G05D3/20—Control of position or direction using feedback using a digital comparing device
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Studio Devices (AREA)
- Accessories Of Cameras (AREA)
Abstract
本发明公开了一种云台控制方法、装置、系统、控制设备及存储介质，包括：接收第二球机发送的目标对象在每个时刻对应的转动角度，其中，所述每个时刻对应的转动角度是所述第二球机根据所述目标对象在每个时刻的坐标信息确定的；根据当前时刻对应的转动角度和上两个时刻对应的转动角度，确定所述目标对象当前的目标运动参数；根据所述目标运动参数，控制第一球机的第一云台和第二球机的第二云台进行转动，其中，所述第一云台和第二云台转动的合成运动参数与所述目标运动参数相同。通过两个云台协同转动跟踪，缩短了定位时间，提升了跟踪效率，并且两个云台协同转动跟踪，提高了视场范围，避免了目标对象突然加速或减速时，跟踪丢失的问题。
Description
技术领域
本发明涉及监控技术领域，尤其涉及一种云台控制方法、装置、系统、控制设备及存储介质。
背景技术
近年来随着科学技术的快速发展，对于目标对象的跟踪，应用越来越广泛。现有技术中在对目标对象进行跟踪时，包括以下几种方法：
1、基于单球机跟踪，该方法在场景中安装一个球机，该球机通过智能算法识别出画面中的目标对象，并根据目标对象在画面中的坐标信息确定出球机的转动角度，球机根据转动角度进行转动，实现对目标对象的跟踪。
2、基于枪球联动跟踪，该方法在场景中安装枪机和球机，枪机固定不动，球机转动跟踪目标对象。具体的，枪机通过智能算法识别目标对象，并将目标对象的坐标信息发送至球机，球机根据坐标信息确定转动角度，根据转动角度进行转动，实现对目标对象的跟踪。
现有技术对于运动速度较慢的目标对象跟踪效果较好，但是当目标对象突然加速或减速时，跟踪效率较低，并且目标对象有可能跑出视场范围，导致跟踪丢失。
发明内容
本发明实施例提供了一种云台控制方法、装置、系统、控制设备及存储介质，用以解决现有技术中当目标对象突然加速或减速时，跟踪效率较低，并且目标对象有可能跑出视场范围，导致跟踪丢失的问题。
本发明实施例提供了一种云台控制方法，所述方法包括：
接收第二球机发送的目标对象在每个时刻对应的转动角度，其中，所述每个时刻对应的转动角度是所述第二球机根据所述目标对象在每个时刻的坐标信息确定的；
根据当前时刻对应的转动角度和上两个时刻对应的转动角度，确定所述目标对象当前的目标运动参数；
根据所述目标运动参数，控制第一球机的第一云台和第二球机的第二云台进行转动，其中，所述第一云台和第二云台转动的合成运动参数与所述目标运动参数相同。
进一步地，所述根据当前时刻对应的转动角度和上两个时刻对应的转动角度，确定所述目标对象当前的目标运动参数包括：
根据当前时刻对应的转动角度、上两个时刻对应的转动角度和PID算法，确定所述目标对象当前的目标速度。
进一步地，所述根据所述目标运动参数，控制第一球机的第一云台和第二球机的第二云台进行转动包括：
当所述目标速度小于等于所述第二云台的最大转动速度时，控制所述第二云台根据所述目标速度进行转动；
当所述目标速度大于所述第二云台的最大转动速度时，控制所述第二云台根据所述最大转动速度进行转动，控制所述第一云台根据所述目标速度与所述最大转动速度的差值进行转动；
其中，速度包括水平方向速度和垂直方向速度。
进一步地，所述根据当前时刻对应的转动角度和上两个时刻对应的转动角度，确定所述目标对象当前的目标运动参数包括：
根据当前时刻对应的转动角度、上两个时刻对应的转动角度和PID算法，确定所述目标对象当前的目标速度；
根据所述目标速度和当前时刻与上一时刻的时间间隔，确定目标加速度。
进一步地，所述根据所述目标运动参数，控制第一球机的第一云台和第二球机的第二云台进行转动包括：
获取当前时刻所述第一云台和第二云台的合成加速度，根据所述合成加速度和目标加速度，确定加速度差；
根据当前时刻与上一时刻的时间间隔和所述加速度差，确定合成加加速度；
根据所述合成加加速度控制所述第一云台和第二云台进行转动，其中，所述第一云台和第二云台转动的加加速度的和为所述合成加加速度。
进一步地，所述根据所述合成加加速度控制所述第一云台和第二云台进行转动包括：
当所述合成加加速度小于等于所述第二云台的最大加加速度时，控制所述第二云台根据所述合成加加速度进行转动；
当所述合成加加速度大于所述第二云台的最大加加速度时，控制所述第二云台根据所述最大加加速度进行转动，控制所述第一云台根据所述合成加加速度与所述最大加加速度的差值进行转动；
其中，加加速度包括水平方向加加速度和垂直方向加加速度。
另一方面，本发明实施例提供了一种云台控制装置，所述装置包括：
接收模块，用于接收第二球机发送的目标对象在每个时刻对应的转动角度，其中，所述每个时刻对应的转动角度是所述第二球机根据所述目标对象在每个时刻的坐标信息确定的；
确定模块，用于根据当前时刻对应的转动角度和上两个时刻对应的转动角度，确定所述目标对象当前的目标运动参数；
控制模块，用于根据所述目标运动参数，控制第一球机的第一云台和第二球机的第二云台进行转动，其中，所述第一云台和第二云台转动的合成运动参数与所述目标运动参数相同。
所述确定模块，具体用于根据当前时刻对应的转动角度、上两个时刻对应的转动角度和PID算法，确定所述目标对象当前的目标速度。
所述控制模块，具体用于当所述目标速度小于等于所述第二云台的最大转动速度时，控制所述第二云台根据所述目标速度进行转动；当所述目标速度大于所述第二云台的最大转动速度时，控制所述第二云台根据所述最大转动速度进行转动，控制所述第一云台根据所述目标速度与所述最大转动速度的差值进行转动；其中，速度包括水平方向速度和垂直方向速度。
所述确定模块，具体用于根据当前时刻对应的转动角度、上两个时刻对应的转动角度和PID算法，确定所述目标对象当前的目标速度；根据所述目标速度和当前时刻与上一时刻的时间间隔，确定目标加速度。
所述控制模块，具体用于获取当前时刻所述第一云台和第二云台的合成加速度，根据所述合成加速度和目标加速度，确定加速度差；根据当前时刻与上一时刻的时间间隔和所述加速度差，确定合成加加速度；根据所述合成加加速度控制所述第一云台和第二云台进行转动，其中，所述第一云台和第二云台转动的加加速度的和为所述合成加加速度。
所述控制模块，具体用于当所述合成加加速度小于等于所述第二云台的最大加加速度时，控制所述第二云台根据所述合成加加速度进行转动；当所述合成加加速度大于所述第二云台的最大加加速度时，控制所述第二云台根据所述最大加加速度进行转动，控制所述第一云台根据所述合成加加速度与所述最大加加速度的差值进行转动；其中，加加速度包括水平方向加加速度和垂直方向加加速度。
另一方面，本发明实施例提供了一种云台控制系统，所述系统包括：控制设备、第一球机和第二球机；所述第一球机的第一云台与第二球机的第二云台连接，所述控制设备分别与所述第一云台、第二云台和第二球机连接；
所述第二球机，用于根据目标对象在每个时刻的坐标信息，确定所述目标对象在每个时刻对应的转动角度，并将每个时刻对应的转动角度发送至所述控制设备；
所述控制设备，用于根据当前时刻对应的转动角度和上两个时刻对应的转动角度，确定所述目标对象当前的目标运动参数；根据所述目标运动参数，控制所述第一云台和第二云台进行转动，其中，所述第一云台和第二云台转动的合成运动参数与所述目标运动参数相同。
另一方面，本发明实施例提供了一种控制设备，包括处理器、智能协处理器(NNIE)、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一项所述的方法步骤；
智能协处理器(NNIE)，用于执行处理器分配给其的目标对象识别任务，通过神经网络卷积计算，识别图像中的跟踪目标对象及运动态势。
另一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法步骤。
本发明实施例提供了一种云台控制方法、装置、系统、控制设备及存储介质，所述方法包括：接收第二球机发送的目标对象在每个时刻对应的转动角度，其中，所述每个时刻对应的转动角度是所述第二球机根据所述目标对象在每个时刻的坐标信息确定的；根据当前时刻对应的转动角度和上两个时刻对应的转动角度，确定所述目标对象当前的目标运动参数；根据所述目标运动参数，控制第一球机的第一云台和第二球机的第二云台进行转动，其中，所述第一云台和第二云台转动的合成运动参数与所述目标运动参数相同。
由于在本发明实施例中，确定目标对象当前的目标运动参数后，根据目标运动参数，控制第一球机的第一云台和第二球机的第二云台进行转动，其中，所述第一云台和第二云台转动的合成运动参数与所述目标运动参数相同。通过两个云台协同转动跟踪，缩短了定位时间，提升了跟踪效率，并且两个云台协同转动跟踪，提高了视场范围，避免了目标对象突然加速或减速时，跟踪丢失的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的云台控制过程示意图；
图2为本发明实施例4提供的云台控制装置结构示意图；
图3为本发明实施例5提供的云台控制系统结构示意图；
图4为本发明实施例5提供的实际场景中云台控制系统结构示意图；
图5为本发明实施例6提供的控制设备结构示意图；
图6为本发明实施例提供的第一球机和第二球机内部结构示意图。
具体实施方式
下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1：
图1为本发明实施例提供的云台控制过程示意图，该过程包括以下步骤：
S101：通过智能算法识别出图像中的目标对象，及所述目标对象的运动趋势。
S102：接收第二球机发送的目标对象在每个时刻对应的转动角度，其中，所述每个时刻对应的转动角度是所述第二球机根据所述目标对象在每个时刻的坐标信息确定的。
S103：根据当前时刻对应的转动角度和上两个时刻对应的转动角度，确定所述目标对象当前的目标运动参数。
S104：根据所述目标运动参数，控制第一球机的第一云台和第二球机的第二云台进行转动，其中，所述第一云台和第二云台转动的合成运动参数与所述目标运动参数相同。
本发明实施例提供的云台控制方法涉及对第一云台和第二云台的控制，第一云台为第一球机中的云台，第二云台为第二球机中的云台。第一球机可以是PT全景摄像机，第二球机可以是PTZ球机。第一球机的第一云台与第二球机的第二云台连接，第一云台转动可以带动第二云台一起转动，例如第一云台的转动速度为V云台1，第二云台的转动速度为V云台2，则第二云台的合成转动速度，也就是实际转动速度为V云台1+V云台2。本发明实施例提供的云台控制方法应用于控制设备，控制设备分别与第一云台、第二云台和第二球机连接。
球机首先通过智能算法可以识别出图像中的目标对象以及目标对象的运动趋势。在跟踪目标对象时，可以进行智能变倍，在跟踪远去的目标对象时，目标对象在画面中变小，在跟踪靠近的目标对象时，目标对象在画面中变大，球机可以根据目标对象在画面中的大小进行智能变倍聚焦。
第二球机通过现有的智能算法可以识别画面内的目标对象，目标对象在运动的过程中，目标对象在第二球机画面内的坐标信息会发生变化，通过三维定位的方法，根据目标对象每个时刻的坐标信息，可以确定出目标对象在每个时刻对应的转动角度。第二球机确定出目标对象在每个时刻对应的转动角度后，将目标对象在每个时刻对应的转动角度发送至控制设备。
控制设备根据当前时刻对应的转动角度和上两个时刻对应的转动角度，可以确定目标对象当前的目标运动参数。例如，控制设备中可以预先保存转动角度的差值与目标运动参数的对应关系，根据当前时刻对应的转动角度和上两个时刻对应的转动角度，确定相邻时刻的转动角度的差值，根据相邻时刻的转动角度的差值和上述对应关系确定目标对象当前的目标运动参数。
由于转动角度包括水平转动角度和垂直转动角度，因此目标运动参数包括水平目标运动参数和垂直目标运动参数。其中，目标运动参数包括速度和加速度。
控制设备确定出目标对象当前的目标运动参数后，根据目标运动参数，控制第一球机的第一云台和第二球机的第二云台进行转动，其中，第一云台和第二云台转动的合成运动参数与目标运动参数相同。具体的，第一云台和第二云台转动的水平合成运动参数与水平目标运动参数相同、第一云台和第二云台转动的垂直合成运动参数与垂直目标运动参数相同。并且，为第一云台和第二云台分配的运动参数不超过自身的运动参数的最大值即可。
由于在本发明实施例中，确定目标对象当前的目标运动参数后，根据目标运动参数，控制第一球机的第一云台和第二球机的第二云台进行转动，其中，所述第一云台和第二云台转动的合成运动参数与所述目标运动参数相同。通过两个云台协同转动跟踪，缩短了定位时间，提升了跟踪效率，并且两个云台协同转动跟踪，提高了视场范围，避免了目标对象突然加速或减速时，跟踪丢失的问题。
实施例2：
在本发明实施例中，以目标运动参数为目标速度进行说明。所述根据当前时刻对应的转动角度和上两个时刻对应的转动角度，确定所述目标对象当前的目标运动参数包括：
根据当前时刻对应的转动角度、上两个时刻对应的转动角度和PID算法，确定所述目标对象当前的目标速度。
控制设备根据当前时刻对应的转动角度、上两个时刻对应的转动角度，经过PID(Proportion Integral Differential)算法分别计算出目标对象的水平目标速度
和垂直目标速度
具体的，根据如下公式计算目标对象的水平目标速度
和垂直目标速度
Vx合＝Kp×eix+Kix×∑eix+Kd×(eix-e(i-1)x)；Vy合＝Kp×eiy+Kiy×∑eiy+Kd×(eiy-e(i-1)y)；其中，Kp、Kd、Kix、Kiy为PID算法中的参数，eix为当前i时刻的水平转动角度与i-1时刻的水平转动角度的差值，e(i-1)x为i-1时刻的水平转动角度与i-2时刻的水平转动角度的差值，eiy为当前i时刻的垂直转动角度与i-1时刻的垂直转动角度的差值，e(i-1)y为i-1时刻的垂直转动角度与i-2时刻的垂直转动角度的差值。
所述根据所述目标运动参数，控制第一球机的第一云台和第二球机的第二云台进行转动包括：
当所述目标速度小于等于所述第二云台的最大转动速度时，控制所述第二云台根据所述目标速度进行转动；
当所述目标速度大于所述第二云台的最大转动速度时，控制所述第二云台根据所述最大转动速度进行转动，控制所述第一云台根据所述目标速度与所述最大转动速度的差值进行转动；
其中，速度包括水平方向速度和垂直方向速度。
具体的，由第一云台单独运动时，可得到运动方程：
第一云台不动而第二云台单独运动时，可得到运动方程：
由于第一云台的运动会间接带动第二云台的运动，因此可得到双云台联动模式下最终第二云台合成速度为：
式中：
为双云台联动模式下第二云台的合成速度矢量；
根据计算出的
和
进行两云台速度合理分配，分配策略为：
(1)若
且
则双云台速度分解处理结果为：
(2)若
且
则双云台速度分解处理结果为：
其中，R1为第一云台的转动半径，R2为第二云台的转动半径。
(3)若
且
则双云台速度分解处理结果为：
式中：
分别为第二云台独立运动时能达到的最大水平、垂直速度。
通过以上处理即可在不增加第二云台电机等成本的基础上达到跟踪高速运动目标对象的目的。
实施例3：
在本发明实施例中，以目标运动参数为目标加速度进行说明。所述根据当前时刻对应的转动角度和上两个时刻对应的转动角度，确定所述目标对象当前的目标运动参数包括：
根据当前时刻对应的转动角度、上两个时刻对应的转动角度和PID算法，确定所述目标对象当前的目标速度；
根据所述目标速度和当前时刻与上一时刻的时间间隔，确定目标加速度。
根据上述方法确定出目标对象当前的目标速度后，计算目标速度与当前时刻与上一时刻的时间间隔的比值，得到目标加速度。
具体的，
式中：
为第二云台合成加速度矢量；
其中：
式中：
为第一云台单独运动时的水平电机加速度的矢量；
当运动物体急速加速或停止，紧急运动方向改变时，由于跟踪目标对象的加速度变化导致当前时刻所述第一云台和第二云台的合成加速度
与目标对象的目标加速度
不同，此时获取当前时刻所述第一云台和第二云台的合成加速度，根据所述合成加速度和目标加速度，确定加速度差，即根据
确定加速度差
根据当前时刻与上一时刻的时间间隔Δt和所述加速度差
确定合成加加速度Jerk合，
具体的，加速度差包括水平加速度差和垂直加速度差，即
因此，加加速度包括水平方向加加速度和垂直方向加加速度，即
控制设备确定出合成加加速度之后，根据合成加加速度控制所述第一云台和第二云台进行转动。具体的，第一云台和第二云台转动的水平加加速度的和与水平合成加加速度相同、第一云台和第二云台转动的垂直加加速度的和与垂直合成加加速度相同。并且，为第一云台和第二云台分配的加加速度不超过自身的加加速度的最大值即可。
较佳的，所述根据所述合成加加速度控制所述第一云台和第二云台进行转动包括：
当所述合成加加速度小于等于所述第二云台的最大加加速度时，控制所述第二云台根据所述合成加加速度进行转动；
当所述合成加加速度大于所述第二云台的最大加加速度时，控制所述第二云台根据所述最大加加速度进行转动，控制所述第一云台根据所述合成加加速度与所述最大加加速度的差值进行转动；
其中，加加速度包括水平方向加加速度和垂直方向加加速度。
根据计算出的水平合成加加速度Jerkx合和垂直合成加加速度Jerky合进行两云台加加速度合理分配，分配策略为：
若Jerkx合≤Jerk2xmax且Jerky合≤Jerk2ymax，则双云台加加速度分解处理结果为：
若Jerkx合＞Jerk2xmax且Jerky合≤Jerk2ymax，则双云台加加速度分解处理结果为：
若Jerkx合＞Jerk2xmax且Jerky合＞Jerk2ymax，则双云台加加速度分解处理结果为：
式中：Jerk2xmax、Jerk2ymax分别为第二云台独立运动时能达到的最大水平加加速度、垂直加加速度。
实施例4：
图2为本发明实施例提供的云台控制装置结构示意图，该装置包括：
接收模块21，用于接收第二球机发送的目标对象在每个时刻对应的转动角度，其中，所述每个时刻对应的转动角度是所述第二球机根据所述目标对象在每个时刻的坐标信息确定的；
确定模块22，用于根据当前时刻对应的转动角度和上两个时刻对应的转动角度，确定所述目标对象当前的目标运动参数；
控制模块23，用于根据所述目标运动参数，控制第一球机的第一云台和第二球机的第二云台进行转动，其中，所述第一云台和第二云台转动的合成运动参数与所述目标运动参数相同。
所述确定模块22，具体用于根据当前时刻对应的转动角度、上两个时刻对应的转动角度和PID算法，确定所述目标对象当前的目标速度。
所述控制模块23，具体用于当所述目标速度小于等于所述第二云台的最大转动速度时，控制所述第二云台根据所述目标速度进行转动；当所述目标速度大于所述第二云台的最大转动速度时，控制所述第二云台根据所述最大转动速度进行转动，控制所述第一云台根据所述目标速度与所述最大转动速度的差值进行转动；其中，速度包括水平方向速度和垂直方向速度。
所述确定模块22，具体用于根据当前时刻对应的转动角度、上两个时刻对应的转动角度和PID算法，确定所述目标对象当前的目标速度；根据所述目标速度和当前时刻与上一时刻的时间间隔，确定目标加速度。
所述控制模块23，具体用于获取当前时刻所述第一云台和第二云台的合成加速度，根据所述合成加速度和目标加速度，确定加速度差；根据当前时刻与上一时刻的时间间隔和所述加速度差，确定合成加加速度；根据所述合成加加速度控制所述第一云台和第二云台进行转动，其中，所述第一云台和第二云台转动的加加速度的和为所述合成加加速度。
所述控制模块23，具体用于当所述合成加加速度小于等于所述第二云台的最大加加速度时，控制所述第二云台根据所述合成加加速度进行转动；当所述合成加加速度大于所述第二云台的最大加加速度时，控制所述第二云台根据所述最大加加速度进行转动，控制所述第一云台根据所述合成加加速度与所述最大加加速度的差值进行转动；其中，加加速度包括水平方向加加速度和垂直方向加加速度。
实施例5：
图3为本发明实施例提供的云台控制系统结构示意图，所述系统包括：控制设备31、第一球机32和第二球机33；所述第一球机32的第一云台321与第二球机33的第二云台331连接，所述控制设备31分别与所述第一云台321、第二云台331和第二球机连接33；
所述第二球机33，用于根据目标对象在每个时刻的坐标信息，确定所述目标对象在每个时刻对应的转动角度，并将每个时刻对应的转动角度发送至所述控制设备31；
所述控制设备31，用于根据当前时刻对应的转动角度和上两个时刻对应的转动角度，确定所述目标对象当前的目标运动参数；根据所述目标运动参数，控制所述第一云台321和第二云台331进行转动，其中，所述第一云台321和第二云台331转动的合成运动参数与所述目标运动参数相同。
图4为实际场景中云台控制系统结构示意图，如图4所示，第一球机包括广角镜头和第一云台，第一云台可以进行水平旋转1和垂直旋转1。第二球机包括长焦镜头和第二云台，第二云台可以进行水平旋转2和垂直旋转2。另外，云台控制系统还包括固定件，用于云该控制系统的固定安装。图4未示出控制设备。
实施例6：
在上述各实施例的基础上，本发明实施例中还提供了一种控制设备，如图5所示，包括：处理器501、通信接口502、存储器503、通信总线504和智能协处理器(NNIE)505，其中，处理器501，通信接口502，存储器503，智能协处理器(NNIE)通过通信总线504完成相互间的通信；
所述存储器503中存储有计算机程序，当所述程序被所述处理器501执行时，使得所述处理器501执行如下步骤：
接收第二球机发送的目标对象在每个时刻对应的转动角度，其中，所述每个时刻对应的转动角度是所述第二球机根据所述目标对象在每个时刻的坐标信息确定的；
根据当前时刻对应的转动角度和上两个时刻对应的转动角度，确定所述目标对象当前的目标运动参数；
根据所述目标运动参数，控制第一球机的第一云台和第二球机的第二云台进行转动，其中，所述第一云台和第二云台转动的合成运动参数与所述目标运动参数相同。
智能协处理器接收处理器提供的图像，对图像进行智能识别以及态势感知预测，其中包括，识别出人、车等运动的目标对象，和运动的目标对象的可能运动趋势，可能的运动趋势包括可能的加速或减速，比如转弯之后很大可能会加速，前方拥挤很大可能会减速。
基于同一发明构思，本发明实施例中还提供了一种控制设备，由于上述控制设备解决问题的原理与云台控制方法相似，因此上述控制设备的实施可以参见方法的实施，重复之处不再赘述。
本发明实施例提供的控制设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、网络侧设备等。
上述控制设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口502用于上述控制设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在本发明实施例中处理器执行存储器上所存放的程序时，实现接收第二球机发送的目标对象在每个时刻对应的转动角度，其中，所述每个时刻对应的转动角度是所述第二球机根据所述目标对象在每个时刻的坐标信息确定的；根据当前时刻对应的转动角度和上两个时刻对应的转动角度，确定所述目标对象当前的目标运动参数；根据所述目标运动参数，控制第一球机的第一云台和第二球机的第二云台进行转动，其中，所述第一云台和第二云台转动的合成运动参数与所述目标运动参数相同。由于在本发明实施例中，确定目标对象当前的目标运动参数后，根据目标运动参数，控制第一球机的第一云台和第二球机的第二云台进行转动，其中，所述第一云台和第二云台转动的合成运动参数与所述目标运动参数相同。通过两个云台协同转动跟踪，缩短了定位时间，提升了跟踪效率，并且两个云台协同转动跟踪，提高了视场范围，避免了目标对象突然加速或减速时，跟踪丢失的问题。
实施例7：
在上述各实施例的基础上，本发明实施例还提供了一种计算机存储可读存储介质，所述计算机可读存储介质内存储有可由控制设备执行的计算机程序，当所述程序在所述控制设备上运行时，使得所述控制设备执行时实现如下步骤：
接收第二球机发送的目标对象在每个时刻对应的转动角度，其中，所述每个时刻对应的转动角度是所述第二球机根据所述目标对象在每个时刻的坐标信息确定的；
根据当前时刻对应的转动角度和上两个时刻对应的转动角度，确定所述目标对象当前的目标运动参数；
根据所述目标运动参数，控制第一球机的第一云台和第二球机的第二云台进行转动，其中，所述第一云台和第二云台转动的合成运动参数与所述目标运动参数相同。
基于同一发明构思，本发明实施例中还提供了一种计算机可读存储介质，由于处理器在执行上述计算机可读存储介质上存储的计算机程序时解决问题的原理与云台控制方法相似，因此处理器在执行上述计算机可读存储介质存储的计算机程序的实施可以参见方法的实施，重复之处不再赘述。
上述计算机可读存储介质可以是控制设备中的处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(MO)等、光学存储器如CD、DVD、BD、HVD等、以及半导体存储器如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD)等。
在本发明实施例中提供的计算机可读存储介质内存储计算机程序，计算机程序被处理器执行时实现接收第二球机发送的目标对象在每个时刻对应的转动角度，其中，所述每个时刻对应的转动角度是所述第二球机根据所述目标对象在每个时刻的坐标信息确定的；根据当前时刻对应的转动角度和上两个时刻对应的转动角度，确定所述目标对象当前的目标运动参数；根据所述目标运动参数，控制第一球机的第一云台和第二球机的第二云台进行转动，其中，所述第一云台和第二云台转动的合成运动参数与所述目标运动参数相同。由于在本发明实施例中，确定目标对象当前的目标运动参数后，根据目标运动参数，控制第一球机的第一云台和第二球机的第二云台进行转动，其中，所述第一云台和第二云台转动的合成运动参数与所述目标运动参数相同。通过两个云台协同转动跟踪，缩短了定位时间，提升了跟踪效率，并且两个云台协同转动跟踪，提高了视场范围，避免了目标对象突然加速或减速时，跟踪丢失的问题。
图6为本发明实施例提供的第一球机和第二球机内部结构示意图，如图6所示，第一球机为PT全景摄像机，第二球机为PTZ球机。PT全景摄像机包括定焦广角镜头、传感器sensor-1以及云台MCU-1。PTZ球机包括变焦镜头、传感器sensor-2以及云台MCU-2。另外，传感器输出的图像还需要进行图像信号处理ISP处理，如图6所示，通过ISP-1对sensor-1输出的图像进行处理，通过ISP-2对sensor-2输出的图像进行处理。ISP-1可以设置于第一球机中，也可以设置于第二球机中，ISP-2可以设置于第一球机中，也可以设置于第二球机中，图6中所示的ISP-1和ISP-2均设置于第二球机中仅为实例。另外，图6中的主控Soc为控制设备，控制设备空格智能协处理器(NNIE)实现目标对象的识别，并控制第一云台和第二云台转动。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种云台控制方法，其特征在于，所述方法包括：
接收第二球机发送的目标对象在每个时刻对应的转动角度，其中，所述每个时刻对应的转动角度是所述第二球机根据所述目标对象在每个时刻的坐标信息确定的；
根据当前时刻对应的转动角度和上两个时刻对应的转动角度，确定所述目标对象当前的目标运动参数；
根据所述目标运动参数，控制第一球机的第一云台和第二球机的第二云台进行转动，其中，所述第一云台和第二云台转动的合成运动参数与所述目标运动参数相同；
运动参数包括速度、加速度和加加速度；
合成速度是指第一云台和第二云台的转动速度的和；合成加速度是指第一云台和第二云台的转动加速度的和；合成加加速度是指目标加速度与第一云台和第二云台的合成加速度的差，再与当前时刻与上一时刻的时间间隔的比值。
2.如权利要求1所述的方法，其特征在于，所述根据当前时刻对应的转动角度和上两个时刻对应的转动角度，确定所述目标对象当前的目标运动参数包括：
根据当前时刻对应的转动角度、上两个时刻对应的转动角度和PID算法，确定所述目标对象当前的目标速度。
3.如权利要求2所述的方法，其特征在于，所述根据所述目标运动参数，控制第一球机的第一云台和第二球机的第二云台进行转动包括：
当所述目标速度小于等于所述第二云台的最大转动速度时，控制所述第二云台根据所述目标速度进行转动；
当所述目标速度大于所述第二云台的最大转动速度时，控制所述第二云台根据所述最大转动速度进行转动，控制所述第一云台根据所述目标速度与所述最大转动速度的差值进行转动；
其中，速度包括水平方向速度和垂直方向速度。
4.如权利要求1所述的方法，其特征在于，所述根据当前时刻对应的转动角度和上两个时刻对应的转动角度，确定所述目标对象当前的目标运动参数包括：
根据当前时刻对应的转动角度、上两个时刻对应的转动角度和PID算法，确定所述目标对象当前的目标速度；
根据所述目标速度和当前时刻与上一时刻的时间间隔，确定目标加速度。
5.如权利要求4所述的方法，其特征在于，所述根据所述目标运动参数，控制第一球机的第一云台和第二球机的第二云台进行转动包括：
获取当前时刻所述第一云台和第二云台的合成加速度，根据所述合成加速度和目标加速度，确定加速度差；
根据当前时刻与上一时刻的时间间隔和所述加速度差，确定合成加加速度；
根据所述合成加加速度控制所述第一云台和第二云台进行转动，其中，所述第一云台和第二云台转动的加加速度的和为所述合成加加速度。
6.如权利要求5所述的方法，其特征在于，所述根据所述合成加加速度控制所述第一云台和第二云台进行转动包括：
当所述合成加加速度小于等于所述第二云台的最大加加速度时，控制所述第二云台根据所述合成加加速度进行转动；
当所述合成加加速度大于所述第二云台的最大加加速度时，控制所述第二云台根据所述最大加加速度进行转动，控制所述第一云台根据所述合成加加速度与所述最大加加速度的差值进行转动；
其中，加加速度包括水平方向加加速度和垂直方向加加速度。
7.一种云台控制装置，其特征在于，所述装置包括：
接收模块，用于接收第二球机发送的目标对象在每个时刻对应的转动角度，其中，所述每个时刻对应的转动角度是所述第二球机根据所述目标对象在每个时刻的坐标信息确定的；
确定模块，用于根据当前时刻对应的转动角度和上两个时刻对应的转动角度，确定所述目标对象当前的目标运动参数；
控制模块，用于根据所述目标运动参数，控制第一球机的第一云台和第二球机的第二云台进行转动，其中，所述第一云台和第二云台转动的合成运动参数与所述目标运动参数相同；
运动参数包括速度、加速度和加加速度；
合成速度是指第一云台和第二云台的转动速度的和；合成加速度是指第一云台和第二云台的转动加速度的和；合成加加速度是指目标加速度与第一云台和第二云台的合成加速度的差，再与当前时刻与上一时刻的时间间隔的比值。
8.一种云台控制系统，其特征在于，所述系统包括：控制设备、第一球机和第二球机；所述第一球机的第一云台与第二球机的第二云台连接，所述控制设备分别与所述第一云台、第二云台和第二球机连接；
所述第二球机，用于根据目标对象在每个时刻的坐标信息，确定所述目标对象在每个时刻对应的转动角度，并将每个时刻对应的转动角度发送至所述控制设备；
所述控制设备，用于根据当前时刻对应的转动角度和上两个时刻对应的转动角度，确定所述目标对象当前的目标运动参数；根据所述目标运动参数，控制所述第一云台和第二云台进行转动，其中，所述第一云台和第二云台转动的合成运动参数与所述目标运动参数相同；
运动参数包括速度、加速度和加加速度；
合成速度是指第一云台和第二云台的转动速度的和；合成加速度是指第一云台和第二云台的转动加速度的和；合成加加速度是指目标加速度与第一云台和第二云台的合成加速度的差，再与当前时刻与上一时刻的时间间隔的比值。
9.一种控制设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一项所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910919306.XA CN110609576B (zh) | 2019-09-26 | 2019-09-26 | 一种云台控制方法、装置、系统、控制设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910919306.XA CN110609576B (zh) | 2019-09-26 | 2019-09-26 | 一种云台控制方法、装置、系统、控制设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110609576A CN110609576A (zh) | 2019-12-24 |
| CN110609576B true CN110609576B (zh) | 2022-09-02 |
Family
ID=68893595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910919306.XA Active CN110609576B (zh) | 2019-09-26 | 2019-09-26 | 一种云台控制方法、装置、系统、控制设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110609576B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111385474B (zh) * | 2020-03-09 | 2022-04-29 | 浙江大华技术股份有限公司 | 目标对象的跟踪方法及装置、存储介质、电子装置 |
| CN111638730B (zh) * | 2020-05-25 | 2023-07-25 | 浙江大华技术股份有限公司 | 一种双云台控制方法、装置、电子设备及存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101718385A (zh) * | 2009-12-15 | 2010-06-02 | 山东神戎电子股份有限公司 | 分体式智能随动云台 |
| CN101980089A (zh) * | 2010-09-02 | 2011-02-23 | 南京南自信息技术有限公司 | 一种高速球型摄像机云台的控制装置 |
| CN102143324A (zh) * | 2011-04-07 | 2011-08-03 | 天津市亚安科技电子有限公司 | 一种云台自动平滑跟踪目标的方法 |
| CN103761514A (zh) * | 2014-01-26 | 2014-04-30 | 公安部第三研究所 | 基于广角枪机和多球机实现人脸识别的系统及方法 |
| CN104574425A (zh) * | 2015-02-03 | 2015-04-29 | 中国人民解放军国防科学技术大学 | 一种基于旋转模型的主从摄像机系统的标定以及联动方法 |
| CN104656684A (zh) * | 2015-01-20 | 2015-05-27 | 桂林飞宇电子科技有限公司 | 一种用单一imu传感器实现三轴无刷电机增稳云台控制的方法 |
| CN105354813A (zh) * | 2014-08-18 | 2016-02-24 | 杭州海康威视数字技术股份有限公司 | 驱动云台生成拼接图像的方法及装置 |
| CN105857595A (zh) * | 2016-04-23 | 2016-08-17 | 北京工业大学 | 一种基于云台的小型飞行器系统 |
| CN107111322A (zh) * | 2016-12-12 | 2017-08-29 | 深圳市大疆创新科技有限公司 | 云台及其操作方法、控制方法，及使用其的可移动设备 |
| CN108416285A (zh) * | 2018-03-02 | 2018-08-17 | 深圳市佳信捷技术股份有限公司 | 枪球联动监控方法、装置及计算机可读存储介质 |
| CN108780325A (zh) * | 2016-02-26 | 2018-11-09 | 深圳市大疆创新科技有限公司 | 用于调整无人飞行器轨迹的系统和方法 |
| CN109071034A (zh) * | 2017-12-27 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 切换云台工作模式的方法、控制器和图像增稳设备 |
-
2019
- 2019-09-26 CN CN201910919306.XA patent/CN110609576B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101718385A (zh) * | 2009-12-15 | 2010-06-02 | 山东神戎电子股份有限公司 | 分体式智能随动云台 |
| CN101980089A (zh) * | 2010-09-02 | 2011-02-23 | 南京南自信息技术有限公司 | 一种高速球型摄像机云台的控制装置 |
| CN102143324A (zh) * | 2011-04-07 | 2011-08-03 | 天津市亚安科技电子有限公司 | 一种云台自动平滑跟踪目标的方法 |
| CN103761514A (zh) * | 2014-01-26 | 2014-04-30 | 公安部第三研究所 | 基于广角枪机和多球机实现人脸识别的系统及方法 |
| CN105354813A (zh) * | 2014-08-18 | 2016-02-24 | 杭州海康威视数字技术股份有限公司 | 驱动云台生成拼接图像的方法及装置 |
| CN104656684A (zh) * | 2015-01-20 | 2015-05-27 | 桂林飞宇电子科技有限公司 | 一种用单一imu传感器实现三轴无刷电机增稳云台控制的方法 |
| CN104574425A (zh) * | 2015-02-03 | 2015-04-29 | 中国人民解放军国防科学技术大学 | 一种基于旋转模型的主从摄像机系统的标定以及联动方法 |
| CN108780325A (zh) * | 2016-02-26 | 2018-11-09 | 深圳市大疆创新科技有限公司 | 用于调整无人飞行器轨迹的系统和方法 |
| CN105857595A (zh) * | 2016-04-23 | 2016-08-17 | 北京工业大学 | 一种基于云台的小型飞行器系统 |
| CN107111322A (zh) * | 2016-12-12 | 2017-08-29 | 深圳市大疆创新科技有限公司 | 云台及其操作方法、控制方法，及使用其的可移动设备 |
| WO2018107337A1 (zh) * | 2016-12-12 | 2018-06-21 | 深圳市大疆创新科技有限公司 | 云台及其操作方法、控制方法，及使用其的可移动设备 |
| CN109071034A (zh) * | 2017-12-27 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 切换云台工作模式的方法、控制器和图像增稳设备 |
| CN108416285A (zh) * | 2018-03-02 | 2018-08-17 | 深圳市佳信捷技术股份有限公司 | 枪球联动监控方法、装置及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110609576A (zh) | 2019-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11102413B2 (en) | Camera area locking | |
| CN110609576B (zh) | 一种云台控制方法、装置、系统、控制设备及存储介质 | |
| JP2022517254A (ja) | 注視エリア検出方法、装置、及び電子デバイス | |
| JP5613041B2 (ja) | カメラ装置、画像処理システムおよび画像処理方法 | |
| CN111314609B (zh) | 一种控制云台追踪摄像的方法及装置 | |
| CN111737518A (zh) | 基于三维场景模型的图像展示方法、装置及电子设备 | |
| JP6056774B2 (ja) | 撮像装置と撮像方法およびプログラム。 | |
| CN114339102B (zh) | 一种录像方法及设备 | |
| WO2022041014A1 (zh) | 云台及其控制方法、设备，拍摄装置、系统和存储介质 | |
| US8451346B2 (en) | Optically projected mosaic rendering | |
| CN110060295B (zh) | 目标定位方法及装置、控制装置、跟随设备及存储介质 | |
| JP6240328B2 (ja) | オプティカルフロー場を構築する方法 | |
| CN111314615B (zh) | 一种控制双目双变焦摄像机的方法、装置及摄像机 | |
| CN112203066A (zh) | 一种目标跟踪动向投影方法和动向投影设备 | |
| Hulens et al. | Autonomous lecture recording with a ptz camera while complying with cinematographic rules | |
| CN110340901B (zh) | 一种控制方法、控制装置及终端设备 | |
| CN112822398B (zh) | 拍摄方法、装置和电子设备 | |
| CN114040114A (zh) | 一种全景摄像及补光方法、系统、设备和介质 | |
| US11228717B2 (en) | Control method and electronic device for capturing images with multiple lens | |
| CN114339101B (zh) | 一种录像方法及设备 | |
| US9398232B2 (en) | Special effect video camera | |
| CN112955844A (zh) | 目标跟踪方法、设备、系统及存储介质 | |
| CN114071013B (zh) | 一种用于车载摄像机的目标抓拍与跟踪方法及装置 | |
| CN111684784A (zh) | 图像处理方法和装置 | |
| CN113805607B (zh) | 一种无人机拍摄方法、装置、无人机及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |