CN117170418A - 云台控制方法、装置、设备以及存储介质 - Google Patents

云台控制方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN117170418A
CN117170418A CN202311446249.0A CN202311446249A CN117170418A CN 117170418 A CN117170418 A CN 117170418A CN 202311446249 A CN202311446249 A CN 202311446249A CN 117170418 A CN117170418 A CN 117170418A
Authority
CN
China
Prior art keywords
cradle head
pan
observation area
image
tilt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311446249.0A
Other languages
English (en)
Other versions
CN117170418B (zh
Inventor
豆红雷
蒋晶晶
王健彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Huacheng Software Technology Co Ltd
Original Assignee
Hangzhou Huacheng Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Huacheng Software Technology Co Ltd filed Critical Hangzhou Huacheng Software Technology Co Ltd
Priority to CN202311446249.0A priority Critical patent/CN117170418B/zh
Publication of CN117170418A publication Critical patent/CN117170418A/zh
Application granted granted Critical
Publication of CN117170418B publication Critical patent/CN117170418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00Control of position or direction
    • G05D3/12Control of position or direction using feedback

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种云台控制方法、装置、设备以及存储介质,该云台控制方法包括:获取云台所处环境的目标环境图像,目标环境图像包括当前观测区域;响应于接收到的区域调整操作将当前观测区域调整至候选观测区域;若确定候选观测区域为目标观测区域,则基于当前观测区域和目标观测区域之间的偏移量生成第一云台控制指令对云台进行控制。上述方案,能够提升对云台的控制效率。

Description

云台控制方法、装置、设备以及存储介质
技术领域
本申请涉及云台控制技术领域,特别是涉及一种云台控制方法、装置、设备以及存储介质。
背景技术
云台是安装、固定手机、相机或摄像机等设备的支撑设备,常见的云台分为固定和电动云台两种。云台可以任意旋转,以便于图像采集。
在现有的云台控制方法中,用户可以向云台摄像设备发送控制指令实现对云台的实时流控制。但当出现网络环境差造成实时媒体流播放卡顿时,可能会导致用户在调整云台方向时下发或多、或少的控制指令,而无法准确地控制云台朝向期望的目标位置,使得用户会反复地进行云台调整,导致调整耗时较长,云台控制不流畅,甚至还会造成指令堆积的问题。
因此,目前亟需一种精确的云台控制方法以提高云台控制效率。
发明内容
本申请至少提供一种云台控制方法、装置、设备以及计算机可读存储介质。
本申请第一方面提供了一种云台控制方法,包括:获取所述云台所处环境的目标环境图像,所述目标环境图像包括当前观测区域;响应于接收到的区域调整操作将所述当前观测区域调整至候选观测区域;若确定所述候选观测区域为目标观测区域,则基于所述当前观测区域和所述目标观测区域之间的偏移量生成第一云台控制指令对所述云台进行控制。
在一实施例中,在所述响应于接收到的区域调整操作将所述当前观测区域调整至候选观测区域的步骤之后,所述方法还包括:记录调整至所述候选观测区域之后的时间,得到待确认时间;若所述待确认时间大于预设的时间阈值,则确定所述候选观测区域为所述目标观测区域。
在一实施例中,所述获取所述云台所处环境的目标环境图像的步骤,包括:获取所述云台在初始位姿下采集到的初始环境图像;基于获取到的第二云台控制指令,控制所述云台转动至所述第二云台控制指令对应的位姿;获取所述云台在所述第二云台控制指令对应的位姿下采集到的当前环境图像;对所述初始环境图像和所述当前环境图像进行图像拼接处理,得到所述目标环境图像。
在一实施例中,所述基于获取到的第二云台控制指令,控制所述云台转动至所述第二云台控制指令对应的位姿的步骤,包括:基于所述第二云台控制指令的控制方向,控制所述云台转动至所述控制方向对应的预设限位位姿,所述控制方向包括所述云台的水平方向和/或竖直方向,所述预设限位位姿用于限定所述云台的转动。
在一实施例中,所述对所述初始环境图像和所述当前环境图像进行图像拼接处理,得到所述目标环境图像的步骤,包括:将所述初始环境图像和所述当前环境图像进行拼接,得到初始拼接图像;判断所述初始拼接图像是否完整;若否,则控制所述云台进行转动,以及控制所述云台进行图像采集,得到补充图像;将所述补充图像和所述初始拼接图像进行拼接,得到所述目标环境图像。
在一实施例中,所述基于所述当前观测区域和所述目标观测区域之间的偏移量生成第一云台控制指令对所述云台进行控制的步骤,包括:基于所述第一云台控制指令控制所述云台转动到与所述第一云台控制指令对应的位姿;将获取到的所述云台在所述第一云台控制指令对应的位姿下采集到的当前环境图像进行显示。
在一实施例中,所述基于所述第一云台控制指令控制所述云台转动到与所述第一云台控制指令对应的位姿的步骤,包括:检测和所述云台之间的通信网络是否卡顿;若是,则获取所述云台在所述第一云台控制指令对应的位姿下采集到的当前环境图像;若否,则持续获取所述云台转动到与所述第一云台控制指令对应的位姿的过程中采集到的多帧当前环境图像。
本申请第二方面提供了一种云台控制装置,包括:获取模块,用于获取所述云台所处环境的目标环境图像,所述目标环境图像包括当前观测区域;调整模块,用于响应于接收到的区域调整操作将所述当前观测区域调整至候选观测区域;控制模块,用于若确定所述候选观测区域为目标观测区域,则基于所述当前观测区域和所述目标观测区域之间的偏移量生成第一云台控制指令对所述云台进行控制。
本申请第三方面提供了一种电子设备,包括存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述云台控制方法。
本申请第四方面提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述云台控制方法。
上述方案,通过响应于接收到的区域调整操作,将获取到的云台所处环境的目标环境图像中的当前观测区域调整至候选观测区域;若确定候选观测区域为目标观测区域,则基于当前观测区域和目标观测区域之间的偏移量生成第一云台控制指令对云台进行控制,由此能够避免指令堆积,实现流畅高效的云台控制。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。
图1是本申请的云台控制方法的一示例性实施例的流程示意图;
图2是本申请的云台控制方法的一示例性实施例的观测区域示意图;
图3是本申请的云台控制方法的一示例性实施例的云台控制程序示意图;
图4是本申请的云台控制方法的一示例性实施例的云台控制过程示意图;
图5是本申请的云台控制方法的一示例性实施例的图像拼接过程示意图;
图6是本申请的云台控制方法的一示例性实施例的图像拼接效果示意图;
图7是本申请的一示例性实施例示出的云台控制装置的框图;
图8是本申请电子设备一实施例的结构示意图;
图9是本申请计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
为便于理解,在此举例说明本申请可以解决的一些问题场景,例如:在云台摄像机添加到应用端的云台控制程序后,用户可以通过应用端上的云台控制程序对云台进行基于实时流的访问和控制;用户在控制云台转动时,若实时流卡顿严重或者网络延迟较高,会导致云台不能及时地进行响应,则用户往往会长按控制键或多次点击控制键;受限于网络因素的影响,虽然此时云台可能不会响应并转动,但应用端响应于用户的操作已然生成相应的控制指令并向云台发送,容易造成指令堆积;进一步地,若网络恢复正常,则云台根据连续接收到的多个指令进行转动,其转动的幅度又会偏离用户所需观测的画面,导致用户可能又会给予反向的调整,现有的云台控制方法操作效果差,控制效率低。
请参阅图1,图1是本申请的云台控制方法的一示例性实施例的流程示意图。具体而言,本方法可用于应用端,该应用端可以是运行有云台控制程序的电子设备等,具体可以包括如下步骤:
步骤S110,获取云台所处环境的目标环境图像,目标环境图像包括当前观测区域。
本申请所提及的云台具有图像采集功能,其中,示例性地,可以是云台上设有固定的图像采集部件或是可拆卸的图像采集部件,此处不做限定,为便于说明,后续将图像采集部件和云台看作整体。
目标环境图像可以是由云台直接采集到的图像,或是根据采集到的图像经过一定图像处理后的图像,目标环境图像中的图像内容包括了云台所处的环境。
当前观测区域指的是当前的观测区域,也就是目标环境图像中需要在应用端上的观测界面进行显示的全部区域或部分区域。
示例性地,可参考图2,图2是本申请的云台控制方法的一示例性实施例的观测区域示意图,其中,观测区域可参考图中矩形框的形式进行设置表示,矩形框(观测区域)的中心坐标可以和观测界面的中心坐标进行对应,以实现通过矩形框在图像中的位置将此刻获取到的图像和观测界面进行对齐并显示,例如矩形框的中心也就是观测界面所显示出来的图像的中心,相当于基于观测区域进行对应地图像采集,具体地可以基于云台建立球坐标系,通过球坐标的形式确定位置信息。
需要说明的是,观测区域还可以设置为圆形、菱形或三角形等形式,此处不做限定。
步骤S120,响应于接收到的区域调整操作将当前观测区域调整至候选观测区域。
区域调整操作指的是调整观测区域的操作,前述步骤已说明观测界面会将基于观测区域进行图像采集,若需要更改图像采集的区域则可以通过调整观测区域进行实现。
示例性地,以搭载云台控制程序的触屏手机作为应用端进行说明,区域调整操作可以是在应用端的操作界面上进行一系列触控操作;如图3所示,图3是本申请的云台控制方法的一示例性实施例的云台控制程序示意图,其中,触控操作可以是对观测区域进行拖拽操作,还可以是对调整按钮进行点击操作以调整观测区域等;需要说明的是,可以选择仅提供一种触控操作方式或提供多种触控操作方式对观测区域进行调整。其中,关于拖拽操作或点击操作的具体实现方式,可以参考市面上常用的人机交互方式进行设计(例如直接响应、长按响应等),此处不做赘述。
可以理解的是,在调整当前观测区域的过程中,某些情况下并非一次性调整到位,即相当于一次调整过程中可能会相应地存在一个调整轨迹,调整轨迹由其中的多个观测区域表示的轨迹点组成,这些调整过程中的观测区域则为候选观测区域;分别判断各候选观测区域是否为需要观测的目标观测区域,若不是,则不会生成对云台的控制指令;若是,则确定该候选观测区域为目标观测区域,相应地生成控制指令将云台转动到目标观测区域进行图像采集,如此即使调整观测区域的过程中可能存在多次调整操作,但可以一次性控制云台从当前观测区域转动到目标观测区域,实现高效地云台控制。
步骤S130,若确定候选观测区域为目标观测区域,则基于当前观测区域和目标观测区域之间的偏移量生成第一云台控制指令对云台进行控制。
结合前述步骤和图4进行说明,图4是本申请的云台控制方法的一示例性实施例的云台控制过程示意图;若将某一候选观测区域确定为目标观测区域之后,则表征该候选观测区域是需要进行观测(图像采集)的;因此,基于当前观测区域和目标观测区域之间的偏移量生成第一云台控制指令;由应用端向云台发送第一云台控制指令,以使云台基于接收到第一云台控制指令进行转动(例如将观测界面的中心从当前观测区域的中心转动至目标观测区域的中心),实现对云台的控制。其中,偏移量可以可参考常用的距离确定方法根据球坐标信息进行确定,在此不做赘述。
需要说明的是,将候选观测区域确定为目标观测区域可以有多种确定方式。示例性地,预设有时间阈值(如0.5s),若观测区域发生调整,例如基于接收到的第一区域调整操作从当前观测区域调整至第一候选观测区域后,持续进行时间记录直至接收到下一区域调整操作,得到待确认时间;若待确认时间大于时间阈值,则将第一候选观测区域确定作为目标观测区域;若在时间阈值内再次接收到第二区域调整操作,则会使得第一候选观测区域的待确认时间小于或等于时间阈值,因此也证明第一候选观测区域并非目标观测区域,基于第二区域调整操作将当前的第一候选观测区域调整至第二候选观测区域后,进行时间记录,并按照上述同理的判断过程对第二候选观测区域的待确认时间进行判断。
可选地,在另一可实施方式中,还可以是基于接收到的第一区域调整操作从当前观测区域调整至第一候选观测区域后,判断是否接收到针对第一候选观测区域的点击操作(如双击操作);若是,则确认第一候选观测区域为目标观测区域;若否,则进入等待状态,直至接收到第二区域调整操作,将第一候选观测区域调整至第二候选观测区域;同理,判断是否接收到针对第二候选观测区域的点击操作(如双击操作);若是,则确认第二候选观测区域为目标观测区域;若否,则进入等待状态,直至接收到第三区域调整操作,以此类推。由此能够避免在应用端出现卡顿现象时,使得观测区域在没有调整到位的情况下,由于卡顿影响仍生成了云台控制指令。
进一步地,在上述可实施方式中还可以设置等待阈值(如5s),以第一区域调整操作为例,若从当前观测区域调整至第一候选观测区域后,则开始记录第一候选观测区域的等待时长;若在等待阈值内(等待时长小于或等于等待阈值时)接收到了针对第一候选观测区域的点击操作,则将第一候选观测区域确定为目标观测区域;若在等待阈值内未接收到点击操作或调整操作,则在等待时长大于等待阈值后将第一候选观测区域确定为目标观测区域;若在等待阈值内接收到第二区域调整操作,则将第一候选观测区域调整至第二候选观测区域,再记录第二候选观测区域的等待时长。
还需说明的是,本申请所提供的方法可用于应用端和云台设备间的通信网络出现卡顿时,即在执行S110至S130的步骤之前,应用端可以判断和云台设备间的通信网络是否卡顿;若是,则采用本申请提供的云台控制方法对云台进行控制;若否,则可参考市面上现有的云台控制方法对云台进行控制,或是仍然采用本申请提供的云台控制方法对云台进行控制。
可以看出,本申请通过响应于接收到的区域调整操作,将获取到的云台所处环境的目标环境图像中的当前观测区域调整至候选观测区域;若确定候选观测区域为目标观测区域,则基于当前观测区域和目标观测区域之间的偏移量生成第一云台控制指令对云台进行控制,由此能够避免指令堆积,实现流畅高效的云台控制。
在上述实施例的基础上,本申请实施例对响应于接收到的区域调整操作将当前观测区域调整至候选观测区域之后的步骤进行说明。具体而言,本实施例方法包括以下步骤:
记录调整至候选观测区域之后的时间,得到待确认时间;若待确认时间大于预设的时间阈值,则确定候选观测区域为目标观测区域。
结合前述实施例进行说明,当响应于接收到的第一区域调整操作之后,基于第一区域调整操作将当前检测区域调整至第一候选观测区域;记录调整至第一候选观测区域之后的时间,得到第一候选观测区域的待确认时间;若该待确认时间大于预设的时间阈值,则确定该第一候选观测区域为目标观测区域,暂停或停止记录时间;若该待确认时间小于或等于时间阈值时,接收到了第二区域调整操作,则重置第一候选观测区域的待确认时间,将第一候选观测区域调整至第二候选观测区域,开始记录第二候选观测区域的待确认时间。
可以见得,通过本实施例提供的方法,将观测区域的调整过程设置于应用端进行;若一段时间内未对候选观测区域进行调整,则可认为该候选观测区域是需要观测的目标观测区域;因此,根据当前观测区域和目标观测区域之间的偏移量相应地生成云台控制指令,再由应用端将云台控制指令发送至云台,以控制云台从当前观测区域转动至目标观测区域进行图像采集,简化了对云台的控制流程,使云台控制更有效率。
在上述实施例的基础上,本申请实施例对获取云台所处环境的目标环境图像的步骤进行说明。具体而言,本实施例方法包括以下步骤:
获取云台在初始位姿下采集到的初始环境图像;基于获取到的第二云台控制指令,控制云台转动至第二云台控制指令对应的位姿;获取云台在第二云台控制指令对应的位姿下采集到的当前环境图像;对初始环境图像和当前环境图像进行图像拼接处理,得到目标环境图像。
其中,初始位姿指的是在根据第一云台控制指令对云台进行控制之前云台的位姿,其可以是检测到通信网络卡顿时的位姿、或应用端运行云台控制程序访问云台设备时云台的位姿、或预先设定的位姿、或云台开机时的位姿等,此处不做限定。
第二云台控制指令和第一云台控制指令都是控制云台进行转动的指令。需要说明的是,第二云台控制指令可以是应用端基于接收到的区域调整操作生成并发出的,还可以是应用端基于预设的指令条件生成并发出的,预设的指令条件可以设置为如应用端检测到和云台之间的通信网络卡顿等。
当前环境图像指的是在基于第二云台控制指令控制云台进行转动时云台采集到的环境图像,其中,可以是在云台转动的过程中进行图像采集得到一张或多张当前环境图像,还可以是在云台转动至第二云台控制指令对应的位置后进行图像采集,得到当前环境图像。
示例性地,可参考图5,图5是本申请的云台控制方法的一示例性实施例的图像拼接过程示意图;若检测到和云台之间的通信网络卡顿(例如当前的网络延迟大于预设的第一延迟阈值),则获取云台在初始位姿(例如当前的位姿)下采集到的初始环境图像;基于接收到的区域调整操作生成云台控制指令发送至云台,以控制云台从当前的位姿转动到云台控制指令对应的位姿;其中,可以控制云台在转动过程中采集单张或多张当前环境图像,也可以在云台转动到云台控制指令对应的位姿后采集单张当前环境图像;将采集到的当前环境图像和初始环境图像进行拼接处理,得到目标环境图像;将目标环境图像显示在操作界面。
可选地,对于云台在转动过程中采集一张或多张当前环境图像的情况,具体可将当前的网络延迟和预设的第二延迟阈值进行对比来选择,其中,第二延迟阈值可以大于第一延迟阈值;若当前的网络延迟小于或等于第二延迟阈值,则云台可以采集多张当前环境图像;若当前的网络延迟大于第二延迟阈值,则云台可以采集单张当前环境图像。
需要说明的是,若在图像拼接处理的过程中,待拼接的多张图像之间存在较多的相同部分,则可以根据现有的图像拼接算法将这些图像以全景图像的形式进行拼接;若是在图像拼接处理的过程中,待拼接的多张图像之间存在较少的相同部分或不存在相同部分,则可以根据尺寸信息、方向信息直接进行图像拼接,得到目标环境图像。
在上述实施例的基础上,本申请实施例对基于获取到的第二云台控制指令,控制云台转动至第二云台控制指令对应的位姿的步骤进行说明。具体而言,本实施例方法包括以下步骤:
基于第二云台控制指令的控制方向,控制云台转动至控制方向对应的预设限位位姿,控制方向包括云台的水平方向和/或竖直方向,预设限位位姿用于限定云台的转动。
结合前述实施例进行说明,可以理解的是,云台转动是有一定方向信息的,例如圆形底座的云台可以基于其底座的水平面进行水平方向上的顺时针方向转动或逆时针方向转动,以及竖直方向上的顺时针方向转动或逆时针方向转动,相应地其转动时的瞬时方向可表示为水平向右、水平向左、竖直向上和竖直向下。因此,云台控制指令中包括控制云台转动的方向。
预设限位位姿指的是预设的云台的限位位姿,预设限位位姿用于限定云台的转动,例如通常情况下限定云台的扭转角不超过预设的某限定值,简言之,就是云台转动的角度有一定的限制,至少包括右限位、左限位、上限位和下限位;而第二云台控制指令则可以是根据云台当前的位姿和预设限位位姿中的一种或多种生成的,即各云台控制指令有其对应的限位位姿,基于第二云台控制指令可以控制云台从当前的位姿转动至某一个或多个限位位姿。
示例性地,可以是应用端根据预设限位位姿分别生成多个第二云台控制指令,分别基于每个第二云台控制指令对云台进行控制,以使云台转动至各第二云台控制指令对应的限位位姿;获取云台在转动过程中采集的图像或转动到限位位姿后采集的图像(可理解为云台所能采集到的边界图像),得到当前环境图像;将当前环境图像和初始环境图像进行图像拼接处理,则得到目标环境图像。
可选的,还可以是应用端根据接收到的区域调整操作生成第二云台控制指令,例如区域调整操作向左,则生成由当前的位姿转动至向左限位的第二云台控制指令;发送该第二云台控制指令至云台,以控制云台由当前的位姿转动至向左限位;获取云台转向左限位过程中采集到的当前环境图像或在左限位下采集到的当前环境图像(即左边界图像);将当前环境图像和初始环境图像进行图像拼接处理,则得到目标环境图像。
需要说明的是,本申请中的第二云台控制指令可以如本实施例所记载的:根据第二云台控制指令的控制方向将云台转动至某一个或多个方向上的限位位姿;还可以同理参考前述实施例中对第一云台控制指令的说明:根据第二区域调整操作,确定需要控制云台转动到的目标位置,相应地生成第二云台控制指令对云台进行控制,可以实现控制云台转动到当前的位姿和限位位姿之间的位姿(第二云台控制指令对应的位姿),而无需转动至某个限位位姿,节省了转动时间。
在上述实施例的基础上,本申请实施例对初始环境图像和当前环境图像进行图像拼接处理,得到目标环境图像的步骤进行说明。具体而言,本实施例方法包括以下步骤:
将初始环境图像和当前环境图像进行拼接,得到初始拼接图像;判断初始拼接图像是否完整;若否,则控制云台进行转动,以及控制云台进行图像采集,得到补充图像;将补充图像和初始拼接图像进行拼接,得到目标环境图像。
结合前述实施例进行说明,可参考图6,图6是本申请的云台控制方法的一示例性实施例的图像拼接效果示意图,若应用端接收到用户在水平方向和竖直方向上都有相应的区域调整操作,则将各限位位姿所采集到的图像和初始环境图像进行拼接后所得到的初始拼接图像可能是不完整的(例如拼接后的图像不为矩形);而对于初始拼接图像中不完整的区域,可以采用包括但不限于黑色像素或其它预设的图像素材进行填充,得到目标环境图像。
可选地,若判断初始拼接图像不完整,还可以基于不完整区域的位置生成第三云台控制指令,通过第三云台控制指令控制云台快速转动至不完整区域进行图像采集,以获取不完整区域所对应的图像,即得到补充图像;将补充图像和初始图像进行对应拼接,得到完整的目标环境图像。由此,可使得用户在完整的目标环境图像上进行区域调整操作,能够有效且全面地调整需要观测的区域,并基于完整的目标环境图像生成第一云台控制指令,根据第一云台控制指令高效地控制云台转动。
在上述实施例的基础上,本申请实施例对基于当前观测区域和目标观测区域之间的偏移量生成第一云台控制指令对云台进行控制的步骤进行说明。具体而言,本实施例方法包括以下步骤:
基于第一云台控制指令控制云台转动到与第一云台控制指令对应的位姿;将获取到的云台在第一云台控制指令对应的位姿下采集到的当前环境图像进行显示。
结合前述实施例进行说明,目标观测区域被判定是用户想要观测的区域。因此,基于第一云台控制指令控制云台转动到与第一云台控制指令对应的位姿后,获取云台在该位姿下采集到的当前环境图像;将该当前环境图像进行显示,其中,可在云台控制程序上设置观测界面以显示该当前环境图像。
在上述实施例的基础上,本申请实施例对基于第一云台控制指令控制云台转动到与第一云台控制指令对应的位姿的步骤进行说明。具体而言,本实施例方法包括以下步骤:
检测和云台之间的通信网络是否卡顿;若是,则获取云台在第一云台控制指令对应的位姿下采集到的当前环境图像;若否,则持续获取云台转动到与第一云台控制指令对应的位姿的过程中采集到的多帧当前环境图像。
结合前述实施例进行说明,为了避免因网络卡顿造成应用端向云台发送控制指令时出现指令堆积等问题,同样也需要避免因网络卡顿造成接收云台采集的图像时出现加载速度过慢等问题。因此,可以检测应用端和云台之间的通信网络的当前延迟,判断当前延迟和第二延迟阈值之间的大小关系;若当前延迟大于第二延迟阈值,则判定通信网络卡顿,获取云台在第一云台控制指令对应的位姿下采集到的当前环境图像;若当前延迟小于或等于第二延迟阈值,则判定通信网络未卡顿,持续获取云台转动到与第一云台控制指令对应的位姿的过程中采集到的多帧当前环境图像(其中包括云台在第一云台控制指令对应的位姿下采集到的当前环境图像)。
由此可以根据实时的网络情况,适应性地控制云台的图像采集过程,以避免网络卡顿对云台控制过程造成的影响。
在上述实施例的基础上,本实施例对本申请提供的云台控制方法的实际应用场景中的一种场景进行举例说明:为了得到较好的云台控制效果,可将拼接后的目标环境图像通过操控界面进行显示,其设置在观测界面的下侧,而观测界面显示的就是实时的当前环境图像(和目标环境图像中的目标观测区域对应)。操作界面中可以通过区域调整操作将当前观测区域调整至候选观测区域;当调整至候选观测区域后0.5秒内无操作,则生成云台控制指令发送到云台设备上;然后设备基于接收到的云台控制指令转动至目标位置。此时,观测界面中可以显示云台转动过程中采集到的图像,也可以显示云台转动至目标位置后采集到的实时画面。
进一步地,若实时画面中无运动目标,则操作界面中显示的图像(目标环境图像)可以不用更新;若实时画面内有运动目标,则可以每隔预设的更新时间(例如10秒)更新一次操作界面中显示的图像。需要说明的是,虽然画面卡顿,但大多数情况下实时的控制命令到云台设备后可以立即生效并控制云台转动到目标位置;云台设备转动至目标位置后,也会立刻反馈至应用端,因此可快速体现云台的最终的目标位置,控制效果显著提高。
进一步需要说明的是,云台控制方法的执行主体可以是云台控制装置,例如,云台控制方法可以由终端设备或服务器或其它处理设备执行,其中,终端设备可以为用户设备(User Equipment,UE)、电脑、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该云台控制方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
图7是本申请的一示例性实施例示出的云台控制装置的框图。如图7所示,该示例性的云台控制装置700包括:获取模块710、调整模块720和控制模块730。具体地:
获取模块710,用于获取云台所处环境的目标环境图像,目标环境图像包括当前观测区域。
调整模块720,用于响应于接收到的区域调整操作将当前观测区域调整至候选观测区域。
控制模块730,用于若确定候选观测区域为目标观测区域,则基于当前观测区域和目标观测区域之间的偏移量生成第一云台控制指令对云台进行控制。
在该示例性的云台控制装置中,通过响应于接收到的区域调整操作,将获取到的云台所处环境的目标环境图像中的当前观测区域调整至候选观测区域;若确定候选观测区域为目标观测区域,则基于当前观测区域和目标观测区域之间的偏移量生成第一云台控制指令对云台进行控制,由此能够避免指令堆积,实现流畅高效的云台控制。
其中,各个模块的功能可参见云台控制方法实施例,此处不再赘述。
请参阅图8,图8是本申请电子设备一实施例的结构示意图。电子设备800包括存储器801和处理器802,处理器802用于执行存储器801中存储的程序指令,以实现上述任一云台控制方法实施例中的步骤。在一个具体的实施场景中,电子设备800可以包括但不限于:微型计算机、服务器,此外,电子设备800还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。
具体而言,处理器802用于控制其自身以及存储器801以实现上述任一云台控制方法实施例中的步骤。处理器802还可以称为CPU(Central Processing Unit,中央处理单元)。处理器802可能是一种集成电路芯片,具有信号的处理能力。处理器802还可以是通用处理器、数字信号处理器(Digital Signal Processor, DSP)、专用集成电路(ApplicationSpecific Integrated Circuit, ASIC)、现场可编程门阵列(Field-Programmable GateArray, FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器802可以由集成电路芯片共同实现。
上述方案,通过响应于接收到的区域调整操作,将获取到的云台所处环境的目标环境图像中的当前观测区域调整至候选观测区域;若确定候选观测区域为目标观测区域,则基于当前观测区域和目标观测区域之间的偏移量生成第一云台控制指令对云台进行控制,由此能够避免指令堆积,实现流畅高效的云台控制。
请参阅图9,图9是本申请计算机可读存储介质一实施例的结构示意图。计算机可读存储介质910存储有能够被处理器运行的程序指令911,程序指令911用于实现上述任一云台控制方法实施例中的步骤。
上述方案,通过响应于接收到的区域调整操作,将获取到的云台所处环境的目标环境图像中的当前观测区域调整至候选观测区域;若确定候选观测区域为目标观测区域,则基于当前观测区域和目标观测区域之间的偏移量生成第一云台控制指令对云台进行控制,由此能够避免指令堆积,实现流畅高效的云台控制。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种云台控制方法,其特征在于,所述方法包括:
获取所述云台所处环境的目标环境图像,所述目标环境图像包括当前观测区域;
响应于接收到的区域调整操作将所述当前观测区域调整至候选观测区域;
若确定所述候选观测区域为目标观测区域,则基于所述当前观测区域和所述目标观测区域之间的偏移量生成第一云台控制指令对所述云台进行控制。
2.根据权利要求1所述的方法,其特征在于,在所述响应于接收到的区域调整操作将所述当前观测区域调整至候选观测区域的步骤之后,所述方法还包括:
记录调整至所述候选观测区域之后的时间,得到待确认时间;
若所述待确认时间大于预设的时间阈值,则确定所述候选观测区域为所述目标观测区域。
3.根据权利要求1所述的方法,其特征在于,所述获取所述云台所处环境的目标环境图像的步骤,包括:
获取所述云台在初始位姿下采集到的初始环境图像;
基于获取到的第二云台控制指令,控制所述云台转动至所述第二云台控制指令对应的位姿;
获取所述云台在所述第二云台控制指令对应的位姿下采集到的当前环境图像;
对所述初始环境图像和所述当前环境图像进行图像拼接处理,得到所述目标环境图像。
4.根据权利要求3所述的方法,其特征在于,所述基于获取到的第二云台控制指令,控制所述云台转动至所述第二云台控制指令对应的位姿的步骤,包括:
基于所述第二云台控制指令的控制方向,控制所述云台转动至所述控制方向对应的预设限位位姿,所述控制方向包括所述云台的水平方向和/或竖直方向,所述预设限位位姿用于限定所述云台的转动。
5.根据权利要求3所述的方法,其特征在于,所述对所述初始环境图像和所述当前环境图像进行图像拼接处理,得到所述目标环境图像的步骤,包括:
将所述初始环境图像和所述当前环境图像进行拼接,得到初始拼接图像;
判断所述初始拼接图像是否完整;
若否,则控制所述云台进行转动,以及控制所述云台进行图像采集,得到补充图像;
将所述补充图像和所述初始拼接图像进行拼接,得到所述目标环境图像。
6.根据权利要求1所述的方法,其特征在于,所述基于所述当前观测区域和所述目标观测区域之间的偏移量生成第一云台控制指令对所述云台进行控制的步骤,包括:
基于所述第一云台控制指令控制所述云台转动到与所述第一云台控制指令对应的位姿;
将获取到的所述云台在所述第一云台控制指令对应的位姿下采集到的当前环境图像进行显示。
7.根据权利要求6所述的方法,其特征在于,所述基于所述第一云台控制指令控制所述云台转动到与所述第一云台控制指令对应的位姿的步骤,包括:
检测和所述云台之间的通信网络是否卡顿;
若是,则获取所述云台在所述第一云台控制指令对应的位姿下采集到的当前环境图像;
若否,则持续获取所述云台转动到与所述第一云台控制指令对应的位姿的过程中采集到的多帧当前环境图像。
8.一种云台控制装置,其特征在于,包括:
获取模块,用于获取所述云台所处环境的目标环境图像,所述目标环境图像包括当前观测区域;
调整模块,用于响应于接收到的区域调整操作将所述当前观测区域调整至候选观测区域;
控制模块,用于若确定所述候选观测区域为目标观测区域,则基于所述当前观测区域和所述目标观测区域之间的偏移量生成第一云台控制指令对所述云台进行控制。
9.一种电子设备,其特征在于,包括存储器和处理器,所述处理器用于执行所述存储器中存储的程序指令,以实现权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其上存储有程序指令,其特征在于,所述程序指令被处理器执行时实现权利要求1至7任一项所述的方法。
CN202311446249.0A 2023-11-02 2023-11-02 云台控制方法、装置、设备以及存储介质 Active CN117170418B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311446249.0A CN117170418B (zh) 2023-11-02 2023-11-02 云台控制方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311446249.0A CN117170418B (zh) 2023-11-02 2023-11-02 云台控制方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN117170418A true CN117170418A (zh) 2023-12-05
CN117170418B CN117170418B (zh) 2024-02-20

Family

ID=88937943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311446249.0A Active CN117170418B (zh) 2023-11-02 2023-11-02 云台控制方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN117170418B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014211846A (ja) * 2013-04-22 2014-11-13 富士通株式会社 目標追尾装置及び目標追尾プログラム
CN106292727A (zh) * 2015-05-22 2017-01-04 浙江大华技术股份有限公司 一种通过网络键盘摇杆控制云台转动的方法及装置
CN107368104A (zh) * 2017-07-19 2017-11-21 济南中维世纪科技有限公司 基于手机app和家用智能云台摄像机的任意点定位方法
CN108733208A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 智能设备的交互目标确定方法和装置
CN109995993A (zh) * 2018-01-02 2019-07-09 广州亿航智能技术有限公司 飞行器及其拍摄控制方法、装置及终端系统
CN111572458A (zh) * 2020-05-25 2020-08-25 北京三快在线科技有限公司 一种控制云台旋转的方法、装置、介质及车辆
CN113260942A (zh) * 2020-09-22 2021-08-13 深圳市大疆创新科技有限公司 手持云台控制方法、手持云台、系统及可读存储介质
CN113645403A (zh) * 2021-07-29 2021-11-12 深圳市芯成像科技有限公司 基于云台的自拍方法、系统、计算机可读存储介质和智能云台
CN114556879A (zh) * 2020-12-16 2022-05-27 深圳市大疆创新科技有限公司 延时检测方法、装置、系统、可移动平台和存储介质
WO2023173552A1 (zh) * 2022-03-15 2023-09-21 平安科技(深圳)有限公司 目标检测模型的建立方法、应用方法、设备、装置及介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014211846A (ja) * 2013-04-22 2014-11-13 富士通株式会社 目標追尾装置及び目標追尾プログラム
CN106292727A (zh) * 2015-05-22 2017-01-04 浙江大华技术股份有限公司 一种通过网络键盘摇杆控制云台转动的方法及装置
CN107368104A (zh) * 2017-07-19 2017-11-21 济南中维世纪科技有限公司 基于手机app和家用智能云台摄像机的任意点定位方法
CN109995993A (zh) * 2018-01-02 2019-07-09 广州亿航智能技术有限公司 飞行器及其拍摄控制方法、装置及终端系统
CN108733208A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 智能设备的交互目标确定方法和装置
CN111572458A (zh) * 2020-05-25 2020-08-25 北京三快在线科技有限公司 一种控制云台旋转的方法、装置、介质及车辆
CN113260942A (zh) * 2020-09-22 2021-08-13 深圳市大疆创新科技有限公司 手持云台控制方法、手持云台、系统及可读存储介质
CN114556879A (zh) * 2020-12-16 2022-05-27 深圳市大疆创新科技有限公司 延时检测方法、装置、系统、可移动平台和存储介质
CN113645403A (zh) * 2021-07-29 2021-11-12 深圳市芯成像科技有限公司 基于云台的自拍方法、系统、计算机可读存储介质和智能云台
WO2023173552A1 (zh) * 2022-03-15 2023-09-21 平安科技(深圳)有限公司 目标检测模型的建立方法、应用方法、设备、装置及介质

Also Published As

Publication number Publication date
CN117170418B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN107911621B (zh) 一种全景图像的拍摄方法、终端设备以及存储介质
CN111316630B (zh) 手持云台及其拍摄控制方法
JP5092459B2 (ja) 遠隔指示システム及び遠隔指示システム用のプログラム
EP3640732B1 (en) Method and terminal for acquire panoramic image
CN110291775B (zh) 一种跟踪拍摄方法、设备及存储介质
CN110139040B (zh) 云台摄像机定位的方法、装置、云台摄像机、设备及介质
CN104811798B (zh) 一种调整视频播放速度的方法及装置
US11949986B2 (en) Anti-shake method, anti-shake apparatus, and electronic device
CN110463177A (zh) 文档图像的校正方法及装置
US9088720B2 (en) Apparatus and method of displaying camera view area in portable terminal
US10089510B2 (en) Display control methods and apparatuses
CN111064930B (zh) 分屏显示方法、显示终端及存储装置
CN114125268A (zh) 对焦方法及装置
CN111885314A (zh) 屏幕调整方法、装置、终端及计算机可读存储介质
CN117170418B (zh) 云台控制方法、装置、设备以及存储介质
CN115174878B (zh) 投影画面校正方法、装置和存储介质
CN107613143B (zh) 一种视频旋转显示方法、存储设备及移动终端
CN100403767C (zh) 移动终端摄像装置的图像补偿系统及其方法
CN112672058B (zh) 拍摄方法及装置
JP2016111561A (ja) 情報処理装置、システム、情報処理方法及びプログラム
CN112532875B (zh) 终端设备及其图像处理方法、装置、存储介质
CN114666623A (zh) 视频内容显示方法、装置、电子设备、存储介质
CN110248100B (zh) 一种拍摄方法、装置及存储介质
CN110233966B (zh) 一种图像生成方法及终端
US20170091905A1 (en) Information Handling System Defocus Tracking Video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant