CN114556879A - 延时检测方法、装置、系统、可移动平台和存储介质 - Google Patents

延时检测方法、装置、系统、可移动平台和存储介质 Download PDF

Info

Publication number
CN114556879A
CN114556879A CN202080067358.XA CN202080067358A CN114556879A CN 114556879 A CN114556879 A CN 114556879A CN 202080067358 A CN202080067358 A CN 202080067358A CN 114556879 A CN114556879 A CN 114556879A
Authority
CN
China
Prior art keywords
delay time
communication link
determining
delay
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080067358.XA
Other languages
English (en)
Inventor
王振动
楼致远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN114556879A publication Critical patent/CN114556879A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852Delays
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00Control of position or direction
    • G05D3/12Control of position or direction using feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)

Abstract

一种延时检测方法、装置、系统、可移动平台和存储介质。检测方法应用于云台系统,云台系统包括:图像采集装置(100)、与图像采集装置(100)通信连接的图像处理装置(101)以及与图像处理装置(101)通信连接的云台控制器(102),图像采集装置(100)、图像处理装置(101)与云台控制器(102)形成一通信链路,图像采集装置(100)设置于云台上;方法包括:获取用于控制云台进行运动的控制参数(S301);基于控制参数控制云台进行运动,获得图像采集装置的姿态变化信息,并通过云台控制器获取目标对象在采集画面中的位置变化信息,目标对象相对于云台的基座处于静止状态(S302);根据姿态变化信息和位置变化信息,确定与通信链路相对应的延时时间,延时时间用于指示经由通信链路确定目标对象在采集画面中的位置信息所需要的时长(S303)。

Description

延时检测方法、装置、系统、可移动平台和存储介质
技术领域
本发明实施例涉及云台技术领域,尤其涉及一种延时检测方法、装置、系统、可移动平台和存储介质。
背景技术
随着科学技术的飞速发展,云台的应用领域越来越广泛,尤其广泛应用于拍摄领域。其中,智能跟随功能是云台的一种常用的拍摄功能,摄影师通过智能跟随功能可以选定智能跟随主体,并进行相关的构图。在拍摄过程中,无论摄影师如何移动自身的位置和方向,云台姿态始终智能跟随于预先设定的跟随主体,同时保持构图,从而便于摄影师特别是新手用户进行视频拍摄操作。
目前,许多云台可以支持挂载第三方的拍摄装置,例如:云台上可以挂载不同品牌与型号的相机、手机。然而,由于不同品牌与型号的相机、手机具有不同的数据处理能力,或者,对于相同品牌的相机或者手机而言,其参数的设置可以不同。具体的,上述不同的拍摄装置或者相同拍摄装置所对应的不同设置参数会极大地影响着视频输出的延时时间,而延时时间对智能跟随的控制操作会产生极大地影响,这样容易造成云台的自动跟随效果不理想。
发明内容
本发明实施例提供了一种延时检测方法、装置、系统、可移动平台和存储介质,可以对通信链路所对应的延时时间进行准确估计,从而便于基于上述的延时时间对云台的智能跟随操作进行补偿控制,进而有利于保证智能跟随的质量和效果。
本发明的第一方面是为了提供一种延时检测方法,应用于云台系统,所述云台系统包括:图像采集装置、与所述图像采集装置通信连接的图像处理装置以及与所述图像处理装置通信连接的云台控制器,所述图像采集装置、图像处理装置与所述云台控制器形成一通信链路,其中,所述图像采集装置设置于云台上;所述方法包括:
获取用于控制所述云台进行运动的控制参数;
基于所述控制参数控制所述云台进行运动,获得所述图像采集装置的姿态变化信息,并通过所述云台控制器获取目标对象在采集画面中的位置变化信息,所述目标对象相对于所述云台的基座处于静止状态;
根据所述姿态变化信息和所述位置变化信息,确定与所述通信链路相对应的延时时间,所述延时时间用于指示经由所述通信链路确定所述目标对象在所述采集画面中的位置信息所需要的时长。
本发明的第二方面是为了提供一种延时检测装置,应用于云台系统,所述云台系统包括:图像采集装置、与所述图像采集装置通信连接的图像处理装置以及与所述图像处理装置通信连接的云台控制器,所述图像采集装置、图像处理装置与所述云台控制器形成一通信链路,其中,所述图像采集装置设置于云台上;所述装置包括:
存储器,用于存储计算机程序;
处理器,用于运行所述存储器中存储的计算机程序以实现:
获取用于控制所述云台进行运动的控制参数;
基于所述控制参数控制所述云台进行运动,获得所述图像采集装置的姿态变化信息,并通过所述云台控制器获取目标对象在采集画面中的位置变化信息,所述目标对象相对于所述云台的基座处于静止状态;
根据所述姿态变化信息和所述位置变化信息,确定与所述通信链路相对应的延时时间,所述延时时间用于指示经由所述通信链路确定所述目标对象在所述采集画面中的位置信息所需要的时长。
本发明的第三方面是为了提供一种延时检测系统,包括:
图像处理装置,与用于采集并生成图像的图像采集装置通信连接,用于对所生成的图像进行处理;
云台,所述图像采集装置和所述图像处理装置设置于所述云台上,且所述图像采集装置、所述图像处理装置与所述云台构成一通信链路;
上述第二方面所述的延时检测装置,与所述通信链路通信连接,用于确定与所述通信链路相对应的延时时间。
本发明的第四方面是为了提供一种可移动平台,包括:
云台控制器,通信连接有图像处理装置,所述图像处理装置与图像采集装置通信连接,以生成一通信链路,其中,所述图像采集装置固定连接在云台上;
支撑机构,用于连接所述云台;
上述第二方面所述的延时检测装置,与所述通信链路通信连接,用于确定与所述通信链路相对应的延时时间。
本发明的第五方面是为了提供一种计算机可读存储介质,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于第一方面所述的延时检测方法。
本发明的第六方面是为了提供一种延时检测方法,应用于云台系统,所述云台系统包括:图像采集装置、与所述图像采集装置通信连接的图像处理装置以及与所述图像处理装置通信连接的云台控制器,所述图像采集装置、图像处理装置与所述云台控制器形成一通信链路,其中,所述图像采集装置设置于云台上;所述方法包括:
控制所述云台按照控制参数运动,其中,在所述云台的运动过程中,相对于所述云台的基座处于静止状态的目标对象保持在所述图像采集装置的采集画面中;
在所述云台运动预设时长后,提示与所述通信链路相对应的延时时间相关的信息,所述延时时间用于指示经由所述通信链路确定所述目标对象在所述采集画面中的位置信息所需要的时长。
本发明的第七方面是为了提供一种延时检测装置,应用于云台系统,所述云台系统包括:图像采集装置、与所述图像采集装置通信连接的图像处理装置以及与所述图像处理装置通信连接的云台控制器,所述图像采集装置、图像处理装置与所述云台控制器形成一通信链路,其中,所述图像采集装置设置于云台上;所述装置包括:
存储器,用于存储计算机程序;
处理器,用于运行所述存储器中存储的计算机程序以实现:
控制所述云台按照控制参数运动,其中,在所述云台的运动过程中,相对于所述云台的基座处于静止状态的目标对象保持在所述图像采集装置的采集画面中;
在所述云台运动预设时长后,提示与所述通信链路相对应的延时时间相关的信息,所述延时时间用于指示经由所述通信链路确定所述目标对象在所述采集画面中的位置信息所需要的时长。
本发明的第八方面是为了提供一种延时检测系统,包括:
图像处理装置,与用于采集并生成图像的图像采集装置通信连接,用于对所生成的图像进行处理;
云台,所述图像采集装置和所述图像处理装置设置于所述云台上,且所述图像采集装置、所述图像处理装置与所述云台构成一通信链路;
上述第七方面所述的延时检测装置,与所述通信链路通信连接,用于确定与所述通信链路相对应的延时时间。
本发明的第九方面是为了提供一种可移动平台,包括:
云台控制器,通信连接有图像处理装置,所述图像处理装置与图像采集装置通信连接,以生成一通信链路,其中,所述图像采集装置固定连接在云台上;
支撑机构,用于连接所述云台;
上述第七方面所述的延时检测装置,与所述通信链路通信连接,用于确定与所述通信链路相对应的延时时间。
本发明的第十方面是为了提供一种计算机可读存储介质,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于第六方面所述的延时检测方法。
本发明实施例提供的延时检测方法、装置、系统、可移动平台和存储介质,有效地实现了对整个通信链路所对应的延时时间进行准确的估计操作,进而有利于保证智能跟随的质量和效果,有效地提高了该方法使用的稳定可靠性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本发明实施例提供的云台系统的结构示意图一;
图2为本发明实施例提供的云台系统的结构示意图二;
图3为本发明实施例提供的一种延时检测方法的流程示意图;
图4为本发明实施例提供的另一种延时检测方法的流程示意图;
图5为本发明实施例提供的又一种延时检测方法的流程示意图;
图6为本发明实施例提供的通过所述云台控制器获取目标对象在采集画面中的位置变化信息的流程示意图;
图7为本发明实施例提供的根据所述姿态变化信息和所述位置变化信息,确定与所述通信链路相对应的延时时间的流程示意图;
图8为本发明实施例提供的姿态变化信息与所述位置变化信息的示意图;
图9为本发明实施例提供的又一种延时检测方法的流程示意图;
图10为本发明实施例提供的根据所述更新后延时时间确定用于对所述采集画面进行分析处理的机器学习模型的流程示意图;
图11为本发明实施例提供的另一种延时检测方法的流程示意图;
图12为本发明实施例提供的又一种延时检测方法的流程示意图;
图13为本发明实施例提供的另一种延时检测方法的流程示意图;
图14为本发明应用实施例提供的一种延时检测方法的流程示意图;
图15为本发明应用实施例提供的对延时时间进行检测的原理示意图;
图16为本发明应用实施例提供的智能跟随操作的原理示意图;
图17为本发明实施例提供的一种延时检测装置的结构示意图;
图18为本发明实施例提供的一种延时检测系统的结构示意图;
图19为本发明实施例提供的一种可移动平台的结构示意图;
图20为本发明实施例提供的一种延时检测方法的流程示意图;
图21为本发明实施例提供的另一种延时检测装置的结构示意图;
图22为本发明实施例提供的另一种延时检测系统的结构示意图;
图23为本发明实施例提供的另一种可移动平台的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
为了便于理解本申请的技术方案,下面对现有技术进行简要说明:
随着科学技术的飞速发展,云台的应用领域越来越广泛,尤其广泛应用于拍摄领域。其中,智能跟随功能是云台的一种常用的拍摄功能,摄影师通过智能跟随功能可以选定智能跟随主体,并进行相关的构图。在拍摄过程中,无论摄影师如何移动自身的位置和方向,云台姿态始终智能跟随于预先设定的跟随主体,同时保持构图,从而便于摄影师特别是新手用户进行视频拍摄操作。
目前,许多云台可以支持挂载第三方的拍摄装置,例如:云台上可以挂载不同品牌与型号的相机、手机。然而,由于不同品牌与型号的相机、手机具有不同的数据处理能力,或者,对于相同品牌的相机或者手机而言,其参数的设置可以不同(例如:相机的高清多媒体接口hdmi输出格式和帧率、成片的曝光时间等)。具体的,上述不同的拍摄装置或者相同拍摄装置的不同设置参数会极大地影响着视频输出的延时时间,而延时时间对智能跟随的控制效果会产生极大地影响,这样容易造成云台的自动跟随效果不理想。
具体的,为了能够实现对云台系统所形成的通信链路所对应的延时时间进行准确估计,可以对云台系统的工作原理进行说明,如图1-图2所示,云台系统包括:用于采集图像的图像采集装置100、与图像采集装置100通信连接的图像处理装置101以及与图像处理装置101通信连接的云台控制器102,图像采集装置100、图像处理装置101与云台控制器102形成一通信链路,并且,图像采集装置100、图像处理装置101和云台控制器102可以设置于云台上;图像处理装置101用于对所采集的图像进行分析处理,并将分析处理后的图像发送至云台控制器102,云台控制器102用于接收分析处理后的图像,并基于分析处理后的图像进行相应的云台控制操作。
以相机100作为图像采集装置100为例,对云台系统的工作原理进行说明,相机100作为第三方负载,其可以通过HDMI接口连接到图像信号处理(Image Signal Processing,简称ISP)模块,ISP模块1011可以对所接收到的图像进行分析处理,并将处理后的图像数据传输至缓存器1012进行缓存,经过缓存器1012进行缓存后的图像数据不仅可以通过实时视频输出器1013进行实时输出,并且还可以利用格式转换器1014对缓存后的图像数据进行格式转换操作,以使得格式转换操作之后的图像数据可以输入到机器学习模型1015中进行机器学习操作,以识别用户设定的待跟随主体。在识别出待跟随主体之后,可以通过策略处理器1016按照策略确定云台的控制参数,而后云台控制器102可以基于云台的控制参数对云台进行控制操作,以实现云台可以对待跟随主体进行智能跟随操作。
针对上述所形成的通信链路而言,至少存在以下难以估计的传输延时:
(1)在相机100将所采集的图像传输至ISP模块1011时,存在一传输延时t1,该传输延时t1主要与相机100的硬件设备资源和软件数据处理能力相关,在硬件设备资源和软件数据处理能力较强时,传输延时t1越小。
(2)在ISP模块1011将进行分析处理后的图像通过缓存器1012的缓存操作、格式转换操作之后的图像发送至机器学习模型1015中进行机器学习时,存在一传输延时t2,上述的传输延时t2与图像的数据量、HDMI输出格式和帧率相关,在图像的数据量越大时,传输延时t2越大;在图像的数据量越小时,传输延时t2越小。图像的帧率越高时,传输延时t2越小;图像的帧率越低时,传输延时t2越大。
需要注意的是,针对上述所形成的通信链路而言,不仅包括上述以下难以估计的传输延时,还包括其他可以进行准确估计的传输延时,例如:机器学习模型1015对图像进行机器学习操作之后,可以将机器学习结果通过策略处理器1016传输至云台控制器102,而在上述数据传输过程中,存在可以准确估计的数据传输延时。
基于上述陈述内容可知,由于不能针对经不同负载所形成的不同通信链路所对应的传输延时进行准确估计,此时,若采用统一的智能跟随控制算法策略和控制参数对由不同的负载所构成的不同通信链路进行控制时,则会产生如下后果:
(1)在实际延时小于或等于估计延时时,带有不同负载的云台系统所对应的智能跟随性能良好。
(2)在实际延时大于估计延时时,云台系统上所设置的负载容易出现震荡情况。
为了解决上述技术问题,本实施例提供了一种延时检测方法、装置、系统、可移动平台和存储介质。该方法可以针对云台系统所形成的通信链路所对应的延时时间进行准确估计,具体的,通过获取用于控制云台进行运动的控制参数,基于控制参数控制云台进行运动,获得图像采集装置的姿态变化信息,并通过云台控制器获取目标对象在采集画面中的位置变化信息,为了能够准确地获取到位置变化信息,上述的目标对象相对于云台的基座可以处于相对静止状态,而后可以根据姿态变化信息和位置变化信息来确定与通信链路相对应的延时时间。
本实施例提供的上述技术方案,有效地实现了对整个通信链路所对应的延时时间进行准确的估计操作,可以理解的是,上述整个通信链路所对应的延时时间可以包括:第一传输延时和第二传输延时,其中,第一传输延时可以为在相机将所采集的图像传输至ISP模块的过程中所存在的传输延时,第二传输延时可以为在ISP模块将进行分析处理后的图像通过缓存器的缓存操作、格式转换操作之后的图像发送至机器学习模型中进行机器学习的过程中所存在的传输延时;从而便于基于延时时间对云台在不同应用场景中的智能跟随操作进行不同的补偿控制操作,进而有利于保证智能跟随的质量和效果,有效地提高了该方法使用的稳定可靠性。
下面结合附图,对本发明中的一种延时检测方法、装置、系统、可移动平台和存储介质的一些实施方式作详细说明。在各实施例之间不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
图3为本发明实施例提供的一种延时检测方法的流程示意图;在上述实施例的基础上,继续参考附图1-图3所示,本实施例提供了一种延时检测方法,该延时检测方法可以应用于云台系统,云台系统包括:图像采集装置100、与图像采集装置100通信连接的图像处理装置101以及与图像处理装置101通信连接的云台控制器102,图像采集装置100、图像处理装置101与云台控制器102形成一通信链路,如图2所示。其中,图像采集装置100、图像处理装置101和云台控制器102可以设置于云台上。具体的,该延时检测方法可以包括:
步骤S301:获取用于控制云台进行运动的控制参数。
步骤S302:基于控制参数控制云台进行运动,获得图像采集装置的姿态变化信息,并通过云台控制器获取目标对象在采集画面中的位置变化信息,目标对象相对于云台的基座处于静止状态。
步骤S303:根据姿态变化信息和位置变化信息,确定与通信链路相对应的延时时间,延时时间用于指示经由通信链路确定所述目标对象在采集画面中的位置信息所需要的时长。
下面针对上述各个步骤的实现过程进行详细阐述:
步骤S301:获取用于控制云台进行运动的控制参数。
其中,在对云台进行控制时,可以利用预先配置的控制参数、或者用户直接输入的控制参数或者自动生成的控制参数对云台进行控制,以使得云台基于控制参数进行运动,满足应用需求。
可以理解的是,用于控制云台进行运动的控制参数具有多种不同类型的参数,在一些实例中,控制参数包括以下至少之一:目标姿态集合,目标姿态集合中包括多个目标姿态,并且,多个目标姿态之间的变换频率小于或等于频率阈值;角速度集合,角速度集合中包括多个角速度,并且,多个角速度之间的变化频率小于或等于频率阈值;位置集合,位置集合中包括多个位置,多个位置之间的位置变化量小于或等于变化量阈值,多个位置之间的变化频率小于或等于频率阈值。
在一些实例中,云台可以对应有不同的跟随模式(跟随拍摄对象),而不同的跟随模式可以对应有不同的控制参数。以三轴云台为例,其具体可以包括依次连接的偏航轴yaw电机、俯仰轴pitch电机和横滚轴roll电机,此时,云台的跟随模式可以包括有单轴跟随模式、双轴跟随模式和三轴跟随模式。当云台的跟随模式为单轴跟随模式时,控制参数可以与云台的单个轴相对应,例如:可以基于目标姿态控制yaw轴进行运动。当云台的跟随模式为双轴跟随模式时,控制参数可以与云台的两个轴相对应,例如:可以基于目标姿态控制yaw轴和pitch轴进行运动。当云台的跟随模式为三轴跟随模式时,控制参数可以与云台的三个轴相对应,例如:可以基于目标姿态控制yaw轴、pitch轴和roll轴进行运动。
在另一些实例中,虽然云台对应有不同的跟随模式,但是,在获取到控制参数之后,也可以不考虑云台的跟随模式,直接利用控制参数对云台进行控制。例如:在云台的跟随模式为单轴跟随模式时,可以基于控制参数控制云台的yaw轴进行运动,或者,可以基于控制参数控制云台的yaw轴和pitch轴进行运动,或者,也可以基于控制参数控制云台的yaw轴、pitch轴和roll轴进行运动等等。
其中,在控制参数与云台的两个或两个以上的轴对应时,可以根据其中任意一个轴对应的控制参数所得到的下述的姿态变化信息和位置变化信息,确定与通信链路相对应的延时时间。
在本申请实施例中,该控制参数可以是仅控制云台绕yaw轴旋转时的参数为例进行说明。
可以理解的是,本领域技术人员可以基于不同的应用场景和应用需求对云台的控制模式进行调整,在此不再赘述。
具体的,在控制参数包括目标姿态集合时,目标姿态集合中所包括的多个目标姿态即为在控制云台在进行运动之后所需要达到或者接近达到的理论姿态信息。在上述控制云台进行运动的过程中,通过限定多个目标姿态之间的变换频率小于或等于频率阈值,能够实现在控制云台进行运动的过程中,目标对象始终在采集画面中,这样不仅可以准确地获取到目标对象在采集画面中的位置变化信息,并且有利于实现对通信链路的延时时间进行准确的估计。
在控制参数包括角速度集合时,角速度集合中所包括的多个角速度即为用于控制云台进行运动的参数。在上述控制云台进行运动的过程中,通过限定多个角速度之间的变化频率小于或等于频率阈值,能够实现在控制云台进行运动的过程中,目标对象始终在采集画面中,这样不仅可以准确地获取到目标对象在采集画面中的位置变化信息,并且有利于实现对通信链路的延时时间进行准确的估计。可以理解的是,本实现方式中用于对角速度进行分析处理的频率阈值与上述实现方式中用于对目标姿态进行分析处理的频率阈值可以相同或者不同。
在控制参数包括位置集合时,位置集合中所包括的多个位置即为用于控制云台进行运动之后所需要达到或者接近的目标位置信息,可以理解的是,在基于位置集合控制云台进行运动时,主要可以使得云台在预设平面上进行运动。具体的,云台可以为手持云台、机载云台等等;当控制云台在预设平面上进行运动时,云台可以在预设平面上进行平移式运动,例如:控制云台的基座在预设平面上进行平移运动。当控制云台在预设平面上进行运动时,云台可以在预设平面上进行旋转式运动,例如:控制云台的roll轴和pitch轴进行运动,以使得云台可以在预设平面上进行旋转式运动。当控制云台在预设平面上进行运动时,云台可以在预设平面上进行平移式+旋转式运动,例如:控制云台的基座平移、且绕roll轴和pitch轴进行旋转,从而使得云台可以在预设平面上进行平移式运动+旋转式运动。
另外,在控制参数包括位置集合时,目标对象在采集画面中的位置与画面中心位置之间的距离小于或等于距离阈值,即使得目标对象位于采集画面的中间区域的位置。可以理解的是,本实现方式中用于对位置进行分析处理的频率阈值、用于对角速度进行分析处理的频率阈值以及上述实现方式中用于对目标姿态进行分析处理的频率阈值可以相同或者不同。
针对上述实现方式,通过限定多个位置之间的位置变化量小于或等于变化量阈值、多个位置之间的变化频率小于或等于频率阈值,且目标对象位于采集画面的中间区域的位置,能够实现在控制云台进行运动的过程中,目标对象始终在采集画面中,这样可以准确地获取到目标对象在采集画面中的位置变化信息,进一步有利于实现对通信链路的延时时间进行准确的估计。
步骤S302:基于控制参数控制云台进行运动,获得图像采集装置的姿态变化信息,并通过云台控制器获取目标对象在采集画面中的位置变化信息,目标对象相对于云台的基座处于静止状态。
在获取到控制参数之后,可以基于控制参数控制云台进行运动,在云台进行运动的过程中,可以通过惯性测量单元(Inertial Measurement Unit,简称IMU)获取位于云台上图像采集装置的姿态变化信息。具体的,控制参数可以包括多个不同的参数值,例如,控制参数包括参数a和参数b,在利用参数a对云台进行控制时,可以通过IMU获取到云台上图像采集装置的一姿态信息A,该姿态信息A即为与参数a相对应的实际姿态;在利用参数b对云台进行控制时,可以通过IMU获取到云台上图像采集装置的一姿态信息B,该姿态信息B即为与参数b相对应的实际姿态,并且,上述的姿态信息B与姿态信息A不同,因此可以确定姿态信息B与姿态信息A之间的姿态变化信息,该姿态变化信息与参数a和参数b相对应。
在云台进行运动的过程中,可以通过云台控制器获得经通信链路(由图像采集器、图像处理器和云台控制器所构成)传输的目标对象在采集画面中的位置变化信息,为了方便对目标对象在采集画面中的位置变化信息进行统计,上述的目标对象相对于云台的基座处于静止状态,即在云台的基座处于静止状态时,目标对象可以为静止对象;在云台的基座处于移动状态时,目标对象可以为移动对象,只是上述移动对象的移动速度与云台的移动速度相同。
具体的,控制参数可以包括多个不同的参数值,例如,控制参数包括参数a和参数b,在利用参数a对云台进行控制时,云台上图像采集装置对应一姿态信息A,并可以通过图像采集装置确定目标对象的位置信息1;在利用参数b对云台进行控制时,云台上图像采集装置对应一姿态信息B,姿态信息B与姿态信息A不同,而后可以通过所显示的画面确定目标对象的位置信息2,该位置信息2与位置信息1不同,因此,可以确定位置信息1与位置信息2之间的位置变化信息。
由上述内容可知,在云台上图像采集装置的姿态信息发生变化时,则会使得云台控制器上所获得的目标对象的位置发生变化,一般情况下,一个姿态变化信息可以对应一个位置变化信息;在某些情况下,某几个姿态变化信息可以对应一个位置变化信息,即姿态变化信息与位置变化信息之间存在一对一的对应关系或者多对一的对应关系,该对应关系可以根据应用需求或者应用场景的不同而发生变化,例如:预先设置有用于对姿态变化信息进行采集的采集频率,基于所配置的采集频率可以采集姿态变化信息,而后对所采集的姿态变化信息进行分析处理,确定与所采集的姿态变化信息相对应的位置变化信息。
步骤S303:根据姿态变化信息和位置变化信息,确定与通信链路相对应的延时时间,延时时间用于指示经由通信链路确定所述目标对象在采集画面中的位置信息所需要的时长。
其中,由于位置变化信息与姿态变化信息之间存在对应关系,且位置变化信息是在姿态变化信息之后所生成的,姿态变化信息与位置变化信息之间存在延时对应关系。因此,在获取到姿态变化信息和位置变化信息之后,可以对姿态变化信息和位置变化信息进行分析处理,以确定与通信链路相对应的延时时间,有效地实现了对由图像采集装置、图像处理装置和云台控制器所构成的整个通信链路的通信延时时间(也即,经由通信链路确定目标对象在采集画面中的位置信息所需要的时长)进行了准确估计,从而便于基于上述的延时时间来对云台进行准确有效地控制。
本实施例提供的延时检测方法,通过获取用于控制云台进行运动的控制参数,基于控制参数控制云台进行运动获得图像采集装置的姿态变化信息,并通过云台控制器获取目标对象在采集画面中的位置变化信息,而后根据姿态变化信息和位置变化信息,确定与通信链路相对应的延时时间,有效地实现了对整个通信链路所对应的延时时间进行准确的估计操作,另外,上述整个通信链路所对应的延时时间可以包括:第一传输延时和第二传输延时,其中,第一传输延时可以为在相机将所采集的图像传输至ISP模块的过程中所存在的传输延时,第二传输延时可以为在ISP模块将进行分析处理后的图像通过缓存器的缓存操作、格式转换操作之后的图像发送至机器学习模型中进行机器学习的过程中所存在的传输延时;从而便于基于延时时间对云台在不同应用场景中的智能跟随操作进行不同的补偿控制操作,进而有利于保证智能跟随的质量和效果,有效地提高了该方法使用的稳定可靠性。
图4为本发明实施例提供的另一种延时检测方法的流程示意图;在上述实施例的基础上,继续参考附图4所示,本实施例中的方法还可以包括:
步骤S401:获取通信链路的响应带宽。
步骤S402:根据响应带宽确定与通信链路相对应的频率阈值。
其中,响应带宽是通信链路所对应的信号频谱的宽度,也就是信号的最高频率分量与最低频率分量之差,该响应带宽用于标识通信链路的响应速度,在响应带宽越大时,则表示该通信链路的响应速度较快;在响应带宽较小时,则表示该通信链路的响应速度较慢。另外,响应带宽与通信链路的硬件设备资源和软件数据处理能力相关,在通信链路的硬件结构确定之后,即可确定该通信链路的响应带宽。
在获取到响应带宽之后,则可以对响应带宽进行分析处理,以根据响应带宽确定与通信链路相对应的频率阈值,具体的,可以基于响应带宽与频率阈值之间的对应关系来确定与通信链路相对应的频率阈值。在一些实例中,响应带宽与频率阈值之间可以呈正相关关系;即在响应带宽增大时,频率阈值则相应增加;在响应带宽减小时,频率阈值则相应减小。可以理解的是,与不同的通信链路相对应的频率阈值相同或者不同,其中,不同的通信链路对应有不同的通信链路部件。
举例来说,通信链路1包括:图像采集装置a、图像处理装置a和云台控制器a,通信链路2包括:图像采集装置b、图像处理装置a和云台控制器a,其中,由于图像采集装置b与图像采集装置a不同,因此通信链路1与通信链路2是不同的通信链路,而上述不同的通信链路可以对应有不同的频率阈值。
本实施例中,通过获取通信链路的响应带宽,而后根据响应带宽确定与通信链路相对应的频率阈值,这样有效地实现了在针对不同的通信链路进行延时时间检测时,可以利用不同的频率阈值进行分析处理,这样不仅满足了对不同应用场景中不同通信链路进行延时时间的估计操作,并且还保证了对延时时间进行估计的准确可靠性。
图5为本发明实施例提供的又一种延时检测方法的流程示意图;在上述实施例的基础上,继续参考附图5所示,在基于控制参数控制云台进行运动之前,本实施例中的方法还可以包括:
步骤S501:获取图像采集装置中所采集的当前画面。
步骤S502:在当前画面中,确定相对云台的基座处于静止状态的至少一个显示对象。
步骤S503:基于至少一个显示对象,确定在采集画面中的目标对象。
在基于控制参数控制云台进行运动之前,为了能够实现对整个通信链路的延时时间进行准确估计,可以先确定位于采集画面中的目标对象,以便对目标对象在采集画面中的位置变化信息进行确定。具体的,可以获取图像采集装置中所采集的当前画面,可以理解的是,在获取图像采集装置中所采集的当前画面时,云台可以处于静止状态,以便于对目标对象进行选择和确定。
在通过图像采集装置获得当前画面时,则可以在当前画面中确定相对云台的基座处于静止状态的至少一个显示对象,之后则可以基于至少一个显示对象确定在采集画面中的目标对象。在一些实例中,基于至少一个显示对象,确定在采集画面中的目标对象可以包括:获取用户针对至少一个显示对象所输入的执行操作;将执行操作所对应的显示对象,确定为目标对象。
具体的,在获取到采集画面中的至少一个显示对象之后,用户可以针对上述的至少一个显示对象输入执行操作,在检测到用户针对某一个显示对象所输入的执行操作之后,则可以将执行操作所对应的显示对象确定为目标对象。在检测到用户针对多个显示对象所输入的执行操作之后,则可以将最后一次执行操作所对应的显示对象确定为目标对象,从而有效地保证了对目标对象进行确定的准确可靠性。当然的,本领域技术人员也可以采用其他的方式来确定目标对象,只要能够保证对目标对象进行确定的准确可靠性。
图6为本发明实施例提供的通过云台控制器获取目标对象在采集画面中的位置变化信息的流程示意图;在上述实施例的基础上,参考附图6所示,本实施例提供另一种获取目标对象在采集画面中的位置变化信息的实现方式,具体的,本实施例中的通过云台控制器获取目标对象在采集画面中的位置变化信息可以包括:
步骤S601:在基于控制参数控制云台进行运动的过程中,通过云台控制器获取与控制参数相对应的多个采集画面,每个采集画面中均包括目标对象。
步骤S602:对多个采集画面进行分析处理,获得目标对象在采集画面中的位置变化信息。
由于在基于控制参数控制云台进行运动的过程中,图像采集装置的采集画面中始终包括目标对象,并且,在利用不同的控制参数对云台进行控制时,目标对象在采集画面中的位置不同,此时则可以统计目标对象在采集画面中的位置变化信息。
具体的,在基于控制参数控制云台进行运动的过程中,通过云台控制器可以获取与控制参数相对应的多个采集画面,可以理解的是,上述的多个采集画面可以是通过图像采集装置所在的通信链路传输至云台控制器的,其中,所获得的每个采集画面中均可以包括目标对象。对于目标对象而言,目标对象在多个采集画面中的不同位置,因此,在获取到多个采集画面之后,则可以对多个采集画面进行分析处理,以获得目标对象在采集画面中的位置变化信息。具体实现时,可以利用预先训练好的机器学习模型或者图像识别算法对采集画面进行分析处理,从而获得目标对象在采集画面中的位置变化信息。
本实施例中,在基于控制参数控制云台进行运动的过程中,通过云台控制器获取与控制参数相对应的多个采集画面,而后对多个采集画面进行分析处理,从而可以准确地获得目标对象在采集画面中的位置变化信息,进而便于基于位置变化信息对整个通信链路的延时时间进行估计,提高了对延时时间进行估计的准确可靠性。
图7为本发明实施例提供的根据姿态变化信息和位置变化信息,确定与通信链路相对应的延时时间的流程示意图;在上述实施例的基础上,继续参考附图7所示,本实施例提供了一种确定与通信链路相对应的延时时间的实现方式,具体的,本实施例中的根据姿态变化信息和位置变化信息,确定与通信链路相对应的延时时间可以包括:
步骤S701:获取姿态变化信息与位置变化信息之间的多个相位差。
步骤S702:根据多个相位差确定与通信链路相对应的延时时间。
其中,由于姿态变化信息和位置变化信息之间存在一定的延时,因此,在获取到姿态变化信息和位置变化信息之后,可以获取姿态变化信息与位置变化信息之间的多个相位差,该相位差的数量可以为至少两个。举例来说,如图8所示,在姿态变化信息呈规则的正弦曲线时,位置变化信息可以呈规则的正弦曲线,此时,姿态变化信息与位置变化信息之间存在延时对应关系,延时对应关系与姿态变化信息和位置变化信息之间的相位差存在关联。因此,在获取到姿态变化信息和位置变化信息之后,则可以对确定姿态变化信息与位置变化信息之间的多个相位差。
可以理解的是,在姿态变化信息呈规则的正弦关系时,位置变化信息也可以呈不规则的正弦关系,此时,姿态变化信息与位置变化信息之间也可以存在延时对应关系。
在姿态变化信息与位置变化信息均满足规则的正弦关系时,姿态变化信息与位置变化信息之间的多个相位差可以是相同的;在姿态变化信息与位置变化信息不满足规则的预设关系时,姿态变化信息与位置变化信息之间的多个相位差可以是不相同的。
在获取到多个相位差之后,可以对多个相位差进行分析处理,以确定与通信链路相对应的延时时间。在一些实例中,根据多个相位差确定与通信链路相对应的延时时间可以包括:获取与多个相位差相对应的相位差均值;确定与多个相位差相对应的变换频率;基于相位差均值与变换频率,确定与通信链路相对应的延迟时间。
举例来说,多个相位差分别为P1、P2、P3和P4之后,可以确定与多个相位差相对应的相位差均值P_=(P1+P2+P3+P4)/4,并且可以确定与多个相位差相对应的变化频率f,而后则可以基于相位差均值和变化频率,按照以下公式来确定与通信链路相对应的延时时间:t=(P_/360°)*(1/f),从而有效地保证了对与通信链路相对应的延时时间进行确定的准确可靠性。
在另一些实例中,在确定与通信链路相对应的延时时间之后,本实施例中的方法还可以包括:生成与延时时间相对应的第一提示信息,以降低与通信链路相对应的延时时间。
其中,在获取到与通信链路的延时时间之后,则可以生成与延时时间相对应的第一延时时间,该第一提示信息可以包括以下至少之一:提高图像采集装置的输出帧率,调整图像采集装置的输出格式。当然的,本领域技术人员也可以将第一提示信息设置为包括其他信息,只要能够降低与通信链路相对应的延时时间即可,在此不再赘述。
在又一些实例中,在所获得的延时时间较大时,所生成与延时时间相对应的第一提示信息可以为信息A;在所获得的延时时间较小时,所生成与延时时间相对应的第一提示信息可以为信息B,信息A与信息B可以相同或者不同,在信息A与信息B不同时,信息A中可以包括与延时时间相对应的紧急程度较高的提示信息,信息B中可以包括与延时时间相对应的紧急程度较低的提示信息。
图9为本发明实施例提供的又一种延时检测方法的流程示意图;在上述实施例的基础上,继续参考附图9所示,在生成与延时时间相对应的第一提示信息之后,本实施例中的方法还可以包括:
步骤S901:获取更新后延时时间。
步骤S902:在更新后延时时间大于时间阈值时,生成与更新后延时时间相对应的第二提示信息,第二提示信息用于标识云台不满足跟随操作条件。
步骤S903:在更新后延时时间小于或等于时间阈值时,根据更新后延时时间确定用于对采集画面进行分析处理的机器学习模型,机器学习模型被训练为用于识别采集画面中所包括的目标对象。
其中,在生成与延时时间相对应的第一提示信息之后,可以基于第一提示信息执行相对应的操作,例如:用户可以通过第一提示信息对云台系统的参数进行重新配置,以降低与通信链路相对应的延时时间。在获取到与第一提示信息相对应的执行操作之后,即完成了对通信链路所对应的延时时间进行调整/更新操作。
为了能够保证云台系统工作的稳定可靠性,则可以获取更新后延时时间,具体的获取方式与上述实施例中获取延时时间的具体实现方式相类似,在此不再赘述。在获取到更新后延时时间之后,则可以将更新后延时时间与时间阈值进行分析比较,在更新后延时时间大于时间阈值时,则说明此时云台系统的延时时间较大,此时,若利用上述的云台系统进行智能跟随操作时,则无法满足智能跟随的质量和效果。因此,在更新后延时时间大于时间阈值时,则可以生成与更新后延时时间相对应的第二提示信息,第二提示信息用于标识云台不满足跟随操作条件。
在更新后延时时间小于或等于时间阈值时,则说明此时云台系统的延时时间较小,为了进一步降低云台系统的延时时间,则可以根据更新后延时时间确定用于对采集画面进行分析处理的机器学习模型,以提高对目标对象进行智能跟随操作的质量和效率。
在一些实例中,参考附图10所示,根据更新后延时时间确定用于对采集画面进行分析处理的机器学习模型可以包括:
步骤S1001:获取用于对采集画面进行分析处理的多个备选机器学习模型,不同的备选机器学习模型对应有不同的对象识别速度。
步骤S1002:在多个备选机器学习模型中,根据更新后延时时间确定一用于对采集画面进行分析处理的机器学习模型,以降低与通信链路相对应的更新后延时时间。
其中,在利用云台系统进行智能跟随操作时,预先配置有用于对采集画面进行分析处理的多个备选机器学习模型,上述的备选机器学习模型可以通过以下任意一个网络进行训练而获得:卷积神经网络CNN、循环神经网络RNN、人工神经网络ANN、深度神经网络DNN等等,而不同的备选机器学习模型可以对应有不同的对象识别速度。具体的,多个备选机器学习模型可以存储在预设区域或者其他设备中,通过访问预设区域或者其他设备可以获取用于对采集画面进行分析处理的多个备选机器学习模型,当然的,本领域技术人员也可以采用其他的方式来获取多个备选机器学习模型,只要能够保证对多个备选机器学习模型进行获取的准确可靠性即可,在此不再赘述。
在获取到多个备选机器学习模型之后,可以对多个备选机器学习模型进行分析处理,以确定一用于对采集画面进行分析处理的机器学习模型,在利用上述的机器学习模型进行图像处理时,可以降低与通信链路相对应的更新后延时时间。在一些实例中,在多个备选机器学习模型中,根据更新后延时时间确定一用于对采集画面进行分析处理的机器学习模型可以包括:确定与更新后延时时间相对应的延时均值和延时方差;根据更新后延时时间、延时均值和延时方差中的至少一个,在多个备选机器学习模型中确定一用于对采集画面进行分析处理的机器学习模型,其中,机器学习模型的对象识别速度与更新后延时时间、延时均值和延时方差中的至少一个呈负相关。
具体的,在获取到更新后延时时间之后,可以确定与更新后延时时间相对应的延时均值和延时方差,在获取到更新后延时时间、延时均值和延时方差之后,则可以根据更新后延时时间、延时均值和延时方差中的至少一个,在多个备选机器学习模型中确定一用于对采集画面进行分析处理的机器学习模型,所确定的机器学习模型的对象识别速度与更新后延时时间、延时均值和延时方差中的至少一个呈负相关。
举例1,多个备选机器学习模型包括模型A、模型B、模型C和模型D,模型A的对象识别速度为Va,模型B的对象识别速度为Vb,模型C的对象识别速度为Vc,模型D的对象识别速度为Vd,其中,Va、Vb、Vc和Vd各不相同,例如,Vb<Vc<Vd<Va。
在获取到更新后延时时间之后,则可以根据更新后延时时间、在上述多个备选机器学习模型中确定一用于对采集画面进行分析处理的目标机器学习模型,该目标机器学习模型的对象识别速度与更新后延时时间呈负相关,即在获取到更新后延时时间较大时,可以将对象识别速度较快的模型A确定为目标机器学习模型,此时的目标机器学习模型的数据处理开销比较小,运算的精确度较低。在获取到更新后延时时间较小时,则可以将对象识别速度较慢的模型B确定为目标机器学习模型,此时的目标机器学习模型的数据处理开销比较大,运算的精确度较高。
举例2,多个备选机器学习模型包括模型A、模型B、模型C和模型D,模型A的对象识别速度为Va,模型B的对象识别速度为Vb,模型C的对象识别速度为Vc,模型D的对象识别速度为Vd,其中,Va、Vb、Vc和Vd各不相同,例如,Vb<Vc<Vd<Va。
在获取到更新后延时时间之后,则可以确定与更新后延时时间相对应的延时均值,根据更新后延时时间和延时均值、在上述多个备选机器学习模型中确定一用于对采集画面进行分析处理的目标机器学习模型,该目标机器学习模型的对象识别速度与更新后延时时间和延时均值呈负相关,即在获取到更新后延时时间较大、且延时均值较大时,可以将对象识别速度较快的模型A确定为目标机器学习模型,此时的目标机器学习模型的数据处理开销比较小,运算的精确度较低。在获取到更新后延时时间较小、且延时均值较小时,则可以将对象识别速度较慢的模型B确定为目标机器学习模型,此时的目标机器学习模型的数据处理开销比较大,运算的精确度较高。
举例3,多个备选机器学习模型包括模型A、模型B、模型C和模型D,模型A的对象识别速度为Va,模型B的对象识别速度为Vb,模型C的对象识别速度为Vc,模型D的对象识别速度为Vd,其中,Va、Vb、Vc和Vd各不相同,例如,Vb<Vc<Vd<Va。
在获取到更新后延时时间之后,则可以确定与更新后延时时间相对应的延时均值和延时方差,根据更新后延时时间、延时均值和延时方差、在上述多个备选机器学习模型中确定一用于对采集画面进行分析处理的目标机器学习模型,该目标机器学习模型的对象识别速度与更新后延时时间、延时均值和延时方差呈负相关,即在获取到更新后延时时间较大、延时均值较大、且延时方差较大时,可以将对象识别速度较快的模型A确定为目标机器学习模型,此时的目标机器学习模型的数据处理开销比较小,运算的精确度较低。在获取到更新后延时时间较小、延时均值较小、且延时方差较小时,则可以将对象识别速度较慢的模型B确定为目标机器学习模型,此时的目标机器学习模型的数据处理开销比较大,运算的精确度较高。
本实施例中,通过获取用于对采集画面进行分析处理的多个备选机器学习模型,而后在多个备选机器学习模型中,根据更新后延时时间确定一用于对采集画面进行分析处理的机器学习模型,有效地实现了可以降低与通信链路相对应的更新后延时时间,这样在基于更新后延时时间对云台进行控制时,有效地提高了对云台进行控制的准确可靠性。
图11为本发明实施例提供的另一种延时检测方法的流程示意图;在上述实施例的基础上,继续参考附图11所示,在根据更新后延时时间确定用于对采集画面进行分析处理的机器学习模型之后,本实施例中的方法还可以包括:
步骤S1101:获取由机器学习模型所对应的通信链路的实际延时时间。
步骤S1102:通过显示界面显示实际延时时间。
其中,在确定机器学习模型之后,则可以基于所确定的机器学习模型、云台控制器、图像采集装置形成一通信链路,而该通信链路所对应的实际延时时间与之前所确定的更新后延时时间不同。因此,为了能够使得用户可以及时得获取到实际延时时间,则可以通过显示界面显示上述的实际延时时间,可以理解的是,显示界面可以设置于云台上,或者,显示界面也可以不设置于云台上。在获取到实际延时时间之后,可以基于实际延时时间对云台进行控制,例如:可以对云台的智能跟随操作进行控制,这样能够有效地保证智能跟随操作的质量和效率,进一步提高了该方法的实用性。
图12为本发明实施例提供的又一种延时检测方法的流程示意图;在上述实施例的基础上,继续参考附图12所示,在确定与通信链路相对应的延时时间之后,本实施例中的方法还可以包括:
步骤S1201:获取用于对延时时间进行分析处理的时间阈值。
步骤S1202:在延时时间大于时间阈值时,则生成与延时时间相对应的第三提示信息,以降低与通信链路相对应的延时时间。
步骤S1203:在延时时间小于或等于时间阈值时,则根据延时时间确定用于对采集画面进行分析处理的机器学习模型,机器学习模型被训练为用于识别采集画面中所包括的目标对象。
其中,在确定与通信链路相对应的延时时间之后,则可以获取用于对延时时间进行分析处理的时间阈值,而后将时间阈值与延时时间进行分析比较,在延时时间大于时间阈值时,则说明此时云台系统的延时时间较大,此时,若利用上述的云台系统进行智能跟随操作时,则无法满足智能跟随的质量和效果。因此,在延时时间大于时间阈值时,则可以生成与延时时间相对应的第三提示信息,该第三提示信息可以用于提示用户进行相关的配置或者调整操作,以降低与通信链路相对应的延时时间。
在延时时间小于或等于时间阈值时,则说明此时云台系统的延时时间较小,为了进一步降低云台系统的延时时间,则根据延时时间确定用于对采集画面进行分析处理的机器学习模型,机器学习模型被训练为用于识别采集画面中所包括的目标对象,这样可以提高对目标对象进行智能跟随操作的质量和效率。
本实施例中,通过获取用于对延时时间进行分析处理的时间阈值,在延时时间大于时间阈值时,则生成与延时时间相对应的第三提示信息,以降低与通信链路相对应的延时时间;在延时时间小于或等于时间阈值时,则根据延时时间确定用于对采集画面进行分析处理的机器学习模型,机器学习模型被训练为用于识别采集画面中所包括的目标对象,从而有效地实现了可以基于不同的延时时间进行不同的处理操作,进一步提高了该方法使用的灵活可靠性。
图13为本发明实施例提供的另一种延时检测方法的流程示意图;在上述任意一个实施例的基础上,继续参考附图13所示,在确定与通信链路相对应的延时时间之后,本实施例中的方法还可以包括:
步骤S1301:根据延时时间,生成与通信链路相对应的补偿参数。
步骤S1302:根据补偿参数控制云台进行跟随操作。
具体的,在获取到与通信链路相对应的延时时间之后,为了能够提高云台工作的质量和效率,则可以根据延时时间生成与通信链路相对应的补偿参数,补偿参数可以为时间参数,该参数可以降低通信链路的延时时间对云台进行跟随操作的影响程度,在获取到补偿参数之后,则可以根据补偿参数控制云台进行智能跟随操作。
举例来说,在确定与通信链路相对应的延时时间T为5s时,则可以按照预设算法对上述的延时时间T进行分析处理,以生成与通信链路相对应的补偿参数,该补偿参数可以为与延时时间相对应的补偿时间,例如,补偿时间可以为5s、4s或者3s等等。在获取到补偿参数之后,则可以根据补偿参数控制云台进行跟随操作,这样可以有效地降低延时时间对通信链路的通信能力所产生的影响,进一步保证了控制云台进行跟随操作的质量和效果。
再或者,可以基于目标对象的历史运动数据确定目标对象的历史运动曲线(该历史运动曲线用于标识在预设时间段内目标对象所经过的位置信息),基于目标对象的历史运动曲线可以确定目标对象的运动速度。在确定与通信链路相对应的延时时间T之后,可以基于目标对象的运动速度和延时时间T对目标对象经过延时时间T之后的运动位置进行预估,获得预估运动位置,而后使得云台可以基于预估运动位置对目标对象进行跟随操作,这样可以有效地降低延时时间对通信链路的通信能力所产生的影响,进一步保证了控制云台进行跟随操作的质量和效果。
具体应用时,本应用实施例提供了一种云台控制方法,该控制方法可以准确估计智能跟随链路的延时时间,在确定延时时间之后,不仅可以根据延时时间选择不同的机器学习模型进行不同的数据处理操作,而且还可以根据不同的延时时间进行控制补偿操作,这样有利于提升不同延时时间进行智能跟随操作的准确可靠性。此外,为了使得用户可以及时获知到云台的工作状态以及与用户进行交互操作,则可以通过UI界面提示用户设置。具体的,参考附图14所示,本实施例中的方法包括:
步骤1:利用延时估计算法确定通信链路的延时时间T。
其中,通信链路可以包括:相机、与相机通信连接的图像处理器和与图像处理器通信连接的云台控制器,为了能够确定通信链路的延时时间T,参考附图15所示,可以按照以下步骤进行操作:
步骤1.1:设置云台与相机之间刚性连接。
步骤1.2:设置一个静止物体作为云台的跟随主体。
获取相机的采集画面,在采集画面中所显示的多个物体中,确定一静止物体作为云台的跟随主体,静止物体是指相对于云台的基座处于静止状态的物体。
步骤1.3:设置用于控制云台的目标姿态集合,目标姿态集合中所包括的多个目标姿态满足一低频曲线(例如:0.1Hz-2Hz等等)。
可以理解的是,不同的云台系统可以对应有不同的低频曲线,该低频曲线用于限定控制云台的多个目标姿态之间的变化比较缓慢。
步骤1.4:利用目标姿态集合中所包括的多个目标姿态控制云台进行运动,云台自身的运动带动位于云台上的相机进行运动,从而使得跟随主体在相机画面中进行移动。
步骤1.5:记录云台实际运动的实际姿态曲线,并确定跟随主体基于实际姿态曲线在相机画面中的位置变化曲线。
步骤1.6:对实际姿态曲线和位置变化曲线进行分析处理,计算出两条曲线的相位差,基于相位差确定通信链路的延时时间T。
具体的,可以获取两条曲线所对应的多个相位差,而后确定多个相位差所对应的相位差均值,基于相位差均值确定通信链路的延时时间T。
步骤2:将延时时间T与阈值进行分析比较,在延时时间T大于阈值时,则通过UI界面提示用户进行相关参数设置。
具体的,通过UI界面提示用户进行相关参数设置可以包括:通过UI界面提示用户提高图像采集装置的输出帧率,或者,调整图像采集装置的输出格式。在用户进行相关参数进行设置之后,云台系统的延时时间T会发生变化,因此,可以再次利用延时估计算法来确定通信链路的延时时间T`。
在另一些实例中,在用户对相关参数进行一次或者多次配置(例如:3次、4次等等)之后,可以获取到与通信链路相对应的一个或多个新的延时时间T``,当获取到新的延时时间T``之后,则可以将新的延时时间T``与阈值进行比较,在新的延时时间T``仍大于阈值时,则可以通过UI界面显示提示信息,以提示用户此时的云台无法较好地实现智能跟随操作。
步骤3:在延时时间T(或者T`、或者T``)小于或者等于阈值时,则根据延时时间确定用于对采集画面进行分析处理的机器学习模型,以降低与通信链路相对应的延时时间。
步骤4:在确定机器学习模型之后,可以确定由上述所确定的机器学习模型所对应的通信链路的实际延时时间,而后通过UI界面将实际延时时间提示给用户。
步骤5:针对实际延时时间,控制补偿算法进行参数设置,以降低实际延时时间。
具体的,参考附图16所示,本应用实施例提供了一种待补偿器的原理框图,图像采集装置可以获得针对构图目标的图像,将图像传输至图像处理模块,可以确定图像中所包括的构图目标,在确定构图目标之后,则可以将构图目标发送至云台控制器,以使得云台控制器可以基于构图目标的位置信息来控制云台进行运动,具体的,可以基于构图目标的位置信息生成与三轴云台所对应的控制参数,基于控制参数来控制云台进行运动,以实现云台可以对构图目标进行智能跟随操作。
在云台进行运动之后,可以通过惯性测量单元获取到图像采集装置(或者云台)的测量姿态,同时确定上述通信链路所对应的延时时间T,则可以通过滤波器和延时时间T确定一延时估计误差,这样在获取到测量图像位置偏差之后,则可以结合延时估计误差和图像位置偏差预估构图目标所对应的新的运动位置,而后可以将所预估的新的运动位置发送至云台控制器,以实现云台可以基于新的运动位置进行智能跟随操作,这样可以有效地降低延时时间对构图目标进行智能跟随操作的影响程度。
举例来说,通信链路所对应的延时时间为1s,在获取到云台或者图像采集装置的实际测量姿态时,则可以通过滤波器和延时时间确定纯延时估计误差为1s,进而,在获取到测量图像位置偏差之后,则可以基于上述的纯延时估计误差1s,对构图目标在1s之后位于显示画面的位置进行估计,并输出构图目标在显示画面中的估计位置,这样可以有效地降低延时时间对构图目标进行智能跟随操作的影响程度。
步骤6:控制云台进行智能跟随操作。
本应用实施例提供的云台控制方法,有效地实现了对整个通信链路所对应的延时时间进行准确的估计操作,可以理解的是,上述整个通信链路所对应的延时时间可以包括:第一传输延时t1和第二传输延时t2,其中,第一传输延时可以为在相机将所采集的图像传输至ISP模块的过程中所存在的传输延时,第二传输延时可以为在ISP模块将进行分析处理后的图像通过缓存器的缓存操作、格式转换操作之后的图像发送至机器学习模型中进行机器学习的过程中所存在的传输延时,从而便于基于延时时间对云台在不同应用场景中的智能跟随操作进行不同的补偿控制操作,进而有利于保证智能跟随的质量和效果。此外,本实施例中的云台控制方法还可以基于不同的延时时间来确定进行数据处理操作的不同的机器学习模型,进而有利于降低延时时间对通信链路的影响程度;另外,还可以通过UI界面与用户进行交互,提示用户进行相关参数的设置,可以有效地降低延时时间,有利于提升基于不同延时时间所进行的智能跟随操作的稳定可靠性,进一步提高了该方法使用的稳定可靠性。
图17为本发明实施例提供的一种延时检测装置的结构示意图;参考附图17所示,本实施例提供了一种延时检测装置,该延时检测装置可以应用于云台系统,如图1所示,上述的云台系统可以包括:图像采集装置100、与图像采集装置100通信连接的图像处理装置101以及与图像处理装置101通信连接的云台控制器102,图像采集装置100、图像处理装置101与云台控制器102形成一通信链路,其中,图像采集装置100设置于云台上;延时检测装置可以包括:
第一存储器1702,用于存储计算机程序;
第一处理器1701,用于运行第一存储器1702中存储的计算机程序以实现:
获取用于控制云台进行运动的控制参数;
基于控制参数控制云台进行运动,获得图像采集装置的姿态变化信息,并通过云台控制器获取目标对象在采集画面中的位置变化信息,目标对象相对于云台的基座处于静止状态;
根据姿态变化信息和位置变化信息,确定与通信链路相对应的延时时间,所述延时时间用于指示经由所述通信链路确定所述目标对象在所述采集画面中的位置信息所需要的时长。
其中,延时检测装置的结构中还可以包括第一通信接口1703,用于电子设备与其他设备或通信网络通信。
在一些实例中,控制参数包括以下至少之一:目标姿态集合,目标姿态集合中包括多个目标姿态,并且,多个目标姿态之间的变换频率小于或等于频率阈值;角速度集合,角速度集合中包括多个角速度,并且,多个角速度之间的变化频率小于或等于频率阈值;位置集合,位置集合中包括多个位置,多个位置之间的位置变化量小于或等于变化量阈值,多个位置之间的变化频率小于或等于频率阈值。
在一些实例中,在控制参数包括位置集合时,目标对象在采集画面中的位置与画面中心位置之间的距离小于或等于距离阈值。
在一些实例中,第一处理器1701还用于:获取通信链路的响应带宽;根据响应带宽确定与通信链路相对应的频率阈值。
在一些实例中,与不同的通信链路相对应的频率阈值相同或者不同。
在一些实例中,在基于控制参数控制云台进行运动之前,第一处理器1701还用于:获取图像采集装置中所采集的当前画面;在当前画面中,确定相对云台的基座处于静止状态的至少一个显示对象;基于至少一个显示对象,确定在采集画面中的目标对象。
在一些实例中,在第一处理器1701基于至少一个显示对象,确定在采集画面中的目标对象时,第一处理器1701用于:获取用户针对至少一个显示对象所输入的执行操作;将执行操作所对应的显示对象,确定为目标对象。
在一些实例中,在第一处理器1701通过云台控制器获取目标对象在采集画面中的位置变化信息时,第一处理器1701用于:在基于控制参数控制云台进行运动的过程中,通过云台控制器获取与控制参数相对应的多个采集画面,每个采集画面中均包括目标对象;对多个采集画面进行分析处理,获得目标对象在采集画面中的位置变化信息。
在一些实例中,在第一处理器1701根据姿态变化信息和位置变化信息,确定与通信链路相对应的延时时间时,第一处理器1701用于:获取姿态变化信息与位置变化信息之间的多个相位差;根据多个相位差确定与通信链路相对应的延时时间。
在一些实例中,在第一处理器1701根据多个相位差确定与通信链路相对应的延时时间时,第一处理器1701用于:获取与多个相位差相对应的相位差均值;确定与多个相位差相对应的变换频率;基于相位差均值与变换频率,确定与通信链路相对应的延迟时间。
在一些实例中,在确定与通信链路相对应的延时时间之后,第一处理器1701用于:生成与延时时间相对应的第一提示信息,以降低与通信链路相对应的延时时间。
在一些实例中,第一提示信息包括以下至少之一:提高图像采集装置的输出帧率;调整图像采集装置的输出格式。
在一些实例中,在生成与延时时间相对应的第一提示信息之后,第一处理器1701用于:获取更新后延时时间;在更新后延时时间大于时间阈值时,生成与更新后延时时间相对应的第二提示信息,第二提示信息用于标识云台不满足跟随操作条件;在更新后延时时间小于或等于时间阈值时,根据更新后延时时间确定用于对采集画面进行分析处理的机器学习模型,机器学习模型被训练为用于识别采集画面中所包括的目标对象。
在一些实例中,在第一处理器1701根据更新后延时时间确定用于对采集画面进行分析处理的机器学习模型时,第一处理器1701用于:获取用于对采集画面进行分析处理的多个备选机器学习模型,不同的备选机器学习模型对应有不同的对象识别速度;在多个备选机器学习模型中,根据更新后延时时间确定一用于对采集画面进行分析处理的机器学习模型,以降低与通信链路相对应的更新后延时时间。
在一些实例中,在第一处理器1701在多个备选机器学习模型中,根据更新后延时时间确定一用于对采集画面进行分析处理的机器学习模型时,第一处理器1701用于:确定与更新后延时时间相对应的延时均值和延时方差;根据更新后延时时间、延时均值和延时方差中的至少一个,在多个备选机器学习模型中确定一用于对采集画面进行分析处理的机器学习模型,其中,机器学习模型的对象识别速度与更新后延时时间、延时均值和延时方差中的至少一个呈负相关。
在一些实例中,在根据更新后延时时间确定用于对采集画面进行分析处理的机器学习模型之后,第一处理器1701用于:获取由机器学习模型所对应的通信链路的实际延时时间;通过显示界面显示实际延时时间。
在一些实例中,在确定与通信链路相对应的延时时间之后,第一处理器1701用于:获取用于对延时时间进行分析处理的时间阈值;在延时时间大于时间阈值时,生成与延时时间相对应的第三提示信息,以降低与通信链路相对应的延时时间;在延时时间小于或等于时间阈值时,根据延时时间确定用于对采集画面进行分析处理的机器学习模型,机器学习模型被训练为用于识别采集画面中所包括的目标对象。
在一些实例中,在确定与通信链路相对应的延时时间之后,第一处理器1701用于:根据延时时间,生成与通信链路相对应的补偿参数;根据补偿参数控制云台进行跟随操作。
图17所示装置可以执行图1至图16所示中的实施例的方法,本实施例未详细描述的部分,可参考对图1至图16所示中的实施例的相关说明。该技术方案的执行过程和技术效果参见图1至图16所示实施例中的描述,在此不再赘述。
图18为本发明实施例提供的一种延时检测系统的结构示意图,参考附图18所示,本实施例提供了一种延时检测系统,该延时检测系统可以包括:
图像处理装置1801,与用于采集并生成图像的图像采集装置通信连接,用于对所生成的图像进行处理;
云台1802,图像采集装置和图像处理装置1801设置于云台1802上,且图像采集装置、图像处理装置1801与云台1802构成一通信链路;
上述图17实施例中的延时检测装置1803,与通信链路通信连接,用于确定与通信链路相对应的延时时间。
图18所示延时检测系统的具体实现过程、实现原理和实现效果与上述图17实施例中延时检测装置的具体实现过程、实现原理和实现效果相类似,本实施例未详细描述的部分,可参考对图17所示中的实施例的相关说明,在此不再赘述。
图19为本发明实施例提供的一种可移动平台的结构示意图,参考附图19所示,本实施例提供了一种可移动平台,该可移动平台可以包括:
云台控制器1901,通信连接有图像处理装置,图像处理装置与图像采集装置通信连接,以生成一通信链路,其中,图像采集装置固定连接在云台上;
支撑机构1902,用于连接云台;
上述图17实施例中的延时检测装置1903,与通信链路通信连接,用于确定与通信链路相对应的延时时间。
其中,支撑机构1902随可移动平台的类型而不同,例如,当可移动平台为手持云台时,支撑机构1902可以为手柄,当可移动平台为无人机时,支撑机构1902可以为无人机的机身。可以理解,可移动平台包括但不限于上述说明的类型。
图19所示实施例提供的可移动平台的具体实现原理和实现效果与图17所对应的延时检测装置的具体实现原理和实现效果相一致,具体可参考上述陈述内容,在这里不再赘述。
另外,本发明实施例提供了一种计算机可读存储介质,存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,程序指令用于实现上述图1-图16的延时检测方法。
图20为本发明实施例提供的一种延时检测方法的流程示意图,参考附图20所示,本实施例提供了另一种延时检测方法,该延时检测方法可以应用于云台系统,云台系统包括:图像采集装置100、与图像采集装置100通信连接的图像处理装置101以及与图像处理装置101通信连接的云台控制器102,图像采集装置100、图像处理装置101与云台控制器102形成一通信链路,如图2所示。其中,图像采集装置100、图像处理装置101和云台控制器102可以设置于云台上。
具体的,该延时检测方法可以包括:
步骤S2001:控制云台按照控制参数运动,其中,在云台的运动过程中,相对于云台的基座处于静止状态的目标对象保持在图像采集装置的采集画面中。
步骤S2002:在云台运动预设时长后,提示与通信链路相对应的延时时间相关的信息,延时时间用于指示经由通信链路确定目标对象在采集画面中的位置信息所需要的时长。
其中,在用户需要操作云台时,则可以按照控制参数控制云台进行运动,具体的,用于控制云台进行运动的控制参数具有多种不同类型的参数,在一些实例中,控制参数包括以下至少之一:目标姿态集合,目标姿态集合中包括多个目标姿态,并且,多个目标姿态之间的变换频率小于或等于频率阈值;角速度集合,角速度集合中包括多个角速度,并且,多个角速度之间的变化频率小于或等于频率阈值;位置集合,位置集合中包括多个位置,多个位置之间的位置变化量小于或等于变化量阈值,多个位置之间的变化频率小于或等于频率阈值。在控制云台进行运动的过程中,相对于云台的基座处于静止状态的目标对象可以保持在图像采集装置的采集画面中。
在控制云台运动经过预设时长之后,则可以提示与通信链路相对应的延时时间相关的信息,延时时间用于指示经由通信链路确定目标对象在采集画面中的位置信息所需要的时长。可以理解的是,上述的预设时长可以是用户基于应用需求和设计需求预先进行配置的,例如:预设时长可以为1min、5min、10min等等。在云台运动经过预设时长之后,则可以通过显示装置或者其他装置提示与通信链路相对应的延时时间相关的信息。
在一些实例中,所提示的信息可以包括用于降低与通信链路相对应的延时时间的第一提示信息,例如:第一提示信息可以包括以下至少之一:提高图像采集装置的输出帧率、调整图像采集装置的输出格式等等。或者,所提示的信息可以包括用于标识云台不满足跟随操作条件的第二提示信息。
具体的,本实施例中的延时检测方法的具体实现过程、实现原理、实现效果可以与上述图1-图16所示中的实施例的方法的具体实现过程、实现原理、实现效果相类似,本实施例未详细描述的部分,可参考对图1至图16所示中的实施例的相关说明。
图21为本发明实施例提供的另一种延时检测装置的结构示意图;参考附图21所示,本实施例提供了另一种延时检测装置,该延时检测装置可以应用于云台系统,如图1所示,上述的云台系统可以包括:图像采集装置100、与图像采集装置100通信连接的图像处理装置101以及与图像处理装置101通信连接的云台控制器102,图像采集装置100、图像处理装置101与云台控制器102形成一通信链路,其中,图像采集装置100设置于云台上;延时检测装置可以包括:
第二存储器2102,用于存储计算机程序;
第二处理器2101,用于运行第二存储器2102中存储的计算机程序以实现:
控制云台按照控制参数运动,其中,在云台的运动过程中,相对于云台的基座处于静止状态的目标对象保持在图像采集装置的采集画面中;
在云台运动预设时长后,提示与通信链路相对应的延时时间相关的信息,延时时间用于指示经由通信链路确定目标对象在采集画面中的位置信息所需要的时长。
其中,延时检测装置的结构中还可以包括第二通信接口2103,用于电子设备与其他设备或通信网络通信。
图21所示装置可以执行图20所示中的实施例的方法,本实施例未详细描述的部分,可参考对图20所示中的实施例的相关说明。该技术方案的执行过程和技术效果参见图20所示实施例中的描述,在此不再赘述。
图22为本发明实施例提供的另一种延时检测系统的结构示意图;参考附图22所示,本实施例提供了另一种延时检测系统,该延时检测系统可以包括:
图像处理装置2201,与用于采集并生成图像的图像采集装置通信连接,用于对所生成的图像进行处理;
云台2202,图像采集装置和图像处理装置2201设置于云台2202上,且图像采集装置、图像处理装置2201与云台2202构成一通信链路;
上述图21实施例中的延时检测装置2203,与通信链路通信连接,用于确定与通信链路相对应的延时时间。
图22所示延时检测系统的具体实现过程、实现原理和实现效果与上述图21实施例中延时检测装置的具体实现过程、实现原理和实现效果相类似,本实施例未详细描述的部分,可参考对图21所示中的实施例的相关说明,在此不再赘述。
图23为本发明实施例提供的另一种可移动平台的结构示意图,参考附图23所示,本实施例提供了另一种可移动平台,该可移动平台可以包括:
云台控制器2301,通信连接有图像处理装置,图像处理装置与图像采集装置通信连接,以生成一通信链路,其中,图像采集装置固定连接在云台上;
支撑机构2302,用于连接云台;
上述图21实施例中的延时检测装置2303,与通信链路通信连接,用于确定与通信链路相对应的延时时间。
其中,支撑机构2302随可移动平台的类型而不同,例如,当可移动平台为手持云台时,支撑机构2302可以为手柄,当可移动平台为无人机时,支撑机构2302可以为无人机的机身。可以理解,可移动平台包括但不限于上述说明的类型。
图23所示实施例提供的可移动平台的具体实现原理和实现效果与图21所对应的延时检测装置的具体实现原理和实现效果相一致,具体可参考上述陈述内容,在这里不再赘述。
另外,本发明实施例提供了一种计算机可读存储介质,存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,程序指令用于实现上述图20的延时检测方法。
以上各个实施例中的技术方案、技术特征在与本相冲突的情况下均可以单独,或者进行组合,只要未超出本领域技术人员的认知范围,均属于本申请保护范围内的等同实施例。
在本发明所提供的几个实施例中,应该理解到,所揭露的相关检测装置和方法,可以通过其它的方式实现。例如,以上所描述的检测装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,检测装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得计算机处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁盘或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (44)

1.一种延时检测方法,其特征在于,应用于云台系统,所述云台系统包括:图像采集装置、与所述图像采集装置通信连接的图像处理装置以及与所述图像处理装置通信连接的云台控制器,所述图像采集装置、图像处理装置与所述云台控制器形成一通信链路,其中,所述图像采集装置设置于云台上;所述方法包括:
获取用于控制所述云台进行运动的控制参数;
基于所述控制参数控制所述云台进行运动,获得所述图像采集装置的姿态变化信息,并通过所述云台控制器获取目标对象在采集画面中的位置变化信息,所述目标对象相对于所述云台的基座处于静止状态;
根据所述姿态变化信息和所述位置变化信息,确定与所述通信链路相对应的延时时间,所述延时时间用于指示经由所述通信链路确定所述目标对象在所述采集画面中的位置信息所需要的时长。
2.根据权利要求1所述的方法,其特征在于,所述控制参数包括以下至少之一:
目标姿态集合,所述目标姿态集合中包括多个目标姿态,并且,所述多个目标姿态之间的变换频率小于或等于频率阈值;
角速度集合,所述角速度集合中包括多个角速度,并且,所述多个角速度之间的变化频率小于或等于频率阈值;
位置集合,所述位置集合中包括多个位置,所述多个位置之间的位置变化量小于或等于变化量阈值,所述多个位置之间的变化频率小于或等于频率阈值。
3.根据权利要求2所述的方法,其特征在于,在所述控制参数包括位置集合时,所述目标对象在采集画面中的位置与画面中心位置之间的距离小于或等于距离阈值。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
获取所述通信链路的响应带宽;
根据所述响应带宽确定与所述通信链路相对应的频率阈值。
5.根据权利要求4所述的方法,其特征在于,与不同的通信链路相对应的频率阈值相同或者不同。
6.根据权利要求1所述的方法,其特征在于,在基于所述控制参数控制所述云台进行运动之前,所述方法还包括:
获取所述图像采集装置中所采集的当前画面;
在所述当前画面中,确定相对所述云台的基座处于静止状态的至少一个显示对象;
基于所述至少一个显示对象,确定在采集画面中的所述目标对象。
7.根据权利要求6所述的方法,其特征在于,基于所述至少一个显示对象,确定在采集画面中的所述目标对象,包括:
获取用户针对所述至少一个显示对象所输入的执行操作;
将所述执行操作所对应的显示对象,确定为所述目标对象。
8.根据权利要求1所述的方法,其特征在于,通过所述云台控制器获取目标对象在采集画面中的位置变化信息,包括:
在基于所述控制参数控制所述云台进行运动的过程中,通过所述云台控制器获取与所述控制参数相对应的多个采集画面,每个采集画面中均包括目标对象;
对所述多个采集画面进行分析处理,获得所述目标对象在采集画面中的位置变化信息。
9.根据权利要求1所述的方法,其特征在于,根据所述姿态变化信息和所述位置变化信息,确定与所述通信链路相对应的延时时间,包括:
获取所述姿态变化信息与所述位置变化信息之间的多个相位差;
根据所述多个相位差确定与所述通信链路相对应的延时时间。
10.根据权利要求9所述的方法,其特征在于,根据所述多个相位差确定与所述通信链路相对应的延时时间,包括:
获取与所述多个相位差相对应的相位差均值;
确定与所述多个相位差相对应的变换频率;
基于所述相位差均值与所述变换频率,确定与所述通信链路相对应的延迟时间。
11.根据权利要求1所述的方法,其特征在于,在确定与所述通信链路相对应的延时时间之后,所述方法还包括:
生成与所述延时时间相对应的第一提示信息,以降低与所述通信链路相对应的延时时间。
12.根据权利要求11所述的方法,其特征在于,所述第一提示信息包括以下至少之一:
提高所述图像采集装置的输出帧率;
调整所述图像采集装置的输出格式。
13.根据权利要求11所述的方法,其特征在于,在生成与所述延时时间相对应的第一提示信息之后,所述方法还包括:
获取更新后延时时间;
在所述更新后延时时间大于所述时间阈值时,生成与所述更新后延时时间相对应的第二提示信息,所述第二提示信息用于标识所述云台不满足跟随操作条件;
在所述更新后延时时间小于或等于所述时间阈值时,根据所述更新后延时时间确定用于对所述采集画面进行分析处理的机器学习模型,所述机器学习模型被训练为用于识别所述采集画面中所包括的目标对象。
14.根据权利要求13所述的方法,其特征在于,根据所述更新后延时时间确定用于对所述采集画面进行分析处理的机器学习模型,包括:
获取用于对所述采集画面进行分析处理的多个备选机器学习模型,不同的备选机器学习模型对应有不同的对象识别速度;
在多个备选机器学习模型中,根据所述更新后延时时间确定一用于对所述采集画面进行分析处理的机器学习模型,以降低与所述通信链路相对应的更新后延时时间。
15.根据权利要求14所述的方法,其特征在于,在多个备选机器学习模型中,根据所述更新后延时时间确定一用于对所述采集画面进行分析处理的机器学习模型,包括:
确定与所述更新后延时时间相对应的延时均值和延时方差;
根据所述更新后延时时间、延时均值和延时方差中的至少一个,在多个备选机器学习模型中确定一用于对所述采集画面进行分析处理的机器学习模型,其中,所述机器学习模型的对象识别速度与所述更新后延时时间、延时均值和延时方差中的至少一个呈负相关。
16.根据权利要求13所述的方法,其特征在于,在根据所述更新后延时时间确定用于对所述采集画面进行分析处理的机器学习模型之后,所述方法还包括:
获取由所述机器学习模型所对应的通信链路的实际延时时间;
通过显示界面显示所述实际延时时间。
17.根据权利要求1所述的方法,其特征在于,在确定与所述通信链路相对应的延时时间之后,所述方法还包括:
获取用于对所述延时时间进行分析处理的时间阈值;
在所述延时时间大于所述时间阈值时,生成与所述延时时间相对应的第三提示信息,以降低与所述通信链路相对应的延时时间;
在所述延时时间小于或等于所述时间阈值时,根据所述延时时间确定用于对所述采集画面进行分析处理的机器学习模型,所述机器学习模型被训练为用于识别所述采集画面中所包括的目标对象。
18.根据权利要求1-17中任意一项所述的方法,其特征在于,在确定与所述通信链路相对应的延时时间之后,所述方法还包括:
根据所述延时时间,生成与所述通信链路相对应的补偿参数;
根据所述补偿参数控制所述云台进行跟随操作。
19.一种延时检测方法,其特征在于,应用于云台系统,所述云台系统包括:图像采集装置、与所述图像采集装置通信连接的图像处理装置以及与所述图像处理装置通信连接的云台控制器,所述图像采集装置、图像处理装置与所述云台控制器形成一通信链路,其中,所述图像采集装置设置于云台上;所述方法包括:
控制所述云台按照控制参数运动,其中,在所述云台的运动过程中,相对于所述云台的基座处于静止状态的目标对象保持在所述图像采集装置的采集画面中;
在所述云台运动预设时长后,提示与所述通信链路相对应的延时时间相关的信息,所述延时时间用于指示经由所述通信链路确定所述目标对象在所述采集画面中的位置信息所需要的时长。
20.一种延时检测装置,其特征在于,应用于云台系统,所述云台系统包括:图像采集装置、与所述图像采集装置通信连接的图像处理装置以及与所述图像处理装置通信连接的云台控制器,所述图像采集装置、图像处理装置与所述云台控制器形成一通信链路,其中,所述图像采集装置设置于云台上;所述装置包括:
存储器,用于存储计算机程序;
处理器,用于运行所述存储器中存储的计算机程序以实现:
获取用于控制所述云台进行运动的控制参数;
基于所述控制参数控制所述云台进行运动,获得所述图像采集装置的姿态变化信息,并通过所述云台控制器获取目标对象在采集画面中的位置变化信息,所述目标对象相对于所述云台的基座处于静止状态;
根据所述姿态变化信息和所述位置变化信息,确定与所述通信链路相对应的延时时间,所述延时时间用于指示经由所述通信链路确定所述目标对象在所述采集画面中的位置信息所需要的时长。
21.根据权利要求20所述的装置,其特征在于,所述控制参数包括以下至少之一:
目标姿态集合,所述目标姿态集合中包括多个目标姿态,并且,所述多个目标姿态之间的变换频率小于或等于频率阈值;
角速度集合,所述角速度集合中包括多个角速度,并且,所述多个角速度之间的变化频率小于或等于频率阈值;
位置集合,所述位置集合中包括多个位置,所述多个位置之间的位置变化量小于或等于变化量阈值,所述多个位置之间的变化频率小于或等于频率阈值。
22.根据权利要求21所述的装置,其特征在于,在所述控制参数包括位置集合时,所述目标对象在采集画面中的位置与画面中心位置之间的距离小于或等于距离阈值。
23.根据权利要求21所述的装置,其特征在于,所述处理器还用于:
获取所述通信链路的响应带宽;
根据所述响应带宽确定与所述通信链路相对应的频率阈值。
24.根据权利要求23所述的装置,其特征在于,与不同的通信链路相对应的频率阈值相同或者不同。
25.根据权利要求20所述的装置,其特征在于,在基于所述控制参数控制所述云台进行运动之前,所述处理器还用于:
获取所述图像采集装置中所采集的当前画面;
在所述当前画面中,确定相对所述云台的基座处于静止状态的至少一个显示对象;
基于所述至少一个显示对象,确定在采集画面中的所述目标对象。
26.根据权利要求25所述的装置,其特征在于,在所述处理器基于所述至少一个显示对象,确定在采集画面中的所述目标对象时,所述处理器用于:
获取用户针对所述至少一个显示对象所输入的执行操作;
将所述执行操作所对应的显示对象,确定为所述目标对象。
27.根据权利要求20所述的装置,其特征在于,在所述处理器通过所述云台控制器获取目标对象在采集画面中的位置变化信息时,所述处理器用于:
在基于所述控制参数控制所述云台进行运动的过程中,通过所述云台控制器获取与所述控制参数相对应的多个采集画面,每个采集画面中均包括目标对象;
对所述多个采集画面进行分析处理,获得所述目标对象在采集画面中的位置变化信息。
28.根据权利要求20所述的装置,其特征在于,在所述处理器根据所述姿态变化信息和所述位置变化信息,确定与所述通信链路相对应的延时时间时,所述处理器用于:
获取所述姿态变化信息与所述位置变化信息之间的多个相位差;
根据所述多个相位差确定与所述通信链路相对应的延时时间。
29.根据权利要求28所述的装置,其特征在于,在所述处理器根据所述多个相位差确定与所述通信链路相对应的延时时间时,所述处理器用于:
获取与所述多个相位差相对应的相位差均值;
确定与所述多个相位差相对应的变换频率;
基于所述相位差均值与所述变换频率,确定与所述通信链路相对应的延迟时间。
30.根据权利要求20所述的装置,其特征在于,在确定与所述通信链路相对应的延时时间之后,所述处理器用于:
生成与所述延时时间相对应的第一提示信息,以降低与所述通信链路相对应的延时时间。
31.根据权利要求30所述的装置,其特征在于,所述第一提示信息包括以下至少之一:
提高所述图像采集装置的输出帧率;
调整所述图像采集装置的输出格式。
32.根据权利要求30所述的装置,其特征在于,在生成与所述延时时间相对应的第一提示信息之后,所述处理器用于:
获取更新后延时时间;
在所述更新后延时时间大于所述时间阈值时,生成与所述更新后延时时间相对应的第二提示信息,所述第二提示信息用于标识所述云台不满足跟随操作条件;
在所述更新后延时时间小于或等于所述时间阈值时,根据所述更新后延时时间确定用于对所述采集画面进行分析处理的机器学习模型,所述机器学习模型被训练为用于识别所述采集画面中所包括的目标对象。
33.根据权利要求32所述的装置,其特征在于,在所述处理器根据所述更新后延时时间确定用于对所述采集画面进行分析处理的机器学习模型时,所述处理器用于:
获取用于对所述采集画面进行分析处理的多个备选机器学习模型,不同的备选机器学习模型对应有不同的对象识别速度;
在多个备选机器学习模型中,根据所述更新后延时时间确定一用于对所述采集画面进行分析处理的机器学习模型,以降低与所述通信链路相对应的更新后延时时间。
34.根据权利要求33所述的装置,其特征在于,在所述处理器在多个备选机器学习模型中,根据所述更新后延时时间确定一用于对所述采集画面进行分析处理的机器学习模型时,所述处理器用于:
确定与所述更新后延时时间相对应的延时均值和延时方差;
根据所述更新后延时时间、延时均值和延时方差中的至少一个,在多个备选机器学习模型中确定一用于对所述采集画面进行分析处理的机器学习模型,其中,所述机器学习模型的对象识别速度与所述更新后延时时间、延时均值和延时方差中的至少一个呈负相关。
35.根据权利要求32所述的装置,其特征在于,在根据所述更新后延时时间确定用于对所述采集画面进行分析处理的机器学习模型之后,所述处理器用于:
获取由所述机器学习模型所对应的通信链路的实际延时时间;
通过显示界面显示所述实际延时时间。
36.根据权利要求20所述的装置,其特征在于,在确定与所述通信链路相对应的延时时间之后,所述处理器用于:
获取用于对所述延时时间进行分析处理的时间阈值;
在所述延时时间大于所述时间阈值时,生成与所述延时时间相对应的第三提示信息,以降低与所述通信链路相对应的延时时间;
在所述延时时间小于或等于所述时间阈值时,根据所述延时时间确定用于对所述采集画面进行分析处理的机器学习模型,所述机器学习模型被训练为用于识别所述采集画面中所包括的目标对象。
37.根据权利要求20-36中任意一项所述的装置,其特征在于,在确定与所述通信链路相对应的延时时间之后,所述处理器用于:
根据所述延时时间,生成与所述通信链路相对应的补偿参数;
根据所述补偿参数控制所述云台进行跟随操作。
38.一种延时检测系统,其特征在于,包括:
图像处理装置,与用于采集并生成图像的图像采集装置通信连接,用于对所生成的图像进行处理;
云台,所述图像采集装置和所述图像处理装置设置于所述云台上,且所述图像采集装置、所述图像处理装置与所述云台构成一通信链路;
权利要求20-37中任一项所述的延时检测装置,与所述通信链路通信连接,用于确定与所述通信链路相对应的延时时间。
39.一种延时检测装置,其特征在于,应用于云台系统,所述云台系统包括:图像采集装置、与所述图像采集装置通信连接的图像处理装置以及与所述图像处理装置通信连接的云台控制器,所述图像采集装置、图像处理装置与所述云台控制器形成一通信链路,其中,所述图像采集装置设置于云台上;所述装置包括:
存储器,用于存储计算机程序;
处理器,用于运行所述存储器中存储的计算机程序以实现:
控制所述云台按照控制参数运动,其中,在所述云台的运动过程中,相对于所述云台的基座处于静止状态的目标对象保持在所述图像采集装置的采集画面中;
在所述云台运动预设时长后,提示与所述通信链路相对应的延时时间相关的信息,所述延时时间用于指示经由所述通信链路确定所述目标对象在所述采集画面中的位置信息所需要的时长。
40.一种延时检测系统,其特征在于,包括:
图像处理装置,与用于采集并生成图像的图像采集装置通信连接,用于对所生成的图像进行处理;
云台,所述图像采集装置和所述图像处理装置设置于所述云台上,且所述图像采集装置、所述图像处理装置与所述云台构成一通信链路;
权利要求39所述的延时检测装置,与所述通信链路通信连接,用于确定与所述通信链路相对应的延时时间。
41.一种可移动平台,其特征在于,包括:
云台控制器,通信连接有图像处理装置,所述图像处理装置与图像采集装置通信连接,以生成一通信链路,其中,所述图像采集装置固定连接在云台上;
支撑机构,用于连接所述云台;
权利要求20-37中任一项所述的延时检测装置,与所述通信链路通信连接,用于确定与所述通信链路相对应的延时时间。
42.一种可移动平台,其特征在于,包括:
云台控制器,通信连接有图像处理装置,所述图像处理装置与图像采集装置通信连接,以生成一通信链路,其中,所述图像采集装置固定连接在云台上;
支撑机构,用于连接所述云台;
权利要求39所述的延时检测装置,与所述通信链路通信连接,用于确定与所述通信链路相对应的延时时间。
43.一种计算机可读存储介质,其特征在于,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于实现权利要求1-18中任意一项所述的延时检测方法。
44.一种计算机可读存储介质,其特征在于,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于实现权利要求19所述的延时检测方法。
CN202080067358.XA 2020-12-16 2020-12-16 延时检测方法、装置、系统、可移动平台和存储介质 Pending CN114556879A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/136869 WO2022126436A1 (zh) 2020-12-16 2020-12-16 延时检测方法、装置、系统、可移动平台和存储介质

Publications (1)

Publication Number Publication Date
CN114556879A true CN114556879A (zh) 2022-05-27

Family

ID=81668221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080067358.XA Pending CN114556879A (zh) 2020-12-16 2020-12-16 延时检测方法、装置、系统、可移动平台和存储介质

Country Status (2)

Country Link
CN (1) CN114556879A (zh)
WO (1) WO2022126436A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111243027A (zh) * 2020-02-28 2020-06-05 京东方科技集团股份有限公司 延时测量方法、装置及系统
CN117170418A (zh) * 2023-11-02 2023-12-05 杭州华橙软件技术有限公司 云台控制方法、装置、设备以及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115291524B (zh) * 2022-09-02 2024-09-24 广东美的智能科技有限公司 运动控制系统、干扰控制方法及干扰观测装置
CN115499899B (zh) * 2022-11-21 2023-05-26 国网天津市电力公司电力科学研究院 边缘物联代理装置的通信时延测试方法、装置及存储介质
CN116155434A (zh) * 2023-04-19 2023-05-23 南京万形电气有限公司 一种基于hplc本地通信模块毫秒级深度授时改进方法
CN117557167B (zh) * 2024-01-03 2024-03-19 微网优联科技(成都)有限公司 一种云台机的生产质量管理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100171851A1 (en) * 2009-01-06 2010-07-08 Samsung Electronics Co., Ltd. Pan/tilt method and apparatus for camera
CN105849635A (zh) * 2013-12-27 2016-08-10 富士胶片株式会社 摄像装置及延时摄像方法
CN107209854A (zh) * 2015-09-15 2017-09-26 深圳市大疆创新科技有限公司 用于支持顺畅的目标跟随的系统和方法
CN110610465A (zh) * 2019-08-26 2019-12-24 Oppo广东移动通信有限公司 图像校正方法和装置、电子设备、计算机可读存储介质
CN211606645U (zh) * 2020-05-18 2020-09-29 深圳耐杰电子技术有限公司 一种目标跟踪控制摄像系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3817370A1 (en) * 2018-06-29 2021-05-05 SZ DJI Technology Co., Ltd. Time-lapse photography control method and control device, imaging system, and storage medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100171851A1 (en) * 2009-01-06 2010-07-08 Samsung Electronics Co., Ltd. Pan/tilt method and apparatus for camera
CN105849635A (zh) * 2013-12-27 2016-08-10 富士胶片株式会社 摄像装置及延时摄像方法
CN107209854A (zh) * 2015-09-15 2017-09-26 深圳市大疆创新科技有限公司 用于支持顺畅的目标跟随的系统和方法
CN110610465A (zh) * 2019-08-26 2019-12-24 Oppo广东移动通信有限公司 图像校正方法和装置、电子设备、计算机可读存储介质
CN211606645U (zh) * 2020-05-18 2020-09-29 深圳耐杰电子技术有限公司 一种目标跟踪控制摄像系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111243027A (zh) * 2020-02-28 2020-06-05 京东方科技集团股份有限公司 延时测量方法、装置及系统
CN111243027B (zh) * 2020-02-28 2023-06-23 京东方科技集团股份有限公司 延时测量方法、装置及系统
CN117170418A (zh) * 2023-11-02 2023-12-05 杭州华橙软件技术有限公司 云台控制方法、装置、设备以及存储介质
CN117170418B (zh) * 2023-11-02 2024-02-20 杭州华橙软件技术有限公司 云台控制方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
WO2022126436A1 (zh) 2022-06-23

Similar Documents

Publication Publication Date Title
CN114556879A (zh) 延时检测方法、装置、系统、可移动平台和存储介质
US10217021B2 (en) Method for determining the position of a portable device
US9924104B2 (en) Background-differential extraction device and background-differential extraction method
WO2020253207A1 (zh) 一种投影画面防抖方法、装置及投影仪
CN106973221B (zh) 基于美学评价的无人机摄像方法和系统
EP4068752A1 (en) Photographing method and electronic device
US20200267309A1 (en) Focusing method and device, and readable storage medium
US11375244B2 (en) Dynamic video encoding and view adaptation in wireless computing environments
WO2022151473A1 (zh) 拍摄控制方法、拍摄控制装置及云台组件
US20190155487A1 (en) Methods, devices, and systems for controlling movement of a moving object
US11528418B2 (en) Shake correction control device, imaging apparatus, shake correction method of imaging apparatus, and program
CN113805607B (zh) 一种无人机拍摄方法、装置、无人机及存储介质
WO2021035744A1 (zh) 可移动平台的图像采集方法、设备及存储介质
CN112204946A (zh) 数据处理方法、装置、可移动平台及计算机可读存储介质
CN112640419B (zh) 跟随方法、可移动平台、设备和存储介质
CN103019375A (zh) 一种基于图像识别的光标控制方法及其系统
CN111862169A (zh) 目标跟拍方法、装置、云台相机及存储介质
CN114727028A (zh) 图像曝光方法及装置、无人机
WO2017045468A1 (zh) 一种位置误差的矫正方法及装置
US20230341079A1 (en) Control method based on image capturing apparatus, control method and apparatus for gimbal
WO2022109860A1 (zh) 跟踪目标对象的方法和云台
CN116017158B (zh) 一种光学防抖动的标定方法及设备
US20230298197A1 (en) Electronic device with gaze-based autofocus of camera during video rendition of scene
CN104950764A (zh) 遥控行驶系统用延时校正方法和遥控行驶系统
CN117788659A (zh) 渲染图像的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220527