CN112335223B - 控制方法、装置、系统、云台、可移动平台及存储介质 - Google Patents

Abstract

一种控制方法、数据传输装置、拍摄装置、控制系统、云台、可移动平台以及计算机可读存储介质，所述方法包括：获取所述数据发送模块的数据发送时间(S101)；获取各个所述处理模块处理数据所需的处理时延(S102)；基于所述数据发送时间以及所述处理时延，生成发送至拍摄装置的定时信号，以使所述拍摄装置在所述定时信号的控制下向所述数据传输装置发送所述数据(S103)。所述方法有利于减小数据传输的延迟。

Description

控制方法、装置、系统、云台、可移动平台及存储介质

技术领域

本申请涉及图像处理领域，尤其涉及一种控制方法、数据传输装置、拍摄装置、控制系统、云台、可移动平台以及计算机可读存储介质。

背景技术

在视频/图像传输系统中，拍摄设备将采集的视频/图像数据发送至图传发送端，图传发送端对数据进行处理后发送给图传接收端，图传接收端再对数据进行处理，如显示等操作，在此过程中会产生图传延迟，而在图传过程中延迟越大，越影响用户体验，因此，降低图传延迟成为急需解决的技术难题。

发明内容

有鉴于此，本发明的目的之一是提供一种控制方法、数据传输装置、拍摄装置、控制系统、云台、可移动平台以及计算机可读存储介质。

首先，本申请实施例的第一方面提供了一种控制方法，应用于数据传输装置，所述数据传输装置包括数据发送模块以及一个或多个处理模块，所述方法包括：

获取所述数据发送模块的数据发送时间；

获取各个所述处理模块处理数据所需的处理时延；

基于所述数据发送时间以及所述处理时延，生成发送至拍摄装置的定时信号，以使所述拍摄装置在所述定时信号的控制下向所述数据传输装置发送所述数据。

本申请实施例的第二方面提供了一种控制方法，应用于拍摄装置，所述方法包括：

接收数据传输装置发送的定时信号；

在所述定时信号的控制下向所述数据传输装置发送数据。

本申请实施例的第三方面提供了一种数据传输装置，包括数据发送模块以及一个或多个处理模块；

所述数据发送模块被配置为：获取数据发送时间；获取各个所述处理模块处理数据所需的处理时延；基于所述发送时间以及所述处理时延，生成发送至拍摄装置的定时信号，以使所述拍摄装置在所述定时信号的控制下向所述数据传输装置发送所述数据。

本申请实施例的第四方面提供了一种拍摄装置，包括：

外壳；

镜头组件，设于所述外壳内部；

传感器组件，设于所述外壳内部，用于感知通过所述镜头组件的光并生成数据；

处理器，设于所述外壳内部，用于接收数据传输装置发送的定时信号，在所述定时信号的控制下向所述数据传输装置发送所述数据。

本申请实施例的第五方面提供了一种控制系统，其特征在于，包括如第三方面所述的数据传输装置以及第四方面所述的拍摄装置。

本申请实施例的第六方面提供了一种云台，包括：

云台轴；

用于采集云台轴角度信息的角度传感器；

用于根据所述角度信息控制所述云台轴转动的处理器；以及

如第五方面所述的控制系统。

本申请实施例的第七方面提供了一种可移动平台，包括：

机身；

动力系统，安装于所述机身，用于提供动力；

以及如第五方面所述的控制系统。

本申请实施例的第八方面提供了一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序包括用于执行第一方面以及第二方面所述的方法的指令。

本申请实施例通过获取所述数据发送模块的数据发送时间以及获取各个所述处理模块处理数据所需的处理时延，然后基于所述数据发送时间以及所述处理时延，生成发送至拍摄装置的定时信号，以使所述拍摄装置在所述定时信号的控制下向所述数据传输装置发送所述数据，使得所述拍摄装置发送的数据在经过处理模块处理之后发送至所述数据发送模块时，所述数据发送模块恰好准备开始发送所述数据，从而有利于减少所述数据发送模块发送数据的等待时间，从而降低了图传延迟，实现固定延迟的流水式处理，也有利于减小数据传输的延迟抖动。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请根据一示例性实施例示出的一种控制方法的流程图。

图2是本申请根据一示例性实施例示出的一种数据传输装置的结构图。

图3是本申请根据一示例性实施例示出的另一种数据传输装置的结构图。

图4是本申请根据一示例性实施例示出的所述拍摄装置发送的一帧图片数据的处理流程的示意图。

图5是本申请根据一示例性实施例示出的第二种控制方法的流程图。

图6是本申请根据一示例性实施例示出的第三种控制方法的流程图。

图7是本申请根据一示例性实施例示出的一种拍摄装置的结构图。

图8是本申请根据一示例性实施例示出的一种控制系统的结构图。

图9是本申请根据一示例性实施例示出的一种云台的结构图。

图10是本申请根据一示例性实施例示出的一种可移动平台的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在无线视频/图像传输系统中，为了取得端对端(即发送端与接收端之间)的低延时，将数据传输的每个步骤安排为流水线式的处理流程，即当前步骤处理完成的时间恰好是下一步骤开始处理的时间。但这需要每个步骤的时序能够相互配合，然而在传输过程中，仍然存在部分步骤的时序无法匹配的情况，例如在发送端，拍摄装置产生每一帧图片数据的时间与数据传输装置发送每一帧图片数据的时间可能是异步的，比如在数据传输装置当前可以向对端发送图片数据时，却还没有接收到拍摄装置发送的图片数据，导致所述数据传输装置需要等待拍摄装置发送图片数据，产生传输延迟，同时无法做到固定延迟的流水式的处理，由于数据传输装置等待拍摄装置发送的图片数据的时间是不固定的，导致每次图像数据或视频数据发送的延迟是不固定的，造成图像数据或视频数据接收延迟的抖动，影响用户的观看体验。

基于上述问题，本申请实施例提供了一种控制方法，请参阅图1，为本申请实施例所提供的控制方法的流程图。所述控制方法可应用于数据传输装置10，所述数据传输装置10用于向对端传输图像或视频数据，请参阅图2，为本申请实施例提供的一种数据传输装置10的结构图，所述数据传输装置10包括数据发送模块12以及一个或多个处理模块11，所述处理模块11用于根据自身所具备的功能处理拍摄装置拍摄的数据，所述数据发送模块12用于发送所述拍摄装置拍摄的数据，所述拍摄装置可以为摄像头等设备，图2中以所述数据传输装置10包括2个处理模块11为例进行说明，但本申请实施例对所述处理模块11的数量不做限制，可以是3个、4个、5个等。

图1所述的实施例中，所述方法包括：

在步骤S101中，获取所述数据发送模块的数据发送时间。

在步骤S102中，获取各个所述处理模块处理数据所需的处理时延。

在步骤S103中，基于所述数据发送时间以及所述处理时延，生成发送至拍摄装置的定时信号，以使所述拍摄装置在所述定时信号的控制下向所述数据传输装置发送所述数据。

在一实施例中，各个所述处理模块处理数据所需的处理时延可以预先被记录在所述数据传输装置中，其中，所述数据可以是所述拍摄装置在拍摄图片或视频时所采集的数据，例如拍摄视频时的一帧视频帧，即(一帧图片数据)；所述数据传输装置在获取所述数据发送模块的数据发送时间之后，可以基于所述数据发送时间以及所述处理时延，生成发送至拍摄装置的定时信号，以使所述拍摄装置在所述定时信号的控制下向所述数据传输装置发送所述数据。

本实施例中，根据所述数据发送模块的数据发送时间以及已知的处理模块的处理时延控制拍摄装置发送数据的时间，使得所述拍摄装置发送的一帧图片数据在经过处理模块处理之后发送至所述数据发送模块时，所述数据发送模块恰好准备开始发送该帧图片数据，从而有利于减少所述数据发送模块发送数据的等待时间，减少图传延迟，实现固定延迟的流水式处理，也有利于减小数据传输的延迟抖动。

在一实施例中，可以根据所述数据发送模块发送每一帧图片数据的数据发送时间以及各个所述处理模块的处理时延，确定所述定时信号所指定的时间，使得所述数据发送模块在将所述定时信号发送至所述拍摄装置时，所述拍摄装置能够在所述定时信号所指定的时间向所述数据传输装置发送所述数据，所述数据可以是所述拍摄装置拍摄的一帧图片数据。

在另一实施例中，考虑到所述拍摄装置的存储容量有限的问题，若所述拍摄装置按照固定的帧率采集数据，发送数据的频率低于采集数据的频率，则拍摄设备需要一定的内存来储存等待发送的数据，可能导致所述拍摄装置无法存储数据发送之前采集的所有数据，因此，本申请实施例中所述拍摄装置还可以根据所述定时信号所指定的时间进行所述数据的采集，采集后即可立即发送该数据，不仅减少图传延迟，且可以减少占用拍摄设备的内存，从而保证采集的数据的有效性。

在一种实现方式中，所述定时信号所指定的时间可以为：在所述数据发送时间之前，且与所述数据发送时间间隔延迟时长的时间；所述延迟时长为所有处理模块的处理时延之和；作为例子，比如所述数据传输装置包括3个处理模块，各个处理模块处理数据的处理时延为0.1s，则延迟时长为0.3s，所述数据发送模块发送一帧图片数据的数据发送时间是第10s，则所述定时信号所指定的时间为第9.7s，也可以第9.7s之前的其他时间，例如，所述定时信号所指定的时间可以根据各个处理模块设置一定的时间余量，例如可以为各个处理模块共设置0.05秒的时间余量，则各个处理模块数据的处理时延加上所述时间余量，则延时时长为0.35秒，即所述定时信号所指定的时间为9.65秒，这样虽然所述数据到达所述数据发送模块时需要等待一小段时间，但是依旧能够减少图传延迟，且可以保证当所述处理模块的处理延迟突然变长时，所述数据到达数据发送模块时，不会错过最近一次数据发送。

可以理解的是，本申请实施例对于所述处理模块的具体功能或类型不做任何限制，可依据实际情况进行具体设置，在一种实现方式中，请参阅图3，为本申请实施例提供的另一种数据传输装置10的结构图，所述处理模块11包括图像处理模块111、压缩模块112以及编码调制模块113，其中，所述图像处理模块111、压缩模块112以及编码调制模块113可依次连接也可非依次连接，在此对其硬件连接方式不做限制，图3中以所述图像处理模块111、压缩模块112以及编码调制模块113依次连接进行举例说明，所述图像处理模块111用于对所述拍摄装置输出的一帧图片数据进行处理，所述压缩模块112用于对处理后的一帧图片数据进行压缩，所述编码调制模块113用于将压缩后的一帧图片数据进行编码以及调制处理。

在本申请实施例中，所述控制方法可以应用于无线视频传输系统中，其中，在发送端，所述拍摄装置将拍摄的一帧视频数据传输给数据传输装置，由所述数据传输装置对一帧视频数据进行处理后传输给接收端，为降低图传的延迟，所述数据传输装置会采用亚帧级别的处理，即将一帧视频数据按小于一帧的时间单位进行压缩打包，然后通过数据发送模块(比如无线物理层)进行传输。一帧视频数据的产生、压缩打包以及传输的过程，以小于一帧的时间单位，按流水的方式并行进行，以获得较低的图传延迟。基于此，所述压缩模块可以将所述拍摄装置或者上一处理模块发送的所述数据压缩打包成至少两个部分，并在完成每一部分的压缩打包之后将该部分传输给下一处理模块或所述数据发送模块，以便所述压缩模块在继续下一部分的压缩打包时，下一处理模块或所述数据发送模块可以先处理或者传输接收到的该部分，使得模块之间的处理流程可以并行进行，从而提高数据传输效率，降低数据传输延迟。

其中，所述数据可以是所述拍摄装置拍摄的一帧图片数据，在一个例子中，请参阅图3以及图4，图4为所述拍摄装置发送的一帧图片数据的处理流程，所述拍摄装置将一帧图片数据发送给所述图像处理模块111，所述图像处理模块111对其进行处理之后发送给所述压缩模块112，所述压缩模块112接收所述图像处理模块111处理后的一帧图片数据，将其压缩打包成至少两个部分(图4中以一帧图片数据分成3部分为例进行说明)，并在完成每一部分的图片数据的压缩打包之后直接将该部分的图片数据传输给所述编码调制模块113，使得所述压缩模块112在继续下一部分的图片数据的压缩打包时，所述编码调制模块113可以先处理接收到的该部分的图片数据，无需等待压缩模块112将一帧图片数据压缩完，所述编码调制模块113在完成该部分的图片数据的编码调制之后，可以直接将其传输给所述数据发送模块12，并且可以继续处理所述压缩模块112传输的下一部分的图片数据，所述数据发送模块12可以先发送所述编码调制模块113传输的该部分的图片数据，无需等待所述编码调制模块113将一帧的图片数据处理完，即各个模块之间的处理流程可以并行进行，从而有效提高数据传输效率，降低数据传输延迟，需要说明的是，本发明不对所述压缩模块将所述数据压缩打包成几个部分进行限制，可以是4、5、6、7、8、9、10、11、12、13、14、15、或16等。

在一实施例中，若各个模块之间的处理流程可以按照上述方式并行进行，则所述图像处理模块的处理时延包括处理一帧图片数据所需耗费的时长，所述压缩模块的处理时延包括利用指定压缩算法处理所述每一部分的图片数据时所耗费的最大处理时长，所述编码调制模块的处理时延包括处理所述一部分的图片数据时所需耗费的时长；可以理解的是，本申请实施例对于所述压缩算法的选择不做任何限制，可依据实际应用场景进行具体选择。

在一实施例中，为了保证所述拍摄装置发送的一帧图片数据在经过处理模块处理之后发送至所述数据发送模块时，所述数据发送模块恰好准备开始发送该帧图片数据，则所述数据发送模块发送数据的帧率与所述拍摄装置发送数据的帧率需成整数倍，所述数据为所述拍摄装置拍摄的一帧图片数据。

请参阅图5，为本申请实施例提供的第二种控制方法的流程图，其可由所述数据传输装置来执行，所述方法包括：

在步骤S201中，获取所述数据发送模块的数据发送时间。

在步骤S202中，获取各个所述处理模块处理数据所需的处理时延。

在步骤S203中，根据所述数据发送时间以及所述处理时延，确定所述定时信号的发送时间，在所述定时信号的发送时间发送所述定时信号，以使所述拍摄装置在接收到所述定时信号时，向所述数据传输装置发送所述数据。

在一种实现方式中，在获取所述数据发送模块的数据发送时间以及各个所述处理模块处理数据所需的处理时延之后，所述数据传输装置可以根据与所述数据发送时间间隔延迟时长的时间获取第一时间，所述第一时间在所述数据发送时间之前，所述第一时间表示所述定时信号的最迟发送时间，所述延迟时长为所有处理模块的处理时延之和，即所述数据传输装置可以在第一时间之前发送所述定时信号，最迟在所述第一时间发送所述定时信号，其中，在所述第一时间之前的具体哪个时间发送，可依据实际情况进行具体设置，本申请实施例对此不做任何限制，例如所述数据传输装置包括3个处理模块，各个处理模块处理数据的处理时延为0.1s，则延迟时长为0.3s，所述数据发送模块发送一帧图片数据的数据发送时间是第10s，则所述定时信号所指定的时间为第9.7s，也可以第9.7s之前的其他时间，例如，所述定时信号所指定的时间可以根据各个处理模块设置一定的时间余量，例如可以为各个处理模块共设置0.05秒的时间余量，则各个处理模块数据的处理时延加上所述时间余量，则延时时长为0.35秒，即所述定时信号所指定的时间为9.65秒，这样虽然所述数据到达所述数据发送模块时需要等待一小段时间，但是依旧能够减少图传延迟，且可以保证当所述处理模块的处理延迟突然变长时，所述数据到达数据发送模块时，不会错过最近一次数据发送。

所述数据传输装置确定所述定时信号的发送时间在所述第一时间之前，在所述定时信号的发送时间发送所述定时信号，以使所述拍摄装置在接收到所述定时信号时，直接向所述数据传输装置发送所述数据，其中，所述数据可以为所述拍摄装置拍摄的一帧图片数据。本申请实施例中所述拍摄装置基于所述定时信息发送数据，使得所述拍摄装置发送的一帧图片数据在经过处理模块处理之后发送至所述数据发送模块时，所述数据发送模块恰好准备开始发送该帧图片数据，从而有利于减少所述数据发送模块发送数据的等待时间，减少图传延迟，实现固定延迟的流水式处理，也有利于减小数据传输的延迟抖动。

在一实施例中，所述控制方法可以应用于无线视频传输系统中，其中，在发送端，所述拍摄装置将拍摄的一帧视频数据传输给数据传输装置，由所述数据传输装置对一帧视频数据进行处理后传输给接收端，为降低图传的延迟，所述数据传输装置会采用亚帧级别的处理，即将一帧视频数据按小于一帧的时间单位进行压缩打包，然后通过数据发送模块(比如无线物理层)进行传输。一帧视频数据的产生、压缩打包以及传输的过程，以小于一帧的时间单位，按流水的方式并行进行，以获得较低的图传延迟。请参阅图3，所述处理模块11包括依次连接的图像处理模块111、压缩模块112以及编码调制模块113，所述图像处理模块111用于对所述拍摄装置输出的一帧图片数据进行处理；所述压缩模块112用于将处理后的一帧图片数据压缩打包成至少两个部分，并在完成每一部分的压缩打包之后将该部分传输给所述编码调制模块113；所述编码调制模块113用于将压缩后的一部分的图片数据进行编码以及调制处理。

其中，所述图像处理模块111的处理时延包括处理一帧图片数据所需耗费的时长，所述压缩模块112的处理时延包括利用指定压缩算法处理所述每一部分的图片数据时所耗费的最大处理时长，所述编码调制模块113的处理时延包括处理所述一部分的图片数据时所需耗费的时长。

在一实施例中，考虑到所述拍摄装置的存储容量有限的问题，若所述拍摄装置按照固定的帧率采集数据，发送数据的频率低于采集数据的频率，则拍摄设备需要一定的内存来储存等待发送的数据，可能导致所述拍摄装置无法存储数据发送之前采集的所有数据，因此，本申请实施例中所述拍摄装置还可以根据所述定时信号进行所述数据的采集，采集后即可立即发送该数据，不仅减少图传延迟，且可以减少占用拍摄设备的内存，从而保证采集的数据的有效性。

请参阅图6，为本申请实施例提供的第三种控制方法的流程图，所述方法可应用于拍摄装置上，所述拍摄装置可以为摄像头等设备，所述方法包括：

在步骤S301中，接收数据传输装置发送的定时信号。

在步骤S302中，在所述定时信号的控制下向所述数据传输装置发送数据。

在一实施例中，若所述数据传输装置根据所述数据发送模块的数据发送时间以及各个所述处理模块的处理时延，确定了所述定时信号所指定的时间，则所述拍摄装置可以在接收数据传输装置发送的定时信号之后，在所述定时信号所指定的时间向所述数据传输装置发送数据，其中，所述数据可以为所述拍摄装置拍摄的一帧图片数据。

在另一实施例中，考虑到所述拍摄装置的存储容量有限的问题，若所述拍摄装置按照固定的帧率采集数据，发送数据的频率低于采集数据的频率，则拍摄设备需要一定的内存来储存等待发送的数据，可能导致所述拍摄装置无法存储数据发送之前采集的所有数据，因此，本申请实施例中所述拍摄装置还可以根据所述定时信号所指定的时间进行所述数据的采集，采集后即可立即发送该数据，不仅减少图传延迟，且可以减少占用拍摄设备的内存，从而保证采集的数据的有效性。

在一实施例中，若所述数据传输装置根据所述数据发送时间以及所述处理时延，确定所述定时信号的发送时间，在所述定时信号的发送时间发送所述定时信号，则所述拍摄装置可以在接收数据传输装置发送的定时信号之后，向所述数据传输装置发送所述数据，其中，所述数据可以为所述拍摄装置拍摄的一帧图片数据。

请参阅图2，本申请实施例提供了一种数据传输装置10，包括数据发送模块12以及一个或多个处理模块11。

所述数据发送模块12被配置为：获取数据发送时间；获取各个所述处理模块11处理数据所需的处理时延；基于所述发送时间以及所述处理时延，生成发送至拍摄装置的定时信号，以使所述拍摄装置在所述定时信号的控制下向所述数据传输装置10发送所述数据。

可选地，所述定时信号具体用于：控制所述拍摄装置在所述定时信号所指定的时间向所述数据传输装置10发送所述数据。

可选地，所述定时信号还用于：控制所述拍摄装置根据所述定时信号所指定的时间进行所述数据的采集。

可选地，所述定时信号所指定的时间为：在所述数据发送时间之前，且与所述数据发送时间间隔延迟时长的时间；所述延迟时长为所有处理模块11的处理时延之和。

可选地，所述数据发送模块12还被配置为：根据所述数据发送时间以及所述处理时延，确定所述定时信号的发送时间，在所述定时信号的发送时间发送所述定时信号。

可选地，所述数据发送模块12还被配置为：根据与所述数据发送时间间隔延迟时长的时间获取第一时间，所述第一时间在所述数据发送时间之前，所述延迟时长为所有处理模块11的处理时延之和；确定所述定时信号的发送时间在所述第一时间之前。

可选地，所述拍摄装置用于：在接收到所述定时信号时，向所述数据传输装置发送所述数据。

请参阅图3，所述处理模块11包括图像处理模块111、压缩模块112以及编码调制模块113。

可选地，所述压缩模块112用于：将所述拍摄装置或者上一处理模块11发送的所述数据压缩打包成至少两个部分，并在完成每一部分的压缩打包之后将该部分传输给下一处理模块11或所述数据发送模块12。

可选地，所述压缩模块112的处理时延包括：利用指定压缩算法处理所述每一部分时所耗费的最大处理时长。

可选地，所述数据为所述拍摄装置拍摄的一帧图片数据。

可选地，所述数据发送模块数据发送模块12发送数据的帧率与所述拍摄装置发送数据的帧率成整数倍。

可选地，所述拍摄装置为摄像头。

可选地，所述数据发送模块12包括定时单元和发送单元。

所述定时单元用于：获取所述发送单元的数据发送时间；获取各个所述处理模块11处理数据所需的处理时延；基于所述发送时间以及所述处理时延，生成发送至拍摄装置的定时信号，以使所述拍摄装置在所述定时信号的控制下向所述数据传输装置10发送所述数据。

本领域技术人员可以理解，图2以及图3仅仅是数据传输装置10的示例，并不构成对数据传输装置10的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如数据传输装置10还可以包括网络接入设备等；其中，对于数据传输装置10的所包含的模块/单元的具体功能，可参见上述控制方法实施例中的描述，此处不再赘述。

在本实施例中，所述拍摄装置、所述数据传输装置可应用于无线视频/图像传输系统中，所述无线视频/图像传输系统包括发送端和接收端，其中，所述拍摄装置以及所述数据传输装置作为发送端，所述拍摄装置拍摄的视频或图像数据，经所述数据传输装置处理之后发送给接收端。

可以理解的是，本申请实施例可以将所述无线视频/图像传输系统应用于由可移动平台(比如无人车、无人船、无人机、云台等)、显示装置(如智能眼镜、显示屏或显示幕)等组成的体验系统中，通过将拍摄装置设置在可移动平台上拍摄视频数据，将视频数据通过所述数据传输装置传输给控制端，控制端控制显示装置显示所述视频数据，本申请实施例通过所述拍摄装置基于所述定时信息发送数据，使得所述拍摄装置发送的一帧图片数据在经过处理模块处理之后发送至所述数据发送模块时，所述数据发送模块恰好准备开始发送该帧图片数据，从而有利于减少所述数据发送模块发送数据的等待时间，减少图传延迟，实现固定延迟的流水式处理，也有利于减小数据传输的延迟抖动，这样有利于减少在显示装置上观看到拍摄装置拍摄的视频的延迟，增强用户体验。

在一示例性的应用场景中，所述无线视频/图像传输系统可应用于由无人机、显示装置，如智能眼镜，组成的飞行体验系统中，其中，所述拍摄装置以及所述数据传输装置作为发送端，可安装于无人机上，所述无线视频/图像传输系统中的接收端可安装于智能眼镜上，可选地，该系统还可以包括遥控装置，如遥控器，使用者通过遥控器控制所述无人机飞行，安装在所述无人机上的所述拍摄装置实时拍摄沿途画面，并将拍摄的视频数据传输给所述数据传输装置处理，所述数据传输装置在处理后将视频数据传输给智能眼镜上的接收端，以便在智能眼镜上的显示屏上实时显示，从而使用者可以通过智能眼镜观看到第一视角的实时画面，本申请实施例通过所述拍摄装置基于所述定时信息发送数据，使得所述拍摄装置发送的一帧图片数据在经过处理模块处理之后发送至所述数据发送模块时，所述数据发送模块恰好准备开始发送该帧图片数据，从而有利于减少所述数据发送模块发送数据的等待时间，减少图传延迟，实现固定延迟的流水式处理，也有利于减小数据传输的延迟抖动，这样有利于减少在显示装置(如智能眼镜)上观看到无人机拍摄的视频的延迟，增强用户体验。

在以上的实时拍摄实时显示的示例性场景中，对于画面实时性有很高的要求，要求所述拍摄装置拍摄的视频数据能够快速传输到所述智能眼镜上，以便使用者可以实时观看，因此，本申请实施中所述数据传输装置可以基于所述数据发送模块的数据发送时间以及各个所述处理模块处理数据所需的处理时延，生成发送至拍摄装置的定时信号，以使所述拍摄装置在所述定时信号的控制下向所述数据传输装置发送所述数据，使得所述拍摄装置发送的数据在经过处理模块处理之后发送至所述数据发送模块时，所述数据发送模块恰好准备开始发送所述数据，从而有利于减少所述数据发送模块发送数据的等待时间，从而降低了图传延迟，实现固定延迟的流水式处理，也有利于减小数据传输的延迟抖动，保证所述拍摄装置拍摄的视频数据听过所述数据传输装置尽快传输到所述智能眼镜上。

请参阅图7，本申请实施例提供了一种拍摄装置20，包括：

外壳21。

镜头组件22，设于所述外壳21内部。

传感器组件23，设于所述外壳21内部，用于感知通过所述镜头组件22的光并生成数据。

处理器24，设于所述外壳21内部，用于接收数据传输装置10发送的定时信号，在所述定时信号的控制下向所述数据传输装置10发送所述数据。

所述处理器24可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器24可以是微处理器或者该处理器24也可以是任何常规的处理器等。

可选地，所述处理器24具体用于：在所述定时信号所指定的时间向所述数据传输装置发送所述数据。

可选地，所述处理器24还用于：根据所述定时信号所指定的时间控制所述传感器组件进行所述数据的采集。

可选地，所述处理器24具体用于：在接收到所述定时信号时，向所述数据传输装置发送所述数据。

可选地，所述数据为所述拍摄装置拍摄的一帧图片数据。

可选地，所述拍摄装置20为摄像头。

本领域技术人员可以理解，图7仅仅是拍摄装置20的示例，并不构成对拍摄装置20的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如拍摄装置20还可以包括网络接入设备等。

请参阅图8，本申请实施例提供了一种控制系统30，包括上述的数据传输装置10以及上述的拍摄装置20，其中，所述数据传输装置10包括数据发送模块12以及一个或多个处理模块11，所述数据传输装置10根据所述数据发送模块12的数据发送时间以及各个所述处理模块11处理数据所需的处理时延，生成发送至拍摄装置20的定时信号，以使所述拍摄装置20在所述定时信号的控制下向所述数据传输装置10发送所述数据。

其中，所述数据可以是所述拍摄装置20拍摄的一帧图像数据，使得所述拍摄装置20发送的一帧图片数据在经过处理模块处理之后发送至所述数据发送模块12时，所述数据发送模块12恰好准备开始发送该帧图片数据，从而有利于减少所述数据发送模块12发送数据的等待时间，实现固定延迟的流水式处理，也有利于减小数据传输的延迟抖动。

所述系统的功能可参见上述数据传输装置10以及上述拍摄装置20的具体描述，此处不再赘述。

请参阅图9，本申请实施例提供了一种云台40，包括：

云台轴41。

用于采集云台轴41角度信息的角度传感器42。

用于根据所述角度信息控制所述云台轴41转动的处理器43；

以及上述的控制系统30。

本领域技术人员可以理解，图9仅仅是云台40的示例，并不构成对云台40的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如云台40还可以包括输入输出设备、网络接入设备等，所述云台40可以包括两轴云台或者三轴云台；可以理解的是，所述控制系统30中的所述拍摄装置20可以固定安装在所述云台40上，也可以以可拆卸的方式安装在所述云台40上，本申请实施例对此不做任何限制。

在一实施例中，所述处理器43在接收到控制指令之后，根据控制指令控制所述云台轴41转动，在所述云台轴41转动过程中，所述控制系统30中的拍摄装置20拍摄沿途画面，并将拍摄的视频数据传输给所述数据传输装置10处理，所述数据传输装置10在处理后将视频数据传输给接收端，以便在所述接收端的显示屏上实时显示，从而观众可以通过显示屏观看到第一视角的实时画面；可以理解的是，本申请对于所述接收端的具体形式不做任何限制，可依据实际情况进行具体选择，例如所述接收端可以是移动终端如手机、平板或者智能电脑等，也可以是智能眼镜，还可以是其他具有显示屏的设备。

本申请实施中所述数据传输装置10可以基于上述控制方法生成发送至拍摄装置20的定时信号，以使所述拍摄装置20在所述定时信号的控制下向所述数据传输装置10发送所述数据，基于上述的控制方法，可以有效降低图传延迟，实现固定延迟的流水式处理，也有利于减小数据传输的延迟抖动，保证所述拍摄装置20拍摄的视频数据经过所述数据传输装置10尽快传输到所述接收端上显示，以便观众的实时观看，满足实时性需求。

请参阅图10，本申请实施例提供了一种可移动平台50，包括：

机身51。

动力系统52，安装于所述机身51，用于为所述可移动平台50提供动力。

以及上述的控制系统30。

可选地，所述可移动平台50可以为无人机、无人船、无人车或者扫地机器人等。

本领域技术人员可以理解，图10仅仅是可移动平台50的示例，并不构成对可移动平台50的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如可移动平台50还可以包括输入输出设备、网络接入设备等；可以理解的是，所述控制系统30中的所述拍摄装置20可以固定安装在所述可移动平台50上，也可以以可拆卸的方式安装在所述可移动平台50上，本申请实施例对此不做任何限制。

在一实施例中，所述可移动平台50在用户的控制下运动，比如所述用户可以通过遥控器对所述可移动平台50进行控制，在所述可移动平台50运动过程中，所述控制系统30中的拍摄装置20拍摄沿途画面，并将拍摄的视频数据传输给所述数据传输装置10处理，所述数据传输装置10在处理后将视频数据传输给接收端，以便在所述接收端的显示屏上实时显示，从而观众可以通过显示屏观看到第一视角的实时画面；可以理解的是，本申请对于所述接收端的具体形式不做任何限制，可依据实际情况进行具体选择，例如所述接收端可以是移动终端如手机、平板或者智能电脑等，也可以是智能眼镜，还可以是其他具有显示屏的设备。

本申请实施中所述数据传输装置10可以基于上述控制方法生成发送至拍摄装置20的定时信号，以使所述拍摄装置20在所述定时信号的控制下向所述数据传输装置10发送所述数据，基于上述的控制方法，可以有效降低图传延迟，实现固定延迟的流水式处理，也有利于减小数据传输的延迟抖动，保证所述拍摄装置20拍摄的视频数据经过所述数据传输装置10尽快传输到所述接收端上显示，以便观众的实时观看，满足实时性需求。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，用于存储计算机程序，所述计算机程序包括用于执行上述方法的指令。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

其中，当所述存储介质中的指令由所述数据传输装置10或者所述拍摄装置20执行时，使得装置能够执行前述控制方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明实施例所提供的方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (42)

1.一种控制方法，其特征在于，应用于数据传输装置，所述数据传输装置包括数据发送模块以及一个或多个处理模块，所述方法包括：

获取所述数据发送模块的数据发送时间；

获取各个所述处理模块处理数据所需的处理时延；

基于所述数据发送时间以及所述处理时延，生成发送至拍摄装置的定时信号，以使所述拍摄装置在所述定时信号的控制下向所述数据传输装置发送所述数据；所述定时信号用于控制所述拍摄装置发送的所述数据在经过各个所述处理模块处理之后发送至所述数据发送模块时，所述数据发送模块处于所述数据发送时间。

2.根据权利要求1所述的方法，其特征在于，

所述定时信号用于：控制所述拍摄装置在所述定时信号所指定的时间向所述数据传输装置发送所述数据。

3.根据权利要求2所述的方法，其特征在于，

所述定时信号还用于：控制所述拍摄装置根据所述定时信号所指定的时间进行所述数据的采集。

4.根据权利要求2或3所述的方法，其特征在于，所述定时信号所指定的时间为：在所述数据发送时间之前，且与所述数据发送时间间隔延迟时长的时间；所述延迟时长为所有处理模块的处理时延之和。

5.根据权利要求1所述的方法，其特征在于，所述基于所述数据发送时间以及所述处理时延，生成发送至拍摄装置的定时信号，包括：

根据所述数据发送时间以及所述处理时延，确定所述定时信号的发送时间，在所述定时信号的发送时间发送所述定时信号。

6.根据权利要求5所述的方法，其特征在于，所述根据所述数据发送时间以及所述处理时延，确定所述定时信号的发送时间，包括：

根据与所述数据发送时间间隔延迟时长的时间获取第一时间，所述第一时间在所述数据发送时间之前，所述延迟时长为所有处理模块的处理时延之和；

确定所述定时信号的发送时间在所述第一时间之前。

7.根据权利要求5所述的方法，其特征在于，所述拍摄装置在所述定时信号的控制下向所述数据传输装置发送所述数据，包括：

所述拍摄装置在接收到所述定时信号时，向所述数据传输装置发送所述数据。

8.根据权利要求1所述的方法，其特征在于，所述处理模块包括：图像处理模块、压缩模块以及编码调制模块。

9.根据权利要求8所述的方法，其特征在于，

所述压缩模块用于：将所述拍摄装置或者上一处理模块发送的所述数据压缩打包成至少两个部分，并在完成每一部分的压缩打包之后将该部分传输给下一处理模块或所述数据发送模块。

10.根据权利要求9所述的方法，其特征在于，所述压缩模块的处理时延包括：利用指定压缩算法处理所述每一部分时所耗费的最大处理时长。

11.根据权利要求1所述的方法，其特征在于，所述数据为所述拍摄装置拍摄的一帧图片数据。

12.根据权利要求1所述的方法，其特征在于，所述数据发送模块发送数据的帧率与所述拍摄装置发送数据的帧率成整数倍。

13.根据权利要求1所述的方法，其特征在于，所述拍摄装置为摄像头。

14.一种控制方法，其特征在于，应用于拍摄装置，所述方法包括：

接收数据传输装置发送的定时信号；所述定时信号根据所述数据传输装置处理数据的处理时延和数据发送时间确定；

在所述定时信号的控制下向所述数据传输装置发送数据；所述定时信号用于控制所述拍摄装置发送的所述数据在经过所述数据传输装置处理之后，所述数据传输装置处于所述数据发送时间。

15.根据权利要求14所述的方法，其特征在于，所述在所述定时信号的控制下向所述数据传输装置发送数据，包括：

在所述定时信号所指定的时间向所述数据传输装置发送数据。

16.根据权利要求15所述的方法，其特征在于，还包括：

根据所述定时信号所指定的时间进行所述数据的采集。

17.根据权利要求14所述的方法，其特征在于，所述在所述定时信号的控制下向所述数据传输装置发送数据，包括：

在接收到所述定时信号时，向所述数据传输装置发送所述数据。

18.根据权利要求14所述的方法，其特征在于，所述数据为所述拍摄装置拍摄的一帧图片数据。

19.根据权利要求14至18任意一项所述的方法，其特征在于，所述拍摄装置为摄像头。

20.一种数据传输装置，其特征在于，包括数据发送模块以及一个或多个处理模块；

所述数据发送模块被配置为：获取数据发送时间；获取各个所述处理模块处理数据所需的处理时延；基于所述发送时间以及所述处理时延，生成发送至拍摄装置的定时信号，以使所述拍摄装置在所述定时信号的控制下向所述数据传输装置发送所述数据；所述定时信号用于控制所述拍摄装置发送的所述数据在经过各个所述处理模块处理之后发送至所述数据发送模块时，所述数据发送模块处于所述数据发送时间。

21.根据权利要求20所述的装置，其特征在于，

所述定时信号具体用于：控制所述拍摄装置在所述定时信号所指定的时间向所述数据传输装置发送所述数据。

22.根据权利要求21所述的装置，其特征在于，

所述定时信号还用于：控制所述拍摄装置根据所述定时信号所指定的时间进行所述数据的采集。

23.根据权利要求21或22所述的装置，其特征在于，所述定时信号所指定的时间为：在所述数据发送时间之前，且与所述数据发送时间间隔延迟时长的时间；所述延迟时长为所有处理模块的处理时延之和。

24.根据权利要求20所述的装置，其特征在于，所述数据发送模块还被配置为：根据所述数据发送时间以及所述处理时延，确定所述定时信号的发送时间，在所述定时信号的发送时间发送所述定时信号。

25.根据权利要求24所述的装置，其特征在于，所述数据发送模块还被配置为：根据与所述数据发送时间间隔延迟时长的时间获取第一时间，所述第一时间在所述数据发送时间之前，所述延迟时长为所有处理模块的处理时延之和；确定所述定时信号的发送时间在所述第一时间之前。

26.根据权利要求24所述的装置，其特征在于，所述拍摄装置用于：在接收到所述定时信号时，向所述数据传输装置发送所述数据。

27.根据权利要求20所述的装置，其特征在于，所述处理模块包括图像处理模块、压缩模块以及编码调制模块。

28.根据权利要求27所述的装置，其特征在于，所述压缩模块用于：将所述拍摄装置或者上一处理模块发送的所述数据压缩打包成至少两个部分，并在完成每一部分的压缩打包之后将该部分传输给下一处理模块或所述数据发送模块。

29.根据权利要求28所述的装置，其特征在于，所述压缩模块的处理时延包括：利用指定压缩算法处理所述每一部分时所耗费的最大处理时长。

30.根据权利要求20所述的装置，其特征在于，所述数据为所述拍摄装置拍摄的一帧图片数据。

31.根据权利要求20所述的装置，其特征在于，所述数据发送模块发送数据的帧率与所述拍摄装置发送数据的帧率成整数倍。

32.根据权利要求20所述的装置，其特征在于，所述拍摄装置为摄像头。

33.一种拍摄装置，其特征在于，包括：

外壳；

镜头组件，设于所述外壳内部；

传感器组件，设于所述外壳内部，用于感知通过所述镜头组件的光并生成数据；

处理器，设于所述外壳内部，用于接收数据传输装置发送的定时信号，在所述定时信号的控制下向所述数据传输装置发送所述数据；其中，所述定时信号根据所述数据传输装置处理数据的处理时延和数据发送时间确定；所述定时信号用于控制所述拍摄装置发送的所述数据在经过所述数据传输装置处理之后，所述数据传输装置处于所述数据发送时间。

34.根据权利要求33所述的装置，其特征在于，

所述处理器具体用于：在所述定时信号所指定的时间向所述数据传输装置发送所述数据。

35.根据权利要求34所述的装置，其特征在于，

所述处理器还用于：根据所述定时信号所指定的时间控制所述传感器组件进行所述数据的采集。

36.根据权利要求33所述的装置，其特征在于，

所述处理器具体用于：在接收到所述定时信号时，向所述数据传输装置发送所述数据。

37.根据权利要求33所述的装置，其特征在于，所述数据为所述拍摄装置拍摄的一帧图片数据。

38.根据权利要求33至37任意一项所述的装置，其特征在于，所述拍摄装置为摄像头。

39.一种控制系统，其特征在于，包括如权利要求20至32任意一项所述的数据传输装置以及如权利要求33至38任意一项所述的拍摄装置。

40.一种云台，其特征在于，包括：

云台轴；

用于采集云台轴角度信息的角度传感器；

用于根据所述角度信息控制所述云台轴转动的处理器；以及

如权利要求39所述的控制系统。

41.一种可移动平台，其特征在于，包括：

机身；

动力系统，安装于所述机身，用于提供动力；

以及如权利要求39所述的控制系统。

42.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序包括用于执行如权利要求1至19中任一项所述的方法的指令。

Images