CN117730543A - 可移动平台的图像传输方法、装置及设备 - Google Patents
可移动平台的图像传输方法、装置及设备 Download PDFInfo
- Publication number
- CN117730543A CN117730543A CN202280047437.3A CN202280047437A CN117730543A CN 117730543 A CN117730543 A CN 117730543A CN 202280047437 A CN202280047437 A CN 202280047437A CN 117730543 A CN117730543 A CN 117730543A
- Authority
- CN
- China
- Prior art keywords
- control terminal
- rotation information
- image
- target
- target area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000005540 biological transmission Effects 0.000 title claims description 34
- 230000004044 response Effects 0.000 claims abstract description 25
- 230000001133 acceleration Effects 0.000 claims description 37
- 238000004891 communication Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 4
- 230000033001 locomotion Effects 0.000 abstract description 19
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000001276 controlling effect Effects 0.000 description 18
- 239000011521 glass Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Studio Devices (AREA)
Abstract
一种可移动平台的图像传输方法、装置及设备。该方法包括:获取控制终端的转动信息;根据转动信息对拍摄装置输出的目标图像进行裁切处理,以得到目标区域图像;根据转动信息控制云台运动,以调节拍摄装置的姿态,其中,被裁切的目标图像是云台响应于转动信息运动前拍摄装置输出的图像;将目标区域图像发送给控制终端。该方法能够减少从佩戴或握持控制终端的身体部位带动控制终端开始转动,到用户开始看到随身体部位转动而变化的图像的延迟时间,有利于提升用户的使用体验。
Description
本申请涉及图像传输技术领域,尤其涉及一种可移动平台的图像传输方法、装置及设备。
可移动平台(例如无人机)可以配置拍摄装置,拍摄装置可以拍摄各种环境图像,可移动平台可以利用其配置的云台调节拍摄装置的姿态以改变拍摄装置的拍摄方向。可移动平台可以与控制终端(例如头戴式显示装置)建立无线通信连接,可移动平台可以将拍摄装置采集到的图像发送给控制终端以使控制终端显示图像。
目前,用户可以握持或者佩戴控制终端并让控制终端转动,控制终端可以通过无线通信连接将感测到的转动信息发送给可移动平台,可移动平台可以根据控制终端的转动信息控制云台运动来调整拍摄装置的姿态,以改变拍摄装置的拍摄方向。这样,随着用户带动控制终端转动,拍摄装置的拍摄方向就会随着控制终端的转动而改变,用户就可以看到拍摄装置采集到的拍摄方向变化的图像。例如,控制终端为头戴式显示装置时,佩戴在用户头部的头戴式显示装置会随着用户的头部转动而转动,这样拍摄装置的拍摄方向就会随着用户的头部转动而改变,用户看到头戴式显示装置显示的图像就可以随头部转动变化。
然而,从可移动平台接收到控制终端发送的转动信息到云台开始运动使得拍摄装置的拍摄方向开始改变,这个过程的延时较长,这样会导致从佩戴或握持控制终端的身体部位开始带动控制终端转动(例如用户头部转动带动佩戴的头戴式显示装置开始转动),到用户开始看到随身体部位转动而变化的图像的延时较长,使用流畅度差,导致用户产生眩晕感,用户体验较差。
发明内容
本申请实施例提供一种可移动平台的图像传输方法、装置及设备,用以解决现有技术中从握持或佩戴控制终端的身体部位带动控制终端开始转动,到用户开始看到随身体部位转动而变化的图像的延迟时间较长的问题。
第一方面,本申请实施例提供一种所述可移动平台包括采集并输出图像的拍摄装置和用于承载所述拍摄装置并调节所述拍摄装置的姿态的云台,所述方法包括:
获取控制终端的转动信息;
根据所述转动信息对所述拍摄装置输出的目标图像进行裁切处理,以得到目标区域图像;
根据所述转动信息控制所述云台运动,以调节所述拍摄装置的姿态,其中,被裁切的所述目标图像是所述云台响应于所述转动信息运动前所述拍摄装置输出的图像;
将所述目标区域图像发送给所述控制终端。
第二方面,本申请实施例提供一种可移动平台的图像传输装置,所述可移动平台包括采集并输出图像的拍摄装置和用于承载所述拍摄装置并调节所述拍摄装置的姿态的云台,所述装置包括:存储器和处理器;
所述存储器,用于存储程序代码;
所述处理器,调用所述程序代码,当程序代码被执行时,用于执行以下操作:
获取控制终端的转动信息;
根据所述转动信息对所述拍摄装置输出的目标图像进行裁切处理,以得到目标区域图像;
根据所述转动信息控制所述云台运动,以调节所述拍摄装置的姿态,其中,被裁切的所述目标图像是所述云台响应于所述转动信息运动前所述拍摄装置输出的图像;
将所述目标区域图像发送给所述控制终端。
第三方面,本申请实施例提供一种可移动平台,所述可移动平台包括采集并输出图像的拍摄装置、用于承载所述拍摄装置并调节所述拍摄装置的姿态的云台以及图像传输装置,所述装置包括:存储器和处理器;
所述存储器,用于存储程序代码;
所述处理器,调用所述程序代码,当程序代码被执行时,用于执行以下操作:
获取控制终端的转动信息;
根据所述转动信息对所述拍摄装置输出的目标图像进行裁切处理,以得到目标区域图像;
根据所述转动信息控制所述云台运动,以调节所述拍摄装置的姿态,其中,被裁切的所述目标图像是所述云台响应于所述转动信息运动前所述拍摄装置输出的图像;
将所述目标区域图像发送给所述控制终端。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序被执行时,实现如第一方面中所述的方法。
第四方面,本申请实施例提供一种计算机程序,当所述计算机程序被计算机执行时,用于实现上述第一方面所述的方法。
在本申请实施例中,可以根据转动信息对拍摄装置输出的目标图像进行裁切处理,以得到目标区域图像,并将目标区域图像发送给控制终端,其中,目标图像是云台响应于转动信息运动前拍摄装置输出的图像。这样,即使云台还没来得及响应于转动信息转动以带动拍摄装置的拍摄方向改变,控制终端就可以获取到根据转动信息而改变图像,不需要等待云台响应于转动信息运动以带动拍摄装置的拍摄方向改变,用户就可以看到改变的图像,从而能够减少从握持或佩戴控制终端的身体部位带动控制终端转动,到用户开始看到随身体部位转动而变化的图像的延迟时间,有利于提升用户的使用体验。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的图像传输方法的应用场景示意图;
图2为现有技术中从佩戴或握持控制终端的身体部位带动控制终端开始转动,到用户开始看到随身体部位转动而变化的图像的处理过程的示意图;
图3为本申请一实施例提供的可移动平台的图像传输方法的流程示意图;
图4A为本申请一实施例提供的从目标图像中裁切目标区域图像的示意图;
图4B为本申请另一实施例提供的从目标图像中裁切目标区域图像的示意图;
图5为本申请实施例提供的从佩戴或握持控制终端的身体部位带动控制终端开始转动,到用户开始看到随身体部位转动而变化的图像的处理过程的示意图;
图6为本申请另一实施例提供的可移动平台的图像传输方法的流程示意图;
图7A为本申请实施例提供的控制终端的示意图;
图7B为本申请实施例提供的控制终端在其俯仰方向和偏航方向上的姿态角度的定义的示意图;
图8A为本申请又一实施例提供的从目标图像中裁切目标区域图像的示意图;
图8B为本申请又一实施例提供的从目标图像中裁切目标区域图像的示意图;
图9为本申请又一实施例提供的可移动平台的图像传输方法的流程示意图;
图10为本申请又一实施例提供的从目标图像中裁切目标区域图像的示意图;
图11为本申请一实施例提供的可移动平台的图像传输装置的结构示意图。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供的可移动平台的图像传输方法可以应用于图1所示的 应用场景中。如图1所示,该应用场景中可以包括可移动平台11和与所述可移动平台11无线通信连接的控制终端12。
其中,可移动平台11可以包括采集并输出图像的拍摄装置121和用于承载拍摄装置121并调节拍摄装置121的姿态的云台122。用户可以佩戴或握持控制终端12,控制终端12可以跟随佩戴或握持控制终端的身体部位(例如手或者头部)的转动而转动,控制终端12可以将感测自身的转动而得到的转动信息通过无线通信连接发送给可移动平台11,可移动平台11可以根据接收到的控制终端12的转动信息控制云台122运动,以调节拍摄装置121的姿态。
可移动平台11具体可以是包括拍摄装置121和云台122,并能够根据控制终端12的转动信息控制云台122运动的平台,示例性的,可移动平台可以包括无人机、无人车、无人船中的至少一种,在某些情况中,可移动平台还是可以包括手持式设备。控制终端12具体可以是能够与可移动平台11通信连接,且能够随身体部位的转动而转动的终端,示例性的,控制终端12可以包括头戴式显示装置、手持式显示装置、智能手机、平板电脑、遥控器中的至少一种。在头戴式显示装置为眼镜式显示装置时,控制终端12具体可以为眼镜式显示设备,眼镜式显示设备例如可以为第一人称主视角(First Person View,FPV)眼镜。
如图2所示,以可移动平台11为无人机(Unmanned Aerial Vehicle,UAV),控制终端12为眼镜式显示设备为例,在传统技术中,从佩戴或握持控制终端的身体部位带动控制终端开始转动,到用户开始看到随身体部位转动而变化的图像需要经过以下处理过程:
在用户头部转动带动眼镜端开始转动时,首先眼镜端可以采集自身的转动信息,并将转动信息通过无线通信连接传输到飞机端,然后飞机端的云台系统可以对转动信息进行滤波,并使用滤波后的转动信息控制云台122运动来调整拍摄装置121的姿态,以改变拍摄装置121的拍摄方向,拍摄装置121的拍摄方向变化后,拍摄装置121通过曝光以及图像信号处理(Image Signal Processing,ISP)可以输出拍摄方向变化的图像,之后飞机端可以对拍摄装置输出的拍摄方向变化的图像进行编码传输,以传输到眼镜端,最后眼镜端可以进行解码显示,从而用户开始看到随身体部位转动而变化的图像。需要说明的是,图2所示的处理过程仅为举例。
结合图2可以看出,传统技术中从佩戴或握持控制终端的身体部位带动控 制终端开始转动,到用户开始看到随身体部位转动而变化的图像,需要经过的处理过程包括传输转动信息、根据转动信息控制云台运动、拍摄装置曝光并处理图像以及传输图像,从而使得从佩戴或握持控制终端的身体部位带动控制终端开始转动,到用户开始看到随身体部位转动而变化的图像的延迟时间较长。
为了解决现有技术中,从佩戴或握持控制终端的身体部位带动控制终端开始转动,到用户开始看到随身体部位转动而变化的图像的延迟时间较长的技术问题,在本申请实施例中,可以根据转动信息对拍摄装置输出的目标图像进行裁切处理,以得到目标区域图像,并将目标区域图像发送给控制终端,其中,目标图像是云台响应于转动信息运动前拍摄装置输出的图像,使得从佩戴或握持控制终端的身体部位带动控制终端开始转动(例如头部转动带动头戴式显示装置开始转动),到用户开始看到随身体部位转动而变化的图像,可以不需要等待云台响应于转动信息运动以及拍摄装置曝光并处理图像这部分处理所需的时间,从而能够减少从佩戴或握持控制终端的身体部位带动控制终端开始转动,到用户开始看到随身体部位转动而变化的图像的延迟时间,有利于提升用户的使用体验。
需要说明的是,本申请实施例提供的图像传输方法,可以由可移动平台的图像传输装置执行,该装置可以包括在可移动平台11中。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
图3为本申请一实施例提供的可移动平台的图像传输方法的流程示意图,本实施例的执行主体可以为可移动平台的图像传输装置,具体可以为图像传输装置的处理器。如图3所示,本实施例的方法可以包括:
步骤31,获取控制终端的转动信息。
其中,转动信息具体可以是能够体现控制终端的转动变化的信息。示例性的,转动信息可以包括姿态、角速度或角加速度。控制终端上可以设置有用于感测控制终端的转动并输出转动信息的传感器,例如控制终端12上设置的传感器例如可以为惯性测量单元(Inertial Measurement Unit,IMU)。
在实际应用中,转动信息可以包括偏航转动信息和/或俯仰转动信息。偏航转动信息是指控制终端在其偏航方向上转动的信息,偏航转动信息可以用于控制云台的偏航轴电机,以控制云台在其偏航方向上转动。俯仰转动信息是 指控制终端在其俯仰方向上转动的信息,俯仰转动信息可以用于控制云台的俯仰轴电机,以控制云台在其俯仰方向上转动。其中,云台的偏航方向可以对应拍摄装置的像素平面坐标系的U轴,云台的俯仰方向可以对应拍摄装置的像素平面坐标系的V轴。
示例性的,步骤31具体可以为接收控制终端发送的转动信息。当然,在其他实施例中也可以通过其他方式获取控制终端的转动信息,本申请对此不做限定。
在本申请中,转动信息一方面可以用于控制云台运动,另一方面可以用于对拍摄装置输出的图像进行裁切处理。关于根据转动信息控制云台运动的实现方式,可以参考相关技术中的具体描述,在此不再赘述。
步骤32,根据所述转动信息对所述拍摄装置输出的目标图像进行裁切处理,以得到目标区域图像。
步骤33,根据所述转动信息控制所述云台运动,以调节所述拍摄装置的姿态,其中,被裁切的所述目标图像是所述云台响应于所述转动信息运动前所述拍摄装置输出的图像。
可选的,由于从获取到转动信息到云台响应于转动信息运动之间需要经过一些处理(例如对转动信息进行滤波,根据滤波结果计算电机控制量等),需要耗费一段时间,而拍摄装置的拍摄频率通常较高,在这段时间内拍摄装置可以输出一张或多张图像,另外由于在获取到转动信息时,可移动平台可以缓存有一张或多张拍摄装置输出的需要发送至控制终端的图像,因此目标图像可以包括:从获取转动信息到云台响应于转动信息运动之前拍摄装置输出的图像,和/或,获取到转动信息之前拍摄装置输出的图像。
需要说明的是,对于云台响应于转动信息运动后拍摄装置输出的图像,可以根据需要灵活决定是否根据转动信息进行裁切。可以理解的是,进行裁切得到的目标区域图像的视场角(Field of View,FOV)是小于目标图像的FOV。
其中,对目标图像进行裁切处理的具体方式,可以与根据转动信息控制云台运动的方式有关。示例性的,在转动信息包括偏航转动信息时,可以根据偏航转动信息控制云台的偏航轴电机,并可以确定需要从目标图像裁切出的U轴像素范围;在转动信息包括俯仰转动信息时,可以根据俯仰转动信息控制云台的俯仰轴电机,并可以确定需要从目标图像裁切出的V轴像素范围。
例如,以转动信息包括用于表征控制终端向左偏航的偏航转动信息和用 于表征控制终端向上仰的俯仰转动信息,从目标图像中裁切目标区域图像的方式可以如图4A所示。又例如,以转动信息包括用于表征控制终端向右偏航的偏航转动信息和用于表征控制终端向下俯的俯仰转动信息,从目标图像中裁切目标区域图像的方式可以如图4B所示。需要说明的是,图4A和图4B中,41表示目标图像,42表示目标区域图像。
可选的,可以根据图像中心和图像尺寸两个因子,裁切得到目标区域图像,即可以根据目标区域图像的尺寸和目标区域图像的中心,从目标图像中裁切目标区域图像。基于此,一个实施例中,控制终端的转动信息可以用于确定目标区域图像的中心和目标图像的中心之间的偏差。示例性的,在控制终端的转动信息包括控制终端的偏航转动信息的情况下,偏航转动信息可以用于确定目标区域图像的中心和目标图像的中心在U轴上的偏差;和/或,示例性的,在控制终端的转动信息包括控制终端的俯仰转动信息的情况下,俯仰转动信息可以用于确定目标区域图像的中心和目标图像的中心在V轴上的偏差。
可选的,目标区域图像的尺寸可以是固定不变的,例如目标区域图像的尺寸可以是预先设置的,或者,目标区域图像的尺寸可以是用户设置的。
或者可选的,目标区域图像的尺寸可以是可变的。应理解,在目标区域图像的尺寸越大时,目标区域图像的数据量可以越多,对可移动平台与控制终端之间通信连接的要求可以越高,在目标区域图像的尺寸越小时,目标区域图像的数据量可以越少,对可移动平台与控制终端之间通信连接的要求可以越低。因此,目标区域图像的尺寸可以与可移动平台与控制终端之间通信连接的状况正相关。
由于可移动平台与控制终端之间通信连接的状况可以与可移动平台的移动速度、可移动平台与控制终端之间的距离相关,并可以通过通信质量来表征,因此一个实施例中,目标区域图像的尺寸可以是根据可移动平台的移动速度、可移动平台与控制终端之间的距离、可移动平台与控制终端之间的通信质量中的至少一个确定的。其中,所述通信质量可以以通信带宽、传输误码率、信噪比等中至少一项来确定。
步骤34,将所述目标区域图像发送给所述控制终端。
其中,所述可移动平台可以将裁切处理得到的目标区域图像发送给所述控制终端,所述控制终端可以接收到所述目标区域图像,并显示所述目标区域图像。进一步地,所述可移动平台可以对目标区域图像进行编码得到编码结果, 并将编码结果通过与控制终端之间的无线通信连接发送给控制终端,以由控制终端对编码结果进行解码得到目标区域图像,并显示目标区域图像。
需要说明的是,由于目标区域图像的FOV小于目标图像,因此与将目标图像发送给控制终端相比,通过将目标区域图像发送给控制终端,可以减少带宽占用,节省传输资源。
如图5所示,对比于图2,在本申请中从握持或佩戴控制终端的身体部位带动控制终端开始转动,到用户开始看到随身体部位转动而变化的图像需要经过以下处理过程:
在用户头部转动带动眼镜端开始转动时,首先眼镜端可以采集自身的转动信息,并将转动信息通过无线通信连接传输到飞机端,然后飞机端可以根据转动信息对云台响应于转动信息运动前拍摄装置输出的图像(即目标图像)进行裁切处理,得到根据转动信息而变化的图像(即目标区域图像,也即随身体部分转动而变化的图像),之后飞机端可以对目标区域图像进行编码传输,以传输到眼镜端,最后眼镜端可以进行解码显示,从而用户开始看到随身体部分转动而变化的图像。
结合图2和图5可以看出,本申请中从佩戴或握持控制终端的身体部位带动控制终端开始转动,到用户开始看到随身体部位转动而变化的图像,需要经过的处理过程包括传输转动信息、裁切图像以及传输图像,而无需包括云台响应于转动信息运动、拍摄装置曝光并处理图像,由于裁剪图像相比于云台响应于转动信息运动、拍摄装置曝光并处理图像的耗时要短的多,因此本申请中通过不需要等待云台响应于转动信息运动以及拍摄装置曝光并处理图像所需的时间,能够减少从佩戴或握持控制终端的身体部位带动控制终端开始转动,到用户开始看到随身体部位转动而变化的图像的延迟时间,从而有利于提升用户的使用体验。
本实施例提供的可移动平台的图像传输方法,通过根据转动信息对拍摄装置输出的目标图像进行裁切处理,以得到目标区域图像,并将目标区域图像发送给控制终端,其中,被裁切的所述目标图像是云台响应于转动信息运动前拍摄装置输出的图像,使得从佩戴或握持控制终端的身体部位带动控制终端开始转动(例如头部转动带动头戴式显示装置开始转动),到用户开始看到随身体部位转动而变化的图像,可以不需要等待云台响应于转动信息运动以及拍摄装置曝光并处理图像这部分处理所需的时间,从而能够减少从佩戴或握 持控制终端的身体部位带动控制终端开始转动,到用户开始看到随身体部位转动而变化的图像的延迟时间,有利于提升用户的使用体验。
图6为本申请另一实施例提供的可移动平台的图像传输方法的流程示意图,本实施例在图3所示实施例的基础上,主要描述了在转动信息包括姿态时,根据转动信息对拍摄装置输出的目标图像进行裁切处理的一种可选实现方式,如图6所示,本实施例提供的方法可以包括:
步骤61,获取所述控制终端的转动信息,所述转动信息包括所述控制终端的姿态。
需要说明的是,步骤61与步骤31类似,在此不再赘述。
步骤62,获取所述拍摄装置采集目标图像时所述拍摄装置的姿态。
步骤63,根据所述控制终端的姿态和所述拍摄装置的姿态,从所述拍摄装置输出的目标图像中裁切目标区域图像。
步骤64,根据所述转动信息控制所述云台运动,以调节所述拍摄装置的姿态,其中,被裁切的所述目标图像是所述云台响应于所述转动信息运动前所述拍摄装置输出的图像。
步骤65,将所述目标区域图像发送给所述控制终端。
在实际应用中,在图像传输装置无法直接获知哪些是目标图像时,在步骤62之前还可以包括:从拍摄装置输出的图像中确定与转动信息对应的目标图像。
一个实施例中,从拍摄装置输出的图像中确定与转动信息对应的目标图像具体可以包括:确定可移动平台获取到转动信息的时刻(记为第一时刻),以及云台响应于转动信息开始运动的时刻(记为第二时刻),并将第一时刻到第二时刻拍摄装置输出的图像作为目标图像。例如,假设可移动平台在第10秒获取到转动信息,且在第11秒云台响应于转动信息开始运动,则可以直接将第10秒到第11秒拍摄装置输出的图像作为目标图像,即在第10秒到第11秒,可以直接根据转动信息对拍摄装置最新输出的图像进行裁切处理。
另一个实施例中,在拍摄装置与可移动平台的时间同步的情况下,从拍摄装置输出的图像中确定与转动信息对应的目标图像,具体可以包括:获取转动信息的特征时刻,其中,转动信息的特征时刻为控制终端的传感器采集转动信息的时刻或者可移动平台获取到转动信息的时刻;获取拍摄装置输出的图像的采集时刻;根据特征时刻和采集时刻,从拍摄装置输出的图像中确定目标图 像。
需要说明的是,由于控制终端的传感器采集转动信息的时刻是早于可移动平台获取到转动信息的时刻,因此,控制终端的传感器采集转动信息的时刻之前拍摄装置输出的图像,为可移动平台获取到转动信息之前拍摄装置输出的图像,从而可以根据控制终端的传感器采集转动信息的时刻,从拍摄装置输出的图像中目标图像。
示例性的,可以将拍摄装置输出的采集时刻早于或等于特征时刻的图像,确定为目标图像,即转动信息的特征时刻可以早于或等于目标图像的采集时刻。
针对目标图像,可以获取采集目标图像时拍摄装置的姿态,采集目标图像时拍摄装置的姿态可以根据云台的姿态确定的。例如,拍摄装置输出的图像可以存在对应的采集时刻,根据目标图像的采集时刻以及不同采集时刻与云台姿态的对应关系,可以确定采集目标图像时拍摄装置的姿态。当然,在其他实施例中,也可以通过其他方式获取采集目标图像时拍摄装置的姿态,本申请对此不做限定。所述云台的姿态可以是云台配置的姿态传感器(例如惯性测量单元)采集得到的。
在确定采集目标图像时拍摄装置的姿态后,可以根据控制终端的转动信息中的姿态和拍摄装置的姿态,从拍摄装置输出的目标图像中裁切目标区域图像。
在控制终端的姿态用于确定目标区域图像的中心和目标图像的中心之间的偏差的情况下,步骤63具体可以包括如下步骤A和步骤B。
步骤A,根据控制终端的姿态和拍摄装置的姿态,确定目标区域图像的中心与目标图像中心之间的偏差;
步骤B,根据偏差从拍摄装置输出的目标图像中裁切目标区域图像。
其中,控制终端的姿态可以包括控制终端在其偏航方向上的姿态和/或控制终端在其俯仰方向上的姿态,控制终端在其偏航方向上的姿态可以理解为偏航转动信息,控制终端在其俯仰方向上的姿态可以理解为俯仰转动信息。以下主要以控制终端的姿态包括控制终端在其偏航方向上的姿态以及控制终端在其俯仰方向上的姿态为例进行具体说明。
示例性的,控制终端在其偏航方向上的姿态可以使用控制终端在其偏航方向上的姿态角度来表示,控制终端在其俯仰方向上的姿态角度例如可以使 用控制终端在其俯仰方向上的姿态角度来表示。以控制终端为如图7A所示的头戴式显示设备,且头戴显示设备的轴线方向为图7A中的箭头方向为例,则控制终端在其偏航方向上的姿态角度
以及控制终端在其俯仰方向上的姿态角度θ的定义可以如图7B所示,图7B中的XYZ坐标系是控制终端的坐标系。
示例性的,步骤A具体可以包括如下步骤A1和A2。步骤A1,根据控制终端在偏航方向上的姿态和采集目标图像时拍摄装置在偏航方向上的姿态,确定目标区域图像的中心与目标图像的中心之间在U轴方向上的偏差;步骤A2,根据控制终端在俯仰方向上的姿态和采集目标图像时拍摄装置在俯仰方向上的姿态,确定目标区域图像的中心与目标图像的中心之间在V轴方向上的偏差。
在通过姿态角度表示姿态时,目标区域图像的中心与目标图像的中心之间在U轴方向上的偏差可以表示为控制终端在偏航方向上的姿态角度和采集目标图像时拍摄装置在偏航方向上的姿态角度的偏差,例如可以记为
目标区域图像的中心与目标图像的中心之间在V轴方向上的偏差可以表示为控制终端在俯仰方向上的姿态角度和采集目标图像时拍摄装置在俯仰方向上的姿态角度的偏差,例如可以记为Δθ。从而目标区域图像的中心与目标图像中心之间的偏差可以记为
示例性的,根据偏差从拍摄装置输出的目标图像中裁切目标区域图像,具体可以包括:根据偏差以及目标图像的中心,确定目标区域图像的中心;以及,根据目标区域图像的中心从目标图像中裁切目标区域图像。根据偏差从拍摄装置输出的目标图像中裁切目标区域图像的方式可以如图8A所示,其中,F可以表示目标图像,O可以表示目标图像的中心,F’可以表示目标区域图像,O’可以表示目标区域图像的中心。
一个实施例中,控制终端在偏航方向上的姿态角度、采集目标图像时拍摄装置在偏航方向上的姿态角度以及两者的偏差可以满足如下公式(1);控制终端在俯仰方向上的姿态角度、采集目标图像时拍摄装置在俯仰方向上的姿态角度以及两者的偏差可以满足如下公式(2)。
其中,
可以表示控制终端在偏航方向上的姿态角度,
可以表示采集目标图像时拍摄装置在偏航方向上的姿态角度,
可以表示沿U轴偏移的最 大值;θ
t可以表示控制终端在俯仰方向上的姿态角度,
可以表示采集目标图像时拍摄装置在俯仰方向上的姿态角度,Δθ
bound可以表示沿V轴偏移的最大值,Δθ
bound和
的含义可以如图8B所示,其中,F可以表示目标图像,O可以表示目标图像的中心,F’可以表示目标区域图像,O’可以表示目标区域图像的中心。
可选的,为了减轻由于控制终端的传感器抖动带来的图像抖动问题,可以对控制终端的姿态进行滤波;和/或可选的,为了减轻由于可移动平台的传感器抖动带来的图像抖动问题,可以对拍摄装置的姿态进行滤波。其中,滤波算法例如可以为卡尔曼滤波算法。
示例性的,可以根据第t-1时刻至t-N时刻控制终端的姿态对
进行滤波,第t-1时刻至t-N时刻控制终端的姿态可以表示为
0<i≤N-1,得到的滤波后的姿态可以表示为
可以根据第t-1时刻至t-N时刻拍摄装置的姿态对
进行滤波,第t-1时刻至t-N时刻控制终端的姿态可以表示为
0<j大于≤M-1,得到的滤波后的姿态可以表示为
另一个实施例中,控制终端在偏航方向上的姿态角度与采集目标图像时拍摄装置在偏航方向上的姿态角度可以满足如下公式(3);控制终端在俯仰方向上的姿态角度与采集目标图像时拍摄装置在俯仰方向上的姿态角度可以满足如下公式(4)。
其中,
可以表示控制终端在偏航方向上的滤波后的姿态角度,
可以表示采集目标图像时拍摄装置在偏航方向上的滤波后的姿态角度,
可以表示沿U轴偏移的最大值;
可以表示控制终端在俯仰方向上的滤波后的姿态角度,
可以表示采集目标图像时拍摄装置在俯仰方向上的滤波后的姿态角度,Δθ
bound可以表示沿V轴偏移的最大值;Δθ
bound和
的含义可以如图8B所示。
类似的,在需要根据控制终端的转动信息,对云台响应于转动信息运动过程中拍摄装置输出的图像(以下可以记为图像X)进行裁切时,可以根据控制终端的姿态和采集图像X时拍摄装置的姿态,确定区域图像Y的中心与图像X的中心之间的偏差,从而可以实现从图像X中裁切区域图像Y。
本实施例提供的可移动平台的图像传输方法,通过根据控制终端的姿态和拍摄装置的姿态,从拍摄装置输出的目标图像中裁切目标区域图像,并将目标区域图像发送给控制终端,其中,被裁切的所述目标图像是云台响应于转动信息运动前拍摄装置输出的图像,使得从佩戴或握持控制终端的身体部位带动控制终端开始转动(例如头部转动带动头戴式显示装置转动),到用户开始看到随身体部位转动而变化的图像,可以不需要等待云台响应于转动信息运动以及拍摄装置曝光并处理图像这部分处理所需的时间,从而能够减少从佩戴或握持控制终端的身体部位带动控制终端开始转动,到用户开始看到随身体部位转动而变化的图像的延迟时间,有利于提升用户的使用体验。
图9为本申请又一实施例提供的可移动平台的图像传输方法的流程示意图,本实施例在图3所示实施例的基础上,主要描述了在转动信息包括角速度或角加速度时,根据转动信息对拍摄装置输出的目标图像进行裁切处理的一种可选实现方式,如图9所示,本实施例提供的方法可以包括:
步骤91,获取所述控制终端的转动信息,所述转动信息包括所述控制终端的角速度或角加速度。
步骤92,根据所述控制终端的角速度或者角加速度,从拍摄装置输出的目标图像中裁切目标区域图像。
步骤93,根据所述转动信息控制所述云台运动,以调节所述拍摄装置的姿态,其中,被裁切的所述目标图像是所述云台响应于所述转动信息运动前所述拍摄装置输出的图像。
步骤94,将所述目标区域图像发送给所述控制终端。
类似的,在步骤92之前还可以包括:从拍摄装置输出的图像中确定与转动信息对应的目标图像。关于确定目标图像的具体方式可以参考图6所示实施例的相关描述,在此不再赘述。
一个实施例中,在拍摄装置的初始姿态与控制终端的初始姿态对齐的情况下,控制终端可以向可移动平台发送角速度或角加速度。可移动平台可以根据控制终端的角速度或角加速度控制云台运动,以调节拍摄装置的姿态,可移动平台还可以根据控制终端的角速度或角加速度,从拍摄装置输出的目标图像中裁切目标区域图像。
在控制终端的角速度或角加速度用于确定目标区域图像的中心和目标图像的中心之间的偏差的情况下,步骤92具体可以包括如下步骤C和步骤D。
步骤C,根据所述控制终端的角速度或者角加速度,确定目标区域图像的中心与所述目标图像中心之间的偏差;
步骤D,根据所述偏差从拍摄装置输出的目标图像中裁切目标区域图像。
其中,控制终端的角速度可以包括控制终端在其偏航方向上的角速度和/或控制终端在其俯仰方向上的角速度,控制终端在其偏航方向上的角速度可以理解为偏航转动信息,控制终端在其俯仰方向上的角速度可以理解为俯仰转动信息。控制终端的角加速度可以包括控制终端在其偏航方向上的角加速度和/或控制终端在其俯仰方向上的角加速度,控制终端在其偏航方向上的角加速度可以理解为偏航转动信息,控制终端在其俯仰方向上的角加速度可以理解为俯仰转动信息。
以下主要以控制终端的角速度包括控制终端在其偏航方向上的角速度以及控制终端在其俯仰方向上的角速度,控制终端的角加速度包括控制终端在其偏航方向上的角加速度以及控制终端在其俯仰方向上的角加速度为例进行具体说明。
示例性的,根据控制终端的角速度,确定目标区域图像的中心与目标图像中心之间的偏差,具体可以包括:根据控制终端在偏航方向上的角速度,确定目标区域图像的中心与目标图像的中心之间在U轴方向上的偏差;根据控制终端在俯仰方向上的角速度,确定目标区域图像的中心与目标图像的中心之间在V轴方向上的偏差。
其中,可以通过对控制终端在偏航方向上的角速度进行积分,得到前一时刻至当前时刻,控制终端在偏航方向上转动的角度,根据控制终端在偏航方向上转动的角度可以得到目标区域图像的中心与目标图像的中心之间在U轴方向上的偏差,例如可以记为Δu;可以通过对控制终端在俯仰方向上的角速度进行积分,得到前一时刻至当前时刻,控制终端在俯仰方向上转动的角度,根据控制终端在俯仰方向上转动的角度可以得到目标区域图像的中心与目标图像的中心之间在U轴方向上的偏差,例如可以记为Δv。从而目标区域图像的中心与目标图像中心之间的偏差可以记为(Δv,Δu)。
示例性的,根据控制终端的角加速度,确定目标区域图像的中心与目标图像中心之间的偏差,具体可以包括:根据控制终端在偏航方向上的角加速度,确定目标区域图像的中心与目标图像的中心之间在U轴方向上的偏差;根据控制终端在俯仰方向上的角加速度,确定目标区域图像的中心与目标图像的 中心之间在V轴方向上的偏差。
其中,可以通过对控制终端在偏航方向上的角加速度进行两次积分,得到前一时刻至当前时刻控制终端在偏航方向上转动的角度,根据控制终端在偏航方向上转动的角度可以得到目标区域图像的中心与目标图像的中心之间在U轴方向上的偏差,即Δu;可以通过对控制终端在俯仰方向上的角速度进行两次积分,得到前一时刻至当前时刻控制终端在俯仰方向上转动的角度,根据控制终端在俯仰方向上转动的角度可以得到目标区域图像的中心与目标图像的中心之间在U轴方向上的偏差,即Δv。
示例性的,根据偏差从拍摄装置输出的目标图像中裁切目标区域图像,具体可以包括:根据偏差以及目标图像的中心,确定目标区域图像的中心;以及,根据目标区域图像的中心从目标图像中裁切目标区域图像。根据偏差从拍摄装置输出的目标图像中裁切目标区域图像的方式可以如图10所示,其中,F可以表示目标图像,O可以表示目标图像的中心,F’可以表示目标区域图像,O’可以表示目标区域图像的中心。
一个实施例中,控制终端在偏航方向上转动的角度和目标区域图像的中心与目标图像的中心之间在U轴方向上的偏差可以满足如下公式(5);控制终端在俯仰方向上转动的角度和目标区域图像的中心与目标图像的中心之间在V轴方向上的偏差可以满足如下公式(6)。
Δu=max(min(u
t,Δu
bound),-Δu
bound) 公式(5)
Δv=max(min(v
t,Δv
bound),-Δv
bound) 公式(6)
其中,u
t可以表示积分得到的控制终端在偏航方向上转动的角度,Δu
bound可以表示沿U轴偏移的最大值,v
t可以表示积分得到的控制终端在俯仰方向上转动的角度,Δv
bound可以表示沿V轴偏移的最大值。Δu
bound可以等于公式(1)中的
Δv
bound可以等于公式(2)中的Δθ
bound。
在需要根据控制终端的转动信息,对云台响应于转动信息运动过程中拍摄装置输出的图像(即图像X)进行裁切时,可以根据控制终端的角速度或角加速度和采集图像X时拍摄装置的角速度或角加速度,确定区域图像Y的中心与图像X的中心之间的偏差,从而可以实现从图像X中裁切区域图像Y。
本实施例提供的可移动平台的图像传输方法,通过根据控制终端的角速度或者角加速度,从拍摄装置输出的目标图像中裁切目标区域图像,并将目标区域图像发送给控制终端,其中,被裁切的所述目标图像是云台响应于转动信 息运动前拍摄装置输出的图像,使得从佩戴或握持控制终端的身体部位带动控制终端开始转动(例如头部转动带动头戴式显示装置转动),到用户开始看到随身体部位转动而变化的图像,可以不需要等待云台响应于转动信息运动以及拍摄装置曝光并处理图像这部分处理所需的时间,从而能够减少从佩戴或握持控制终端的身体部位带动控制终端转动,到用户看到控制终端显示的图像相应变化的延迟时间,有利于提升用户的使用体验。
可选的,在上述方法实施例的基础上,可以将向控制终端发送裁切图像作为一种工作模式,以便于用户可以根据需要选择是否采用本申请实施例提供的方法进行图像传输。基于此,一个实施例中,前述步骤32具体可以包括:在工作模式是第一工作模式时,根据所述转动信息对所述拍摄装置输出的目标图像进行裁切处理,以得到目标区域图像。
进一步可选的,还可以将向控制终端发送未裁切图像作为另一种工作模式,以便于用户可以根据需要选择是采用发送未裁切图像的方式进行图像传输。基于此,一个实施例中,本申请实施例提供的方法还可以包括:在工作模式是第二工作模式时,将拍摄装置输出的目标图像发送给控制终端,以使控制终端显示所述目标图像。
示例性的,控制终端上可以包括交互装置,例如,所述交互装置可以包括功能按键、摇杆、触摸显示器、触摸板中的至少一种,所述交互装置可以检测用户输入的模式设置操作,控制终端可以根据所述交互装置检测到的工作模式操作可以确定可移动平台的工作模式。当然,在其他实施例中,控制终端也可以通过其他方式检测用户输入的模式设置操作(例如通过其配置的传感器检测用户的模式设置手势),本申请对此不做限定。
图11为本申请一实施例提供的可移动平台的图像传输装置的结构示意图,如图11所示,该装置110可以包括:处理器111和存储器112。
所述存储器112,用于存储程序代码;
所述处理器111,调用所述程序代码,当程序代码被执行时,用于执行以下操作:
获取控制终端的转动信息;
根据所述转动信息对所述拍摄装置输出的目标图像进行裁切处理,以得到目标区域图像;
根据所述转动信息控制所述云台运动,以调节所述拍摄装置的姿态,其中,被裁切的所述目标图像是所述云台响应于所述转动信息运动前所述拍摄装置输出的图像;
将所述目标区域图像发送给所述控制终端。
本实施例提供的图像传输装置,可以用于执行前述方法实施例的技术方案,其实现原理和技术效果与方法实施例类似,在此不再赘述。
本申请实施例还提供一种可移动平台,包括采集并输出图像的拍摄装置,用于承载所述拍摄装置并调节所述拍摄装置的姿态的云台,以及图像传输装置。本实施例提供的可移动平台中的图像传输装置,可以如图11所示,在此不再赘述。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (49)
- 一种可移动平台的图像传输方法,所述可移动平台包括采集并输出图像的拍摄装置和用于承载所述拍摄装置并调节所述拍摄装置的姿态的云台,其特征在于,所述方法包括:获取控制终端的转动信息;根据所述转动信息对所述拍摄装置输出的目标图像进行裁切处理,以得到目标区域图像;根据所述转动信息控制所述云台运动,以调节所述拍摄装置的姿态,其中,被裁切的所述目标图像是所述云台响应于所述转动信息运动前所述拍摄装置输出的图像;将所述目标区域图像发送给所述控制终端。
- 根据权利要求1所述的方法,其特征在于,所述方法还包括:从所述拍摄装置输出的图像中确定与所述转动信息对应的目标图像。
- 根据权利要求2所述的方法,其特征在于,所述从所述拍摄装置输出的图像中确定与所述转动信息对应的目标图像,包括:获取所述转动信息的特征时刻,其中,所述转动信息的特征时刻为所述控制终端的传感器采集所述转动信息的时刻或者所述可移动平台获取到所述转动信息的时刻;获取所述拍摄装置输出的图像的采集时刻;根据所述特征时刻和所述采集时刻,从所述拍摄装置输出的图像中确定所述目标图像。
- 根据权利要求3所述的方法,其特征在于,所述转动信息的特征时刻早于或等于所述目标图像的采集时刻。
- 根据权利要求1-4中任一项所述的方法,其特征在于,所述控制终端的转动信息包括所述控制终端的姿态,所述根据所述转动信息对所述拍摄装置输出的目标图像进行裁切处理,以得到目标区域图像,包括:获取所述拍摄装置采集所述目标图像时所述拍摄装置的姿态;根据所述控制终端的姿态和所述拍摄装置的姿态,从所述拍摄装置输出的目标图像中裁切目标区域图像。
- 根据权利要求5所述的方法,其特征在于,所述根据所述控制终端的姿态和所述拍摄装置的姿态,从所述拍摄装置输出的目标图像中裁切目标区 域图像,包括:根据所述控制终端的姿态和所述拍摄装置的姿态,确定目标区域图像的中心与所述目标图像中心之间的偏差;根据所述偏差从所述拍摄装置输出的目标图像中裁切目标区域图像。
- 根据权利要求1-4中任一项所述的方法,其特征在于,所述控制终端的转动信息包括所述控制终端的角速度或者角加速度,所述根据所述转动信息从拍摄装置输出的目标图像中裁切目标区域图像,包括:根据所述控制终端的角速度或者角加速度,从拍摄装置输出的目标图像中裁切目标区域图像。
- 根据权利要求7所述的方法,其特征在于,所述根据所述控制终端的角速度或者角加速度,从拍摄装置输出的目标图像中裁切目标区域图像,包括:根据所述控制终端的角速度或者角加速度,确定目标区域图像的中心与所述目标图像中心之间的偏差;根据所述偏差从拍摄装置输出的目标图像中裁切目标区域图像。
- 根据权利要求1所述的方法,其特征在于,所述转动信息包括姿态、角速度、角加速度中的至少一种。
- 根据权利要求1所述的方法,其特征在于,所述控制终端的转动信息用于确定所述目标区域图像的中心和所述目标图像的中心之间的偏差。
- 根据权利要求10所述的方法,其特征在于,所述控制终端的转动信息包括所述控制终端的偏航转动信息和俯仰转动信息,所述偏航转动信息和俯仰转动信息分别用于确定所述目标区域图像的中心和所述目标图像的中心在U轴和V轴上的偏差。
- 根据权利要求1所述的方法,其特征在于,所述根据所述转动信息对所述拍摄装置输出的目标图像进行裁切处理,以得到目标区域图像,包括:在工作模式是第一工作模式时,根据所述转动信息对所述拍摄装置输出的目标图像进行裁切处理,以得到目标区域图像。
- 根据权利要求12所述的方法,其特征在于,所述方法还包括:在工作模式是第二工作模式时,将拍摄装置输出的目标图像发送给控制终端,以使控制终端显示所述目标图像。
- 根据权利要求1所述的方法,其特征在于,所述目标区域图像的尺寸是根据所述可移动平台的移动速度、可移动平台与所述控制终端之间的距离、 可移动平台与所述控制终端之间的通信质量中的至少一个确定的。
- 根据权利要求1所述的方法,其特征在于,所述目标区域图像的尺寸是固定不变的。
- 根据权利要求1所述的方法,其特征在于,所述控制终端包括头戴式显示装置或者手持式显示装置。
- 一种可移动平台的图像传输装置,所述可移动平台包括采集并输出图像的拍摄装置和用于承载所述拍摄装置并调节所述拍摄装置的姿态的云台,其特征在于,所述装置包括:存储器和处理器;所述存储器,用于存储程序代码;所述处理器,调用所述程序代码,当程序代码被执行时,用于执行以下操作:获取控制终端的转动信息;根据所述转动信息对所述拍摄装置输出的目标图像进行裁切处理,以得到目标区域图像;根据所述转动信息控制所述云台运动,以调节所述拍摄装置的姿态,其中,被裁切的所述目标图像是所述云台响应于所述转动信息运动前所述拍摄装置输出的图像;将所述目标区域图像发送给所述控制终端。
- 根据权利要求17所述的装置,其特征在于,所述处理器还用于:从所述拍摄装置输出的图像中确定与所述转动信息对应的目标图像。
- 根据权利要求18所述的装置,其特征在于,所述处理器用于从所述拍摄装置输出的图像中确定与所述转动信息对应的目标图像,包括:获取所述转动信息的特征时刻,其中,所述转动信息的特征时刻为所述控制终端的传感器采集所述转动信息的时刻或者所述可移动平台获取到所述转动信息的时刻;获取所述拍摄装置输出的图像的采集时刻;根据所述特征时刻和所述采集时刻,从所述拍摄装置输出的图像中确定所述目标图像。
- 根据权利要求19所述的装置,其特征在于,所述转动信息的特征时刻早于或等于所述目标图像的采集时刻。
- 根据权利要求17-20中任一项所述的装置,其特征在于,所述控制终 端的转动信息包括所述控制终端的姿态,所述处理器用于根据所述转动信息对所述拍摄装置输出的目标图像进行裁切处理,以得到目标区域图像,包括:获取所述拍摄装置采集所述目标图像时所述拍摄装置的姿态;根据所述控制终端的姿态和所述拍摄装置的姿态,从所述拍摄装置输出的目标图像中裁切目标区域图像。
- 根据权利要求21所述的装置,其特征在于,所述处理器用于根据所述控制终端的姿态和所述拍摄装置的姿态,从所述拍摄装置输出的目标图像中裁切目标区域图像,包括:根据所述控制终端的姿态和所述拍摄装置的姿态,确定目标区域图像的中心与所述目标图像中心之间的偏差;根据所述偏差从所述拍摄装置输出的目标图像中裁切目标区域图像。
- 根据权利要求17-20中任一项所述的装置,其特征在于,所述控制终端的转动信息包括所述控制终端的角速度或者角加速度,所述处理器用于根据所述转动信息从拍摄装置输出的目标图像中裁切目标区域图像,包括:根据所述控制终端的角速度或者角加速度,从拍摄装置输出的目标图像中裁切目标区域图像。
- 根据权利要求23所述的装置,其特征在于,所述处理器用于根据所述控制终端的角速度或者角加速度,从拍摄装置输出的目标图像中裁切目标区域图像,包括:根据所述控制终端的角速度或者角加速度,确定目标区域图像的中心与所述目标图像中心之间的偏差;根据所述偏差从拍摄装置输出的目标图像中裁切目标区域图像。
- 根据权利要求17所述的装置,其特征在于,所述转动信息包括姿态、角速度、角加速度中的至少一种。
- 根据权利要求17所述的装置,其特征在于,所述控制终端的转动信息用于确定所述目标区域图像的中心和所述目标图像的中心之间的偏差。
- 根据权利要求26所述的装置,其特征在于,所述控制终端的转动信息包括所述控制终端的偏航转动信息和俯仰转动信息,所述偏航转动信息和俯仰转动信息分别用于确定所述目标区域图像的中心和所述目标图像的中心在U轴和V轴上的偏差。
- 根据权利要求17所述的装置,其特征在于,所述处理器用于根据所 述转动信息对所述拍摄装置输出的目标图像进行裁切处理,以得到目标区域图像,包括:在工作模式是第一工作模式时,根据所述转动信息对所述拍摄装置输出的目标图像进行裁切处理,以得到目标区域图像。
- 根据权利要求28所述的装置,其特征在于,所述处理器还用于:在工作模式是第二工作模式时,将拍摄装置输出的目标图像发送给控制终端,以使控制终端显示所述目标图像。
- 根据权利要求17所述的装置,其特征在于,所述目标区域图像的尺寸是根据所述可移动平台的移动速度、可移动平台与所述控制终端之间的距离、可移动平台与所述控制终端之间的通信质量中的至少一个确定的。
- 根据权利要求17所述的装置,其特征在于,所述目标区域图像的尺寸是固定不变的。
- 根据权利要求17所述的装置,其特征在于,所述控制终端包括头戴式显示装置或者手持式显示装置。
- 一种可移动平台,其特征在于,所述可移动平台包括采集并输出图像的拍摄装置、用于承载所述拍摄装置并调节所述拍摄装置的姿态的云台以及图像传输装置,所述装置包括:存储器和处理器;所述存储器,用于存储程序代码;所述处理器,调用所述程序代码,当程序代码被执行时,用于执行以下操作:获取控制终端的转动信息;根据所述转动信息对所述拍摄装置输出的目标图像进行裁切处理,以得到目标区域图像;根据所述转动信息控制所述云台运动,以调节所述拍摄装置的姿态,其中,被裁切的所述目标图像是所述云台响应于所述转动信息运动前所述拍摄装置输出的图像;将所述目标区域图像发送给所述控制终端。
- 根据权利要求33所述的可移动平台,其特征在于,所述处理器还用于:从所述拍摄装置输出的图像中确定与所述转动信息对应的目标图像。
- 根据权利要求34所述的可移动平台,其特征在于,所述处理器用于 从所述拍摄装置输出的图像中确定与所述转动信息对应的目标图像,包括:获取所述转动信息的特征时刻,其中,所述转动信息的特征时刻为所述控制终端的传感器采集所述转动信息的时刻或者所述可移动平台获取到所述转动信息的时刻;获取所述拍摄装置输出的图像的采集时刻;根据所述特征时刻和所述采集时刻,从所述拍摄装置输出的图像中确定所述目标图像。
- 根据权利要求35所述的可移动平台,其特征在于,所述转动信息的特征时刻早于或等于所述目标图像的采集时刻。
- 根据权利要求33-36中任一项所述的可移动平台,其特征在于,所述控制终端的转动信息包括所述控制终端的姿态,所述处理器用于根据所述转动信息对所述拍摄装置输出的目标图像进行裁切处理,以得到目标区域图像,包括:获取所述拍摄装置采集所述目标图像时所述拍摄装置的姿态;根据所述控制终端的姿态和所述拍摄装置的姿态,从所述拍摄装置输出的目标图像中裁切目标区域图像。
- 根据权利要求37所述的可移动平台,其特征在于,所述处理器用于根据所述控制终端的姿态和所述拍摄装置的姿态,从所述拍摄装置输出的目标图像中裁切目标区域图像,包括:根据所述控制终端的姿态和所述拍摄装置的姿态,确定目标区域图像的中心与所述目标图像中心之间的偏差;根据所述偏差从所述拍摄装置输出的目标图像中裁切目标区域图像。
- 根据权利要求33-36中任一项所述的可移动平台,其特征在于,所述控制终端的转动信息包括所述控制终端的角速度或者角加速度,所述处理器用于根据所述转动信息从拍摄装置输出的目标图像中裁切目标区域图像,包括:根据所述控制终端的角速度或者角加速度,从拍摄装置输出的目标图像中裁切目标区域图像。
- 根据权利要求39所述的可移动平台,其特征在于,所述处理器用于根据所述控制终端的角速度或者角加速度,从拍摄装置输出的目标图像中裁切目标区域图像,包括:根据所述控制终端的角速度或者角加速度,确定目标区域图像的中心与所述目标图像中心之间的偏差;根据所述偏差从拍摄装置输出的目标图像中裁切目标区域图像。
- 根据权利要求33所述的可移动平台,其特征在于,所述转动信息包括姿态、角速度、角加速度中的至少一种。
- 根据权利要求33所述的可移动平台,其特征在于,所述控制终端的转动信息用于确定所述目标区域图像的中心和所述目标图像的中心之间的偏差。
- 根据权利要求42所述的可移动平台,其特征在于,所述控制终端的转动信息包括所述控制终端的偏航转动信息和俯仰转动信息,所述偏航转动信息和俯仰转动信息分别用于确定所述目标区域图像的中心和所述目标图像的中心在U轴和V轴上的偏差。
- 根据权利要求33所述的可移动平台,其特征在于,所述处理器用于根据所述转动信息对所述拍摄装置输出的目标图像进行裁切处理,以得到目标区域图像,包括:在工作模式是第一工作模式时,根据所述转动信息对所述拍摄装置输出的目标图像进行裁切处理,以得到目标区域图像。
- 根据权利要求44所述的可移动平台,其特征在于,所述处理器还用于:在工作模式是第二工作模式时,将拍摄装置输出的目标图像发送给控制终端,以使控制终端显示所述目标图像。
- 根据权利要求33所述的可移动平台,其特征在于,所述目标区域图像的尺寸是根据所述可移动平台的移动速度、可移动平台与所述控制终端之间的距离、可移动平台与所述控制终端之间的通信质量中的至少一个确定的。
- 根据权利要求33所述的可移动平台,其特征在于,所述目标区域图像的尺寸是固定不变的。
- 根据权利要求33所述的可移动平台,其特征在于,所述控制终端包括头戴式显示装置或者手持式显示装置。
- 一种计算机可读存储介质,其特征在于,其上存储有计算机程序,当所述计算机程序被执行时,实现如权利要求1至16任一项所述的方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2022/083116 WO2023178670A1 (zh) | 2022-03-25 | 2022-03-25 | 可移动平台的图像传输方法、装置及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117730543A true CN117730543A (zh) | 2024-03-19 |
Family
ID=88099589
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280047437.3A Pending CN117730543A (zh) | 2022-03-25 | 2022-03-25 | 可移动平台的图像传输方法、装置及设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117730543A (zh) |
WO (1) | WO2023178670A1 (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016062486A (ja) * | 2014-09-19 | 2016-04-25 | 株式会社ソニー・コンピュータエンタテインメント | 画像生成装置および画像生成方法 |
CN108093244B (zh) * | 2017-12-01 | 2021-02-09 | 电子科技大学 | 一种远程随动立体视觉系统 |
CN111650967A (zh) * | 2020-06-03 | 2020-09-11 | 南昌航空大学 | 一种用于影视拍摄的无人机及云台操控系统 |
CN112804547B (zh) * | 2021-01-07 | 2022-08-23 | 河北交通职业技术学院 | 一种基于无人机vr摄像的交互式直播系统 |
-
2022
- 2022-03-25 CN CN202280047437.3A patent/CN117730543A/zh active Pending
- 2022-03-25 WO PCT/CN2022/083116 patent/WO2023178670A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2023178670A1 (zh) | 2023-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11480291B2 (en) | Camera system using stabilizing gimbal | |
JP6743191B2 (ja) | マルチセンサ画像手ぶれ補正技術 | |
WO2020107372A1 (zh) | 拍摄设备的控制方法、装置、设备及存储介质 | |
CN111213002B (zh) | 一种云台控制方法、设备、云台、系统及存储介质 | |
WO2019227441A1 (zh) | 可移动平台的拍摄控制方法和设备 | |
CN108521814B (zh) | 云台的控制方法、控制器和云台 | |
CN107431749B (zh) | 一种跟焦器控制方法和装置及系统 | |
CN109313455B (zh) | 智能眼镜及其控制云台的方法、云台、控制方法和无人机 | |
CN113273172A (zh) | 全景拍摄方法、装置、系统及计算机可读存储介质 | |
WO2021217371A1 (zh) | 可移动平台的控制方法和装置 | |
CN113645410B (zh) | 图像采集方法、设备及机器可读存储介质 | |
CN109949381B (zh) | 图像处理方法、装置、图像处理芯片、摄像组件及飞行器 | |
CN112640419A (zh) | 跟随方法、可移动平台、设备和存储介质 | |
CN117730543A (zh) | 可移动平台的图像传输方法、装置及设备 | |
WO2020237429A1 (zh) | 遥控设备的控制方法和遥控设备 | |
JP2017112438A (ja) | 撮像システムおよびその制御方法、通信装置、移動撮像装置、プログラム | |
WO2022000211A1 (zh) | 拍摄系统的控制方法、设备、及可移动平台、存储介质 | |
WO2018010473A1 (zh) | 基于智能显示设备的无人机云台转动控制方法 | |
US20200412945A1 (en) | Image processing apparatus, image capturing apparatus, mobile body, image processing method, and program | |
WO2018010472A1 (zh) | 控制无人机云台转动的智能显示设备及其控制系统 | |
JP6700868B2 (ja) | 撮影制御装置及びその制御方法 | |
WO2023065126A1 (zh) | 拍摄控制方法、设备、拍摄系统及存储介质 | |
US11765454B2 (en) | Image control method and device, and mobile platform | |
KR20170019777A (ko) | 플라잉 봇의 촬영 제어 장치 및 그 제어방법 | |
CN117751580A (zh) | 无人机的控制方法、装置、无人机及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |