CN111703584B - 一种回中方法、光电吊舱、无人机及存储介质 - Google Patents

一种回中方法、光电吊舱、无人机及存储介质 Download PDF

Info

Publication number
CN111703584B
CN111703584B CN202010822940.4A CN202010822940A CN111703584B CN 111703584 B CN111703584 B CN 111703584B CN 202010822940 A CN202010822940 A CN 202010822940A CN 111703584 B CN111703584 B CN 111703584B
Authority
CN
China
Prior art keywords
pod
photoelectric pod
photoelectric
image
centering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010822940.4A
Other languages
English (en)
Other versions
CN111703584A (zh
Inventor
孙宇
刘圣哲
吴娟
史圣卿
谭炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yuandu Internet Technology Co ltd
Original Assignee
Beijing Yuandu Internet Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yuandu Internet Technology Co ltd filed Critical Beijing Yuandu Internet Technology Co ltd
Priority to CN202010822940.4A priority Critical patent/CN111703584B/zh
Publication of CN111703584A publication Critical patent/CN111703584A/zh
Application granted granted Critical
Publication of CN111703584B publication Critical patent/CN111703584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography

Abstract

本申请提出一种回中方法、光电吊舱、无人机及存储介质,涉及吊舱技术领域,通过在无人机上设置一特征标识,从而使光电吊舱在回中时,在将光电吊舱调整至第一校正姿态后,可以持续调整光电吊舱的航向角度,以捕捉该特征标识;并在捕捉到该特征标识时,将光电吊舱调整至回中时的第二校正姿态,以使光电吊舱在航向上对准该特征标识;相比于现有技术,使光电吊舱在回中时无需依靠其他硬件设备,能够自动完成回中,提升回中的配置效率。

Description

一种回中方法、光电吊舱、无人机及存储介质
技术领域
本申请涉及吊舱技术领域,具体而言,涉及一种回中方法、光电吊舱、无人机及存储介质。
背景技术
光电吊舱能够被广泛应用在探测侦测任务中,比如可以将光电吊舱挂载于无人机,无人机与光电吊舱相互配合,由无人机执行飞行任务,而由光电吊舱执行拍摄任务,从而实现例如区域安防等侦测任务。
在例如将光电吊舱挂载无人机以执行例如侦测任务等场景中,需要将光电吊舱的拍摄方向调整至特定的方向,即调整光电吊舱的航向至“初始零位”或“默认朝向”,称为吊舱的“航向回中”。
然而,目前的回中方案一般需要配置人员进行手动配置,效率较低。
发明内容
本申请的目的在于提供一种回中方法、光电吊舱、无人机及存储介质,使光电吊舱在回中时无需依靠其他硬件设备,能够自动完成回中,提升回中的配置效率。
为了实现上述目的,本申请采用的技术方案如下:
第一方面,本申请提供一种回中方法,应用于搭载在无人机上的光电吊舱,所述无人机还设置有一特征标识;所述方法包括:
将所述光电吊舱调整至第一校正姿态;
持续调整所述光电吊舱的航向角度,以使所述光电吊舱捕捉所述特征标识;
当所述光电吊舱捕捉到所述特征标识,将所述光电吊舱调整至第二校正姿态,以使所述光电吊舱在航向方向对准所述特征标识。
第二方面,本申请提供一种光电吊舱,所述光电吊舱搭载于一无人机,所述无人机设置有一特征标识;所述光电吊舱包括微控制器、以及与所述微控制器均电连接的载荷、图像采集装置,所述图像采集装置安装于所述载荷;
所述微控制器用于,将所述光电吊舱调整至第一校正姿态;
所述微控制器还用于,控制所述载荷持续调整所述光电吊舱的航向角度;
所述图像采集装置用于,捕捉所述特征标识;
当所述图像采集装置捕捉到所述特征标识,所述微控制器还用于,将所述光电吊舱调整至第二校正姿态,以使所述光电吊舱在航向方向对准所述特征标识。
第三方面,本申请提供一种无人机,所述无人机搭载有上述的光电吊舱。
第四方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述的回中方法。
本申请提供的一种回中方法、光电吊舱、无人机及存储介质,通过在无人机上设置一特征标识,从而使光电吊舱在回中时,在将光电吊舱调整至第一校正姿态后,可以持续调整光电吊舱的航向角度,以捕捉该特征标识;并在捕捉到该特征标识时,将光电吊舱调整至回中时的第二校正姿态,以使光电吊舱在航向上对准该特征标识;相比于现有技术,使光电吊舱在回中时无需依靠其他硬件设备,能够自动完成回中,提升回中的配置效率。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它相关的附图。
图1示出本申请提供的回中方法的一种示意性应用场景图;
图2示出本申请提供的回中方法的一种示意性流程框图;
图3示出图2中步骤205的子步骤的一种示意性流程框图;
图4示出本申请提供的回中方法的另一种示意性流程框图;
图5示出本申请提供的回中方法的再一种示意性流程框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请的一些实施例中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请选定的一些实施例。基于本申请中的一部分实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在一些场景中,光电吊舱在出厂前一般设置有默认的零点位置,该默认的零点位置即为光电吊舱在上电后的默认朝向。
在例如上述的将光电吊舱挂载在无人机的场景中,一般需要将光电吊舱的零点位置对准无人机的机头方向,即:要求光电吊舱默认朝向无人机的机头方向;但光电吊舱与无人机组装后,由于存在安装误差,光电吊舱的实际默认朝向通常与无人机实际的机头方向存在误差,需要经过多次修正,将光电吊舱航向回中,才能实现光电吊舱的默认朝向与无人机的机头方向保持一致。在例如上述的设置光电吊舱航向回中的场景中,一些方案是通过绝对码盘或者是增量码盘实现的;比如可以设置绝对码盘,并为绝对码盘预先配置初始零位的绝对角度,通过旋转码盘,从而实现光电吊舱的回中;或者是,可以设置一增量码盘,并配合限位开关或者是例如或霍尔传感器等感应元件,为该增量码盘设置一码盘零位,以预先配置该增量码盘中相对于码盘零位的初始零位。
其中,码盘零位的设置一般需要在出厂前完成,利用严格成型的工装治具,并依赖物理的例如EEPROM(Electrically Erasable Programmable read only memory,带电可擦可编程只读存储器)等非易失性存储器作为存储介质,以保证光电吊舱在上电时相关的角度信息不会丢失。
然而,在利用例如上述的绝对码盘或者是增量码盘进行光电吊舱的回中设置时,一般需要配置人员根据每一光电吊舱的安装方式以及载体结构特征,在码盘上对初始零位手动的进行配置;并且,由于不同的安装环境一般具有不同的特异性,当同一光电吊舱安装在不同的载体上,或者是对不同的光电吊舱进行安装时,一般需要配置人员针对每一光电吊舱进行单独配置,从而使光电吊舱的回中配置效率较低。
因此,基于上述缺陷,本申请提供的一种可能的实现方式为:通过在无人机上设置一特征标识,从而使光电吊舱在回中时,在将光电吊舱调整至第一校正姿态后,可以持续调整光电吊舱的航向角度,以捕捉该特征标识;并在捕捉到该特征标识时,将光电吊舱调整至回中时的第二校正姿态,以使光电吊舱在航向上对准该特征标识;如此,使光电吊舱能够自动完成回中,提升回中的配置效率。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参阅图1,图1示出本申请提供的回中方法的一种示意性应用场景图,本申请提供的回中方法,可以应用于搭载在无人机上的光电吊舱,该无人机上还设置有一特征标识;比如,在本申请一些可能的实现方式中,该特征标识可以是设置于无人机机头的贴纸,该贴纸可以具有明显的特征图案,且尺寸大小可以为2cm*2cm-5cm*5cm,该特征标识可以作为光电吊舱回中配置时的标准位。
结合图1所示,在一些可能的实现方式中,光电吊舱可以包括有微控制器、图像处理器、图像采集装置、位置传感器(比如角速度传感器)、电机及驱动组件、载荷等;其中,微控制器可以与图像采集装置、图像处理器、位置传感器、电机及驱动组件均电性连接,电机及驱动组件可以与载荷转动连接,图像采集装置可以安装于载荷。
其中,位置传感器可以采集载荷的位置信息(比如载荷的角速度数据),并发送给微控制器;微控制器可以控制图像采集装置开启工作,并拍摄图像信息;图像采集装置可以将拍摄得到的图像信息发送给图像处理器,由图像处理器对获得的图像信息进行处理,并将处理结果发送给微控制器;微控制器可以根据接收图像处理器发送的图像信息的处理结果,输出载荷的角速度,并控制电机及驱动组件按照该角速度,驱动载荷转动,从而使图像采集装置转动,图像采集装置转动后,再将新的图像数据发送给图像处理器;如此,形成完整的闭环控制。
另外,本申请还提供一种无人机(图未示),该无人机可以搭载有如图1所示的光电吊舱。
下面以图1所示的光电吊舱作为示意性执行主体,对本申请提供的回中方法进行示例性说明。
请参阅图2,图2示出本申请提供的回中方法的一种示意性流程框图,可以包括以下步骤:
步骤201,将光电吊舱调整至第一校正姿态;
步骤203,持续调整光电吊舱的航向角度,以使光电吊舱捕捉特征标识;当光电吊舱捕捉到特征标识,执行步骤205;当持续调整光电吊舱的航向角度达到设定的角度阈值且未捕捉到特征标识,执行步骤207;
步骤205,将光电吊舱调整至第二校正姿态,以使所述光电吊舱在航向方向对准所述特征标识。
在一实施例中,当需要对光电吊舱进行回中配置,比如当光电吊舱接收到一终端设备发送的回中指令,或者是光电吊舱开机初始化时,光电吊舱可以通过闭环控制,调整光电吊舱的状态,比如由图1所示光电吊舱的微控制器对电机及驱动组件发出控制指令,以调整光电吊舱的角度、角速度等状态量,从而将光电吊舱调整至第一校正姿态;比如该第一校正姿态可以为光电吊舱的航向角为0°、滚转角为0°、俯仰角为15°时的姿态,第一校正姿态表征的是光电吊舱在进行回中配置时的起始姿态。
当然,可以理解的是,上述第一校正姿态中各个角度值的设置仅为示意,在本申请其他一些可能的实现方式中,第一校正姿态的各个角度值还可以设置为其他的值,本申请对此不进行限定。
需要说明的是,在本申请所述的方案中,可以将光电吊舱的回中配置分为两个阶段,第一个阶段为光电吊舱捕捉特征标识粗调,第二个阶段为光电吊舱利用捕捉特征标识进行精调,最终使得光电吊舱对准该特征标识。
其中,在第一个阶段的调整中,光电吊舱可以在前述闭环控制的作用下,持续调整光电吊舱的航向角度,以设置于无人机上的特征标识为目标,使光电吊舱捕捉该特征标识。
比如,在例如图1示意的光电吊舱中,可以由微控制器向电机及驱动组件发出控制指令,以控制电机及驱动组件驱动载荷转动,从而使载荷带动安装于载荷的图像采集装置持续转动,并由微控制器控制图像采集装置持续拍摄,且由图像采集装置将拍摄得到的图像数据传输给图像处理器,从而由图像处理器对图像数据进行处理,在画面全局使用循环搜索特征标识并进行特征比对,以判断图像采集装置是否有拍摄到特征标识。
其中,需要说明的是,微控制器控制电机及驱动组件驱动载荷进行转动时的转动速度可以是微控制器默认配置的速度,也可以是配置人员配置的转动速度;比如,示例性地,该转动转速可以配置为载荷最大转速的50%。
当光电吊舱捕捉到特征标识,第一个阶段的调整完成,光电吊舱进入第二个阶段的调整,光电吊舱可以根据捕捉到的特征标识,将光电吊舱调整至第二校正姿态,该第二校正姿态即为光电吊舱回中完成时的姿态,当光电吊舱处于第二校正姿态,光电吊舱在航向上对准该特征标识。
可见,基于上述设计,本申请提供的一种回中方法,通过在无人机上设置一特征标识,从而使光电吊舱在回中时,在将光电吊舱调整至第一校正姿态后,可以持续调整光电吊舱的航向角度,以捕捉该特征标识;并在捕捉到该特征标识时,将光电吊舱调整至回中时的第二校正姿态,以使光电吊舱在航向上对准该特征标识;相比于现有技术,使光电吊舱在回中时无需依靠其他硬件设备,能够自动完成回中,提升回中的配置效率。
其中,在执行步骤205时,光电吊舱可以采用一些基于图像算法的方案,将光电吊舱调整至第二校正姿态;比如,在图2的基础上,请参阅图3,图3示出图2中步骤205的子步骤的一种示意性流程框图,在本申请一些可能的实现方式中,步骤205可以包括以下子步骤:
步骤205-1,根据特征标识对应的特征图像在光电吊舱的拍摄画面中的位置坐标,与光电吊舱的拍摄画面的中心位置坐标,获得光电吊舱的姿态控制量;
步骤205-2,利用姿态控制量调整光电吊舱的姿态,直至特征图像位于拍摄画面的中间位置时,确定光电吊舱处于第二校正姿态。
在一实施例中,在执行步骤205时,光电吊舱可以利用光电吊舱拍摄该特征标识获 得的特征图像进行航向回中;其中,假定特征标识对应的特征图像在光电吊舱的拍摄画面 中的位置坐标表示为
Figure DEST_PATH_IMAGE001
,光电吊舱的拍摄画面的中心位置坐标表示为
Figure 73950DEST_PATH_IMAGE002
;光 电吊舱在执行步骤205时,可以先根据特征图像在拍摄画面中的位置坐标
Figure DEST_PATH_IMAGE003
和拍摄 画面的中心位置坐标
Figure 403300DEST_PATH_IMAGE004
,计算出光电吊舱的姿态控制量,该姿态控制量。
如此,光电吊舱可以利用该姿态控制量调整光电吊舱的姿态,使特征图像在拍摄 画面中的位置坐标
Figure DEST_PATH_IMAGE005
与拍摄画面的中心位置坐标
Figure 431561DEST_PATH_IMAGE006
不断靠近,直至特征图 像位于拍摄画面的中间位置时,确定光电吊舱完成回中,光电吊舱处于第二校正姿态。
其中,在一些可能的应用场景中,光电吊舱的回中可以是指光电吊舱仅在航向方向上对准特征标识,而无需在俯仰方向上对准该特征标识。
因此,作为一种可能的实现方式,在执行步骤205-1时,光电吊舱可以将特征图像在拍摄画面中的横坐标以及拍摄画面中心位置的横坐标输入设定的PD控制器,以使PD控制器输出姿态控制量。
比如,该设定的PD控制器可以表示如下:
Figure DEST_PATH_IMAGE007
式中,
Figure 428336DEST_PATH_IMAGE008
表示姿态控制量,
Figure DEST_PATH_IMAGE009
表示预先设置的比例系数,
Figure 484017DEST_PATH_IMAGE010
表示预先设置的微 分系数,
Figure DEST_PATH_IMAGE011
表示特征图像在拍摄画面中的横坐标
Figure 441608DEST_PATH_IMAGE012
与拍摄画面中心位置的横坐标
Figure DEST_PATH_IMAGE013
两者的坐标偏差,
Figure 506516DEST_PATH_IMAGE014
表示偏差的微分项。
示例性地,结合图1所示,可以将上述设定的PD控制器配置在微控制器中,图像处 理器在获得图像采集装置发送的图像数据后,对图像数据进行处理,以计算特征图像在拍 摄画面中的横坐标
Figure DEST_PATH_IMAGE015
与拍摄画面中心位置的横坐标
Figure 856333DEST_PATH_IMAGE013
两者的坐标偏差
Figure 755019DEST_PATH_IMAGE011
,并把坐标 偏差
Figure 855699DEST_PATH_IMAGE011
发送给微控制器,由微控制器利用上述设定的PD控制器输出载荷的角速度,并控 制电机及驱动组件按照该角速度,驱动载荷转动,从而使载荷带动图像采集装置转动;如 此,通过PD控制的方式,使特征图像在拍摄画面中的横坐标
Figure 599664DEST_PATH_IMAGE016
与拍摄画面中心位置的横坐 标
Figure DEST_PATH_IMAGE017
两者的坐标偏差
Figure 305452DEST_PATH_IMAGE018
不断趋于0,即特征图像在拍摄画面中的横坐标
Figure DEST_PATH_IMAGE019
不断靠近拍 摄画面的中心位置,以实现光电吊舱在航线方向上的回中。
另外,在确定特征图像是否位于光电吊舱拍摄画面的中间位置时,光电吊舱可以 持续计算特征图像在拍摄画面中的横坐标与拍摄画面中心位置的横坐标的坐标差,即计算 得到上述的坐标偏差
Figure 968514DEST_PATH_IMAGE020
;并持续判断计算得到的坐标偏差
Figure DEST_PATH_IMAGE021
是否小于一坐标差阈值, 且判断坐标偏差
Figure 526797DEST_PATH_IMAGE021
小于一坐标差阈值的时长是否持续一设定时间;其中,当计算得到的 坐标偏差
Figure 340032DEST_PATH_IMAGE021
持续一设定时间(比如可以设置为1秒)均小于一坐标差阈值,则光电吊舱可 以确定特征图像位置拍摄画面的中间位置。
需要说明的是,本申请提供的上述实现方式,是以光电吊舱在航向方向上对准特 征标识作为回中标准进行的说明;在本申请其他一些可能的实现方式中,还可以在航向方 向上对准特征标识的基础上,在俯仰方向上对准特征标识,此时,则还可以结合例如上述的 PD控制器,分别计算光电吊舱在航向方向和俯仰方向上各自的姿态控制量,从而使光电吊 舱的姿态变化时,特征图像在拍摄画面中的横坐标和竖坐标,分别靠近拍摄画面中心位置 的横坐标和竖坐标,即特征图像在拍摄画面中的位置坐标
Figure 306851DEST_PATH_IMAGE022
不断靠近拍摄画面的中 心位置坐标
Figure DEST_PATH_IMAGE023
另外,可以理解的是,本申请提供的上述实现方式,是当光电吊舱捕捉到特征标识,完成了光电吊舱的回中配置;在本申请其他一些可能的实现方式中,若光电吊舱无法捕捉到特征标识,光电吊舱则无法完成回中配置。
因此,请再次参阅图2,当光电吊舱执行步骤203,且判定持续调整光电吊舱的航向角度达到设定的角度阈值仍未捕捉到特征标识,则该回中方法还可以包括以下步骤:
步骤207,判断记录的回中次数是否达到设定的次数阈值;当未达到时,执行步骤209;当达到时,执行步骤211;
步骤209,更新回中次数和第一校正姿态,并以更新后的第一校正姿态,返回执行步骤201;
步骤211,将光电吊舱卸力。
在例如上述的场景中,特征标识可以设置于无人机机头,而光电吊舱一般安装于无人机的腹部,因此,在例如上述的实现方式中,在执行步骤201时,需要为光电吊舱配置一俯仰角,使得在该光电吊舱可以在该俯仰角下,能够捕捉到特征标签对应的特征图像。
因此,在一些可能的实现方式中,当光电吊舱执行步骤203,且判定持续调整光电吊舱的航向角度达到设定的角度阈值(比如已经持续调整光电吊舱的航向角度达到720°)仍未捕捉到特征标识,表征在该俯仰角下,特征标识无法被光电吊舱所捕捉,此时则可以考虑调整光电吊舱的俯仰角,比如按照设定的步长增加或者是减少俯仰角,以调整光电吊舱的俯仰角,使得光电吊舱可以以调整后的俯仰角重新捕捉特征标识。
另外,为避免无限调整光电吊舱的俯仰角,还可以记录光电吊舱的回中次数,每当光电吊舱记录的回中次数加一,表征光电吊舱在一俯仰角下无法捕捉到特征标识,需要调整光电吊舱的俯仰角后重新捕捉特征标识。
因此,在一些可能的实现方式中,当判定持续调整光电吊舱的航向角度达到设定的角度阈值仍未捕捉到特征标识,光电吊舱可以先判断记录的回中次数是否达到设定的次数阈值,该次数阈值可以指示光电吊舱的回中次数上限;当回中次数未达到该次数阈值时,表征还可以继续调整光电吊舱的俯仰角,此时则更新回中次数以及第一校正姿态,并以更新后的第一校正姿态,返回执行步骤201,比如可以将回中次数加一,并以设定的步长增加第一校正姿态中的俯仰角,从而以更新后的第一校正姿态,继续进行回中配置;反之,当回中次数达到次数阈值,表征光电吊舱回中时的俯仰角已经达到了设定的阈值,此时可以判定光电吊舱回中失败,可以将光电吊舱卸力处理。
比如,在一些可能的实现方式中,光电吊舱可以以5°为起始俯仰度、15°为步长,并设定次数阈值为3;如此,可以使光电吊舱的俯仰角分别为5°、20°、35°时,通过执行本申请提供的上述回中方法,对光电吊舱进行回中配置。
另外,需要说明的是,在一些可能的实现方式中,可以为无人机配置航向码盘,以记录光电吊舱的零位点,从而避免光电吊舱在每次上电时不必要的重复找寻零位点进行回中。
因此,在图2的基础上,请参阅图4,图4示出本申请提供的回中方法的另一种示意性流程框图,在一些可能的实现方式中,该回中方法还可以包括以下步骤:
步骤206,保存光电吊舱处于第二校正姿态时的航向角度为航向码盘角度。
在一些可能的实现方式中,当光电吊舱执行步骤205,将光电吊舱调整至第二校正姿态,光电吊舱确定特征标识对应的特征图像位于光电吊舱位于光电吊舱的拍摄画面中间位置,此时光电吊舱可以保持航向角度不变,并将该姿态下的航向角度保存为航向码盘的零位,以用于后续光电吊舱在正常工作时的姿态解算,并缩短光电吊舱在下次上电时的找寻时间,然后释放找零成功标志,完成零位找寻。
另外,在一些实施例中,光电吊舱在利用上述的回中方法进行航向回中后,航向码盘还可以保存光电吊舱在回中结束时的俯仰角度,使得光电吊舱在下一次利用上述的回中方法进行航向回中时,可以以航向码盘在上一次回中时保存的俯仰角度作为初始俯仰角进行回中,以使光电吊舱能够快速的捕捉到该特征标识。
并且,在一些可能实现方式中,在图2的基础上,请参阅图5,图5示出本申请提供的回中方法的再一种示意性流程框图,在执行步骤203之前,该回中方法还可以包括以下步骤:
步骤202,调整光电吊舱的焦距为最低倍率。
在一些可能的实现方式中,以图1示意的光电吊舱为例,可以选择将图像采集装置变焦至最低倍1X,从而将光电吊舱的焦距调整为最低倍率,以使光电吊舱能够以最大的视野捕捉特征标识,提高特征标识的捕捉范围。
需要说明的是,本申请提供的上述实现方式,是以在无人机上设置一个特征标识为例,利用光电吊舱对准该特征标识以实现光电吊舱在航向上回中,从而对本申请提供的回中方法进行的示例性说明。
在本申请一些其他的应用场景中,为适应不同的工作模式,还可以在无人机上设置多个特征标识,比如设置多个光电吊舱在不同对准角度下的特征标识,从而使光电吊舱在进行回中时,可以基于用户在多个特征标识中选定的目标特征标识进行回中,以使光电吊舱能够设置多种工作状态下的零点位置。
另外,针对上述为不同的工作模式设置不同特征标识的场景,可以为光电吊舱配置不同的起始姿态,即:针对不同的工作模式,为光电吊舱设置不同的回中时的起始姿态角;比如,光电吊舱可以保存有一起始记录表项,该起始记录表项中可以保存有多个特征标识对应的起始姿态,当光电吊舱执行上述的回中方法时,光电吊舱可以根据获得的目标特征标识,在该起始记录表项中查找与该目标特征标识对应的目标起始姿态,使光电吊舱可以从该目标起始姿态为初始姿态进行航行回中;如此,可以使光电吊舱针对不同的工作模式快速回中,提升回中效率。
在一些可能的场景中,若光电吊舱回中所对应的目标航向与其对准特征标识时的航向方向不同,比如光电吊舱接收一终端设备发送的航向偏差角,该航向偏差角表征光电吊舱的目标航向与光电吊舱对准特征标识时的航向两者的偏差角度,则光电吊舱可以如前述先捕捉特征标识,并将光电吊舱在航向方向对准该特征标识时的航向角度记录在航向码盘;然后根据该航向码盘记录的航向角度、目标航向与特征标识的航向偏差角,确定该目标航向所对应的目标码盘角度,此时该目标码盘角度即对应光电吊舱在航向回中时的航向角度;如此,光电吊舱即可以按照航向码盘记录的目标码盘角度进行航向回中,从而避免因光电吊舱航向回中时的目标航向与机身上特征标识所对应航向存在偏差时而无法实现航向回中。
其中,在一些实施例中,上述的目标航向与特征标识所对应的航向两者的航向偏差角可以通过多种方式获取,比如通过上述的接收来自终端设备的控制指令以获取航向偏差角,或,根据光电吊舱反馈的含有特征标识的拍摄画面和目标航向在该拍摄画面中的定位信息,确定该角度偏差。
另外,在一些场景中,光电吊舱的回中一般可以是指航向方向的回中,可以理解的是,为了提高回中的精度,上述实施例中所记载的回中方法也可以应用于光电吊舱在俯仰方向或者是横滚方向上的回中。由于光电吊舱通常安装于无人机的机腹下方,在一些可能的场景中,俯仰或横滚所对应的回中方向存在无法在机身上进行特征标识的情况,如:光电吊舱通常是朝向无人机的机腹下方进行拍摄,无法基于机身上的标识实现俯仰方向的对准,则可以采用上述实施例中所记载的方法,通过机身上的特征标识以及其与目标俯仰方向的角度偏差,实现目标俯仰方向的回中。
但是若回中过程中,需基于拍摄画面中目标方向与特征标识的位置信息,确定角度偏差,在一些可能的场景中,由于实际的应用环境中,可能采用视角范围小的镜头进行拍摄,则俯仰或横滚所对应的目标方向可能存在难以与特征标识在同一画面捕捉的情况;因此,在这种情况下,可以采用为光电吊舱配置广角、超广角、全景镜头实现两者的同时捕捉。
另外,基于与本申请提供的上述回中方法相同的发明构思,本申请还提供一种如图1所示的光电吊舱,该光电吊舱搭载于一无人机,无人机设置有一特征标识;光电吊舱包括微控制器、以及与微控制器均电连接的载荷、图像采集装置,图像采集装置安装于载荷;
微控制器用于,将光电吊舱调整至第一校正姿态;
微控制器还用于,控制载荷持续调整光电吊舱的航向角度;
图像采集装置用于,捕捉特征标识;
当图像采集装置捕捉到特征标识,微控制器还用于,将光电吊舱调整至第二校正姿态,以使所述光电吊舱在航向方向对准所述特征标识。
可选地,作为一种可能的实现方式,微控制器在将光电吊舱调整至第二校正姿态时,具体用于:
根据特征标识对应的特征图像在图像采集装置的拍摄画面中的位置坐标,与图像采集装置的拍摄画面的中心位置坐标,获得光电吊舱的姿态控制量;其中,所述特征图像为所述光电吊舱拍摄所述特征标识获得的图像;
利用姿态控制量控制载荷调整光电吊舱的姿态,直至特征图像位于拍摄画面的中间位置时,确定光电吊舱处于第二校正姿态。
可选地,作为一种可能的实现方式,微控制在根据特征标识对应的特征图像在图像采集装置的拍摄画面中的位置坐标,与图像采集装置的拍摄画面的中心位置坐标,获得光电吊舱的姿态控制量时,具体用于:
将特征图像在拍摄画面中的横坐标以及拍摄画面中心位置的横坐标输入设定的PD控制器,以使PD控制器输出姿态控制量。
可选地,作为一种可能的实现方式,微控制器在确定特征图像位于拍摄画面的中间位置时,具体用于:
当计算得到的坐标偏差持续设定时间均小于一坐标差阈值,则确定特征图像位于拍摄画面的中间位置;其中,坐标偏差表征特征图像在拍摄画面中的横坐标与拍摄画面中心位置的横坐标的坐标差。
可选地,作为一种可能的实现方式,微控制器还用于:
保存光电吊舱处于第二校正姿态时的航向角度为航向码盘角度。
可选地,作为一种可能的实现方式,当载荷持续调整光电吊舱的航向角度达到设定的角度阈值且光电吊舱的图像采集装置未捕捉到特征标识,微控制器还用于,判断记录的回中次数是否达到设定的次数阈值;
当回中次数未达到设定的次数阈值,则微控制器更新回中次数和第一校正姿态,并以更新后的第一校正姿态,将光电吊舱调整至更新后的第一校正姿态;
当回中次数达到设定的次数阈值,则微控制器将光电吊舱卸力。
可选地,作为一种可能的实现方式,微控制器在控制载荷持续调整光电吊舱的航向角度之前,还用于:
调整图像采集装置的焦距为最低倍率。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的一些实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。
也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。
也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请的一些实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备执行本申请的一些实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的部分实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其它的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (14)

1.一种回中方法,其特征在于,应用于搭载在无人机上的光电吊舱,所述无人机还设置有一特征标识;所述方法包括:
将所述光电吊舱调整至第一校正姿态;
持续调整所述光电吊舱的航向角度,以使所述光电吊舱捕捉所述特征标识;
当所述光电吊舱捕捉到所述特征标识,根据所述特征标识对应的特征图像在所述光电吊舱的拍摄画面中的位置坐标,与所述光电吊舱的拍摄画面的中心位置坐标,获得所述光电吊舱的姿态控制量;其中,所述特征图像为所述光电吊舱拍摄所述特征标识获得的图像;
利用所述姿态控制量调整所述光电吊舱的姿态,直至所述特征图像位于所述拍摄画面的中间位置时,确定所述光电吊舱处于第二校正姿态,所述光电吊舱在航向方向对准所述特征标识。
2.如权利要求1所述的方法,其特征在于,根据所述特征标识对应的特征图像在所述光电吊舱的拍摄画面中的位置坐标,与所述光电吊舱的拍摄画面的中心位置坐标,获得所述光电吊舱的姿态控制量的步骤,包括:
将所述特征图像在所述拍摄画面中的横坐标以及所述拍摄画面中心位置的横坐标输入设定的PD控制器,以使所述PD控制器输出所述姿态控制量。
3.如权利要求1所述的方法,其特征在于,确定所述特征图像位于所述拍摄画面的中间位置的步骤,包括:
当计算得到的坐标偏差持续设定时间均小于一坐标差阈值,则确定所述特征图像位于所述拍摄画面的中间位置;其中,所述坐标偏差表征所述特征图像在所述拍摄画面中的横坐标与所述拍摄画面中心位置的横坐标的坐标差。
4.如权利要求1所述的方法,其特征在于,所述方法还包括:
保存所述光电吊舱处于所述第二校正姿态时的航向角度为航向码盘角度。
5.如权利要求1所述的方法,其特征在于,所述方法还包括:
当持续调整所述光电吊舱的航向角度达到设定的角度阈值且未捕捉到所述特征标识,判断记录的回中次数是否达到设定的次数阈值;
当所述回中次数未达到所述设定的次数阈值,则更新所述回中次数和所述第一校正姿态,并以更新后的第一校正姿态,返回执行将所述光电吊舱调整至第一校正姿态的步骤;
当所述回中次数达到所述设定的次数阈值,则将所述光电吊舱卸力。
6.如权利要求1所述的方法,其特征在于,在持续调整所述光电吊舱的航向角度,以使所述光电吊舱捕捉所述特征标识的步骤之前,所述方法还包括:
调整所述光电吊舱的焦距为最低倍率。
7.一种光电吊舱,其特征在于,所述光电吊舱搭载于一无人机,所述无人机设置有一特征标识;所述光电吊舱包括微控制器、以及与所述微控制器均电连接的载荷、图像采集装置,所述图像采集装置安装于所述载荷;
所述微控制器用于,将所述光电吊舱调整至第一校正姿态;
所述微控制器还用于,控制所述载荷持续调整所述光电吊舱的航向角度;
所述图像采集装置用于,捕捉所述特征标识;
当所述图像采集装置捕捉到所述特征标识,所述微控制器还用于,根据所述特征标识对应的特征图像在所述图像采集装置的拍摄画面中的位置坐标,与所述图像采集装置的拍摄画面的中心位置坐标,获得所述光电吊舱的姿态控制量;其中,所述特征图像为所述光电吊舱拍摄所述特征标识获得的图像;利用所述姿态控制量控制所述载荷调整所述光电吊舱的姿态,直至所述特征图像位于所述拍摄画面的中间位置时,确定所述光电吊舱处于第二校正姿态,所述光电吊舱在航向方向对准所述特征标识。
8.如权利要求7所述的光电吊舱,其特征在于,所述微控制在根据所述特征标识对应的特征图像在所述图像采集装置的拍摄画面中的位置坐标,与所述图像采集装置的拍摄画面的中心位置坐标,获得所述光电吊舱的姿态控制量时,具体用于:
将所述特征图像在所述拍摄画面中的横坐标以及所述拍摄画面中心位置的横坐标输入设定的PD控制器,以使所述PD控制器输出所述姿态控制量。
9.如权利要求7所述的光电吊舱,其特征在于,所述微控制器在确定所述特征图像位于所述拍摄画面的中间位置时,具体用于:
当计算得到的坐标偏差持续设定时间均小于一坐标差阈值,则确定所述特征图像位于所述拍摄画面的中间位置;其中,所述坐标偏差表征所述特征图像在所述拍摄画面中的横坐标与所述拍摄画面中心位置的横坐标的坐标差。
10.如权利要求7所述的光电吊舱,其特征在于,所述微控制器还用于:
保存所述光电吊舱处于所述第二校正姿态时的航向角度为航向码盘角度。
11.如权利要求7所述的光电吊舱,其特征在于,
当所述载荷持续调整所述光电吊舱的航向角度达到设定的角度阈值且所述光电吊舱的图像采集装置未捕捉到所述特征标识,所述微控制器还用于,判断记录的回中次数是否达到设定的次数阈值;
当所述回中次数未达到所述设定的次数阈值,则所述微控制器更新所述回中次数和所述第一校正姿态,并以更新后的第一校正姿态,将所述光电吊舱调整至所述更新后的第一校正姿态;
当所述回中次数达到所述设定的次数阈值,则所述微控制器将所述光电吊舱卸力。
12.如权利要求7所述的光电吊舱,其特征在于,所述微控制器在控制所述载荷持续调整所述光电吊舱的航向角度之前,还用于:
调整所述图像采集装置的焦距为最低倍率。
13.一种无人机,其特征在于,所述无人机搭载有如权利要求7-12中任一项所述的光电吊舱。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
CN202010822940.4A 2020-08-17 2020-08-17 一种回中方法、光电吊舱、无人机及存储介质 Active CN111703584B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010822940.4A CN111703584B (zh) 2020-08-17 2020-08-17 一种回中方法、光电吊舱、无人机及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010822940.4A CN111703584B (zh) 2020-08-17 2020-08-17 一种回中方法、光电吊舱、无人机及存储介质

Publications (2)

Publication Number Publication Date
CN111703584A CN111703584A (zh) 2020-09-25
CN111703584B true CN111703584B (zh) 2020-12-08

Family

ID=72547281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010822940.4A Active CN111703584B (zh) 2020-08-17 2020-08-17 一种回中方法、光电吊舱、无人机及存储介质

Country Status (1)

Country Link
CN (1) CN111703584B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113928581B (zh) * 2021-09-30 2022-08-23 北京远度互联科技有限公司 吊舱控制方法、装置、吊舱、无人机及介质
CN113815875B (zh) * 2021-09-30 2022-10-11 北京远度互联科技有限公司 吊舱控制方法、装置、吊舱、无人机及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2874300B1 (fr) * 2004-08-11 2006-11-24 Renault Sas Procede de calibration automatique d'un systeme de stereovision
JP4636346B2 (ja) * 2009-03-31 2011-02-23 アイシン精機株式会社 車載カメラの校正装置、方法、及びプログラム
CN102013099B (zh) * 2010-11-26 2012-07-04 中国人民解放军国防科学技术大学 车载摄像机外参数交互式标定方法
FR3014553A1 (fr) * 2013-12-11 2015-06-12 Parrot Procede de calibration angulaire de la position d'une camera video embarquee dans un vehicule automobile
CN204262587U (zh) * 2014-06-12 2015-04-15 上海功源自动化技术有限公司 一种高精度晶圆背刻对中系统的校正装置
CN110603504A (zh) * 2018-07-26 2019-12-20 深圳市大疆创新科技有限公司 多云台的控制方法、装置、无人机、介质及电子设备

Also Published As

Publication number Publication date
CN111703584A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN111703584B (zh) 一种回中方法、光电吊舱、无人机及存储介质
Sun et al. Autonomous quadrotor flight despite rotor failure with onboard vision sensors: Frames vs. events
US20210255644A1 (en) Determining control parameters for formation of multiple uavs
CN105814484A (zh) 抖动校正装置及其调整方法、抖动校正电路、抖动校正方法、以及照相机模块及其光学元件的位置控制方法
CN108700252B (zh) 云台的控制方法以及云台
Delaune et al. Thermal-inertial odometry for autonomous flight throughout the night
JP6430661B2 (ja) 安定プラットホーム、並びにその追従制御システム及び方法
US20060017816A1 (en) General line of sight stabilization system
CN110337668B (zh) 图像增稳方法和装置
CN109814588A (zh) 飞行器以及应用于飞行器的目标物追踪系统和方法
CN108780321A (zh) 用于设备姿态调整的方法、设备、系统和计算机可读存储介质
WO2021043214A1 (zh) 一种标定方法、装置及飞行器
US20210107146A1 (en) Gimbal control method and gimbal
Guo et al. A unified leader-follower scheme for mobile robots with uncalibrated on-board camera
JP6318455B1 (ja) 制御装置、撮像装置、移動体、制御方法及びプログラム
CN112567729A (zh) 控制装置、摄像系统、移动体、控制方法以及程序
JP6501091B1 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
US20220046177A1 (en) Control device, camera device, movable object, control method, and program
JP6544542B2 (ja) 制御装置、撮像装置、無人航空機、制御方法、及びプログラム
EP3496063B1 (en) Method of maintaining tilt angle, method of controlling tilting, and surveillance camera
CN112335229A (zh) 控制装置、摄像装置、摄像系统、移动体、控制方法以及程序
US10473949B2 (en) Systems and methods for an optical image stabilizer system
JP2015138010A (ja) 撮影カメラの位置検出システムおよび方法
CN112313574B (zh) 控制装置、摄像装置、摄像系统、控制方法以及程序
US20200241570A1 (en) Control device, camera device, flight body, control method and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant