CN112585956B - 轨迹复演方法、系统、可移动平台和存储介质 - Google Patents

轨迹复演方法、系统、可移动平台和存储介质 Download PDF

Info

Publication number
CN112585956B
CN112585956B CN201980051940.4A CN201980051940A CN112585956B CN 112585956 B CN112585956 B CN 112585956B CN 201980051940 A CN201980051940 A CN 201980051940A CN 112585956 B CN112585956 B CN 112585956B
Authority
CN
China
Prior art keywords
information
movable platform
pose
image
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980051940.4A
Other languages
English (en)
Other versions
CN112585956A (zh
Inventor
周游
蔡剑钊
刘洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN112585956A publication Critical patent/CN112585956A/zh
Application granted granted Critical
Publication of CN112585956B publication Critical patent/CN112585956B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种轨迹复演方法、系统、可移动平台和存储介质。方法包括:获取可移动平台移动时经过的多个标记位置和标记图像,标记图像包括可移动平台根据标记位置获取的图像(S101);根据多个标记位置生成用于供可移动平台进行移动的预设轨迹(S102);在可移动平台根据预设轨迹移动时,获取与标记位置相对应的当前显示图像和可移动平台的当前位姿信息,当前显示图像包括可移动平台当前根据标记位置获取的图像(S103);根据所述当前显示图像、所述标记图像和所述当前位姿信息,对所述可移动平台的位姿进行调整,以使所述可移动平台根据所述预设轨迹复演(S104)。上述方法能够根据轨迹自动复拍构图,使复拍过程更加流畅、快速。

Description

轨迹复演方法、系统、可移动平台和存储介质
技术领域
本发明实施例涉及控制技术领域,尤其涉及一种轨迹复演方法、系统、可移动平台和存储介质。
背景技术
随着科学技术的飞速发展,可移动平台可以协助进行专业航拍、农业灌溉、电力巡线、治安监控等,例如,以无人机为代表的飞行器有比较广泛的应用。在利用无人机进行飞行作业时,可能会需要沿同一个轨迹进行多次重复作业,例如:在电影的制作拍摄过程中,为了拍摄一个场景,经常需要多次反复尝试,除了演员的表现可以影响到一段成片的好坏之外,摄影师的拍摄也经常是停机复拍的一个原因。或者,在利用无人机进行路线巡检工作时,通常需要针对同一条线路不停的进行拍摄检测,然而,由于路线较为复杂、拍摄操作较为重复,并且路线巡检工作的应用场景多为野外作业,操控员在恶劣环境下还需要聚精会神执行任务,这对于操控员来说,是一项很大的挑战。
因此,在需要针对同一轨迹进行多次重复作业时,如何实现每次运行的轨迹趋近一致是一个亟需解决的一个问题。
发明内容
本发明实施例提供了一种轨迹复演方法、系统、可移动平台和存储介质,在针对同一轨迹进行多次重复作业时,能够实现多次运行的轨迹趋近一致,使得航线复演的过程更加流畅、快速。
本发明实施例的第一方面是为了提供一种轨迹复演方法,包括:
获取可移动平台移动时经过的标记位置和标记图像,所述标记图像包括所述可移动平台根据所述标记位置获取的图像;
根据所述标记位置生成用于供可移动平台进行移动的预设轨迹;
在所述可移动平台根据所述预设轨迹移动的过程中,获取与所述标记位置相对应的当前显示图像,和所述可移动平台的当前位姿信息,其中,所述当前显示图像包括所述可移动平台当前根据所述标记位置获取的图像;
根据所述当前显示图像、所述标记图像和所述当前位姿信息,对所述可移动平台的位姿进行调整,以使所述可移动平台根据所述预设轨迹复演。
本发明实施例的第二方面是为了提供一种轨迹复演系统,包括:
存储器,用于存储计算机程序;
处理器,用于运行所述存储器中存储的计算机程序以实现:
获取可移动平台移动时经过的标记位置和标记图像,所述标记图像包括所述可移动平台根据所述标记位置获取的图像;
根据所述标记位置生成用于供可移动平台进行移动的预设轨迹;
在所述可移动平台根据所述预设轨迹移动的过程中,获取与所述标记位置相对应的当前显示图像,和所述可移动平台的当前位姿信息,其中,所述当前显示图像包括所述可移动平台当前根据所述标记位置获取的图像;
根据所述当前显示图像、所述标记图像和所述当前位姿信息,对所述可移动平台的位姿进行调整,以使所述可移动平台根据所述预设轨迹复演。
本发明实施例的第三方面是为了提供一种可移动平台,包括:
机身;
上述第二方面所述的轨迹复演系统,所述轨迹复演系统设置于所述机身上。
本发明实施例的第四方面是为了提供一种计算机可读存储介质,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于实现上述第一方面所述的轨迹复演方法。
本发明实施例提供的轨迹复演方法,通过标记位置生成用于供可移动平台进行移动的预设轨迹,在可移动平台根据预设轨迹移动的过程中,可以获取与标记位置相对应的当前显示图像和可移动平台的当前位姿信息,并根据当前显示图像、标记图像和当前位姿信息对可移动平台的位姿进行调整,有效地实现了在可移动平台进行轨迹复演的过程中,可以自动检测匹配预设轨迹,在预设轨迹发生变化时,能够通过当前显示图像、标记图像和当前位姿信息对可移动平台的位姿进行调整,从而使得整个复演过程更加流畅快捷,让操作者更加专注于拍摄装置的镜头本身,进而提高了轨迹复演的准确可靠性,保证了该方法的实用性,有利于市场的推广与应用。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本发明实施例提供的可移动平台根据所述预设轨迹复演的示意图;
图2为本发明实施例提供的一种轨迹复演方法的流程示意图;
图3为本发明实施例提供的根据所述当前显示图像、标记图像和当前位姿信息确定与所述标记位置相对应的位姿偏移信息的流程示意图一;
图4为本发明实施例提供的根据所述当前显示图像、标记图像和当前位姿信息确定与所述标记位置相对应的位姿偏移信息的流程示意图二;
图5为本发明实施例提供的根据所述预估位姿信息和当前位姿信息确定所述可移动平台的位姿偏移信息的流程示意图;
图6为本发明实施例提供的另一种轨迹复演方法的流程示意图;
图7为本发明实施例提供的又一种轨迹复演方法的流程示意图;
图8为本发明实施例提供的根据所述目标图像与所述标记图像,对所述可移动平台的位姿进行调整的流程示意图;
图9为本发明实施例提供的根据所述目标图像和标记图像确定旋转偏移信息的流程示意图;
图10为本发明实施例提供的根据所述特征点关系信息确定所述旋转偏移信息的流程示意图;
图11为本发明实施例提供的获取可移动平台移动时经过的多个标记位置的流程示意图一;
图12为本发明实施例提供的获取可移动平台移动时经过的多个标记位置的流程示意图二;
图13为本发明实施例提供的获取可移动平台移动时经过的多个标记位置的流程示意图三;
图14为本发明实施例提供的获取可移动平台移动时经过的多个标记位置的流程示意图四;
图15为本发明应用实施例提供的一种轨迹复演方法的流程示意图;
图16为本发明实施例提供的一种轨迹复演系统的结构示意图;
图17为本发明实施例提供的一种可移动平台的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
为了便于理解本申请的技术方案,下面对现有技术进行简要说明:
在利用无人机进行飞行作业时,可能会需要沿着同一个轨迹进行多次作业,例如:在电影制作拍摄过程中,为了拍摄一个场景,经常需要多次反复尝试,除了演员的表现会影响到一段成片的好坏,摄影师的拍摄也经常是停机复拍的一个原因;或者,在进行路线巡检工作时,通常需要针对同一条线路不停的拍摄检测。然而,由于拍摄任务或者巡检任务的重复度很高,同时对机位构图的要求比较高,以往都需要经过专业训练的操作员来执行,不仅作业方式枯燥,并且对操作员也具有很高的要求。此外,路线巡检工作的应用场景多为野外作业,操控员在恶劣环境下还需要聚精会神执行任务,极大地增加了作业难度。
下面结合附图,对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
为了解决上述技术问题,本实施例提供了一种轨迹复演方法,该方法可以应用于可移动平台针对同一个轨迹进行多次作业的场景,例如:无人机进行路线巡检工作时,需要针对同一条线路不停的拍摄检测的应用场景,或者,利用可移动平台针对同一个场景进行多次拍摄的情况。在可移动平台执行上述轨迹复演方法时,能够自动检测匹配拍摄轨迹,在拍摄轨迹发生微小变化时,如图1所示,以无人机作为可移动平台为例,无人机的历史运行轨迹为锚点轨迹,无人机的当前运行轨迹为飞行轨迹,在飞行轨迹与锚点轨迹之间不重合时,则可以确定此时的可移动平台的拍摄轨迹发生了微小变化。为了能够保证无人机的轨迹复演效果,本实施中的方法能够通过之前拍摄的样片来进行图像匹配,寻找目标对齐机位朝向,并支持在此基础上的镜头调整,从而让整个复拍/巡检过程更加流畅快捷,让操作者更加专注于镜头本身。
具体的,参考附图2所示,本实施例提供了一种轨迹复演方法,该方法可以包括:
S101:获取可移动平台移动时经过的标记位置和标记图像,标记图像包括可移动平台根据标记位置获取的图像。
其中,可移动平台可以包括以下至少之一:无人机、无人船、无人车、手持云台,当然的,本领域技术人员也可以根据具体的应用需求和设计需求将可移动平台设置为其他的设备,在此不再赘述。
另外,标记位置可以为至少一个,可移动平台可以根据作业需求或者使用需求进行移动,在可移动平台进行移动的过程中,可以获取可移动平台移动时经过的多个标记位置和标记图像,其中,标记位置可以是预设的位置信息、实时经过的位置信息、可移动平台的位姿发生变化时的位置信息、需要获取标记图像的位置信息等等,并且,通过所获取的标记位置可以生成预设轨迹,以供可移动平台进行移动;而标记图像可以包括可移动平台根据每一个标记位置获取的至少一个图像,具体的,该标记图像可以包括:可移动平台在标记位置处获取的图像,和/或,对标记位置进行拍摄获得的图像。
S102:根据标记位置生成用于供可移动平台进行移动的预设轨迹。
在获取到标记位置之后,可以根据标记位置生成预设轨迹,该预设轨迹可以用于供可移动平台进行移动,所生成的预设轨迹可以便于可移动平台进行复演。
S103:在可移动平台根据预设轨迹移动的过程中,获取与标记位置相对应的当前显示图像,和可移动平台的当前位姿信息,其中,当前显示图像包括可移动平台当前根据标记位置获取的图像。
在获取到预设轨迹之后,可移动平台可以根据作业需求和应用需求对预设估计进行复演,在可移动平台根据预设轨迹进行移动(复演)的过程中,可以获取与标记位置相对应的当前显示图像和可移动平台的当前位姿信息,其中,可移动平台的当前位姿信息可以包括可移动平台的当前位置信息和当前姿态信息。另外,可以通过可移动平台上的拍摄装置获取与标记位置相对应的当前显示图像,该当前显示图像包括可移动平台当前根据标记位置获取的图像,同理的,该图像可以包括:可移动平台在标记位置处获取的图像,和/或,对标记位置进行拍摄获得的图像。
S104:根据当前显示图像、标记图像和当前位姿信息,对可移动平台的位姿进行调整,以使可移动平台根据预设轨迹复演。
在获得当前显示图像、标记图像和当前位姿信息之后,可以对当前显示图像、标记图像和当前位姿信息进行分析处理,并可以基于分析处理结果对可移动平台的位姿进行调整,从而可以使得可移动平台根据预设轨迹进行复演。具体的,本实施例对于根据当前显示图像、标记图像和当前位姿信息,对可移动平台的位姿进行调整的具体实现方式不做限定,本领域技术人员可以根据具体的应用需求和设计需求进行设置,较为优选的,本实施例中的根据当前显示图像、标记图像和当前位姿信息,对可移动平台的位姿进行调整,以使可移动平台根据预设轨迹复演可以包括:
S1041:根据当前显示图像、标记图像和当前位姿信息确定与标记位置相对应的位姿偏移信息。
在获取到当前显示图像、标记图像和当前位姿信息之后,可以对当前显示图像、标记图像和当前位姿信息进行分析处理,从而可以确定与标记位置相对应的位姿偏移信息,该位姿偏移信息可以包括与标记位置相对应的位置偏移信息和与可移动平台相对应的位姿偏移信息。
S1042:根据位姿偏移信息对可移动平台的位姿进行调整,以使可移动平台根据预设轨迹复演。
在获取到位姿偏移信息之后,可以根据位姿偏移信息对可移动平台的位姿进行调整,使得可移动平台所执行的当前轨迹与所确定的预设轨迹之间的差异小于或等于预设阈值,从而使得可移动平台可以根据预设轨迹进行复演操作,如图1所示,这样有效地保证了整个复演过程更加流畅快捷。
本实施例提供的轨迹复演方法,通过多个标记位置生成用于供可移动平台进行移动的预设轨迹,在可移动平台根据预设轨迹移动的过程中,可以获取与标记位置相对应的当前显示图像和可移动平台的当前位姿信息,并根据当前显示图像、标记图像和当前位姿信息确定与标记位置相对应的位姿偏移信息,而后可以根据位姿偏移信息对可移动平台的位姿进行调整,有效地实现了在可移动平台进行轨迹复演的过程中,可以自动检测匹配预设轨迹,在预设轨迹发生变化时,能够通过当前显示图像、标记图像和当前位姿信息对可移动平台的位姿进行调整,从而使得整个复演过程更加流畅快捷,让操作者更加专注于拍摄装置的镜头本身,进而提高了轨迹复演的准确可靠性,保证了该方法的实用性,有利于市场的推广与应用。
进一步的,在获取可移动平台移动时经过的标记位置之后,本实施例中的方法还可以包括:
S200:获取与标记位置相对应的标记信息,标记信息包括以下至少一种:预设特征点的3D信息、全局3D信息(深度图、深度信息等)、云台旋转信息、拍摄装置的位姿信息。
其中,在获取到可移动平台移动时经过的标记位置之后,为了便于实现轨迹复演操作,可以获取与标记位置相对应的标记信息,该标记信息可以包括预设特征点的3D信息、全局3D信息、云台旋转信息、拍摄装置的位姿信息。举例来说:在可移动平台从A点移动到B点的过程中,中间的标记位置可以包括A1点、A2点、A3点和A4点,其中,当某一标记位置处存在预设特征点时,例如:在A1点处存在某一特征建筑物,特征建筑物为预设特征点,此时,则可以通过拍摄装置获取到预设特征点的3D信息;或者,在可移动平台位于A2点时,可以通过拍摄装置获取可移动平台位于A2点处的全局3D信息;在可移动平台位于A3点、且可移动平台的云台发生旋转时,则可以通过惯性测量单元获取此时与标记位置相对应的云台旋转信息,该云台旋转信息可以包括云台旋转轴信息和云台旋转角信息;在可移动平台位于A4点、且位于可移动平台上的拍摄装置的位姿发生变化时,则可以通过惯性测量单元获取与该标记位置相对应的拍摄装置的位姿信息。
可以理解的是,标记信息并不限于上述举例说明的内容,本领域技术人员可以根据具体的应用需求和设计需求对标记信息的内容进行设置,在此不再赘述。
本实施例中,在获取可移动平台移动时经过的一个或多个标记位置之后,通过获取与标记位置相对应的标记信息,而后通过确定标记信息与标记位置的对应关系,可以有效地保证了可移动平台根据预设轨迹进行复演的质量和效率,进一步提高了轨迹复演的流场程度。
图3为本发明实施例提供的根据当前显示图像、标记图像和当前位姿信息确定与标记位置相对应的位姿偏移信息的流程示意图一;在上述实施例的基础上,继续参考附图3所示,其中,与标记位置相对应的位姿偏移信息包括与标记位置相对应的位置偏移信息和可移动平台的位姿偏移信息;在与标记位置相对应的位姿偏移信息包括与标记位置相对应的位置偏移信息时,本实施例中的根据当前显示图像、标记图像和当前位姿信息确定与标记位置相对应的位姿偏移信息可以包括:
S10411:获取位于标记图像中的标记特征点和位于当前显示图像中与标记特征点相对应的当前特征点。
其中,在获得标记图像之后,可以对标记图像进行分析识别,从而可以获取位于标记图像中的标记特征点,该标记特征点可以是预设的特征点,例如:标记特征点可以包括预设建筑物、预设标识物等等。在获取到当前显示图像之后,可以对当前显示图像进行分析识别,从而可以识别出位于当前显示图像中与标记特征点相对应的当前特征点。
具体的,在可移动平台首次移动到标记位置时,可以获取到标记图像,当可移动平台根据预设轨迹进行复演时,需要再次移动至标记位置,并获得与标记图像相对应的当前显示图像。因此,在获取到标记图像和当前显示图像之后,可以获取到位于标记图像中的标记特征点和位于当前显示图像中与标记特征点相对应的当前特征点,例如:可以获取到位于标记图像中的某一建筑物的标记特征点,而后在当前显示图像中获取到针对同一建筑图相对应的当前特征点。
S10412:根据标记特征点与当前特征点,确定与标记位置相对应的位置偏移信息。
在获取到标记特征点和当前特征点之后,可以对标记特征点和当前特征点进行分析匹配,从而可以确定与标记位置相对应的位置偏移信息,该位置偏移信息即为在可移动平台根据预设轨迹进行复演时,可移动平台的当前标记位置与标记位置之间存在的位置偏差。
举例来说:在标记位置为A点时,在可移动平台根据预设轨迹中的标记位置A进行复演时,可移动平台所在的当前标记位置为A`点,此时的A`点与A点之间存在一定的距离,该距离即为上述确定的与标记位置相对应的位置偏移信息。在获取到该位置偏移信息之后,可以根据位置偏移信息对可移动平台的位姿进行调整,即将可移动平台由当前标记位置调整至标记位置处,以使可移动平台根据预设轨迹复演。
本实施例中,通过获取位于标记图像中的标记特征点和位于当前显示图像中与标记特征点相对应的当前特征点,而后根据标记特征点与当前特征点,确定与标记位置相对应的位置偏移信息,在获取到位置偏移信息之后,可以根据位置偏移信息对可移动平台的位姿进行调整,即将可移动平台由当前标记位置调整至标记位置处,以使可移动平台根据预设轨迹复演,这样有效地保证了可移动平台进行复演的准确可靠性。
图4为本发明实施例提供的根据当前显示图像、标记图像和当前位姿信息确定与标记位置相对应的位姿偏移信息的流程示意图二;在上述实施例的基础上,继续参考附图4所示,在与标记位置相对应的位姿偏移信息包括可移动平台的位姿偏移信息时,本实施例中的根据当前显示图像、标记图像和当前位姿信息确定与标记位置相对应的位姿偏移信息可以包括:
S10413:根据当前显示图像和标记图像确定与当前显示图像相对应的预估位姿信息。
在获取到当前显示图像和标记图像之后,可以对当前显示图像和标记图像进行分析处理,从而可以获得与当前显示图像相对应的预估位姿信息,具体的,本实施例中的根据当前显示图像和标记图像确定与当前显示图像相对应的预估位姿信息可以包括:
S104131:利用透视点PnP算法对当前显示图像和标记图像进行分析处理,获得与当前显示图像相对应的预估位姿信息。
其中,透视点(perspective-N-point,简称PnP)算法是指通过多对3D与2D匹配点,在已知或者未知相机内参的情况下,利用最小化重投影误差来求解相机外参的算法。在获取到当前显示图像和标记图像之后,可以利用PnP算法对当前显示图像和标记图像进行分析处理,从而可以获得与当前显示图像相对应的预估位姿信息,该预估位姿信息包括预估位置信息和预估姿态信息。
S10414:根据预估位姿信息和当前位姿信息确定可移动平台的位姿偏移信息。
在获取到预估位姿信息之后,可以根据预估位姿信息和当前位姿信息来确定可移动平台的位置偏移信息,具体的,参考附图5所示,本实施例中的根据预估位姿信息和当前位姿信息确定可移动平台的位姿偏移信息可以包括:
S104141:获取与预估位姿信息相对应的逆矩阵信息。
S104142:将逆矩阵信息与当前位姿信息的和值确定为可移动平台的位姿偏移信息。
具体的,假设预估位姿信息表示为
Figure BDA0002932623730000091
当前位姿信息表示为
Figure BDA0002932623730000092
此时,在获取都预估位姿信息之后,可以确定与预估位姿信息相对应的逆矩阵信息,即/>
Figure BDA0002932623730000101
在获取到逆矩阵信息之后,可以将逆矩阵信息与当前位姿信息的和值确定为可移动平台的位姿偏移信息offsettranslation,即
Figure BDA0002932623730000102
本实施例中,通过当前显示图像和标记图像确定与当前显示图像相对应的预估位姿信息,根据预估位姿信息和当前位姿信息确定可移动平台的位姿偏移信息,不仅保证了可移动平台的位姿偏移信息获取的准确可靠性,并且,在获取到位姿偏移信息之后,可以根据位姿偏移信息对可移动平台的位姿进行调整,从而有效地保证了可移动平台根据预设轨迹进行复演的质量和准确率,进一步提高了该方法使用的稳定可靠性。
图6为本发明实施例提供的另一种轨迹复演方法的流程示意图;在上述实施例的基础上,继续参考附图6所示,本实施例中的可移动平台可以包括拍摄装置,该拍摄装置可以用于获取标记图像;此时,本实施例中的方法可以包括:
S301:在可移动平台根据预设轨迹移动的过程中,当可移动平台位于标记位置时,获取拍摄装置在标记位置处的当前3D信息。
S302:根据预设特征点的3D信息和/或全局3D信息,和当前3D信息,确定与拍摄装置相对应的位姿偏移信息。
S303:根据位姿偏移信息对拍摄装置的位姿进行调整。
其中,预设特征点与标记位置之间相对应,一般情况下,预设特征点的3D信息和/或全局3D信息是在可移动平台首次经过预设特征点时所记录的标记信息。当可移动平台根据预设轨迹进行移动,且可移动平台位于标记位置时,则可以获取拍摄装置在标记位置处的当前3D信息,在获取到当前3D信息之后,可以根据预设特征点的3D信息和/或全局3D信息对当前3D信息进行分析处理,并可以根据分析处理结果确定与拍摄装置相对应的位姿偏移信息。
具体的,在根据预设特征点的3D信息和/或全局3D信息,和当前3D信息,确定与拍摄装置相对应的位姿偏移信息时,一种可实现的方式为:利用迭代最近点(IterativeClosest Point,简称ICP)算法对预设特征点的3D信息和当前3D信息进行分析匹配,从而可以确定与拍摄装置相对应的位姿偏移信息,该位姿偏移信息包括位置偏移信息和姿态偏移信息。另一种可实现的方式为:利用ICP算法对全局3D信息对当前3D信息进行分析匹配,从而可以确定与拍摄装置相对应的位姿偏移信息。又一种可实现的方式为:利用ICP算法、预设特征点的3D信息和全局3D信息对当前3D信息进行分析匹配,从而可以确定与拍摄装置相对应的位姿偏移信息。在获取到位姿偏移信息之后,可以根据位姿偏移信息对拍摄装置的位姿进行调整,在对拍摄装置的位姿进行调整之后,可以通过拍摄装置进行拍摄操作,从而有效地保证了可移动平台根据预设轨迹进行复演的稳定可靠性。
本实施例中,在可移动平台根据预设轨迹进行移动时,且当可移动平台位于标记位置时,可以获取拍摄装置在标记位置处的当前3D信息,并根据预设特征点的3D信息和/或全局3D信息和当前3D信息,确定与拍摄装置相对应的位姿偏移信息,而后可以根据位姿偏移信息对拍摄装置的位姿进行调整,从而实现了可移动平台进行轨迹复演时,在标记位置处可以准确地执行与标记位置相对应的标记信息,进而保证了根据预设轨迹进行复演的准确可靠性。
图7为本发明实施例提供的又一种轨迹复演方法的流程示意图;在上述实施例的基础上,继续参考附图7所示,本实施例中的可移动平台可以包括用于承载拍摄装置的云台;此时,本实施例中的方法可以包括:
S401:根据云台旋转信息,将云台的位姿调整至调整后位姿。
其中,云台旋转信息是可移动平台在标记位置时,预先获取的与标记位置相对应的标记信息,在获取到云台旋转信息之后,可以根据云台旋转信息对云台进行调整,实现了将云台的位姿由当前姿态调整至调整后姿态,该调整后姿态即为与云台旋转信息相对应的云台姿态。
S402:当云台的位姿处于调整后位姿时,通过拍摄装置获取与标记位置相对应的目标图像,目标图像与标记图像相对应。
在云台的位姿处于调整后位姿时,可以通过拍摄装置获取与标记位置相对应的目标图像,其中,标记位置预先对应有标记图像,该目标图像与标记图像相对应,即目标图像和标记图像分别是与同一个标记位置相对应的两个图像信息。
S403:根据目标图像与标记图像,对可移动平台的位姿进行调整,以使可移动平台根据预设轨迹复演。
在获取到目标图像和标记图像之后,可以对目标图像和标记图像进行分析处理,以根据分析处理结果对可移动平台的位姿进行调整,从而实现可移动平台可以根据预设轨迹进行复演。具体的,参考附图8所示,本实施例中的根据目标图像与标记图像,对可移动平台的位姿进行调整可以包括:
S4031:根据目标图像和标记图像确定旋转偏移信息。
其中,在获取到目标图像和标记图像之后,可以对目标图像和标记图像进行分析处理,从而可以确定旋转偏移信息,该旋转偏移信息可以包括旋转角偏移信息和旋转轴偏移信息。具体的,本实施例中对于旋转偏移信息的具体确定方式不做限定,本领域技术人员可以根据具体的应用需求和设计需求进行设置,较为优选的,参考附图9所示,本实施例中的根据目标图像和标记图像确定旋转偏移信息可以包括:
S40311:根据标记图像和目标图像,获得特征点关系信息。
S40312:根据特征点关系信息确定旋转偏移信息。
在获取到标记图像和目标图像之后,可以将标记图像和目标图像中的特征点进行分析匹配,从而可以获取特征点关系信息,在获取到特征点关系信息之后,可以根据特征点关系信息确定旋转偏移信息,具体的,参考附图10所示,本实施例中的根据特征点关系信息确定旋转偏移信息可以包括:
S403121:获取与拍摄装置相对应的相机内参。
S403122:根据相机内参和特征点关系信息确定旋转偏移信息。
在确定拍摄装置的型号和结构之后,即可以获取到与拍摄装置相对应的相机内参K,在获取到相机内参K和特征点关系信息H之后,则可以根据相机内参K和特征点关系信息H来确定旋转偏移信息R。具体的,假设特征点关系信息为H,特征点关系信息H、相机内参K与旋转矩阵R之间的对应关系为H=KRK-1,通过上述对应关系、相机内参和特征点关系信息可以确定旋转矩阵R,通过旋转矩阵R即可确定旋转偏移信息R offset。
S4032:根据旋转偏移信息对可移动平台的位姿进行调整,以使可移动平台根据预设轨迹复演。
在获取到旋转偏移信息之后,可以根据旋转偏移信息对可移动平台的位姿进行调整,有效地保证了可移动平台根据预设轨迹进行复演的稳定可靠性。
图11为本发明实施例提供的获取可移动平台移动时经过的多个标记位置的流程示意图一;在上述任意一个实施例的基础上,继续参考附图11所示,本实施例对于多个标记位置的具体获取方式不做限定,本领域技术人员可以根据具体的应用需求和设计需求进行设置,一种可实现的方式,本实施例中的获取可移动平台移动时经过的标记位置可以包括:
S1011:获取位置间隔信息。
S1012:根据位置间隔信息获取可移动平台移动时经过的标记位置。
其中,位置间隔信息可以是预先设置的,不同的应用场景和作业需求可以对应有不同的位置间隔信息,在获取到位置间隔信息之后,可以根据间隔位姿信息确定可移动平台移动时经过的一个或多个标记位置。举例来说:可移动平台由A点移动到B点时,A点与B点之间的距离信息为200米,而位置间隔信息为50米,此时,在可移动平台由A点移动到B点时,可以记录标记位置如下:A点、A1点、A2点、A3点和B点,其中,相邻的两个标记位置之间的间隔距离即为位置间隔信息。
本实施例中,通过获取位置间隔信息,而后根据位置间隔信息获取可移动平台移动时经过的一个或多个标记位置,这样不仅有效地保证了一个或多个标记位置获取的准确可靠性,并且也能够保证预设轨迹形成的稳定可靠性。
另外,参考附图12所示,另一种可实现获取可移动平台移动时经过的标记位置的方式可以包括:
S1013:获取设于可移动平台的拍摄装置的位姿偏移信息。
S1014:在位姿偏移信息大于或等于预设阈值时,在预设轨迹上获取与位姿偏移信息相对应的标记位置。
其中,可移动平台上的拍摄装置可以用于获取标记图像,针对拍摄装置,可以通过惯性测量单元获取位于可移动平台上的拍摄装置的当前位姿信息,该当前位姿信息可以包括当前位置信息和当前姿态信息;通过当前位姿信息与前一时刻的位姿信息进行比较,可以确定拍摄装置的位姿偏移信息,在获取到位姿偏移信息之后,可以将位姿偏移信息与预设阈值进行分析比较,在位姿偏移信息大于或等于预设阈值时,说明此时的拍摄装置的位姿发生了大的偏移,此时,可以在预设轨迹上获取与位姿偏移信息相对应的标记位置,从而可以保证标记位置获取的准确可靠性。
本实施例中,通过获取位于可移动平台上的拍摄装置的位姿偏移信息,通过位姿偏移信息识别拍摄装置的位姿是否发生大的偏移,在拍摄装置的位姿发生了大的偏移,则记录该位姿偏移信息相对应的标记位置,这样不仅保证了标记位置获取的准确可靠性,从而便于实现对轨迹进行复演操作。
此外,参考附图13所示,又一种可实现获取可移动平台移动时经过的标记位置的方式可以包括:
S1015:获取预设特征点个数。
S1016:根据预设特征点个数获取可移动平台移动时经过的多个标记位置。
其中,预设特征点个数可以是预先设置的,不同的应用场景和作业需求可以对应有不同的预设特征点个数,在获取到预设特征点个数之后,可以根据预设特征点个数获取可移动平台移动时经过的多个标记位置。举例来说:可移动平台由A点移动到B点时,A点与B点之间的预设特征点个数为5个,此时,在可移动平台由A点移动到B点的过程中,可以根据预设特征点个数来确定多个标记位置,多个标记位置可以包括位于A点和B点之间的A1点、A2点、A3点,此时所获取的标记位置总数为5个。当然的,本领域技术人员也可以根据预设特征点个数获取可移动平台移动时经过的其他个数的标记位置,例如,标记位置的个数为6个或者7个等等,较为优选的,标记位置的个数大于或等于预设特征点个数即可,这样可以有效地保证预设轨迹确定的准确可靠性。
本实施例中,通过获取预设特征点个数,而后根据预设特征点个数获取可移动平台移动时经过的多个标记位置,这样不仅有效地保证了多个标记位置获取的准确可靠性,并且也能够保证预设轨迹形成的稳定可靠性。
另外,参考附图14所示,另一种可实现获取可移动平台移动时经过的标记位置的方式可以包括:
S1017:获取设于可移动平台的拍摄装置的动作信息。
S1018:在动作信息为拍摄动作时,获取可移动平台移动时经过的标记位置。
其中,拍摄装置的动作信息可以包括拍摄动作和待拍摄动作,在拍摄装置的动作信息为拍摄动作时,说明此时的拍摄装置正在进行拍摄操作;在拍摄装置的动作信息为待拍摄动作时,说明此时的拍摄装置未进行拍摄操作。在获取到拍摄装置的动作信息之后,可以对拍摄装置的动作信息进行分析识别,在拍摄装置的动作信息为拍摄动作时,可以获取可移动平台移动时经过的多个标记位置。当然的,本领域技术人员也可以根据具体的应用需求来设置其他相类似的实现方式,例如:获取位于可移动平台的拍摄装置的拍摄时长信息,在拍摄时长超过预设时间阈值时,可以获取可移动钢平台移动时经过的标记位置等等,在此不再赘述。
本实施例中,通过获取设于可移动平台的拍摄装置的动作信息,在动作信息为拍摄动作时,获取可移动平台移动时经过的多个标记位置;这样不仅保证了标记位置获取的准确可靠性,并且通过所记录的标记位置也便于实现对轨迹进行复演操作,进一步提高了轨迹复演的稳定可靠性。
具体应用时,参考附图15所示,本应用实施例提供了一种轨迹复演方法,该方法能够自动检测匹配拍摄轨迹,在拍摄轨迹发生微小变化时,能够通过之前拍摄的样片来进行图像匹配,寻找目标对齐机位朝向,并支持在此基础上的镜头调整,从而让整个复拍/巡检过程更加流畅快捷,让操作者更加专注于镜头本身。具体的,该方法包括:
step1:记录锚点信息。
其中,锚点信息即为上述实施例中的标记位置,在可移动平台进行移动时,可以记录锚点信息,此时,可移动平台的拍摄轨迹可以根据锚点信息来实现;或者,在可移动平台根据拍摄轨迹进行移动时,并记录拍摄轨迹上的锚点信息。在拍摄轨迹上,可以以预设标识符标记出锚点信息,如图2所示,以三角形来标记出位于拍摄轨迹上的锚点信息;在记录锚点信息的同时,也可以记录与锚点信息相对应的执行动作。
具体的,在记录位于拍摄轨迹上的锚点信息时,可以通过以下至少之一的方式来确定锚点信息:
(a)每隔一段固定位移,确定一锚点信息;
(b)位于可移动平台上的拍摄装置发生大的偏移时,例如:拍摄装置的位置和姿态发生大的移动,在记录拍摄轨迹上的锚点信息;
(c)针对拍摄轨迹的预设特征点的数量小于阈值,则可以增加位于拍摄轨迹上的锚点位置。
(d)位于可移动平台上的拍摄装置拍摄图像时,则记录拍摄轨迹上的锚点信息。
step2:记录与锚点相对应的执行动作信息。
在锚点执行动作时,可以记录与锚点相对应的执行动作信息,以便实现复演操作,具体的,记录执行动作信息可以包括以下至少之一:
(a)记录锚点的GPS位置。
(b)利用现有技术中的三角化算法来计算预设特征点的3D位置。
(c)计算深度图,具体的,可以利用激光点云获得,或者,也可以通过视觉双目摄像装置获取,例如,双目摄像装置包括位于左侧的第一摄像头和位于右侧的第二摄像头,第一摄像头拍摄的图像与第二摄像头拍摄的图像之间有拍摄角度的差异,从而可以获得深度图,该深度图可以用于获取每个点的三维信息。
(d)如果该锚点执行了拍摄,则记录云台旋转角以及拍摄的图像A。
step3:根据拍摄轨迹进行复演航行,修正全球定位系统GPS。
复演航行时,朝锚点的GPS位置飞行,但是由于GPS有偏差。这时可以利用计算机视觉算法来修正拍摄轨迹的偏差,具体包括以下步骤:
(a)将当前的图像提取特征点;
其中,当前的图像即为在无人机根据拍摄轨迹进行作业时,拍摄装置所能拍摄到的图像,在获取到当前的图像之后,可以利用特征点提取算法对图像进行处理,从而可以获得特征点。
(b)和锚点中已知3D位置的预设特征点进行分析匹配;
(c)利用带RANSAC的PnP算法计算当前理论位姿
Figure BDA0002932623730000164
实现了视觉重定位的过程。
具体的,可以利用PnP算法对当前图像中的特征点和预设特征点进行计算,获得当前图像所对应的当前理论位姿
Figure BDA0002932623730000165
当前理论位姿包括位置信息和姿态信息。
(d)根据视觉重定位的位置和锚点的位置计算位置偏移信息,具体的,在进行复演航行的过程中,可以直接观测得到的当前位姿为
Figure BDA0002932623730000166
利用以下公式可以获取到偏移信息:
Figure BDA0002932623730000161
其中,offsettranslation为偏移信息,
Figure BDA0002932623730000162
为当前位姿,/>
Figure BDA0002932623730000163
为当前理论位姿。
(e)根据偏移信息对可移动平台的姿态进行调整,以将可移动平台控回预设的拍摄拍摄轨迹,如图2所示。
step4:在锚点进行拍摄,精修位姿,并旋转云台。
具体的,若拍摄轨迹在锚点位置处进行了拍摄操作,在可移动平台进行轨迹复演时,为了保证复演动作的准确程度,则需要对拍摄装置进行精修位姿处理,并旋转云台以实现通过拍摄装置进行拍摄操作。
(a)精修位姿。
使用ICP算法,将预先记录的预设特征点的深度信息和当前特征点进行匹配,根据匹配结果可知,在记录预设特征点的深度图时,当前拍摄装置的位姿信息所对应的位姿偏移信息,通过位姿偏移信息对拍摄装置的位姿进行调整,以实现对拍摄装置的位姿进行精确调整的效果,进而保证了拍摄装置所获得的图像的准确程度。
(b)旋转云台
先根据锚点记录的云台旋转角旋转云台,拍摄并得到图像B,将预先记录的图像A与图像B的特征点进行匹配,并建立方程如下:
X`=HX;
其中,X`为位于图像B上的特征点,X为位于图像A上的特征点,H为关系矩阵,通过上述公式可以获得关系矩阵H。而后利用以下公式可以获得旋转矩阵:
H=KRK-1
其中,K为相机内参,R为旋转矩阵,H为关系矩阵,通过上述公式可以获得R的特征根为{μ,μe,μe-iθ},θ为旋转角度,实数的特征值对应的特征向量是旋转轴。通过上述的旋转角和旋转轴,即可得到旋转偏移信息R offset,而后可以根据旋转偏移信息旋转云台,在对云台进行调整完毕之后,可以利用云台上的拍摄装置进行拍摄操作,即可获得拍摄图像A’,从而实现了对拍摄轨迹进行复演航行的操作。
本应用实施例提供了一种能够根据拍摄轨迹自动复拍构图、并能记忆调整机位的方法,可以使得复拍过程更加流畅快速,保证了轨迹复演的质量和效率;并且,减少了操作者的操作步骤,让操作者可以更加专注于镜头本身,进而有效地降低了轨迹复演的困难程度,保证了该方法的实用性,有利于市场的推广与应用。
图16为本发明实施例提供的一种轨迹复演系统的结构示意图;参考附图16所示,本实施例提供了一种轨迹复演系统,该轨迹复演系统可以执行上述的轨迹复演方法,具体的,该轨迹复演系统包括:
存储器12,用于存储计算机程序;
处理器11,用于运行存储器12中存储的计算机程序以实现:
获取可移动平台移动时经过的标记位置和标记图像,标记图像包括可移动平台根据标记位置获取的图像;
根据标记位置生成用于供可移动平台进行移动的预设轨迹;
在可移动平台根据预设轨迹移动的过程中,获取与标记位置相对应的当前显示图像,和可移动平台的当前位姿信息,其中,当前显示图像包括可移动平台当前根据标记位置获取的图像;
根据所述当前显示图像、所述标记图像和所述当前位姿信息,对所述可移动平台的位姿进行调整,以使所述可移动平台根据所述预设轨迹复演。
其中,该轨迹复演系统还可以包括通信接口13,用于电子设备与其他设备或通信网络通信。
在一个实施例中,在处理器11根据所述当前显示图像、所述标记图像和所述当前位姿信息,对所述可移动平台的位姿进行调整,以使所述可移动平台根据所述预设轨迹复演时,处理器11还用于:根据当前显示图像、标记图像和当前位姿信息确定与标记位置相对应的位姿偏移信息;根据位姿偏移信息对可移动平台的位姿进行调整,以使可移动平台根据预设轨迹复演。
在一个实施例中,在获取可移动平台移动时经过的标记位置之后,处理器11还用于:
获取与标记位置相对应的标记信息,标记信息包括以下至少一种:预设特征点的3D信息、全局3D信息、云台旋转信息、拍摄装置的位姿信息。
在一个实施例中,在处理器11根据当前显示图像、标记图像和当前位姿信息确定与标记位置相对应的位姿偏移信息时,处理器11还用于:获取位于标记图像中的标记特征点和位于当前显示图像中与标记特征点相对应的当前特征点;根据标记特征点与当前特征点,确定与标记位置相对应的位置偏移信息。
在一个实施例中,在处理器11根据当前显示图像、标记图像和当前位姿信息确定与标记位置相对应的位姿偏移信息时,处理器11还用于:根据当前显示图像和标记图像确定与当前显示图像相对应的预估位姿信息;根据预估位姿信息和当前位姿信息确定可移动平台的位姿偏移信息。
在一个实施例中,在处理器11根据当前显示图像和标记图像确定与当前显示图像相对应的预估位姿信息时,处理器11还用于:利用透视点PnP算法对当前显示图像和标记图像进行分析处理,获得与当前显示图像相对应的预估位姿信息。
在一个实施例中,在处理器11根据预估位姿信息和当前位姿信息确定可移动平台的位姿偏移信息时,处理器11还用于:获取与预估位姿信息相对应的逆矩阵信息;将逆矩阵信息与当前位姿信息的和值确定为可移动平台的位姿偏移信息。
在一个实施例中,可移动平台包括拍摄装置,拍摄装置用于获取标记图像;处理器11还用于:在可移动平台根据预设轨迹移动的过程中,当可移动平台位于标记位置时,获取拍摄装置在标记位置处的当前3D信息;根据预设特征点的3D信息和/或全局3D信息,和当前3D信息,确定与拍摄装置相对应的位姿偏移信息;根据位姿偏移信息对拍摄装置的位姿进行调整。
在一个实施例中,可移动平台还包括用于承载拍摄装置的云台;处理器11还用于:根据云台旋转信息,将云台的位姿调整至调整后位姿;当云台的位姿处于调整后位姿时,通过拍摄装置获取与标记位置相对应的目标图像,目标图像与标记图像相对应;根据目标图像与标记图像,对可移动平台的位姿进行调整,以使可移动平台根据预设轨迹复演。
在一个实施例中,在处理器11根据目标图像与标记图像,对可移动平台的位姿进行调整时,处理器11还用于:根据目标图像和标记图像确定旋转偏移信息;根据旋转偏移信息对可移动平台的位姿进行调整,以使可移动平台根据预设轨迹复演。
在一个实施例中,在处理器11根据目标图像和标记图像确定旋转偏移信息时,处理器11还用于:根据标记图像和目标图像,获得特征点关系信息;根据特征点关系信息确定旋转偏移信息。
在一个实施例中,在处理器11根据特征点关系信息确定旋转偏移信息时,处理器11还用于:获取与拍摄装置相对应的相机内参;根据相机内参和特征点关系信息确定旋转偏移信息。
在一个实施例中,旋转偏移信息包括旋转角偏移信息和旋转轴偏移信息。
在一个实施例中,在处理器11获取可移动平台移动时经过的标记位置时,处理器11还用于:获取位置间隔信息;根据位置间隔信息获取可移动平台移动时经过的标记位置。
在一个实施例中,在处理器11获取可移动平台移动时经过的标记位置时,处理器11还用于:获取设于可移动平台的拍摄装置的位姿偏移信息;在位姿偏移信息大于或等于预设阈值时,在预设轨迹上获取与位姿偏移信息相对应的标记位置。
在一个实施例中,在处理器11获取可移动平台移动时经过的标记位置时,处理器11还用于:获取预设特征点个数;根据预设特征点个数获取可移动平台移动时经过的标记位置。
在一个实施例中,在处理器11获取可移动平台移动时经过的标记位置时,处理器11还用于:获取设于可移动平台的拍摄装置的动作信息;在动作信息为拍摄动作时,获取可移动平台移动时经过的标记位置。
在一个实施例中,标记位置为至少一个。
在一个实施例中,标记图像包括可移动平台根据每一标记位置获取的至少一个图像。
在一个实施例中,可移动平台包括以下至少之一:无人机、无人船、无人车、手持云台。
图16所示的轨迹复演系统可以执行图1-图15所示实施例的方法,本实施例未详细描述的部分,可参考对图1-图15所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-图15所示实施例中的描述,在此不再赘述。
另外,本发明实施例提供了一种计算机可读存储介质,存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,程序指令用于实现上述图1-图15的轨迹复演方法。
图17为本发明实施例提供的一种可移动平台的结构示意图;参考附图17所示,本实施例提供了一种可移动平台,其中,可移动平台包括以下至少之一:无人机、无人船、无人车、手持云台;具体的,该可移动平台包括:
机身21;
上述图16中的轨迹复演系统22,轨迹复演系统22设置于机身21上。
图17所示的可移动平台的具体实现原理、实现方式和实现效果与上述图16中轨迹复演系统的具体实现原理、实现方式和实现效果相类似,具体可参考上述陈述内容,在此不再赘述。
以上各个实施例中的技术方案、技术特征在与本相冲突的情况下均可以单独,或者进行组合,只要未超出本领域技术人员的认知范围,均属于本申请保护范围内的等同实施例。
在本发明所提供的几个实施例中,应该理解到,所揭露的相关遥控装置和方法,可以通过其它的方式实现。例如,以上所描述的遥控装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,遥控装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得计算机处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁盘或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (42)

1.一种轨迹复演方法,其特征在于,可移动平台包括云台,和承载于所述云台的拍摄装置,所述方法包括:
获取可移动平台移动时经过的标记位置和标记图像,所述标记图像包括所述可移动平台根据所述标记位置获取的图像;
获取与所述标记位置相对应的标记信息,所述标记信息包括云台旋转信息;
根据所述标记位置生成用于供可移动平台进行移动的预设轨迹;
在所述可移动平台根据所述预设轨迹移动的过程中,获取与所述标记位置相对应的当前显示图像,和所述可移动平台的当前位姿信息,其中,所述当前显示图像包括所述可移动平台当前根据所述标记位置获取的图像;
根据所述当前显示图像、所述标记图像和所述当前位姿信息,对所述可移动平台的位姿进行调整,以使所述可移动平台根据所述预设轨迹复演;
根据所述云台旋转信息,将所述云台的位姿调整至调整后位姿;
当所述云台的位姿处于所述调整后位姿时,通过所述拍摄装置获取与所述标记位置相对应的目标图像,所述目标图像与标记图像相对应;
根据所述目标图像与所述标记图像,对所述云台位姿进行调整,并通过所述拍摄装置获取拍摄图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述当前显示图像、所述标记图像和所述当前位姿信息,对所述可移动平台的位姿进行调整,以使所述可移动平台根据所述预设轨迹复演,包括:
根据所述当前显示图像、标记图像和当前位姿信息确定与所述标记位置相对应的位姿偏移信息;
根据所述位姿偏移信息对所述可移动平台的位姿进行调整,以使所述可移动平台根据所述预设轨迹复演。
3.根据权利要求2所述的方法,其特征在于,所述根据所述当前显示图像、标记图像和当前位姿信息确定与所述标记位置相对应的位姿偏移信息,包括:
获取位于所述标记图像中的标记特征点和位于所述当前显示图像中与标记特征点相对应的当前特征点;
根据所述标记特征点与所述当前特征点,确定与所述标记位置相对应的位置偏移信息。
4.根据权利要求2所述的方法,其特征在于,所述根据所述当前显示图像、标记图像和当前位姿信息确定与所述标记位置相对应的位姿偏移信息,包括:
根据所述当前显示图像和标记图像确定与所述当前显示图像相对应的预估位姿信息;
根据所述预估位姿信息和当前位姿信息确定所述可移动平台的位姿偏移信息。
5.根据权利要求4所述的方法,其特征在于,所述根据所述当前显示图像和标记图像确定与所述当前显示图像相对应的预估位姿信息,包括:
利用透视点PnP算法对所述当前显示图像和标记图像进行分析处理,获得与所述当前显示图像相对应的预估位姿信息。
6.根据权利要求4所述的方法,其特征在于,所述根据所述预估位姿信息和当前位姿信息确定所述可移动平台的位姿偏移信息,包括:
获取与所述预估位姿信息相对应的逆矩阵信息;
将所述逆矩阵信息与所述当前位姿信息的和值确定为所述可移动平台的位姿偏移信息。
7.根据权利要求2所述的方法,其特征在于,所述拍摄装置用于获取标记图像;所述方法包括:
在所述可移动平台根据所述预设轨迹移动的过程中,当所述可移动平台位于所述标记位置时,获取所述拍摄装置在标记位置处的当前3D信息;
根据预设特征点的3D信息和/或全局3D信息,和所述当前3D信息,确定与所述拍摄装置相对应的位姿偏移信息;
根据所述位姿偏移信息对所述拍摄装置的位姿进行调整。
8.根据权利要求2所述的方法,其特征在于,所述方法还包括:
根据所述目标图像与所述标记图像,对所述可移动平台的位姿进行调整,以使所述可移动平台根据所述预设轨迹复演。
9.根据权利要求8所述的方法,其特征在于,所述根据所述目标图像与所述标记图像,对所述可移动平台的位姿进行调整,包括:
根据所述目标图像和标记图像确定旋转偏移信息;
根据所述旋转偏移信息对所述可移动平台的位姿进行调整,以使所述可移动平台根据所述预设轨迹复演。
10.根据权利要求9所述的方法,其特征在于,所述根据所述目标图像和标记图像确定旋转偏移信息,包括:
根据所述标记图像和所述目标图像,获得特征点关系信息;
根据所述特征点关系信息确定所述旋转偏移信息。
11.根据权利要求10所述的方法,其特征在于,根据所述特征点关系信息确定所述旋转偏移信息,包括:
获取与所述拍摄装置相对应的相机内参;
根据所述相机内参和特征点关系信息确定所述旋转偏移信息。
12.根据权利要求9所述的方法,其特征在于,所述旋转偏移信息包括旋转角偏移信息和旋转轴偏移信息。
13.根据权利要求1-12中任意一项所述的方法,其特征在于,获取可移动平台移动时经过的标记位置,包括:
获取位置间隔信息;
根据所述位置间隔信息获取可移动平台移动时经过的标记位置。
14.根据权利要求1-12中任意一项所述的方法,其特征在于,获取可移动平台移动时经过的标记位置,包括:
获取设于可移动平台的拍摄装置的位姿偏移信息;
在所述位姿偏移信息大于或等于预设阈值时,在所述预设轨迹上获取与所述位姿偏移信息相对应的标记位置。
15.根据权利要求1-12中任意一项所述的方法,其特征在于,获取可移动平台移动时经过的标记位置,包括:
获取预设特征点个数;
根据所述预设特征点个数获取可移动平台移动时经过的标记位置。
16.根据权利要求1-12中任意一项所述的方法,其特征在于,获取可移动平台移动时经过的标记位置,包括:
获取设于可移动平台的拍摄装置的动作信息;
在所述动作信息为拍摄动作时,获取可移动平台移动时经过的标记位置。
17.根据权利要求1-12中任意一项所述的方法,其特征在于,
所述可移动平台包括以下至少之一:无人机、无人船、无人车、手持云台。
18.根据权利要求1-12中任意一项所述的方法,其特征在于,
所述标记位置为至少一个。
19.根据权利要求1-12中任意一项所述的方法,其特征在于,
所述标记图像包括所述可移动平台根据每一所述标记位置获取的至少一个图像。
20.根据权利要求1-12中任意一项所述的方法,其特征在于,在获取可移动平台移动时经过的标记位置之后,所述方法还包括:获取与所述标记位置相对应的标记信息,所述标记信息包括以下至少一种:预设特征点的3D信息、全局3D信息、云台旋转信息、拍摄装置的位姿信息。
21.一种轨迹复演系统,其特征在于,可移动平台包括云台,和承载于所述云台的拍摄装置,所述系统包括:
存储器,用于存储计算机程序;
处理器,用于运行所述存储器中存储的计算机程序以实现:
获取可移动平台移动时经过的标记位置和标记图像,所述标记图像包括所述可移动平台根据所述标记位置获取的图像;
获取与所述标记位置相对应的标记信息,所述标记信息包括云台旋转信息;
根据所述标记位置生成用于供可移动平台进行移动的预设轨迹;
在所述可移动平台根据所述预设轨迹移动的过程中,获取与所述标记位置相对应的当前显示图像,和所述可移动平台的当前位姿信息,其中,所述当前显示图像包括所述可移动平台当前根据所述标记位置获取的图像;
根据所述当前显示图像、所述标记图像和所述当前位姿信息,对所述可移动平台的位姿进行调整,以使所述可移动平台根据所述预设轨迹复演;
根据所述云台旋转信息,将所述云台的位姿调整至调整后位姿;
当所述云台的位姿处于所述调整后位姿时,通过所述拍摄装置获取与所述标记位置相对应的目标图像,所述目标图像与标记图像相对应;
根据所述目标图像与所述标记图像,对所述云台位姿进行调整,并通过所述拍摄装置获取拍摄图像。
22.根据权利要求21所述的系统,其特征在于,在所述处理器根据所述当前显示图像、所述标记图像和所述当前位姿信息,对所述可移动平台的位姿进行调整,以使所述可移动平台根据所述预设轨迹复演时,所述处理器还用于:
根据所述当前显示图像、标记图像和当前位姿信息确定与所述标记位置相对应的位姿偏移信息;
根据所述位姿偏移信息对所述可移动平台的位姿进行调整,以使所述可移动平台根据所述预设轨迹复演。
23.根据权利要求22所述的系统,其特征在于,在所述处理器根据所述当前显示图像、标记图像和当前位姿信息确定与所述标记位置相对应的位姿偏移信息时,所述处理器还用于:
获取位于所述标记图像中的标记特征点和位于所述当前显示图像中与标记特征点相对应的当前特征点;
根据所述标记特征点与所述当前特征点,确定与所述标记位置相对应的位置偏移信息。
24.根据权利要求22所述的系统,其特征在于,在所述处理器根据所述当前显示图像、标记图像和当前位姿信息确定与所述标记位置相对应的位姿偏移信息时,所述处理器还用于:
根据所述当前显示图像和标记图像确定与所述当前显示图像相对应的预估位姿信息;
根据所述预估位姿信息和当前位姿信息确定所述可移动平台的位姿偏移信息。
25.根据权利要求24所述的系统,其特征在于,在所述处理器根据所述当前显示图像和标记图像确定与所述当前显示图像相对应的预估位姿信息时,所述处理器还用于:
利用透视点PnP算法对所述当前显示图像和标记图像进行分析处理,获得与所述当前显示图像相对应的预估位姿信息。
26.根据权利要求24所述的系统,其特征在于,在所述处理器根据所述预估位姿信息和当前位姿信息确定所述可移动平台的位姿偏移信息时,所述处理器还用于:
获取与所述预估位姿信息相对应的逆矩阵信息;
将所述逆矩阵信息与所述当前位姿信息的和值确定为所述可移动平台的位姿偏移信息。
27.根据权利要求22所述的系统,其特征在于,所述拍摄装置用于获取标记图像;所述处理器还用于:
在所述可移动平台根据所述预设轨迹移动的过程中,当所述可移动平台位于所述标记位置时,获取拍摄装置在所述标记位置处的当前3D信息;
根据预设特征点的3D信息和/或全局3D信息,和所述当前3D信息,确定与所述拍摄装置相对应的位姿偏移信息;
根据所述位姿偏移信息对所述拍摄装置的位姿进行调整。
28.根据权利要求22所述的系统,其特征在于,所述处理器还用于:
根据所述目标图像与所述标记图像,对所述可移动平台的位姿进行调整,以使所述可移动平台根据所述预设轨迹复演。
29.根据权利要求28所述的系统,其特征在于,在所述处理器根据所述目标图像与所述标记图像,对所述可移动平台的位姿进行调整时,所述处理器还用于:
根据所述目标图像和标记图像确定旋转偏移信息;
根据所述旋转偏移信息对所述可移动平台的位姿进行调整,以使所述可移动平台根据所述预设轨迹复演。
30.根据权利要求29所述的系统,其特征在于,在所述处理器根据所述目标图像和标记图像确定旋转偏移信息时,所述处理器还用于:
根据所述标记图像和所述目标图像,获得特征点关系信息;
根据所述特征点关系信息确定所述旋转偏移信息。
31.根据权利要求30所述的系统,其特征在于,在所述处理器根据所述特征点关系信息确定所述旋转偏移信息时,所述处理器还用于:
获取与所述拍摄装置相对应的相机内参;
根据所述相机内参和特征点关系信息确定所述旋转偏移信息。
32.根据权利要求29所述的系统,其特征在于,所述旋转偏移信息包括旋转角偏移信息和旋转轴偏移信息。
33.根据权利要求21-29中任意一项所述的系统,其特征在于,在所述处理器获取可移动平台移动时经过的标记位置时,所述处理器还用于:
获取位置间隔信息;
根据所述位置间隔信息获取可移动平台移动时经过的标记位置。
34.根据权利要求21-29中任意一项所述的系统,其特征在于,在所述处理器获取可移动平台移动时经过的标记位置时,所述处理器还用于:
获取设于可移动平台的拍摄装置的位姿偏移信息;
在所述位姿偏移信息大于或等于预设阈值时,在所述预设轨迹上获取与所述位姿偏移信息相对应的标记位置。
35.根据权利要求21-29中任意一项所述的系统,其特征在于,在所述处理器获取可移动平台移动时经过的标记位置时,所述处理器还用于:
获取预设特征点个数;
根据所述预设特征点个数获取可移动平台移动时经过的标记位置。
36.根据权利要求21-29中任意一项所述的系统,其特征在于,在所述处理器获取可移动平台移动时经过的标记位置时,所述处理器还用于:
获取设于可移动平台的拍摄装置的动作信息;
在所述动作信息为拍摄动作时,获取可移动平台移动时经过的标记位置。
37.根据权利要求21-29中任意一项所述的系统,其特征在于,所述可移动平台包括以下至少之一:
无人机、无人船、无人车、手持云台。
38.根据权利要求21-29中任意一项所述的系统,其特征在于,
所述标记位置为至少一个。
39.根据权利要求21-29中任意一项所述的系统,其特征在于,
所述标记图像包括所述可移动平台根据每一所述标记位置获取的至少一个图像。
40.根据权利要求21-29中任意一项所述的系统,其特征在于,在获取可移动平台移动时经过的标记位置之后,所述处理器还用于:
获取与所述标记位置相对应的标记信息,所述标记信息包括以下至少一种:预设特征点的3D信息、全局3D信息、云台旋转信息、拍摄装置的位姿信息。
41.一种可移动平台,其特征在于,包括:
机身;
权利要求21-40中任意一项所述的轨迹复演系统,所述轨迹复演系统设置于所述机身上。
42.一种计算机可读存储介质,其特征在于,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于实现权利要求1-20中任意一项所述的轨迹复演方法。
CN201980051940.4A 2019-11-29 2019-11-29 轨迹复演方法、系统、可移动平台和存储介质 Active CN112585956B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/121989 WO2021102914A1 (zh) 2019-11-29 2019-11-29 轨迹复演方法、系统、可移动平台和存储介质

Publications (2)

Publication Number Publication Date
CN112585956A CN112585956A (zh) 2021-03-30
CN112585956B true CN112585956B (zh) 2023-05-19

Family

ID=75117153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980051940.4A Active CN112585956B (zh) 2019-11-29 2019-11-29 轨迹复演方法、系统、可移动平台和存储介质

Country Status (2)

Country Link
CN (1) CN112585956B (zh)
WO (1) WO2021102914A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113329179B (zh) * 2021-05-31 2023-04-07 维沃移动通信有限公司 拍摄对位方法、装置、设备及存储介质
CN113744317B (zh) * 2021-09-13 2024-03-15 浙江大学湖州研究院 一种非结构路面下只依赖点云的阿克曼底盘轨迹生成方法
CN117896621B (zh) * 2024-03-14 2024-05-14 深圳市浩瀚卓越科技有限公司 云台的拍摄轨迹记录方法、装置、设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015180133A1 (zh) * 2014-05-30 2015-12-03 深圳市大疆创新科技有限公司 无人机的航向生成方法和系统
WO2018023492A1 (zh) * 2016-08-03 2018-02-08 深圳市大疆灵眸科技有限公司 一种云台控制方法及系统
CN106940568A (zh) * 2017-05-22 2017-07-11 四川宝天智控系统有限公司 飞行控制系统及方法
CN108513642B (zh) * 2017-07-31 2021-08-27 深圳市大疆创新科技有限公司 一种图像处理方法、无人机、地面控制台及其图像处理系统
CN108335329B (zh) * 2017-12-06 2021-09-10 腾讯科技(深圳)有限公司 应用于飞行器中的位置检测方法和装置、飞行器
WO2019127052A1 (zh) * 2017-12-26 2019-07-04 深圳市大疆创新科技有限公司 一种飞行轨迹原路复演方法及飞行器
CN110555883B (zh) * 2018-04-27 2022-07-22 腾讯科技(深圳)有限公司 相机姿态追踪过程的重定位方法、装置及存储介质

Also Published As

Publication number Publication date
CN112585956A (zh) 2021-03-30
WO2021102914A1 (zh) 2021-06-03

Similar Documents

Publication Publication Date Title
CN112585956B (zh) 轨迹复演方法、系统、可移动平台和存储介质
CN108955718B (zh) 一种视觉里程计及其定位方法、机器人以及存储介质
CN107329490B (zh) 无人机避障方法及无人机
JP6124384B2 (ja) 無人機の進行方向の作成方法、システム、及びプログラム
CN105424006B (zh) 基于双目视觉的无人机悬停精度测量方法
WO2019113966A1 (zh) 一种避障方法、装置和无人机
CN110799921A (zh) 拍摄方法、装置和无人机
CN106027887B (zh) 针对旋镜云台的枪球联动控制的方法、装置及电子设备
WO2020063059A1 (zh) 一种可动视觉系统的立体标定方法
EP3972235A1 (en) Focusing method and apparatus, aerial photography camera, and unmanned aerial vehicle
CN110245641A (zh) 一种目标追踪拍摄方法、装置、电子设备
WO2020063058A1 (zh) 一种多自由度可动视觉系统的标定方法
CN114281100B (zh) 一种不悬停无人机巡检系统及其方法
WO2020136632A1 (en) A compact interval sweeping imaging system and method
WO2019205087A1 (zh) 图像增稳方法和装置
CN106871900A (zh) 船舶磁场动态检测中图像匹配定位方法
Feng et al. 6d dynamic camera relocalization from single reference image
CN108897345A (zh) 一种控制无人车摄像头旋转的方法及系统
TWI726536B (zh) 影像擷取方法及影像擷取設備
CN107492124A (zh) 鱼眼摄像头的平面标定装置
CN114170376B (zh) 一种针对室外大场景的多源信息融合分组式运动恢复结构方法
US10663258B2 (en) Gunnery control system and gunnery control method using the same
KR20200058079A (ko) 3차원 모델링 및 정사영상을 생성하기 위한 항공 촬영 장치 및 방법
JP6861592B2 (ja) データ間引き装置、測量装置、測量システム及びデータ間引き方法
JP6260803B2 (ja) 撮像システム、移動体、撮像方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant