CN113906358B - 可移动平台的控制方法、装置及控制系统 - Google Patents

可移动平台的控制方法、装置及控制系统 Download PDF

Info

Publication number
CN113906358B
CN113906358B CN202080039572.4A CN202080039572A CN113906358B CN 113906358 B CN113906358 B CN 113906358B CN 202080039572 A CN202080039572 A CN 202080039572A CN 113906358 B CN113906358 B CN 113906358B
Authority
CN
China
Prior art keywords
target
target object
orientation
movable platform
interactive interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080039572.4A
Other languages
English (en)
Other versions
CN113906358A (zh
Inventor
梁家斌
田艺
黎莹莹
李亚梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to CN202310252255.6A priority Critical patent/CN116360406A/zh
Publication of CN113906358A publication Critical patent/CN113906358A/zh
Application granted granted Critical
Publication of CN113906358B publication Critical patent/CN113906358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0044Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10Simultaneous control of position or course in three dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469Contour-based spatial representations, e.g. vector-coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

一种可移动平台控制方法、装置、可移动平台及控制系统。所述方法包括:获取用户在交互界面输入的目标对象选择操作,所述交互界面展示有作业区域的三维模型,所述目标对象选择操作用于确定所述作业区域中的目标对象的位置;根据获取所述目标对象选择操作时所述交互界面展示的所述三维模型的朝向,确定对所述目标对象进行作业时的目标朝向;根据所述目标对象的位置、所述目标朝向以及可移动平台的作业距离确定所述可移动平台对所述目标对象进行作业时的目标位置,以使所述可移动平台移动至所述目标位置并按照所述目标朝向对所述目标对象进行作业。用户可以通过交互界面展示的三维模型直观地确定可移动平台作业时的朝向,并且根据作业距离和作业时的朝向确定作业时的位置,可以准确控制作业距离,并且十分方便快捷。

Description

可移动平台的控制方法、装置及控制系统
技术领域
本申请涉及人机交互技术领域,具体而言,涉及一种可移动平台的控制方法、装置及控制系统。
背景技术
很多领域都需要对无人机、无人车、智能机器人等可移动平台进行精细化控制,以执行特定的作业任务。比如,在采用无人机进行巡检的场景,通常需要控制无人机在特定的位置按照特定的角度对电力绝缘子、大坝等作业对象进行拍摄,在采用机械臂进行果实采摘等场景,也需要控制机械臂移动到特定位置和角度,才能完成果实的采摘。因此,有必要提供一种方便用户对可移动平台进行精细化控制的方案。
发明内容
有鉴于此,本申请提供一种可移动平台的控制方法、装置、可移动平台及控制系统。
根据本申请的第一方面,提供一种可移动平台的控制方法,所述方法包括:
获取用户在交互界面输入的目标对象选择操作,所述交互界面展示有作业区域的三维模型,所述目标对象选择操作用于确定所述作业区域中的目标对象的位置;
根据获取所述目标对象选择操作时所述交互界面展示的所述三维模型的朝向,确定对所述目标对象进行作业时的目标朝向;
根据所述目标对象的位置、所述目标朝向以及可移动平台的作业距离确定所述可移动平台对所述目标对象进行作业时的目标位置,以使所述可移动平台移动至所述目标位置并按照所述目标朝向对所述目标对象进行作业。
根据本申请的第二方面,提供一种可移动平台的控制装置,所述装置包括处理器、存储器、存储于所述存储器所述处理器可执行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取用户在交互界面输入的目标对象选择操作,所述交互界面展示有作业区域的三维模型,所述目标对象选择操作用于确定所述作业区域中的目标对象的位置;
根据获取所述目标对象选择操作时所述交互界面展示的所述三维模型的朝向,确定对所述目标对象进行作业时的目标朝向;
根据所述目标对象的位置、所述目标朝向以及可移动平台的作业距离确定所述可移动平台对所述目标对象进行作业时的目标位置,以使所述可移动平台移动至所述目标位置并按照所述目标朝向对所述目标对象进行作业。
根据本申请的第三方面,提供一种控制系统,其特征在于,所述控制系统包括可移动平台和控制终端,
所述控制终端用于获取用户在交互界面输入的目标对象选择操作,所述交互界面展示有作业区域的三维模型,所述目标对象选择操作用于确定所述作业区域中的目标对象的位置;
根据获取所述目标对象选择操作时所述交互界面展示的所述三维模型的朝向,确定对所述目标对象进行作业时的目标朝向;
根据所述目标对象的位置、所述目标朝向以及可移动平台的作业距离确定所述可移动平台对所述目标对象进行作业时的目标位置;
基于所述目标朝向和所述目标位置生成所述控制指令,并将所述控制指令发送给所述可移动平台;
所述可移动平台用于基于所述控制指令移动至目标位置并按照目标朝向对所述目标对象进行作业。
应用本申请提供的方案,用户可以根据交互界面展现的作业区域的三维模型的视觉效果,将三维模型调整至适合观测作业区域中的目标对象的朝向,以确定对目标对象进行作业时的目标朝向,通过浏览和调整交互界面的三维模型的方式确定目标朝向,用户可以比较直观的确定对目标对象进行作业时合适的朝向,无需通过不断输入角度多次调整作业时的朝向,比较方便快捷,同时可以通过确定的目标对象的位置、目标朝向和作业距离确定对目标对象进行作业时的目标位置,可以根据用户需求精确的控制作业距离,十分方便用户操作。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个实施例可移动平台的控制方法流程图。
图2是本申请一个实施例的虚拟相机从不同朝向拍摄三维物体得到的图像的示意图。
图3是本申请一个实施例的确定目标朝向的示意图。
图4是本申请一个实施例的确定目标位置的示意图。
图5是本申请一个实施例的确定目标对象的位置以及目标对象对应的目标区域的示意图。
图6是本申请一个实施例的调整操作的示意图。
图7是本申请一个实施例的第一调整操作的调整路径示例图。
图8是本申请一个实施例的第二调整操作的调整路径示意图。
图9是本申请一个实施例的交互界面的示意图。
图10是本申请一个实施例的应用场景的示意图。
图11是本申请一个实施例的可移动平台控制装置的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
无人机、无人车、智能机器人等可移动平台在很多领域广泛应用,比如使用无人机进行巡检、使用机械臂进行果实采摘或者使用无人机、无人车进行药物喷洒、浇灌等。在执行上述作业任务时,通常需要对可移动平台进行精细化的控制,比如控制可移动平台移动至特定的位置和角度,再对目标对象进行作业,才能达到较好的作业效果。相关技术中,在控制可移动平台进行作业时,要么采用人工手动操控可移动平台进行作业的方式,比如,根据用户的观测或者可移动平台返回的照片手动调整可移动平台的位置和朝向,但是这种方式每次作业都需要人工操控,比较耗费人力。也有的技术,可以通过用户在展示有作业区域的三维模型的交互界面上进行操作,确定可移动平台的作业时的位置和朝向并存储,然后按照存储的位置和朝向控制可移动平台进行作业,这种方式通过用户在三维模型中作业对象附近的位置点击确定作业时的位置,例如,先点击一个地面点,再在高度方向上拖拽一定的距离,然后需要用户自行输入可移动平台作业时的姿态角,并根据交互界面中的预览窗口显示的预览效果不断调整输入的角度,以确定最终作业时可移动平台的朝向。这种方式无法准确地控制可移动平台的作业距离,并且需要用户反复调整输入的角度,特别繁琐。
基于此,本申请提供了一种可移动平台的控制方法,用户可以在展示有作业区域的三维模型的交互界面上移动、旋转三维模型,根据适合观测作业区域中目标对象的视角调整三维模型的朝向,根据用户在交互界面输入的目标对象选择操作确定目标对象的位置,根据用户输入目标对象选择操作时三维模型的朝向确定对目标对象进行作业时的目标朝向,根据目标对象的位置、目标朝向以及作业距离确定可移动平台对目标对象作业时的目标位置。用户可以借助于交互界面的三维模型比较直观的确定适合可移动平台作业的朝向,无需用户通过多次输入角度来调整朝向,比较方便快捷,同时通过以目标对象为中心调整作业时的位置,可以准确地控制可移动平台的作业距离。
具体的,所述方法如图1所示,包括以下步骤:
S102、获取用户在交互界面输入的目标对象选择操作,所述交互界面展示有作业区域的三维模型,所述目标对象选择操作用于确定所述作业区域中的目标对象的位置;
S104、根据获取所述目标对象选择操作时所述交互界面展示的所述三维模型的朝向,确定对所述目标对象进行作业时的目标朝向;
S106、根据所述目标对象的位置、所述目标朝向以及可移动平台的作业距离确定所述可移动平台对所述目标对象进行作业时的目标位置,以使所述可移动平台移动至所述目标位置并按照所述目标朝向对所述目标对象进行作业。
本申请的可移动平台控制方法可以由可移动平台执行,比如,在某些实施例中,可移动平台可以提供人机交互界面,用户可以在人机交互界面进行操作,确定可移动平台对目标对象进行作业时的目标位置和目标朝向,然后根据确定的目标位置和目标朝向控制可移动平台进行作业。在某些实施例中,本申请的可移动平台控制方法也可以由控制终端执行,控制终端可以是笔记本电脑、遥控器、手机、平板等终端设备,控制终端可以提供人机交互界面,用于获取用户的交互操作,并根据用户的交互操作对可移动平台进行控制。
本申请的可移动平台是当前一次用于对目标对象进行作业的可移动平台,该可移动平台包括动力部件,用于驱使可移动平台运动,可移动平台可以是无人机、无人车、智能机器人等设备。
本申请的目标对象是指可移动平台要进行作业的对象,该目标对象可以是需要被巡检的电力设备、大坝、桥梁等,也可以是需要被喷洒药物或者浇灌的农作物,或者是被采集的果实等。目标对象可以是一个或者多个,作业区域是指包括这一个或者多个目标对象的区域。作业区域的三维模型可以是通过摄影测量三维重建得到的三维模型、或者通过激光雷达扫描得到的三维模型或者是设计过程中的CAD模型。
执行该控制方法的设备可以在三维引擎中加载该作业区域的三维模型,并通过人机交互界面将该三维模型展示给用户。用户在确定可移动平台对目标对象进行作业的目标朝向和目标位置时,可以在交互界面中移动和旋转该三维模型,将三维模型的朝向调整至一个比较适合观测目标对象的朝向,比如调整到目标对象不会被其他物体遮挡并且可以清晰的看到目标对象的朝向。用户在交互界面调整好三维模型的朝向后,可以通过交互界面输入目标对象选择操作,执行该控制方法的设备可以获取用户输入的目标对象选择操作,根据该目标对象选择操作确定目标对象的位置,然后根据获取该目标对象选择操作时交互界面中展示的三维模型的朝向确定对目标对象进行作业时的目标朝向。其中,目标朝向与用户从交互界面观测到的该三维模型的朝向一致,用户从交互界面观测三维模型的视角即为可移动平台对目标对象进行作业时观测目标对象的视角。确定目标朝向后,即可以根据所确定的目标对象的位置、目标朝向以及可移动平台的作业距离确定可移动平台对目标对象进行作业时的目标位置,以控制可移动平台移动至该目标位置并按照该目标朝向对目标对象进行作业。
需要指出的是本申请中的目标位置和目标朝向既可以是对目标对象进行作业时可移动平台的位置和朝向,也可以是可移动平台上对目标对象进行作业的零件的位置和朝向。举个例子,假设采用无人机对电子设备进行巡检的场景,由于无人机中心和摄像装置中心的位置差异较小,因而,可以直接将无人机中心调整到该目标位置,当然,为了更加精准的对无人机进行控制,也可以根据摄像装置的中心和无人机的中心的位置关系对该目标位置进行补偿,得到补偿后的位置,将无人机移动至补偿后的位置,以使无人机摄像装置位于该目标位置进行作业。目标朝向可以是可移动平台的朝向,当然,当也可以是可移动平台上进行作业的零件的朝向,比如,可以是无人机上的摄像装置的朝向,或者是无人车上的机械臂的朝向。
通过本申请提供的方法,用户可以根据交互界面展现的目标对象的视觉效果调整三维模型的朝向,从而确定比较适合观测目标对象的朝向,并确定对目标对象进行作业时的目标朝向,通过这种方式,用户可以比较直观的确定对目标对象进行作业时的合适的朝向,无需通过不断输入角度多次调整作业时的朝向,比较方便快捷,同时可以通过确定的目标对象的位置、目标朝向和作业距离确定对目标对象进行作业时的目标位置,可以根据用户需求精确的控制作业距离。
用户输入的目标对象选择操作可以是任一用于根据三维模型确定目标对象的位置的操作,比如,可以是用户点击交互界面展示的三维模型中的目标对象的操作或者是框选三维模型中的目标对像的操作,根据用户输入的目标对象选择操作,可以确定目标对象的位置。比如,用户可以在交互界面点击目标对象的中心区域,然后将用户点击的那个点作为目标对象的位置,如果用户在交互界面框选目标对象,则可以将选框的中心位置作为目标对象的位置,或者用户也可以在目标对象上点击多个点确定目标对象,比如,目标对象为一个人,用户可以在头部点击一个点,在身体位置点击一个点,在脚的位置点击一个点,然后将用户点击的三个点连成一条线,取这条线的中心作为目标对象的位置。由于三维模型的是携带有地理位置信息的模型,因而,根据用户在三维模型的交互操作,可以确定目标对象的位置对应的三维坐标。
通常三维引擎对应有一个虚拟相机,交互界面中呈现的作业区域的画面,相当于虚拟相机在不同的视角对作业区域进行拍摄得到。比如,用户在交互界面不断移动和旋转三维模型时,虚拟相机的位置和朝向也在不断的变化。如图2所示,假设三维模型为汽车的模型,当用户调整三维模型的朝向,即图像呈现汽车的不同角度时(图中矩形框内的汽车图像),则可以认为该图像是由虚拟相机(图中的黑点)按不同朝向采集的到的图像。其中,用户在交互界面对三维模型进行操作,调整三维模型的展现的姿态时,对应的虚拟相机的位置和朝向三维引擎是可以确定的。在某些实施例中,交互界面展示的三维模型的朝向与虚拟相机的朝向一一对应。因此,可以将当前交互界面展示的三维模型的朝向对应的虚拟相机的朝向作为对目标对象进行作业时的目标朝向。
在某些实施例中,如图3所示,目标朝向可以是沿着目标对象的位置与虚拟相机的位置的连线并指向目标对象的位置,可以根据目标对象的位置和虚拟相机的位置确定目标朝向,比如,当用户停止在交互界面中移动或旋转三维模型时,此刻交互界面展示的三维模型的朝向确定,三维引擎可以自动确定当前虚拟相机的位置(可以是虚拟相机中心对应的三维坐标),然后根据用户在交互界面输入的目标对象选择操作确定目标对象的位置(可以是目标对象中心对应的三维坐标),然后连接虚拟相机的中心与目标对象的中心得到一条连线,对目标对象进行作业时可移动平台的目标朝向即可以沿着该连线指向目标对象。
在某些实施例中,如图4所示,可移动平台对目标对象进行作业时的目标位置可以位于目标对象的位置与虚拟相机的位置的连线上,且与目标对象的距离为作业距离。在确定虚拟相机的位置(可以是虚拟相机中心对应的三维坐标)和目标对象的位置(可以是目标对象中心对应的三维坐标)后,连接虚拟相机的中心与目标对象的中心得到一条连线,然后以目标对象为基准沿着该连线移动作业距离达到目标位置,这样便可以确定可移动平台对目标对象进行作业时的距离为用户预期的作业距离。
用户在交互界面平移旋转确定交互界面中展示的三维模型的朝向,并输入目标对象选择操作后,执行该控制方法的设备即可以根据该目标对象选择操作以及交互界面展示的三维模型的朝向确定可移动平台对目标对象进行作业时的目标位置和目标朝向。当然,用户还可以进一步对目标位置和目标朝向进行微调,以调整到更佳的位置和朝向。在某些实施例中,执行该控制方法的设备可以获取通过交互界面输入的调整操作,然后根据目标对象的位置和用户输入的调整操作确定调整后的目标位置,并根据调整后的目标位置调整目标朝向,其中,调整后的目标朝向由调整后的目标位置指向目标对象的位置。
可移动平台的作业距离可以根据用户的实际需求调整,可以由用户输入,也可以由执行该控制方法的设备自动确定。比如,针对农作物进行药物喷洒的场景,为了保证药物喷洒的效果,对喷头与农作物的距离有要求,这种场景用户可以通过交互界面输入作业距离。针对采集目标对象的图像的场景,作业距离可以根据用户对采集的图像的空间分辨率确定,其中,空间分辨率是指图像中像素点对应的物理尺寸。比如,用户需要观测目标对象局部区域的细节,则可移动平台应离目标对象尽可能近,作业距离可以设置小一点,如果用户需要观测目标对象的全貌,则作业距离应当确保可移动平台可以拍摄到整个目标对象。在某些实施例中,可移动平台的作业距离可以根据作业对象的尺寸确定、也可根据空间分辨率确定、或者同时结合作业对象的尺寸以及空间分辨率确定,空间分辨率可以由用户通过交互界面输入或者预先设置。比如,用户可以根据对采集的目标对象的图像的空间分辨率的需求,输入空间分辨率,则执行该控制方法的设备可以根据以下公式(1)自动计算作业距离:
d=gsd*w/35*f公式(1)
其中:d为作业距离,w为图像传感器的像素宽度,f为镜头35mm等效焦距,gsd为空间分辨率,代表图像上像素点的尺寸对应三维空间中的物体的实际距离。
当然,作业距离也可以根据目标对象的尺寸确定,比如,在某些场景,需要在一张图像中拍摄到完整的目标对象,因此,可以根据目标对象的尺寸确定作业距离。其中,作业距离可以根据公式(2)确定:
d=L/35*f公式(2)
其中,L为目标对象的尺寸,f为镜头35mm等效焦距。
当然,在某些实施例中,也可以结合空间分辨率和目标对象的尺寸共同确定作业距离,比如,用户可以输入空间分辨率的变化范围,然后可以根据用户输入的空间分辨率范围以及目标对象的尺寸共同确定作业距离,以便在该作业距离下拍摄,即可以满足用户输入的空间分辨率需求,又可以拍摄到完整的目标对象。
在某些实施例中,根据用户输入的空间分辨率确定作业距离后,如果在该作业距离下无法拍摄到完整的目标对象,则可以调整可移动平台上的相机的朝向,拍摄得到多张图像,然后再利用这多张图像合成得到包括完整目标对象的图像。
在某些实施例中,如果可移动平台上的摄像装置是可变焦的,也可以根据期望的作业距离调整焦距,以满足用户对作业距离的需求。
在某些实施例中,在确定目标对象的尺寸时,可以根据用户输入的目标对象选择操作确定目标对象对应的目标区域,然后将该目标区域的尺寸作为目标对象的尺寸,其中目标区域通常为包括目标对象的三维空间区域。举个例子,如图5所示当目标对象选择操作为用户在交互界面中目标对象51的起始端点击一个点以及目标对象的结束端点击一个点,则可以根据三维模型确定这两个点的三维空间坐标,并确定这两个点的连线,将连线的中心作为目标对象51的中心的位置,然后以连线的作为直径确定一个球形区域52,将该球形区域52作为目标对象对应的区域,该球形区域的尺寸即为目标对象的尺寸。当然,目标区域的形状不局限于球形,可以是各种形状的三维空间区域,比如长方体区域后者其他形状的区域。在确定目标位置时,可以选择可以拍摄到整个球形区域的位置作为目标位置。
如图6所示,由于目标对象的位置已经确定,为了保证可移动平台以预期的作业距离对目标对象进行作业,以保证作业效果,因此,在调整目标位置时,可以以目标对象为中心,保持可移动平台的作业距离不变的前提下对目标位置进行调整。可以定义目标对象的位置与目标位置的连线与水平面的夹角为pitch角,目标对象的位置与目标位置的连线在水平面上的投影与北向的夹角为yaw角,在调整目标位置时,可以保持目标对象的位置与目标位置的距离不变,调整pitch角或者yaw角的大小,以对目标位置进行微调。所以,在某些实施例中,对目标位置的调整操作包括第一调整操作,第一调整操作可以是调整上述pitch角的操作,如图7所示,第一调整操作能够使得目标位置在第一目标圆上调整,其中,第一目标圆的圆心位于目标对象的位置,第一目标圆所在的平面垂直于水平面,第一目标圆的半径为可移动平台的作业距离。
在某些实施例中,对目标位置的调整操作包括第二调整操作,第二调整操作可以是调整上述yaw角的操作,如图8所示,第二调整操作能够使得目标位置在第二目标圆上调整,其中,第二目标圆的圆心位于目标对象的投影位置,该投影位置是通过将目标对象的位置投影到过该目标位置的水平面上得到的,该第二目标圆的半径为投影位置到该目标位置的距离。
在某些实施例中,为了让用户可以直观的看到目标位置的调整路径,还可以在交互界面展示第一目标圆和/或第二目标圆,以便用户根据展示的第一目标圆和第二目标圆确定目标位置的调整路径。
在某些实施例中,为了让用户可以更直观的知道调整后的目标位置和目标朝向是否合适,是否是最佳的位置和朝向,交互界面还可以包括预览窗口,在调整目标位置和目标朝向的过程中,可以在预览窗口展示可移动平台在调整后的目标位置并按照目标朝向进行作业时的预览效果。以采用无人机对目标对象进行图像采集为例,可以在预览窗口展示无人机位于调整后的目标位置并按照调整后的目标朝向对目标对象进行图像采集时,采集的图像的预览效果,以便用户根据预览效果确定是否需要继续调整无人机的位置和朝向,以及确定调整策略。当然,如果是采用可移动平台上的机械臂采摘果实的场景,即可以在预览窗口展示可移动平台位于调整后的目标位置,并将机械臂调整至目标朝向采摘果实的动态示意图,这时用户可以清楚的知道可移动平台位于当前目标位置按照目标朝向采摘果实,是否可以成功采摘,然后确定该如何调整目标位置和目标朝向。
由于在对目标位置和目标朝向进行调整时,是以目标对象为中心进行调整,所以,在某些实施例中,在调整目标位置和目标朝向时,目标对象在预览窗口中的位置可以固定,比如,可以保持目标对象在画面的中心位置,调整过程中,目标对象的位置不变,以便用户更好的观察调整效果。
在某些实施例中,交互界面中可以设置调整控件,调整目标位置的调整操作可以通过所述调整控件触发。如图9所示,交互界面可以显示调整按钮91,用户可以点击调整按钮91以调整目标位置和目标朝向。
在某些实施例中,为了保证可移动平台安全作业,在确定可移动平台对目标对象进行作业时的目标位置后,可以确定与该目标位置最近的障碍物与目标位置的距离,如果该距离小于预设的安全距离,则对该目标位置和/障碍物进行标识,以便用户根据标识对目标位置进行调整。比如,可以在交互界面中标红该目标位置以及障碍物,或者框选该目标位置以及障碍物,以便用户根据该标识调整目标位置。
在某些实施例中,目标对象可以是多个,假设有第一目标对象和第二目标对象,当根据用户在交互界面输入的第一目标对象选择操作确定对第一目标对象进行作业时的目标位置(以下称为第一目标对象选择操作对应的目标位置)后,可以获取用户输入的第二目标对象选择操作,根据用户输入的第二目标对象选择操作确定对第二目标对象进行作业时的目标位置(以下称为第二目标对象选择操作对应的目标位置),然后在交互界面展示第一目标对象选择操作对应的目标位置和第二目标对象选择操作对应的目标位置之间的连线。即用户每次在交互界面输入目标对象选择操作后,执行该控制方法的设备可以自动确定该目标对象选择操作对应的目标位置,并与前一次确定的目标位置连接起来,形成可移动平台的作业路径,并展示的交互界面上。可选的,上述第一目标对象选择操作和第二目标对象选择操作也可以对应于同一目标对象,本申请实施例对此不作限定。
由于可移动平台从一个目标位置移动到另一个目标位置的过程中,也可以能存在障碍物,为了确保可移动平台作业过程的安全,在某些实施例中,在确定第一目标选择操作对应的目标位置和第二目标选择操作对应的目标位置之间的连线后,可以确定离该连线最近的障碍物与该连线的距离,当该距离小于预设的安全距离时,则可以标识该连线和/或障碍物,以便用户对该第一目标选择操作对应的目标位置和/或第二目标选择操作对应的目标位置进行调整。
由于针对作业区域中的目标对象,可能存在需要重复对其进行作业的需求。比如,在对农作物进行药物喷洒的场景,可能需要多次对农作物进行药物喷洒,所以,用户通过展示有三维模型的交互界面确定对各目标对象进行作业的目标位置和目标朝向并生成可移动平台的作业路径后,可以存储可移动平台的作业路径,比如,可以存储用于确定目标位置和目标朝向的目标参数,以便下一次对作业区域中的目标对象作业时,可以直接调用这些目标参数确定对目标对象进行作业时的目标位置和目标朝向。
在某些实施例中,目标参数可以包括目标对象的位置、目标朝向、目标位置、作业距离、目标对象的尺寸以及虚拟相机的位置等一个或者多个。比如,在某些实施例中,可以存储目标位置和目标朝向,作业时,直接控制可移动平台移动至目标位置并按照目标朝向对目标对象进行作业。当然,也可以存储目标对象的位置、目标朝向、作业距离等,采用可移动平台对目标对象进行作业时,可以直接根据目标对象的位置、目标朝向以及作业距离确定目标位置。
由于可以存储目标对象的位置,并可以根据目标对象的位置确定目标位置和目标朝向,在根据可移动平台的硬件参数确定对作业区域的目标对象进行作业时的目标位置和目标朝向后,如果换成其他的可移动平台对同一作业区域的目标对象进行作业,可以无需用户在重新通过交互界面设置作业路径。在某些实施例中,上述可移动平台为第一可移动平台,当采用第二可移动平台对目标对象进行作业时,可以获取存储的目标参数,然后根据存储的目标参数以及第二可移动平台的硬件参数确定第二可移动平台对目标对象进行作业时的位置和朝向。其中,第二可移动平台的硬件参数可以与第一可移动平台的硬件参数相同,也可以不同。比如,当用户换成第二可移动平台对目标对象进行作业,第二可移动平台的焦距和传感器的像素宽度可能与第一可移动平台不同,因此,可以根据第二可移动平台的焦距和传感器的像素宽度重新确定作业距离。由于目标对象的位置已知,并且是以目标对象为中心确定目标位置和目标朝向,因此,可以根据重新确定的作业距离和目标对象的位置重新确定第二可移动平台作业时的位置和朝向,以更新作业路径。
为了进一步解释本申请的可移动平台控制方法,以下结合一个具体的实施例加以解释。
通常会使用无人机对电力设备、桥梁、大坝等进行巡检,通过无人机采集这些待巡检的目标对象的图像,然后通过分析这些图像判定是否出现故障。如图10所示,为本申请一个实施例的应用场景示意图,用户可以通过控制终端102上的安装的软件应用来设置无人机101对作业区域中的目标对象进行图像采集时的目标朝向和目标位置,基于目标朝向和目标位置生成控制指令,并将该控制指令发送给无人机101。可选的,可以通过控制终端102和无人机101之间的通信链路,将该控制指令发送给无人机101。或者,可以通过控制终端102与遥控器103,以及遥控器103和无人机101之间的通信链路,将该控制指令发送给可移动平台。可选的,控制终端102可以是安装有三维重建软件的笔记本电脑。
用户可以打开控制终端102上的软件应用,软件应用中的三维引擎可以加载作业区域的三维模型,三维模型可以通过摄影测量三维重建得到,或者通过激光雷达对作业区域进行扫描得到。用户可以通过交互界面输入空间分辨率,以便根据空间分辨率确定无人机101的作业距离。
作业区域的三维模型可以通过交互界面展示给用户,用户可以移动、旋转三维模型,将三维模型移动旋转到一个比较合适的朝向,以便确定目标对象不会被遮挡的视角,便于观测目标对象。三维引擎中存在一个虚拟相机,交互界面上呈现的画面可以看成是虚拟相机采集的作业区域的画面,三维模型的朝向与虚拟相机的朝向相对应,当用户停止移动旋转三维模型后,三维引擎即可以确定当前三维模型的朝向和位置。用户可以在三维模型中点击目标对象的起始位置和结束位置,根据用户点击的起始位置和结束位置生成一条连线,并且确定该连线的中心的位置,将该中心的位置作为目标对象的位置。确定目标对象的位置后,可以根据目标对象的位置和虚拟相机的位置生成一条连线,无人机对目标对象进行作业时,相机的朝向即可以沿着该连线指向目标对象,无人机对目标对象作业时,无人机的位置位于该连线上与目标对象的距离为作业距离的位置。
此外,可以定义目标对象的位置与无人机作业时的位置的连线与水平面的夹角为pitch角,该连线在水平面上的投影与北向的夹角为yaw角。在确定无人机作业时的朝向和位置后,还可以对pitch角和yaw角进行微调,以确定拍摄效果更佳的位置和朝向。其中,交互界面可以包括预览窗口,当用户调整pitch角和yaw角时,可以在预览窗口展示无人机位于当前位置和朝向时,拍摄的图像的预览效果,以便用户根据预览效果确定pitch角和yaw角的调整策略。当根据用户在交互界面的点击操作确定对一个目标对象进行作业时的位置后,如果用户点击另一个目标对象,则确定对另一个目标对象的进行作业时的位置,然后将两个位置通过连线连接起来,并在交互界面展示该连线。为了保证无人机在作业过程中的安全,可以确定与无人机作业时的位置距离最近的障碍物,判断障碍物与作业时的无人机的距离是否小于预设的安全距离,如果小于,则在交互界面标识该障碍物或者该位置,以便用户对该位置进行调整。同时,也可以确定与无人机对不同目标对象作业时所在位置的连线距离最近的障碍物,判定该障碍物与该连线的位置是否小于预设安全距离,如果小于则标识该障碍物以及连线,以便用户进行调整。在确定对作业区域内各目标对象进行作业时,无人机的位置和朝向后,可以存储目标对象的位置、pitch角、yaw角以及作业距离,然后根据存储的上述参数控制无人机作业。当然,如果更换对该作业区域内的目标对象进行作业的无人机,比如,无人机的焦距、传感器的像素宽度等硬件参数发生变化,则可以根据无人机的硬件参数和预期的分辨率重新确定作业距离,然后根据目标对象的位置、pitch角、yaw角以及作业距离重新确定无人机作业时的位置和朝向。由于是以目标对象为中心确定作业时的位置和朝向,这样用户只需在交互界面设置一次作业路径,即便作业的无人机的硬件参数发生了更改,也可以根据存储的目标对象的位置和无人机的朝向重新确定作业时的位置,无需用户重新设置。
通过上述方法,可以用户可以非常方便的确定无人机作业时的位置和朝向。并且作业时的位置的微调都是以目标对象为中心,确保目标对象永远在拍摄画面的中心,而且微调时只改变朝向不改变作业距离,可以保证作业效果,由于确定了目标对象的位置,所以可以方便根据不同无人机的最佳作业距离改变作业时的位置,以适应不同飞机,达到同样拍摄效果,无需用户针对每个作业的无人机都重新确定作业路径。
此外,本申请还提供了一种可移动平台的控制装置,如图11所示,所述装置包括处理器111、存储器112、存储于所述存储器112所述处理器111可执行的计算机程序,所述处理器111执行所述计算机程序时实现以下步骤:
获取用户在交互界面输入的目标对象选择操作,所述交互界面展示有作业区域的三维模型,所述目标对象选择操作用于确定所述作业区域中的目标对象的位置;
根据获取所述目标对象选择操作时所述交互界面展示的所述三维模型的朝向,确定对所述目标对象进行作业时的目标朝向;
根据所述目标对象的位置、所述目标朝向以及可移动平台的作业距离确定所述可移动平台对所述目标对象进行作业时的目标位置,以使所述可移动平台移动至所述目标位置并按照所述目标朝向对所述目标对象进行作业。
在某些实施例中,所述交互界面展示的所述三维模型的朝向与虚拟相机的朝向相对应。
在某些实施例中,所述目标朝向沿着所述目标对象的位置与所述虚拟相机的位置的连线并指向所述目标对象的位置。
在某些实施例中,所述目标位置位于所述目标对象的位置与所述虚拟相机的位置的连线上,且与所述目标对象的距离为所述作业距离。
在某些实施例中,所述处理器还用于:
获取用户通过所述交互界面输入的调整操作;
根据所述目标对象的位置和所述调整操作,确定调整后的目标位置;
根据所述调整后的目标位置调整所述目标朝向,以使得所述目标朝向由所述调整后的目标位置指向所述目标对象的位置。
在某些实施例中,所述调整操作包括第一调整操作,所述第一调整操作能够使得所述目标位置在第一目标圆上调整,其中,所述第一目标圆的圆心位于所述目标对象的位置,所述第一目标圆所在的平面垂直于水平面,所述第一目标圆的半径为所述可移动平台的作业距离。
在某些实施例中,所述调整操作包括第二调整操作,所述第二调整操作能够使得所述目标位置在第二目标圆上调整,其中,所述第二目标圆的圆心位于所述目标对象的投影位置,所述投影位置是通过将所述目标对象的位置投影到过所述目标位置的水平面上得到的,所述第二目标圆的半径为所述投影位置到所述目标位置的距离。
在某些实施例中,所述处理器还用于:
在所述交互界面中展示所述第一目标圆和/或所述第二目标圆。
在某些实施例中,所述交互界面包括预览窗口,基于所述目标对象的位置和所述调整操作调整所述目标位置和所述目标朝向之后,还包括:
在所述预览窗口中展示所述可移动平台位于调整后的目标位置并按照调整后的目标朝向进行作业的预览效果。
在某些实施例中,调整所述目标位置和所述目标朝向时,所述目标对象在所述预览窗口中的位置固定。
在某些实施例中,所述交互界面包括调整控件,所述调整操作基于所述调整控件触发。
在某些实施例中,所述处理器还用于:当确定所述目标位置与距离所述目标位置最近的障碍物的距离小于预设的安全作业距离时,对所述目标位置和/或所述障碍物加以标识。
在某些实施例中,所述处理器还用于:所述目标对象选择操为第一目标对象选择操作,所述方法还包括:
获取用户在交互界面输入的第二目标对象选择操作;
在所述交互界面中展示所述第一目标对象选择操作对应的目标位置和所述第二目标对象选择操作对应的目标位置之间的连线。
在某些实施例中,所述处理器还用于:当确定所述第一目标选择操作对应的目标位置和所述第二目标选择操作对应的目标位置之间的连线与距离所述连线最近的障碍物的距离小于预设的安全作业距离时,对所述连线和/或所述障碍物加以标识。
在某些实施例中,所述处理器还用于:
根据空间分辨率和/或目标对象的尺寸确定所述作业距离;
其中,所述空间分辨率是指像素点对应的物理尺寸,所述空间分辨率为用户在交互界面输入或者预设设置的空间分辨率。
在某些实施例中,所述处理器还用于:
根据所述目标对象选择操作,确定所述目标对象对应的目标区域;
将所述目标区域的尺寸作为所述目标对象的尺寸。
在某些实施例中,所述处理器还用于:存储目标参数,所述目标参数用于确定所述目标位置和所述目标朝向。
在某些实施例中,所述目标参数包括以下一个或多个:所述目标对象的位置、所述目标朝向、所述作业距离、所述目标对象的尺寸以及所述虚拟相机的位置。
在某些实施例中,所述可移动平台为第一可移动平台,所述处理器还用于:
获取存储的所述目标参数,基于第二可移动平台的硬件参数以及所述目标参数确定所述第二可移动平台作业时的位置和朝向。
其中,所述可移动平台的控制装置可以等同于前述控制终端,或者是控制终端的一部分。确定可移动平台对目标对象进行作业时的目标位置和目标朝向的具体实现细节可以参考上述方法中的各实施例中的描述,在此不再赘述。
另外,本申请还提供一种可移动平台,所述可移动平台用于接收控制指令,并基于所述控制指令移动至目标位置并按照目标朝向对作业区域中的目标对象进行作业;
其中,所述控制指令基于以下方式确定:获取用户在交互界面输入的目标对象选择操作,所述交互界面展示有所述作业区域的三维模型,所述目标对象选择操作用于确定所述作业区域中的目标对象的位置;
根据获取所述目标对象选择操作时所述交互界面展示的所述三维模型的朝向,确定对所述目标对象进行作业时的目标朝向;
根据所述目标对象的位置、所述目标朝向以及可移动平台的作业距离确定所述可移动平台对所述目标对象进行作业时的目标位置;基于所述目标朝向和所述目标位置生成所述控制指令。
其中,所述生成所述控制指令的具体实现细节可以参考上述方法中的各实施例中的描述,在此不再赘述。
进一步的,本申请还提供一种控制系统,所述控制系统包括可移动平台和控制终端,所述控制终端用于获取用户在交互界面输入的目标对象选择操作,所述交互界面展示有作业区域的三维模型,所述目标对象选择操作用于确定所述作业区域中的目标对象的位置;
根据获取所述目标对象选择操作时所述交互界面展示的所述三维模型的朝向,确定对所述目标对象进行作业时的目标朝向;
根据所述目标对象的位置、所述目标朝向以及可移动平台的作业距离确定所述可移动平台对所述目标对象进行作业时的目标位置;
基于所述目标朝向和所述目标位置生成所述控制指令,并将所述控制指令发送给所述可移动平台;
所述可移动平台用于基于所述控制指令移动至目标位置并按照目标朝向对所述目标对象进行作业。
其中,所述控制终端控制所述可移动平台进行作业的具体实现细节可以参考上述方法中的各实施例中的描述,在此不再赘述。
相应地,本说明书实施例还提供一种计算机存储介质,所述存储介质中存储有程序,所述程序被处理器执行时实现上述任一实施例中的可移动平台的控制方法。
本说明书实施例可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于:相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明实施例所提供的方法和装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (39)

1.一种可移动平台的控制方法,其特征在于,所述方法包括:
获取用户在交互界面输入的目标对象选择操作,所述交互界面展示有作业区域的三维模型,所述目标对象选择操作用于确定所述作业区域中的目标对象的位置;
根据获取所述目标对象选择操作时所述交互界面展示的所述三维模型的朝向,确定对所述目标对象进行作业时的目标朝向;
根据所述目标对象的位置、所述目标朝向以及可移动平台的作业距离确定所述可移动平台对所述目标对象进行作业时的目标位置,以使所述可移动平台移动至所述目标位置并按照所述目标朝向对所述目标对象进行作业。
2.根据权利要求1所述的方法,其特征在于,所述交互界面展示的所述三维模型的朝向与虚拟相机的朝向相对应。
3.根据权利要求2所述的方法,其特征在于,所述目标朝向沿着所述目标对象的位置与所述虚拟相机的位置的连线并指向所述目标对象的位置。
4.根据权利要求2或3所述的方法,其特征在于,所述目标位置位于所述目标对象的位置与所述虚拟相机的位置的连线上,且与所述目标对象的距离为所述作业距离。
5.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:
获取用户通过所述交互界面输入的调整操作;
根据所述目标对象的位置和所述调整操作,确定调整后的目标位置;
根据所述调整后的目标位置调整所述目标朝向,以使得所述目标朝向由所述调整后的目标位置指向所述目标对象的位置。
6.根据权利要求5所述的方法,其特征在于,所述调整操作包括第一调整操作,所述第一调整操作能够使得所述目标位置在第一目标圆上调整,其中,所述第一目标圆的圆心位于所述目标对象的位置,所述第一目标圆所在的平面垂直于水平面,所述第一目标圆的半径为所述可移动平台的作业距离。
7.根据权利要求6所述的方法,其特征在于,所述调整操作包括第二调整操作,所述第二调整操作能够使得所述目标位置在第二目标圆上调整,其中,所述第二目标圆的圆心位于所述目标对象的投影位置,所述投影位置是通过将所述目标对象的位置投影到过所述目标位置的水平面上得到的,所述第二目标圆的半径为所述投影位置到所述目标位置的距离。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
在所述交互界面中展示所述第一目标圆和/或所述第二目标圆。
9.根据权利要求5所述的方法,其特征在于,所述交互界面包括预览窗口,基于所述目标对象的位置和所述调整操作调整所述目标位置和所述目标朝向之后,还包括:
在所述预览窗口中展示所述可移动平台位于调整后的目标位置并按照调整后的目标朝向进行作业的预览效果。
10.根据权利要求9所述的方法,其特征在于,调整所述目标位置和所述目标朝向时,所述目标对象在所述预览窗口中的位置固定。
11.根据权利要求5所述的方法,其特征在于,所述交互界面包括调整控件,所述调整操作基于所述调整控件触发。
12.根据权利要求1-3任一项所述的方法,其特征在于,还包括:当确定所述目标位置与距离所述目标位置最近的障碍物的距离小于预设的安全作业距离时,对所述目标位置和/或所述障碍物加以标识。
13.根据权利要求1-3任一项所述的方法,其特征在于,还包括:所述目标对象选择操作为第一目标对象选择操作,所述方法还包括:
获取用户在交互界面输入的第二目标对象选择操作;
在所述交互界面中展示所述第一目标对象选择操作对应的目标位置和所述第二目标对象选择操作对应的目标位置之间的连线。
14.根据权利要求13所述的方法,其特征在于,还包括:当确定所述第一目标对象选择操作对应的目标位置和所述第二目标对象选择操作对应的目标位置之间的连线与距离所述连线最近的障碍物的距离小于预设的安全作业距离时,对所述连线和/或所述障碍物加以标识。
15.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:
根据空间分辨率和/或目标对象的尺寸确定所述作业距离;
其中,所述空间分辨率是指像素点对应的物理尺寸,所述空间分辨率为用户在交互界面输入或者预设设置的空间分辨率。
16.根据权利要求15所述的方法,其特征在于,所述方法还包括:
根据所述目标对象选择操作,确定所述目标对象对应的目标区域;
将所述目标区域的尺寸作为所述目标对象的尺寸。
17.根据权利要求2或3所述的方法,其特征在于,所述方法还包括:存储目标参数,所述目标参数用于确定所述目标位置和所述目标朝向。
18.根据权利要求17所述的方法,其特征在于,所述目标参数包括以下一个或多个:所述目标对象的位置、所述目标朝向、所述作业距离、所述目标对象的尺寸以及所述虚拟相机的位置。
19.根据权利要求17所述的方法,其特征在于,所述可移动平台为第一可移动平台,所述方法还包括:
获取存储的所述目标参数,基于第二可移动平台的硬件参数以及所述目标参数确定所述第二可移动平台作业时的位置和朝向。
20.一种可移动平台的控制装置,其特征在于,所述装置包括处理器、存储器、存储于所述存储器且所述处理器可执行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取用户在交互界面输入的目标对象选择操作,所述交互界面展示有作业区域的三维模型,所述目标对象选择操作用于确定所述作业区域中的目标对象的位置;
根据获取所述目标对象选择操作时所述交互界面展示的所述三维模型的朝向,确定对所述目标对象进行作业时的目标朝向;
根据所述目标对象的位置、所述目标朝向以及可移动平台的作业距离确定所述可移动平台对所述目标对象进行作业时的目标位置,以使所述可移动平台移动至所述目标位置并按照所述目标朝向对所述目标对象进行作业。
21.根据权利要求20所述的装置,其特征在于,所述交互界面展示的所述三维模型的朝向与虚拟相机的朝向相对应。
22.根据权利要求21所述的装置,其特征在于,所述目标朝向沿着所述目标对象的位置与所述虚拟相机的位置的连线并指向所述目标对象的位置。
23.根据权利要求21或22所述的装置,其特征在于,所述目标位置位于所述目标对象的位置与所述虚拟相机的位置的连线上,且与所述目标对象的距离为所述作业距离。
24.根据权利要求20-22任一项所述的装置,其特征在于,所述处理器还用于:
获取用户通过所述交互界面输入的调整操作;
根据所述目标对象的位置和所述调整操作,确定调整后的目标位置;
根据所述调整后的目标位置调整所述目标朝向,以使得所述目标朝向由所述调整后的目标位置指向所述目标对象的位置。
25.根据权利要求24所述的装置,其特征在于,所述调整操作包括第一调整操作,所述第一调整操作能够使得所述目标位置在第一目标圆上调整,其中,所述第一目标圆的圆心位于所述目标对象的位置,所述第一目标圆所在的平面垂直于水平面,所述第一目标圆的半径为所述可移动平台的作业距离。
26.根据权利要求25所述的装置,其特征在于,所述调整操作包括第二调整操作,所述第二调整操作能够使得所述目标位置在第二目标圆上调整,其中,所述第二目标圆的圆心位于所述目标对象的投影位置,所述投影位置是通过将所述目标对象的位置投影到过所述目标位置的水平面上得到的,所述第二目标圆的半径为所述投影位置到所述目标位置的距离。
27.根据权利要求26所述的装置,其特征在于,所述处理器还用于:
在所述交互界面中展示所述第一目标圆和/或所述第二目标圆。
28.根据权利要求24所述的装置,其特征在于,所述交互界面包括预览窗口,基于所述目标对象的位置和所述调整操作调整所述目标位置和所述目标朝向之后,还包括:
在所述预览窗口中展示所述可移动平台位于调整后的目标位置并按照调整后的目标朝向进行作业的预览效果。
29.根据权利要求28所述的装置,其特征在于,调整所述目标位置和所述目标朝向时,所述目标对象在所述预览窗口中的位置固定。
30.根据权利要求24所述的装置,其特征在于,所述交互界面包括调整控件,所述调整操作基于所述调整控件触发。
31.根据权利要求20-22任一项所述的装置,其特征在于,所述处理器还用于:当确定所述目标位置与距离所述目标位置最近的障碍物的距离小于预设的安全作业距离时,对所述目标位置和/或所述障碍物加以标识。
32.根据权利要求20-22任一项所述的装置,其特征在于,所述目标对象选择操为第一目标对象选择操作,所述处理器还用于:
获取用户在交互界面输入的第二目标对象选择操作;
在所述交互界面中展示所述第一目标对象选择操作对应的目标位置和所述第二目标对象选择操作对应的目标位置之间的连线。
33.根据权利要求32所述的装置,其特征在于,所述处理器还用于:当确定所述第一目标对象选择操作对应的目标位置和所述第二目标对象选择操作对应的目标位置之间的连线与距离所述连线最近的障碍物的距离小于预设的安全作业距离时,对所述连线和/或所述障碍物加以标识。
34.根据权利要求20-22任一项所述的装置,其特征在于,所述处理器还用于:
根据空间分辨率和/或目标对象的尺寸确定所述作业距离;
其中,所述空间分辨率是指像素点对应的物理尺寸,所述空间分辨率为用户在交互界面输入或者预设设置的空间分辨率。
35.根据权利要求34所述的装置,其特征在于,所述处理器还用于:
根据所述目标对象选择操作,确定所述目标对象对应的目标区域;
将所述目标区域的尺寸作为所述目标对象的尺寸。
36.根据权利要求21或22所述的装置,其特征在于,所述处理器还用于:存储目标参数,所述目标参数用于确定所述目标位置和所述目标朝向。
37.根据权利要求36所述的装置,其特征在于,所述目标参数包括以下一个或多个:所述目标对象的位置、所述目标朝向、所述作业距离、所述目标对象的尺寸以及所述虚拟相机的位置。
38.根据权利要求36所述的装置,其特征在于,所述可移动平台为第一可移动平台,所述处理器还用于:
获取存储的所述目标参数,基于第二可移动平台的硬件参数以及所述目标参数确定所述第二可移动平台作业时的位置和朝向。
39.一种控制系统,其特征在于,所述控制系统包括可移动平台和控制终端,
所述控制终端用于获取用户在交互界面输入的目标对象选择操作,所述交互界面展示有作业区域的三维模型,所述目标对象选择操作用于确定所述作业区域中的目标对象的位置;
根据获取所述目标对象选择操作时所述交互界面展示的所述三维模型的朝向,确定对所述目标对象进行作业时的目标朝向;
根据所述目标对象的位置、所述目标朝向以及可移动平台的作业距离确定所述可移动平台对所述目标对象进行作业时的目标位置;
基于所述目标朝向和所述目标位置生成控制指令,并将所述控制指令发送给所述可移动平台;
所述可移动平台用于基于所述控制指令移动至目标位置并按照目标朝向对所述目标对象进行作业。
CN202080039572.4A 2020-08-28 2020-08-28 可移动平台的控制方法、装置及控制系统 Active CN113906358B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310252255.6A CN116360406A (zh) 2020-08-28 2020-08-28 可移动平台的控制方法、装置及控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/112085 WO2022041112A1 (zh) 2020-08-28 2020-08-28 可移动平台的控制方法、装置及控制系统

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310252255.6A Division CN116360406A (zh) 2020-08-28 2020-08-28 可移动平台的控制方法、装置及控制系统

Publications (2)

Publication Number Publication Date
CN113906358A CN113906358A (zh) 2022-01-07
CN113906358B true CN113906358B (zh) 2023-03-28

Family

ID=79186966

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080039572.4A Active CN113906358B (zh) 2020-08-28 2020-08-28 可移动平台的控制方法、装置及控制系统
CN202310252255.6A Pending CN116360406A (zh) 2020-08-28 2020-08-28 可移动平台的控制方法、装置及控制系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310252255.6A Pending CN116360406A (zh) 2020-08-28 2020-08-28 可移动平台的控制方法、装置及控制系统

Country Status (3)

Country Link
US (1) US20220215632A1 (zh)
CN (2) CN113906358B (zh)
WO (1) WO2022041112A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114895819B (zh) * 2022-07-13 2022-09-13 麒砺创新技术(深圳)有限公司 一种三维模型智能化展示优化方法及系统
US11836975B1 (en) * 2023-05-07 2023-12-05 Geo Data AG System and method for mapping land parcels using computer processes and images of the land parcels

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100484726C (zh) * 2006-05-12 2009-05-06 上海大学 基于虚拟现实机器人灵巧手遥操作平台
JP2010094777A (ja) * 2008-10-16 2010-04-30 Fuji Electric Systems Co Ltd 遠隔操作支援装置
US9786097B2 (en) * 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
US9678506B2 (en) * 2014-06-19 2017-06-13 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
CN105867433A (zh) * 2016-03-31 2016-08-17 纳恩博(北京)科技有限公司 一种移动控制方法、移动电子设备及移动控制系统
CN107179768B (zh) * 2017-05-15 2020-01-17 上海木木机器人技术有限公司 一种障碍物识别方法及装置
GB201709199D0 (en) * 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
CN107220099A (zh) * 2017-06-20 2017-09-29 华中科技大学 一种基于三维模型的机器人可视化虚拟示教系统及方法
CN107583271B (zh) * 2017-08-22 2020-05-22 网易(杭州)网络有限公司 在游戏中选择目标的交互方法和装置
US10678264B2 (en) * 2018-10-10 2020-06-09 Midea Group Co., Ltd. Method and system for providing remote robotic control
CN111508066B (zh) * 2020-04-16 2023-05-26 北京迁移科技有限公司 一种基于3d视觉的无序堆叠工件抓取系统及交互方法

Also Published As

Publication number Publication date
CN113906358A (zh) 2022-01-07
WO2022041112A1 (zh) 2022-03-03
US20220215632A1 (en) 2022-07-07
CN116360406A (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN107710283B (zh) 一种拍摄控制方法、装置以及控制设备
JP4960659B2 (ja) 3次元仮想空間を利用したビデオカメラ撮影制御装置およびビデオカメラ撮影制御方法
US20220215632A1 (en) Control method and apparatus for movable platform, and control system thereof
CN110799921A (zh) 拍摄方法、装置和无人机
JP2011239361A (ja) 繰り返し撮影用arナビゲーション及び差異抽出のシステム、方法及びプログラム
US11924539B2 (en) Method, control apparatus and control system for remotely controlling an image capture operation of movable device
US20220067968A1 (en) Motion capture calibration using drones with multiple cameras
EP3754547B1 (en) Shape dependent model identification in point clouds
US20210018138A1 (en) Gimbal mode switching method, device, mobile platform and storage medium
US20210156710A1 (en) Map processing method, device, and computer-readable storage medium
CN110382358A (zh) 云台姿态修正方法、云台姿态修正装置、云台、云台系统和无人机
JPH05318361A (ja) 物体操作方式
CN113079369A (zh) 摄像设备的确定方法及装置、存储介质、电子装置
CN113906481A (zh) 成像显示方法、遥控终端、装置、系统及存储介质
CN112640419A (zh) 跟随方法、可移动平台、设备和存储介质
CN111699453A (zh) 可移动平台的控制方法、装置、设备及存储介质
WO2021212499A1 (zh) 目标标定方法、装置和系统及可移动平台的遥控终端
CN114390245A (zh) 用于视频监控系统的显示设备、视频监控系统以及方法
WO2021134715A1 (zh) 一种控制方法、设备、无人机及存储介质
CN109489678A (zh) 用于监控导航的定位方法及系统
WO2023223933A1 (ja) 情報処理方法、情報処理装置、通信システム及びコンピュータプログラム
Hensel et al. Experimental setup for neural networks and camera-based navigation of mobile systems
CN117255247B (zh) 一种全景相机与细节球机联动的方法及装置
US20240020927A1 (en) Method and system for optimum positioning of cameras for accurate rendering of a virtual scene
CN110531775A (zh) 一种无人装置控制方法、无人装置航行控制方法及其探测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant