CN117916155A - 数据采集方法、数据展示方法、数据处理方法、飞行器的降落方法、数据展示系统及存储介质 - Google Patents

数据采集方法、数据展示方法、数据处理方法、飞行器的降落方法、数据展示系统及存储介质 Download PDF

Info

Publication number
CN117916155A
CN117916155A CN202180101680.4A CN202180101680A CN117916155A CN 117916155 A CN117916155 A CN 117916155A CN 202180101680 A CN202180101680 A CN 202180101680A CN 117916155 A CN117916155 A CN 117916155A
Authority
CN
China
Prior art keywords
vehicle
aircraft
information
flight
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180101680.4A
Other languages
English (en)
Inventor
缪宝杰
沈劭劼
陈晓智
林毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuoyu Technology Co ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN117916155A publication Critical patent/CN117916155A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64FGROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F1/00Ground or aircraft-carrier-deck installations
    • B64F1/22Ground or aircraft-carrier-deck installations for handling aircraft
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种数据采集方法、数据展示方法、数据处理方法、飞行器的降落方法、数据展示系统及存储介质。其中,数据展示系统包括车辆和飞行器,车辆与飞行器通信连接;车辆包括位于不同位置的多个显示区域;飞行器用于在执行飞行任务过程中,采集对应飞行任务的任务数据,并将任务数据回传给车辆;车辆用于根据任务数据生成显示信息,控制显示区域显示该显示信息,其中,不同种类的飞行任务的任务数据生成的显示信息,显示在不同位置的显示区域。便于用户从不同位置的显示区域直观观看到显示信息,从而满足用户针对于不同种类的飞行任务的观看需求。

Description

数据采集方法、数据展示方法、数据处理方法、飞行器的降落方法、数据展示系统及存储介质 技术领域
本申请涉及飞行器及车辆技术领域,具体而言,涉及一种数据采集方法、数据展示方法、数据处理方法、飞行器的降落方法、数据展示系统及存储介质。
背景技术
飞行器诸如无人机(UAV)可以利用无线电遥控设备和自备的程序控制装置操纵,或者由机载计算机完全地或间歇地自主地操作。目前,飞行器作为个体独立使用时,可广泛应用于在航拍、农业植保、快递运输、灾难救援测绘、新闻报道、电力巡检、救灾或者影视拍摄等场景。为了进一步拓展飞行器的应用空间,飞行器与其他物体(诸如车辆)结合使用的作业场景需进一步探寻与完善。
发明内容
有鉴于此,本申请的目的之一是提供一种数据采集方法、数据展示方法、数据处理方法、飞行器的降落方法、数据展示系统及存储介质。
第一方面,本申请实施例提供了一种数据展示系统,包括车辆和飞行器,所述车辆与所述飞行器通信连接;所述车辆包括位于不同位置的多个显示区域;
所述飞行器用于在执行飞行任务过程中,采集对应所述飞行任务的任务数据,并将所述任务数据回传给所述车辆;
所述车辆用于根据所述任务数据生成显示信息,控制所述显示区域显示所述显示信息,其中,不同种类的飞行任务的任务数据生成的显示信息,显示在不同位置的所述显示区域。
本实施例实现不同种类的飞行任务的任务数据生成的显示信息,显示在不同位置的所述显示区域,便于用户从不同位置的显示区域直观观看到显示信息,从而满足用户针对于不同种类的飞行任务的观看需求。
第二方面,本申请实施例提供了一种数据采集方法,所述方法应用于飞行器,所述方法包括:
响应于飞行任务的控制指令,在执行飞行任务过程中采集任务数据;
将所述任务数据发送至车辆,所述任务数据用于生成显示信息,所述显示信息用于在所述车辆上显示,其中,所述车辆包括多个显示区域,多个所述显示区域位于所述车辆的不同位置,不同种类的飞行任务的任务数据生成的显示信息,显示在不同位置的所述显示区域上。
第三方面,本申请实施例提供了一种数据展示方法,所述方法应用于车辆,所述车辆包括位于不同位置的多个显示区域,所述方法包括:
获取飞行器执行飞行任务过程中采集的任务数据;
根据所述任务数据生成显示信息;
控制所述显示区域显示所述显示信息,其中,不同种类的飞行任务的任务数据生成的显示信息,显示在不同位置的所述显示区域上。
第四方面,本申请实施例提供了一种数据展示系统,包括车辆和飞行器,所述车辆与所述飞行器通信连接;
所述飞行器用于在执行飞行任务过程中,采集对应所述飞行任务的任务数据,并 将所述任务数据回传给所述车辆;
所述车辆用于根据所述任务数据生成显示信息,在显示区域显示所述显示信息,其中,不同种类的飞行任务的任务数据生成不同种类的显示信息。
本实施例可以根据实际需要控制飞行器执行不同的飞行任务,从而基于不同种类的飞行任务的任务数据生成不同种类的显示信息,满足用户的不同观看需求。
第五方面,本申请实施例提供了一种数据处理方法,应用于车辆,包括:
当飞行器固定于车辆,获取飞行器采集的第一交通信息和所述车辆的车载传感器采集的环境信息,将所述第一交通信息和所述车载传感器采集的环境信息融合,作为所述车辆的环境感知信息参考;
当所述飞行器执行飞行任务,获取所述飞行器采集的第二交通信息和所述飞行器在采集所述第二交通信息时的位姿信息,根据所述位姿信息将所述第二交通信息作为所述车辆的导航信息参考。
本实施例中,提供飞行器在车辆场景中的两种使用方式,当飞行器固定于车辆,其辅助车辆更全面地感知周围环境;当飞行器执行飞行任务,其为车辆提供超视距的导航参考,从而有利于提高车辆的驾驶安全性。
第六方面,本申请实施例提供了一种数据处理方法,应用于相机,所述方法包括:
在执行拍摄任务的过程中,检测所述相机是否与车辆连接;
若所述相机与所述车辆连接,将执行所述拍摄任务采集的图像发送给所述车辆;所述图像用于触发所述车辆使用所述图像识别用户手势或者检测驾驶员状态;所述用户手势至少用于控制与所述车辆通信连接的飞行器执行飞行任务;
若所述相机未与所述车辆连接,存储执行所述拍摄任务采集的图像。
本实施例中,提供一种可拆卸的相机在车辆场景中的使用方式,当相机与车辆连接时,可用于控制车辆或者飞行器。
第七方面,本申请实施例提供了一种飞行器的降落方法,包括:
响应于降落触发,查找待降落的车辆,并确定所述飞行器与所述待降落的车辆之间的相对位姿关系;
根据所述飞行器的运动信息和所述相对位姿关系估计所述待降落的车辆的预测运动信息,以规划所述飞行器的降落路径;
根据所述降落路径控制所述飞行器降落到所述车辆。
本实施例提供一种飞行器降落在运动的车辆上的方法,通过飞行器的运动信息、飞行器与待降落的车辆之间的相对位姿关系准确估计待降落的车辆的预测运动信息,进而规划较为精准的降落路径,实现飞行器精准降落在运动的车辆上。
第八方面,本申请实施例提供了一种飞行器,包括:
机身;
动力系统,设置于机身,用于为飞行器提供动力;以及,
一个或多个处理器,设置于机身,用于执行第二方面或第七方面任意一项所述的方法。
第九方面,本申请实施例提供了一种车辆,包括:
车身;
动力系统,设置于车身,用于为车辆提供动力;
位于不同位置的多个显示区域,用于显示飞行任务的显示信息;以及,
一个或多个处理器,设置于机身,用于执行第三方面或第五方面任意一项所述的方法。
第十方面,本申请实施例提供了一种相机,包括:
镜头组件,用于透过光线;
感光元件,用于将光线转换为电信号,生成图像;
存储器,用于存储图像;以及,
处理器,用于执行第六方面所述的方法。
第十一方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有可执行指令,所述可执行指令被处理器执行时实现第二方面、第三方面、第五方面、第六方面或第七方面任一项所述的方法。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据展示系统的示意图;
图2是本申请实施例提供的一种飞行器的结构示意图;
图3是本申请实施例提供的一种车辆的智能座舱的示意图;
图4是本申请实施例提供的一种不同用户手势及其含义的示意图;
图5A和图5B是本申请一个实施例提供的用户操纵不同输入设备的示意图;
图5C是本申请实施例提供的一种车辆中的不同显示区域的示意图;
图6是本申请实施例提供的一种交通信息采集任务的场景示意图;
图7是本申请实施例提供的交通信息采集任务的显示信息显示在HUD显示器的示意图;
图8是本申请实施例提供的另一种交通信息采集任务的场景示意图;
图9是本申请实施例提供的一种航拍任务的场景示意图;
图10A是本申请实施例提供的第二相机设置在车辆中的场景示意图;
图10B是本申请实施例提供的第二相机单独使用的场景示意图;
图11是本申请实施例提供的几种不同的视觉标志的示意图;
图12是本申请实施例提供的飞行器降落的处理逻辑示意图;
图13A和图13B是本申请实施例提供的数据展示系统的不同示意图;
图14是本申请实施例提供的一种数据采集方法的流程示意图;
图15是本申请实施例提供的一种数据展示方法的流程示意图;
图16是本申请实施例提供的一种数据处理方法的流程示意图;
图17是本申请实施例提供的另一种数据处理方法的流程示意图;
图18是本申请实施例提供的一种飞行器的降落方法的流程示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
针对于相关技术中的问题,本申请实施例提供了一种数据展示系统,请参阅图1,数据展示系统包括车辆100和飞行器200,车辆与飞行器通信连接;车辆包括位于不同位置的多个显示区域;飞行器能够执行不同种类的飞行任务,并采集对应飞行任务的任务数据;车辆能够基于飞行任务的不同种类,将不同种类的飞行任务的任务数据生成的显示信息显示在不同位置的显示区域,便于用户从不同位置的显示区域直观观看到显示信息,从而满足用户针对于不同种类的飞行任务的观看需求。
其中,对于本领域技术人员将会显而易见的是,可以不受限制地使用任何类型的 飞行器,本申请的实施例可以应用于各种类型的飞行器。例如,飞行器可以是小型或大型的飞行器。在某些实施例中,飞行器可以是旋翼飞行器(rotorcraft),例如,由多个推动装置通过空气推动的多旋翼飞行器,本申请的实施例并不限于此,飞行器也可以是其它类型的飞行器。
在一个示例性的实施例中,请参阅图2,所述飞行器200可以包括动力系统210、飞行控制系统220、机架和承载在机架上的云台230。飞行器200可以是行业应用飞行器,有循环作业的需求。
机架可以包括机身和脚架(也称为起落架)。机身可以包括中心架以及与中心架连接的一个或多个机臂,一个或多个机臂呈辐射状从中心架延伸出。脚架与机身连接,用于在飞行器200着陆时起支撑作用。
动力系统210可以包括一个或多个电子调速器(简称为电调)211、一个或多个螺旋桨213以及与一个或多个螺旋桨213相对应的一个或多个电机212,其中电机212连接在电子调速器211与螺旋桨213之间,电机212和螺旋桨213设置在飞行器200的机臂上;电子调速器211用于接收飞行控制系统220产生的驱动信号,并根据驱动信号提供驱动电流给电机212,以控制电机212的转速。电机212用于驱动螺旋桨旋转,从而为飞行器200的飞行提供动力,该动力使得飞行器200能够实现一个或多个自由度的运动。在某些实施例中,飞行器200可以围绕一个或多个旋转轴旋转。例如,上述旋转轴可以包括横滚轴(Roll)、偏航轴(Yaw)和俯仰轴(pitch)。应理解,电机212可以是直流电机,也可以交流电机。另外,电机212可以是无刷电机,也可以是有刷电机。
飞行控制系统220可以包括飞行控制器221和传感系统222。传感系统222用于测量飞行器的姿态信息,即飞行器200在空间的位置信息和状态信息,例如,三维位置、三维角度、三维速度、三维加速度和三维角速度等。传感系统222例如可以包括陀螺仪、超声传感器、电子罗盘、惯性测量单元(Inertial Measurement Unit,IMU)、视觉传感器、全球导航卫星系统和气压计等传感器中的至少一种。例如,全球导航卫星系统可以是全球定位系统(Global Positioning System,GPS)。飞行控制器221用于控制飞行器200的飞行,例如,可以根据传感系统222测量的姿态信息控制飞行器200的飞行。应理解,飞行控制器221可以按照预先编好的程序指令对飞行器200进行控制,也可以通过响应来自车辆的一个或多个遥控信号对飞行器200进行控制。
云台230可以包括电机232。云台用于携带拍摄装置233。飞行控制器221可以通过电机232控制云台230的运动。应理解,云台230可以独立于飞行器200,也可以为飞行器200的一部分。应理解,电机232可以是直流电机,也可以是交流电机。另外,电机232可以是无刷电机,也可以是有刷电机。还应理解,云台可以位于飞行器的顶部,也可以位于飞行器的底部。
拍摄装置233例如可以是相机或摄像机等用于捕获图像的设备,拍摄装置233可以与飞行控制器通信,并在飞行控制器的控制下进行拍摄。本实施例的拍摄装置233至少包括感光元件,该感光元件例如为互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)传感器或电荷耦合元件(Charge-coupled Device,CCD)传感器。可以理解,拍摄装置233也可直接固定于飞行器200上,从而云台230可以省略。
在一示例性的实施例中,车辆可以是载人车辆(如自动驾驶车辆)等,车辆一般包括有底盘、车身、发动机和电气设备。发动机是车辆的动力装置,用于产生动力;底盘用于支撑发送机和车身,并且底盘可以根据发动机产生的动力驱动车辆运动;车身安装在底盘的车架上,用以驾驶员、乘客乘坐或者装载货物;电气设备包括电源和用电设备,例如电源包括蓄电池和发电机,用电设备包括发动机的起动系或者其他用电装置。可选地,车辆还包括有车载传感器,用于感知车辆周围环境的环境信息。可 选地,车辆还包括有自动驾驶系统,用于辅助驾驶员驾驶。
在一些实施例中,请参阅图1,本申请实施例提供了一种数据展示系统,所述数据展示系统包括车辆100和飞行器200,所述车辆100与所述飞行器200通信连接;所述车辆100包括位于不同位置的多个显示区域。
所述飞行器200用于在执行飞行任务过程中,采集对应所述飞行任务的任务数据,并将所述任务数据回传给所述车辆100。
所述车辆100用于根据所述任务数据生成显示信息,控制所述显示区域显示所述显示信息,其中,不同种类的飞行任务的任务数据生成的显示信息,显示在不同位置的所述显示区域。
本实施例中,所述车辆100将不同种类的飞行任务的任务数据生成的显示信息显示在不同位置的所述显示区域,便于用户从不同位置的所述显示区域直观观看到所述显示信息,从而满足用户针对于不同种类的飞行任务的观看需求。
在一些实施例中,飞行器200可以放置在车辆100中,比如车辆100的车身设置有飞行器200停机坪,飞行器200可以放置在飞行器200停机坪中,并在准备执行飞行任务时,从飞行器200停机坪起飞以执行飞行任务,并在执行完飞行任务后降落到飞行器200停机坪中。有关于飞行器200起飞或者降落的过程将在下文中进行进一步描述。
在一些实施例中,车辆100用于向飞行器200发送飞行任务的控制指令;飞行器200用于响应于飞行任务的控制指令,执行飞行任务并采集对应飞行任务的任务数据。本实施例中,由车辆100产生用于控制飞行器200执行飞行任务的控制指令,提供一种飞行器200的新控制方式。
示例性的,车辆100包括至少一个输入设备;输入设备包括一个或多个外接输入设备、和/或一个或多个内置输入设备;控制指令可以由车辆100内的用户操纵内置输入设备或外接输入设备产生。本实施例中,在车辆100包括多个输入设备的情况下,用户可以根据实际需要选择方便使用的输入设备来控制飞行器200,满足用户的个性化使用需求。
可以理解的是,本申请实施例对于控制指令的控制内容不做任何限制,可依据实际应用场景进行具体设置。在一个例子中,控制指令用于控制飞行器200的飞行方向,如升高飞行高度、前/后/左/右移动等等。在另一个例子中,控制指令用于控制飞行器200采集图像,控制相机姿态角度(Yaw、Roll、Pitch)。在又一个例子中,控制指令用于控制飞行器200从车辆100起飞或者降落在车辆100上。
在一示例性的实施例中,内置输入设备可以包括以下任一种:内置的第一相机、语音采集部件、中控屏或者方向盘控件;外接输入设备可以包括以下任一种:遥控终端、体感遥控器、或者通过可插拔接口与车辆100通信连接的第二相机;用户可以根据实际需要选择其中一种输入设备来控制飞行器200,从而方便用户使用。
示例性的,请参阅图3,图3示出了车辆100的智能座舱的示意图,输入设备和显示区域可以设置在智能座舱中。如输入设备包括(3)方向盘控件、(5)相机和(7)体感遥控器,其中,方向盘控件可以是虚拟控件也可以是实体控件;相机可以是内置的第一相机或者通过可插拔接口与车辆100通信连接的第二相机。如显示区域包括(1)HUD(Head Up Display)显示器、(2)3D仪表板、(4)中控屏A区和(6)中控屏B区;其中,中控屏A区和中控屏B区为中控屏的两个不同显示区域,其可以显示相同的内容,也可以显示不同的内容。当然,图3为举例说明,并不构成对输入设备和显示区域的限制。
可选地,在输入设备有多个的情况下,为了避免同时使用至少两个输入设备导致同时生成多个相同或者存在冲突的控制指令影响了飞行器200的飞行安全性,则可以设置对于在同一时刻生成的相同或者彼此有冲突的控制指令无效,从而保证控制指令的有序生成,以及飞行器200对控制指令安全有序地执行。
示例性的,比如在包括两个输入设备的情况下,用户A操纵输入设备1以控制飞行器 200前进(此时车辆100生成第一控制指令),同时用户B操纵输入设备2以控制飞行器200后退(此时车辆100生成第二控制指令),第一控制指令和第二控制指令冲突,第一控制指令和第二控制指令无效;又或者用户A操纵输入设备1控制飞行器200前进,同时用户B操纵输入设备2也控制飞行器200前进,两者产生的控制指令相同,则做无效处理,不发送给飞行器200。而在其他情况下,由用户操纵输入设备产生的控制指令均是有效的,比如用户A操纵输入设备1控制飞行器200前进,同时用户B操纵输入设备2控制飞行器200拍照,两者产生的控制指令不相同也不冲突,可以发送给飞行器200。
在一些实施例中,外接输入设备能够直接与飞行器200通信连接,比如遥控终端可以与飞行器200直接通信连接,遥控终端可以根据用户在遥控终端上针对于飞行器200的操纵行为生成控制指令并直接发送给飞行器200,无需通过其他设备中转。或者,外接输入设备也可以通过车辆100与飞行器200通信连接;在一个例子中,比如可以将车辆100作为中转站,遥控终端可以将生成的控制指令经由车辆100转发给飞行器200;在另一个例子中,外接输入设备也可以将采集到的用户操纵数据(比如相机采集到的用户图像、遥控终端接收到的操作数据等)发送给车辆100,由车辆100根据用户操纵数据生成控制指令,并发送给飞行器200。
在一可能的实施方式中,控制指令可以根据内置的第一相机和/或通过可插拔接口与车辆100通信连接的第二相机采集的用户手势产生,比如第一相机和/或第二相机可以被设置在朝向车辆100内的座位的位置,使得第一相机和/或第二相机的拍摄范围包含车辆100内的座位范围,则当用户坐在车辆100内的座位上时,第一相机和/或第二相机能够采集到用户图像,进而识别用户图像获得用户手势,根据用户手势所指示的含义生成对应的控制指令。
可以理解的是,不同的用户手势所表示的含义可依据实际应用场景进行具体设置,本实施例对此不做任何限制。在一个例子中,请参阅图4,图4示例性示出了不同的手势所表示的含义。比如在图4中,用户示出“拇指朝上”的手势,车辆100在通过内置的第一相机和/或通过可插拔接口与车辆100通信连接的第二相机采集到该用户手势之后,可以生成上升控制指令并发送给飞行器200,由飞行器200基于上升控制指令执行上升飞行动作。
示例性的,为了提高飞行器200控制的安全性,在从用户图像中识别用户手势以控制飞行器200之前,还可以先根据用户图像进行用户身份验证,比如可以根据用户图像进行人脸识别以及验证,在验证成功的情况下根据从用户图像中识别的用户手势控制飞行器200,从而有利于提高飞行器200的使用安全性。
在一可能的实施方式中,控制指令可以根据语音采集部件采集的语音信号产生,比如车辆100在获得语音采集部件采集的语音信号之后,对语音信号进行语音识别以获得语义内容,进而根据语义内容生成控制指令。本实施例中通过语音控制方式有利于让用户专注于驾驶,在控制飞行器200的同时保证车辆100驾驶安全性。
在一可能的实施方式中,控制指令可以根据中控屏、方向盘控件和遥控终端中的一种或多种接收的操作数据生成。在一个例子中,请参阅图5A以及图5B,示出了车辆100中的中控屏101和方向盘控件102,在图5A中,用户可以操作中控屏10以控制飞行器200,在图5B中,用户可以操作方向盘控件20以控制飞行器200。
在一可能的实施方式中,控制指令可以根据体感遥控器采集的体感数据生成。示例性的,体感遥控器包括有档杆,用户可以操作档杆以实现对飞行器200的控制。
在一些实施例中,为了保证飞行器200的飞行安全性,在执行飞行任务的过程中,飞行器200与车辆100之间的距离保持在预设距离范围内,预设距离范围可以根据飞行器200和车辆100之间的通讯距离确定,从而保证飞行器200和车辆100始终保持通讯,避免飞行器200失联丢失。比如飞行器200可以将自身的位置信息实时发送给车辆100(实时发送指的是以预设的频率发送位置信息,比如以飞行器200以每秒50次的频率发送飞行器 200当前获取到的最新的位置信息),车辆100也可以基于自身的卫星定位模块获知自身的位置,根据飞行器200的位置和车辆100的位置确定飞行器200与车辆100之间的距离,如果飞行器200与车辆100之间的距离超出预设距离范围,车辆100可以控制车辆100本体减速运动,以保证飞行器200与车辆100之间的距离保持在预设距离范围内,避免飞行器200失联丢失。
可选地,车辆100还可以控制飞行器200加速运动,以保证飞行器200与车辆100之间的距离保持在预设距离范围内,避免飞行器200失联丢失。
在一些实施例中,飞行器200可以在不同的场景中执行不同的飞行任务。比如在辅助驾驶场景中,飞行器200可以执行交通信息采集任务,在执行交通信息采集任务中采集的任务数据可以是交通信息。比如在出游场景中,飞行器200可以执行航拍任务,在执行航拍任务中采集的任务数据可以是航拍数据。比如在游戏体验场景中,飞行器200可以执行飞行游戏任务,在执行航拍任务中采集的任务数据可以是实时图传画面、实时音频数据或者实时音视频数据。
可以理解的是,在飞行器200从车辆100上起飞之后,飞行器200可以执行完一个飞行任务之后降落到车辆100,也可以在执行完两个或两个以上不同的飞行任务之后降落到车辆100,本实施例对此不做限制。
在一些实施例中,飞行器200设置有一种或多种传感器,不同种类的飞行任务的任务数据可以使用不同类型的传感器采集。不同类型的传感器可以包括采集的数据类型不同的传感器,比如相机用于采集图像数据,加速度传感器用于采集加速度数据,两种传感器的类型不同。或者,传感器是用于将一种形式的能量转换成另一种形式的电子设备,不同类型的传感器可以包括处理不同类型的能量的传感器,比如相机用于将光信号转化为电信号,音频采集部件用于将声音信号转化为电信号,两种传感器的类型不同。
可以理解的是,不同种类的飞行任务中用于采集任务数据的传感器也可以有部分相同,本实施例对此不做任何限制。
示例性的,传感器包括以下一种或多种:至少一个相机、一个或多个用于感知周围环境的传感器或者至少一个音频采集部件。示例性的,至少一个相机可以通过云台搭载于飞行器200中。用于感知周围环境的传感器包括但不限于激光雷达、视觉传感器、毫米波雷达或者超声波传感器等等。
飞行任务包括如下一种或者多种任务:航拍任务、交通信息采集任务或者飞行游戏任务。其中,航拍任务可以使用至少一个相机来采集航拍数据;交通信息采集任务可以使用至少一个相机和一个或多个用于感知周围环境的传感器来采集交通信息;飞行游戏任务可以使用至少一个相机来采集实时画面,或者使用至少一个音频采集部件采集实时音频数据,或者使用少一个相机和至少一个音频采集部件来采集实时音视频数据。本实施例中,用户可以根据实际需求控制飞行器200执行不同种类的飞行任务,从而获得不同类型的任务数据。
其中,飞行游戏任务和航拍任务对于至少一个相机采集的数据的实时性要求不同,飞行游戏任务的实时性要求高于航拍任务的实时性要求。
在一些实施例中,考虑到不同种类的飞行任务针对于用户的不同需求产生,则不同种类的飞行任务的飞行轨迹也有所不同。比如有的飞行任务的飞行轨迹可以是预先设定的,有的飞行任务的飞行轨迹是在用户的控制下实时生成。
在一可能的实施方式中,航拍任务的飞行轨迹可以根据以下任一种方式获得:根据车辆100的位置设定飞行轨迹、或者根据选定的拍摄区域规划飞行轨迹。本实施例中,航拍任务的飞行轨迹可以是根据车辆100位置或者选定的拍摄区域设定好的飞行轨迹,用户通过车辆100的输入设备控制飞行器200起飞之后,飞行器200可以按照设定好的飞行轨迹自动执行航拍任务,无需用户实时操作,减少了用户的操作步骤,提高用户使用体验。
在一个例子中,可以将车辆100确定为跟随对象,从而可以根据车辆100的位置设定 跟随车辆100的飞行轨迹,在跟随车辆100飞行的过程中,飞行器200和车辆100之间的距离可以保持在预设距离范围内,比如预设距离范围可以根据车辆100在拍摄画面中的预设成像尺寸所确定,从而保证获取符合要求的航拍数据。
在另一个例子中,车辆100预存有多种轨迹模式,比如倒飞模式,环绕飞行模式、螺旋飞行模式、冲天飞模式或者彗星飞行模式等,用户可以根据实际需要在车辆100的输入设备中选定拍摄区域和目标轨迹模式,进而车辆100或者飞行器200可以根据选定的拍摄区域和目标轨迹模式确定飞行器200的飞行轨迹。
比如在倒飞模式中,飞行器200可以在选定的拍摄区域内相对于目标物(比如车辆100或者可以是用户选定的其他物体)向斜上方飞行,在起始点处飞行器200拍摄目标物的特写;在终点处飞行器200以斜上方俯拍的方式拍摄目标物所处的环境全景。
比如在环绕飞行模式中,飞行器200可以在选定的拍摄区域内相对于目标物环绕一周飞行。飞行器200的飞行轨迹大致为圆形轨迹。在整个圆形轨迹上,飞行器200拍摄目标物的360°特写。
比如在螺旋飞行模式中,飞行器200可以在选定的拍摄区域内相对于目标物螺旋向外飞行。飞行器200的飞行轨迹为螺旋形曲线。在一个示例中,该螺旋形曲线可以为菲波那切数列定义的螺旋形。在起始点处飞行器200拍摄目标物的特写;在中间点和终点处,飞行器200分别从前后方以俯拍的方式拍摄目标物所处的环境全景。
比如在冲天飞模式中,飞行器200可以在选定的拍摄区域内相对于目标物向上方飞行。飞行器200的飞行轨迹大致为L形曲线。在起始点处飞行器200拍摄目标物的特写;在终点处飞行器200以正上方俯拍的方式拍摄目标物所处的环境全景。
比如在彗星飞行模式中,飞行器200可以在选定的拍摄区域内相对于目标物环绕一周然后沿斜上方飞出。飞行器200的飞行轨迹类似于彗星飞行轨迹。在起始阶段,飞行器200拍摄目标物的近360°特写;在结束阶段,飞行器200分别以斜上方俯拍的方式拍摄目标物所处的环境全景。
在一可能的实施方式中,交通信息采集任务的飞行轨迹根据以下任一种方式获得:根据车辆100的导航信息设定飞行轨迹、或者根据在导航界面中选定的区域规划飞行轨迹。本实施例利用车辆100的导航信息或者导航界面中选定的区域进行飞行轨迹的设定,使得飞行器200在设定的飞行轨迹飞行的过程中能够采集到有利于车辆100安全驾驶的有效交通信息。
在一个例子中,车辆100的导航信息包括有车辆100规划路径中未行使的路段,车辆100或者飞行器200可以根据车辆100未行使的路段来设定飞行器200的飞行轨迹,以便飞行器200沿着飞行轨迹对车辆100未行使的路段进行交通信息采集,则车辆100可以基于飞行器200采集的交通信息重新规划导航路径。
在另一个例子中,用户可以在车辆100的导航界面中选定待探测的区域,比如停车场,可以根据选定的停车场规划飞行轨迹,以便飞行器200沿着飞行轨迹对停车场区域进行交通信息采集,则车辆100可以基于飞行器200采集的交通信息获知停车场区域内的车位占用情况,并且可以规划出到达空车位的导航路径。
在一可能的实施方式中,飞行游戏任务的飞行轨迹可以根据实时的控制指令生成,即在飞行游戏任务中,用户可以实时操纵车辆100中的输入设备(如内置输入设备或者外接输入设备),进而车辆100根据用户的操纵行为生成实时的控制指令并发送给飞行器200,飞行器200可以基于实时的控制指令飞行,并在飞行过程中利用至少一个相机和/或至少一个音频采集部件采集实时的音/视频数据。
可选地,为了保证飞行器200在执行飞行游戏任务时的安全性,飞行游戏任务的飞行轨迹位于预设空间范围内。比如预设空间范围是停车场或者其他可以进行飞行游戏的空间。
在一些实施例中,考虑到不同种类的飞行任务针对于用户的不同需求产生,则在不同种类的飞行任务中,用户期望看到的显示信息的种类也有所不同。示例性的,由不同种类 的传感器采集的任务数据分别生成的显示信息的种类不同,比如飞行器200中设置有相机和激光雷达等不同的传感器,由相机采集的图像数据生成的显示信息和由激光雷达采集的点云生成的显示信息属于不同种类。示例性的,对相同或者不同的任务数据进行了不同地处理,获得的显示信息的种类也是不同的,比如对图像数据分别进行剪辑处理和语义识别两种不同处理,分别得到的显示信息属于不同种类。示例性的,如果两种显示信息所起的作用不用,则属于不同种类的显示信息,比如交通信息采集任务的显示信息用于辅助安全驾驶,航拍任务的显示信息用于拍照纪念,两者属于不同种类的显示信息。
在一可能的实施方式中,航拍任务采集的任务数据可以是由至少一个相机采集的航拍数据,则车辆100可以基于航拍数据生成航拍影像并显示在显示区域中。航拍影像可以是未经过编辑的航拍视频或者图像,也可以是使用预设的剪辑模板对航拍数据进行编辑后得到的航拍视频或者图像。
在一可能的实施方式中,交通信息采集任务的任务数据可以是由至少一个相机和一个或多个用于感知周围环境的传感器采集的交通信息,则车辆100可以基于交通信息生成路况感知信息并显示在显示区域中。示例性的,路况感知信息包括但不限于交通环境的环境模型、目标物的位置标记、障碍物的位置标记、指向目标物的导航指示信息、或者指向目的地的导航指示信息等等。其中,交通环境的环境模型可以是基于交通信息生成的当前交通环境的地图或者三维模型等;目标物包括但不限于停车场中的车位、道路中的路面标记、车道线或者可行驶区域等,障碍物包括但不限于其他车辆100、动态物体如行人、电动车或者小动物等。
示例性的,车辆100可以根据交通信息确定交通环境中目标物的位置,进而根据目标物的位置获得目标物的位置标记,则车辆100的显示区域可以显示目标物的位置标记,为了进一步明确目标物所在位置,还可以将目标物的位置标记与地图叠加显示,比如车辆100的显示区域可以显示叠加了目标物的位置标记的地图;或者也可以将目标物的位置标记与基于交通信息生成的当前交通环境的三维模型叠加显示,本实施例对此不做任何限制。其中,所述地图可以是基于交通信息生成的当前交通环境的地图,也可以是车辆100基于自身的卫星定位模块从其他平台中获取的地图。
示例性的,车辆100可以根据交通信息采集任务采集到的交通信息确定交通环境中目标物的位置,进而根据目标物的位置生成指向目标物的导航指示信息,并将指向目标物的导航指示信息显示在车辆100的显示区域中。在一个例子中,比如在停车场场景中,目标物为空车位,指向目标物的导航指示信息可以是前往空车位的导航路径。在另一个例子中,比如在停车场场景中,目标物为停车场出口,指向目标物的导航指示信息可以是前往停车场出口的导航路径。
在一可能的实施方式中,飞行游戏任务的任务数据可以是使用所述至少一个相机采集的实时画面和/或所述至少一个音频采集部件采集的实时音频,则车辆100可以根据实时画面结合预设渲染规则生成的游戏画面,或者根据实时音视频数据结合预设渲染规则生成的带音效的游戏画面,或者根据实时音频数据结合预设渲染规则生成的游戏音效。
在一些的实施例中,考虑到用户对于不同种类的飞行任务的任务数据生成的显示信息的观看需求不同,因此可以将不同种类的飞行任务的任务数据生成的显示信息显示在不同位置的显示区域上,从而便于用户观看。在一个例子中,请参阅图5C,图5C示出了位于不同位置的5个显示区域103,车辆100在接收飞行器200返回的任务数据之后,可以根据任务数据生成显示信息,然后将不同种类的飞行任务的显示信息显示在不同位置的显示区域上。
示例性的,位于不同位置的多个显示区域可以包括内置的显示设备或者外接的显示设备,所述内置的显示设备包括但不限于中控屏、HUD显示器、仪表板、或者设置在乘客座位前方的显示器等;外接的显示设备包括但不限于遥控终端或者头戴式设备等。其中,外接的显示设备能够直接与飞行器200通信连接,无需经过其他中转设备;或者,外接的显 示设备也可以通过车辆100与飞行器200通信连接。在一个例子中,请参阅图3,图3示出了位于不同位置的显示区域,如(1)HUD(Head Up Display)显示器、(2)3D仪表板、(4)中控屏A区和(6)中控屏B区。
在一个例子中,交通信息采集任务的显示信息可以显示在中控屏或者HUD显示器,航拍任务的显示信息可以显示在中控屏、HUD显示器、遥控终端或者头戴式设备中,飞行游戏任务的显示信息可以显示在HUD显示器或者头戴式设备中。在另一个例子中,在中控屏包括至少两个显示区域的情况下(如图3所示),中控屏的不同显示区域也可以显示不同种类的交通信息采集任务的显示信息,比如在图3中,交通信息采集任务的显示信息显示在中控屏A区,航拍任务的显示信息显示在中控屏B区。
在一可能的实施方式中,多个显示区域的特定属性的属性值不同;特定属性包括以下一种或者多种:亮度、分辨率或帧率等。示例性的,多个显示区域包括位于不同位置的第一显示区域和第二显示区域;第一显示区域的特定属性的属性值优于第二显示区域的特定属性的属性值。则针对于不同种类的飞行任务对应的不同种类的显示信息,可以根据显示信息的显示要求显示在不同的显示区域中,比如飞行游戏任务的显示信息对于显示区域的特定属性有更高的要求,而航拍任务对应的显示信息对于显示区域的特定属性要求相对不高,则可以将飞行游戏的显示信息显示在第一显示区域,将航拍任务的显示信息显示在第二显示区域。当然,还可以包括第三显示区域、第四显示区域等,本实施例不做任何限制。可以根据实际需要选择不同显示性能的显示区域来显示不同种类的飞行任务的显示信息。
在一可能的实施方式中,多个显示区域包括位于不同位置的第一显示区域和第二显示区域。第一显示区域可以包括用于透过环境光线的透光区和用于显示所述显示信息的展示区,透光区和展示区存在至少部分重叠,即第一显示区域可以为透明或者半透明的显示区域,比如第一显示区域为HUD显示器,用户除了可以看到显示信息之外,还可以透过第一显示区域看到车辆100周围环境。示例性的,第一显示区域可以位于车辆100的前窗或者位于驾驶位的前方,从而方便驾驶员在兼顾驾驶的同时可以直观看到显示信息。第二显示区域包括不透明的展示区,该展示区可以显示飞行任务的显示信息。例如所述第二区域可以是中控屏、设置在乘客座位前方的显示屏、遥控终端或者头戴式设备等。
针对于不同种类的飞行任务的显示信息,可以根据显示信息对于安全驾驶的参考程度,将不同种类的飞行任务的显示信息显示在不同的显示区域中,比如交通信息采集任务的显示信息对于安全驾驶的参考程度最高,而航拍任务对应的显示信息对于安全驾驶的参考程度相对来说不高,可以考虑将交通信息采集任务的显示信息显示在第一显示区域,将航拍任务的显示信息显示在第二显示区域。
在一可能的实施方式中,多个显示区域包括位于不同位置的第一显示区域和第二显示区域;所述第二显示区域与驾驶位头枕的连线方向和所述车辆100的前进方向之间的夹角,大于,所述第一显示区域与驾驶位头枕的连线方向和所述车辆100的前进方向之间的夹角。即是说,第一显示区域设置在更为方便驾驶员观看的位置,驾驶员在驾驶车辆100的过程中,观看第一显示区域所需的视线方向调整程度小于观看第二显示区域所需的视线方向调整程度,使得驾驶员在兼顾驾驶的同时可以直观方便地看到显示信息,有利于保证驾驶安全性。示例性的,所述第一显示区域可以是HUD显示器,仪表板;第二显示区域可以是中控屏、或者设置在乘客座位前方的显示器等等。示例性的,在中控屏包括至少两个显示区域的情况下(如图3所示),第一显示区域可以是中控屏中靠近驾驶员的显示区域(比如图3中的中控屏A区),第二显示区域可以是中控屏中远离驾驶员的显示区域(比如图3中的中控屏B区)。
在一示例性的实施例中,可以基于不同种类的飞行任务对于车辆100驾驶安全的参考程度将不同种类的飞行任务对应的显示信息显示在用户关注程度不同的显示区域。上述提到,第一显示区域为用户方便且直观看到的区域,则用户对第一显示区域的关注程度更高,对第二显示区域的关注程度次之。因此可以将与车辆100驾驶安全强相关的飞行任务对应 的显示信息显示在第一显示区域,将与车辆100驾驶安全弱相关的飞行任务对应的显示信息显示在第二显示区域。本实施例中将与驾驶安全相关的显示信息显示在驾驶员可以方便看到的第一显示区域,有利于进一步提高驾驶安全性。
以航拍任务和交通信息采集任务为例,考虑到交通信息采集任务对应的显示信息与车辆100驾驶安全息息相关,则可以将交通信息采集任务对应的显示信息显示在驾驶员可以直观看到的位置,比如所述交通信息采集任务对应的显示信息显示在驾驶员主要关注的所述第一显示区域,比如所述第一显示区域为HUD显示器或者图3中的中控屏A区;而航拍任务对应的显示信息与车辆100驾驶安全的关联性不高,则可以将航拍任务对应的显示信息显示在驾驶员次要关注的第二显示区域,比如第二显示区域为图3中的中控屏B区、设置在乘客座位前方的显示器或者遥控终端等。
在一示例性的实施例中,车辆100在根据飞行任务的任务数据生成显示信息(为方便区分,以下称为第一显示信息)之后,如果车辆100当前没有显示其他飞行任务的显示信息(以下称为第二显示信息)的需求,则可以将第一显示信息直接显示在用户关注程度最高且可以直观看到的第一显示区域,后续如果车辆100需要显示其他飞行任务的第二显示信息,并且第二显示信息与车辆100驾驶安全强相关而第一显示信息与车辆100驾驶安全弱相关,则可以将第二显示信息显示在驾驶员主要关注的第一显示区域,将第一显示信息切换到驾驶员次要关注的第二显示区域中进行显示。本实施例中实现显示信息的灵活切换,有利于满足用户的观看需求。
以航拍任务和交通信息采集任务为例,飞行器200在执行航拍任务过程中采集任务数据(例如航拍数据)并回传给车辆100,车辆100根据任务数据生成显示信息(例如航拍影像),如果车辆100在执行航拍任务之前并未执行交通信息采集任务,也即没有生成交通信息采集任务对应的显示信息,则车辆100可以将所述航拍任务对应的显示信息显示在第一显示区域;如果飞行器200在执行完航拍任务之后继续执行交通信息采集任务,或者飞行器200在执行拍任务的过程中兼顾执行交通信息采集任务,飞行器200采集了交通信息采集任务的任务数据(例如交通信息)并回传给车辆100,车辆100根据交通信息采集任务的任务数据生成显示信息之后,考虑到交通信息采集任务的显示信息与车辆100驾驶安全强相关,其显示优先级比航拍任务的显示信息的显示优先级更高,则可以将所述交通信息采集任务对应的显示信息显示在用户关注程度最高且可以直观看到的第一显示区域,并将所述航拍任务对应的显示信息切换显示在用户次要关注的第二显示区域。
在一示例性的实施例中,同一飞行任务对应的显示信息也可以同时或者不同时显示在不同的显示区域中。以交通信息采集任务为例,交通信息采集任务的任务数据包括交通信息中的交通信息,比如车辆100可以根据从所述交通信息中提取的目标物的位置信息和类型信息生成显示信息。在一个例子中,比如所述目标物为车位,所述类型信息表示车位的占据状态,包括“占有”类型和“未占有”类型(即空车位)。在另一个例子中,比如所述目标物为交通标记(如红绿灯),所述类型信息表示红路灯的不同颜色,比如红灯类型、绿灯类型和黄灯类型。
车辆100可以将交通信息采集任务对应的显示信息显示在第一显示区域,例如第一显示区域为HUD显示器,其中,所述显示信息在所述第一显示区域中的展示位置根据交通环境中所述目标物与所述车辆100的相对位置关系确定,从而保证显示信息能够与用户透过第一显示区域的透光区看到的车辆100周围环境吻合显示,实现为用户提供准确的引导信息。
车辆100也可以将交通信息采集任务对应的显示信息显示在第二显示区域,例如第二显示区域为中控屏,其中,所述显示信息在所述第二显示区域中的展示位置根据所述目标物的位置信息和所述第二显示区域指示的物体展示比例确定。所述物体展示比例可以是指在第二显示区域展示的当前交通环境的地图或者三维模型的展示比例,从而保证显示信息能够与当前交通环境的地图或者三维模型吻合显示,实现为用户提供准确的引导信息。
在一示例性的实施例中,这里对交通信息采集任务进行示例性说明:
在一种可能的实施方式中,在停车场场景中,请参阅图6,在(a)图中,搭载有飞行器200的车辆100在道路中行驶,若检测到车辆100已行驶至目的地附近,车辆100可以输出是否让飞行器200执行交通信息采集任务的提示信息,提示信息可以是视觉信息或者听觉信息,该交通信息采集任务用于让飞行器200对目的地附近的停车场进行探测,通过飞行器200的探测数据可以明确停车场内的车位占据情况以便寻找空车位。车辆100中包括有至少一个输入设备,比如在图6中(b)图中,用户可以操作中控屏以确认让飞行器200执行交通信息采集任务,车辆100可以生成交通信息采集任务的控制指令并发送给飞行器200。可选地,停车场也可以是用户在导航界面中选定的。
在图6的(c)图中,飞行器200可以响应于控制指令从车辆100的指定位置(比如车顶)起飞以执行交通信息采集任务,其中,交通信息采集任务的飞行轨迹在停车场所在区域内规划得到,比如飞行轨迹可以是覆盖停车场的弓字型轨迹。飞行器200在按照规划的飞行轨迹飞行的过程中采集任务数据并回传给车辆100,比如任务数据可以是停车场的环境信息。
车辆100可以根据任务数据创建停车场地图,并且可以通过任务数据了解到停车场中车位的占据情况并确定空车位的位置,然后可以根据空车位的位置规划车辆100的导航路径,以使车辆100能够基于导航路径前往空车位所在位置。比如在图6的(d)图中,可以在车辆100的显示区域(如车辆100的中控屏)显示叠加有空车位的位置标志和导航路径的停车场地图。可选地,车辆100也可以基于自身的卫星定位模块从其他平台中获取停车场地图,本实施例对此不做任何限制。在用户确认按照导航路径进行泊车的情况下,如图6的(e)图所示,车辆100可以基于导航路径行驶至空车位处,完成泊车行为。本实施例通过飞行器200对于停车场的探测有利于快速找到空车位,提高泊车效率。
可选地,请参阅图7,显示区域包括HUD显示器,在根据任务数据生成显示信息之后,车辆100也可以在HUD显示器中显示所述显示信息,例如显示信息可以包括空车位所在位置的标注信息(如图7中的A),空车位的车位标注信息(如图7中的B),指向空车位的全局导航路径(如图7中的C)和指向空车位的当前导航路径(如图7中的D)。其中,显示信息在HUD显示器中的展示位置可以根据交通环境中物体(空车位、其他车辆100、建筑物或者树木等)与车辆100的相对位置关系确定,从而使得显示信息能够与用户透过HUD显示器看到的车辆100周围环境吻合显示,实现为用户提供准确的引导信息。
可选地,在用户想要从停车场前往下一个目的地时,用户也可以通过车辆100控制飞行器200执行交通信息采集任务,该交通信息采集任务采集的任务数据包括车辆100与停车场出口之间的区域的环境信息,则车辆100可以根据该任务数据生成车辆100与停车场出口之间的区域的地图,确定停车场出口的位置,并根据停车场出口的位置获取指向停车场出口的导航指示信息(比如可以是指向停车场出口的导航路径),进而可以在显示区域中(比如中控屏或者HUD显示其)显示叠加有停车场出口标记和/或导航路径的地图;可选地,车辆100也可以基于自身的卫星定位模块从其他平台中获取停车场地图,本实施例对此不做任何限制。
在另一种可能的实现方式中,交通信息采集任务用于对车辆100的规划路径中的未行使路段进行探测,确定车辆100未行使路段的交通情况。请参阅图8,如图8的(a)图所示,车辆100在行驶过程中如果遇到堵车情况,由于车辆100的探测范围有限,无法探测到前方发生拥堵的原因,如图8的(b)图所示,用户可以通过车辆100的中控屏控制飞行器200执行交通信息采集任务,比如车辆100可以向飞行器200发送交通信息采集任务的控制指令。当然,也可以操纵其他输入设备(如方向盘控件、体感遥控器或者相机等)以生成控制指令。如图8的(c)图所示,飞行器200从车辆100的指定位置(比如车顶)起飞以执行交通信息采集任务,该交通信息采集任务的任务数据包括车辆100未行使路段的交通信息,然后飞行器200将采集的任务数据回传给车辆100。
车辆100可以根据任务数据生成显示信息,如图8的(d)图所示,比如所述显示信息可以包括车辆100未行使路段中的障碍物(如其他车辆100)的位置标记,进而可以在车辆100的显示区域(如中控屏)显示叠加有障碍物(如其他车辆100)的位置标记的地图,该地图包括车辆100未行使路段的地图,通过在显示区域中显示的内容可以让用户明确车辆100未行使路段前方发生拥堵的原因,以便车辆100重新规划去往目的地的导航路径,避开拥堵路段。如图8的(e)图所示,在飞行器200执行完交通信息采集任务之后,用户可以通过车辆100的输入设备(如方向盘控件)控制飞行器200降落,相应地,车辆100可以生成发送给飞行器200的降落控制指令,如图8的(f)图所示,飞行器200可以响应于降落控制指令降落到车辆100的车顶。本实施例实现通过飞行器200执行交通信息采集任务,提前观测超越车辆100与人类视觉范围外的风险因素,以便车辆100后续进行自动化或自主决策规划下一步驾驶任务。飞行器200空中客观拍摄,可以反映更真实且无干扰的人类驾驶行为,并且可以更高效采集特定路段、特殊驾驶场景数据,如上下匝道、频繁加塞等。
在一示例性的实施例中,这里对航拍任务进行示例性说明:请参阅图9,如图9的(a)图和(b)图所示,在驾车出游场景中,如果用户(可以是驾驶员或者乘客)想要记录沿途风景,可以通过操纵车辆100中的输入设备(如中控屏、方向盘控件、音频采集部件、遥控终端、体感遥控器或者相机等)控制飞行器200从车辆100中起飞以执行航拍任务,相应的,车辆100基于用户操纵输入设备生成航拍任务的控制指令并发送给飞行器200。
如图9的(c)图所示,假设所述航拍任务的飞行轨迹基于车辆100的位置设定,比如是跟随车辆100的飞行轨迹,则飞行器200在执行航拍任务的过程中跟随车辆100进行拍摄,获得航拍任务的任务数据(如航拍数据)并回传给车辆100。可选地,在拍摄过程中飞行器200可以通过预设的相机AI算法调整拍摄的图像或者视频的构图,从而有利于提高显示效果。如图9的(d)图所示,车辆100可以根据航拍数据生成航拍影像,比如车辆100可以使用预设的剪辑模板对航拍数据进行编辑获得航拍影像,并在车辆100的显示区域(如中控屏)中显示。可选地,用户还可以将航拍影响分享至第三方社交平台。如图9的(e)图所示,在飞行器200执行完航拍任务之后,用户可以通过车辆100的输入设备(如方向盘控件、中控屏、语音控制、或者手势控制等等)控制飞行器200降落,相应地,车辆100可以生成发送给飞行器200的降落控制指令,如图9的(f)图所示,飞行器200可以响应于降落控制指令降落到车辆100的车顶。本实施例实现在自动驾驶状态下,用户随时随地(除限飞区外)都可以通过车辆100控制飞行器200执行航拍任务,高效完成摄像作品,提高用户的使用体验。
在一示例性的实施例中,这里对飞行游戏任务进行示例性说明:为了提高飞行游戏任务的安全性,飞行游戏任务在预设空间范围内进行,比如预设空间范围是停车场或者其他可以进行飞行游戏的空间;或者飞行游戏任务在车辆100的行驶速度低于预设值(比如20km/h)或者处于非行驶状态的情况下执行。当用户处于车辆100空间中,用户可以通过车辆100中的输入设备控制飞行器200(如FVP飞行器200)从车辆100起飞以执行飞行游戏任务,如驾驶员可以通过中控屏、方向盘控件、体感遥控器、相机(手势控制)或者音频采集部件(语音控制)等输入设备控制飞行器200,乘客可以通过遥控终端、体感遥控器、相机(手势控制)或者音频采集部件(语音控制)等输入设备控制飞行器200。相应的,车辆100可以向飞行器200发送飞行游戏任务的实时控制指令,飞行器200基于实时控制指令执行飞行游戏任务,采集实时画面并回传给车辆100。车辆100可以根据实时画面结合预设的渲染规则生成游戏画面,比如游戏画面可以是叠加了速度、飞行轨迹或者虚拟信息(如虚拟金币,虚拟人物等)的实时画面,进而车辆100可以将游戏画面显示在显示区域中,例如可以将显示信息显示在HUD显示器中或者显示在头戴式设备中,用户可以进行沉浸式飞行器200控制/观看的飞行体验。
在一些实施例中,当飞行任务对应的显示信息所在的显示区域不是固定的,用户也可 以基于实际需要将飞行任务对应的显示信息切换显示到其他显示区域。车辆100包括有至少一个输入设备,输入设备包括一个或多个外接输入设备、和/或一个或多个内置输入设备;可以由车辆100内的用户操纵内置输入设备或外接输入设备产生切换控制指令,则车辆100响应于显示切换指令,将显示信息切换显示在其他显示区域。本实施例中,用户可以根据自身的实际需要将显示信息切换到期望的显示区域中显示,满足用户的个性化需求。
其中,内置输入设备包括以下任一种:内置的第一相机、语音采集部件、中控屏或者方向盘控件;外接输入设备包括以下任一种:遥控终端、体感遥控器、或者通过可插拔接口与车辆100通信连接的第二相机。切换控制指令可以根据输入设备采集的以下任一种数据产生:第一相机和/或第二相机采集的用户手势;语音采集部件采集的语音信号;中控屏、方向盘控件和遥控终端中的一种或多种接收的操作数据;或者体感遥控器采集的体感数据。
以手势控制为例,所述车辆100设置有相机(如内置的第一相机和/或通过可插拔接口与车辆100通信连接的第二相机),车辆100可以获取相机采集的用户图像,根据从所述用户图像中识别的用户手势确定是否生成所述显示切换指令,比如在识别到用户手势之后,可以根据预存的手势与指令的对应关系确定识别到的用户手势对应的指令。当然,除了手势控制之外,还可以是人脸表情控制,其控制逻辑与手势控制逻辑类似,此处不再赘述。
在一些实施例中,所述车辆100可以设置有内置的第一相机和/或所述相机通过可插拔接口与车辆100通信连接的第二相机,第一相机和/或第二相机也可以执行拍摄任务,则车辆100可以将第一相机和/或第二相机执行拍摄任务获得的图像或视频显示在任一所述显示区域中,或者将第一相机和/或第二相机执行拍摄任务获得的图像或视频、和飞行任务对应的显示信息叠加显示在显示区域中。本实施例实现多样化的显示效果,满足用户的个性化观看需求。
在一些应用场景中,比如在直播场景、视频会议场景、演示场景或者勘测场景等等,车辆100还可以将第一相机和/或第二相机执行拍摄任务获得的图像和飞行任务的任务数据发送给远端设备,以便在远端设备中显示由所述飞行任务的任务数据生成的显示信息、和第一相机和/或第二相机执行拍摄任务获得的图像,实现信息的有效交互。示例性的,第一相机和/或第二相机执行拍摄任务获得的图像和所述显示信息还可以在远端设备中叠加显示。在一个例子中,比如第一相机和/或第二相机执行拍摄任务获得的图像或视频为用户操纵飞行器200执行飞行任务的场景,则可以将飞行任务对应的显示信息和第一相机和/或第二相机执行拍摄任务获得的图像或视频叠加显示可以让观看者了解到用户的操纵行为所产生的飞行效果。
在一些实施例中,所述车辆100包括通过可插拔接口与车辆100通信连接的第二相机,请参阅图10A以及图10B,图10A示出了第二相机104设置在车辆100中的场景,图10B示出了第二相机104独立使用的场景。当第二相机104通过可插拔接口与车辆100通信连接,除了采集用户手势之外,第二相机104还可以应用于其他功能。车辆100可以在检测到车辆100本体与所述第二相机104通信连接之后,获取第二相机104采集的用户图像,并在不同的工作模式中使用所述用户图像执行不同的功能。示例性的,所述工作模式包括第一工作模式和第二工作模式;所述第一工作模式指示识别所述用户图像获得用户手势;所述第二工作模式指示使用用户图像监测驾驶员的驾驶状态(即DMS检测)。
在一种可能的实现方式中,车辆100设置有切换控件,在检测到车辆100本体与所述第二相机104通信连接之后,切换控件可以响应于切换触发,将当前工作模式从第一工作模式切换为第二工作模式,则在切换后车辆100使用用户图像监测驾驶员的驾驶状态;或者切换控件可以响应于切换触发,将当前工作模式从第二工作模式切换为所述第一工作模式,则在切换后车辆100识别所述用户图像获得用户手势,以根据用户手势控制车辆100或者飞行器200。
可选地,当第二相机104通过可插拔接口与车辆100通信连接,车辆100还可以通过可插拔接口为第二相机104充电。可选地,第二相机104可以与车辆100通过可插拔接口 磁吸固定。
可选地,车辆100可以在一个或多个不同的位置设置可插拔接口,以便通过可插拔接口与第二相机104建立连接,用户可以根据实际需要将第二相机104放置在车辆100中的不同位置,也可以在车辆100中放置多个第二相机104,比如如图5A所示,在车辆100中的两个不同位置均设置可插拔接口,用于分别与两个第二相机104固定连接,有利于满足用户的个性化需求。
可选地,第二相机104为具有处理能力和操作控件的相机,当第二相机104独立于车辆100放置,第二相机104与车辆100建立近场通信连接,可以通过所述近场通信连接控制车辆100开关锁。可选地,当第二相机104为具有处理能力和操作控件的相机,则第二相机104也可以使用采集的图像识别用户手势或者监测驾驶员状态,其处理逻辑与车辆使用所述图像的处理逻辑类似,此处不再赘述。
可选地,当第二相机104独立于车辆100放置,第二相机104将执行拍摄任务获得图像或者视频存储起来,并在检测到第二相机104通过可插拔接口与车辆100通信连接的时候,将存储的图像或者视频发送给车辆100。
在一些实施例中,飞行器200能够放置于车辆100的指定位置。示例性的,车辆100的车身设置有飞行器200停机坪,飞行器200能够放置于飞行器200停机坪中。示例性的,所述指定位置可以是车辆100的车顶。
在一些实施例中,飞行器200可以从车辆100的指定位置起飞以执行飞行任务,例如飞行器200响应于起飞触发,从车辆100的指定位置起飞。其中,在飞行器200起飞时,车辆100可以处于行驶状态也可以是处于非行驶状态,比如停放在停车场中。
示例性的,为了保证飞行器200的飞行安全性,在车辆100相对于地面运动的过程中,即车辆100处于行驶状态的情况下,飞行器200可以从车辆100的指定位置起飞至预设高度范围内,并与车辆100在水平方向上保持预设水平距离范围内的相对位移;其中,预设高度范围和预设水平距离范围可以根据车辆100和飞行器200之间的通信距离确定,从而保证车辆100在行驶过程中,飞行器200能够与车辆100始终保持通讯状态,避免飞行器200失联丢失,从而有利于保证飞行器200的飞行安全性。
当然,在车辆100处于非行驶状态的情况下,飞行器200从车辆100的指定位置起飞之后,也可以在预设高度范围内飞行,且与车辆100在水平方向上保持预设水平距离范围内的相对位移,从而保证飞行器200的飞行安全性。
在一些实施例中,飞行器200在完成飞行任务后可以降落到车辆100的指定位置。示例性的,车辆100的车身设置有飞行器200停机坪,飞行器200在完成飞行任务后可以降落到飞行器200停机坪中。其中,在飞行器200降落时,车辆100可以处于行驶状态也可以是处于非行驶状态,比如停放在停车场中。
在车辆100处于行驶状态的情况下,为了实现飞行器200安全可靠地降落,飞行器200可以在完成飞行任务后,在车辆100处于匀速运动的情况下降落至指定位置。示例性的,飞行器200在完成飞行任务之后,可以向车辆100发送完成飞行任务的指示信息,车辆100可以在接收到飞行器200发送的完成飞行任务的指示信息之后,控制车辆100匀速运动或者向驾驶员发送保持车辆100匀速的提示信息。
当然,为了保证飞行器200的安全性,某些特殊情况也可以自动触发飞行器200降落到车辆100的指定位置,比如飞行器200的电量低于预设值、或者飞行器200中的某些部件损坏、或者飞行器200撞到障碍物等情况下可以自动触发飞行器200降落到车辆100的指定位置。
在一些可能的实施方式中,当飞行器200需要降落至车辆100的指定位置时,飞行器200可以响应于降落触发(比如在完成飞行任务之后或者发生了上述情况),查找待降落的车辆100,并确定飞行器200与待降落的车辆100之间的相对位姿关系;根据飞行器200的运动信息和相对位姿关系估计待降落的车辆100的预测运动信息,以 规划飞行器200的降落路径;根据降落路径控制飞行器200降落到车辆100,比如降落至车辆100的指定位置。
对于待降落的车辆100的查找可以包括以下两种可选的实施方式:
在一种可选的实施方式中,考虑到飞行器200与车辆100通信连接,则车辆100可以将自身的运动信息发送给飞行器200,飞行器200可以接收车辆100发送的车辆100的运动信息,并根据车辆100的运动信息获取目标运动轨迹;并且飞行器200可以根据用于感知周围环境的传感器(比如视觉传感器、激光雷达、毫米波雷达、超声波传感器或者红外传感器等等)观测地面上的一个或多个运动物体,确定地面上的一个或多个运动物体的运动轨迹;然后飞行器200可以根据目标运动轨迹和一个或多个运动物体的运动轨迹之间的差异,从一个或多个运动物体中查找待降落的车辆100。示例性的,飞行器200可以确定目标运动轨迹分别和一个或多个运动物体的运动轨迹的相似度,将相似度最大的运动轨迹对应的运动物体确定为待降落的车辆100。其中,车辆100的运动信息可以是车辆100的里程计信息,里程计信息包括车辆100的位姿信息和速度信息,车辆100的运动信息可以是车辆100基于自身的传感器(如位姿传感器、惯性车辆100单元或者卫星定位模块等等)获得。
在另一种可能的实施方式中,车辆100的指定位置设置有降落视觉标志,比如可以是如图11所示的几种视觉标志,当然,也可以是其他样式的视觉标志,本申请实施例对此不做任何限制;飞行器200安装有视觉传感器,视觉传感器可以朝向地面采集地面侧的图像,飞行器200可以从图像中识别是否存在降落视觉标志,并根据识别到的降落视觉标识确定待降落的车辆100。示例性的,飞行器200预存有降落视觉标志,飞行器200可以将从图像中识别的标志数据与预存的降落视觉标志进行匹配,在匹配一致的情况下从匹配的图像中确定待降落的车辆100。
在确定待降落的车辆100之后,飞行器200需要确定飞行器200与待降落的车辆100之间的相对位姿关系,可以包括以下几种可选的实施方式:
在一种可能的实施方式中,在确定待降落的车辆100之后,飞行器200可以根据用于感知周围环境的传感器采集的数据跟踪待降落的车辆100以获得待降落的车辆100的运动轨迹,根据待降落的车辆100的运动轨迹确定飞行器200与待降落的车辆100之间的相对位姿关系。
在一种可能的实施方式中,考虑到飞行器200与车辆100通信连接,则车辆100可以将自身的运动信息发送给飞行器200;飞行器200与车辆100的通信连接包括近场通信连接。飞行器200可以基于与车辆100的近场通信连接确定飞行器200与车辆100之间的相对距离,然后根据车辆100发送的车辆100的运动信息、飞行器200的运动信息和相对距离,确定飞行器200与车辆100之间的相对位姿关系。示例性的,近场通信连接包括WIFI连接或者UWB连接;车辆100的运动信息包括车辆100的位姿信息和速度信息,车辆100的运动信息可以根据车辆100的传感器(如位姿传感器、惯性车辆100单元或者卫星定位模块等等)采集的数据确定;飞行器200的运动信息包括飞行器200的位姿信息和速度信息。
示例性的,比如近场通信连接为WIFI连接,飞行器200可以基于WIFI连接的信号强度确定飞行器200与车辆100之间的相对距离;或者,可以根据待降落的车辆100的信号特征获取WIFI指纹,根据WIFI指纹确定飞行器200与车辆100之间的相对距离;或者,在车辆100中设置wifi路由器,飞行器200可以基于Wi-Fi RTT定位技术确定飞行器200与车辆100(wifi路由器)之间的相对距离。
示例性的,UWB是一种无线载波通信技术,即不采用正弦载波,而是利用纳秒级的非正弦波窄脉冲传输数据,因此其所占的频谱范围很宽。UWB是利用纳秒级窄脉冲发射无线信号的技术,适用于高速、近距离的无线个人通信。UWB定位技术采用的是TOF(飞行时差)测距,主要利用信号在飞行器200和待降落的车辆100之间飞行时间来飞行器200 与车辆100之间的相对距离。
在一个例子中,在获取车辆100和飞行器200的相对距离、车辆100发送的车辆100的运动信息和飞行器200的运动信息之后,考虑到车辆100的运动信息和飞行器200的运动信息均是基于自身的传感器采集得到,两者并不在同一坐标系下,因此可以通过车辆100和飞行器200的相对距离找到车辆100的运动信息和飞行器200的运动信息之间的相对位姿关系。比如飞行器200可以根据车辆100的运动信息获取在预设时间段内车辆100在车辆100坐标系下的汽车轨迹,以及根据飞行器200的运动信息获取在同一预设时间段内飞行器200在飞行器200坐标系下的飞行器200轨迹,并且获取在同一预设时间段内车辆100和飞行器200的相对距离,基于同一预设时间段内的汽车轨迹、飞行器200轨迹、以及车辆100和飞行器200的相对距离确定得到飞行器200与车辆100之间的相对位姿关系。
在一种可能的实施方式中,车辆100的车顶安装有TOF传感器,飞行器200设置有对TOF传感器发射的波具备特定反射率的材料;该材料可以设置在可以被车辆100的TOF传感器探测到的位置,比如该材料可以设置在飞行器200的腹部(即飞行器200在飞行时朝向地面的位置)。响应于飞行器的降落触发,TOF传感器可以向天空方向发射波束,比如激光雷达的激光脉冲、超声波传感器的超声波,并获取反射回的回波数据;由于天空中一般没有太多的物体以及路旁树叶、建筑物的反射率均较低,而飞行器200拥有与设置有对TOF传感器发射的波具备特定反射率的材料,因此对TOF传感器发射的波具有较高的反射率,则车辆100可以将TOF传感器采集的回波数据中反射率大于或等于特定反射率的数据确定为飞行器200对应的目标数据,根据目标数据确定飞行器200与车辆100的相对位姿关系并反馈给飞行器200。示例性的,TOF传感器包括激光雷达、毫米波雷达、红外传感器或者超声波传感器。
其中,波具备特定反射率的材料可以是符合比尔-朗伯特定律的材料,比尔-朗伯特定律(又称Beer law,Lambert-Beer law.Beer-Lambert-Bonguer law)是光通过物质时被吸收的定律。它适用于所有电磁辐射和所有吸光物质。包括气体,固体,液体,分子,原子和离子。比尔-朗伯特定律的物理意义是:当一束平行单色光垂直通过某一均匀非散射的吸光物质时。其吸光度A与吸光物质的浓度c及吸收层厚度l成正比。当介质中含有许多吸光组分时,只要各组分间没相互作用,在某一波长下,介质的总吸光度是各组分在该波长下吸光度的和,这一规律称为吸光度的加合性。基于比尔-朗伯特定律,可以设计对某种波长有不同反射率的材料。
在一个例子中,车辆100的车顶安装有激光雷达,飞行器200设置有对激光脉冲具备特定反射率的材料。激光雷达基本原理是向目标发射信号(激光脉冲),然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较,进而可获得目标的相关信息,如目标距离、方位、高度、速度、姿态、甚至形状等参数。响应于飞行器200的降落触发,车辆100可以使用激光雷达向天空方向发射激光脉冲,由于天空中一般没有太多的物体以及路旁树叶、建筑物的反射率均较低,而飞行器200拥有与设置有对激光脉冲具备特定反射率的材料,因此对激光脉冲具有较高的反射率,则车辆100可以将激光雷达采集的点云中反射率大于或等于特定反射率的三维点确定为飞行器200对应的目标三维点,根据目标三维点的深度信息和角度信息确定飞行器200与车辆100的相对位姿关系并反馈给飞行器200。
在一示例性的实施例中,请参阅图12,图12示出飞行器200降落的处理逻辑示意图,包括5个部分,传感器、图像检测、体坐标系轨迹规划、轨迹跟踪及控制器以及飞控(即飞行控制器)。可选地,图像检测、体坐标系轨迹规划、轨迹跟踪及控制器也可以集成在飞行控制器中。飞行器200降落的处理逻辑涉及三个坐标系,分别为世界坐标系、体坐标系和tag坐标系。其中,世界坐标系是以飞行器200的起点作为坐标系原点,体坐标系是以飞行器200重心作为坐标系原点,tag坐标系是以视觉标识物为中心作为坐标系原点。
响应于降落触发(比如降落触发指令)执行飞行器200降落任务的过程中,飞行器首 先通过单目相机观测到视觉标识物(例如AprilTag阵列),由于已知飞行器在世界坐标系中的定位结果,可以对视觉标识物的位姿进行坐标变换,转换到世界坐标系中,再使用卡尔曼线性滤波器进行平滑,产生设置有视觉标识物的待降落的车辆100在世界坐标系下的位姿与速度。飞行器自身使用双目相机与惯性测量单元紧组合定位,通过扩展卡尔曼滤波器,获得飞行器的位姿、速度反馈,然后将获得的位姿、速度等数据发送给轨迹跟踪及控制器进行姿态控制。
在执行飞行器200降落任务的过程中,飞行器使用飞行器与待降落车辆100之间的相对位姿进行体坐标系下的轨迹规划,再将高阶连续的体坐标系的轨迹通过待降落车辆100在世界坐标系下的旋转平移矩阵投影到世界坐标系上,以实现飞行器降落过程的平滑性。飞行器200可以将通过上述方式获得的待降落的车辆100在世界坐标系下的位姿和飞行器的位姿通过坐标旋转平移变换到体坐标系中,确定飞行器与待降落车辆100之间在体坐标系下的相对位姿,在tag坐标系中设置飞行器位置为降落轨迹的起点,推算出预计降落的目标位置,然后在tag坐标系下设置视觉标识物前0.5米为降落轨迹的终点,进而设置降落轨迹上最大速度、加速度等约束,使用MINCO轨迹规划期规划出一条适合飞行器飞行的降落轨迹。将该降落轨迹发给轨迹跟踪与控制器,通过待降落车辆100在世界坐标系下的旋转平移矩阵投影到世界坐标系,以进行反馈控制将飞机控制降落到预期降落点。
在一些实施例中,当飞行器200放置在车辆100的情况下,飞行器200可以当成车辆100的其中一个用于感知周围环境的设备使用,飞行器200可以采集车辆100周围环境的交通信息并发送给车辆100,从而辅助车辆100感知周围环境。示例性的,飞行器200可以采集车辆100探测盲区的交通信息,从而辅助车辆100准确且全方位地感知周围环境。
在一示例性的实施例中,当飞行器200固定于车辆100,车辆100可以将飞行器200采集的交通环境中的第一交通信息和车辆100的车载传感器采集的环境信息融合,作为车辆100的环境感知信息参考;当飞行器200执行交通信息采集任务时,车辆100可以将飞行器200采集的交通环境中的第二交通信息(为了便于与第一交通信息区分,这里将交通信息采集任务对应的任务数据称为第二交通信息)和飞行器200采集第二交通环境信息时的位姿信息,作为车辆100的导航信息参考。本实施例中,飞行器200固定于车辆100时,飞行器200的感知范围有限,因此飞行器200可以当成车辆100的其中一个用于感知周围环境的设备使用,进而结合车辆100中的车载传感器,实现准确且全方位地感知车辆100周围环境;当飞行器200执行飞行任务时,飞行器200可以感知到更远距离的交通信息,提前观测超越车辆100与人类视觉范围外的风险因素,可以为车辆100的导航提供参考。
其中,当飞行器200执行飞行任务时,其探测到的车辆100与交通环境中的物体的距离更远。第一交通信息包括车辆100分别与交通环境中的多个物体的第一距离;第二交通信息包括车辆100分别与交通环境中的多个物体的第二距离;其中,多个第一距离中的最大者小于多个第二距离中的最大者。
在一可能的实施方式中,考虑到飞行器200在执行飞行任务的场景和固定在车辆100的场景中,飞行器200的高度不同,则飞行器200中用于采集第一交通信息的传感器朝向与用于采集第二交通信息的传感器朝向不同。示例性的,当飞行器200固定在车辆100,飞行器200的高度和车辆100的高度差别不大,用于采集第一交通信息的传感器朝向飞行器200的前方或者侧方,实现对车辆100的探测盲区进行感知。当飞行器200执行飞行任务,飞行器200处于俯瞰地面的状态,为了观测道路环境,用于采集第二交通信息的传感器朝向飞行器200的下方。
在一可能的实施方式中,当飞行器200固定在车辆100,在一种情况中,飞行器200设置有可转动的传感器,比如飞行器200包括搭载于云台的相机,飞行器200可以根据车辆100的感知需要调整传感器的朝向,以便传感器可以朝向车辆100的探测盲区,辅助车辆100全方位感知周围环境;在另一种情况中,飞行器200在多个不同的位置均设置有传 感器,多个传感器朝向不同方位,飞行器200可以感觉车辆100的感知需要(比如探测盲区的方位)使用朝向特定方位的传感器采集第一交通信息,辅助车辆100全方位感知周围环境。
示例性的,车辆100的车身设置有飞行器200停机坪,飞行器200落于停机坪时与车辆100的车身固定连接。在一个例子中,飞行器200落于停机坪时通过可插拔接口与车辆100磁吸固定,并且飞行器200可以通过可插拔接口与车辆100通信连接,并采集的第一交通信息通过可插拔接口传输给车辆100。可选地,车辆100还可以通过可插拔接口为飞行器200充电。
在一可能的实施方式中,当飞行器200固定在车辆100,车辆100可以获取飞行器200固定在车辆100时相对于车辆100的位姿信息;根据位姿信息将飞行器200采集的第一交通信息和车辆100的车载传感器采集的环境信息融合,将融合后的信息作为车辆100的环境感知信息参考。
在一可能的实施方式中,当飞行器200执行飞行任务,车辆100可以获取飞行器200采集第二交通信息时的位姿信息,基于位姿信息和第二交通信息确定交通环境中的目标物的位置信息;将目标物的位置信息作为导航信息参考。示例性的,目标物包括但不限于车位、路面标志、车道线或者动态物体等。示例性的,车辆100可以根据目标物的位置信息规划车辆100的导航路径。在停车场场景中,比如目标物为空车位,车辆100可以根据空车位的位置信息规划前往空车位的导航路径。
进一步地,为了提高导航路径的规划准确性,车辆100可以获取车辆100的位姿信息,然后根据车辆100的位姿信息和目标物的位置信息规划车辆100的导航路径。本实施例中基于车辆100的位姿信息和目标物的位置信息之间的相对关系进行导航路径规划,有利于提高导航路径的规划准确性。
在一可能的实施方式中,当飞行器200执行飞行任务,车辆100在基于所述位姿信息和第二交通信息确定交通环境中的目标物的位置信息之后,可以根据目标物的位置信息在显示区域显示叠加有目标物的位置标记的地图。其中,地图可以是基于第二交通信息生成的地图,也可以是车辆100位于自身的卫星定位系统获得的地图,本实施例对此不做任何限制。或者,车辆100也可以根据目标物的位置信息在所述显示区域显示叠加有目标物的位置标记的三维模型,该三维模型可以是车辆100基于所述位姿信息和所述第二交通信息生成的交通环境的三维模型,也可以是通过其他平台获取的当前交通环境的三维模型。
在一可能的实施方式中,当飞行器200执行飞行任务,车辆100在获取导航路径之后,也可以在显示区域中显示叠加有导航路径的地图,或者可以在显示区域中显示叠加有目标物的位置标记和导航路径的地图,从而方便用户了解下一步的行驶计划。
在一示例性的实施例中,请参阅图13A和图13B,示出了飞行器200和车辆100的系统示意图。在图13A中,飞行器200包括飞行控制器、传感系统和负载系统;其中,传感系统可包括至少一个视觉传感器、惯性测量模块以及GNSS模块等,可以理解的是,图13A中传感系统均为举例说明,还可以包括激光雷达、毫米波雷达或者超声波传感器等等;负载系统可包括云台、设置在云台上的至少一个主相机以及无线数据传输模块等;飞行控制器可以包括感知模块、和决策规划与控制模块。
其中,感知模块用于根据传感系统采集的数据构建局部地图,比如局部地图可以通过以下方式获取:结合惯性测量模块采集的运动数据对视觉传感器采集的图像(比如灰度图)进行处理,获得深度图以及语义识别结果,进而基于深度图以及语义识别结果获得局部地图。决策规划与控制模块用于规划飞行器200的飞行轨迹以及对飞行器200进行飞行控制。
飞行器200可以通过数据传输模块接收来自车辆100的控制指令,进而根据控制指令进行任务决策以生成针对于不同种类的飞行任务的特定指令或者针对于固定在车辆100上的采集任务的特定指令,接着基于特征指令对云台和/或飞行器200进行控制。 比如针对于云台的控制,飞行控制器可以根据特定指令和云台的位姿估计数据控制云台运动。比如针对于飞行器200的飞行控制,飞行控制器可以基于特定指令并结合飞行器200生成的局部地图进行飞行轨迹规划;进而在飞行器200执行飞行任务的过程中,飞行控制器可以根据规划得到的飞行轨迹和基于传感系统中的各个传感器采集到的数据确定的飞行器200位姿进行飞行控制,例如在图13A中,飞行器200位姿可以是视觉传感器采集的图像、惯性测量模块采集的运动数据和GNSS定位模块采集的定位数据进行多传感器融合定位后获得的。
并且飞行器200可以将在执行飞行任务中采集的任务数据通过数据传输模块传输给车辆100,如图13A所示,任务数据包括但不限于飞行器200位姿数据、云台位姿数据或者主相机采集的图像数据等。可理解的是,图13A中向车辆100反馈的任务数据仅为距离说明,不同种类的飞行任务对应的任务数据不同;比如在交通信息采集任务中,回传给车辆100的任务数据除了飞行器200位姿数据、云台位姿数据以及主相机采集的图像数据,还可以包括其他传感器采集的交通环境信息、感知模块中获得的局部地图等等;比如在航拍任务中,回传给车辆100的任务数据可以包括主相机采集的图像数据。
在图13B中,车辆100包括有车载传感器、飞行器200数据解析模块、空中感知模块、车端感知模块、空地融合模块、规划控制模块和HMI模块(人机界面)。以下以交通信息采集任务为例进行说明:
飞行器200数据解析模块包括无线数据传输单元,用于接收飞行器200传回的任务数据,可能包括飞行器200的相机视频数据、飞行器200位姿等数据;进而飞行器200数据解析模块将飞行器200的任务数据进行解析,转化成适合算法处理的数据格式,输出给空中感知模块进行处理。
车端传感器指的是车端搭载的传感器硬件,可能包括双目相机、单目相机、IMU、GPS、激光雷达等传感器。
空中感知模块用于基于飞行器200传回的任务数据进行实现超视距的交通场景感知,可能包括以下感知功能:车位检测、路面标志检测、可行驶区域检测、车流分析、交通场景识别等。针对不同的场景,会应用不同的感知功能。例如,对于泊车场景,车位检测、路面标志检测等功能会被激活使用;对于拥堵场景,车流分析、交通场景识别等功能会被激活使用。
车端感知模块用于基于车端传感器采集的数据实现地面的感知功能,可能包括动态物体检测、可行驶区域检测、车道线检测、路面标志检测或者车位位姿估计等功能。
空地融合模块用于对空中感知模块输出的结果和车端感知模块输出的结果进行融合,通过将相对位姿估计、坐标系对齐、静态地图融合等技术,将车端感知范围拓展到几百米甚至到数千米的距离。
规划控制模块用于根据空地融合感知结果和用户意图,对本车行驶轨迹进行规划,进而实现车辆100控制。HMI模块用于基于空地融合感知结果实现超视距多场景自动驾驶可视化及人机交互,可能包括飞行器200实时图传显示、飞行器200操纵、汽车拥堵自动驾驶或者自动泊车等。
以上实施方式中的各种技术特征可以任意进行组合,只要特征之间的组合不存在冲突或矛盾,但是限于篇幅,未进行一一描述,因此上述实施方式中的各种技术特征的任意进行组合也属于本说明书公开的范围。
相应地,请参阅图14,本申请实施例提供了一种数据采集方法,所述方法应用于飞行器,所述方法包括:
在步骤S101中,响应于飞行任务的控制指令,在执行飞行任务过程中采集任务数据。
在步骤S102中,将所述任务数据发送至车辆,所述任务数据用于生成显示信息,所述显示信息用于在所述车辆上显示,其中,所述车辆包括多个显示区域,多个所述显示区域位于所述车辆的不同位置,不同种类的飞行任务的任务数据生成的显示信息,显示在不同位置的所述显示区域上。
本实施例中,不同种类的飞行任务的任务数据生成的显示信息,显示在不同位置的所述显示区域,便于用户从不同位置的显示区域直观观看到显示信息,从而满足用户针对于不同种类的飞行任务的观看需求。
可选地,所述控制指令由所述车辆发送给飞行器。
可选地,还包括:从所述车辆的指定位置起飞以执行所述飞行任务,并在完成所述飞行任务后降落至所述指定位置。
可选地,所述从所述车辆的指定位置起飞以执行所述飞行任务,包括:从所述车辆的指定位置起飞至预设高度范围内,并与所述车辆在水平方向上保持预设水平距离范围内的相对位移。提高飞行器的飞行安全性,避免飞行器失联丢失。
可选地,所述在完成所述飞行任务后降落至所述指定位置,包括:在完成所述飞行任务后,在所述车辆处于匀速运动的情况下降落至所述指定位置。提高飞行器的降落安全性。
可选地,在执行所述飞行任务的过程中,所述飞行器与所述车辆之间的距离保持在预设距离范围内。提高飞行器的飞行安全性。
可选地,所述飞行器设置有一种或多种传感器;不同种类的飞行任务的任务数据使用不同类型的传感器采集。
可选地,所述传感器包括以下一种或多种:至少一个相机、一个或多个用于感知周围环境的传感器或者至少一个音频采集部件;所述飞行任务包括如下一种或者多种任务:航拍任务、交通信息采集任务或者飞行游戏任务。
其中,所述航拍任务使用所述至少一个相机采集航拍数据;所述交通信息采集任务使用所述至少一个相机和所述一个或多个用于感知周围环境的传感器采集交通环境中的交通信息;所述飞行游戏任务使用所述至少一个相机采集的实时画面和/或所述至少一个音频采集部件采集的实时音频。
可选地,不同种类的飞行任务的飞行轨迹不同。
可选地,所述飞行任务包括如下一种或者多种任务:航拍任务、交通信息采集任务或者飞行游戏任务。所述航拍任务的飞行轨迹根据以下任一种方式获得:根据所述车辆的位置设定飞行轨迹、或者根据选定的拍摄区域规划飞行轨迹。所述交通信息采集任务的飞行轨迹根据以下任一种方式获得:根据所述车辆的导航信息设定飞行轨迹、或者根据在导航界面中选定的区域规划飞行轨迹。所述飞行游戏任务的飞行轨迹根据实时的控制指令生成,且所述飞行游戏任务的飞行轨迹位于预设空间范围内。
可选地,所述飞行任务包括飞行游戏任务。所述方法还包括:在所述车辆的车速小于预设值或者所述车辆处于非行驶状态的情况下,执行所述飞行游戏任务。
可选地,还包括:响应于降落触发,查找待降落的车辆,并确定所述飞行器与所述待降落的车辆之间的相对位姿关系;根据所述飞行器的运动信息和所述相对位姿关系估计所述待降落的车辆的预测运动信息,以规划所述飞行器的降落路径;根据所述降落路径控制所述飞行器降落至所述车辆。实现飞行器精准降落到运动的车辆。
可选地,所述查找待降落的车辆,包括:确定地面上的一个或多个运动物体的运动轨迹;接收所述车辆发送的所述车辆的运动信息,并根据所述车辆的运动信息获取目标运动轨迹;根据所述目标运动轨迹和所述一个或多个运动物体的运动轨迹之间的差异,从所述一个或多个运动物体中查找待降落的车辆。
可选地,所述车辆设置有降落视觉标志。所述查找待降落的车辆,包括:采集地面侧的图像,并从所述图像中识别所述降落视觉标志以确定待降落的车辆。
可选地,所述确定所述飞行器与所述待降落的车辆之间的相对位姿关系,包括:跟踪所述待降落的车辆以获得所述待降落的车辆的运动轨迹;根据所述待降落的车辆的运动轨迹确定所述飞行器与所述待降落的车辆之间的相对位姿关系。
可选地,所述确定所述飞行器与所述待降落的车辆之间的相对位姿关系,包括:基于与所述车辆的近场通信连接确定所述飞行器与所述车辆之间的相对距离;根据所述车辆发送的所述车辆的运动信息、所述飞行器的运动信息和所述相对距离,确定所述飞行器与所述车辆之间的相对位姿关系。
可选地,所述近场通信连接包括WIFI连接或者UWB连接;所述车辆的运动信息包括所述车辆的位姿信息和速度信息;所述飞行器的运动信息包括所述飞行器的位姿信息和速度信息。
可选地,所述车辆的车顶安装有TOF传感器,所述飞行器设置有对所述TOF传感器发射的波具备特定反射率的材料;所述飞行器与所述车辆之间的相对位姿关系由所述车辆发送给所述飞行器,其中,所述车辆将所述TOF传感器采集的回波数据中反射率大于或等于所述特定反射率的数据确定为所述飞行器对应的目标数据,根据所述目标数据确定所述飞行器与所述车辆的相对位姿关系。
可选地,所述TOF传感器包括激光雷达、毫米波雷达、红外传感器或者超声波传感器。
可选地,所述车辆的车顶安装有激光雷达,所述飞行器设置有对激光脉冲具备特定反射率的材料。所述飞行器与所述车辆之间的相对位姿关系由所述车辆发送给所述飞行器,其中,所述车辆将所述激光雷达采集的点云中反射率大于或等于所述特定反射率的三维点确定为所述飞行器对应的目标三维点,根据所述目标三维点的深度信息和角度信息确定所述飞行器与所述车辆的相对位姿关系。
可选地,还包括:当所述飞行器固定于所述车辆,响应于车辆的控制指令,采集交通环境中的第一交通信息。
可选地,飞行器执行飞行任务时采集的任务数据包括交通环境中的第二交通信息。所述飞行器中用于采集第一交通信息的传感器朝向与用于采集第二交通信息的传感器朝向不同。
可选地,所述用于采集第一交通信息的传感器朝向所述飞行器的前方或者侧方;所述用于采集第二交通信息的传感器朝向所述飞行器的下方。
可选地,所述车辆的车身设置有停机坪,所述飞行器落于所述停机坪时与所述车辆的车身固定连接。
请参阅图15,本申请实施例提供了一种数据展示方法,所述方法应用于车辆,所述车辆包括位于不同位置的多个显示区域,所述方法包括:
在步骤S201中,获取飞行器执行飞行任务过程中采集的任务数据。
在步骤S202中,根据所述任务数据生成显示信息。
在步骤S203中,控制所述显示区域显示所述显示信息,其中,不同种类的飞行任务的任务数据生成的显示信息,显示在不同位置的所述显示区域上。
本实施例中,不同种类的飞行任务的任务数据生成的显示信息,显示在不同位置的所述显示区域,便于用户从不同位置的显示区域直观观看到显示信息,从而满足用户针对于不同种类的飞行任务的观看需求。
可选地,还包括:向所述飞行器发送所述飞行任务的控制指令,以使所述飞行器响应于所述飞行任务的控制指令,执行所述飞行任务并采集对应所述飞行任务的任务数据。
可选地,所述车辆包括至少一个输入设备;所述输入设备包括一个或多个外接输入设备、和/或一个或多个内置输入设备。所述控制指令由所述车辆内的用户操纵所述 内置输入设备或所述外接输入设备产生。用户可以根据实际需要选择方便使用的输入设备来控制飞行器,满足用户的个性化使用需求。
可选地,所述内置输入设备包括以下任一种:内置的第一相机、语音采集部件、中控屏或者方向盘控件。所述外接输入设备包括以下任一种:遥控终端、体感遥控器、或者通过可插拔接口与车辆通信连接的第二相机。
其中,所述控制指令根据所述输入设备采集的以下任一种数据产生:所述第一相机和/或所述第二相机采集的用户手势;所述语音采集部件采集的语音信号;所述中控屏、所述方向盘控件和所述遥控终端中的一种或多种接收的操作数据;或者所述体感遥控器采集的体感数据。
可选地,所述外接输入设备能够直接与所述飞行器通信连接;或者,所述外接输入设备通过所述车辆与所述飞行器通信连接。
可选地,还包括:在接收到所述飞行器发送的完成飞行任务的指示信息之后,控制车辆匀速运动或者向驾驶员发送保持车辆匀速的提示信息。提高飞行器的降落安全性。
可选地,在执行所述飞行任务的过程中,所述飞行器与所述车辆之间的距离保持在预设距离范围内。所述方法还包括:若所述飞行器与所述车辆之间的距离超出所述预设距离范围,控制车辆减速运动。提高飞行器的飞行安全性,避免飞行器失联丢失。
可选地,不同种类的飞行任务的任务数据生成不同种类的显示信息。
可选地,所述飞行任务包括如下一种或者多种任务:航拍任务、交通信息采集任务或者飞行游戏任务。其中,所述航拍任务对应的显示信息包括:根据采集的航拍数据生成的航拍影像。所述交通信息采集任务对应的显示信息包括以下一种或多种:根据采集的交通环境中的交通信息生成的路况感知信息。所述飞行游戏任务对应的显示信息包括:根据采集的实时画面结合预设渲染规则生成的游戏画面,或者根据采集的实时音视频数据结合预设渲染规则生成的带音效的游戏画面。
可选地,所述路况感知信息包括以下至少一种或多种:目标物的位置标记、障碍物的位置标记、指向所述目标物的导航指示信息、或者指向目的地的导航指示信息。
可选地,所述多个显示区域的特定属性的属性值不同;所述特定属性包括以下一种或者多种:亮度、分辨率或帧率。
可选地,所述多个显示区域包括位于不同位置的第一显示区域和第二显示区域;其中,所述第一显示区域的特定属性的属性值优于第二显示区域的特定属性的属性值。可以根据实际需要选择不同显示性能的显示区域来显示不同种类的飞行任务的显示信息。
可选地,所述多个显示区域包括位于不同位置的第一显示区域和第二显示区域。其中,所述第一显示区域包括用于透过环境光线的透光区和用于显示所述显示信息的展示区;所述第二显示区域包括用于不透明的展示区,所述不透明的展示区用于显示所述显示信息。所述透光区和所述展示区存在至少部分重叠。可选地,所述第一显示区域位于所述车辆的前窗或者位于驾驶位的前方。
可选地,所述多个显示区域包括位于不同位置的第一显示区域和第二显示区域;所述第二显示区域与驾驶位头枕的连线方向和所述车辆的前进方向之间的夹角,大于,所述第一显示区域与驾驶位头枕的连线方向和所述车辆的前进方向之间的夹角。可以根据实际需要选择观看的方便程度不同的显示区域来显示不同种类的飞行任务的显示信息。
可选地,所述多个显示区域包括位于不同位置的第一显示区域和第二显示区域;所述飞行任务包括航拍任务和/或交通信息采集任务;其中,所述交通信息采集任务对应的显示信息显示在所述第一显示区域;所述航拍任务对应的显示信息显示在所述第二显示区域。
可选地,所述多个显示区域包括位于不同位置的第一显示区域和第二显示区域;所述飞行任务包括航拍任务和/或交通信息采集任务。所述方法还包括:在所述飞行器执行航拍任务时,将所述航拍任务对应的显示信息显示在所述第一显示区域;并在所述飞行器执行交通信息采集任务之后,将所述交通信息采集任务对应的显示信息显示在所述第一显示区域,并将所述航拍任务对应的显示信息切换显示在所述第二显示区域。
可选地,所述飞行任务包括交通信息采集任务;所述车辆用于根据从所述任务数据中提取的目标物的位置信息和类型信息生成显示信息。
可选地,所述多个显示区域包括位于不同位置的第一显示区域和第二显示区域;所述车辆用于将所述显示信息显示在第一显示区域和/或第二显示区域;其中,所述显示信息在所述第一显示区域中的展示位置根据交通环境中所述目标物与所述车辆的相对位置关系确定;所述显示信息在所述第二显示区域中的展示位置根据所述目标物的位置信息和所述第二显示区域指示的物体展示比例确定。
可选地,所述方法还包括:响应于显示切换指令,将所述显示信息切换显示在其他显示区域。
可选地,所述车辆设置有相机。所述方法还包括:获取所述相机采集的用户图像,根据从所述用户图像中识别的用户手势确定是否生成所述显示切换指令。
可选地,所述相机包括内置的第一相机和/或通过可插拔接口与车辆通信连接的第二相机。
可选地,所述车辆包括通过可插拔接口与车辆通信连接的第二相机。所述方法还包括:将所述第二相机执行拍摄任务获得的图像或视频显示在任一所述显示区域中。
可选地,所述方法还包括:将所述第二相机执行拍摄任务获得的图像或视频和所述飞行任务的任务数据发送给远端设备。
可选地,所述第二相机执行拍摄任务获得的图像或视频、和由所述飞行任务的任务数据生成的显示信息在远端设备中叠加显示。
可选地,所述车辆包括通过可插拔接口与车辆通信连接的第二相机。所述方法还包括:在检测到车辆本体与所述第二相机通信连接之后,获取所述第二相机采集的用户图像,并在不同的工作模式中使用所述用户图像执行不同的功能。
可选地,所述工作模式包括第一工作模式和第二工作模式;所述第一工作模式指示识别所述用户图像获得用户手势;所述第二工作模式指示使用所述用户图像监测驾驶员的驾驶状态。
可选地,所述车辆包括有切换控件。所述方法还包括:响应于所述切换控件的切换触发,将当前工作模式从第一工作模式切换为第二工作模式、或者将当前工作模式从第二工作模式切换为所述第一工作模式。
可选地,所述飞行任务包括交通信息采集任务。所述方法还包括:当所述飞行器固定于所述车辆,将所述飞行器采集的交通环境中的第一交通信息和所述车辆的车载传感器采集的环境信息融合,作为所述车辆的环境感知信息参考;当所述飞行器执行交通信息采集任务时,将所述飞行器采集的交通环境中的第二交通信息和所述飞行器采集所述第二交通环境信息时的位姿信息,作为所述车辆的导航信息参考。
可选地,所述将所述飞行器采集的交通环境中的第一交通信息和所述车辆的车载传感器采集的环境信息融合,包括:获取所述飞行器固定在所述车辆时相对于所述车辆的位姿信息;根据所述位姿信息将所述飞行器采集的第一交通信息和所述车辆的车载传感器采集的环境信息融合。
可选地,所述将所述飞行器采集的交通环境中的第二交通信息和所述飞行器采集所述第二交通环境信息时的位姿信息,作为所述车辆的导航信息参考,包括:获取所述飞行器采集所述第二交通信息时的位姿信息,基于所述位姿信息和所述第二交通信 息确定交通环境中的目标物的位置信息;将所述目标物的位置信息作为所述导航信息参考。
可选地,所述将所述目标物的位置信息作为所述导航信息参考,包括:根据所述目标物的位置信息规划所述车辆的导航路径。
可选地,所述根据所述目标物的位置信息规划所述车辆的导航路径,包括:获取所述车辆的位姿信息,根据所述车辆的位姿信息和所述目标物的位置信息规划所述车辆的导航路径。
可选地,还包括:根据所述目标物的位置信息在所述显示区域显示叠加有目标物的位置标记的地图。
可选地,还包括:在所述显示区域中显示叠加有所述导航路径的地图。
在一些实施例中,本申请实施例还提供了一种数据展示系统,包括车辆和飞行器,所述车辆与所述飞行器通信连接;
所述飞行器用于在执行飞行任务过程中,采集对应所述飞行任务的任务数据,并将所述任务数据回传给所述车辆;
所述车辆用于根据所述任务数据生成显示信息,在显示区域显示所述显示信息,其中,不同种类的飞行任务的任务数据生成不同种类的显示信息。
本实施例可以根据实际需要控制飞行器执行不同的飞行任务,从而基于不同种类的飞行任务的任务数据生成不同种类的显示信息,满足用户的不同观看需求。
所述数据展示系统的相关之处请参见上述描述。
在一些实施例中,请参阅图16,还提供一种数据处理方法,应用于车辆,包括:
在步骤S301中,当飞行器固定于车辆,获取飞行器采集的第一交通信息和所述车辆的车载传感器采集的环境信息,将所述第一交通信息和所述车载传感器采集的环境信息融合,作为所述车辆的环境感知信息参考。
在步骤S302中,当所述飞行器执行飞行任务,获取所述飞行器采集的第二交通信息和所述飞行器在采集所述第二交通信息时的位姿信息,根据所述位姿信息将所述第二交通信息作为所述车辆的导航信息参考。
本实施例中,提供飞行器在车辆场景中的两种使用方式,当飞行器固定于车辆,其辅助车辆更全面地感知周围环境;当飞行器执行飞行任务,其为车辆提供超视距的导航参考,从而有利于提高车辆的驾驶安全性。
所述数据处理方法的相关之处请参见上述数据展示系统中的描述。
在一些实施例中,请参阅图17,还提供一种数据处理方法,应用于相机,所述方法包括:
在步骤S401中,在执行拍摄任务的过程中,检测所述相机是否与车辆连接。
在步骤S402中,若所述相机与所述车辆连接,将执行所述拍摄任务采集的图像发送给所述车辆;所述图像用于触发所述车辆使用所述图像识别用户手势或者检测驾驶员状态;所述用户手势至少用于控制与所述车辆通信连接的飞行器执行飞行任务。
在步骤S403中,若所述相机未与所述车辆连接,存储执行所述拍摄任务采集的图像。
本实施例中,提供一种可拆卸的相机在车辆场景中的使用方式,当相机与车辆连接时,可用于控制车辆或者飞行器。
所述数据处理方法的相关之处请参见上述数据展示系统中的描述。
在一些实施例中,请参阅图18,还提供一种飞行器的降落方法,包括:
在步骤S501中,响应于降落触发,查找待降落的车辆,并确定所述飞行器与所述待降落的车辆之间的相对位姿关系。
在步骤S502中,根据所述飞行器的运动信息和所述相对位姿关系估计所述待降落的车辆的预测运动信息,以规划所述飞行器的降落路径。
在步骤S503中,根据所述降落路径控制所述飞行器降落到所述车辆。
本实施例提供一种飞行器降落在运动的车辆上的方法,通过飞行器的运动信息、飞行器与待降落的车辆之间的相对位姿关系准确估计待降落的车辆的预测运动信息,进而规划较为精准的降落路径,实现飞行器精准降落在运动的车辆上。
在一些实施例中,还提供一种飞行器,包括:
机身;
动力系统,设置于机身,用于为飞行器提供动力;以及,
一个或多个处理器,设置于机身,用于执行上述方法。
在一些实施例中,还提供一种车辆,包括:
车身;
动力系统,设置于车身,用于为车辆提供动力;
位于不同位置的多个显示区域,用于显示飞行任务的显示信息;以及,
一个或多个处理器,设置于机身,用于执行上述方法。
在一些实施例中,还提供一种相机,包括:
镜头组件,用于透过光线;
感光元件,用于将光线转换为电信号,生成图像;
存储器,用于存储图像;以及,
处理器,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器,上述指令可由装置的处理器执行以完成上述方法。例如,非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当存储介质中的指令由终端的处理器执行时,使得终端能够执行上述方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请实施例所提供的方法和装置进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (125)

  1. 一种数据展示系统,其特征在于,包括车辆和飞行器,所述车辆与所述飞行器通信连接;所述车辆包括位于不同位置的多个显示区域;
    所述飞行器用于在执行飞行任务过程中,采集对应所述飞行任务的任务数据,并将所述任务数据回传给所述车辆;
    所述车辆用于根据所述任务数据生成显示信息,控制所述显示区域显示所述显示信息,其中,不同种类的飞行任务的任务数据生成的显示信息,显示在不同位置的所述显示区域。
  2. 根据权利要求1所述的系统,其特征在于,所述车辆用于向所述飞行器发送所述飞行任务的控制指令;
    所述飞行器用于响应于所述飞行任务的控制指令,执行所述飞行任务并采集对应所述飞行任务的任务数据。
  3. 根据权利要求2所述的系统,其特征在于,所述车辆包括至少一个输入设备;所述输入设备包括一个或多个外接输入设备、和/或一个或多个内置输入设备;
    所述控制指令由所述车辆内的用户操纵所述内置输入设备或所述外接输入设备产生。
  4. 根据权利要求3所述的系统,其特征在于,所述内置输入设备包括以下任一种:内置的第一相机、语音采集部件、中控屏或者方向盘控件;
    所述外接输入设备包括以下任一种:遥控终端、体感遥控器、或者通过可插拔接口与车辆通信连接的第二相机;
    其中,所述控制指令根据所述输入设备采集的以下任一种数据产生:所述第一相机和/或所述第二相机采集的用户手势;所述语音采集部件采集的语音信号;所述中控屏、所述方向盘控件和所述遥控终端中的一种或多种接收的操作数据;或者所述体感遥控器采集的体感数据。
  5. 根据权利要求3所述的系统,其特征在于,所述外接输入设备能够直接与所述飞行器通信连接;或者,所述外接输入设备通过所述车辆与所述飞行器通信连接。
  6. 根据权利要求1所述的系统,其特征在于,所述飞行器用于从所述车辆的指定位置起飞以执行所述飞行任务,并在完成所述飞行任务后降落至所述指定位置。
  7. 根据权利要求6所述的系统,其特征在于,所述飞行器用于从所述车辆的指定位置起飞至预设高度范围内,并与所述车辆在水平方向上保持预设水平距离范围内的相对位移。
  8. 根据权利要求6所述的系统,其特征在于,所述飞行器用于在完成所述飞行任务后,在所述车辆处于匀速运动的情况下降落至所述指定位置。
  9. 根据权利要求6所述的系统,其特征在于,所述车辆用于在接收到所述飞行器发送的完成飞行任务的指示信息之后,控制车辆匀速运动或者向驾驶员发送保持车辆匀速的提示信息。
  10. 根据权利要求1所述的系统,其特征在于,在执行所述飞行任务的过程中,所述飞行器与所述车辆之间的距离保持在预设距离范围内;
    所述车辆用于若所述飞行器与所述车辆之间的距离超出所述预设距离范围,控制车辆减速运动。
  11. 根据权利要求1所述的系统,其特征在于,所述飞行器设置有一种或多种传感器;
    不同种类的飞行任务的任务数据使用不同类型的传感器采集。
  12. 根据权利要求11所述的系统,其特征在于,所述传感器包括以下一种或多种:至少一个相机、一个或多个用于感知周围环境的传感器或者至少一个音频采集部件;
    所述飞行任务包括如下一种或者多种任务:航拍任务、交通信息采集任务或者飞 行游戏任务;
    其中,所述航拍任务使用所述至少一个相机采集航拍数据;
    所述交通信息采集任务使用所述至少一个相机和所述一个或多个用于感知周围环境的传感器采集交通环境中的交通信息;
    所述飞行游戏任务使用所述至少一个相机采集的实时画面和/或所述至少一个音频采集部件采集的实时音频。
  13. 根据权利要求1所述的系统,其特征在于,不同种类的飞行任务的飞行轨迹不同。
  14. 根据权利要求13所述的系统,其特征在于,所述飞行任务包括如下一种或者多种任务:航拍任务、交通信息采集任务或者飞行游戏任务;
    所述航拍任务的飞行轨迹根据以下任一种方式获得:根据所述车辆的位置设定飞行轨迹、或者根据选定的拍摄区域规划飞行轨迹;
    所述交通信息采集任务的飞行轨迹根据以下任一种方式获得:根据所述车辆的导航信息设定飞行轨迹、或者根据在导航界面中选定的区域规划飞行轨迹;
    所述飞行游戏任务的飞行轨迹根据实时的控制指令生成,且所述飞行游戏任务的飞行轨迹位于预设空间范围内。
  15. 根据权利要求1所述的系统,其特征在于,不同种类的飞行任务的任务数据生成不同种类的显示信息。
  16. 根据权利要求15所述的系统,其特征在于,所述飞行任务包括如下一种或者多种任务:航拍任务、交通信息采集任务或者飞行游戏任务;
    其中,所述航拍任务对应的显示信息包括:根据采集的航拍数据生成的航拍影像;
    所述交通信息采集任务对应的显示信息包括以下一种或多种:根据采集的交通环境中的交通信息生成的路况感知信息;
    所述飞行游戏任务对应的显示信息包括:根据采集的实时画面结合预设渲染规则生成的游戏画面,或者根据采集的实时音视频数据结合预设渲染规则生成的带音效的游戏画面。
  17. 根据权利要求16所述的系统,其特征在于,所述路况感知信息包括以下至少一种或多种:目标物的位置标记、障碍物的位置标记、指向所述目标物的导航指示信息、或者指向目的地的导航指示信息。
  18. 根据权利要求1所述的系统,其特征在于,所述飞行任务包括飞行游戏任务;
    所述飞行器用于在所述车辆的车速小于预设值或者所述车辆处于非行驶状态的情况下,执行所述飞行游戏任务。
  19. 根据权利要求1所述的系统,其特征在于,所述多个显示区域的特定属性的属性值不同;所述特定属性包括以下一种或者多种:亮度、分辨率或帧率。
  20. 根据权利要求19所述的系统,其特征在于,所述多个显示区域包括位于不同位置的第一显示区域和第二显示区域;
    其中,所述第一显示区域的特定属性的属性值优于第二显示区域的特定属性的属性值。
  21. 根据权利要求1所述的系统,其特征在于,所述多个显示区域包括位于不同位置的第一显示区域和第二显示区域;
    其中,所述第一显示区域包括用于透过环境光线的透光区和用于显示所述显示信息的展示区;
    所述第二显示区域包括用于不透明的展示区,所述不透明的展示区用于显示所述显示信息。
  22. 根据权利要求21所述的系统,其特征在于,所述透光区和所述展示区存在至少部分重叠。
  23. 根据权利要求21所述的系统,其特征在于,所述第一显示区域位于所述车辆的前窗或者位于驾驶位的前方。
  24. 根据权利要求1所述的系统,其特征在于,所述多个显示区域包括位于不同位置的第一显示区域和第二显示区域;
    所述第二显示区域与驾驶位头枕的连线方向和所述车辆的前进方向之间的夹角,大于,所述第一显示区域与驾驶位头枕的连线方向和所述车辆的前进方向之间的夹角。
  25. 根据权利要求19至24任意一项所述的系统,其特征在于,所述多个显示区域包括位于不同位置的第一显示区域和第二显示区域;
    所述飞行任务包括航拍任务和/或交通信息采集任务;
    其中,所述交通信息采集任务对应的显示信息显示在所述第一显示区域;
    所述航拍任务对应的显示信息显示在所述第二显示区域。
  26. 根据权利要求1所述的系统,其特征在于,所述多个显示区域包括位于不同位置的第一显示区域和第二显示区域;所述飞行任务包括航拍任务和/或交通信息采集任务;
    所述车辆用于在所述飞行器执行航拍任务时,将所述航拍任务对应的显示信息显示在所述第一显示区域;并在所述飞行器执行交通信息采集任务之后,将所述交通信息采集任务对应的显示信息显示在所述第一显示区域,并将所述航拍任务对应的显示信息切换显示在所述第二显示区域。
  27. 根据权利要求1所述的系统,其特征在于,所述飞行任务包括交通信息采集任务;
    所述车辆用于根据从所述任务数据中提取的目标物的位置信息和类型信息生成显示信息。
  28. 根据权利要求27所述的系统,其特征在于,所述多个显示区域包括位于不同位置的第一显示区域和第二显示区域;
    所述车辆用于将所述显示信息显示在第一显示区域和/或第二显示区域;
    其中,所述显示信息在所述第一显示区域中的展示位置根据交通环境中所述目标物与所述车辆的相对位置关系确定;
    所述显示信息在所述第二显示区域中的展示位置根据所述目标物的位置信息和所述第二显示区域指示的物体展示比例确定。
  29. 根据权利要求1所述的系统,其特征在于,所述车辆用于响应于显示切换指令,将所述显示信息切换显示在其他显示区域。
  30. 根据权利要求29所述的系统,其特征在于,所述车辆设置有相机;
    所述车辆用于获取所述相机采集的用户图像,根据从所述用户图像中识别的用户手势确定是否生成所述显示切换指令。
  31. 根据权利要求30所述的系统,其特征在于,所述相机包括内置的第一相机和/或通过可插拔接口与车辆通信连接的第二相机。
  32. 根据权利要求1所述的系统,其特征在于,所述车辆包括通过可插拔接口与车辆通信连接的第二相机;
    所述车辆还用于将所述第二相机执行拍摄任务获得的图像或视频显示在任一所述显示区域中。
  33. 根据权利要求32所述的系统,其特征在于,所述车辆还用于将所述第二相机执行拍摄任务获得的图像或视频和所述飞行任务的任务数据发送给远端设备。
  34. 根据权利要求33所述的系统,其特征在于,所述第二相机执行拍摄任务获得的图像或视频、和由所述飞行任务的任务数据生成的显示信息在远端设备中叠加显示。
  35. 根据权利要求1所述的系统,其特征在于,所述车辆包括通过可插拔接口与车辆通信连接的第二相机;
    所述车辆用于在检测到车辆本体与所述第二相机通信连接之后,获取所述第二相机采集的用户图像,并在不同的工作模式中使用所述用户图像执行不同的功能。
  36. 根据权利要求35所述的系统,其特征在于,所述工作模式包括第一工作模式和第二工作模式;
    所述第一工作模式指示识别所述用户图像获得用户手势;
    所述第二工作模式指示使用所述用户图像监测驾驶员的驾驶状态。
  37. 根据权利要求36所述的系统,其特征在于,所述车辆包括有切换控件;
    所述切换控件用于响应于切换触发,将当前工作模式从第一工作模式切换为第二工作模式、或者将当前工作模式从第二工作模式切换为所述第一工作模式。
  38. 根据权利要求1所述的系统,其特征在于,所述飞行器用于响应于降落触发,查找待降落的车辆,并确定所述飞行器与所述待降落的车辆之间的相对位姿关系;根据所述飞行器的运动信息和所述相对位姿关系估计所述待降落的车辆的预测运动信息,以规划所述飞行器的降落路径;根据所述降落路径控制所述飞行器降落至所述车辆。
  39. 根据权利要求38所述的系统,其特征在于,所述飞行器用于确定地面上的一个或多个运动物体的运动轨迹;接收所述车辆发送的所述车辆的运动信息,并根据所述车辆的运动信息获取目标运动轨迹;根据所述目标运动轨迹和所述一个或多个运动物体的运动轨迹之间的差异,从所述一个或多个运动物体中查找待降落的车辆。
  40. 根据权利要求38所述的系统,其特征在于,所述车辆设置有降落视觉标志;
    所述飞行器用于采集地面侧的图像,并从所述图像中识别所述降落视觉标志以确定待降落的车辆。
  41. 根据权利要求39或40所述的系统,其特征在于,所述飞行器用于跟踪所述待降落的车辆以获得所述待降落的车辆的运动轨迹,根据所述待降落的车辆的运动轨迹确定所述飞行器与所述待降落的车辆之间的相对位姿关系。
  42. 根据权利要求38所述的系统,其特征在于,所述飞行器用于基于与所述车辆的近场通信连接确定所述飞行器与所述车辆之间的相对距离;根据所述车辆发送的所述车辆的运动信息、所述飞行器的运动信息和所述相对距离,确定所述飞行器与所述车辆之间的相对位姿关系。
  43. 根据权利要求42所述的系统,其特征在于,所述近场通信连接包括WIFI连接或者UWB连接;
    所述车辆的运动信息包括所述车辆的位姿信息和速度信息;
    所述飞行器的运动信息包括所述飞行器的位姿信息和速度信息。
  44. 根据权利要求38所述的系统,其特征在于,所述车辆的车顶安装有TOF传感器,所述飞行器设置有对所述TOF传感器发射的波具备特定反射率的材料;
    所述车辆用于将所述TOF传感器采集的回波数据中反射率大于或等于所述特定反射率的数据确定为所述飞行器对应的目标数据,根据所述目标数据确定所述飞行器与所述车辆的相对位姿关系并反馈给所述飞行器。
  45. 根据权利要求44所述的系统,其特征在于,所述TOF传感器包括激光雷达、毫米波雷达、红外传感器或者超声波传感器。
  46. 根据权利要求38所述的系统,其特征在于,所述车辆的车顶安装有激光雷达,所述飞行器设置有对激光脉冲具备特定反射率的材料;
    所述车辆还用于将所述激光雷达采集的点云中反射率大于或等于所述特定反射率的三维点确定为所述飞行器对应的目标三维点,根据所述目标三维点的深度信息和角度信息确定所述飞行器与所述车辆的相对位姿关系并反馈给所述飞行器。
  47. 根据权利要求1所述的系统,其特征在于,所述飞行任务包括交通信息采集任务;
    当所述飞行器固定于所述车辆,所述车辆用于将所述飞行器采集的交通环境中的 第一交通信息和所述车辆的车载传感器采集的环境信息融合,作为所述车辆的环境感知信息参考;
    当所述飞行器执行交通信息采集任务时,所述车辆用于将所述飞行器采集的交通环境中的第二交通信息和所述飞行器采集所述第二交通环境信息时的位姿信息,作为所述车辆的导航信息参考。
  48. 根据权利要求47所述的系统,其特征在于,所述飞行器中用于采集第一交通信息的传感器朝向与用于采集第二交通信息的传感器朝向不同。
  49. 根据权利要求48所述的系统,其特征在于,所述用于采集第一交通信息的传感器朝向所述飞行器的前方或者侧方;
    所述用于采集第二交通信息的传感器朝向所述飞行器的下方。
  50. 根据权利要求47所述的系统,其特征在于,所述第一交通信息包括所述车辆分别与交通环境中的多个物体的第一距离;所述第二交通信息包括所述车辆分别与交通环境中的多个物体的第二距离;
    其中,多个所述第一距离中的最大者小于多个所述第二距离中的最大者。
  51. 根据权利要求47所述的系统,其特征在于,所述车辆的车身设置有停机坪,所述飞行器落于所述停机坪时与所述车辆的车身固定连接。
  52. 根据权利要求47所述的系统,其特征在于,当所述飞行器固定于所述车辆,所述车辆用于获取所述飞行器固定在所述车辆时相对于所述车辆的位姿信息;根据所述位姿信息将所述飞行器采集的第一交通信息和所述车辆的车载传感器采集的环境信息融合。
  53. 根据权利要求47所述的系统,其特征在于,当所述飞行器执行交通信息采集任务,所述车辆用于获取所述飞行器采集所述第二交通信息时的位姿信息,基于所述位姿信息和所述第二交通信息确定交通环境中的目标物的位置信息;将所述目标物的位置信息作为所述导航信息参考。
  54. 根据权利要求53所述的系统,其特征在于,所述车辆用于根据所述目标物的位置信息规划所述车辆的导航路径。
  55. 根据权利要求54所述的系统,其特征在于,所述车辆用于获取所述车辆的位姿信息,根据所述车辆的位姿信息和所述目标物的位置信息规划所述车辆的导航路径。
  56. 根据权利要求53所述的系统,其特征在于,所述车辆还用于根据所述目标物的位置信息在所述显示区域显示叠加有目标物的位置标记的地图。
  57. 根据权利要求54或55所述的系统,其特征在于,所述车辆还用于在所述显示区域中显示叠加有所述导航路径的地图。
  58. 一种数据采集方法,其特征在于,所述方法应用于飞行器,所述方法包括:
    响应于飞行任务的控制指令,在执行飞行任务过程中采集任务数据;
    将所述任务数据发送至车辆,所述任务数据用于生成显示信息,所述显示信息用于在所述车辆上显示,其中,所述车辆包括多个显示区域,多个所述显示区域位于所述车辆的不同位置,不同种类的飞行任务的任务数据生成的显示信息,显示在不同位置的所述显示区域上。
  59. 根据权利要求58所述的方法,其特征在于,所述控制指令由所述车辆发送给飞行器。
  60. 根据权利要求58所述的方法,其特征在于,还包括:
    从所述车辆的指定位置起飞以执行所述飞行任务,并在完成所述飞行任务后降落至所述指定位置。
  61. 根据权利要求60所述的方法,其特征在于,所述从所述车辆的指定位置起飞以执行所述飞行任务,包括:
    从所述车辆的指定位置起飞至预设高度范围内,并与所述车辆在水平方向上保持预设水平距离范围内的相对位移。
  62. 根据权利要求60所述的方法,其特征在于,所述在完成所述飞行任务后降落至所述指定位置,包括:
    在完成所述飞行任务后,在所述车辆处于匀速运动的情况下降落至所述指定位置。
  63. 根据权利要求58所述的方法,其特征在于,在执行所述飞行任务的过程中,所述飞行器与所述车辆之间的距离保持在预设距离范围内。
  64. 根据权利要求58所述的方法,其特征在于,所述飞行器设置有一种或多种传感器;
    不同种类的飞行任务的任务数据使用不同类型的传感器采集。
  65. 根据权利要求64所述的方法,其特征在于,所述传感器包括以下一种或多种:至少一个相机、一个或多个用于感知周围环境的传感器或者至少一个音频采集部件;
    所述飞行任务包括如下一种或者多种任务:航拍任务、交通信息采集任务或者飞行游戏任务;
    其中,所述航拍任务使用所述至少一个相机采集航拍数据;
    所述交通信息采集任务使用所述至少一个相机和所述一个或多个用于感知周围环境的传感器采集交通环境中的交通信息;
    所述飞行游戏任务使用所述至少一个相机采集的实时画面和/或所述至少一个音频采集部件采集的实时音频。
  66. 根据权利要求58所述的方法,其特征在于,不同种类的飞行任务的飞行轨迹不同。
  67. 根据权利要求66所述的方法,其特征在于,所述飞行任务包括如下一种或者多种任务:航拍任务、交通信息采集任务或者飞行游戏任务;
    所述航拍任务的飞行轨迹根据以下任一种方式获得:根据所述车辆的位置设定飞行轨迹、或者根据选定的拍摄区域规划飞行轨迹;
    所述交通信息采集任务的飞行轨迹根据以下任一种方式获得:根据所述车辆的导航信息设定飞行轨迹、或者根据在导航界面中选定的区域规划飞行轨迹;
    所述飞行游戏任务的飞行轨迹根据实时的控制指令生成,且所述飞行游戏任务的飞行轨迹位于预设空间范围内。
  68. 根据权利要求58所述的方法,其特征在于,所述飞行任务包括飞行游戏任务;
    所述方法还包括:
    在所述车辆的车速小于预设值或者所述车辆处于非行驶状态的情况下,执行所述飞行游戏任务。
  69. 根据权利要求58所述的方法,其特征在于,还包括:
    响应于降落触发,查找待降落的车辆,并确定所述飞行器与所述待降落的车辆之间的相对位姿关系;
    根据所述飞行器的运动信息和所述相对位姿关系估计所述待降落的车辆的预测运动信息,以规划所述飞行器的降落路径;
    根据所述降落路径控制所述飞行器降落至所述车辆。
  70. 根据权利要求69所述的方法,其特征在于,所述查找待降落的车辆,包括:
    确定地面上的一个或多个运动物体的运动轨迹;
    接收所述车辆发送的所述车辆的运动信息,并根据所述车辆的运动信息获取目标运动轨迹;
    根据所述目标运动轨迹和所述一个或多个运动物体的运动轨迹之间的差异,从所述一个或多个运动物体中查找待降落的车辆。
  71. 根据权利要求69所述的方法,其特征在于,所述车辆设置有降落视觉标志;
    所述查找待降落的车辆,包括:
    采集地面侧的图像,并从所述图像中识别所述降落视觉标志以确定待降落的车辆。
  72. 根据权利要求70或71所述的方法,其特征在于,所述确定所述飞行器与所述待降落的车辆之间的相对位姿关系,包括:
    跟踪所述待降落的车辆以获得所述待降落的车辆的运动轨迹;
    根据所述待降落的车辆的运动轨迹确定所述飞行器与所述待降落的车辆之间的相对位姿关系。
  73. 根据权利要求69所述的方法,其特征在于,所述确定所述飞行器与所述待降落的车辆之间的相对位姿关系,包括:
    基于与所述车辆的近场通信连接确定所述飞行器与所述车辆之间的相对距离;
    根据所述车辆发送的所述车辆的运动信息、所述飞行器的运动信息和所述相对距离,确定所述飞行器与所述车辆之间的相对位姿关系。
  74. 根据权利要求73所述的方法,其特征在于,所述近场通信连接包括WIFI连接或者UWB连接;
    所述车辆的运动信息包括所述车辆的位姿信息和速度信息;
    所述飞行器的运动信息包括所述飞行器的位姿信息和速度信息。
  75. 根据权利要求69所述的方法,其特征在于,所述车辆的车顶安装有TOF传感器,所述飞行器设置有对所述TOF传感器发射的波具备特定反射率的材料;
    所述飞行器与所述车辆之间的相对位姿关系由所述车辆发送给所述飞行器,其中,所述车辆将所述TOF传感器采集的回波数据中反射率大于或等于所述特定反射率的数据确定为所述飞行器对应的目标数据,根据所述目标数据确定所述飞行器与所述车辆的相对位姿关系。
  76. 根据权利要求75所述的方法,其特征在于,所述TOF传感器包括激光雷达、毫米波雷达、红外传感器或者超声波传感器。
  77. 根据权利要求69所述的方法,其特征在于,所述车辆的车顶安装有激光雷达,所述飞行器设置有对激光脉冲具备特定反射率的材料;
    所述飞行器与所述车辆之间的相对位姿关系由所述车辆发送给所述飞行器,其中,所述车辆将所述激光雷达采集的点云中反射率大于或等于所述特定反射率的三维点确定为所述飞行器对应的目标三维点,根据所述目标三维点的深度信息和角度信息确定所述飞行器与所述车辆的相对位姿关系。
  78. 根据权利要求58所述的方法,其特征在于,还包括:
    当所述飞行器固定于所述车辆,响应于车辆的控制指令,采集交通环境中的第一交通信息。
  79. 根据权利要求78所述的方法,其特征在于,飞行器执行飞行任务时采集的任务数据包括交通环境中的第二交通信息;
    所述飞行器中用于采集第一交通信息的传感器朝向与用于采集第二交通信息的传感器朝向不同。
  80. 根据权利要求79所述的方法,其特征在于,所述用于采集第一交通信息的传感器朝向所述飞行器的前方或者侧方;
    所述用于采集第二交通信息的传感器朝向所述飞行器的下方。
  81. 根据权利要求78所述的方法,其特征在于,所述车辆的车身设置有停机坪,所述飞行器落于所述停机坪时与所述车辆的车身固定连接。
  82. 一种数据展示方法,其特征在于,所述方法应用于车辆,所述车辆包括位于不同位置的多个显示区域,所述方法包括:
    获取飞行器执行飞行任务过程中采集的任务数据;
    根据所述任务数据生成显示信息;
    控制所述显示区域显示所述显示信息,其中,不同种类的飞行任务的任务数据生成的显示信息,显示在不同位置的所述显示区域上。
  83. 根据权利要求82所述的方法,其特征在于,还包括:
    向所述飞行器发送所述飞行任务的控制指令,以使所述飞行器响应于所述飞行任务的控制指令,执行所述飞行任务并采集对应所述飞行任务的任务数据。
  84. 根据权利要求83所述的方法,其特征在于,所述车辆包括至少一个输入设备;所述输入设备包括一个或多个外接输入设备、和/或一个或多个内置输入设备;
    所述控制指令由所述车辆内的用户操纵所述内置输入设备或所述外接输入设备产生。
  85. 根据权利要求84所述的方法,其特征在于,所述内置输入设备包括以下任一种:内置的第一相机、语音采集部件、中控屏或者方向盘控件;
    所述外接输入设备包括以下任一种:遥控终端、体感遥控器、或者通过可插拔接口与车辆通信连接的第二相机;
    其中,所述控制指令根据所述输入设备采集的以下任一种数据产生:所述第一相机和/或所述第二相机采集的用户手势;所述语音采集部件采集的语音信号;所述中控屏、所述方向盘控件和所述遥控终端中的一种或多种接收的操作数据;或者所述体感遥控器采集的体感数据。
  86. 根据权利要求84所述的方法,其特征在于,所述外接输入设备能够直接与所述飞行器通信连接;或者,所述外接输入设备通过所述车辆与所述飞行器通信连接。
  87. 根据权利要求82所述的方法,其特征在于,还包括:
    在接收到所述飞行器发送的完成飞行任务的指示信息之后,控制车辆匀速运动或者向驾驶员发送保持车辆匀速的提示信息。
  88. 根据权利要求82所述的方法,其特征在于,在执行所述飞行任务的过程中,所述飞行器与所述车辆之间的距离保持在预设距离范围内;
    所述方法还包括:
    若所述飞行器与所述车辆之间的距离超出所述预设距离范围,控制车辆减速运动。
  89. 根据权利要求82所述的方法,其特征在于,不同种类的飞行任务的任务数据生成不同种类的显示信息。
  90. 根据权利要求89所述的方法,其特征在于,所述飞行任务包括如下一种或者多种任务:航拍任务、交通信息采集任务或者飞行游戏任务;
    其中,所述航拍任务对应的显示信息包括:根据采集的航拍数据生成的航拍影像;
    所述交通信息采集任务对应的显示信息包括以下一种或多种:根据采集的交通环境中的交通信息生成的路况感知信息;
    所述飞行游戏任务对应的显示信息包括:根据采集的实时画面结合预设渲染规则生成的游戏画面,或者根据采集的实时音视频数据结合预设渲染规则生成的带音效的游戏画面。
  91. 根据权利要求90所述的方法,其特征在于,所述路况感知信息包括以下至少一种或多种:目标物的位置标记、障碍物的位置标记、指向所述目标物的导航指示信息、或者指向目的地的导航指示信息。
  92. 根据权利要求82所述的方法,其特征在于,所述多个显示区域的特定属性的属性值不同;所述特定属性包括以下一种或者多种:亮度、分辨率或帧率。
  93. 根据权利要求92所述的方法,其特征在于,所述多个显示区域包括位于不同位置的第一显示区域和第二显示区域;
    其中,所述第一显示区域的特定属性的属性值优于第二显示区域的特定属性的属性值。
  94. 根据权利要求82所述的方法,其特征在于,所述多个显示区域包括位于不同位置的第一显示区域和第二显示区域;
    其中,所述第一显示区域包括用于透过环境光线的透光区和用于显示所述显示信息的 展示区;
    所述第二显示区域包括用于不透明的展示区,所述不透明的展示区用于显示所述显示信息。
  95. 根据权利要求94所述的方法,其特征在于,所述透光区和所述展示区存在至少部分重叠。
  96. 根据权利要求94所述的方法,其特征在于,所述第一显示区域位于所述车辆的前窗或者位于驾驶位的前方。
  97. 根据权利要求82所述的方法,其特征在于,所述多个显示区域包括位于不同位置的第一显示区域和第二显示区域;
    所述第二显示区域与驾驶位头枕的连线方向和所述车辆的前进方向之间的夹角,大于,所述第一显示区域与驾驶位头枕的连线方向和所述车辆的前进方向之间的夹角。
  98. 根据权利要求92至97任意一项所述的方法,其特征在于,所述多个显示区域包括位于不同位置的第一显示区域和第二显示区域;
    所述飞行任务包括航拍任务和/或交通信息采集任务;
    其中,所述交通信息采集任务对应的显示信息显示在所述第一显示区域;
    所述航拍任务对应的显示信息显示在所述第二显示区域。
  99. 根据权利要求82所述的方法,其特征在于,所述多个显示区域包括位于不同位置的第一显示区域和第二显示区域;所述飞行任务包括航拍任务和/或交通信息采集任务;
    所述方法还包括:
    在所述飞行器执行航拍任务时,将所述航拍任务对应的显示信息显示在所述第一显示区域;并在所述飞行器执行交通信息采集任务之后,将所述交通信息采集任务对应的显示信息显示在所述第一显示区域,并将所述航拍任务对应的显示信息切换显示在所述第二显示区域。
  100. 根据权利要求82所述的方法,其特征在于,所述飞行任务包括交通信息采集任务;
    所述车辆用于根据从所述任务数据中提取的目标物的位置信息和类型信息生成显示信息。
  101. 根据权利要求100所述的方法,其特征在于,所述多个显示区域包括位于不同位置的第一显示区域和第二显示区域;
    所述车辆用于将所述显示信息显示在第一显示区域和/或第二显示区域;
    其中,所述显示信息在所述第一显示区域中的展示位置根据交通环境中所述目标物与所述车辆的相对位置关系确定;
    所述显示信息在所述第二显示区域中的展示位置根据所述目标物的位置信息和所述第二显示区域指示的物体展示比例确定。
  102. 根据权利要求82所述的方法,其特征在于,所述方法还包括:
    响应于显示切换指令,将所述显示信息切换显示在其他显示区域。
  103. 根据权利要求102所述的方法,其特征在于,所述车辆设置有相机;
    所述方法还包括:
    获取所述相机采集的用户图像,根据从所述用户图像中识别的用户手势确定是否生成所述显示切换指令。
  104. 根据权利要求103所述的方法,其特征在于,所述相机包括内置的第一相机和/或通过可插拔接口与车辆通信连接的第二相机。
  105. 根据权利要求82所述的方法,其特征在于,所述车辆包括通过可插拔接口与车辆通信连接的第二相机;
    所述方法还包括:
    将所述第二相机执行拍摄任务获得的图像或视频显示在任一所述显示区域中。
  106. 根据权利要求105所述的方法,其特征在于,所述方法还包括:
    将所述第二相机执行拍摄任务获得的图像或视频和所述飞行任务的任务数据发送给远端设备。
  107. 根据权利要求106所述的方法,其特征在于,所述第二相机执行拍摄任务获得的图像或视频、和由所述飞行任务的任务数据生成的显示信息在远端设备中叠加显示。
  108. 根据权利要求82所述的方法,其特征在于,所述车辆包括通过可插拔接口与车辆通信连接的第二相机;
    所述方法还包括:
    在检测到车辆本体与所述第二相机通信连接之后,获取所述第二相机采集的用户图像,并在不同的工作模式中使用所述用户图像执行不同的功能。
  109. 根据权利要求108所述的方法,其特征在于,所述工作模式包括第一工作模式和第二工作模式;
    所述第一工作模式指示识别所述用户图像获得用户手势;
    所述第二工作模式指示使用所述用户图像监测驾驶员的驾驶状态。
  110. 根据权利要求109所述的方法,其特征在于,所述车辆包括有切换控件;
    所述方法还包括:
    响应于所述切换控件的切换触发,将当前工作模式从第一工作模式切换为第二工作模式、或者将当前工作模式从第二工作模式切换为所述第一工作模式。
  111. 根据权利要求82所述的方法,其特征在于,所述飞行任务包括交通信息采集任务;
    所述方法还包括:
    当所述飞行器固定于所述车辆,将所述飞行器采集的交通环境中的第一交通信息和所述车辆的车载传感器采集的环境信息融合,作为所述车辆的环境感知信息参考;
    当所述飞行器执行交通信息采集任务时,将所述飞行器采集的交通环境中的第二交通信息和所述飞行器采集所述第二交通环境信息时的位姿信息,作为所述车辆的导航信息参考。
  112. 根据权利要求111所述的方法,其特征在于,所述将所述飞行器采集的交通环境中的第一交通信息和所述车辆的车载传感器采集的环境信息融合,包括:
    获取所述飞行器固定在所述车辆时相对于所述车辆的位姿信息;
    根据所述位姿信息将所述飞行器采集的第一交通信息和所述车辆的车载传感器采集的环境信息融合。
  113. 根据权利要求111所述的方法,其特征在于,所述将所述飞行器采集的交通环境中的第二交通信息和所述飞行器采集所述第二交通环境信息时的位姿信息,作为所述车辆的导航信息参考,包括:
    获取所述飞行器采集所述第二交通信息时的位姿信息,基于所述位姿信息和所述第二交通信息确定交通环境中的目标物的位置信息;
    将所述目标物的位置信息作为所述导航信息参考。
  114. 根据权利要求113所述的方法,其特征在于,所述将所述目标物的位置信息作为所述导航信息参考,包括:
    根据所述目标物的位置信息规划所述车辆的导航路径。
  115. 根据权利要求114所述的方法,其特征在于,所述根据所述目标物的位置信息规划所述车辆的导航路径,包括:
    获取所述车辆的位姿信息,根据所述车辆的位姿信息和所述目标物的位置信息规划所述车辆的导航路径。
  116. 根据权利要求113所述的方法,其特征在于,还包括:
    根据所述目标物的位置信息在所述显示区域显示叠加有目标物的位置标记的地图。
  117. 根据权利要求114或115所述的方法,其特征在于,还包括:
    在所述显示区域中显示叠加有所述导航路径的地图。
  118. 一种数据展示系统,其特征在于,包括车辆和飞行器,所述车辆与所述飞行器通信连接;
    所述飞行器用于在执行飞行任务过程中,采集对应所述飞行任务的任务数据,并将所述任务数据回传给所述车辆;
    所述车辆用于根据所述任务数据生成显示信息,在显示区域显示所述显示信息,其中,不同种类的飞行任务的任务数据生成不同种类的显示信息。
  119. 一种数据处理方法,其特征在于,应用于车辆,包括:
    当飞行器固定于车辆,获取飞行器采集的第一交通信息和所述车辆的车载传感器采集的环境信息,将所述第一交通信息和所述车载传感器采集的环境信息融合,作为所述车辆的环境感知信息参考;
    当所述飞行器执行飞行任务,获取所述飞行器采集的第二交通信息和所述飞行器在采集所述第二交通信息时的位姿信息,根据所述位姿信息将所述第二交通信息作为所述车辆的导航信息参考。
  120. 一种数据处理方法,其特征在于,应用于相机,所述方法包括:
    在执行拍摄任务的过程中,检测所述相机是否与车辆连接;
    若所述相机与所述车辆连接,将执行所述拍摄任务采集的图像发送给所述车辆;所述图像用于触发所述车辆使用所述图像识别用户手势或者检测驾驶员状态;所述用户手势至少用于控制与所述车辆通信连接的飞行器执行飞行任务;
    若所述相机未与所述车辆连接,存储执行所述拍摄任务采集的图像。
  121. 一种飞行器的降落方法,其特征在于,包括:
    响应于降落触发,查找待降落的车辆,并确定所述飞行器与所述待降落的车辆之间的相对位姿关系;
    根据所述飞行器的运动信息和所述相对位姿关系估计所述待降落的车辆的预测运动信息,以规划所述飞行器的降落路径;
    根据所述降落路径控制所述飞行器降落到所述车辆。
  122. 一种飞行器,其特征在于,包括:
    机身;
    动力系统,设置于机身,用于为飞行器提供动力;以及,
    一个或多个处理器,设置于机身,用于执行权利要求58至81、121任意一项所述的方法。
  123. 一种车辆,其特征在于,包括:
    车身;
    动力系统,设置于车身,用于为车辆提供动力;
    位于不同位置的多个显示区域,用于显示飞行任务的显示信息;以及,
    一个或多个处理器,设置于机身,用于执行权利要求82至117、119任意一项所述的方法。
  124. 一种相机,其特征在于,包括:
    镜头组件,用于透过光线;
    感光元件,用于将光线转换为电信号,生成图像;
    存储器,用于存储图像;以及,
    处理器,用于执行权利要求120所述的方法。
  125. 一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有可执行指令,所述可执行指令被处理器执行时实现如权利要求58至117、119至121任一项所述的方法。
CN202180101680.4A 2021-12-10 2021-12-10 数据采集方法、数据展示方法、数据处理方法、飞行器的降落方法、数据展示系统及存储介质 Pending CN117916155A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/137164 WO2023102911A1 (zh) 2021-12-10 2021-12-10 数据采集方法、数据展示方法、数据处理方法、飞行器的降落方法、数据展示系统及存储介质

Publications (1)

Publication Number Publication Date
CN117916155A true CN117916155A (zh) 2024-04-19

Family

ID=86729521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180101680.4A Pending CN117916155A (zh) 2021-12-10 2021-12-10 数据采集方法、数据展示方法、数据处理方法、飞行器的降落方法、数据展示系统及存储介质

Country Status (2)

Country Link
CN (1) CN117916155A (zh)
WO (1) WO2023102911A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116661501B (zh) * 2023-07-24 2023-10-10 北京航空航天大学 无人机集群高动态环境避障与动平台着降联合规划方法
CN116890891B (zh) * 2023-09-11 2023-12-12 比亚迪股份有限公司 车辆控制方法、控制器、电子设备、存储介质及车辆

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3786742A1 (en) * 2014-05-30 2021-03-03 SZ DJI Technology Co., Ltd. Systems and methods for uav docking
CN204206689U (zh) * 2014-11-25 2015-03-11 中国兵器工业计算机应用技术研究所 一种车载双席无人机地面控制站
CN108298102A (zh) * 2017-12-15 2018-07-20 成都优力德新能源有限公司 一种车载双席无人机地面控制站
CN108694829B (zh) * 2018-03-27 2021-08-13 西安科技大学 基于无人机群移动平台的交通流量识别监测网络和方法
JP2020140133A (ja) * 2019-02-28 2020-09-03 パナソニックIpマネジメント株式会社 表示制御システム、表示システム、移動体、表示制御方法及びプログラム
CN111656313A (zh) * 2019-04-28 2020-09-11 深圳市大疆创新科技有限公司 屏幕显示切换方法、显示设备、可移动平台
KR20190107290A (ko) * 2019-08-31 2019-09-19 엘지전자 주식회사 차량 제어 방법 및 차량을 제어하는 지능형 컴퓨팅 디바이스

Also Published As

Publication number Publication date
WO2023102911A1 (zh) 2023-06-15

Similar Documents

Publication Publication Date Title
US11106203B2 (en) Systems and methods for augmented stereoscopic display
US11914369B2 (en) Multi-sensor environmental mapping
US11604479B2 (en) Methods and system for vision-based landing
US20210116944A1 (en) Systems and methods for uav path planning and control
JP6735821B2 (ja) Uav経路を計画し制御するシステム及び方法
CN110325939B (zh) 用于操作无人驾驶飞行器的系统和方法
US20170300051A1 (en) Amphibious vertical take off and landing unmanned device with AI data processing apparatus
CN108292140B (zh) 用于自动返航的系统和方法
US11644839B2 (en) Systems and methods for generating a real-time map using a movable object
US8019490B2 (en) Imaging and display system to aid helicopter landings in brownout conditions
CN110268356B (zh) 前导无人机的系统
US20170313439A1 (en) Methods and syststems for obstruction detection during autonomous unmanned aerial vehicle landings
CN110226143B (zh) 前导无人机的方法
US20190243356A1 (en) Method for controlling flight of an aircraft, device, and aircraft
JP6445808B2 (ja) 画像表示システム
CN117916155A (zh) 数据采集方法、数据展示方法、数据处理方法、飞行器的降落方法、数据展示系统及存储介质
CN112558608A (zh) 一种基于无人机辅助的车机协同控制及路径优化方法
CN117848356A (zh) 用于无人飞行器和地面载运工具之间的协作地图构建的技术
DE112018005910T5 (de) Steuervorrichtung und steuerverfahren, programm und mobiler körper
JP2019014300A (ja) 車両制御システム、車両制御方法、およびプログラム
CN109521780B (zh) 遥控作业车辆的控制系统及控制方法
CN112188077A (zh) 信息提供装置、信息提供方法及存储介质
CN113777975A (zh) 一种自动驾驶车辆的远程辅助系统及方法
CN220518585U (zh) 一种可自主避障的超低空抵近侦察无人机设备
Naveenkumar et al. Autonomous Drone Using Time-of-Flight Sensor for Collision Avoidance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240515

Address after: Building 3, Xunmei Science and Technology Plaza, No. 8 Keyuan Road, Science and Technology Park Community, Yuehai Street, Nanshan District, Shenzhen City, Guangdong Province, 518057, 1634

Applicant after: Shenzhen Zhuoyu Technology Co.,Ltd.

Country or region after: China

Address before: 518057 Shenzhen Nanshan High-tech Zone, Shenzhen, Guangdong Province, 6/F, Shenzhen Industry, Education and Research Building, Hong Kong University of Science and Technology, No. 9 Yuexingdao, South District, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: SZ DJI TECHNOLOGY Co.,Ltd.

Country or region before: China