CN108614543A - 用于呈现移动平台的操作信息的方法和装置 - Google Patents

用于呈现移动平台的操作信息的方法和装置 Download PDF

Info

Publication number
CN108614543A
CN108614543A CN201810421663.9A CN201810421663A CN108614543A CN 108614543 A CN108614543 A CN 108614543A CN 201810421663 A CN201810421663 A CN 201810421663A CN 108614543 A CN108614543 A CN 108614543A
Authority
CN
China
Prior art keywords
data
mobile platform
platform
diagnostic data
remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810421663.9A
Other languages
English (en)
Inventor
陶冶
张留涛
张芝源
刘渭锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
SZ DJI Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Priority to CN201810421663.9A priority Critical patent/CN108614543A/zh
Publication of CN108614543A publication Critical patent/CN108614543A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0044Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0208Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the configuration of the monitoring system
    • G05B23/0216Human interface functionality, e.g. monitoring system providing help to the user in the selection of tests or in its configuration
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0069Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV

Abstract

本发明提供了一种用于呈现移动平台的操作信息的系统及其制作与使用方法。在示例性方法中,可以采集与所述移动平台的操作相关联的诊断数据和行进路线数据。所述行进路线数据可以与所述诊断数据整合以便呈现。所述诊断数据可以包括平台诊断数据。所述诊断数据还可以包括遥控数据。所述遥控数据可以由与所述移动平台相关联的遥控器生成,或者由计算机设备生成。所述行进路线数据和所述诊断数据能够以这样的方式整合以便同步呈现。所述方法可以因此使得用户能够访问分析所述操作所必需的数据。因此能够以期望的效率和准确性来实施对所述移动平台的操作的故障排查。

Description

用于呈现移动平台的操作信息的方法和装置
本申请是向中国知识产权局提交的申请号为201580004347.6,申请日为2015年04月24日,发明创造名称为"用于呈现移动平台的操作信息的方法、设备和系统"的发明专利申请的分案申请。
技术领域
所公开的实施方式总体涉及移动平台操作,更具体而言,涉及但不仅限于用于呈现移动平台的操作信息的方法和装置。
背景技术
诸如无人飞行器等移动平台可以用于执行监视、侦察和勘探任务以供军事和民用应用。无人载具可以装备有功能性负载,诸如用于从周围环境中采集数据的传感器。例如,遥控的无人飞行器(UAV)可以用于提供以其他方式难以到达的环境的航空影像。
分析移动平台的操作对于诊断操作期间可能发生的问题而言是至关重要的。分析的结果可以提供用于维修移动平台的有价值信息以及新移动平台的发展。常规地,分析移动平台的操作,诸如在无人飞行器的飞行期间可能发生的操作,是耗时的,通常需要专业知识并且仅提供有限量的、对于故障排查可能并无价值的信息。
鉴于以上,需要改进用于高效且用户友好地呈现与移动平台相关联的操作信息的方法和装置,以便克服上文所提及的常规移动平台技术的问题和缺陷。
发明内容
本公开内容涉及一种用于呈现移动平台的操作信息的系统及其制作与使用方法。
根据本文公开的第一方面,阐述了一种用于呈现移动平台的操作信息的方法,所述方法包括:
采集与所述移动平台的操作相关联的诊断数据和行进路线数据;以及
整合所述行进路线数据与所述诊断数据以便呈现。
在所公开的方法的一些实施方式中,所述采集包括采集与无人飞行器(UAV)的操作相关联的诊断数据和行进路线数据。
在所公开的方法的一些实施方式中,所述采集包括采集与所述移动平台相关联的所述诊断数据,其中所述诊断数据包括来自所述移动平台的云台数据。
在所公开的方法的一些实施方式中,其中所述采集包括采集来自速搜移动平台的云台数据,其中所述云台数据包括与所述移动平台相关联的云台的绝对坐标、所述云台的云台角度的范围以及云台方向与所述移动平台的方向之间的角度。
在所公开的方法的一些实施方式中,其中所述整合包括提供相对于所述移动平台的行进方向的云台方向。
在所公开的方法的一些实施方式中,其中所述整合包括提供位于所述移动平台上的云台的俯仰角。
在所公开的方法的一些实施方式中,还包括:
根据来自用户的输入而生成遥控命令;以及
向所述移动平台发送所述遥控命令,用于遥控所述移动平台。
在所公开的方法的一些实施方式中,还包括根据所述遥控命令生成遥控数据。
在所公开的方法的一些实施方式中,所述采集包括采集所述诊断数据,其中所述诊断数据包括所述遥控数据。
在所公开的方法的一些实施方式中,所述发送包括向所述移动平台发送遥控命令,所述遥控命令包括平台移动命令,并且所述整合包括检测所述移动平台的移动与所述平台移动命令之间的不一致。
在所公开的方法的一些实施方式中,所述采集包括采集与所述移动平台相关联的所述诊断数据,其中所述诊断数据包括来自与所述移动平台相关联的遥控器的遥控操作数据。
在所公开的方法的一些实施方式中,所述采集包括采集与所述移动平台相关联的所述诊断数据,其中所述诊断数据包括来自所述移动平台的遥控器的位置数据。
在所公开的方法的一些实施方式中,所述采集包括采集与所述移动平台相关联的所述诊断数据,其中所述诊断数据包括来自所述移动平台的所述遥控器的全球定位系统(GPS)数据。
在所公开的方法的一些实施方式中,所述整合包括检测所述移动平台的移动与由所述遥控器提供的平台移动命令之间的不一致。
在所公开的方法的一些实施方式中,所述整合包括整合所述行进路线数据与所述诊断数据以便随所述操作实时呈现。
在所公开的方法的一些实施方式中,所述采集包括采集与所述移动平台相关联的所述诊断数据,其中所述诊断数据包括来自所述移动平台的电池电压水平。
在所公开的方法的一些实施方式中,所述采集包括采集与所述移动平台相关联的所述诊断数据,其中所述诊断数据包括来自所述移动平台的电池电流水平。
在所公开的方法的一些实施方式中,所述采集包括采集与所述移动平台相关联的所述诊断数据,其中所述诊断数据包括来自所述移动平台的智能电池数据。
在所公开的方法的一些实施方式中,所述整合包括根据所述还航点与所述移动平台之间的距离来计算返回还航点所需的阈值电池电量,并且当电池电量达到所述阈值电池电量时生成电池电量警告。
在所公开的方法的一些实施方式中,所述采集包括采集与所述移动平台相关联的所述诊断数据,其中所述诊断数据包括来自所述移动平台的相机数据。
在所公开的方法的一些实施方式中,所述采集包括采集所述相机数据,其中所述相机数据包括快门速度、国际标准化组织(ISO)灵敏度设置以及光圈大小。
在所公开的方法的一些实施方式中,所述整合包括提供在获取图像时所述移动平台的位置。
在所公开的方法的一些实施方式中,所述整合包括提供在开始记录视频时和停止记录视频时所述移动平台的位置。
在所公开的方法的一些实施方式中,所述采集包括采集与所述移动平台相关联的所述诊断数据,其中所述诊断数据包括来自所述移动平台的还航点数据。
在所公开的方法的一些实施方式中,所述整合包括提供所述移动平台的还航点。
在所公开的方法的一些实施方式中,所述整合包括提供相对于所述移动平台的行进方向的所述移动平台的方向。
在所公开的方法的一些实施方式中,所述采集包括采集与所述移动平台相关联的所述诊断数据,其中所述诊断数据包括针对所述移动平台的所述操作的行进警报。
在所公开的方法的一些实施方式中,所述采集包括:
在预定时间接收所述诊断数据和所述行进路线数据;以及
按时间顺序储存所述诊断数据和所述行进路线数据。
在所公开的方法的一些实施方式中,所述储存包括将所述诊断数据和所述行进路线数据与时间戳相关联。
在所公开的方法的一些实施方式中,所述整合包括将所述行进路线数据与所述诊断数据同步地整合。
在所公开的方法的一些实施方式中,所述整合包括在失去与所述移动平台的地面通信之后估计所述移动平台的坠落位置。
在所公开的方法的一些实施方式中,所述采集包括采集要下载的所述诊断数据和所述行进路线数据。
根据本文公开的另一方面,阐述了一种用于呈现移动平台的操作信息的装置,所述装置包括:
收发器,用于接收与所述移动平台的操作相关联的平台诊断数据和行进路线数据;以及
处理器,用于整合所接收的行进路线数据与所接收的平台诊断数据以便经由显示系统呈现。
在所公开的装置的一些实施方式中,所述装置被配置用于与远程移动平台一起使用。
在所公开的装置的一些实施方式中,所述收发器被配置用于接收与无人飞行器(UAV)相关联的所述平台诊断数据和所述行进路线数据。
在所公开的装置的一些实施方式中,所述收发器被配置用于采集与所述移动平台相关联的所述平台诊断数据,所述平台诊断数据包括来自所述移动平台的云台数据。
在所公开的装置的一些实施方式中,所述收发器被配置用于采集来自所述移动平台的云台数据,其中所述云台数据包括与所述移动平台相关联的云台的绝对坐标、所述云台的云台角度的范围以及云台方向与所述移动平台的方向之间的角度。
在所公开的装置的一些实施方式中,所述处理器被配置用于提供相对于所述移动平台的行进方向的云台方向。
在所公开的装置的一些实施方式中,所述处理器被配置用于提供位于所述移动平台上的云台的俯仰角。
在所公开的装置的一些实施方式中,所述处理器还被配置用于根据来自用户的输入而生成遥控命令;以及
所述收发器还被配置用于向所述移动平台发送所述遥控命令,用于遥控所述移动平台。
在所公开的装置的一些实施方式中,所述处理器还被配置用于根据所述遥控命令生成遥控数据。
在所公开的装置的一些实施方式中,所述处理器被配置用于采集所述遥控数据。
在所公开的装置的一些实施方式中,所述收发器被配置用于向所述移动平台发送所述遥控命令,所述遥控命令包括平台移动命令,并且所述整合包括检测所述移动平台的移动与所述平台移动命令之间的不一致。
在所公开的装置的一些实施方式中,所述收发器被配置用于采集与所述移动平台相关联的所述诊断数据,其中所述诊断数据包括来自所述移动平台的遥控器的遥控操作数据。
在所公开的装置的一些实施方式中,所述收发器被配置用于采集与所述移动平台相关联的所述诊断数据,其中所述诊断数据包括来自所述移动平台的遥控器的位置数据。
在所公开的装置的一些实施方式中,所述收发器被配置用于采集与所述移动平台相关的诊断数据,其中所述诊断数据包括来自所述移动平台的遥控器的GPS数据。
在所公开的装置的一些实施方式中,所述处理器被配置用于检测所述移动平台的移动与由所述遥控器提供的平台移动命令之间的不一致。
在所公开的装置的一些实施方式中,所述处理器被配置用于整合所述行进路线数据与所述诊断数据以便随所述操作实时呈现。
在所公开的装置的一些实施方式中,所述收发器被配置用于采集与所述移动平台相关联的所述诊断数据,其中所述诊断数据包括来自所述移动平台的电池电压水平。
在所公开的装置的一些实施方式中,所述收发器被配置用于采集与所述移动平台相关联的所述诊断数据,其中所述诊断数据包括来自所述移动平台的电池电流水平。
在所公开的装置的一些实施方式中,所述收发器被配置用于采集与所述移动平台相关联的所述诊断数据,其中所述诊断数据包括来自所述移动平台的智能电池数据。
在所公开的装置的一些实施方式中,所述处理器被配置用于根据所述还航点与所述移动平台之间的距离来计算返回还航点所需的阈值电池电量,并且当电池电量达到所述阈值电池电量时生成电池电量警告。
在所公开的装置的一些实施方式中,其中所述收发器被配置用于采集与所述移动平台相关联的所述诊断数据,其中所述诊断数据包括来自所述移动平台的相机数据。
在所公开的装置的一些实施方式中,所述收发器被配置用于采集所述相机数据,其中所述相机数据包括快门速度、国际标准化组织(ISO)灵敏度设置以及光圈大小。
在所公开的装置的一些实施方式中,所述收发器被配置用于提供在获取图像时所述移动平台的位置。
在所公开的装置的一些实施方式中,所述收发器被配置用于提供在开始记录视频时和停止记录视频时所述移动平台的位置。
在所公开的装置的一些实施方式中,所述收发器被配置用于采集与所述移动平台相关联的所述诊断数据,其中所述诊断数据包括来自所述移动平台的还航点数据。
在所公开的装置的一些实施方式中,所述处理器被配置用于提供所述移动平台的还航点。
在所公开的装置的一些实施方式中,所述处理器被配置用于提供相对于所述移动平台的行进方向的所述移动平台的方向。
在所公开的装置的一些实施方式中,所述收发器被配置用于采集与所述移动平台相关联的所述诊断数据,其中所述诊断数据包括针对所述移动平台的操作的行进警报。
在所公开的装置的一些实施方式中,所述收发器被配置用于在预定时间接收所述诊断数据和所述行进路线数据,并且所述装置包括用于按时间顺序储存所述诊断数据和所述行进路线数据的存储器。
在所公开的装置的一些实施方式中,所述存储器被配置用于将所述诊断数据和所述行进路线数据与时间戳相关联。
在所公开的装置的一些实施方式中,所述处理器被配置用于将所述行进路线数据与所述诊断数据同步地整合。
在所公开的装置的一些实施方式中,所述处理器被配置用于在失去与所述移动平台的地面通信之后估计所述移动平台的坠落位置。
在所公开的装置的一些实施方式中,所述采集包括采集要下载的所述诊断数据和行进路线数据。
根据本文公开的另一方面,阐述了一种用于提供移动平台的操作信息的方法,所述方法包括:
采集与所述移动平台的操作相关联的平台诊断数据和行进路线数据;以及
向远程计算机设备推送所述平台诊断数据和所述行进路线数据,以便整
在所公开的方法的一些实施方式中,所述采集包括采集与无人飞行器(UAV)相关联的所述平台诊断数据和所述行进路线数据。
在所公开的方法的一些实施方式中,所述推送包括向所述计算机设备推送所述平台诊断数据,其中所述平台诊断数据包括云台数据。
在所公开的方法的一些实施方式中,所述采集包括采集来自所述移动平台的所述云台数据,其中所述云台数据包括与所述移动平台相关联的云台的绝对坐标、所述云台的云台角度的范围以及云台方向与所述移动平台的方向之间的角度。
在所公开的方法的一些实施方式中,所述整合包括提供相对于所述移动平台的行进方向的云台方向。
在所公开的方法的一些实施方式中,所述整合包括提供位于所述移动平台上的云台的俯仰角。
在所公开的方法的一些实施方式中,所述整合包括整合所述行进路线数据与所述平台诊断数据以便随所述操作实时呈现。
在所公开的方法的一些实施方式中,所述推送包括向所述计算机设备推送所述平台诊断数据,所述平台诊断数据包括电池电压水平。
在所公开的方法的一些实施方式中,所述推送包括向所述计算机设备推送所述平台诊断数据,所述平台诊断数据包括电池电流水平。
在所公开的方法的一些实施方式中,所述推送包括向所述计算机设备推送所述平台诊断数据,其中所述平台诊断数据包括智能电池数据。
在所公开的方法的一些实施方式中,所述整合包括根据所述还航点与所述移动平台之间的距离来计算返回还航点所需的阈值电池电量,并且当电池电量达到所述阈值电池电量时生成电池电量警告。
在所公开的方法的一些实施方式中,所述推送包括向所述计算机设备推送所述平台诊断数据,其中所述平台诊断数据包括相机数据。
在所公开的方法的一些实施方式中,所述采集包括采集所述相机数据,其中所述相机数据包括快门速度、国际标准化组织(ISO)灵敏度设置以及光圈大小。
在所公开的方法的一些实施方式中,所述整合包括提供在获取图像时所述移动平台的位置。
在所公开的方法的一些实施方式中,所述整合包括提供在开始记录视频时和停止记录视频时所述移动平台的位置。
在所公开的方法的一些实施方式中,所述推送包括向所述计算机设备推送所述平台诊断数据,其中所述平台诊断数据包括还航点数据。
在所公开的方法的一些实施方式中,所述整合包括提供所述移动平台的还航点。
在所公开的方法的一些实施方式中,所述整合包括提供相对于所述移动平台的行进方向的所述移动平台的方向。
在所公开的方法的一些实施方式中,所述推送包括在预定时间向所述计算机设备推送所述诊断数据和所述行进路线数据,以便随后按时间顺序储存所述诊断数据和所述行进路线数据。
在所公开的方法的一些实施方式中,所述随后的储存包括将所述诊断数据和所述行进路线数据与时间戳相关联。
在所公开的方法的一些实施方式中,所述整合包括将所述行进路线数据与所述平台诊断数据同步地整合。
在所公开的方法的一些实施方式中,所述整合包括在失去与所述移动平台的地面通信之后估计所述移动平台的坠落位置。
在所公开的方法的一些实施方式中,所述采集包括采集要下载的所述诊断数据和行进路线数据。
在所公开的方法的一些实施方式中,所述采集包括采集来自所述计算机设备的遥控命令,用于控制所述移动平台。
在所公开的方法的一些实施方式中,所述整合包括检测所述移动平台的移动与由所述计算机设备提供的平台移动命令之间的不一致。
根据本文公开的第一方面,阐述了一种移动平台,所述移动平台包括:
处理器,用于采集与所述移动平台的操作相关联的平台诊断数据和行进路线数据;以及
发射器,用于向远程计算机设备推送所述平台诊断数据和所述行进路线数据,以便整合所推送的行进路线数据与所推送的平台诊断数据以供呈现。
在所公开的移动平台的一些实施方式中,所述移动平台是无人飞行器(UAV)。
在所公开的移动平台的一些实施方式中,所述发射器被配置用于向所述计算机设备推送所述平台诊断数据,其中所述平台诊断数据包括云台数据。
在所公开的移动平台的一些实施方式中,所述处理器被配置用于采集来自所述移动平台的所述云台数据,其中所述云台数据包括与所述移动平台相关联的云台的绝对坐标、所述云台的云台角度的范围以及云台方向与所述移动平台的方向之间的角度。
在所公开的移动平台的一些实施方式中,所述发射器被配置用于向所述计算机设备推送所述诊断数据和所述行进路线数据以便提供相对于所述移动平台的行进方向的云台方向。
在所公开的移动平台的一些实施方式中,所述发射器被配置用于向所述计算机设备推送所述诊断数据和所述行进路线数据以便提供位于所述移动平台上的云台的俯仰角。
在所公开的移动平台的一些实施方式中,所述发射器被配置用于向所述计算机设备推送所述平台诊断数据和所述行进路线数据,以便整合所述行进路线数据与所述平台诊断数据以随所述操作实时呈现。
在所公开的移动平台的一些实施方式中,所述发射器被配置用于向所述计算机设备推送所述平台诊断数据,其中所述平台诊断数据包括电池电压水平。
在所公开的移动平台的一些实施方式中,所述发射器被配置用于向所述计算机设备推送所述平台诊断数据,其中所述平台诊断数据包括电池电流水平。
在所公开的移动平台的一些实施方式中,所述发射器被配置用于向所述计算机设备推送所述平台诊断数据,其中所述平台诊断数据包括智能电池数据。
在所公开的移动平台的一些实施方式中,所述整合包括根据所述还航点与所述移动平台之间的距离来计算返回还航点所需的阈值电池电量,并且当电池电量达到所述阈值电池电量时生成电池电量警告。
在所公开的移动平台的一些实施方式中,所述发射器被配置用于向所述计算机设备推送所述平台诊断数据,其中所述平台诊断数据包括相机数据。
在所公开的移动平台的一些实施方式中,所述发射器被配置用于向所述计算机设备推送所述相机数据,其中所述相机数据包括快门速度、国际标准化组织(ISO)灵敏度设置以及光圈大小。
在所公开的移动平台的一些实施方式中,所述整合包括提供在获取图像时所述移动平台的位置。
在所公开的移动平台的一些实施方式中,所述整合包括提供在开始记录视频时和停止记录视频时所述移动平台的位置。
在所公开的移动平台的一些实施方式中,所述发射器被配置用于向所述计算机设备推送所述平台诊断数据,其中所述平台诊断数据包括还航点数据。
在所公开的移动平台的一些实施方式中,所述整合包括提供所述移动平台的还航点。
在所公开的移动平台的一些实施方式中,所述整合包括提供相对于所述移动平台的行进方向的所述移动平台的方向。
在所公开的移动平台的一些实施方式中,所述发射器被配置用于在预定时间向所述计算机设备推送所述诊断数据和所述行进路线,以便随后按时间顺序储存所述诊断数据和所述行进路线数据。
在所公开的移动平台的一些实施方式中,所述随后的储存包括将所述诊断数据和所述行进路线数据与时间戳相关联。
在所公开的移动平台的一些实施方式中,所述发射器被配置用于向所述计算机设备推送所述诊断数据和所述行进路线数据,以便将所述行进路线数据与所述平台诊断数据同步地整合。
在所公开的移动平台的一些实施方式中,所述发射器被配置用于向所述计算机设备推送所述诊断数据和所述行进路线数据,以便在失去与所述移动平台的地面通信之后估计所述移动平台的坠落位置。
在所公开的移动平台的一些实施方式中,所述发射器被配置用于推送随后要下载的所述诊断数据和所述行进路线数据。
在所公开的移动平台的一些实施方式中,所述发射器被配置用于向所述计算机设备推送所述诊断数据和所述行进路线数据,以便检测所述移动平台的移动与由所述计算机设备提供的平台移动命令之间的不一致。
在所公开的移动平台的一些实施方式中,所述发射器被配置用于向所述计算机设备推送所述诊断数据和所述行进路线数据,以便检测所述移动平台的移动与由所述移动平台的遥控器提供的平台移动命令之间的不一致。
根据本文公开的另一方面,阐述了一种用于提供移动平台的操作信息的方法,所述方法包括:
采集与所述移动平台的遥控器以及所述移动平台的操作相关联的遥控数据;以及
向计算机设备推送所述遥控数据,以便将所推送的遥控数据与关联于所述移动平台的平台诊断数据和行进路线数据整合以供呈现。
在所公开的方法的一些实施方式中,所述采集包括采集与无人飞行器的所述遥控器相关联的所述遥控数据。
在所公开的方法的一些实施方式中,所述推送包括向所述显示器推送所述遥控数据,所述显示器集成在计算机设备上,而所述遥控器未集成在所述计算机设备上。
在所公开的方法的一些实施方式中,所述推送包括向显示器推送所述遥控数据,并且所述显示器和所述遥控器集成在计算机设备上。
在所公开的方法的一些实施方式中,所述推送包括向所述显示器推送所述遥控数据,并且所述显示器集成在所述遥控器上。
在所公开的方法的一些实施方式中,所述整合包括将所述遥控数据与关联于所述移动平台的所述平台诊断数据和所述行进路线数据整合以便随所述操作实时呈现。
在所公开的方法的一些实施方式中,所述推送包括向所述计算机设备推送所述遥控数据,其中所述遥控数据包括与所述遥控器相关联的位置数据。
在所公开的方法的一些实施方式中,所述推送包括向所述计算机设备推送所述遥控数据,所述遥控数据包括与所述遥控器相关联的GPS数据。
在所公开的方法的一些实施方式中,所述推送包括向所述计算机设备推送所述遥控数据,其中所述遥控数据包括与所述遥控器相关联的遥控操作数据。
在所公开的方法的一些实施方式中,所述推送包括在预定时间推送所述遥控数据,以便随后按时间顺序储存所述遥控数据、所述平台诊断数据以及所述行进路线数据。
在所公开的方法的一些实施方式中,所述随后的储存包括将所述遥控数据、所述平台诊断数据以及所述行进路线数据与时间戳相关联。
在所公开的方法的一些实施方式中,所述整合包括将所述行进路线数据与所述平台诊断数据和所述遥控诊断数据同步地整合。
在所公开的方法的一些实施方式中,所述整合包括在失去与所述移动平台的地面通信之后估计所述移动平台的坠落位置。
在所公开的方法的一些实施方式中,所述整合包括检测所述移动平台的移动与由所述遥控器提供的平台移动命令之间的不一致。
根据本文公开的另一方面,阐述了一种移动平台的遥控器,所述遥控器包括:
处理器,用于采集与所述移动平台的操作相关联的遥控数据;以及
发射器,用于向计算机设备推送所述遥控数据,以便将所推送的遥控数据与关联于所述移动平台的平台诊断数据和行进路线数据整合以供呈现。
在所述遥控器的一些实施方式中,所述遥控器包括无人飞行器的遥控器。
在所述遥控器的一些实施方式中,所述显示器集成在计算机设备上,而所述遥控器未集成在所述计算机设备上。
在所述遥控器的一些实施方式中,所述显示器和所述遥控器集成在计算机设备上。
在所述遥控器的一些实施方式中,所述显示器集成在所述遥控器上。
在所述遥控器的一些实施方式中,所述发射器被配置用于向所述计算机设备推送所述遥控数据,以便将所述遥控数据与关联于所述移动平台的所述平台诊断数据和所述行进路线数据整合以随所述操作实时呈现。
在所述遥控器的一些实施方式中,所述发射器被配置用于向所述计算机设备推送所述遥控数据,所述遥控数据包括所述遥控器的位置数据。
在所述遥控器的一些实施方式中,所述发射器被配置用于向所述计算机设备推送所述遥控数据,所述遥控数据包括所述遥控器的GPS数据。
在所述遥控器的一些实施方式中,所述发射器被配置用于向所述计算机设备推送所述遥控数据,所述遥控数据包括所述遥控器的遥控操作。
在所述遥控器的一些实施方式中,所述发射器被配置用于在预定时间推送所述遥控数据,以便随后按时间顺序储存所述遥控数据、所述平台诊断数据以及所述行进路线数据。
在所述遥控器的一些实施方式中,所述随后的储存包括将所述遥控数据、所述平台诊断数据以及所述行进路线数据与时间戳相关联。
在所述遥控器的一些实施方式中,所述发射器被配置用于向所述计算机设备推送所述遥控数据,以便将所述行进路线数据与所述平台诊断数据和所述遥控数据同步地整合。
在所述遥控器的一些实施方式中,所述发射器被配置用于向所述计算机设备推送所述遥控数据,以便在失去与所述移动平台的地面通信之后估计所述移动平台的坠落位置。
在所述遥控器的一些实施方式中,所述发射器被配置用于向所述计算机设备推送所述遥控数据,以便检测所述移动平台的移动与由所述遥控器提供的平台移动命令之间的不一致。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1A是图示了用于呈现移动平台的操作信息的系统的实施方式的顶层框图。
图1B是图示了图1A中用于呈现移动平台的操作信息的系统的另一实施方式的框图。
图2是图示了图1A-图1B中用于呈现移动平台的操作信息的方法的实施方式的顶层流程图。
图3是图示了图1A-图1B中的移动平台的实施方式的框图。
图4是图示了图1A-图1B中的计算机设备的实施方式的框图。
图5是图示了图1B中的遥控器的实施方式的框图。
图6是图示了根据图2中的方法而推送诊断数据和行进路线数据的示例性示意图。
图7是根据图2中的方法而与诊断数据整合的行进路线数据的示例性呈现。
图8是根据图2中的方法而与诊断数据整合的行进路线数据的另一示例性呈现。
图9是根据图2中的方法而与诊断数据整合的行进路线数据的另一示例性呈现。
图10是用于根据图2中的方法而显示操作的示例性呈现。
图11是图示了根据图2中的方法的数据采集和整合的示例性示意框图。
图12是图示了用于呈现图2中的操作信息的方法的备选实施方式的顶层流程图。
图13是图示了用于呈现图2中的操作信息的方法的另一备选实施方式的顶层流程图。
图14是根据图2中的方法的遥控操作的另一示例性呈现。
具体实施方式
无法以期望的效率和准确性对与当前移动平台相关联的操作进行分析。因此,用于呈现移动平台操作的操作信息的方法和装置可以提供用于满足与移动平台应用相关联的广泛需求的必要工具,例如,对操作进行故障排查、对失踪的移动平台进行定位以及提取由移动平台上的功能性负载获取的数据。
进一步地,所公开的方法和装置是为了向改进对移动平台操作的分析的技术问题提供解决方案,以便于一般用户对操作中问题的自助式诊断,而且还有助于移动平台技术以及计算机设备技术的提升。
可以根据本文所公开的实施方式,通过如图1A中所示的用于呈现移动平台100的操作信息的系统来实现如上文所述的效果。
图1A是图示了用于呈现移动平台的操作信息的系统的实施方式的顶层框图。图1A中的系统100A显示为包括移动平台300和计算机设备400。移动平台300和计算机设备400可以经由通信网络600而彼此通信。
移动平台300可以是指能够移动一段距离的任何合适的装置。示例性移动平台可以包括但不限于机动车、公交车、火车、航空器、轮船和其他类型的载具。出于说明性目的,移动平台可以包括无人飞行器(UAV),并且操作可以包括飞行。然而,无论在所公开的方法和装置中的何处描述了无人飞行器,无人飞行器都可由另一合适的移动平台替代,并且飞行可以由与移动平台相关联的另一操作替代,而不背离本公开内容的范围中所覆盖的概念。
计算机设备400可以是指被配置用于可编程电子设备的设备,所述可编程电子设备被配置用于接收数据、进行计算以及显示计算结果。下文将更详细地描述计算机设备400以及使用计算机设备400的相关过程的实施方式。
通信网络600可以包括常规的有线通信网络和/或无线通信网络。
图1B是图示了系统100B的框图。系统100B是如图1A中所示,用于呈现移动平台的操作信息的系统的另一示例。系统100B显示为包括移动平台300、计算机设备400和遥控器500。移动平台300、计算机设备400和遥控器500可以经由通信网络600而彼此通信。
用于移动平台300、计算机设备400和遥控器500中任何两者之间的通信的通信技术可以是相同的和/或不同的。例如,移动平台300可以与遥控器500和计算机设备400两者进行无线通信,并且遥控器500与计算机设备400之间的通信可以是有线的或无线的。
进一步地,移动平台300、计算机设备400和遥控器500中任何两者之间的通信可以是直接的或间接的,而不受限制。例如,遥控器500可以向计算机设备400发送数据。计算机设备400可以继而向移动平台300转发所述数据。
任何常规的通信技术可以用于建立通信网络600,而不受限制。例如,有线通信技术可以包括电话网络、有线电视或因特网接入以及光纤通信。合适的无线通信方法例如包括无线电、无线保真(Wi-Fi)、蜂窝、卫星和广播。移动平台300、遥控器500和计算机设备400中的每一个可分别包括收发器。在各个实施方式中,当收发器被配置用于传输信号时,“收发器”可以与“发射器”交换使用。
收发器可以包括用以接收和发送RF信号的合适的RF(射频)电路,或者用于通信的任何其他软件/硬件。RF电路可以包括用于执行通信功能的任何合适的电路,包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC芯片组、用户识别模块(SIM)卡、存储器等。RF电路可以与诸如因特网(亦被称为万维网(WWW))、内联网和/或无线网络(诸如蜂窝电话网络)、LAN和/或城域网(MAN)等网络通信,以及通过无线通信与其他设备通信。无线通信可以使用多个通信标准、协议和技术中的任一个,所述通信标准、协议和技术包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如,IEEE 802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE 802.11n)、网络电话(VoIP)、Wi-MAX、电子邮件协议(例如,因特网消息访问协议(IMAP)和/或邮局协议(POP))、即时通讯(例如,可扩展通讯和表示协议(XMPP)、针对即时信息和现场支持扩展扩展的会话发起协议(SIMPLE)和/或即时通讯和状态服务(IMPS))和/或短消息服务(SMS)或者任何其他合适的通信协议,包括截至本公开的提交日期尚未开发出的通信协议。
尽管参考图1A-图1B而示出和描述为包括一个移动平台300和一个计算机设备400并且参考图1B而示出和描述为仅出于示例性目的而包括一个遥控器500,但在不偏离所公开的概念的情况下,系统100中可以包括任何合适数目的移动平台300、计算机设备400和遥控器500。例如,一个计算机设备400可被配置用于从多个移动平台300采集数据,以及/或者一个移动平台300可被配置用于向多个计算机设备400推送数据。
图2是图示了用于呈现移动平台300(图1A-图1B中所示)的操作信息的示例性方法200的流程图。在某些实施方式中,如图2中所描绘的方法200可以用于呈现无人飞行器的操作信息。所公开的方法200可以在计算机设备400(图1A-图1B中所示)上实现。在图1A的系统100A中,移动平台300可被相应地配置以便计算机设备400实现用于呈现移动平台300的操作信息的功能和特征。在图1B中的系统100B中,移动平台300和遥控器500可被相应地配置以便计算机设备400实现用于呈现移动平台300的操作信息的功能和特征。
如图2中所示,在201中采集与操作期间的移动平台相关联的诊断数据和行进路线数据。在502中,将行进路线数据与诊断数据进行整合以便呈现。下文将更详细地描述方法200的实施方式以及用于实现方法200的装置的相关结构。
图3图示了图1A-图1B的移动平台300的实施方式。示例性移动平台300可以包括控制器310。控制器310可以包括用于执行数据获取、数据处理以及本文所描述的用于控制移动平台300的操作的任何其他功能和操作的处理硬件。在不受限制的情况下,控制器310可以包括一个或多个通用微处理器(例如,单个处理器或多核处理器)、专用集成电路、专用指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等。在各个实施方式中,控制器310可以包括用于执行控制器310的公开功能中的一部分或全部的处理器。
附加地和/备选地,移动平台300可以包括收发器370,该收发器可以包括RF电路或任何其他合适的硬件以及命令所述硬件接收和/或传输数据的任何合适的软件。在各个实施方式中,收发器214可被配置用于从控制器202向计算机设备106推送数据(图1中所示)。
附加地和/或备选地,移动平台300可以包括传感器模块360。控制器310可以与传感器模块370通信。传感器模块370可以包括一个或多个传感器(未示出),所述传感器包括但不限于位置数据单元、里程计、惯性测量单元、加速度计等。通过从传感器获得数据并且处理该数据,控制器310可以获得移动平台300的行进路线数据。行进路线数据可以包括与移动平台在操作期间任何时刻的位置、朝向和移动相关联。示例性行进路线数据可以包括移动平台300的地理位置、垂直速度、水平速度、高度、行进方向、倾斜角度等。
进一步地,控制器310可以记录与移动平台300相关联的还航点数据。还航点数据可以包括与移动平台300的操作的还航点相关联的信息。还航点可以是指操作开始处的位置、计算机设备400的位置、遥控器500的位置和/或由用户出于某一目的而指定的期望位置。
更进一步地,遥控器310可被配置用于接收遥控器500和/或计算机设备400的位置信息以及来自遥控器104和/或计算机设备400(如图1A-图1B中所示)的各种操作命令。位置数据可以包括GPS定位信息。
附加地和/或备选地,移动平台300还可以包括用于向移动平台300的各个组件提供动力的功率系统320。功率系统320可以包括一个或多个功率源(例如,电池、交流电(AC))以及任何其他合适的可选组件,例如,功率管理系统、再充电系统、功率故障检测电路、功率转换器或逆变器、功率状态指示器(例如,发光二极管(LED))以及与移动平台300中功率的生成、管理和分配相关联的任何其他组件。
在一个实施方式中,功率系统320可以包括电池(未示出)。电池可以包括任何合适的子单元阵列或矩阵并且可以使用任何合适的电池技术制造而成。电池可被配置用于向控制器310提供电池硬件数据。在移动平台操作期间的任何时间,电池硬件数据可以包括电池电压水平、电池电流水平或指示出电池的剩余容量或电量的任何其他合适的电气参数。
功率系统320可以向控制器310传输电池硬件数据。控制器310可被配置成基于电池硬件数据来计算智能电池数据。智能电池数据可以包括可将电池的状态与移动平台操作的参数或行动相关联的任何合适的信息。例如,智能电池数据可以包括剩余电池寿命、剩余行进时间、在耗尽电池电量之前移动平台可以完成的行进距离和/或从行程的还航点或起始点的阈值距离,在所述起始点处,移动平台需要开始回程以便具有充足的电池电量以到达还航点。控制器310可以使用用于计算智能电池数据的任何常规过程。例如,控制器310可以通过比较电池电压水平和满电量电池的电池电压水平来计算剩余电池电量的百分比。通过了解剩余电池电量、移动平台300的速度以及对应于该速度的每单位时间的功耗,控制器可以计算在耗尽电池电流之前可以完成的操作持续时间和行进距离。
附加地和/或备选地,移动平台300还可以包括负载底座330。负载底座330可以包括一个或多个云台或任何其他合适的结构。
附加地和/或备选地,移动平台300还可以包括负载350。负载350可以经由负载底座330可移除地/暂时地安装在移动平台上。负载底座330可被配置成相对于移动平台移动以允许负载210的移动。
控制器310可被配置用于自主地或者根据来自计算机设备400和/或遥控器500的指令而操纵负载底座330至期望位置。负载底座330可以向遥控器310提供该负载底座330的朝向(例如,角度和/或坐标)。控制器310可被配置成基于负载底座330的朝向以及移动平台300的姿势(例如,角度和/或坐标)而进行计算。计算结果由控制器310生成作为负载底座数据。负载底座数据可以包括负载底座330相对于移动平台300的坐标或者负载底座330的绝对坐标。
或者,负载底座330可以包括嵌入式处理器。在那种情况下,负载底座330可以从控制器310获得移动平台300的姿势。基于负载底座330的朝向和移动平台300的姿势,负载底座330可以进行计算以生成负载底座数据。
当负载底座330包括云台时,负载底座数据可以包括云台数据。云台数据可以包括负载底座330关于航向轴、横滚轴和俯仰轴的角度(或坐标),所述航向轴、横滚轴和俯仰轴亦分别称为云台航向、云台横滚和云台俯仰。云台方向可以包括用于指定负载350面朝方向的角度值或坐标值。云台数据可以包括云台相对于移动平台300的面朝方向或行进方向的方向和/或云台的绝对角度。云台数据还可以包括采集信息,所述采集信息包括在一个操作或多个操作期间关于每条轴线的一系列角度。
负载350可以包括用于执行期望功能的任何合适的装置。负载350可例如包括负载相机(或相机)、负载相机的相机镜头、望远镜、传感器、照明器等。
当负载350包括相机镜头时,负载底座数据可以包括相机镜头的水平朝向,即云台航向,以及相机镜头朝着地面/天空的程度,即云台俯仰角。
进一步地,负载350可以向控制器310提供负载数据。当负载350包括相机或相机的相机镜头时,“负载数据”可以包括“相机数据”。例如,相机数据可以包括与相机的设置相关联的任何参数,即静止图像、视频图像、快门速度、相机的国际标准化组织(ISO)灵敏度设置、光圈大小。相机数据还可以包括获取图像的时间、视频的长度、开始视频和/或结束视频的时间、相机模式或编程信息。
移动平台300还可以包括一个或多个支撑构件340。支撑构件340可被配置成在操作的每个阶段被调整至选定位置。例如,当移动平台300着陆时,支撑构件340可被调整成朝向着陆面(未示出)以便支撑移动平台300,而在行进期间,所述支撑构件340可被调整成远离着陆面以便不阻碍负载350的操作。控制器310可被配置用于控制对支撑构件340的调整。控制器310可以计算并储存支撑构件数据。支撑构件数据可以包括支撑构件340在操作的每个阶段的位置信息。支撑构件数据可例如包括位置名、诸如摆角等表示支撑构件340的位置的几何参数、支撑构件的终端关于移动平台300的组件的高度。
如图3中所示的移动平台300的组件仅仅是示例性的。可以包括其他组件(例如,马达)。控制器310可被配置用于接收来自移动平台300的至少选定部分的组件或全部组件的数据、处理所述数据并且储存所述数据,以便推送至计算机设备400和/或遥控器500。
图4是图示了图1A-图1B中的计算机设备400的实施方式的框图。如图4中所示,计算机设备400可以包括存储器402(其可以包括一个或多个计算机可读的存储介质)、存储器控制器422、一个或多个处理器(CPU)420、外围接口418、RF电路(或收发器)408、输入/输出(I/O)子系统406、其他输入或控制设备416以及外部通信端口424,该接口可以通过一个或多个通信总线或信号线403而彼此通信。
计算机设备400可以包括显示系统412。在某些实施方式中,显示系统412可以包括触敏显示器,该触敏显示器也可被称为“触摸屏”。应当理解,计算机设备400仅是适于随所公开系统100一起使用的计算机设备中的一个示例,并且所述计算机设备400可以具有比所显示的组件更多或更少的组件,可以使两个或更多个组件相结合,或者可以具有不同的组件配置或布置。图4中所示的各个组件可以在包括一个或多个信号处理电路和/或专用集成电路在内的硬件、软件或硬件和软件两者的组合中实现。
存储器402可以包括高速随机存取存储器(RAM),并且还可以包括非易失性存储器,诸如一个或多个磁盘存储设备、闪存存储器设备或其他非易失性固态存储器设备。通过计算机设备400的其他组件,诸如处理器420和外围接口418来访问存储器402可以由存储器控制器422控制。
外围接口418将计算机设备400的输入和输出外设耦合至处理器420和存储器402。一个或多个处理器420运行或执行储存在存储器402中的各种软件程序和/或多组指令以执行计算机设备400的各种功能并且处理数据。
在一些实施方式中,外围接口418、处理器420和存储器控制器422可以在诸如芯片404等单一芯片上实现。在一些其他实施方式中,它们可以在单独的芯片上实现。
收发器408接收并发送RF信号,该RF信号亦称为电磁信号。收发器408将电信号转换为电磁信号或者将电磁信号转换为电信号,并且经由电磁信号与图1A-图1B中的通信网络600、移动平台300(图1A-图1B中示出)和遥控器500(图1B中示出)通信。
I/O子系统406将计算机设备400上的输入/输出外设如显示系统412和其他输入/输出设备416耦合至外围接口418。I/O子系统406可以包括显示控制器456以及用于其他输入或控制设备的一个或多个输入控制器460。一个或多个输入控制器460从/向其他输入或控制设备416接收/发送电信号。其他输入/控制设备416可以包括物理按钮(例如,下压按钮、摇杆按钮等)、转盘、滑动开关、操纵杆、触控轮等。在一些备选实施方式中,一个或多个输入控制器460可以耦合至以下各项中的任一项(或者一个也没有):键盘、红外端口、USB端口以及指针设备,诸如鼠标。
当显示系统412包括触摸屏时,触摸屏可以在设备和用户之间提供输入接口和输出接口。显示控制器456从/向触摸屏接收和/或发送电信号。触摸屏可以向用户显示可视输出。可视输出可以包括图形、文本、图标、视频以及它们的任何组合(统称为“图形”)。在一些实施方式中,可视输出中的一些或全部可以对应于用户界面物体,其进一步细节在下文中得到描述。
显示系统412包括显示屏。显示屏是使用某种显示技术制成以向用户显示可视内容的区域。例如,可视内容可以包括地图的内容。显示屏可以使用LCD(液晶显示器)技术、OLED(有机发光二极管)技术或LPD(发光聚合物显示器)技术制成,然而在其他实施方式中可以使用任何其他合适的显示技术。当显示系统412的显示屏包括触摸屏时,触摸屏和显示控制器456可以使用现在已知的或后来开发的多种触摸感测技术中的任一种来检测它们的接触以及任何移动或制动,所述触摸感测技术包括但不限于电容式技术、电阻式技术、红外技术和表面超声波技术,以及其他距离传感器阵列或用于确定与触摸屏接触的一个或多个点的其他元件。
计算机设备400还包括用于向多个组件提供动力的功率系统462。功率系统462可以包括功率管理系统、一个或多个功率源(例如,电池、交流电(AC))、再充电系统、功率故障检测电路、功率转换器或逆变器、功率状态指示器(例如,发光二极管(LED))以及与功率在便携式设备中的生成、管理和分配相关联的任何其他组件。
计算机设备400还可以包括一个或多个加速度计468。图4示出耦合至外围接口418的加速度计468。备选地,加速度计468可以耦合至I/O子系统406中的输入控制器460。在一些实施方式中,基于对接收自一个或多个加速度计的数据的分析,在触摸屏显示器上以纵向视角或横向视角显示信息。加速度计468还可以检测计算机设备的朝向以便计算阅读计算机设备的用户所面朝的方向。
在一些实施方式中,储存在存储器402中的软件组件可以包括操作系统426、通信模块(或指令集)428、接触/运动模块(或指令集)430、图形模块(或指令集)432、文本输入模块(或指令集)434、位置数据模块(或指令集)435以及应用(或指令集)436。
操作系统426(例如,Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS、Android、iOS、QNX或诸如VxWorks等嵌入式操作系统)包括各种软件组件和/或用于控制和管理一般系统任务(例如,存储器管理、存储设备控制、电源管理等)的驱动器并且促进各种硬件组件和软件组件之间的通信。
通信模块428促进通过一个或多个外部通信端口424与其他设备进行通信,并且还包括用于处理由收发器408和/或外部通信端口424接收到的数据的各种软件组件。外部通信端口424(例如,通用串行总线(USB)、FIREWIRE等)适于直接耦合至其他设备或者通过网络(例如,因特网、无线LAN等)而间接耦合至其他设备。
接触/运动模块430可以检测与触摸屏(与显示控制器456结合)以及其他触敏性设备(例如,触摸板或物理触控轮)的接触。接触/运动模块430包括用于执行与接触检测有关的各种操作的各种软件组件,所述操作诸如为确定接触是否已发生、确定是否存储接触移动并且跟踪触摸屏上的移动以及确定接触是否已断开(即,接触是否已停止)。图形模块432包括用于在触摸屏上渲染和显示图形的各种已知的软件组件,包括用于改变所显示的图形的强度的组件。
文本输入模块434(其可以是图形模块432的一个组件)提供用于在各种应用中键入文本的软键盘。
位置数据模块435确定设备的位置并且提供该信息以供在各种应用中使用。GPS或任何其他合适的技术可以用于确定设备的位置。
应用436可以包括各种模块(指令集或其子集或超集)。所述模块亦可称为应用或app。
上文所标识的模块和应用中的每一个对应于用于执行上文所述的一个或多个功能的指令集。这些模块(即,指令集)不需要作为单独的软件程序、过程或模块来实现,因此在各个实施方式中,可以对这些模块的各种子集进行组合或以其他方式重新布置。在一些实施方式中,存储器402可以储存上文所标识的模块和数据结构的子集。此外,存储器402可以储存上文未描述的附加模块和数据结构。
在各个实施方式中,应用436可以包括移动平台app 450。与收发器408、处理器420、显示系统412、显示系统控制器456、接触模块430、图形模块432以及文本输入模块434相结合,移动平台app 450可以用于从移动平台以及与移动平台相关联的遥控器采集信息、整合数据以便呈现。下文将更详细地描述使用移动平台app 450的用户界面和相关过程的实施方式。
图5图示了移动平台300(图1B中示出)的遥控器500的示例性实施方式。遥控器500可以包括命令模块520。命令模块520可以包括用以接收来自用户的一个或多个操作命令的各种组件。所述组件可以包括操纵杆、开关、键盘或按钮等。操作命令可以包括移动命令或任何其他类型的动作命令,例如,向前或向后移动、向侧面飞行、向左或向右转、上升或下降、节流控制、加速或减速、切换齿轮或模式等。操作命令可以包括用户在遥控器500上执行的任何其他合适的操作。从遥控器500发送至移动平台300的操作命令亦可称为“遥控操作命令”。
附加地和/或备选地,遥控器500可以包括位置数据模块530。位置数据模块530可被配置用于提供与遥控器500相关联的位置数据。位置数据可以包括遥控器500的位置。在各个实施方式中,位置数据模块506可以包括GPS模块,遥控器500的位置信息可以包括与遥控器500相关联的GPS数据。
附加地和/或备选地,遥控器500可以包括处理器540。处理器540被配置用于采集遥控数据。遥控数据可以包括遥控操作数据、位置数据以及与遥控器300相关联的任何其他合适的信息。遥控操作数据可以包括与通过命令模块520而从用户接收到的操作命令相关联的信息。
附加地和/或备选地,遥控器500可以包括收发器510。收发器510被配置用于向移动平台300无线传输操作命令,由此,用户可以从远程位置控制移动平台300。在某些实施方式中,收发器510可被配置用于向计算机设备400发送遥控数据。在某些实施方式中,收发器510可被配置用于从移动平台300接收某些数据并且将该数据转发至计算机设备400。
在各个实施方式中,收发器510还被配置用于向计算机设备推送遥控数据,使得所述遥控数据可以与计算机设备采集的其他数据整合。
回过头来参考图2,在501中采集操作期间与移动平台300相关联的诊断数据和行进路线数据。如前文所述,移动平台300的行进路线数据可以包括指示出移动平台在操作期间各个时间的位置和移动的任何信息。
诊断数据可以包括平台诊断数据和遥控数据。平台诊断数据可以包括所采集的未包括在行进路线数据中的、与移动平台上的任何组件相关联的任何数据。如前文所述,遥控数据可以包括遥控操作数据、遥控位置数据以及与遥控器相关联的任何其他合适的数据。
进一步地,诊断数据可以包括计算机设备诊断数据,亦称为app诊断数据。app诊断数据可以包括与由app自定义的操作相关联的任何合适的数据。例如,当用户命令相机获取图像时,app可被配置用于生成与此类命令相关联的通知。此类通知还可以包括与所获取的图像相关联的相机设置参数。
计算机设备诊断数据还可以包括操作警报或操作提醒。所述操作警报或操作提醒可以包括任何合适的消息并且可由移动平台、遥控器或计算机设备生成。
在一个示例中,计算机设备可以检测计算机的显示屏的方向并相应地计算用户可能正在面朝的方向。当计算机设备整合计算机设备的朝向数据与行进路线数据并且确定移动平台在用户身后时,可以生成对应的行进警报。
在另一示例中,当移动平台检测到操作期间已经达到高度限制或距离限制或者接收到干扰信号时,移动平台可以向用户发送行进警报。备选地,计算机设备可以通过整合可用诊断数据与行进路线数据来生成此类行进警报。
行进路线数据可以从移动平台推送至计算机设备400并且储存在存储器402中。存储器402可以使用任何合适的架构和协议,例如使用类似于物体存储设备的数据架构来储存行进路线数据。
平台诊断数据可以从移动平台推送至计算机设备。平台诊断数据可例如包括还航点数据、负载底座数据或云台数据、负载数据、支撑构件数据、电池硬件数据和智能电池数据。
遥控数据可以从遥控器推送至计算机设备。遥控数据可例如包括遥控操作数据和遥控位置数据。
可以使用任何合适的通信技术和协议将诊断数据和行进路线数据推送至计算机设备。如前文所述,平台诊断数据可以包括多个类型的数据。每个类型的数据可以分别与移动平台的特定组件相关联。控制器可以接收来自组件的第一数据片段,并且可以处理该第一数据片段以生成第二数据片段。根据移动平台的控制器与所述组件之间的通信频率和协议以及根据控制器的特定数据处理序列,所述第一数据片段和所述第二数据片段可变得可在某一频率处或随机地获得。
当新数据被推送至计算机设备时,计算机设备可以将一个或多个时间戳关联至该数据。例如,时间戳可以包括数据被移动平台或遥控器推送的时间、数据被计算机设备接收到的时间和/或数据最初创建的时间。
在某些实施方式中,数据可以与时间戳——数据被移动平台推送的时间——相关联。在那种情况下,控制器可能需要被配置用于接收数据、处理数据并且以及时的方式推送数据。因此,当计算机设备以这种方式储存数据时,所储存的与时间戳相关联的数据能够以期望的准确度来表示移动平台的状态。遥控数据可以从遥控器推送至计算机设备并且以类似的方式与时间戳相关联。在一个实施方式中,计算机设备可以将所述数据与时间戳——数据被遥控器推送的时间——相关联。
图6是图示了根据方法200(全部在图2中示出),在501中采集诊断数据和行进路线数据的示例性示意框图。如图6中所示,在时间T1处,第一行进路线数据片段600被推送至计算机设备。在时间T2处,智能电池数据602被推送至计算机设备。在时间T3处,云台数据604被推送至计算机设备。在时间T4处,遥控操作数据606被推送至计算机设备。在时间T5处,第二行进路线数据片段608被推送至计算机设备。在时间T6处,遥控器的位置数据610被推送至计算机设备。
在图6中,出于说明性目的,在T1、T2、T3、T4、T5和T6中每个时间处推送数据的过程需要一段持续时间来完成。推送数据的过程可以足够快,使得所需持续时间可以非常短。例如,在T1时推送的数据可以在T2开始之前完成。
在某些实施方式中,能够以预定的频率将行进路线数据定期地推送至计算机设备。例如,所述频率的范围可以是从5Hz到15Hz。当频率为10Hz时,T5=T1+0.1秒。
在一个实施方式中,计算机设备可以将数据片段与时间戳(实际推送所述数据的时间)相关联,因此第一行进路线数据片段600、智能电池数据602、云台数据604、遥控操作数据606、第二行进路线数据片段608以及位置数据610可以分别与T1、T2、T3、T4、T5和T6相关联。
在另一实施方式中,计算机设备可以将数据片段与除了生成该数据的时间或推送该数据的时间之外的时间相关联。例如,在图6中,能够以某一固定频率将行进路线数据定期地推送至计算机设备。计算机设备可被配置用于将作为时间戳的T5与智能电池数据602、云台数据604以及遥控操作数据606相关联。当在T5处推送数据时,计算机设备可继而记录智能电池数据602、云台数据604以及遥控操作数据606。即,计算机设备可被配置用于选择仅使用第一类型的数据的时间戳,以便记录所有类型的数据。当在第一类型的数据的两个时间戳之间接收到第二类型的数据时,可以将第二类型的数据与接收到第二类型的数据之后的第一类型的数据的时间戳相关联。
在某些实施方式中,计算机设备可以根据与接收到的数据相关联的时间戳来储存该数据。
在某些实施方式中,计算机设备可以按时间顺序储存接收到的数据,但一定将时间戳与该数据相关联。即,数据的顺序可以与推送该数据的时间相一致,但时间戳信息可以与或可以不与该数据相关联地储存。
进一步地,在操作期间向计算机设备推送数据可以不是必要的。在某些实施方式中,可以使用任何其他合适的方法将所述数据传送至计算机设备,并且可以在可获得与操作相关联的一些或全部数据之后,例如,在完成操作之后,从移动平台和/或遥控器传输所述数据。在那种情况下,为了以期望的准确度记录数据,可以将数据与生成该数据的时间或任何合适的时间戳相关联,而不是与数据被推送的时间相关联。
在一些实施方式中,由每个组件生成的平台诊断数据经由收发器通过移动平台的控制器而转发至计算机设备。然而,在其他实施方式中,组件可以包括收发器,或者可以在不先向控制器发送数据的情况下直接访问移动平台的收发器,所述组件可被配置用于向计算机设备直接推送某一数据。例如,负载(例如,负载相机)、云台和/或相机可以直接向计算机设备推送数据。在那些组件上生成的数据可因此被发送至计算机设备而通过控制转发。
在某些其他实施方式中,组件可以向另一组件传输数据,所述另一组件将该数据转发至计算机设备。例如,由负载相机生成的数据可被传输至云台,而云台可以将该数据转发至计算机设备。
回过头来参考图5,在502中整合行进路线数据与诊断数据以便呈现。在各个实施方式中,与时间戳相关联地储存数据。因此,可以根据时间戳来整合全部类型的数据。换言之,由计算机设备采集的各种类型的数据可以基于数据的时间戳而组合并同步呈现。
在各个实施方式中,移动平台的操作或移动平台可以可视化地呈现在计算机设备的显示器上。图7是根据图2中的方法,与诊断数据整合的行进路线数据的示例性呈现。
图7图示了经由计算机设备显示的示例性界面700。如图7中所示,界面700可以在地图790上呈现如前所述的移动平台300(图1-图1中示出)的行进路线702。移动平台300可以由图标704呈现。可以设计图标704的形状为以便指示出移动平台300的行进方向。
云台方向可以由云台图标706指示出。在图7中示出的示例中,相机镜头可以安装在云台上,并且云台图标可以示出相机镜头正面朝着与移动平台300的方向不同的方向。
进一步地,可以呈现云台俯仰角和/或云台横滚角。例如,在图7中,可以在云台俯仰计710上示出云台俯仰指示器708以示出云台俯仰角。因此,用户可以与移动平台300的移动相同步地使相机镜头的方向在地图上可视化。用户可因此能够准确地分析所获取的静止图像和/或视频图像中的内容。
界面700可以可视化地呈现遥控数据。在图7中,可以通过描绘对遥控器上的一些或全部组件的用户操作来呈现遥控数据。示出左操纵杆720、右操纵杆722和还航点按钮724以表示遥控器上对应的组件。例如,左操纵杆720上的水平杆726可以指示出用户向左拉动遥控器上的左操纵杆。水平杆726的长度可以对应于向左拉动的量。类似地,任何其他遥控器命令可以通过用图形模拟遥控器的控制面板上的用户命令而不受限制地显示在界面700上。
如图7中所示,界面700可以描绘移动平台730的模型、操作开始的时间732、操作的日期和时间734、操作期间到达的最大高程(或最大高度)736、操作的里程738、操作的位置740、与遥控器相关联的位置模式742以及用于对遥控器或移动平台进行定位的许多GPS卫星744。
界面700还可以包括高程(或高度)750、垂直速度752、水平速度754和剩余电池电量756以及在当前位置和当前时间处与移动平台相关联的位置模式758。
界面700还可以包括智能电池条760。智能电池条760可以通过基于还航点、移动平台的位置和剩余电池电量的计算而指示出电池状态。在一个示例中,还航点可以是遥控的位置或计算机设备的位置,并无限制。如图7中所示,智能电池条760的末端点762表示在当前时间764处电池对应的当前状态。当末端点762位于智能电池条760的第一区域766内时,移动平台300具有充足的电池电量且不需要返回至还航点。随着电池电量的消耗,智能电池条760可能缩短。当末端点762位于智能电池条760的第二区域768内时,即,经过“H”符号772时,移动平台300需要返回至还航点。当末端点762位于智能电池条760的第三区域770内时,移动平台可能下降。可以在智能电池条760上标记出各个点744,以指示出剩余的电池电量的一定百分比,并且所述一定百分比可以根据界面700的特定配置来确定。与电池相关联的信息可继而以用户友好型方式呈现,并且用户能够以期望的效率确定电池状态。
所述数据能够以与播放媒体文件类似的方式呈现。例如,如图7中所示,移动平台的整个操作可以使用播放/暂停按钮780来播放或暂停,使用快进按钮782以选定的速率快进。媒体文件的任何其他类型的控制回放可包括在数据的呈现中。
在图7中,界面700和界面700仅出于示例性目的而示出不同信息。界面700上示出的任何类型的数据可以显示在界面7上。界面700上示出的任何类型的数据可以显示在界面7上。例如,界面700上的智能电池条760可以附加地和/或备选地示出在界面700上的地图790上。进一步地,界面700和界面700上示出的信息可以组合到一个界面中。例如,界面700上示出的所有信息可以叠加在界面700上的地图790上。因此,单一界面可以显示界面700和界面700中的全部信息。
在各个实施方式中,用户可以查看操作的整个过程或者在行进路线上选择某一点(例如,通过在行进路线上的期望位置上轻击),可因此呈现与期望位置相关联的行进路线数据和诊断数据。
在一个实施方式中,在界面700上,用户可以在行进路线702上选择某一点。响应于所述选择,计算机设备400可以呈现界面700以示出与期望位置相关联的行进路线数据和诊断数据。附加地和/或备选地,计算机设备400将与期望位置相关联的期望行进路线数据和诊断数据直接叠加在地图790上。
界面700和/或界面700可以仅显示由计算机设备采集的数据中的一部分。用户可以能够例如通过轻击或鼠标点击来选择期望类型的数据,以便查看与所选类型相关联的更详细的数据。例如,用户可以轻击云台俯仰计710,然后新的界面可被显示以示出详细的云台值。
图8是根据图2中的方法,与诊断数据整合的行进路线数据的另一示例性呈现。图8显示了当移动平台800到达行进路线804上的一个位置时生成的行进警报802。另外,利用在所述位置处获取的静止图像和/或视频图像808来分别标记沿着行进路线804的各个位置806。进一步地,当获取到视频时,可以在行进路线上标记出视频记录开始和结束的位置。
用户可以能够例如通过轻击或鼠标点击来选择图像808。可以显示先前获取图像时的云台数据和行进路线数据。获取图像所处的条件可以对用户全部可用。进一步地,图7中的界面700可以与图8中示出的界面相结合以形成单一界面。
图9是根据图2中的方法,与诊断数据整合的行进路线数据的另一示例性呈现。图9包括地图902和移动平台904的3D(三维)再现900。用户可以能够选择图像908,并且所述3D图像可以从地形上示出地图902。移动平台904和云台906(安装有相机镜头)中每个的朝向可以呈现在3D视野中。用户可因此更生动地使获取该图像所处的条件可视化。进一步地,图7中的界面700可以与图9中示出的界面相结合以形成单一界面。
数据的特定图形说明以及对要显示的数据的选择可以取决于界面700的特定设计并且不受本公开内容限制。
在一些实施方式中,在完成操作之后对数据进行整合。在其他实施方式中,数据的整合基本上可以与所述操作实时地执行。在那种情况下,能够以及时的方式将数据推送至计算机设备。计算机设备可以在任何数据到达时执行整合并且在操作仍在进行中时呈现该数据。用户可以能够基本上与所述操作实时地查看所述操作。
进一步地,计算机设备可被配置用于使得用户能够将行进路线数据、诊断数据以及对整合后的数据的呈现(例如,所显示的界面)共享至某些期望网站,例如,社交网站。行进路线数据、诊断数据以及对整合后的数据的呈现还可被下载至任何其他合适的设备或计算机存储介质。
进一步地,可以对移动平台进行配置以使得可将行进路线数据和平台诊断数据直接从移动平台下载到任何其他合适的设备或计算机存储介质。进一步地,可以对遥控器可进行配置以使得可将遥控数据直接从遥控器下载到任何其他合适的设备或计算机存储媒介。
图10是根据图2中的方法,用于显示操作的示例性呈现。如图10中所示,计算机设备400可以提供列举了一个移动平台或多个移动平台的各种操作的界面1000。所述操作可以与所获取的静止向和/或视频图像1002以及操作的参数1004相关联。
计算机设备400可以显示与如图10中所示的界面1000相关联的界面1000。在某些实施方式中,用户可以在界面1000上选择多个操作。响应于所述选择,界面1000可以示出所选操作的采集信息1006。
利用可获得的行进路线数据和诊断数据,可以针对操作而执行各种分析和诊断。所述分析或诊断可以基于所述数据由用户手动地或根据经验而执行。在某些实施方式中,计算机设备可被配置用于自动应用合适的算法以供分析和诊断,从而提供决定性结果。
计算机设备可被配置用于检测移动平台的移动、姿势或方向与由遥控器提供的平台移动命令之间的不一致。例如,传统地,当移动平台进行非期望的移动时,操作之后的故障排查可能会很困难,因为仅可获得行进路线数据,而未采集到由遥控器提供的平台移动命令。用户可能不知道是移动平台中发生问题还是遥控器没有提供期望的平台移动命令。使用所公开的方法和设备,诊断数据可以包括遥控数据。因此,采集到了由遥控器提供的平台移动命令,这样就可以分析移动平台的非期望移动的原因。
进一步地,计算机设备可被配置用于当在采集到的数据中发生异常时提供提示。例如,当移动平台尚未以所配置的通常频率推送数据或者采集导的数据超出正常范围时,计算机设备可以能够警告用户潜在故障或失去通信,因此用户可以及时用纠正措施进行回应。
进一步地,计算机设备可被配置用于在失去与移动平台的地面通信之后估计移动平台的坠落位置。在某些实施方式中,计算机设备与移动平台持续通信。因此,当移动平台失去与地面的通信时,计算机设备可以检测此类事件。基于事件的位置、事件发生时移动平台的行进路线、速度、高度和方向,计算机设备可被配置用于计算移动平台坠落的可能位置,因此用户可以很容易地对坠落的移动平台进行定位。
进一步地,计算机设备可被配置用于提供或设置移动平台的还航点。在某些实施方式中,还航点可以是指移动平台在操作之后要返回的位置。因此,计算机设备可以使得用户能够任意地或基于对采集到的数据的分析而设置还航点。
进一步地,计算机设备可被配置用于根据移动平台与还航点之间的距离来计算到还航点的返程所需的阈值电池电量。当剩余电池电量低于或等于阈值电池电量或者高于阈值电池电量某一数量时,可以生成操作警报。
进一步地,行进路线数据还可以包括移动平台相对于该移动平台行进方向的方向(或面朝方向)。然而,当行进路线数据不包括移动平台相对于该移动平台行进方向的方向时,计算机设备可被配置用于通过整合诊断数据和行进路线数据来提供此类数据,这是因为计算机设备可以从诊断数据获得移动平台的姿势数据。
图11是图示了根据图2中的方法的数据采集和整合的示例性示意图。列表1100包括由计算机设备采集的示例性数据,包括但不限于行进路线数据、还航点数据、云台数据、遥控操作数据、app自定义数据、支撑构件数据、电池硬件数据、智能电池数据、操作提醒、操作警报和遥控位置数据。
方框1102描绘了由计算机设备执行的示例性过程,包括但不限于采集数据、储存数据以及对数据进行加密。方框1104描绘了可通过整合数据以供呈现而实现的示例性功能,包括但不限于组合数据组合、挖掘数据、预测移动平台行为、使数据可视化、回放数据、分析操作、诊断操作、故障排查、预测坠落、分享操作以及分享行进路线。
常规地,分析移动平台的行进路线可能出于各种原因而花费相当多的时间和人力。例如,在由移动平台执行的操作期间,仅采集有限类型的数据以便在操作之后呈现。可以从安装在移动平台上的加速度计和GPS模块采集这种类型的数据。在操作之后,可以呈现行进路线。进一步地,可以由移动平台上的负载相机获取静止图像和/或视频图像。在那种情况下,通过根据获取图像的时间而使图像与行进路线上的对应位置相关联,行进路线可以与所获取的图像相结合地呈现。
为了采集另一类型的数据,可能需要在移动平台上安装对应于该类型数据的专用仪器。对于某些类型的数据,专用仪器可能甚至是不可用的。
因此,未采集到各种类型的数据,或者仅由多个仪器单独地采集各种类型的数据。来自多个仪器的数据可能彼此间缺乏关联,因此对用以呈现操作过程的数据进行整合可能会很困难且对于后续分析价值有限。进一步地,呈现数据整合的结果可能是低效的且需要大量的人力成本。数据无法以及时的方式可视化。
进一步地,用户可能不能够在来自用户的命令与由移动平台自身控制器生成的命令之间建立连接。为了诊断操作,专业技术人员需要使用专用软件来分析操作记录器(或黑匣子)。如果移动平台不可操作,诸如移动平台失踪、落入水中、坠落或被显著损坏,则操作错误的原因可能永远无法知晓。
通过使用所公开的方法和装置,采集包括平台数据和遥控数据的诊断数据且将所述诊断数据与飞行路线数据进行整合。因此,可被采集到的数据类型显著增加。可以使用计算机设备而非显著的人力成本来采集并整合需要附加数据采集仪器或对于采集而言不可用的数据类型。因此可以在用户操作、移动平台的状态和移动平台的行进路线数据之间建立连接。整合后的数据可以及时地呈现在用户友好型界面上。
图12是图示了用于呈现图2中的操作信息的方法的备选实施方式的顶层流程图。方法1200可以经由移动平台300实现。
参考图12,在1201中,采集与移动平台的操作相关联的平台诊断数据和行进路线数据。如之前在上文中参考图3更详细地描述,移动平台300可以包括用于采集与移动平台的操作相关联的平台诊断数据和行进路线数据的控制器310(图3中示出)。移动平台300可以使用与各个公开的实施方式中描述的方法类似或相同的方法,例如,如图2和图11中示出的方法,来采集与移动平台300的操作相关联的平台诊断数据和行进路线数据。
在1202中,向远程计算机设备推送平台诊断数据和行进路线数据,以便整合所推送的行进路线数据与所推送的平台诊断数据以供呈现。如之前在图3中所述,移动平台300可以包括收发器370,用于将平台诊断数据和行进路线数据推送至远程计算机设备400。计算机设备400可被配置用于整合行进路线数据与平台诊断数据以便呈现。能够以上文参考图7-图11而更详细描述的方式来执行行进路线数据与平台诊断数据的整合。
附加地和/或可选地,当如图1中所示,使用与移动平台相关联的遥控器时,可以在1202中将平台诊断数据和行进路线数据推送至远程计算机设备,以便整合行进路线数据与平台诊断数据和遥控数据两者以供呈现。计算机设备400可以采集遥控数据以便进行这样的整合。
图13是图示了用于呈现图2中的操作信息的方法的另一备选实施方式的顶层流程图。方法1301可以如图1B中所示的在遥控器500上执行。
参考图13,在1301中采集与移动平台300的遥控器500相关联的遥控数据。遥控数据可以与移动平台300的操作相关联。如之前在图5中所述,遥控器500可以包括处理器540,用于采集与移动平台的操作相关联的遥控数据。
参考图13,可以在1302中将遥控数据推送至计算机设备,以便将所推送的遥控数据与关联于移动平台的平台诊断数据和行进路线数据整合以供呈现。如之前在图5中所述,遥控器500可以包括收发器510,用于将遥控数据推送至计算机设备400,以便将所推送的遥控数据与关联于移动平台300的平台诊断数据和行进路线数据整合以供呈现。与移动平台300相关联的平台诊断数据和行进路线数据可以由计算机设备400从移动平台300中获得。计算机设备400可被配置用于将遥控数据与平台诊断数据和行进路线数据进行整合以便呈现。可以使用与各个公开的实施方式(如图7-图11中示出的实施方式)中描述的方法类似或相同的方法来执行遥控数据与平台诊断数据和行进路线数据的整合。
在图1B中的系统100B中,遥控器500和计算机设备400为物理上分离的实体。换言之,遥控器500和计算机设备400未集成到一个物理设备中。
然而,在图1A的系统100A中描绘的计算机设备400可被配置用于附加地执行图1B的遥控器500的功能。在一个示例中,计算机设备400可以是被配置用于遥控移动平台300的计算机设备(例如,智能电话、平板计算机)。在那种情况下,计算机设备400可以包括在其上集成以执行遥控器功能的任何硬件和/或软件。换言之,计算机设备400可以具在其上集成的遥控器。在另一示例中,计算机设备400可以是具有如图4中所示的结构(例如,具有在其上集成的显示器)的遥控器并且可以执行用于采集数据和整合数据以在显示器上呈现的计算功能。
在图1A的系统100A中,计算机设备400可以接收来自用户的输入并基于该输入而生成操作命令。计算机设备400可以包括被配置用于将操作命令传输至移动平台300的收发器408。移动平台300可被配置用于接收来自计算机设备300的操作命令以由计算机设备400遥控。因此,计算机设备400可以生成遥控数据,所述遥控数据包括遥控操作数据、与遥控器(即,计算机设备)相关联的位置数据以及与遥控移动平台相关联的任何其他合适的数据。遥控操作数据可以由计算机设备400基于操作命令而生成。
计算机设备400还可以采集与移动平台相关联的平台诊断数据和行进路线数据,并且将所述遥控数据、采集到的平台诊断数据以及采集到的行进路线数据整合以便呈现。
当如图2中所示的方法由图1A中的计算机设备400实现时,在201中采集诊断数据可以包括采集遥控数据。遥控数据可以既由计算机设备400生成又由其储存,以便随后与从移动平台300采集到的平台诊断数据和行进路线数据进行整合。
图1A中的计算机设备400可以包括被配置用于生成并发送操作命令的移动平台app 450,所述操作命令用于以与如图1B和图5中的遥控器500类似的方式来遥控所述移动平台。
本公开内容中,图1A中的计算机设备400的特定构造是不受限制的。在某些实施方式中,计算机设备400可以包括移动电话、智能电话、平板计算机、个人计算机、服务器计算机或任何其他合适的设备。计算机设备400可被配置用于经由与显示系统相关联的触摸屏或任何其他合适的输入控件而接收来自用户的操作命令。触摸屏可以显示具有类似于或不同于如图5中所示的遥控器500的外观的控制面板,并且可以接收来自用户的操作命令并将该操作命令发送至移动平台以供执行,从而实现与遥控器相同或类似的功能。
在某些实施方式中,图1A中的计算机设备400可被构造为具有类似于图5的遥控器500的外部结构。即,计算机设备400可以具有用于接收来自用户的某一输入的物理组件。所述物理组件可例如包括操纵杆、开关、按键或按钮等。进一步地,计算机设备400可以包括显示系统412。显示系统412可以可选地包括用于接收来自用户的某一输入的触摸屏。因此,计算机设备400也可被称为“能够用于采集数据并整合数据以便呈现的遥控器”。计算机设备400因此可被配置用于根据遥控操作命令而生成遥控数据,并且采集来自移动平台300的平台诊断数据和行进路线数据。平台诊断数据、行进路线数据和遥控数据可被整合以便在计算机设备400上的显示系统412上呈现。
如之前在各个实施方式中所描述的,数据可以由计算机设备400以及时的方式采集。计算机设备400可以在任何数据到达时执行整合并且在操作仍在进行中时呈现数据。进一步地,使用如图1A中所示的计算机设备400,计算机设备可以从用户接收针对移动平台300的命令、将所述命令发送至移动平台300、采集与所述命令相关联的遥控数据并且使用目前采集到的数据来执行整合。计算机设备400可以相对于接受用户命令而基本上实时地呈现所述数据,因此可以在视觉上向用户呈现由所述命令引起的效果。
图14是根据图2中的方法的遥控操作的另一示例性呈现。界面1400可以包括与行进路线数据整合的诊断数据的实时呈现。进一步地,用户可以通过使用界面1400而向移动平台300(在图1A-图1B中)发送控制命令。例如,在图14中,用户可以通过在操纵杆图标1402上滑动来请求返回。用户可以通过使云台俯仰指示器1408沿着云台俯仰计1410滑动来调整云台俯仰角。类似地,界面1400可以为用户提供其他输入方法(例如,屏幕上的按钮或物理按钮等)以将其他常规远程控制命令发送至移动平台300。
地图1414、移动平台1416以及云台1418(安装有相机镜头)的3D(三维)图像1412可以包括在用户界面1400上。由用户命令引起的移动平台1416的方向和云台1418的俯仰角的改变能够以3D方式基本上实时地呈现。用户因此可以使命令的效果更精确地可视化并且可以更高效地确定后续命令。例如,用户可以期望获取某一部分风景的视频。由于能够在3D图像1412中查看移动平台1416和云台1418,用户可以更精确地调整云台俯仰角。另外,因为用户可以使移动平台可视化在人类习惯的3D设置中,所以分析移动平台的操作以及解释由负载获得的信息(例如,静止图像和/或视频图像)的过程因此可以是用户友好的且高效的。可以向用户提供操作移动平台以及分析所述操作的期望经验。进一步地,图7中的界面700可以与图14中所示的界面组合以形成单一界面。
更进一步地,通过根据各个实施方式提供界面,除了将操作命令发送至移动平台以供立即执行、在操作期间或之后采集并整合数据之外,计算机设备还可以使得用户能够设计移动平台的操作。设计所述操作可以包括在类似于图7-图11以及图14的用户界面上提供的地图上绘制行进路线。另外,计算机设备可被配置用于在行进路线上的任何位置和/或在操作期间的任何时间为用户提供更多的界面来指定针对移动平台的更多命令。所述命令可以包括在本公开内容中描绘的任何合适的操作命令,例如,行进速度、行进方向、移动终端的姿势、云台角度、要获取的静止图像和/或视频图像、用于获取图像的相机模式。可以在操作期间或者甚至在操作之前设计与移动平台的操作相关联的任何命令。
计算机设备可被配置成基于所设计的操作而生成针对移动终端的一系列操作命令。因此,操作可以由移动平台自动地或自主地执行,而无需用户在操作期间输入命令。
在各个实施方式中,所公开的方法可以由与某些必要的通用硬件平台相耦合的软件来实现。所公开的方法也可以由硬件实现。根据各个实施方式的方法中的部分或全部步骤可以使用程序/软件实现以命令相关的硬件。所述程序/软件可以储存在(非永久性)计算机可读存储介质,所述计算机可读存储介质例如包括只读存储器(ROM)、RAM、内部存储器、寄存器、计算机硬盘、可移动盘、CD-ROM、光盘、软盘、磁盘等。所述程序/软件可以包括已编码的指令,以命令计算机设备根据各个实施方式执行所述方法。
对应于各种系统、移动平台、遥控器和计算机设备中所述的一个或多个功能的所标识模块和组件中的每一个仅仅是示例性的。作为单独的实体而描述的模块或组件可以是或可以不是物理分离的。作为单元而示出的组件可以是或可以不是物理单元。进一步地,各个模块或组件可以组合或在各个实施方式中以其他方式重新布置,或者分割为子模块或子组件以供重新布置,从而实现所公开的功能。
所公开的实施方式易受到各种修改和替代形式,并且已通过示例的方式在附图中示出且在本文中详细地描述其特定示例。然而应当理解,所公开的实施方式并不局限于所公开的特定形式或方法,相反,所公开的实施方式覆盖所有的修改、等效项和替代项。

Claims (10)

1.一种用于呈现移动平台的操作信息的方法,其特征在于,包括:
根据来自用户的输入生成遥控命令,并根据所述遥控命令生成遥控数据;
向所述移动平台发送所述遥控命令,所述遥控命令包括平台移动命令,用于遥控所述移动平台;
采集与所述移动平台的操作相关联的诊断数据和行进路线数据,所述诊断数据包括所述遥控数据,所述行进路线数据与所述移动平台的移动相关联;以及
将所述行进路线数据与所述诊断数据进行整合以便呈现,所述整合包括检测所述移动平台的移动与所述平台移动命令之间的不一致。
2.根据权利要求1所述的方法,其特征在于,其中所述采集包括采集与所述移动平台相关联的所述诊断数据,其中所述诊断数据包括来自所述移动平台的云台数据。
3.根据权利要求1所述的方法,其特征在于,其中所述采集包括采集与所述移动平台相关联的所述诊断数据,其中所述诊断数据包括来自所述移动平台的遥控器的位置数据。
4.根据权利要求1所述的方法,其特征在于,其中所述采集包括:
在预定时间接收所述诊断数据和所述行进路线数据;以及
按时间顺序储存所述诊断数据和所述行进路线数据。
5.根据权利要求1所述的方法,其特征在于,其中所述整合包括在失去与所述移动平台的地面通信之后估计所述移动平台的坠落位置。
6.一种用于呈现移动平台的操作信息的装置,其特征在于,包括:
处理器,用于根据来自用户的输入生成遥控命令,并根据所述遥控命令生成遥控数据;
收发器,用于向所述移动平台发送所述遥控命令,所述遥控命令包括平台移动命令,用于遥控所述移动平台,所述收发器还用于采集与所述移动平台的操作相关联的诊断数据和行进路线数据,所述诊断数据包括所述遥控数据,所述行进路线数据与所述移动平台的移动相关联;
其中,所述处理器还用于整合所接收的行进路线数据与所接收的平台诊断数据,以便经由显示系统呈现,所述整合包括检测所述移动平台的移动与所述平台移动命令之间的不一致。
7.根据权利要求6所述的装置,其特征在于,其中所述收发器被配置用于采集与所述移动平台相关联的所述平台诊断数据,所述平台诊断数据包括来自所述移动平台的云台数据。
8.根据权利要求6所述的装置,其特征在于,其中所述收发器被配置用于采集与所述移动平台相关联的所述诊断数据,其中所述诊断数据包括来自所述移动平台的遥控器的位置数据。
9.根据权利要求6所述的装置,其特征在于,其中所述收发器被配置用于在预定时间接收所述诊断数据和所述行进路线数据,并且所述装置包括用于按时间顺序储存所述诊断数据和所述行进路线数据的存储器。
10.根据权利要求6所述的装置,其特征在于,其中所述处理器被配置用于在失去与所述移动平台的地面通信之后估计所述移动平台的坠落位置。
CN201810421663.9A 2015-04-24 2015-04-24 用于呈现移动平台的操作信息的方法和装置 Pending CN108614543A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810421663.9A CN108614543A (zh) 2015-04-24 2015-04-24 用于呈现移动平台的操作信息的方法和装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810421663.9A CN108614543A (zh) 2015-04-24 2015-04-24 用于呈现移动平台的操作信息的方法和装置
CN201580004347.6A CN106062841B (zh) 2015-04-24 2015-04-24 用于呈现移动平台的操作信息的方法、设备和系统
PCT/CN2015/077451 WO2016169065A1 (en) 2015-04-24 2015-04-24 Method, device and system for presenting operation information of a mobile platform

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580004347.6A Division CN106062841B (zh) 2015-04-24 2015-04-24 用于呈现移动平台的操作信息的方法、设备和系统

Publications (1)

Publication Number Publication Date
CN108614543A true CN108614543A (zh) 2018-10-02

Family

ID=57143697

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580004347.6A Active CN106062841B (zh) 2015-04-24 2015-04-24 用于呈现移动平台的操作信息的方法、设备和系统
CN201810421663.9A Pending CN108614543A (zh) 2015-04-24 2015-04-24 用于呈现移动平台的操作信息的方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201580004347.6A Active CN106062841B (zh) 2015-04-24 2015-04-24 用于呈现移动平台的操作信息的方法、设备和系统

Country Status (4)

Country Link
US (1) US11175651B2 (zh)
JP (1) JP6657498B2 (zh)
CN (2) CN106062841B (zh)
WO (1) WO2016169065A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021056502A1 (zh) * 2019-09-29 2021-04-01 深圳市大疆创新科技有限公司 控制方法、系统、可移动平台和存储介质

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170277392A1 (en) * 2016-03-24 2017-09-28 The Boeing Company Vehicle map icon
KR20180056068A (ko) * 2016-11-18 2018-05-28 삼성전자주식회사 무인 비행체를 제어하기 위한 전자 장치 및 방법
US11195345B2 (en) 2016-12-14 2021-12-07 Telefonaktiebolaget Lm Ericsson (Publ) Methods and entities for alerting about failure of an unmanned aerial vehicle
GB2559171B (en) 2017-01-30 2020-06-03 Jaguar Land Rover Ltd Apparatus and method for controlling movement of a vehicle
JP6521042B2 (ja) * 2017-02-24 2019-05-29 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理装置の制御方法、無人航空機、無人航空機の制御方法、およびプログラム
JP7124280B2 (ja) * 2017-09-13 2022-08-24 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP2019073056A (ja) 2017-10-12 2019-05-16 株式会社トプコン 無人航空機制御装置、無人航空機、データ処理装置、無人航空機制御方法および無人航空機制御処理用プログラム
WO2019104652A1 (zh) * 2017-11-30 2019-06-06 深圳市大疆创新科技有限公司 一种无人机系统及其通信方法、遥控装置
CN110015117B (zh) * 2017-12-13 2022-11-25 蔚来(安徽)控股有限公司 可视化人机交互的车辆换电操控系统和车载电池操作系统
CN108391278A (zh) * 2018-01-31 2018-08-10 北京电子工程总体研究所 基于4g网络的飞行器系统的测试分析与诊断系统和方法
US11561251B2 (en) 2018-08-01 2023-01-24 Florida Power & Light Company Remote autonomous inspection of utility system components utilizing drones and rovers
CN109727331A (zh) * 2018-12-17 2019-05-07 深圳市道通智能航空技术有限公司 飞行日志的读取方法及其无人机组件
CN109625254A (zh) * 2018-12-28 2019-04-16 浙江星米体育有限公司 竞技类无人机
WO2020243953A1 (zh) * 2019-06-06 2020-12-10 深圳市大疆创新科技有限公司 遥控可移动平台控制方法、设备及计算机可读存储介质
CN110932812B (zh) * 2019-11-13 2021-10-01 深圳供电局有限公司 基于时间同步的任务发送方法、任务接收方法及其系统
CN111176309B (zh) * 2019-12-31 2021-01-12 北京理工大学 一种基于球面成像的多无人机自组群互感理解方法
JP6880253B2 (ja) * 2020-01-07 2021-06-02 Kddi株式会社 飛行経路決定装置及び飛行経路決定方法
CN113060298A (zh) * 2021-03-19 2021-07-02 广州中科云图智能科技有限公司 一种无人机星光级摄像挂载和无人机
CN113377023B (zh) * 2021-06-09 2022-09-30 河北能源职业技术学院 一种可由计算机远程控制的机电设备移动平台

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06312700A (ja) * 1993-04-28 1994-11-08 Japan Aviation Electron Ind Ltd 操縦制御用ディスプレイシステム
CN1358650A (zh) * 2002-01-29 2002-07-17 北京航空航天大学 一种用于共轴双旋翼无人驾驶直升机的遥控系统
CN101142122A (zh) * 2005-03-18 2008-03-12 雅马哈发动机株式会社 飞行控制系统
JP2010202178A (ja) * 2009-03-03 2010-09-16 Honeywell Internatl Inc Uavの飛行制御の方法およびシステム
CN101866180A (zh) * 2010-06-23 2010-10-20 清华大学 一种飞行控制系统
EP2256571A2 (en) * 2009-05-27 2010-12-01 Honeywell International Inc. Adaptive user interface for semi-automatic operation of a remot-controlled, unmanned vehicle
JP2011037426A (ja) * 2009-08-18 2011-02-24 Honeywell Internatl Inc ダクテッド・ファン航空機を飛行させる方法およびシステム
CN102162735A (zh) * 2010-02-23 2011-08-24 王昊 通过图像数据获取移动路线的方法、系统及移动通信终端
CN102266672A (zh) * 2010-03-11 2011-12-07 鹦鹉股份有限公司 一种远程控制无人驾驶飞机、尤其是旋翼无人驾驶飞机的方法和装置
CN102608636A (zh) * 2012-03-16 2012-07-25 中国民航大学 一种用于飞行数据记录仪的步进式询问-应答定位系统
CN102830691A (zh) * 2012-07-20 2012-12-19 南京航空航天大学 一种基于云计算的无人机自动检测及故障诊断方法
US8521339B2 (en) * 2008-09-09 2013-08-27 Aeryon Labs Inc. Method and system for directing unmanned vehicles
CN103344240A (zh) * 2013-07-05 2013-10-09 深圳市大疆创新科技有限公司 无人飞行器的找回装置和方法
CN104133473A (zh) * 2008-10-24 2014-11-05 格瑞股份公司 自主驾驶车辆的控制方法
CN104503462A (zh) * 2014-12-15 2015-04-08 无锡捷盈科技有限公司 一种手机遥控与接收的无人机快递

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60248494A (ja) 1984-05-25 1985-12-09 Nec Corp 舵制御装置
JP2945156B2 (ja) * 1991-04-17 1999-09-06 石川島芝浦機械株式会社 自動走行作業車の制御装置
JP2510389B2 (ja) 1993-01-27 1996-06-26 日本操舵システム株式会社 船体運動指示方法および舵角指示方法
JPH09125700A (ja) * 1995-11-07 1997-05-13 Fujita Corp 振動ローラの遠隔操作支援システム
JP4270725B2 (ja) * 1999-08-18 2009-06-03 株式会社フジタ 無人作業システム
JP2003127994A (ja) 2001-10-24 2003-05-08 Kansai Electric Power Co Inc:The 無人飛行物体の制御システム
JP2003316259A (ja) 2002-02-25 2003-11-07 Mitsubishi Electric Corp 撮影映像処理方法及び撮影映像処理システム
US7800645B2 (en) 2003-06-20 2010-09-21 Mitsubishi Denki Kabushiki Kaisha Image display method and image display apparatus
US7970532B2 (en) * 2007-05-24 2011-06-28 Honeywell International Inc. Flight path planning to reduce detection of an unmanned aerial vehicle
US20110298923A1 (en) 2009-02-26 2011-12-08 Hisayuki Mukae Moving object image capture system, moving object, ground station apparatus, and moving object image capture method
JP5110405B2 (ja) * 2010-04-07 2012-12-26 村田機械株式会社 走行台車システム
CN202094531U (zh) * 2011-03-29 2011-12-28 山东鲁能智能技术有限公司 适合于无人飞行器的输电线路巡检装置
US10685299B2 (en) * 2012-03-08 2020-06-16 Husqvarna Ab Engine speed data usage system and method
US8909391B1 (en) * 2012-12-28 2014-12-09 Google Inc. Responsive navigation of an unmanned aerial vehicle to a remedial facility
EP2801838B1 (en) * 2013-05-08 2021-02-24 Airbus Defence and Space GmbH Evaluating the position of an aerial vehicle
JP6187967B2 (ja) 2013-09-04 2017-08-30 みこらった株式会社 防御装置及び防御システム
CN103686084A (zh) * 2013-12-10 2014-03-26 中国航天科工集团第四研究院 一种用于多无人机协同实时侦察的全景视频监控方法
US10203692B2 (en) * 2014-07-21 2019-02-12 King Abdullah University Of Science And Technology Structure from motion (SfM) processing for unmanned aerial vehicle (UAV)
EP3274255A4 (en) * 2015-03-26 2018-12-05 Matternet, Inc. Route planning for unmanned aerial vehicles
KR102246557B1 (ko) * 2015-04-07 2021-04-30 엘지전자 주식회사 이동 단말기 및 그 제어 방법

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06312700A (ja) * 1993-04-28 1994-11-08 Japan Aviation Electron Ind Ltd 操縦制御用ディスプレイシステム
CN1358650A (zh) * 2002-01-29 2002-07-17 北京航空航天大学 一种用于共轴双旋翼无人驾驶直升机的遥控系统
CN101142122A (zh) * 2005-03-18 2008-03-12 雅马哈发动机株式会社 飞行控制系统
US8521339B2 (en) * 2008-09-09 2013-08-27 Aeryon Labs Inc. Method and system for directing unmanned vehicles
CN104133473A (zh) * 2008-10-24 2014-11-05 格瑞股份公司 自主驾驶车辆的控制方法
JP2010202178A (ja) * 2009-03-03 2010-09-16 Honeywell Internatl Inc Uavの飛行制御の方法およびシステム
EP2256571A2 (en) * 2009-05-27 2010-12-01 Honeywell International Inc. Adaptive user interface for semi-automatic operation of a remot-controlled, unmanned vehicle
JP2011037426A (ja) * 2009-08-18 2011-02-24 Honeywell Internatl Inc ダクテッド・ファン航空機を飛行させる方法およびシステム
CN102162735A (zh) * 2010-02-23 2011-08-24 王昊 通过图像数据获取移动路线的方法、系统及移动通信终端
CN102266672A (zh) * 2010-03-11 2011-12-07 鹦鹉股份有限公司 一种远程控制无人驾驶飞机、尤其是旋翼无人驾驶飞机的方法和装置
CN101866180A (zh) * 2010-06-23 2010-10-20 清华大学 一种飞行控制系统
CN102608636A (zh) * 2012-03-16 2012-07-25 中国民航大学 一种用于飞行数据记录仪的步进式询问-应答定位系统
CN102830691A (zh) * 2012-07-20 2012-12-19 南京航空航天大学 一种基于云计算的无人机自动检测及故障诊断方法
CN103344240A (zh) * 2013-07-05 2013-10-09 深圳市大疆创新科技有限公司 无人飞行器的找回装置和方法
CN104503462A (zh) * 2014-12-15 2015-04-08 无锡捷盈科技有限公司 一种手机遥控与接收的无人机快递

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021056502A1 (zh) * 2019-09-29 2021-04-01 深圳市大疆创新科技有限公司 控制方法、系统、可移动平台和存储介质

Also Published As

Publication number Publication date
JP6657498B2 (ja) 2020-03-04
US11175651B2 (en) 2021-11-16
CN106062841A (zh) 2016-10-26
JP2017521292A (ja) 2017-08-03
US20180046172A1 (en) 2018-02-15
WO2016169065A1 (en) 2016-10-27
CN106062841B (zh) 2018-07-31

Similar Documents

Publication Publication Date Title
CN106062841B (zh) 用于呈现移动平台的操作信息的方法、设备和系统
JP6842574B2 (ja) 自律車両運転イベントに応答して乗車者フィードバックを取得するシステムおよび方法
US10562536B1 (en) Apparatuses, systems and methods for determining distractions associated with vehicle driving routes
CN109131340A (zh) 基于驾驶员行为的主动车辆性能调整
US9399294B1 (en) Displaying estimated image data in a user interface
US9928434B1 (en) Appartuses, systems, and methods for determining when a vehicle occupant is using a mobile telephone
US11269334B2 (en) Systems and methods for automated testing of autonomous vehicles
CN107533372A (zh) 附连数据的混合环境显示
US10765091B2 (en) Information processing device and information processing method
US10777027B2 (en) Working vehicle, remote diagnosis system, and remote diagnosis method
CN109219551A (zh) 道路状况抬头显示器
US20160292920A1 (en) Time-Shift Controlled Visualization of Worksite Operations
CN106471441A (zh) 用于显示机器人设备动作的虚拟表示的增强现实的方法和系统
US10282624B1 (en) Apparatuses, systems, and methods for determining when a vehicle operator is texting while driving
US9996757B1 (en) Apparatuses, systems, and methods for detecting various actions of a vehicle operator
US20190155237A1 (en) Remote control of multiple different machines
US20190268402A1 (en) Distributed computing of vehicle data
KR101732964B1 (ko) 건설 현장에서 작업자를 관리하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체
US11922705B2 (en) Apparatuses, systems and methods for generation and transmission of vehicle operation mode data
US10726613B2 (en) Creating a three-dimensional map utilizing retrieved RFID tag information
CN111093585B (zh) 一种轮椅、控制方法及计算机可读存储介质
JP7254059B2 (ja) 自動運転車両の管理の最適化
US20120226439A1 (en) Navigation device and navigation mode switch method
CN107407944A (zh) 参考传感器的发现和利用
US9692867B2 (en) Event accessory item location

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181002