CN110737212B - 无人机控制系统和方法 - Google Patents

Abstract

本申请提供了一种无人机控制系统和方法，该系统包括：任务单元，获取用户的任务，将任务拆分为目标行动；第一行动模块，将目标行动的信息发送给第一功能模块和第一响应模块；传感器单元，获取与目标行动对应的传感器数据；第一功能模块，获取目标行动的行动数据，协同计算模块根据AI芯片的数据处理能力，确定第一功能模块处理行动数据使用的数据处理方法，AI芯片用于执行系统的数据处理；第一功能模块根据行动数据和数据处理方法进行计算得到执行目标行动所需的无人机的状态信息和环境信息；第一响应模块，根据状态信息、环境信息和目标行动的信息，生成无人机的控制信息以及与用户的交互信息。该系统可以支持多种类型的任务的实现，满足不同用户的多样性要求。

Description

无人机控制系统和方法

技术领域

本申请涉及人工智能领域，更为具体的，涉及一种无人机控制的系统和方法。

背景技术

目前，无人机已经得到了广泛的应用。比如利用无人机航拍，巡检、执法、环境监测，测绘等。当前大部分无人机在户外能很好的工作，且并不需要无人机加载强大计算能力。室内无人机应用也是未来的一个方向。基于无人机上的摄像头采集到的视频流的内容分析，与无人机结合可以衍生出更多的应用，比如无人机跟拍，监控场景下发现异常行为报警等。这类应用大大增加了无人机的智能性。同时实现这些功能所需的视频内容分析，通常是基于深度神经网络实现的，所需的计算量非常大。由于功耗等因素的限制，现有无人机上的处理器并不能很好的执行这类基于深度神经网络的视频或图像内容分析的任务，特别是多个深度神经网络的任务同时运行的情况。所以，现有的无人机通常只附加比较单一的特定功能。

由于用户需求具有多样性，所以室内无人机所需执行的任务多种多样，且每个用户喜好的交互手段也不一样。现有的无人机系统只能附加特定功能的特性，无法很好的扩展更多功能和满足不同用户的多样性需求。无法满足用户对无人机功能多样性的要求。

发明内容

本申请提供了一种无人机控制系统和方法，该系统可以支持多种类型的任务的实现，使得该系统的完成多种功能，可以满足不同用户的多样性要求，提高用户体验。

第一方面，提供了一种无人机控制系统，包括：任务单元，该任务单元用于获取用户的任务，并将该任务拆分为至少一个目标行动；

行动单元，包括至少一个行动模块，每个行动模块对应一个行动，该至少一个行动模块包括与该目标行动对应的第一行动模块，该第一行动模块用于根据该目标行动的信息，确定执行该目标行动的第一功能模块和第一响应模块，并将该目标行动的信息发送给该第一功能模块和该第一响应模块；

传感器单元，该传感器单元用于根据该目标行动的信息，获取与该目标行动对应的传感器数据；

功能单元，包括协同计算模块和至少一个功能模块，该至少一个功能模块包括该第一功能模块，该第一功能模块用于获取行动数据，该行动数据包括该目标行动的信息、室内地图、室内成员信息和该传感器数据中的至少一个，该协同计算模块用于根据AI芯片的数据处理能力，确定该第一功能模块处理该行动数据所使用的数据处理方法，AI芯片用于执行该系统的数据处理；该第一功能模块还用于根据该行动数据和该确定的数据处理方法进行计算，以得到执行该目标行动所需的该无人机的状态信息和该无人机所处环境的环境信息；

响应单元，包括至少一个响应模块，该至少一个响应模块包括该第一响应模块，该第一响应模块用于根据该状态信息、该环境信息和该目标行动的信息，生成该无人机或该无人机上的设备的控制信息以及与用户的交互信息。

第一方面提供的无人机控制系统，通过任务单元将用户的任务分解为目标行动，行动单元根据每个目标行动的信息，并结合传感器单元的传感器数据，控制和调度功能单元和响应单元执行该目标行动，功能单元中的协同计算模块根据AI芯片的数据处理能力，确定该第一功能模块处理该行动数据所使用的数据处理方法，该AI芯片用于执行该系统的数据处理，即协同计算模块将多个功能单元的执行任务分配到AI芯片上执行，利用了AI芯片强大的计算能力。从而完成该任务的执行。使得该系统可以支持多种类型的任务的实现，提高了该系统执行任务的效率和准确性，使得该系统可以完成多种功能，可以满足不同用户的多样性要求，提高用户体验。

在第一方面的一种可能的实现方式中，该至少一个功能模块还包括第二功能模块，该协同计算模块还用于：接收该第一功能模块获取的该行动数据，并且将该状态信息和该环境信息发送给该第二功能模块。在该实现方式中，通过协同计算模块将该状态信息和该环境信息发送给该第二功能模块，从而实现行动的执行。

在第一方面的一种可能的实现方式中，该第一行动模块还用于：根据该目标行动的执行结果，更新该室内地图和该室内成员信息中的至少一个。在该实现方式中，通过根据目标行动的执行结果更新室内地图和/或该室内成员信息，可以提高后续的行动执行的效率和准确性，提高该系统的性能，进一步的提高用户体验。

应理解，本申请实施例中的无人机控制系统，依照执行的任务，可以应用于室内无人机的运动控制。

在第一方面的一种可能的实现方式中，该行动单元包括行动模块管理模块，该行动模块管理模块用于根据该目标行动的信息，在该行动单元中添加该第一行动模块。在该实现方式中，通过配置新的行动模块，可以实现新的行动执行，使得该系统实现多种功能和支持多种任务的实现，满足不同用户的多样性要求，提高用户体验。

在第一方面的一种可能的实现方式中，该功能单元包括功能模块管理模块，该功能模块管理模块用于根据该目标行动的信息，在该功能单元中配置该第一功能模块。在该实现方式中，通过配置新的功能模块，可以实现新的功能，使得该系统实现多种功能和支持多种任务的实现，满足不同用户的多样性要求，提高用户体验。

在第一方面的一种可能的实现方式中，该响应单元包括响应模块管理模块，该响应模块管理模块用于根据该目标行动的信息，在该响应单元中配置该第一响应模块。在该实现方式中，通过配置新的响应模块，可以实现新的响应功能，使得该系统实现多种功能和支持多种任务的实现，满足不同用户的多样性要求，提高用户体验。

在第一方面的一种可能的实现方式中，该环境信息包括：室内障碍物信息和路径信息。

在第一方面的一种可能的实现方式中，该状态信息包括该无人机的位置、姿态、速度、加速度中的至少一个。

在第一方面的一种可能的实现方式中，该至少一个响应模块用于控制该无人机的飞行。在该实现方式中，通过用于控制无人机飞行的飞行控制模块。

在第一方面的一种可能的实现方式中，该至少一个行动模块用于确定该无人机飞行的目的地，或者用于向该用户发布通知，或者用于构建该室内地图，或者用于生成该室内成员信息。

在第一方面的一种可能的实现方式中，该室内成员信息包括每一个成员活动概率最大的位置信息和与该活动概率最大的位置对应的行动信息中的至少一个。在该实现方式中，可以快速的确定目的地以及对应的行动信息，规划出合理有效的路径，提高任务完成的效率，降低无人机的资源消耗。

第二方面，提供了一种无人机控制的方法，包括：任务单元获取用户的任务，并将该任务拆分为至少一个目标行动；

第一行动模块根据该目标行动的信息，确定执行该目标行动的第一功能模块和第一响应模块，并将该目标行动的信息发送给该第一功能模块和第一响应模块，该第一行动模块和该目标行动对应，其中，行动单元包括至少一个行动模块，每个行动模块对应一个行动，该至少一个行动模块包括该第一行动模块；

传感器单元根据该目标行动的信息，获取与该目标行动对应的传感器数据；

该第一功能模块获取行动数据，该行动数据包括：该行动数据包括该目标行动的信息、室内地图、室内成员信息和该传感器数据中的至少一个，协同计算模块根据AI芯片的数据处理能力，确定该第一功能模块处理该行动数据所使用的数据处理方法；该第一功能模块根据该行动数据和该确定的数据处理方法进行计算，以得到执行该目标行动所需的该无人机的状态信息和该无人机所处环境的环境信息；其中，功能单元包括至少一个功能模块和该协同计算模块，该至少一个功能模块包括该第一功能模块；

该第一响应模块根据该状态信息、该环境信息和该目标行动的信息，生成该无人机或该无人机上的设备的控制信息以及与用户的交互信息，响应单元包括至少一个响应模块，该至少一个响应模块包括该第一响应模块。

第二方面提供的无人机运动控制的方法，通过任务单元将用户的任务分解为至少一个目标行动，行动单元根据每个目标行动的信息，并结合传感器单元的传感器数据，控制和调度功能单元和响应单元执行该目标行动，功能单元中的协同计算模块根据该无人机上的AI芯片的数据处理能力，确定该第一功能模块处理该行动数据所使用的数据处理方法，即协同计算模块将多个功能单元的执行任务分配到AI芯片上执行，利用了AI芯片强大的计算能力,从而完成该任务的执行,提高该无人机执行任务的效率和准确性,并且可以使得该无人机支持多种类型的任务的实现，满足不同用户的多样性要求，提高用户体验。

在第二方面的一种可能的实现方式中，该至少一个功能模块还包括第二功能模块，该方法还包括：该协同计算模块接收该第一功能模块获取的该行动数据，并且将该状态信息和该环境信息发送给该第二功能模块。在该实现方式中，通过协同计算模块将该状态信息和该环境信息发送给该第二功能模块，从而实现行动的执行等，使得该无人机实现和完成多种功能。

在第二方面的一种可能的实现方式中，该方法还包括：该第一行动模块根据该目标行动的执行结果，更新该室内地图和该室内成员信息中的至少一个。在该实现方式中，通过根据目标行动的执行结果更新室内地图和/或该室内成员信息，可以提高后续的行动执行的效率和准确性，进一步的提高用户体验。

在第二方面的一种可能的实现方式中，该方法还包括：行动模块管理模块根据该目标行动的信息，在该行动单元中添加该第一行动模块，该行动单元包括该行动模块管理模块。在该实现方式中，通过配置新的行动模块，可以实现新的行动执行，从而实现多种功能和支持多种任务的实现，满足不同用户的多样性要求，提高用户体验。

在第二方面的一种可能的实现方式中，该方法还包括：功能模块管理模块根据该目标行动的信息，在该功能单元中添加该第一功能模块，该功能单元包括该功能模块管理模块。在该实现方式中，通过配置新的功能模块，实现多种功能和支持多种任务的实现，满足不同用户的多样性要求，提高用户体验。

在第二方面的一种可能的实现方式中，该方法还包括：响应模块管理模块根据该目标行动的信息，在该响应单元中添加该第一响应模块。该响应单元包括响应该模块管理模块。在该实现方式中，通过配置新的响应模块，实现多种功能和支持多种任务的实现，满足不同用户的多样性要求，提高用户体验。

在第二方面的一种可能的实现方式中，该环境信息包括：室内障碍物信息和路径信息。

在第二方面的一种可能的实现方式中，该状态信息包括该无人机的位置、姿态、速度、加速度中的至少一个。

在第二方面的一种可能的实现方式中，该至少一个响应模块用于控制该无人机的飞行。

在第二方面的一种可能的实现方式中，该至少一个行动模块用于确定该无人机飞行的目的地，或者用于向该用户发布通知，或者用于构建该室内地图，或者用于生成该室内成员信息。

在第二方面的一种可能的实现方式中，该室内成员信息包括每一个成员活动概率最大的位置信息和与该活动概率最大的位置对应的行动信息中的至少一个。

第三方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述第二方面以及第二方面中各个实现方式中的方法。

第四方面，提供了一种计算机可读介质，所述计算机可读介质存储有程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述第二方面以及第二方面中各个实现方式中的方法。

第五方面，提供了一种芯片系统，该芯片系统包括处理器，用于通信装置实现上述各方面中所涉及的功能，例如，生成，接收，发送，或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存通信装置必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。

附图说明

图1是本申请一个实施例的无人机控制系统结构的示意性框图。

图2是本申请一个实施例的无人机控制的系统硬件实现的示意性框图。

图3是本申请一个实施例的功能单元的结构的示意性框图。

图4是本申请另一个实施例的无人机控制的系统结构的示意性框图。

图5是本申请一个实施例的拆分任务的示意性流程图。

图6是本申请一个实施例的目的地飞行过程的示意性流程图。

图7是本申请一个实施例的找人过程的示意性流程图。

图8是本申请一个实施例的跟随过程的示意性流程图。

图9是本申请一个实施例的无人机控制的方法结构的示意性流程图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

目前，无人机已经得到了广泛的应用。比如利用无人机航拍，巡检、执法、环境监测，测绘等。现有的多数无人机，通常是有特定功能的无人机，此类无人机的负责数据运算处理的单元(比如处理器)可以集成到无人机上。比如常见的专用于航拍的无人机等，在无人机上集成飞行控制模块根据目标运动信息控制无人机跟随目标的移动轨迹飞行，结合无人机上的运算处理单元对摄像头拍摄的图像中的目标做识别、跟踪和运动信息获取。这类无人机中的负责数据运算处理的单元专用来完成简单的图像信号处理或者和计算机视觉的功能。此类无人机通常只能完成特定的功能，例如，只能用于航拍等，并且，这种无人机与用户交互的手段也是固定的、例如，只能通过系统规定的文字输入等，并不能很好的满足用户对室内无人机多样化任务和多样化交互手段的需求。

目前还有另外一类无人机系统，该无人机系统的数据运算处理由云端负责，无人机只负责接收信息、传输信号、接收指令和进行基础的飞行控制。一些计算量大的单元，比如重度图像识别模块、室内地图重建等会在云端或者地面端实时运行。因为需要所有的数据能实时处理并对无人机进行实时操控，所以无人机对时延很敏感。而这种依赖于云服务的方案，可能会存在传输时延的问题，所以只能适用于特定场景的应用。

室内无人机应用也是未来的一个方向。基于室内无人机上的摄像头采集到的视频流的内容分析，与无人机结合可以衍生出更多的应用，比如无人机跟拍，监控场景下发现异常行为报警等。而现有的无人机通常是有特定功能的无人机。例如，一个用于跟踪拍摄的无人机，需要人脸检测和跟踪模块去完成任务。而现有的这类无人机通常采用定制化的专用集成芯片(application specific integrated circuit，ASICI)将人脸检测和跟踪的技术实现固化成芯片中的具体电路。此类无人机平台，通常能高效的完成特定的任务，但任务的扩展需要很高的代价。例如，需要实现人脸识别时，需要新增加一个专用的完成人脸识别的ASIC芯片，代价非常大。并且这类无人机与用户交互的手段也是固定的。并不能很好的满足用户对室内无人机多样化任务和多样化交互手段的需求。

由于用户需求具有多样性，所以室内无人机所需执行的任务多种多样，且每个用户喜好的交互手段也不一样。现有的无人机系统只能附加特定功能的特性，无法很好的扩展更多功能和满足不同用户的多样性需求。无法满足用户对无人机功能多样性的要求。

基于上述问题，本申请提供了一种无人机控制的系统和方法，可以使得室内无人机支持多类型任务的实现，解决目前无人机只能实现单一功能或者任务的问题，提高了室内无人机执行任务的效率，提高用户体验。

下面将结合附图来说明本申请提供的无人机控制的系统和方法。无人机的处理器调用执行置于无人机的存储器中的该无人机控制系统，从而控制无人机执行各任务，并且无人机中的AI芯片为该控制系统中的数据运算处理提高计算能力。

图1是本申请提供的无人机控制的系统的结构的示意性框图，如图1所示，该系统100包括：

任务单元110，该任务单元用于获取用户的任务，并将该任务拆分为至少一个目标行动。

行动单元120，包括至少一个行动模块，每一个行动模块对应一个行动，该至少一个行动模块包括与该目标行动对应的第一行动模块，该第一行动模块用于根据该目标的信息，确定执行该目标行动的第一功能模块和第一响应模块，并将该目标行动的信息发送给该第一功能模块和第一响应模块；

传感器单元130，该传感器单元用于根据该目标行动的信息，获取与该目标行动对应的传感器数据；传感器数据130还可以将传感器数据发送给该第一功能模块。

功能单元140，包括协同计算模块141和至少一个功能模块，该至少一个功能模块包括该第一功能模块，该第一功能模块用于获取行动数据，该行动数据包括该目标行动的信息、室内地图、室内成员信息和该传感器数据中的至少一个，该协同计算模块141用于根据AI芯片的数据处理能力，确定该第一功能模块处理该行动数据所使用的数据处理方法，该AI芯片用于执行该系统的数据处理；该第一功能模块还用于根据该行动数据和该确定的数据处理方法进行计算，以得到执行该目标行动所需的该无人机的状态信息和该无人机所处环境的环境信息。

响应单元150，包括至少一个响应模块，该至少一个响应模块包括该第一响应模块，该第一响应模块用于根据该状态信息、该环境信息和该目标行动的信息，生成该无人机或者该无人上的设备的控制信息以及与用户的交互信息。

具体而言，如图1所示，该系统100包括任务单元110、行动单元120，传感器单元130，功能单元140和响应单元150。任务单元110连接该行动单元120，行动单元120连接该传感器单元130、功能单元140和响应单元150。功能单元140和响应单元150之间也可以通信连接，响应单元150和传感器单元130之间也可以通信连接。

该任务单元110用于获取用户的任务，并将该任务拆分为至少一个目标行动。可选的，如图1所示，任务单元110可以包括任务接收模块111以及任务解析和规划模块112。任务接收单元111可以接收用户发送的任务指令，用户的任务指令可以通过语音、手势、文字等形式发送给该系统100。例如，在用户通过文字输入的发送任务指令时，任务接收单元111可以接收该任务指令，任务解析和规划单元112可以根据该任务指令，将该任务分解为至少一个目标行动。该任务单元110还可以通过传感器单元130获取用户的任务信息。例如，用户通过语音方式发布任务，传感器单元130可以获取该语音信息(例如，通过麦克风获取)，并将该语音信息发给任务单元110进行分解。将任务分解为至少一个目标行动可以理解为根据任务的内容，将任务分解为至少一个目标行动，通过该至少一个目标行动的组和完成该任务的执行。例如，任务为去房间A叫成员B吃饭，可以将该任务分解为三个行动，第一个目标行动为目的地飞行(飞到房间A)，第二个目标行动为找人(找到成员B)，第三个目标行动为向成员B发布通知(发布吃饭通知)。通过这个这三个简单的目标行动来完成一个比较复杂的任务。

行动单元120用于记录并维护完成任务所需的各个行动以及行动属性，行动属性包括，每个行动所需的输入信息，行动的执行顺序、完成行动需要的功能模块、响应模块以及执行流程图等。行动单元120根据执行流程图控制和调用功能单元和响应单元中的基础模块完成行动的执行。行动单元120包括至少一个行动模块，该至少一个行动模块中每一个行动模块对应一个行动。该至少一个行动模块包括用于确定该无人机飞行目的地的目地飞行模块，用于向该用户发布通知的发布通知模块，用于构建该室内地图的室内地图构建模块，用于形成该室内成员信息的室内成员注册模块中的至少一个。每个行动模块对应一个行动。该至少一个行动模块包括与该目标行动对应的第一行动模块。该第一行动模块用于根据该目标行动的信息，确定执行该目标行动的第一功能模块和第一响应模块，并将该目标行动的信息发送给该第一功能模块和第一响应模块。该第一行动模块还可以将该目标个行动的信息发送给传感器单元。该目标行动的信息可以包括目标行动本身的信息(例如，目标行动的名称，目标行动的时间、地点、人物、执行顺序等)，还可以包在目标行动执行过程中产生的信息，例如某个功能模块在执行目标行动的过程中产生的信息。举个例子，假设该目标行动为九点飞到房间A，对应该第一行动模块为目的地飞行模块，目标行动的信息可以包括：行动的起点(当前所在位置)、行动的终点(房间A)、飞行的时间(九点)以及飞行频次(每天一次)等。目的地飞行模块可以将根据该目标行动的信息，确定执行该目标行动的第一功能模块和第一响应模块，并将该目标行动的信息发送给该第一功能模块和第一响应模块。该目的地飞行模块还可以将目标行动的信息发送给过传感器单元130。第一功能模块还可以将行动执行结果的信息反馈给任务单元110。

应理解，行动单元120还可以包括其他的行动模块，本申请在此不作限制。

传感器单元130用于根据该目标行动的信息，获取与该至目标行动对应的传感器数据(接收传感器的信号)，传感器数据可以包括：采集到的视频流数据、音频数据、惯性测量单元采集到的数据、加速度计、陀螺仪、毫米波雷达采集到的数据等。传感器单元130可以将传感器数据发送给第一功能模块。

应理解，传感器数据还可以包括其他类型的传感器参数，本申请在此不作限制。

功能单元140用于根据每个目标行动的要求(行动的信息)，获取传感器单元130生成的传感器数据，分析和处理传感器单元130发送的传感器数据。生成第一响应模块所需的无人机的状态信息和无人机所处的环境信息。功能单元140包括协同计算模块141和至少一个功能模块，该至少一个功能模块包括该第一功能模块。该至少一个功能模块可以包括：语音识别、成员验证、定位、路径规划、障碍物检测、人物特征识别、人脸检测和跟踪模块等。例如，当该行动为目的地飞行时，该第一功能模块可以包括定位模块、路径规划模块、障碍物检测模块等。该第一功能模块用于获取行动数据，该行动数据包括该目标行动的信息、室内地图、室内成员信息和该传感器数据中的至少一个。该协同计算模块141用于根据人工智能(artificial intelligence，AI)芯片的数据处理能力，确定第一功能模块处理(计算)该行动数据所使用的数据处理方法，该第一功能模块还用于根据该行动数据和该确定的数据处理方法进行计算，以得到执行该目标行动所需的该无人机的状态信息和该无人机所处环境的环境信息。即该协同计算模块141用于根据具体的行动信息，将该第一功能模块的执行任务分配到AI芯片上进行计算，由于AI芯片具有很强的计算能力，能快速的利用神经网络计算出执行该目标行动所需的该无人机的状态信息(数据)和该无人机所处环境的环境信息(数据)。室内地图和室内成员信息可以是在该系统初始化过程中构建的。该状态信息可以包括该无人机的位置、姿态、速度、加速度等。该环境信息可以包括第一功能模对该传感器数据进行处理后得到的无人机所处环境中的障碍物信息、无人机所处环境中检测到的人物信息、以及规划好的路径信息等。该第一功能模块还可以将该状态信息和该环境信息以及该目标行动的信息发送给该第一响应模块。

应理解，功能单元140还可以包括其他的功能模块，本申请在此不作限制。

响应单元150用于获取行动执行过程中生成的该状态信息、该环境信息以及该目标行动的信息，并生成无人机或无人机上的设备的控制信息以及与用户的交互信息。即响应单元150用于生成该系统(例如，室内无人机)或者该系统上的设备(例如，室内无人机上的摄像头、指示灯等)可以执行的控制命令，控制该无人机的飞行以及该无人机与用户之间的交互。响应单元150包括至少一个响应模块。例如，该至少一个响应模块可以包括：用于控制无人机飞行的飞行控制模块。该至少一个响应模块还可以包括：摄像头控制、扬声器控制、指示灯控制、消息外发等模块。例如，当该行动为目的地飞行时，该第一响应模块可以为飞行控制模块，摄像头控制等。该至少一个响应模块包括该第一响应模块，该第一响应模块根据该状态信息、该环境信息和该目标行动的信息，生成该无人机或者该无人上的设备的控制信息以及与用户的交互信息。该控制信息与该目标行动对应。例如，当目标行动为发布通知时，该控制信息可以是控制该无人机上的扬声器控制模块向用户播放声音的控制命令。又例如，当目标行动为目的地飞行时，该控制信息可以是控制该无人机上的飞行控制命令，该飞行控制命令用于控制无人机向目的地飞行。又例如，与用户的交互信息可以是向用户发布行动成功或者失败的语音消息，或者还可以是通过指示灯闪烁的方式向用户通知行动的执行信息等。

应理解，响应单元150还可以包括其他的响应模块，本申请在此不作限制。

本申请实施例提供的无人机控制系统，通过任务单元将用户的任务分解为至少一个目标行动，行动单元根据每个目标行动的信息，并结合传感器单元的传感器数据，控制和调度功能单元和响应单元执行该目标行动，功能单元中的协同计算模块根据该AI芯片的数据处理能力，确定该第一功能模块处理该行动数据所使用的数据处理方法，该AI芯片用于执行所述系统的数据处理，即协同计算模块将多个功能单元的执行任务分配到AI芯片上执行，利用了AI芯片强大的计算能力，完成该任务的执行，使得该系统可以支持多种类型的任务的实现，使得该系统的完成多种功能，可以满足不同用户的多样性要求，提高用户体验。

图2是本申请提供的无人机控制的系统硬件实现的示意性框图。如图2所示的，在硬件实现方面，AI芯片与传感器相连，AI芯片对传感器采集到的各种数据流，包括视频数据流、音频数据流等做处理，该运动控制系统包括的各功能模块(如人脸检测和跟踪、人体检测和跟踪、成员验证、3D障碍物检测等)的执行由芯片中的AI核心(AI core)运行预加载到芯片上的各种神经网络模型进行计算来完成，其它非神经网络的功能模块和调度相关的任务由中央处理器(central processing unit,CPU)完成。存储器用于存储相应的卷积神经网络计算模型以及该系统的其他数据，AI芯片通过通信电路与其他单元或者模块进行通信。AI芯片处理传感器数据后获得的无人机的状态数据包括位置、姿态、速度和控制语义命令由无人机系统接收，并且无人机系统控制无人机执行相应命令。

下面将具体说明协同计算模块141根据AI芯片的数据处理能力，确定第一功能模块处理(计算)该行动数据所使用的数据处理方法的过程。

具体而言，如图3所示，图3是本申请一个实施例的功能单元的结构的示意性框图。协同计算模块141可以将功能单元包括的各个功能模块需要执行的计算分配到AI芯片上执行。该室内无人机可以包括该AI芯片。功能管理接口用来连接传感器单元130、响应单元150以及行动单元120，接收传感器单元130和行动单元120发过来的数据，并将该数据送到对应的功能模块中。协同计算模块141根据该AI芯片的数据处理能力，确定第一功能模块处理(计算)该行动数据所使用的数据处理方法，该AI芯片用于执行该系统的数据处理。具体的，协同计算模块141可以根据AI芯片的数据处理能力，调整第一功能模块的执行顺序和执行参数。即该第一功能模块处理该行动数据所使用的数据处理方法可以包括第一功能模块的执行顺序和执行参数。例如，协同计算模块141可以根据各功能模块的所需的计算资源占AI芯片总的计算资源的比例，调整功能模块的执行参数。功能模块的执行参数包括功能模块的执行的速率，例如，第一功能模块包括障碍物检测和跟踪模块，协同计算模块141可以根据AI芯片的数据处理能力，将障碍物检测和跟踪模块的执行速率由原来的每帧执行调整为隔帧执行。调整第一功能模块的执行顺序可以理解为在第一功能模块包括多个功能模块的情况下，可以根据不同的功能模块的优先级信息，调整功能模块的执行顺序，或者暂停某些功能模块的执行等。本申请实施例在此不作限制。

通过合理的资源的分配以及实时的调整功能模块的计算状态，可以提高该系统执行任务的效率，提高任务执行的准确性，提高该系统的稳定性。

应理解，协同计算模块141确定第一功能模块处理该行动数据所使用的数据处理方法还可以包括将实现功能模块的各个算子按照神经网络算子和非神经网络算子分别分配到AI芯片上的AI核心(AI core)等各种形式的AI处理器件上进行计算。并且协同计算模块141还可以控制算子级执行的并行度、先后顺序等，本申请实施例在此不作限制。

下面结合具体的例子说明协同计算模块和功能模块。

功能模块计算和处理传感器单元接收到的传感器数据的过程是通过在AI芯片上执行神经网络计算完成的。神经网络通常由卷积层、全连接层、非线性层等构成。功能单元包含一个对AI CORE的接口(即协同计算模块)，通过该协同计算模块调用AI CORE中的神经网络中的计算单元完成数据的计算和处理。

以障碍物检测和跟踪模块为例进行说明。对输入图像，经过一个卷积神经网络计算得到图像上的障碍物区域，然后裁剪出图像上的障碍物区域，经过第二个卷积神经网络的计算得到模板特征，同时，对输入的下一帧图像数据，在相同位置的扩展区域，经过第三个卷积神经网络的计算得到搜索特征图，将模板特征与搜索特征图进行一次卷积计算得到预测的下一帧图像上人脸区域。根据配置参数确定当前帧是否需要做检测。融合当前帧的检测结果和跟踪结果得到障碍物的最终位置，并更新跟踪列表作为最终输出。

具体的，协同计算模块根据当前行动的信息，将完成行动所需的各功能模块对应到AI芯片上的中央处理器(central processing unit,CPU)和AI CORE上执行。其中，障碍物检测和跟踪模块的主要计算在AI CORE上运行。初始计算时，障碍物检测和跟踪模块的配置参数为每帧图像进行检测和跟踪计算，即协同计算模块控制图像帧的检测计算在AICORE的固定计算单元持续执行，每一帧图像检测完成，AI芯片反馈状态信息给协同计算模块，协同计算模块接收到完成一帧检测的信息，发起跟踪计算的请求。跟踪计算在AI CORE上对应的计算单元执行，其中模板特征缓存在AI CORE上的存储单元。此时AI CORE上始终并行执行两个卷积神经网络，每帧图像的跟踪结束后，协同计算模块控制AICORE当前的检测和跟踪结果发送给CPU上做融合计算，并更新跟踪列表。协同计算模块还监控AI芯片的运行状态，例如监控AI计算单元的计算资源的占用率，如果占用率超过一定阈值，则协同计算模块调整障碍物检测和跟踪模块的参数为隔N帧检测，此时协同计算模块控制调整AICORE上的资源分配，并按新的资源分配执行计算。

每个卷积神经网络计算是由多次卷积计算、全连接计算、池化计算组成。这里的卷积计算、全连接计算等是通过调用AI CORE的矩阵乘法单元、累加计算单元等实现。AI CORE包括矩阵乘法单元，累加计算单元，存储单元，数据接口等。具体的一个卷积层计算的实现过程为：输入数据和模型参数通过AI芯片的数据接口传送到AI CORE上，然后送到矩阵计算单元和累加单元完成矩阵乘法和加法得到输出数据。障碍物检测、成员验证等，与人脸检测和跟踪模块类似，由多个卷积神经网络对输入视频流计算处理得到输出信息。这些卷积神经网络网络的模型被预加载到AI芯片上的存储单元中，通过在AI CORE上计算运行神经网络获得对应的输出信息。

可选的，作为一个实施例，该至少一个功能模块还包括第二功能模块，该协同计算模块141还用于：接收该第一功能模块获取的该行动数据，并且将该状态信息和该环境信息发送给该第二功能模块。

具体而言，该至少一个功能模块可以包括：语音识别、成员验证、定位、路径规划、障碍物检测、人物特征识别、人脸检测和跟踪模块等。该第二功能模块可以包括路径规划模块、障碍物检测模块等。该第一功能模块可以包括定位模块、语音识别模块、人物特征识别模块等。该第一功能模块用于获取该行动的数据，例如，获取该行动的地点、时间等。协同计算模块141还用于获取该行动数据，并根据AI芯片的数据处理能力，确定第一功能模块处理该行动数据所使用的数据处理方法，该第一功能模块用于根据该行动数据和该确定的数据处理方法进行计算，以得到执行该目标行动所需的该无人机的状态信息和该无人机所处环境的环境信息。协同计算模块141在获取该状态信息和该环境信息后，将该状态信息和该环境信息发送给该第二功能模块，第二功能模块根据该状态信息和该环境信息，进行路径规划，或者进行障碍物检测等。通过将该状态信息和该环境信息发送给该第二功能模块，从而实现行动的执行等，使得该系统可以实现和完成多种功能，提高该系统的性能。

可选的，作为一个实施例。该第一行动模块还用于：

根据该目标行动的执行结果，更新该室内地图和该室内成员信息中的至少一个。

具体而言，在某一个行动执行完毕之后，第一行动模块可以根据行动的执行结果，更新室内地图和/或该室内成员信息。例如，在找人行动执行完毕后，可以存储该成员出现的位置信息和时间信息等。在后续的行动执行过程中，根据更新后的室内地图和/或该室内成员信息来执行行动，例如，在找人行动中，可以先搜索数据库中目标人物可能出现的位置信息，根据可能出现的位置信息规划路径，可以提高行动执行的效率，提高该系统的性能。

下面结合具体的例子来说明本申请提供的无人机控制系统。

用户通过语音对无人机下发命令：早上七点叫成员B起床。

任务单元在判断无人机处于待命状态后，发送状态信号给功能单元，该状态信号可以是室内无人机需要开始执行任务或者行动的控制信令，用于唤醒该室内无人机，使得该室内无人机从休眠状态(待机状态)到待执行任务的状态(工作状态)。功能单元接收到状态信号后，功能单元中的语音识别和手势识别模块(第一功能模块)进入工作模式。当功能单元中的语音识别模块检测到有效语音数据输入时，功能单元中的协同计算模块根据AI芯片反馈回的AI芯片计算资源占用率等信息，新增加语音识别计算任务所需的资源评估。如果AI芯片当前计算资源没有空闲，协同计算模块根据当前正在运行的功能模块的优先级(协同计算单元根据行动信息得到)，判断是否暂停执行当前的功能模块计算和暂停哪些功能模块的计算，并保存暂停时功能模块的运行状态。如果AI芯片当前计算资源有空闲，则协同计算模块为语音识别模块分配AI芯片上的计算资源并触发语音识别模块将接收到的语音数据翻译成自然语言文字，并将文字做自然语言理解，识别出该任务要求的时间、地点、事件/动作、人物。并将该任务要求的时间、地点、事件/动作、人物发送给任务单元。

任务单元可以包括任务解析和规划模块，任务解析和规划模块根据预存的行动表中各行动属性和输入的任务的描述，将该任务为2个目标行动：找成员B(第一个目标行动)以及叫B起床(第二个目标行动)。并将该目标行动的信息发送给行动单元。行动单元接收到任务单元输出的行动列表，根据目标行动属性获取具体的目标行动信息，包括确定执行目标行动所需要的功能模块(第一功能模块)和响应模块(第一响应模块)。

对于第一个目标行动：找成员B。行动单元中的找人模块(第一行动模块)通过具体目标行动信息和成员信息表、室内地图信息。从成员信息库中查找成员B的习惯地图，习惯地图中存储的信息包括(人物，该人物出现的地方，出现频次)。结合行动信息的和预存的成员信息库，得到B最常出现的3个候选地点A1，A2，A3。将三个候选地点添加到行动信息中。

行动单元发起任务执行命令并将具体行动信息给功能单元。功能单元中的协同计算模块根据从行动单元传来的具体行动信息，根据AI芯片反馈的当前芯片的状态信息，调整完成行动所需的功能模块的运行。将完成行动所需要的功能模块按照算子级别分配到AI芯片上对应计算单元计算。协同计算模块还用于多个功能模块间的任务调度，以及消息传递等。该功能模块可以包括定位模块、路径规划模块、障碍物检测模块等。

功能单元接收到任务执行通知，功能单元中的定位模块和障碍物检测模块(第一功能模块)实时开启，定位模块接收图像传感器的数据，在AI芯片上计算和处理图像数据，生成无人机自身的位姿信息，该位姿信息可以包括无人机当前的位置、速度、姿态等信息。功能单元中的障碍物检测模块接收传感器获取的图像数据，在AI芯片上计算和处理，获取当前无人机的环境信息，协同计算模块获取无人机位姿信息和环境信息，连同具体行动的信息(目的地A1，A2，A3，找成员B)发送给路径规划模块(第一功能模块)，路径规划模块结合室内地图，计算得飞行路径。该飞行路径可以是分段路径，即将从起点到终点的路径划分为多段，每一段为一个分段路径。路径规划模块将该飞行路径、无人机当前位置、速度、姿态、行动1的信息发送给响应单元中的飞行控制模块(第一响应模块)。飞行控制模块根据这些信息，控制无人机向目的地飞行。

协同计算模块在行动执行时一直运行。协同计算模块可以获取AI芯片反馈的计算资源的占用率等状态信息，当AI芯片的资源占用率超出一定阈值(例如，该阈值为60％)是，协同计算模块将障碍物检测模块执行调整为隔帧执行检测和逐帧跟踪。协同计算模块可以根据AI芯片反馈的计算资源占用率等状态信息，调整功能模块计算频率。

在飞行过程中(每一段分段路径)，功能单元中的障碍物检测模块对分段路径上的障碍物做检测，对障碍物做检测可以通过传感器单元采集的传感器数据获得，并根据障碍物与无人机的距离信息和当前分段路径以及下一段分段路径信息，调用路径规划模块不断更新分段路径。障碍物检测模块可以根据传感器实时采集的视频流等数据，确定障碍物的信息。目的地飞行模块将实时产生的障碍物信息和路径信息送给路径规划模块做路径更新，可以避开障碍物得到新的分段路径，并调用飞行控制模块，控制无人机沿着更新后的路径飞行。到达目的地后，目的地飞行模块调用飞行控制模块控制无人机悬停在房间中间，并向任务单元反馈行动1执行完毕。目的地飞行模块也可以将该行动1执行完毕时无人机的信息反馈给行动单元。无人机的信息可以包括无人机的位置、姿态等。飞到房间A1后，响应单元中的飞行控制模块接到到达目的地的通知，发送悬停的指令给无人机。

协同计算模块根据AI芯片反馈的计算资源占用率等状态信息，降低定位模块计算频率。协同计算模块根据当前环境信息中的人的位置，提取人所在的图像，输入到功能单元中的成员验证模块，成员验证模块根据输入的信息进行成员验证，如果不是成员B，协同计算模块重新调整定位模块计算频率，并继续进行路径规划，规划到A2的飞行路径，飞行控制模块根据规划好的路径，控制无人机向目的地A2飞行。如果在目的地A2还没有找到成员B，协同计算模块则重新调整定位模块计算频率，并继续进行路径规划，规划到A3的飞行路径，飞行控制模块根据规划好的路径，控制无人机向目的地A3飞行。如果还是没有找到成员B，协同计算模块重新调整定位模块计算频率，在整个室内开始寻找成员B。如果最终整个室内都没有找到成员B，则功能单元发送任务失败信息给响应单元，由响应单元将执行任务失败的信息传给用户端设备或者直接通过语音播报的方式通知给用户。

如果在某一个目的地找到了成员B，则功能单元将发送执行行动2的信号给行动单元，行动单元调用响应单元中的扬声器控制播放相应的声音消息(起床铃声)。执行目标行动2。例如，可以通过扬声器控制模块每隔3分钟播放一次起床铃声。同时协同计算模块调整定位模块和障碍物检测模块频率和优先级为最低。在找到成员B后，行动单元更新成员B在成员信息库中的习惯地图。

可选的，作为一个实施例，如图4所示，该行动单元120包括行动模块管理模块121，该行动模块管理模块121用于根据该目标行动的信息，在该行动单元120中添加该第一行动模块。

具体而言，该系统中可以预先存储基本的行动信息，该基本的行动信息可以以表的形式存储。例如，如表1所示的。

表1

该行动信息包括行动模块的名称、行动需要的输入信息以及相应的响应等。行动单元120可以根据任务单元拆分的目标行动，结合预存储的行动信息表。确定与任务单元110拆分的目标行动对应的行动模块。在行动单元120根据任务单元110拆分的目标行动，在预存的行动信息表中不能确定与该目标行动对应的行动模块(预存的行动信息表不存在与该目标行动对应的行动模块)时，行动单元120中的行动模块管理模块121可以根据目标行动的信息，在行动单元中添加(配置)与该目标行动对应的行动模块，即该行动单元中的行动模块是可配置的。例如，任务单元110拆分的目标行动包括监控，但是预存储的行动信息表并没有与监控对应的行动模块，在这种情况下，行动模块管理模块121可以根据拆分后的行动信息，在行动单元中120添加监控模块，监控模块对应的输入可以包括监控对象、监控时间等，监控模块对应的响应可以包括飞行控制、相机控制等。这样，在行动单元获取新的行动信息后，可以实现该新的行动执行。可以使得该系统支持多种任务的实现。满足不同用户的多样性要求，提高用户体验。

应理解，表1只是示例性的，不应该对行动信息表造成任何限制，例如，该行动信息表中还可以包括更多的行动模块。或者，该基本的行动信息还可以以其他形式存储。本申请在此不作限制。

可选的，作为一个实施例。如图4所示，该功能单元140包括功能模块管理模块142，该功能模块管理模块142用于根据该目标行动的信息，在该功能单元140中添加该第一功能模块。

具体而言，在任务单元110将任务拆分为目标行动后，可以在预存的功能模块信息表中确定与该目标行动对应的功能模块。当有一个新的行动，而预存的功能模块信息表中并没有与该行动对应的功能模块时，功能单元140中的功能模块管理模块142可以根据行动的信息，在功能单元中添加(配置)与该行动对应的功能模块，即该功能单元中的功能模块是可配置的。例如，任务单元110拆分的目标行动包括监控，但是预存储的功能模块信息表并没有与监控对应的功能模块，在这种情况下，功能模块管理模块142可以根据拆分后的行动信息，在功能单元140中添加异常检测模块，异常检测模块用于实现监控行动。可以实现该新的行动执行。可以使得该系统实现成多种功能和支持多种任务的实现，提高该系统的性能。满足不同用户的多样性要求，提高用户体验

可选的，作为一个实施例。如图4所示，该响应单元150包括响应模块管理模块151，该响应模块管理模块151用于根据该目标行动的信息，在该响应单元150中添加该第一响应模块。

具体而言，在任务单元110将任务拆分为目标行动后，可以在预存的响应模块信息表中确定与该目标行动对应的响应模块。当有一个新的行动，而预存的响应模块信息表中并没有与该行动对应的响应模块时，响应单元150中的响应模块管理模块151可以根据行动的信息，在响应单元150中添加(配置)与该行动对应的响应模块，即该响应单元中的响应模块是可配置的。例如，添加监控响应模块以支持该系统完成监控行动。可以使得该系统支持多种任务的实现。使得该系统的完成多种功能，提高该系统的性能。满足不同用户的多样性要求，提高用户体验

应理解，在本申请的各个实施例中，室内地图或者室内成员信息中还可以包括无人机在执行任务过程中提取的成员行为习惯。成员行为习惯包括于各成员室内活动频率最大的N个位置或者成员活动最频繁的位置。室内地图还可以包括室内成员的习惯地图。习惯地图可以理解为室内成员最常出现的N个地点信息。在找人行动中，可以根据室内地图或者室内成员信息，规划出遍历全屋的最有效路径，从而加速任务完成，节省无人机的资源消耗。

还应理解，习惯地图还可以包括成员室内活动频率最大的N个位置对应的行动信息。举例来说明，假设对于成员A，其最可能活动的三个位置依次为客厅、卧室、书房(按照活动概率从大到小排列)，在客厅最可能的动作为看电视(概率最大的行动)，在卧室最可能的动作为睡觉(概率最大的行动)，在书房最可能的动作为看书(概率最大的行动)。在后续找人或者跟踪某人的时候，可以根据这些信息，快速的确定目的地以及对应的行动信息，规划出合理有效的路径，提高任务完成的效率，降低无人机的资源消耗。

还应理解，该室内成员信息还可以包括室内成员的人脸特征，衣着特征，声音特征，人体形态特征等。本申请在此不作限制。

下面简单介绍任务单元将任务拆分为至少一个目标行动的过程。

任务单元可以包括任务接收模块和任务解析和规划模块，任务接收模块接收的任务信息可以是自然语言(非机器语言)描述的文字或语音或者是已经编码的语义命令。其中功能单元中的语音识别模块用于接收语音任务并生成自然语言文字描述的任务信息。如图5所示，图5是拆分任务的示意性流程图。任务解析和规划模块在获取该任务的描述后，对于机器语言(非自然语言)的任务描述，直接查找行动单元维护的行动信息表，例如，如表1所示的行动信息表，将该任务解析成多个行动并构建执行流程图。对于非机器语言的任务描述，对输入的任务描述进行理解，将输入的任务描述语言进行“分词”，“词性标注”，“命名实体识别”，识别出该任务要求的时间、地点、事件/动作、人物。对每个事件，搜索行动属性表中与该事件对应的最相似的两个候选行动，每个候选行动得到一个置信度(例如，根据行动和事件对应的词向量的相似度确定置信度)。对每个候选行动，将其输入项的类型与事件对应的人物、地点或时间这些类型匹配，得到匹配度。融合匹配度和置信度，在候选的行动中确定与该任务对应的目标行动，并得到执行该目任务所需的目标行动列表。

在本申请实施例中，任务拆分也可以采用深度神经网络的算法，根据输入的任务的机器语言描述，通过1个以上的深度神经网络得到行动列表。本申请实施例在此不作限制。

在本申请实施例中，用户与无人机的交互有多种形式。

例如通过手势交互。,在这种情况下，通过功能单元中的“手势识别”模块生成用户发布任务的机器语言描述，直接生成行动列表。该手势识别模块识别手势类型，并将手势类型与描述任务的机器语言对应。

又例如，用户通过使用的终端(例如手机等)配置任务，此时用户在终端直接生成任务的机器语言描述，通过终端发送到无人机，无人机根据该任务的机器语言描述，可以直接生成行动列表。这种情况下，可以在终端上的应用程序上通过语音输入任务描述，终端将该任务描述发送到无人机，无人机可以利用语音识别模块用于接收语音任务并生成自然语言文字描述的任务信息。或者，还可以扩展无人机传感器接口，加入语音采集模块，在无人机端生成任务机器语言描述，生成行动列表。

应理解，除了上述的几种交互形式外，用户还可以通过其他方式与无人机进行交互，本申请在此不作限制。

下面将具体说明行动单元包括的多个行动模块的具体作用。

行动单元可以包括：室内地图构建模块、成员信息注册模块、自动充电模块、目的地飞行模块、找人模块、发布通知模块、跟随模块等。

室内地图构建模块：系统初始化自动规划路径，并根据规划路径绕室内各房屋飞行，实时定位、构件地图和环境目标识别，最终构建出室内3D环境语义地图，并储存到室内地图库中。该3D环境语义地图包含3D环境信息，以及室内所有物体的语义信息。室内物体的位置信息和相应的语义信息关联。

成员信息注册模块：用于录入家庭成员的信息，包括人脸相片，全身相片，人物特征，以及人物属性等。具体的，无人机在拍摄当前注册人员的照片时，可以由功能单元实现人脸检测、人物属性检测、人物特征提取等操作，并将结果存储在成员信息注册库中。拍摄时，无人机自行调整拍摄方式，如保证拍摄正面、左侧面、右侧面、背面四种姿态的信息入库。后续无人机在工作时，记录和更新每个注册人员在室内各位置活动频率。其中人脸检测、人物属性检测、人物特征等功能模块由AI处理器上的神经网络AI core对感知器获取的视频流进行计算处理。

自动充电模块：无人机在电量不足时能自主找到充电装置进行充电。具体实现为无人机获取电量不足信息后，实时定位当前位置并记录当前被中断的任务信息，自动规划从当前位置到充电装置的路径，飞行控制根据实时更新的规划的路径到达充电装置，对齐并完成充电。当充电完成，无人机根据待继续的任务信息，重新规划任务执行。

目的地飞行模块：如图6所示，图6是目的地飞行过程的示意性流程图。无人机由定位模块得到当前的位置、姿态和速度；路径规划模块结合室内地图，给出当前位置A到目的地B的分段路径；在每段路径上，障碍物检测模块检测到障碍物时，由路径规划模块重新规划当前段路径，若没有障碍物则保持路径不变，飞行控制模块控制无人机按当前路径飞行，直到无人机到达目的地B。将每次目的地飞行的路径A到B添加到室内地图库中。开始下一次目的地路径规划时，先查询数据库中是否有规划好的路径可用。若不存在则需要功能单元中的路径规划模块重新做全局路径规划。

找人模块：如图7所示，图7是找人过程的示意性流程图。无人机在成员数据库中查找目标人物信息。如果未找到，发送通知信息给扬声器，提醒用户目标人物不存在，需要完成目标人物注册后才能发起找人行动。如果找到，由定位模块获取当前位置A和无人机的状态信息(速度、姿态)，路径规划模块结合室内地图和起点位置A，确定出分段路径。在每段分段路径上，障碍物检测模块检测到障碍物时，由路径规划模块重新规划当前段路径，若没有障碍物则保持路径不变。同时，将检测到的行人信息输入成员验证模块，验证是否是目标人物。飞行控制器控制无人机悬停在目标人物前方，如未找到匹配的目标人物，则继续下一段分段路径的飞行。在找人行动完成时，将目标人物出现的地点和时间信息添加到成员信息数据库中，更新成员信息数据库中的该成员在该地点出现的频率。

发布通知模块：无人机首先通过找人中的流程搜索目标人物，找到目标人物则根据通知类型，将通知信息发送到响应单元中的各模块以通知目标人物。没有找到目标人物，则提示找不到目标人物。这里通知类型包括一般消息和警告。一般消息可以是告知发起任务的用户信息(位置、名称)，或者是直接向目标人物传递的语言，此时扬声器控制模块直接控制扬声器播放语言消息。警告可以是充电状态的描述，此时指示灯控制模块控制指示灯按警告信息闪烁。

跟随模块：如图8所示，图8是跟随过程的示意性流程图。无人机在成员数据库中查找目标人物信息。如果未找到，发送通知信息给扬声器，提醒用户目标人物不存在，需要完成目标人物注册后才能发起此类任务。如果找到目标人物信息，从障碍物检测模块的输出提取出目标人物的轨迹，由定位模块获取无人机当前位置A和状态信息(速度、姿态)，路径规划模块结合室内地图和起点位置A，以及目标轨迹规划路径,路径规划模块保证生成的轨迹与跟随目标保持一定距离。在每段路径上，障碍物检测模块检测到障碍物时，由路径规划模块重新规划当前段路径，若没有障碍物则保持路径不变。飞行控制模块控制无人机沿规划好的路径飞行。

行动模块管理模块：根据具体的行动信息，记录和维护行动模块，即行动模块管理模块可以根据具体的行动信息，配置行动模块，实现行动模块的更新等。

应理解，行动单元还可以包括其他的行动模块，本申请在此不作限制。

下面将具体说明功能单元包括的多个功能模块的具体作用。

功能单元可以包括障碍物检测和跟踪模块，定位模块，成员验证模块，人脸检测和跟踪模块，语音识别模块等。

定位模块：利用惯性导航单元等传感器获取无人机的姿态角及加速度，与摄像头采集的图像信息，一起利用视觉同步和定位地图(simultaneous localization andmapping，SLAM)技术获取无人机的位姿信息和当前环境的点云信息以及地图信息。如果已经有环境地图，则融合惯性导航单元等获取的位姿信息、视觉定位(视觉里程计、SLAM)和室内地图给出当前无人机的定位信息。这里定位信息是无人机在环境中的位置、姿态、速度。

障碍物检测模块：通过实时障碍物检测，以及室内地图信息实现飞行过程中自动避障。这里障碍物检测的方法至少包括基于视觉障碍物检测。该模块对摄像头输入的视频流，实时做2D和3D物体检测和跟踪，输出所有障碍物的轨迹、位置、以及与无人机的距离。障碍物包括家具、电器等静态障碍物，和在家里行走的宠物、人等动态障碍物。

路径规划模块：无人机根据室内地图库，传感器感知到的实时环境信息，规划从起始位置到目的地的路径。具体的，在无目的地输入时，路径规划模块输出从起始位置开始的全屋遍历路径。

成员验证模块：通过分析当前环境中拍摄到的人物信息与成员数据库比对，输出是否为目标成员的判断。具体实现包括基于卷积神经网络的行人检测、人体姿态/属性/人脸特征提取和特征比对等视觉分析技术。

人脸检测和跟踪模块。该功能模块可用于构建无人机跟踪拍摄的任务。具体实现可以采用基于神经网络的人脸检测和跟踪技术。

语音识别模块：当无人机与用户的交互形式为语音对话的形式时，语音识别模块接收采集到的语音数据，并采用神经网络的方法将用户的语音翻译成机器语言。

功能模块管理模块：根据具体的行动信息，记录和维护功能模块，即功能模块管理模块可以根据具体的行动信息，配置功能模块，实现功能模块的更新等。

应理解，功能单元还可以包括其他的功能模块，本申请在此不作限制。

下面将具体说明响应单元包括的多个响应模块的具体作用。

响应单元用于接收行动执行过程中生成的无人机的状态数据，并生成无人机和无人机上的设备的控制命令。具体的，响应单元包括摄像机控制模块、扬声器控制模块、飞行控制模块、指示灯/警示控制模块等。

摄像机控制模块：用于根据接收到的行动单元的输入数据，生成语义控制指令，控制摄像机行为，行动单元输入数据可以包括拍摄的开始时刻和结束时刻。

飞行控制模块：用于根据发出状态数据的行动，以及收到的状态数据，生成相应的语义控制指令，控制无人机的行为。状态数据是指无人机的位置、姿态、速度。语义控制指令控制无人机飞行的速度、姿态和朝向等。

扬声器控制模块：用于接收与用户交互的命令和需要向用户发布的通知信息，控制扬声器发布接收的信息。这里的通知信息可能是帮用户传递的一句话，或者是在执行任务的过程中出现异常的报告信息。语义文本经过从文本到语音(text to speech，TTS)转换成语言信息，通过扬声器发布。

指示灯/警示灯控制模块：用于控制指示灯不同的灯闪烁方式，以实现向用户传递任务执行时状态信息。

响应模块管理模块：根据具体的行动信息，记录和维护响应模块，即响应模块管理模块可以根据具体的行动信息，配置响应模块，实现响应模块的更新等。

应理解，响应单元还可以包括其他的响应模块，本申请在此不作限制。

本申请还提供了一种无人机控制的方法，该方法可以应用在上述的无人机运动控制的系统中。如图9该，该方法200包括：

S210,任务单元获取用户的任务，并将该任务拆分为至少一个目标行动。

S220,第一行动模块根据该目标行动的信息，确定执行该目标行动的第一功能模块和第一响应模块，并将该目标行动的信息发送给该第一功能模块和该第一响应模块，该第一行动模块和该目标行动对应，其中，行动单元包括至少一个行动模块，该至少一个行动模块中每一个行动模块对应一个行动，该至少一个行动模块包括该第一行动模块。

S230,传感器单元根据该目标行动的信息，获取与该目标行动对应的传感器数据；传感器单元还将该传感器数据发送给第一功能模块。

S240,该第一功能模块获取行动数据，该行动数据包括该目标行动的信息、室内地图、室内成员信息和该传感器数据中的至少一个，协同计算模块根据AI芯片的数据处理能力，确定该第一功能模块处理该行动数据所使用的数据处理方法；该第一功能模块根据该行动数据和该确定的数据处理方法进行计算，以得到执行该目标行动所需的该无人机的状态信息和该无人机所处环境的环境信息；其中，功能单元包括至少一个功能模块和该协同计算模块，该至少一个功能模块包括该第一功能模块；

S250,该第一响应模块根据该状态信息、该环境信息和该目标行动的信息，生成该无人机或该无人机上的设备的控制信息以及与用户的交互信息，响应单元包括至少一个响应模块，该至少一个响应模块包括该第一响应模块。

具体而言，在S210中，该任务单元获取用户的任务，并将该任务拆分为至少一个目标行动。可选的。任务单元可以包括任务接收模块以及任务解析和规划模块。任务接收单元可以接收用户发送的任务指令，用户的任务指令可以通过语音、手势、文字等形式。任务解析和规划单元可以根据该任务指令，将该任务分解为至少一个目标行动。将任务分解为至少一个目标行动可以理解为根据任务的内容，将任务分解为目标行动，通过该目标行动的组和完成该任务的执行。该目标行动可以包括：目的地飞行、跟随、拍照、找人等。

在S220中，第一行动模块用于根据该目标行动的信息，确定执行该目标行动的第一功能模块和第一响应模块，并将该目标行动的信息发送给该第一功能模块和第一响应模块。该第一行动模块还可以将该目标行动的信息发送给传感器单元。该目标行动的信息可以包括目标行动本身的信息(例如，目标行动的名称，行动的时间、地点、人物、执行顺序等)，还可以包在目标行动执行过程中产生的信息。举个例子，假设该目标行动为去房间A，对应该第一行动模块为目的地飞行模块，目标行动的信息可以包括：目标行动的起点(所在位置)、目标行动的终点(房间A)。目的地飞行模块可以将根据该目标行动的信息，确定执行该至少一个行动的第一功能模块和第一响应模块，并将该目标行动的信息发送给该第一功能模块和第一响应模块。第一功能模块还可以将行动执行结果的信息反馈给任务单元。行动单元包括至少一个行动模块，该至少一个行动模块中每一个行动模块对应一个行动。例如，至少一个行动模块可以包括：目的地飞行、找人、跟随、拍照、室内地图构建模块、室内成员注册等模块。每个行动模块对应一个行动。该至少一个行动模块包括与该目标行动对应的该第一行动模块。行动单元用于记录并维护完成任务所需的各个行动以及行动属性，行动属性包括，每个行动所需的输入信息，行动的执行顺序、完成行动需要的功能模块、响应模块以及执行流程图等。行动单元根据执行流程图控制和调用功能单元和响应单元中的基础模块完成行动的执行。

在S230中，传感器单元根据该目标行动的信息，获取与该目标行动对应的传感器数据(接收传感器的信号)，传感器数据可以包括：采集到的时频流数据、音频数据、惯性测量单元采集的数据、加速度计、陀螺仪、毫米波雷达采集的数据等。传感器单元可以将传感器数据发送给第一功能模块和第一响应模块。传感器单元还可以将传感器数据发送给第一功能模块。

在S240中，该第一功能模块获取行动数据，该行动数据包括该目标行动的信息、室内地图、室内成员信息和该传感器数据中的至少一个，协同计算模块根据AI芯片的数据处理能力，确定该第一功能模块处理该行动数据所使用的数据处理方法；该第一功能模块根据该行动数据和该确定的数据处理方法进行计算，以得到执行该目标行动所需的该无人机的状态信息和该无人机所处环境的环境信息。即该协同计算模块根据具体的行动信息，将该第一功能模块的执行任务分配到AI芯片上进行计算，由于AI芯片的具有很强的计算能力，能快速的利用神经网络计算出执行该目标行动所需的该无人机的状态信息(数据)和该无人机所处环境的环境信息(数据)。室内地图和室内成员信息可以是在该无人机在初始化过程中构建的。该状态信息可以包括该无人机的位置、姿态、速度、加速度等。该环境信息可以包括第一功能模对该传感器数据进行处理后得到的无人机所处环境中的障碍物信息、无人机所处环境中的检测到的人物信息、以及规划好的路径信息等。其中，功能单元包括协同计算模块和至少一个功能模块，该至少一个功能模块包括该第一功能模块。该至少一个功能模块可以包括：语音识别、成员验证、定位、路径规划、障碍物检测、人物特征识别、人脸检测和跟踪模块等。例如，当该行动为目的地飞行时，该第一功能模块可以包括定位模块、路径规划模块、障碍物检测模块等。功能单元根据每个行动的要求(行动的信息)，分析和处理传感器单元发送的传感器数据。生成该状态信息和环境信息。该第一功能模块还可以将该状态信息和该环境信息以及该目标行动的信息发送给该第一响应模块。

在S250中，该第一响应模块接收行动执行过程中生成的该状态信息、该环境信息以及该目标行动的信息，生成无人机或无人机上的设备的控制信息以及与用户的交互信息。即第一响应模块生成室内无人机或者该室内无人机上的设备(例如，室内无人机上的摄像头、指示灯等)可以执行的控制命令，控制该无人机的飞行以及该无人机与用户之间的交互。响应单元包括至少一个响应模块。该至少一个响应模块包括第一响应模块。例如，该至少一个响应模块可以包括：飞行控制、摄像头控制、扬声器控制、指示灯控制、消息外发等模块。例如，当该行动为目的地飞行时，该第一响应模块可以为飞行控制模块，摄像头控制等。

本申请实施例提供的无人机控制的方法，通过任务单元将用户的任务分解为目标行动，行动单元根据每个目标行动的信息，并结合传感器单元的传感器数据，控制和调度功能单元和响应单元执行该目标行动，功能单元中的协同计算模块根据AI芯片的数据处理能力，确定该第一功能模块处理该行动数据所使用的数据处理方法，即协同计算模块将多个功能单元的执行任务分配到AI芯片上执行，利用了AI芯片强大的计算能力，从而完成该任务的执行，可以使得该无人机支持多种类型的任务的实现，可以完成多种功能，满足不同用户的多样性要求，提高用户体验。

协同计算模块作为功能单元和AI芯片之间的接口，可以将功能单元包括的各个功能模块需要执行的计算分配到AI芯片上执行。即协同计算模块可以根据该AI芯片的数据处理能力，确定第一功能模块处理(计算)该行动数据所使用的数据处理方法。

具体的，协同计算模块可以根据AI芯片的计算能力，确定第一功能模块处理(计算)该行动数据所使用的数据处理方法。例如，可以调整第一功能模块的执行顺序和执行参数。具体的，协同计算模块可以根据各功能模块的所需的计算资源占AI芯片总的计算资源的比例，调整功能模块的执行参数。功能模块的执行参数包括功能模块的执行的速率，例如，第一功能模块包括障碍物检测和跟踪模块，协同计算模块可以根据AI芯片的计算能力，将障碍物检测和跟踪模块的执行速率由原来的每帧执行调整为隔帧执行。调整第一功能模块的执行顺序可以理解为在第一功能模块包括多个功能模块的情况下，可以根据不同的功能模块的优先级信息，调整功能模块的执行顺序，或者暂停某些功能模块的执行等。本申请实施例在此不作限制。通过合理的资源的分配以及实时的调整功能模块的计算状态，可以提高该执行任务的效率和准确性。

应理解，协同计算模块确定第一功能模块处理该行动数据所使用的数据处理方法还可以包括将实现功能模块的各个算子按照神经网络算子和非神经网络算子分别分配到AI芯片上的AI核心(AI core)或者AI处理器上进行计算。并且协同计算模块还可以控制算子级执行的并行度、先后顺序等，本申请实施例在此不作限制。

可选的，作为一个实施例，该至少一个功能模块还包括第二功能模块，该方法200还包括，该协同计算模块接收该第一功能模块获取的该行动数据，并且将该状态信息和该环境信息发送给该第二功能模块。

可选的，作为一个实施例，该方法200还包括：该第一行动模块根据该目标行动的执行结果，更新该室内地图和该室内成员信息中的至少一个。

可选的，作为一个实施例，该方法200还包括：行动模块管理模块根据该目标行动的信息，在该行动单元中添加该第一行动模块，该行动单元包括该行动模块管理模块。

可选的，作为一个实施例，该方法200还包括：功能模块管理模块根据该目标行动的信息，在该功能单元中添加该第一功能模块，该功能单元包括该功能模块管理模块。

可选的，作为一个实施例，该方法200还包括：响应模块管理模块根据该目标行动的信息，在该响应单元中添加该第一响应模块。该响应单元包括响应该模块管理模块。

可选的，作为一个实施例，该环境信息包括：室内障碍物信息和路径信息。

可选的，作为一个实施例，该状态信息包括该无人机的位置、姿态、速度、加速度中的至少一个。

可选的，作为一个实施例，该至少一个响应模块用于控制该无人机的飞行。

可选的，作为一个实施例，该至少一个行动模块用于确定该无人机飞行的目的地，或者用于向该用户发布通知，或者用于构建该室内地图，或者用于生成该室内成员信息。

可选的，作为一个实施例，该室内成员信息包括每一个成员活动概率最大的位置信息和与该活动概率最大的位置对应的行动信息中的至少一个。

应理解，无人机控制的方法200中的各个实施例与上述的无人机控制系统中的对应的实施例类似，具体的描述可以参考上述无人机控制系统中对应的实施例的描述。为了简洁，这里不再赘述。

还应理解，在本申请的各个实施例中，第一、第二等只是为了表示多个对象是不同的。例如，第一行动模块和第二行动模块只是为了表示出不同的行动模块。而不应该对行动模块的本身产生任何影响，上述的第一、第二等不应该对本申请的实施例造成任何限制。

还应理解，上述只是为了帮助本领域技术人员更好地理解本申请实施例，而非要限制本申请实施例的范围。本领域技术人员根据所给出的上述示例，显然可以进行各种等价的修改或变化，例如，上述系统100中某些功能单元或者功能模块和方法200中某些步骤可以是不必须的，或者可以新加入某些功能模块或者步骤等。或者上述任意两种或者任意多种实施例的组合。这样的修改、变化或者组合后的方案也落入本申请实施例的范围内。

还应理解，上文对本申请实施例的描述着重于强调各个实施例之间的不同之处，未提到的相同或相似之处可以互相参考，为了简洁，这里不再赘述。

还应理解，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本申请实施例还提供了一种计算机可读介质，用于存储计算机程序代码，该计算机程序包括用于执行上述方法200中本申请实施例的无人机控制的方法的指令。该可读介质可以是只读存储器(read-only memory,ROM)或随机存取存储器(random accessmemory,RAM)，本申请实施例对此不做限制。

本申请还提供了一种计算机程序产品，所述计算机程序产品包括指令，当所述指令被执行时，以使得室内无人机执行对应于上述方法的操作。

本申请实施例还提供了一种系统芯片，该系统芯片包括：处理单元和通信单元，该处理单元，例如可以是处理器，该通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行计算机指令，以使该通信装置内的芯片执行上述本申请实施例提供的任一种无人机控制的方法。

可选地，该计算机指令被存储在存储单元中。

可选地，该存储单元为该芯片内的存储单元，如寄存器、缓存等，该存储单元还可以是该终端内的位于该芯片外部的存储单元，如ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM等。其中，上述任一处提到的处理器，可以是一个CPU，微处理器，ASIC，或一个或多个用于控制上述的载波测量的方法的程序执行的集成电路。该处理单元和该存储单元可以解耦，分别设置在不同的物理设备上，通过有线或者无线的方式连接来实现该处理单元和该存储单元的各自的功能，以支持该系统芯片实现上述实施例中的各种功能。或者，该处理单元和该存储器也可以耦合在同一个设备上。

应理解，上文对本申请实施例的描述着重于强调各个实施例之间的不同之处，未提到的相同或相似之处可以互相参考，为了简洁，这里不再赘述。

应理解，本文中术语“和/或”以及“A或B中的至少一种”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

另外，本申请的各个方面或特征可以实现成方法、装置或使用标准编程和/或工程技术的制品。本申请中使用的术语“制品”涵盖可从任何计算机可读器件、载体或介质访问的计算机程序。例如，计算机可读介质可以包括，但不限于:磁存储器件(例如，硬盘、软盘或磁带等)，光盘(例如，压缩盘(compact disc，CD)、数字通用盘(digital versatile disc，DVD)等)，智能卡和闪存器件(例如，可擦写可编程只读存储器(erasable programmableread-only memory，EPROM)、卡、棒或钥匙驱动器等)。另外，本文描述的各种存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可包括但不限于，无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (24)

1.一种无人机控制系统，其特征在于，包括：

任务单元，所述任务单元用于获取用户的任务，并将所述任务拆分为至少一个目标行动；

行动单元，包括至少一个行动模块，每个所述行动模块对应一个行动，所述至少一个行动模块包括与所述目标行动对应的第一行动模块，所述第一行动模块用于根据所述目标行动的信息，确定执行所述目标行动的第一功能模块和第一响应模块，并将所述目标行动的信息发送给所述第一功能模块和所述第一响应模块；

传感器单元，所述传感器单元用于根据所述目标行动的信息，获取与所述目标行动对应的传感器数据；

功能单元，包括协同计算模块和至少一个功能模块，所述至少一个功能模块包括所述第一功能模块，所述第一功能模块用于获取行动数据，所述行动数据包括所述目标行动的信息、室内地图、室内成员信息和所述传感器数据中的至少一个，所述协同计算模块用于根据AI芯片的数据处理能力，确定所述第一功能模块处理所述行动数据所使用的数据处理方法，所述AI芯片用于执行所述系统的数据处理；所述第一功能模块还用于根据所述行动数据和所述确定的数据处理方法进行计算，以得到执行所述目标行动所需的所述无人机的状态信息和所述无人机所处环境的环境信息；

响应单元，包括至少一个响应模块，所述至少一个响应模块包括所述第一响应模块，

所述第一响应模块用于根据所述状态信息、所述环境信息和所述目标行动的信息，生成所述无人机或所述无人机上的设备的控制信息以及与所述用户的交互信息。

2.根据权利要求1所述的系统，其特征在于，所述至少一个功能模块还包括第二功能模块，所述协同计算模块还用于：

接收所述第一功能模块获取的所述行动数据，并且将所述状态信息和所述环境信息发送给所述第二功能模块。

3.根据权利要求1或2所述的系统，其特征在于，所述第一行动模块还用于：

根据所述目标行动的执行结果，更新所述室内地图和所述室内成员信息中的至少一个。

4.根据权利要求1或2所述的系统，其特征在于，所述行动单元包括行动模块管理模块，所述行动模块管理模块用于根据所述目标行动的信息，在所述行动单元中添加所述第一行动模块。

5.根据权利要求1或2所述的系统，其特征在于，所述功能单元包括功能模块管理模块，所述功能模块管理模块用于根据所述目标行动的信息，在所述功能单元中添加所述第一功能模块。

6.根据权利要求1或2所述的系统，其特征在于，所述响应单元包括响应模块管理模块，所述响应模块管理模块用于根据所述目标行动的信息，在所述响应单元中添加所述第一响应模块。

7.根据权利要求1或2所述的系统，其特征在于，所述环境信息包括：室内障碍物信息和路径信息。

8.根据权利要求1或2所述的系统，其特征在于，所述状态信息包括：所述无人机的位置、姿态、速度、加速度中的至少一个。

9.根据权利要求1或2所述的系统，其特征在于，所述至少一个响应模块用于控制所述无人机的飞行。

10.根据权利要求1或2所述的系统，其特征在于，所述至少一个行动模块用于确定所述无人机飞行的目的地，或者用于向所述用户发布通知，或者用于构建所述室内地图，或者用于生成所述室内成员信息。

11.根据权利要求1或2所述的系统，其特征在于，所述室内成员信息包括每一个成员活动概率最大的位置信息和与所述活动概率最大的位置对应的行动信息中的至少一个。

12.一种无人机控制的方法，其特征在于，包括：

任务单元获取用户的任务，并将所述任务拆分为至少一个目标行动；

第一行动模块根据所述目标行动的信息，确定执行所述目标行动的第一功能模块和第一响应模块，并将所述目标行动的信息发送给所述第一功能模块和第一响应模块，所述第一行动模块和所述目标行动对应，其中，行动单元包括至少一个行动模块，每个所述行动模块对应一个行动，所述至少一个行动模块包括所述第一行动模块；

传感器单元根据所述目标行动的信息，获取与所述目标行动对应的传感器数据；

所述第一功能模块获取行动数据，所述行动数据包括：所述行动数据包括所述目标行动的信息、室内地图、室内成员信息和所述传感器数据中的至少一个，协同计算模块根据AI芯片的数据处理能力，确定所述第一功能模块处理所述行动数据所使用的数据处理方法，所述AI芯片用于执行所述方法的数据处理；所述第一功能模块根据所述行动数据和所述确定的数据处理方法进行计算，以得到执行所述目标行动所需的所述无人机的状态信息和所述无人机所处环境的环境信息；其中，功能单元包括至少一个功能模块和所述协同计算模块，所述至少一个功能模块包括所述第一功能模块；

所述第一响应模块根据所述状态信息、所述环境信息和所述目标行动的信息，生成所述无人机或所述无人机上的设备的控制信息以及与所述用户的交互信息，响应单元包括至少一个响应模块，所述至少一个响应模块包括所述第一响应模块。

13.根据权利要求12所述的方法，其特征在于，所述至少一个功能模块还包括第二功能模块，所述方法还包括：

所述协同计算模块接收所述第一功能模块获取的所述行动数据，并且将所述状态信息和所述环境信息发送给所述第二功能模块。

14.根据权利要求12或13所述的方法，其特征在于，所述方法还包括：

所述第一行动模块根据所述目标行动的执行结果，更新所述室内地图和所述室内成员信息中的至少一个。

15.根据权利要求12或13所述的方法，其特征在于，所述方法还包括：

行动模块管理模块根据所述目标行动的信息，在所述行动单元中添加所述第一行动模块，所述行动单元包括所述行动模块管理模块。

16.根据权利要求12或13所述的方法，其特征在于，所述方法还包括：

功能模块管理模块根据所述目标行动的信息，在所述功能单元中添加所述第一功能模块，所述功能单元包括所述功能模块管理模块。

17.根据权利要求12或13所述的方法，其特征在于，所述方法还包括：

响应模块管理模块根据所述目标行动的信息，在所述响应单元中添加所述第一响应模块，所述响应单元包括所述响应模块管理模块。

18.根据权利要求12或13所述的方法，其特征在于，所述环境信息包括：室内障碍物信息和路径信息。

19.根据权利要求12或13所述的方法，其特征在于，所述状态信息包括所述无人机的位置、姿态、速度、加速度中的至少一个。

20.根据权利要求12或13所述的方法，其特征在于，所述至少一个响应模块用于控制所述无人机的飞行。

21.根据权利要求12或13所述的方法，其特征在于，所述至少一个行动模块用于确定所述无人机飞行的目的地，或者用于向所述用户发布通知，或者用于构建所述室内地图，或者用于生成所述室内成员信息。

22.根据权利要求12或13所述的方法，其特征在于，所述室内成员信息包括每一个成员活动概率最大的位置信息和与所述活动概率最大的位置对应的行动信息中的至少一个。

23.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序用于执行根据权利要求12至22中任一项所述的无人机控制的方法的指令。

24.一种系统芯片，包括处理单元和通信单元，该处理单元可执行计算机指令，以使该系统芯片执行根据权利要求12至22中任一项所述的无人机控制的方法。

Images