CN107438808A - 一种杆量控制的方法、装置及相关设备 - Google Patents
一种杆量控制的方法、装置及相关设备 Download PDFInfo
- Publication number
- CN107438808A CN107438808A CN201680014294.0A CN201680014294A CN107438808A CN 107438808 A CN107438808 A CN 107438808A CN 201680014294 A CN201680014294 A CN 201680014294A CN 107438808 A CN107438808 A CN 107438808A
- Authority
- CN
- China
- Prior art keywords
- rod volume
- control
- caused
- external equipment
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000033001 locomotion Effects 0.000 claims abstract description 198
- 238000012545 processing Methods 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000005183 dynamical system Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 2
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 claims 1
- 230000004927 fusion Effects 0.000 abstract description 10
- 230000000875 corresponding effect Effects 0.000 description 40
- 238000000465 moulding Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 6
- 210000003813 thumb Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 3
- 238000004549 pulsed laser deposition Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Toys (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种杆量控制的方法、装置及相关设备，其中方法包括：获取由外部设备运动产生的杆量和由通过所述外部设备输入而产生的杆量；对所述运动产生的杆量和所述输入而产生的杆量进行融合，得到对飞行器的控制杆量。本发明可以实现多个控制杆量的自动融合，以及在多种控制模式、控制设备之间自动切换。
Description
技术领域
本发明涉及飞行控制技术领域，尤其涉及一种杆量控制的方法、装置及相关设备。
背景技术
目前，无人机(Unmanned Aerial Vehicle，UAV)的控制模式越来越丰富多样，包括：遥控器控制，手环、手表、视频眼镜等穿戴式设备控制，智能手机、平板电脑等移动终端控制，以及地面控制站控制等。用户可以选择自己喜欢的一种或多种控制模式对无人机进行控制，当然，当无人机控制系统中，存在多种控制设备对同一无人机进行控制时，用户也可以根据实际需求在多种控制模式之间进行切换现有的控制策略下，用户需通过手动操作才能实现控制模式或者控制设备之间的切换，用户体验不好。
发明内容
本发明实施例公开了一种杆量控制的方法、装置及相关设备，可以实现多个控制杆量的自动融合，以及在多种控制模式、控制设备之间自动切换。
本发明实施例第一方面公开了一种杆量控制的方法，包括：
获取由外部设备运动产生的杆量和由通过所述外部设备输入而产生的杆量。
对所述运动产生的杆量和所述输入而产生的杆量进行融合，得到对飞行器的控制杆量。
本发明实施例第二方面公开了一种杆量控制的装置，包括：
获取模块，用于获取由外部设备运动产生的杆量和由通过所述外部设备输入而产生的杆量。
处理模块，用于对所述获取模块获取的所述运动产生的杆量和所述输入而产生的杆量进行融合，得到对飞行器的控制杆量。
本发明实施例第三方面公开了一种控制设备，包括：
通信装置，用于获取由外部设备运动产生的运动数据和由通过所述外部设备输入而产生的杆量。
处理器，用于根据所述通信装置获取的所述运动数据得到由所述外部设备运动产生的杆量，对所述运动产生的杆量和所述输入而产生的杆量进行融合，得到对飞行器的控制杆量。
本发明实施例第四方面公开了一种飞行器，包括：
动力系统，用于为飞行器提供飞行动力。
所述第三方面公开的控制设备，用于利用所述控制设备得到的对所述飞行器的控制杆量，对所述飞行器进行控制。
本发明实施例第五方面公开了一种控制设备，包括：
通信装置，用于获取由外部设备运动产生的杆量和由通过所述外部设备输入而产生的杆量。
处理器，用于对所述运动产生的杆量和所述输入而产生的杆量进行融合，得到对飞行器的控制杆量。
本发明实施例第六方面公开了一种飞行器，包括：
动力系统，用于为飞行器提供飞行动力。
所述第五方面公开的控制设备，用于利用所述控制设备得到的对所述飞行器的控制杆量，对所述飞行器进行控制。
本发明实施例第七方面公开了一种外部设备，包括处理器、运动传感器和通信装置，所述处理器分别与所述运动传感器和所述通信装置连接，其中：
所述运动传感器，用于对所述外部设备的运动进行检测，输出运动数据；
所述处理器，用于根据所述运动数据计算由所述外部设备运动产生的杆量，控制通信装置来向飞行器发送所述杆量，并利用所述杆量对飞行器进行控制；
所述通信装置，用于将所述运动产生的杆量发送给飞行器。
本发明实施例通过获取由外部设备运动产生的杆量和由通过外部设备输入而产生的杆量，并对运动产生的杆量和输入而产生的杆量进行融合，得到对飞行器的控制杆量，按照控制杆量对飞行器进行控制，从而可以实现多个控制杆量的自动融合，以及在多种控制模式、控制设备之间自动切换。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种无人机控制系统的结构示意图；
图2是本发明实施例公开的一种杆量控制的方法的流程示意图；
图3是本发明实施例公开的一种手势控制飞行器的示意图；
图4是本发明实施例公开的另一种手势控制飞行器的示意图；
图5是本发明实施例公开的又一种手势控制飞行器的示意图；
图6是本发明实施例公开的一种杆量控制的装置的结构示意图；
图7是本发明实施例公开的一种控制设备的结构示意图；
图8是本发明实施例公开的另一种控制设备的结构示意图；
图9是本发明实施例公开的一种外部设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下对本发明的描述使用无人机作为飞行器的示例。对于本领域技术人员将会显而易见的是，可以不受限制地使用其他类型的飞行器。
如图1所示，图1是根据本发明一种实施例的无人机控制系统的示意图。本实施例的无人机系统包括无人机1、穿戴式设备2、遥控器3，其中无人机1包括飞行主体、云台以及成像设备。在本实施例中，飞行主体包括多个旋翼以及驱动旋翼转动的旋翼电机，由此提供无人机1飞行所需动力。成像设备通过云台搭载于飞行主体上。成像设备用于在无人机的飞行过程中进行图像或视频拍摄，包括但不限于多光谱成像仪、高光谱成像仪、可见光相机及红外相机等。云台为多轴传动及增稳系统，包括多个转动轴和云台电机。云台电机通过调整转动轴的转动角度来对成像设备的拍摄角度进行补偿，并通过设置适当的缓冲机构来防止或减小成像设备的抖动。当然，在其他实施例中，成像设备可以直接或通过其他方式搭载于飞行主体上。在图1所示的无人机控制系统中，存在穿戴式设备和遥控器两种外部设备对飞行器进行控制，穿戴式设备2内置运动传感器，当穿戴式设备随着操作者的手运动时，运动传感器会感知手的运动并输出相应的运动数据，并根据所述运动数据计算出由穿戴式设备运动产生的杆量，并根据所述杆量对无人机进行相应的控制。另外，遥控器上设置有摇杆、按键(虚拟按键或实体按键)和拨轮，通过遥控器的摇杆、按键(虚拟按键或实体按键)和拨轮的输入可以得到杆量，所述杆量可以对无人机进行控制。
请参阅图2，为本发明实施例公开的一种杆量控制的方法的流程示意图。本实施例中所描述的杆量控制的方法，包括：
201、获取由外部设备运动产生的杆量和通过所述外部设备输入而产生的杆量。
其中，外部设备具体可以包括：手表、手环等穿戴式设备或手持式设备，也可以智能手机、平板电脑、遥控器、以及地面控制站及其组合等。
某些外部设备配置了运动传感器(如惯性测量单元IMU)，运动传感器可以感知外部设备的运动和动作，并根据所述运动或动作对飞行器进行控制，具体地，当外部设备运动或者随着用户做了相应的动作时，运动传感器会输出对应的运动数据，根据所述的运动数据可以得到杆量，所述杆量可以对飞行器进行控制，将所述杆量作为由外部设备运动产生的杆量。以手环为例，手环内部设置了运动传感器，用户佩戴手环，当用户使用佩戴手环的手做了预设的动作时，运动传感器会输出运动数据，可以根据手环的运动数据计算出由手环做了预设动作所产生的杆量，可以使用该杆量对飞行器进行控制。具体表现为用户可以用手势动作控制飞行器。
由外部设备运动产生的杆量具体可以包括：由手表、手环等穿戴式设备运动(比如用户佩戴手表、手环等穿戴式设备时做了某些手势动作)或持有式设备运动产生的杆量。
某些外部设备配置了按键、摇杆、拨轮等输入接口，外部设备的输入可以包括外部设备的按键输入、外部设备的摇杆输入、外部设备的拨轮输入中的一种或多种，其中按键具体可以包括实体的物理按键以及交互界面中的触摸按键等，用户可以对外部设备的按键、摇杆、拨轮等进行操作，外部设备会得到相应的杆量，所述杆量可以对飞行器进行控制，将所述杆量作为由外部设备输入产生的杆量。
通过外部设备输入而产生的杆量具体可以包括：通过手表、手环、智能手机、平板电脑、遥控器和地面控制站等中的一种或多种输入而产生的杆量，例如，通过手表、手环、智能手机、平板电脑、遥控器和地面控制站以其组合的按键、摇杆、拨轮输入产生的杆量，其中，按键具体可以包括实体的物理按键以及交互界面中的触摸按键等。
202、对所述运动产生的杆量和所述输入而产生的杆量进行融合，得到对飞行器的控制杆量。
具体地，在飞行控制系统中，飞行器可以接收由外部设备运动产生的杆量和通过外部设备输入产生的杆量，飞行器可以将所述运动产生的杆量和所述输入产生的杆量进行融合，得到对飞行器的控制杆量，利用所述融合后得到的控制杆量来对飞行器进行控制。
可选地，利用第一网络模型获取所述运动产生的杆量、所述输入产生的杆量中每一个杆量对应的权重系数，获取所述运动产生的杆量、所述输入而产生的杆量中每一个杆量与对应的权重系数之间的乘积，将所述乘积叠加获得叠加量，将所述叠加量作为对飞行器的控制杆量。
具体地，以由手环运动产生的杆量A、手环上通过手环上按键输入产生的杆量B和通过遥控器上按键输入产生的杆量C为例，当飞行控制系统中，存在这三种杆量对飞行器进行控制时，可以利用第一网络模型获取出由手环运动产生的杆量、手环上通过按键输入产生的杆量和遥控器上通过按键输入产生的杆量中每一个对应的权重系数，分别为Ka、Kb和Kc，对飞行器的控制杆量R＝Ka*A+Kb*B+Kc*C，利用所述控制杆量R对飞行器进行控制。
可选地，将与所述外部设备运动相关联的参数、由通过所述外部设备输入而产生的杆量输入第一网络模型，获取所述运动产生的杆量、所述输入产生的杆量中每一个杆量对应的权重系数。
具体地，如图3所述，外部设备以手环为例，用户佩戴手环，当用户想进入利用手环的运动控制飞行器的模式时(即手势控制模式)，可以根据需要作如下规定：第一步，用户用手指向飞行器；第二步，完成预设的动作G，比如转动佩戴有手环的手腕，当用户完成这两个步骤后，用户即可利用手环的运动来对飞行器进行控制，其中当手环与飞行器的连线和手环的运动传感器所规定的坐标系的某个轴线的轴向之间的夹角α小于一个预设值时，则认为用户已经用手指指向飞行器。将与手环运动相关联的预设的动作G和夹角α、由通过所述外部设备输入而产生的杆量输入第一网络模型，即可得到由手环运动产生的杆量和由通过所述外部设备输入而产生的杆量对应地权重系数，在得到权重系数后，即可利用上述方法计算得到对飞行器的控制杆量，在此不再赘述。
可选地，将预设的权重系数组合作为第一网络模型的目标输出，将与所述权重系数组合对应的所述外部设备运动相关联的参数和所述输入而产生的杆量作为出入，来对所述第一网络模型进行训练。
具体地，在使用第一网络来获取由外部设备运动产生的杆量和由外部设备输入而产生的杆量中每一个杆量对应的权重系数，要对第一网络进行充分的训练，则需要采集大量的与预设的权重系数组合对应的所述外部设备运动相关联的参数、由通过所述外部设备输入而产生的杆量来对第一网络进行训练。其中，当输入的维度很低时，输入的状态空间可以人为地抽样列举，目标输出则可以通过专家经验标注合理的权重系数组合。当训练完成后，当第一网络模型输入所述外部设备运动相关联的参数、由通过所述外部设备输入而产生的杆量时，将会输出与之对应的权重系数。
可选地，获取外部设备产生的杆量包括：获取由所述外部设备运动产生的运动数据，根据所述运动数据获取在球体坐标系上对所述飞行器控制的切向速度杆量和径向速度杆量，将所述切向速度杆量和所述径向速度杆量转换到直角坐标系，得到所述由所述外部设备运动产生的杆量，其中，以特定参考点为所述球体坐标系的原点。
可选地，特定的参考点以佩戴或持有外部设备的用户。
其中如图4所示，外部设备以手环为例，以佩戴手环的用户为原点，手环配置有运动传感器，当用户的手做了相应的动作时，手环会随着用户的手产生相应的运动，运动传感器会输出相应的运动数据，在以佩戴手环的用户为原点的球体坐标系上，可以根据运动数据得到切向速度杆量Vt和径向速度杆量Vr，最后可以根据人和手环的位置关系，将处于球体坐标系上的切向速度杆量Vt和径向速度杆量Vr转换成直角坐标下的杆量Vx、Vy、Vz，杆量Vx、Vy、Vz则为由手环运动产生的杆量。
可选地，根据所述运动数据获取在所述飞行器的第一控制模式下的控制量，根据所述第一控制模式的控制量得到所述切向速度杆量；
根据所述运动数据获取在所述飞行器的第二控制模式下的控制量，根据所述第二控制模式的控制量得到所述径向速度杆量。
具体地，所述第一控制模式为控制所述飞行器在以所述特定参考点为球心的球面上切向飞行，所述第二控制模式为控制所述飞行器在所述飞行器与所述特定参考点之间的连线上径向飞行，如图4所示，外部设备以手环为例，特定的参考点以手环为例，当用户的手做了相应的动作时，第一控制模式为控制飞行器在以手环为球心，以手环和飞行器的初始距离为半径的球面上切向飞行，第二控制模式为控制飞行器在以手环为球心，在飞行器与手环的运动传感器所规定的坐标系的某个轴线上径向地飞行，具体表现为飞行器朝着远离或靠近用户的方向飞行。当用户佩戴手环的手做了特定动作时，在第一控制模式中，可以根据手环的运动传感器输出的运动数据计算出第一控制模式的控制量，根据该控制量计算出处于球体坐标系上的切向速度杆量Vt，在第二控制模式中，可以根据手环的运动传感器输出的运动数据计算出第二控制模式的控制量，根据该控制量计算出处于球体坐标系上的径向速度杆量Vr，根据上述方法计算出由手环运动产生的杆量，在此不再赘述。
可选地，所述第一控制模式的控制量为所述飞行器与所述特定参考点的连线和外部设备的运动传感器所规定的坐标系的某个轴线的轴向之间的夹角；
所述第二控制模式的控制量为所述外部设备以所述某个轴线为轴转动的角度。
具体地，如图4所示，外部设备以手环为例，特定的参考点以手环为例，第一控制模式的控制量为所述飞行器与所述特定参考点之间的连线和外部设备的运动传感器所规定的坐标系的某个轴线的轴向之间的夹角，此时，第一控制模式的控制量即是手环和飞行器的连线与手环所规定的坐标系的某个轴线(X轴)的轴向(X轴的正向)之间的夹角α，可以不断地采集夹角α，将其输入PD控制器可以计算出径向速度杆量Vr，另外，可选地，可以对PD控制器的输出进行滤波和限幅以后得到径向速度杆量Vr；第二控制模式的控制量为所述外部设备以所述某个轴线(X轴)为轴转动的角度，此时，第二控制模式的控制量即是手环以所述某个轴线为轴时转动的角度ω，可以不断地采集夹角ω，将其输入PD控制器可以计算出径向速度杆量Vr，另外，可选地，可以对PD控制器的输出进行滤波和限幅以后得到径向速度杆量Vr。
可选地，所述第一控制模式的控制量为所述飞行器与所述特定参考点的连线和外部设备的运动传感器所规定的坐标系的某个轴线的轴向之间的夹角；
所述第二控制模式的控制量为所述外部设备在所述某个轴线上的运动距离。
具体地，如图5所示，外部设备以手环为例，特定的参考点以手环为例，第一控制模式的控制量为所述飞行器与所述特定参考点的连线和外部设备的运动传感器所规定的坐标系的某个轴线的轴向之间的夹角，此时，第一控制模式的控制量即是手环和飞行器的连线与手环的运动传感器所规定的坐标系的某个轴线(X轴)的轴向(X轴的正向)之间之间的夹角α，可以不断地采集夹角α，将其输入PD控制器可以计算出径向速度杆量Vr，另外，可选地，可以对PD控制器的输出进行滤波和限幅以后得到径向速度杆量Vr；第二控制模式的控制量为所述外部设备在所述某个轴线上的运动距离，此时，第二控制模式的控制量即是手环在所述某个轴线(X轴)上运动的距离d，可以不断地采集距离d，将其输入PD控制器可以计算出径向速度杆量Vr，另外，可选地，可以对PD控制器的输出进行滤波和限幅以后得到径向速度杆量Vr。
可选地，获取由所述外部设备运动产生的运动数据，利用第二网络模型获取所述运动数据对应的由所述外部设备运动产生的杆量。
具体地，外部设备以手环为例，当佩戴手环的用户运动时，获取与所述运动相对应的运动数据，将所述运动数据输入第二网络模型，第二网络模型即可输出相对应的由所述外部设备运动产生的杆量，另外，还可以利用所述运动数据获取一个或多个控制量，将所述一个或多个控制量输入第二网络模型，网络模型即可输出相对应的由所述外部设备运动产生的杆量。
可选地，根据所述运动数据获取在所述飞行器的第一控制模式的控制量，将所述第一控制模式的控制量输入第二网络模型，得到切向速度杆量；
根据所述运动数据获取在所述飞行器的第二控制模式的控制量，将所述第二控制模式的控制量输入所述第二网络模型，得到径向速度杆量。
具体地，如图4所示，外部设备以手环为例，以手环为球心，所述第一控制模式为控制所述飞行器在以所述特定参考点为球心的球面上切向飞行，所述第二控制模式为控制所述飞行器在所述飞行器与所述特定参考点之间的连线上径向飞行，第一控制模式的控制量为所述飞行器与所述特定参考点的连线和外部设备的运动传感器所规定的坐标系的某个轴线的轴向之间的夹角，此时，第一控制模式的控制量即是手环和飞行器的连线与手环的运动传感器所规定的坐标系的某个轴线(X轴)的轴向(X轴的正向)之间的夹角α，将夹角α输入第二网络模型，即可得到与所述夹角α对应的切向速度杆量Vt，第二控制模式的控制量即是手环以所述某个轴线(X轴)为轴时转动的角度ω，将角度ω输入第二网络模型，即可得到与所述角度ω对应的径向速度杆量Vr，然后利用上述方法得到由手环运动的杆量，在此不再赘述。其中，在使用第二网络模型之前，应该采集大量的与预设的切向速度杆量对应的第一控制模式的控制量(比如夹角α)，采集与预设的径向速度杆量对应的第一控制模式的控制量(比如角度ω)对第二网络模型进行训练，完成训练以后，即可利用第二网络模型输出与第一控制模式的控制量、第二控制模式的控制量对应的切向速度杆量Vt和径向速度杆量Vr。
本发明实施例通过获取由外部设备运动产生的杆量和由通过外部设备输入而产生的杆量，并对运动产生的杆量和输入而产生的杆量进行融合，得到对飞行器的控制杆量，按照控制杆量对飞行器进行控制，从而可以实现多个控制杆量的自动融合，以及在多种控制模式、控制设备之间自动切换。
本发明实施例还公开了一种计算机存储介质，该计算机存储介质中存储有程序指令，所述程序执行时可包括如图2对应实施例中任一项的杆量控制的方法的部分或全部步骤。
请参阅图6，为本发明实施例公开的一种杆量控制的装置的结构示意图。本实施例中所描述的杆量控制的装置，包括：
获取模块601，用于获取由外部设备运动产生的杆量和由通过所述外部设备输入而产生的杆量。
处理模块602，用于对所述获取模块获取的所述运动产生的杆量和所述输入而产生的杆量进行融合，得到对飞行器的控制杆量。
其中，所述输入而产生的杆量包括通过手表、手环、遥控器、智能手机、地面控制站中的一种或多种输入而产生的杆量。
可选的，所述处理模块602，具体用于利用第一网络模型获取所述运动产生的杆量和所述输入而产生的杆量中每一个杆量对应的权重系数。
所述处理模块602，具体用于获取所述运动产生的杆量和所述输入而产生的杆量中每一个杆量与对应的权重系数之间的乘积，将所述乘积叠加获得叠加量，将所述叠加量作为对飞行器的控制杆量。
可选的，所述处理模块602，具体用于将与所述外部设备运动相关联的参数和由通过所述外部设备输入而产生的杆量输入第一网络模型，获取所述运动产生的杆量和所述输入产生的杆量中每一个杆量对应的权重系数。
可选的，所述处理模块602，还用于将预设的权重系数组合作为所述第一网络模型的目标输出，将与所述权重系数组合对应的所述外部设备运动相关联的参数和所述输入而产生的杆量作为输入，来对所述第一网络模型进行训练。
可选的，所述处理模块602，还用于在训练所述第一网络模型时，当与所述外部设备运动相关联的参数和所述输入而产生的杆量同时存在时，将除优先级最高的杆量以外的杆量对应的权重系数全部置零。
可选的，所述获取模块601，具体用于获取由所述外部设备运动产生的运动数据，根据所述运动数据获取在球体坐标系上对所述飞行器控制的切向速度杆量和径向速度杆量，将所述切向速度杆量和所述径向速度杆量转换到直角坐标系，得到所述由所述外部设备运动产生的杆量。
可选的，以特定参考点为所述球体坐标系的原点。
可选的，所述特定参考点为佩戴或者持有所述外部设备的用户。
可选的，所述获取模块601，具体用于根据所述运动数据获取在所述飞行器的第一控制模式的控制量，根据所述第一控制模式的控制量得到所述切向速度杆量。
所述获取模块601，具体用于根据所述运动数据获取在所述飞行器的第二控制模式的控制量，根据所述第二控制模式的控制量得到所述径向速度杆量。
其中，所述第一控制模式为控制所述飞行器在以所述特定参考点为球心的球面上切向飞行，所述第二控制模式为控制所述飞行器在所述飞行器与所述特定参考点之间的连线上径向飞行。
可选的，所述第一控制模式的控制量为所述飞行器与所述特定参考点的连线和外部设备的运动传感器所规定的坐标系的某个轴线的轴向之间的夹角；
所述第二控制模式的控制量为所述外部设备以所述某个轴线为轴转动的角度。
可选的，所述第一控制模式的控制量为所述飞行器与所述特定参考点的连线和外部设备的运动传感器所规定的坐标系的某个轴线的轴向之间的夹角；
所述第二控制模式的控制量为所述外部设备在所述某个轴线上的运动距离。
可选的，所述获取模块601，具体用于获取由所述外部设备运动产生的运动数据，利用第二网络模型获取所述运动数据对应的由所述外部设备运动产生的杆量。
可选的，所述获取模块601，具体用于根据所述运动数据获取在所述飞行器的第一控制模式的控制量，将所述第一控制模式的控制量输入第二网络模型，得到在球体坐标系上对所述飞行器控制的切向速度杆量；
所述获取模块601，具体用于根据所述运动数据获取在所述飞行器的第二控制模式的控制量，将所述第二控制模式的控制量输入所述第二网络模型，得到在所述球体坐标系上对所述飞行器控制的径向速度杆量；
所述获取模块601，具体用于根据所述切向速度杆量和所述径向速度杆量得到所述运动产生的杆量；
其中，以特定的参考点为所述球体坐标系的原点。
可选的，所述第一网络模型和所述第二网络模型为人工神经网络。
需要说明的是，本发明实施例的杆量控制的装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
本发明实施例通过获取由外部设备运动产生的杆量和由通过外部设备输入而产生的杆量，并对运动产生的杆量和输入而产生的杆量进行融合，得到对飞行器的控制杆量，按照控制杆量对飞行器进行控制，从而可以实现多个控制杆量的自动融合，以及在多种控制模式、控制设备之间自动切换。
请参阅图7，为本发明实施例公开的一种控制设备的结构示意图。本实施例中所描述的控制设备，包括：通信装置701、处理器702和存储器703。上述通信装置701、处理器702和存储器703通过总线连接。
上述处理器702可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
上述存储器703可以包括只读存储器和随机存取存储器，并向处理器702提供指令和数据。存储器703的一部分还可以包括非易失性随机存取存储器。其中：
通信装置701，用于获取由外部设备运动产生的运动数据和由通过所述外部设备输入而产生的杆量。
处理器702，用于根据所述通信装置701获取的所述运动数据得到由所述外部设备运动产生的杆量，对所述运动产生的杆量和所述输入而产生的杆量进行融合，得到对飞行器的控制杆量。
可选的，所述输入而产生的杆量包括通过手表、手环、遥控器、智能手机、地面控制站中的一种或多种输入而产生的杆量。
可选的，所述处理器702，具体用于利用第一网络模型获取所述运动产生的杆量和所述输入而产生的杆量中每一个杆量对应的权重系数。
所述处理器702，具体用于获取所述运动产生的杆量和所述输入而产生的杆量中每一个杆量与对应的权重系数之间的乘积，将所述乘积叠加获得叠加量，将所述叠加量作为对飞行器的控制杆量。
可选的，所述处理器702，具体用于将与所述外部设备运动相关联的参数和由通过所述外部设备输入而产生的杆量输入第一网络模型，获取所述运动产生的杆量和所述输入产生的杆量中每一个杆量对应的权重系数。
可选的，所述处理器702，还用于将预设的权重系数组合作为所述第一网络模型的目标输出，将与所述权重系数组合对应的所述外部设备运动相关联的参数和所述输入而产生的杆量作为输入，来对所述第一网络模型进行训练。
可选的，所述处理器702，还用于在训练所述第一网络模型时，当与所述外部设备运动相关联的参数和所述输入而产生的杆量同时存在时，将除优先级最高的杆量以外的杆量对应的权重系数全部置零。
可选的，所述处理器702，具体用于根据所述运动数据获取在球体坐标系上对所述飞行器控制的切向速度杆量和径向速度杆量，将所述切向速度杆量和所述径向速度杆量转换到直角坐标系，得到所述由所述外部设备运动产生的杆量。以特定参考点为所述球体坐标系的原点。
可选的，所述特定参考点为佩戴或者持有所述外部设备的用户。
可选的，所述处理器702，具体用于根据所述运动数据获取在所述飞行器的第一控制模式的控制量，根据所述第一控制模式的控制量得到所述切向速度杆量。
所述处理器702，具体用于根据所述运动数据获取在所述飞行器的第二控制模式的控制量，根据所述第二控制模式的控制量得到所述径向速度杆量。
其中，所述第一控制模式为控制所述飞行器在以所述特定参考点为球心的球面上切向飞行，所述第二控制模式为控制所述飞行器在所述飞行器与所述特定参考点之间的连线上径向飞行。
可选的，所述第一控制模式的控制量为所述飞行器与所述特定参考点的连线和外部设备的运动传感器所规定的坐标系的某个轴线的轴向之间的夹角；
所述第二控制模式的控制量为所述外部设备以所述某个轴线为轴转动的角度。
可选的，所述第一控制模式的控制量为所述飞行器与所述特定参考点的连线和外部设备的运动传感器所规定的坐标系的某个轴线的轴向之间的夹角；
所述第二控制模式的控制量为所述外部设备在所述某个轴线上的运动距离。
可选的，所述处理器702，具体用于利用第二网络模型获取所述运动数据对应的由所述外部设备运动产生的杆量。
可选的，所述处理器702，具体用于根据所述运动数据获取在所述飞行器的第一控制模式的控制量，将所述第一控制模式的控制量输入第二网络模型，得到在球体坐标系上对所述飞行器控制的切向速度杆量；
所述处理器702，具体用于根据所述运动数据获取在所述飞行器的第二控制模式的控制量，将所述第二控制模式的控制量输入所述第二网络模型，得到在所述球体坐标系上对所述飞行器控制的径向速度杆量。
所述处理器702，具体用于根据所述切向速度杆量和所述径向速度杆量得到所述运动产生的杆量。
其中，以特定的参考点为所述球体坐标系的原点。
可选的，所述第一网络模型和所述第二网络模型为人工神经网络。
本发明实施例还公开了一种飞行器，包括动力系统和图7提供的实施例中任一项的控制设备，动力系统，用于为飞行器提供飞行动力；控制设备，用于利用所述控制设备得到的对所述飞行器的控制杆量，对所述飞行器进行控制。
具体实现中，本发明实施例中所描述的通信装置701、处理器702和存储器703可执行本发明实施例图2提供的杆量控制的方法中所描述的实现方式，也可执行本发明实施例图6所描述的杆量控制的装置的实现方式，在此不再赘述。
本发明实施例通过获取由外部设备运动产生的杆量和由通过外部设备输入而产生的杆量，并对运动产生的杆量和输入而产生的杆量进行融合，得到对飞行器的控制杆量，按照控制杆量对飞行器进行控制，从而可以实现多个控制杆量的自动融合，以及在多种控制模式、控制设备之间自动切换。
请参阅图8，为本发明实施例公开的另一种控制设备的结构示意图。本实施例中所描述的控制设备，包括：通信装置801、处理器802和存储器803。上述通信装置801、处理器802和存储器803通过总线连接。
上述处理器802可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
上述存储器803可以包括只读存储器和随机存取存储器，并向处理器802提供指令和数据。存储器803的一部分还可以包括非易失性随机存取存储器。其中：
通信装置801，用于获取由外部设备运动产生的杆量和由通过所述外部设备输入而产生的杆量。
处理器802，用于对所述运动产生的杆量和所述输入而产生的杆量进行融合，得到对飞行器的控制杆量。
可选的，所述输入而产生的杆量包括通过手表、手环、遥控器、智能手机、地面控制站中的一种或多种输入而产生的杆量。
可选的，所述处理器802，具体用于利用第一网络模型获取所述运动产生的杆量和所述输入而产生的杆量中每一个杆量对应的权重系数。
所述处理器802，具体用于获取所述运动产生的杆量和所述输入而产生的杆量中每一个杆量与对应的权重系数之间的乘积，将所述乘积叠加获得叠加量，将所述叠加量作为对飞行器的控制杆量。
本发明实施例还公开了一种飞行器，包括动力系统和图8提供的实施例中任一项的控制设备，动力系统，用于为飞行器提供飞行动力；控制设备，用于利用所述控制设备得到的对所述飞行器的控制杆量，对所述飞行器进行控制。
具体实现中，本发明实施例中所描述的通信装置801、处理器802和存储器803可执行本发明实施例图2提供的杆量控制的方法中所描述的实现方式，也可执行本发明实施例图6所描述的杆量控制的装置的实现方式，在此不再赘述。
本发明实施例通过获取由外部设备运动产生的杆量和由通过外部设备输入而产生的杆量，并对运动产生的杆量和输入而产生的杆量进行融合，得到对飞行器的控制杆量，按照控制杆量对飞行器进行控制，从而可以实现多个控制杆量的自动融合，以及在多种控制模式、控制设备之间自动切换。
请参阅图9，为本发明实施例公开的一种外部设备的结构示意图。本实施例中所描述的控制设备，包括：通信装置901、处理器902、运动传感器903和存储器904。上述通信装置901、处理器902、运动传感器903和存储器904通过总线连接。
上述处理器902可以是CPU，该处理器还可以是其他通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
上述存储器904可以包括只读存储器和随机存取存储器，并向处理器902提供指令和数据。存储器904的一部分还可以包括非易失性随机存取存储器。
上述运动传感器903可以是IMU、三轴加速度传感器、三轴陀螺仪以及重力传感器等。
运动传感器903，用于对所述外部设备的运动进行检测，输出运动数据；
处理器902，用于根据所述运动数据计算由所述外部设备运动产生的杆量，控制通信装置来向飞行器发送所述杆量，并利用所述杆量对飞行器进行控制；
通信装置901，用于将所述运动产生的杆量发送给飞行器。
可选的，所述处理器902，具体用于根据所述运动数据获取在球体坐标系上对所述飞行器控制的切向速度杆量和径向速度杆量，将所述切向速度杆量和所述径向速度杆量转换到直角坐标系，得到所述由所述外部设备运动产生的杆量；
其中，以特定参考点为所述球体坐标系的原点。
可选地，可以将佩戴或者持有所述外部设备的用户为所述特定参考点。
可选的，所述处理器902，具体用于根据所述运动数据获取在所述飞行器的第一控制模式的控制量，根据所述第一控制模式的控制量得到切向速度杆量。
所述处理器902，具体用于根据所述运动数据获取在所述飞行器的第二控制模式的控制量，根据所述第二控制模式的控制量得到径向速度杆量。
其中，所述第一控制模式为控制所述飞行器在以所述特定参考点为球心的球面上切向飞行，所述第二控制模式为控制所述飞行器在所述飞行器与所述特定参考点之间的连线上径向飞行。
可选的，所述第一控制模式的控制量为所述飞行器与所述特定参考点的连线和外部设备的运动传感器所规定的坐标系的某个轴线的轴向之间的夹角；
所述第二控制模式的控制量为所述外部设备以所述某个轴线为轴转动的角度。
可选的，所述第一控制模式的控制量为所述飞行器与所述特定参考点的连线和外部设备的运动传感器所规定的坐标系的某个轴线的轴向之间的夹角；
所述第二控制模式的控制量为所述外部设备在所述某个轴线上的运动距离。
可选的，所述处理器902，具体用于利用第二网络模型获取所述运动数据对应的由所述外部设备运动产生的杆量。
可选的，所述处理器902，具体用于根据所述运动数据获取在所述飞行器的第一控制模式的控制量，将所述第一控制模式的控制量输入第二网络模型，得到在球体坐标系上对所述飞行器控制的切向速度杆量；
所述处理器902，具体用于根据所述运动数据获取在所述飞行器的第二控制模式的控制量，将所述第二控制模式的控制量输入所述第二网络模型，得到在所述球体坐标系上对所述飞行器控制的径向速度杆量；
所述处理器902，具体用于根据所述切向速度杆量和所述径向速度杆量得到所述运动产生的杆量。
其中，以特定的参考点为所述球体坐标系的原点。比如特定的参考点为外部设备。
可选的，所述第二网络模型为人工神经网络。
其中，外部设备可以为配置运动传感器的任何设备，其中具体可以为手表、手环，眼镜等穿戴式设备，也可以为配置有配置为运动传感器的手持式设备，比如控制笔，专用遥控器等，在此不作具体限定。
具体实现中，本发明实施例中所描述的通信装置901、处理器902、运动传感器903和存储器904可执行本发明实施例图2提供的杆量控制的方法中所描述的实现方式，也可执行本发明实施例图6所描述的杆量控制的装置的实现方式，在此不再赘述。
本发明实施例通过对外部设备的运动进行检测，输出运动数据，根据运动数据计算由外部设备运动产生的杆量，再将运动产生的杆量发送给飞行器，使得飞行器获取由外部设备运动产生的杆量和由通过外部设备输入而产生的杆量，得到对飞行器的控制杆量，从而可以实现多个控制杆量的自动融合，以及在多种控制模式、控制设备之间自动切换。
需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random AccessMemory，RAM)、磁盘或光盘等。
以上对本发明实施例所提供的一种杆量控制的方法、装置及相关设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (54)
1.一种杆量控制的装置，其特征在于，包括：
获取模块，用于获取由外部设备运动产生的杆量和由通过所述外部设备输入而产生的杆量；
处理模块，用于对所述获取模块获取的所述运动产生的杆量和所述输入而产生的杆量进行融合，得到对飞行器的控制杆量。
2.根据权利要求1所述的装置，其特征在于，
所述输入而产生的杆量包括通过手表、手环、遥控器、智能手机、地面控制站中的一种或多种输入而产生的杆量。
3.根据权利要求1或2所述的装置，其特征在于，
所述处理模块，具体用于利用第一网络模型获取所述运动产生的杆量和所述输入而产生的杆量中每一个杆量对应的权重系数；
所述处理模块，具体用于获取所述运动产生的杆量和所述输入而产生的杆量中每一个杆量与对应的权重系数之间的乘积，将所述乘积叠加获得叠加量，将所述叠加量作为对飞行器的控制杆量。
4.根据权利要求3所示的装置，其特征在于，
所述处理模块，具体用于将与所述外部设备运动相关联的参数和由通过所述外部设备输入而产生的杆量输入第一网络模型，获取所述运动产生的杆量和所述输入产生的杆量中每一个杆量对应的权重系数。
5.根据权利要求3所述的装置，其特征在于，
所述处理模块，还用于将预设的权重系数组合作为所述第一网络模型的目标输出，将与所述权重系数组合对应的所述外部设备运动相关联的参数和所述输入而产生的杆量作为输入，来对所述第一网络模型进行训练。
6.根据权利要求5所述的装置，其特征在于，
所述处理模块，还用于在训练所述第一网络模型时，当与所述外部设备运动相关联的参数和所述输入而产生的杆量同时存在时，将除优先级最高的杆量以外的杆量对应的权重系数全部置零。
7.根据权利要求1所述的装置，其特征在于，
所述获取模块，具体用于获取由所述外部设备运动产生的运动数据，根据所述运动数据获取在球体坐标系上对所述飞行器控制的切向速度杆量和径向速度杆量，将所述切向速度杆量和所述径向速度杆量转换到直角坐标系，得到所述由所述外部设备运动产生的杆量；
其中，以特定参考点为所述球体坐标系的原点。
8.根据权利要求7所述的装置，其特征在于，
所述特定参考点为外部设备。
9.根据权利要求7或8所述的装置，其特征在于，
所述获取模块，具体用于根据所述运动数据获取在所述飞行器的第一控制模式的控制量，根据所述第一控制模式的控制量得到所述切向速度杆量；
所述获取模块，具体用于根据所述运动数据获取在所述飞行器的第二控制模式的控制量，根据所述第二控制模式的控制量得到所述径向速度杆量。
10.根据权利要求9所述的装置，其特征在于，
所述第一控制模式的控制量为所述飞行器与所述特定参考点的连线和外部设备的运动传感器所规定的坐标系的某个轴线的轴向之间的夹角；
所述第二控制模式的控制量为所述外部设备以所述某个轴线为轴转动的角度。
11.根据权利要求9所述的装置，其特征在于，
所述第一控制模式的控制量为所述飞行器与所述特定参考点的连线和外部设备的运动传感器所规定的坐标系的某个轴线的轴向之间的夹角；
所述第二控制模式的控制量为所述外部设备在所述某个轴线上的运动距离。
12.根据权利要求1所述的装置，其特征在于，
所述获取模块，具体用于获取由所述外部设备运动产生的运动数据，利用第二网络模型获取所述运动数据对应的由所述外部设备运动产生的杆量。
13.根据权利要求12所述的装置，其特征在于，
所述获取模块，具体用于根据所述运动数据获取在所述飞行器的第一控制模式的控制量，将所述第一控制模式的控制量输入第二网络模型，得到在球体坐标系上对所述飞行器控制的切向速度杆量；
所述获取模块，具体用于根据所述运动数据获取在所述飞行器的第二控制模式的控制量，将所述第二控制模式的控制量输入所述第二网络模型，得到在所述球体坐标系上对所述飞行器控制的径向速度杆量；
所述获取模块，具体用于根据所述切向速度杆量和所述径向速度杆量得到所述运动产生的杆量；
其中，以特定的参考点为所述球体坐标系的原点。
14.根据权利要求3或12所述的装置，其特征在于，
所述第一网络模型和所述第二网络模型为人工神经网络。
15.一种杆量控制的方法，其特征在于，包括：
获取由外部设备运动产生的杆量和由通过所述外部设备输入而产生的杆量；
对所述运动产生的杆量和所述输入而产生的杆量进行融合，得到对飞行器的控制杆量。
16.根据权利要求15所述的方法，其特征在于，
所述输入而产生的杆量包括通过手表、手环、遥控器、智能手机、地面控制站中的一种或多种输入而产生的杆量。
17.根据权利要求15或16所述的方法，其特征在于，所述对所述运动产生的杆量和所述输入而产生的杆量进行融合，得到对飞行器的控制杆量，包括：
利用第一网络模型获取所述运动产生的杆量和所述输入而产生的杆量中每一个杆量对应的权重系数；
获取所述运动产生的杆量和所述输入而产生的杆量中每一个杆量与对应的权重系数之间的乘积，将所述乘积叠加获得叠加量，将所述叠加量作为对飞行器的控制杆量。
18.根据权利要求17所述的方法，其特征在于，所述利用第一网络模型获取所述运动产生的杆量和所述输入而产生的杆量中每一个杆量对应的权重系数，包括：
将与所述外部设备运动相关联的参数和由通过所述外部设备输入而产生的杆量输入第一网络模型，获取所述运动产生的杆量和所述输入产生的杆量中每一个杆量对应的权重系数。
19.根据权利要求17所述的方法，其特征在于，所述方法还包括：
将预设的权重系数组合作为所述第一网络模型的目标输出，将与所述权重系数组合对应的所述外部设备运动相关联的参数和所述输入而产生的杆量作为输入，来对所述第一网络模型进行训练。
20.根据权利要求19所述的方法，其特征在于，所述方法还包括：
当与所述外部设备运动相关联的参数和所述输入而产生的杆量同时存在时，将除优先级最高的杆量以外的杆量对应的权重系数全部置零。
21.根据权利要求15所述的方法，其特征在于，所述获取由外部设备运动产生的杆量，包括：
获取由所述外部设备运动产生的运动数据，根据所述运动数据获取在球体坐标系上对所述飞行器控制的切向速度杆量和径向速度杆量，将所述切向速度杆量和所述径向速度杆量转换到直角坐标系，得到所述由所述外部设备运动产生的杆量；
其中，以特定参考点为所述球体坐标系的原点。
22.根据权利要求21所述的方法，其特征在于，
所述特定参考点为外部设备。
23.根据权利要求21或22所述的方法，其特征在于，所述根据所述运动数据获取在球体坐标系上对所述飞行器控制的切向速度杆量和径向速度杆量，包括：
根据所述运动数据获取在所述飞行器的第一控制模式的控制量，根据所述第一控制模式的控制量得到所述切向速度杆量；
根据所述运动数据获取在所述飞行器的第二控制模式的控制量，根据所述第二控制模式的控制量得到所述径向速度杆量。
24.根据权利要求23所述的方法，其特征在于，
所述第一控制模式的控制量为所述飞行器与所述特定参考点的连线和外部设备的运动传感器所规定的坐标系的某个轴线的轴向之间的夹角；
所述第二控制模式的控制量为所述外部设备以所述某个轴线为轴转动的角度。
25.根据权利要求23所述的方法，其特征在于，
所述第一控制模式的控制量为所述飞行器与所述特定参考点的连线和外部设备的运动传感器所规定的坐标系的某个轴线的轴向之间的夹角；
所述第二控制模式的控制量为所述外部设备在所述某个轴线上的运动距离。
26.根据权利要求15所述的方法，其特征在于，所述获取由外部设备运动产生的杆量，包括：
获取由所述外部设备运动产生的运动数据，利用第二网络模型获取所述运动数据对应的由所述外部设备运动产生的杆量。
27.根据权利要求26所述的方法，其特征在于，所述利用第二网络模型获取所述运动数据对应的由所述外部设备运动产生的杆量，包括：
根据所述运动数据获取在所述飞行器的第一控制模式的控制量，将所述第一控制模式的控制量输入第二网络模型，得到在球体坐标系上对所述飞行器控制的切向速度杆量；
根据所述运动数据获取在所述飞行器的第二控制模式的控制量，将所述第二控制模式的控制量输入所述第二网络模型，得到在球体坐标系上对所述飞行器控制的径向速度杆量；
根据所述切向速度杆量和所述径向速度杆量得到所述运动产生的杆量；
其中，以特定的参考点为所述球体坐标系的原点。
28.根据权利要求17或26所述的方法，其特征在于，
所述第一网络模型和所述第二网络模型为人工神经网络。
29.一种控制设备，其特征在于，包括：
通信装置，用于获取由外部设备运动产生的运动数据和由通过所述外部设备输入而产生的杆量；
处理器，用于根据所述通信装置获取的所述运动数据得到由所述外部设备运动产生的杆量，对所述运动产生的杆量和所述输入而产生的杆量进行融合，得到对飞行器的控制杆量。
30.根据权利要求29所述的控制设备，其特征在于，
所述输入而产生的杆量包括通过手表、手环、遥控器、智能手机、地面控制站中的一种或多种输入而产生的杆量。
31.根据权利要求29或30所述的控制设备，其特征在于，
所述处理器，具体用于利用第一网络模型获取所述运动产生的杆量和所述输入而产生的杆量中每一个杆量对应的权重系数；
所述处理器，具体用于获取所述运动产生的杆量和所述输入而产生的杆量中每一个杆量与对应的权重系数之间的乘积，将所述乘积叠加获得叠加量，将所述叠加量作为对飞行器的控制杆量。
32.根据权利要求31所述的控制设备，其特征在于，
所述处理器，具体用于将与所述外部设备运动相关联的参数和由通过所述外部设备输入而产生的杆量输入第一网络模型，获取所述运动产生的杆量和所述输入产生的杆量中每一个杆量对应的权重系数。
33.根据权利要求31所述的控制设备，其特征在于，
所述处理器，还用于将预设的权重系数组合作为所述第一网络模型的目标输出，将与所述权重系数组合对应的所述外部设备运动相关联的参数和所述输入而产生的杆量作为输入，来对所述第一网络模型进行训练。
34.根据权利要求33所述的控制设备，其特征在于，
所述处理器，还用于在训练所述第一网络模型时，当与所述外部设备运动相关联的参数和所述输入而产生的杆量同时存在时，将除优先级最高的杆量以外的杆量对应的权重系数全部置零。
35.根据权利要求29所述的控制设备，其特征在于，
所述处理器，具体用于根据所述运动数据获取在球体坐标系上对所述飞行器控制的切向速度杆量和径向速度杆量，将所述切向速度杆量和所述径向速度杆量转换到直角坐标系，得到所述由所述外部设备运动产生的杆量；
其中，以特定参考点为所述球体坐标系的原点。
36.根据权利要求35所述的控制设备，其特征在于，
所述特定参考点为所述外部设备。
37.根据权利要求35或36所述的控制设备，其特征在于，
所述处理器，具体用于根据所述运动数据获取在所述飞行器的第一控制模式的控制量，根据所述第一控制模式的控制量得到所述切向速度杆量；
所述处理器，具体用于根据所述运动数据获取在所述飞行器的第二控制模式的控制量，根据所述第二控制模式的控制量得到所述径向速度杆量。
38.根据权利要求37所述的控制设备，其特征在于，
所述第一控制模式的控制量为所述飞行器与所述特定参考点的连线和外部设备的运动传感器所规定的坐标系的某个轴线的轴向之间的夹角；
所述第二控制模式的控制量为所述外部设备以所述某个轴线为轴转动的角度。
39.根据权利要求37所述的控制设备，其特征在于，
所述第一控制模式的控制量为所述飞行器与所述特定参考点的连线和外部设备的运动传感器所规定的坐标系的某个轴线的轴向之间的夹角；
所述第二控制模式的控制量为所述外部设备在所述某个轴线上的运动距离。
40.根据权利要求29所述的控制设备，其特征在于，
所述处理器，具体用于利用第二网络模型获取所述运动数据对应的由所述外部设备运动产生的杆量。
41.根据权利要求40所述的控制设备，其特征在于，
所述处理器，具体用于根据所述运动数据获取在所述飞行器的第一控制模式的控制量，将所述第一控制模式的控制量输入第二网络模型，得到在球体坐标系上对所述飞行器控制的切向速度杆量；
所述处理器，具体用于根据所述运动数据获取在所述飞行器的第二控制模式的控制量，将所述第二控制模式的控制量输入所述第二网络模型，得到在所述球体坐标系上对所述飞行器控制的径向速度杆量；
所述处理器，具体用于根据所述切向速度杆量和所述径向速度杆量得到所述运动产生的杆量；
其中，以特定的参考点为所述球体坐标系的原点。
42.根据权利要求31或40所述的控制设备，其特征在于，
所述第一网络模型和所述第二网络模型为人工神经网络。
43.一种控制设备，其特征在于，包括：
通信装置，用于获取由外部设备运动产生的杆量和由通过所述外部设备输入而产生的杆量；
处理器，用于对所述运动产生的杆量和所述输入而产生的杆量进行融合，得到对飞行器的控制杆量。
44.根据权利要求43所述的控制设备，其特征在于，
所述输入而产生的杆量包括通过手表、手环、遥控器、智能手机、地面控制站中的一种或多种输入而产生的杆量。
45.根据权利要求43或44所述的控制设备，其特征在于，
所述处理器，具体用于利用第一网络模型获取所述运动产生的杆量和所述输入而产生的杆量中每一个杆量对应的权重系数；
所述处理器，具体用于获取所述运动产生的杆量和所述输入而产生的杆量中每一个杆量与对应的权重系数之间的乘积，将所述乘积叠加获得叠加量，将所述叠加量作为对飞行器的控制杆量。
46.一种飞行器，其特征在于，包括：
动力系统，用于为飞行器提供飞行动力；
权利要求29-45中任一项所述的控制设备，用于利用所述控制设备得到的对所述飞行器的控制杆量，对所述飞行器进行控制。
47.一种外部设备，包括处理器、运动传感器和通信装置，所述处理器分别与所述运动传感器和所述通信装置连接，其特征在于，
所述运动传感器，用于对所述外部设备的运动进行检测，输出运动数据；
所述处理器，用于根据所述运动数据计算由所述外部设备运动产生的杆量，控制通信装置来向飞行器发送所述杆量，并利用所述杆量对飞行器进行控制；
所述通信装置，用于将所述运动产生的杆量发送给飞行器。
48.根据权利要求47所述的外部设备，其特征在于，
所述处理器，具体用于根据所述运动数据获取在球体坐标系上对所述飞行器控制的切向速度杆量和径向速度杆量，将所述切向速度杆量和所述径向速度杆量转换到直角坐标系，得到所述由所述外部设备运动产生的杆量；
其中，以特定参考点为所述球体坐标系的原点。
49.根据权利要求48所述的外部设备，其特征在于，
所述处理器，具体用于根据所述运动数据获取在所述飞行器的第一控制模式的控制量，根据所述第一控制模式的控制量得到切向速度杆量；
所述处理器，具体用于根据所述运动数据获取在所述飞行器的第二控制模式的控制量，根据所述第二控制模式的控制量得到径向速度杆量。
50.根据权利要求49所述的外部设备，其特征在于，
所述第一控制模式的控制量为所述飞行器与所述特定参考点的连线和外部设备的运动传感器所规定的坐标系的某个轴线的轴向之间的夹角；
所述第二控制模式的控制量为所述外部设备以所述某个轴线为轴转动的角度。
51.根据权利要求49所述的外部设备，其特征在于，
所述第一控制模式的控制量为所述飞行器与所述特定参考点的连线和外部设备的运动传感器所规定的坐标系的某个轴线的轴向之间的夹角；
所述第二控制模式的控制量为所述外部设备在所述某个轴线上的运动距离。
52.根据权利要求47所述的外部设备，其特征在于，
所述处理器，具体用于获取由所述外部设备运动产生的运动数据，利用第二网络模型获取所述运动数据对应的由所述外部设备运动产生的杆量。
53.根据权利要求52所述的外部设备，其特征在于，
所述处理器，具体用于根据所述运动数据获取在所述飞行器的第一控制模式的控制量，将所述第一控制模式的控制量输入第二网络模型，得到在球体坐标系上对所述飞行器控制的切向速度杆量；
所述处理器，具体用于根据所述运动数据获取在所述飞行器的第二控制模式的控制量，将所述第二控制模式的控制量输入所述第二网络模型，得到在所述球体坐标系上对所述飞行器控制的径向速度杆量；
所述处理器，具体用于根据所述切向速度杆量和所述径向速度杆量得到所述运动产生的杆量；
其中，以特定的参考点为所述球体坐标系的原点。
54.根据权利要求52或53所述的外部设备，其特征在于，
所述第二网络模型为人工神经网络。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2016/104116 WO2018076367A1 (zh) | 2016-10-31 | 2016-10-31 | 一种杆量控制的方法、装置及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107438808A true CN107438808A (zh) | 2017-12-05 |
| CN107438808B CN107438808B (zh) | 2021-05-04 |
Family
ID=60459052
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680014294.0A Expired - Fee Related CN107438808B (zh) | 2016-10-31 | 2016-10-31 | 一种杆量控制的方法、装置及相关设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN107438808B (zh) |
| WO (1) | WO2018076367A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109062259A (zh) * | 2018-10-31 | 2018-12-21 | 西安天问智能科技有限公司 | 一种无人机自动避障方法及其装置 |
| WO2020233605A1 (zh) * | 2019-05-21 | 2020-11-26 | 深圳市道通智能航空技术有限公司 | 一种飞行控制方法、装置、系统及无人机 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001014910A2 (en) * | 1999-05-27 | 2001-03-01 | Automotive Technologies International, Inc. | Method for developing a system for identifying the presence and orientation of an object in a vehicle |
| US20080161986A1 (en) * | 1997-10-22 | 2008-07-03 | Intelligent Technologies International, Inc. | Autonomous Vehicle Travel Control Systems and Methods |
| JP2009301299A (ja) * | 2008-06-12 | 2009-12-24 | Tokai Rika Co Ltd | ジェスチャ判定装置 |
| US20140008496A1 (en) * | 2012-07-05 | 2014-01-09 | Zhou Ye | Using handheld device to control flying object |
| CN104501779A (zh) * | 2015-01-09 | 2015-04-08 | 中国人民解放军63961部队 | 基于多站测量的无人机高精度目标定位方法 |
| WO2015157670A1 (en) * | 2014-04-10 | 2015-10-15 | Medelius Pedro J | Wearable environmental interaction unit |
| CN105005383A (zh) * | 2015-07-10 | 2015-10-28 | 昆山美莱来工业设备有限公司 | 一种利用手势操控移动机器人的可穿戴臂环 |
| CN105426961A (zh) * | 2015-11-11 | 2016-03-23 | 西安电子科技大学 | 利用智能手环和智能手机捕捉使用者意图的方法 |
| CN105487547A (zh) * | 2015-11-23 | 2016-04-13 | 杨珊珊 | 飞行控制系统、飞行控制器和飞行控制方法 |
| CN105793792A (zh) * | 2014-12-25 | 2016-07-20 | 深圳市大疆创新科技有限公司 | 无人机的飞行辅助方法和系统、无人机和移动终端 |
| CN105836127A (zh) * | 2016-03-18 | 2016-08-10 | 普宙飞行器科技（深圳）有限公司 | 无人机的操控方法和无人机系统 |
| CN105867114A (zh) * | 2016-04-21 | 2016-08-17 | 北京航空航天大学 | 一种新型的电动加载系统控制方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101710243B (zh) * | 2009-12-23 | 2011-09-28 | 北京航空航天大学 | 一种无人机遥控方式的选择方法 |
| US20150279131A1 (en) * | 2014-03-28 | 2015-10-01 | Denso International America, Inc. | Key fob and smartdevice gestures for vehicle functions |
| CN105607640B (zh) * | 2016-01-20 | 2018-02-09 | 南京工业大学 | 四旋翼飞行器的位姿控制器 |
-
2016
- 2016-10-31 CN CN201680014294.0A patent/CN107438808B/zh not_active Expired - Fee Related
- 2016-10-31 WO PCT/CN2016/104116 patent/WO2018076367A1/zh active Application Filing
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080161986A1 (en) * | 1997-10-22 | 2008-07-03 | Intelligent Technologies International, Inc. | Autonomous Vehicle Travel Control Systems and Methods |
| WO2001014910A2 (en) * | 1999-05-27 | 2001-03-01 | Automotive Technologies International, Inc. | Method for developing a system for identifying the presence and orientation of an object in a vehicle |
| JP2009301299A (ja) * | 2008-06-12 | 2009-12-24 | Tokai Rika Co Ltd | ジェスチャ判定装置 |
| US20140008496A1 (en) * | 2012-07-05 | 2014-01-09 | Zhou Ye | Using handheld device to control flying object |
| WO2015157670A1 (en) * | 2014-04-10 | 2015-10-15 | Medelius Pedro J | Wearable environmental interaction unit |
| CN105793792A (zh) * | 2014-12-25 | 2016-07-20 | 深圳市大疆创新科技有限公司 | 无人机的飞行辅助方法和系统、无人机和移动终端 |
| CN104501779A (zh) * | 2015-01-09 | 2015-04-08 | 中国人民解放军63961部队 | 基于多站测量的无人机高精度目标定位方法 |
| CN105005383A (zh) * | 2015-07-10 | 2015-10-28 | 昆山美莱来工业设备有限公司 | 一种利用手势操控移动机器人的可穿戴臂环 |
| CN105426961A (zh) * | 2015-11-11 | 2016-03-23 | 西安电子科技大学 | 利用智能手环和智能手机捕捉使用者意图的方法 |
| CN105487547A (zh) * | 2015-11-23 | 2016-04-13 | 杨珊珊 | 飞行控制系统、飞行控制器和飞行控制方法 |
| CN105836127A (zh) * | 2016-03-18 | 2016-08-10 | 普宙飞行器科技（深圳）有限公司 | 无人机的操控方法和无人机系统 |
| CN105867114A (zh) * | 2016-04-21 | 2016-08-17 | 北京航空航天大学 | 一种新型的电动加载系统控制方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109062259A (zh) * | 2018-10-31 | 2018-12-21 | 西安天问智能科技有限公司 | 一种无人机自动避障方法及其装置 |
| WO2020233605A1 (zh) * | 2019-05-21 | 2020-11-26 | 深圳市道通智能航空技术有限公司 | 一种飞行控制方法、装置、系统及无人机 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018076367A1 (zh) | 2018-05-03 |
| CN107438808B (zh) | 2021-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10445939B2 (en) | Tactile interaction in virtual environments | |
| CN105975061A (zh) | 虚拟现实场景的控制方法、装置及手柄 | |
| CN107517372B (zh) | 一种vr内容拍摄方法、相关设备及系统 | |
| US10762721B2 (en) | Image synthesis method, device and matching implementation method and device | |
| CN105518555B (zh) | 目标追踪系统及方法 | |
| CN104407701A (zh) | 一种面向个人的集群化虚拟现实交互系统 | |
| CN104548596B (zh) | 一种射击游戏的瞄准方法及装置 | |
| CN106064378A (zh) | 一种无人机机械臂的控制方法和装置 | |
| CN109671141A (zh) | 图像的渲染方法和装置、存储介质、电子装置 | |
| CN107168515A (zh) | 一种vr一体机中手柄的定位方法和装置 | |
| CN106530926A (zh) | 基于Myo臂带及视线追踪的虚拟假手训练平台及其训练方法 | |
| CN106569591A (zh) | 基于计算机视觉跟踪和传感器跟踪的跟踪方法和跟踪系统 | |
| CN106716284A (zh) | 控制方法、装置和系统、飞行器、载体及操纵装置 | |
| CN206584310U (zh) | 一种应用于虚拟现实中的mr手套 | |
| CN104166466A (zh) | 一种带辅助控制的体感操控系统及方法 | |
| CN107438808A (zh) | 一种杆量控制的方法、装置及相关设备 | |
| CN107443374A (zh) | 机械手操控系统及其操控方法、操控装置、存储介质 | |
| TWI683687B (zh) | 雲端虛擬實境之運動健身機系統 | |
| CN102419917B (zh) | 面向军体拳教学系统的智能手机交互平台及其实现方法 | |
| CN113752250A (zh) | 机器人关节的控制方法、装置、机器人及存储介质 | |
| CN107471216A (zh) | 危险环境下的vr体控机器人 | |
| CN205302186U (zh) | 一种基于外部输入的虚拟现实控制系统 | |
| CN106502407A (zh) | 一种数据处理方法及其相关设备 | |
| CN106970705A (zh) | 动作捕捉方法、装置和电子设备 | |
| CN109531578B (zh) | 仿人机械手臂体感控制方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210504 |