CN113778125B - 基于语音的飞行设备控制方法、装置、车辆及存储介质 - Google Patents
基于语音的飞行设备控制方法、装置、车辆及存储介质 Download PDFInfo
- Publication number
- CN113778125B CN113778125B CN202111063755.2A CN202111063755A CN113778125B CN 113778125 B CN113778125 B CN 113778125B CN 202111063755 A CN202111063755 A CN 202111063755A CN 113778125 B CN113778125 B CN 113778125B
- Authority
- CN
- China
- Prior art keywords
- flight
- instruction
- vehicle
- voice
- flying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000004891 communication Methods 0.000 claims abstract description 11
- 238000013515 script Methods 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 15
- 238000002360 preparation method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 230000000875 corresponding effect Effects 0.000 description 59
- 230000001276 controlling effect Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 5
- 230000001174 ascending effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本申请实施例公开一种基于语音的飞行设备控制方法、装置、车辆及存储介质,该方法应用于与飞行设备通信连接的车辆,飞行设备搭载有摄像装置;该方法包括:响应于第一语音指令,生成第一飞行指令集,并向飞行设备发送第一飞行指令集,以使飞行设备按照第一飞行指令集执行起飞并调整摄像装置的拍摄角度的操作,直至车辆处于摄像装置的拍摄范围内;在接收到飞行设备发送的起飞成功通知时,获取第二语音指令;响应于第二语音指令,生成第二飞行指令集,并向飞行设备发送第二飞行指令集,以使飞行设备按照第二飞行指令集包括的各条第二目标控制指令的指示执行相对应的操作,从而可以基于语音对飞行设备进行控制,简化了飞行设备的控制操作。
Description
技术领域
本申请涉及汽车技术领域,具体涉及基于语音的飞行设备控制方法、装置、车辆及存储介质。
背景技术
目前,部分车辆配有车载无人机等飞行设备,用户可以出于娱乐、摄影、救援、巡逻等目的使用车载的飞行设备。然而,在实践中发现,大部分飞行设备需要用户通过操作遥控器上的各种功能按键进行控制,用户还需要学习各种功能按键的使用方法,导致对飞行设备进行控制的操作过于繁琐。
发明内容
本申请实施例公开了一种基于语音的飞行设备控制方法、装置、车辆及存储介质,能够基于语音对飞行设备进行控制,简化了飞行设备的控制操作。
本申请实施例一种基于语音的飞行设备控制方法,所述方法应用于车辆,所述车辆与所述飞行设备通信连接,所述飞行设备搭载有摄像装置;以及,所述方法包括:响应于第一语音指令,生成第一飞行指令集,并向所述飞行设备发送第一飞行指令集,以使所述飞行设备按照所述第一飞行指令集包括的各条第一目标控制指令的指示,执行起飞并调整所述摄像装置的拍摄角度的操作,直至所述车辆处于所述摄像装置的拍摄范围内;在接收到所述飞行设备发送的起飞成功通知时,获取第二语音指令;响应于第二语音指令,生成第二飞行指令集,并向所述飞行设备发送第二飞行指令集,以使所述飞行设备按照所述第二飞行指令集包括的各条第二目标控制指令的指示执行相对应的操作。
在一个实施例中,第一飞行指令集包括:起飞指令、升空指令和调整指令;以及,所述向所述飞行设备发送第一飞行指令集,包括:向所述飞行设备发送起飞指令,以使所述飞行设备按照所述起飞指令的指示执行起飞准备动作;在接收到所述飞行设备发送的准备完成通知时,向所述飞行设备发送升空指令,以使所述飞行设备按照所述升空指令升高至预设高度;在所述飞行设备升高至第一高度时,向所述飞行设备发送调整指令,以使所述飞行设备调整所述摄像装置的拍摄角度,以使所述车辆处于所述摄像装置的拍摄范围内。
在一个实施例中,所述响应于第二语音指令,生成第二飞行指令集,包括:若所述第二语音指令包括单次动作关键词,且不包括自定义参数,则根据与所述单次动作关键词对应的预设控制指令,以及与所述单次动作关键词对应的默认参数生成第二目标控制指令,以得到包括所述第二目标控制指令的第二飞行指令集;或者,若所述第二语音指令包括单次动作关键词,且包括自定义参数,则根据与所述单次动作关键词对应的预设控制指令和所述自定义参数,生成第二目标控制指令,以得到包括所述第二目标控制指令的第二飞行指令集;或者,若所述第二语音指令包括组合动作关键词,则按照与所述组合动作关键词对应的控制脚本生成第二飞行指令集;所述第二飞行指令集包括多条第二目标控制指令,且所述多条第二目标控制指令按照所述控制脚本中的顺序和时间间隔排列。
在一个实施例中,在所述向所述飞行设备发送第一飞行指令集之后,所述方法还包括:接收所述飞行设备的摄像装置拍摄到的图像,并在车载显示器中输出所述图像;以及,所述第二语音指令中的自定义参数包括:所述图像中的地标名称;所述根据与所述单次动作关键词对应的预设控制指令和所述自定义参数,生成第二目标控制指令,包括:获取与所述地标名称相匹配的第一位置坐标;根据与所述单次动作关键词对应的预设控制指令和所述第一位置坐标,生成所述第二目标控制指令。
在一个实施例中,所述获取与所述地标名称相匹配的位置坐标,包括:搜索与所述地标名称相匹配的候选地点;若所述候选地点的数量为两个或以上,则在车载显示器输出的地图中标示各个所述候选地点;响应于从各个所述候选地点中选取出目标地点的第三语音指令,从所述地图中获取所述目标地点的位置坐标作为第一位置坐标。
在一个实施例中,所述自定义参数包括:所述飞行设备相对于所述车辆的相对位置信息;以及,所述根据与所述单次动作关键词对应的预设控制指令和所述自定义参数,生成第二目标控制指令,包括:获取所述车辆的车辆位置坐标;根据所述车辆位置坐标、所述相对位置信息包括的相对方向和相对距离,计算第二位置坐标;根据与所述单次动作关键词对应的预设控制指令以及所述第二位置坐标,生成第二目标控制指令。
在一个实施例中,所述响应于第一语音指令,生成第一飞行指令集,包括:在检测到车辆当前的档位信息满足预设条件时,响应于第一语音指令,生成第一飞行指令集。
与相关技术相比,本申请实施例具有以下有益效果:
车辆可以采集用户输入的语音指令,在对语音指令进行解析之后,生成相对应的飞行指令集以控制飞行设备执行相对应的操作,从而使得用户可以基于语音对飞行设备进行控制,无需手动调节,简化了飞行设备的控制操作。
其次,车辆可以先基于第一语音指令控制飞行设备起飞至较为合理的位置(能够拍摄到车辆),再基于第二语音指令控制飞行设备执行下一步的操作,用户可以相对减少需要输入的语音指令数量,从而可以进一步简化飞行设备的控制操作,并改善用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是一个实施例公开的一种飞行设备的控制方法的应用场景示意图;
图2是一个实施例公开的一种基于语音的飞行设备控制方法的流程示意图;
图3是一个实施例公开的一种车辆生成第二目标控制指令的方法流程示意图;
图4是一个实施例公开另一种车辆生成第二目标控制指令的方法流程示意图;
图5是一个实施例公开的一种基于语音的飞行设备控制装置;
图6是本申请实施例公开的另一种移动终端的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例公开了一种基于语音的飞行设备控制方法、装置、车辆及存储介质,能够基于语音对飞行设备进行控制,简化了飞行设备的控制操作。以下分别进行详细说明。
请参阅图1,图1是一个实施例公开的一种飞行设备的控制方法的应用场景示意图。如图1所示,车辆10和飞行设备20之间可存在无线通信连接。
飞行设备20可包括无人机、航模等,具体不做限定。
车辆10可基于无线通信连接向飞行设备20发送控制指令,飞行设备20可根据接收到的控制指令执行相应的飞行动作,包括但不限于上升、下降、旋转,从而可以利用车辆10控制飞行设备20。
飞行设备20可搭载有摄像装置,摄像装置可包括可见光摄像头、红外光摄像头、鱼眼摄像头等,但不限于此。飞行设备20在飞行过程中可产生一系列飞行记录数据,包括摄像装置拍摄得到的图像、飞行设备20的传感器检测到航向角、飞行速度等运动数据,但不限于此。
飞行设备20可基于与车辆10之间的通信连接将飞行记录数据回传至车辆10,车辆10可对飞行记录数据进行分析或者展示。
请参阅图2,图2是一个实施例公开的一种基于语音的飞行设备控制方法的流程示意图。如图2所示,该方法可包括以下步骤:
210、车辆响应于第一语音指令,生成第一飞行指令集。
车辆可包括麦克风等语音采集模组,语音采集模组可以采集用户输入的第一语音指令,并将采集到的第一语音信号传输至车辆。
第一语音指令可以是用于指示飞行设备起飞的语音指令,例如可包括“无人机起飞”、“起飞”等包括“起飞”关键词的语音指令,具体不做限定。
可选的,车辆可以在执行步骤210之前,检测车辆当前的档位信息。以及,在检测到车辆当前的档位满足预设条件时,执行步骤210,响应于第一语音指令,生成第一飞行指令集,以提高使用飞行设备时,车辆的安全性。
其中,预设条件可以包括:车辆挂入停车档(P档),但不限于此。
车辆可以接收语音采集模组采集到的第一语音指令,并对第一语音指令进行解析,以识别第一语音指令的意图。在识别出第一语音指令的意图为指示飞行设备起飞时,车辆可以根据预设的起飞控制脚本生成第一飞行指令集。
第一飞行指令集可包括一条或者多条第一目标控制指令,每条第一目标控制指令可用于指示飞行设备执行一次对应的操作。
示例性的,第一飞行指令集中的第一目标控制指令可包括:起飞指令、升空指令和调整指令,但不限于此。其中:
起飞指令可用于指示飞行设备执行起飞准备动作,例如校准飞行设备的指南针、惯性导航单元(Inertial Measurement Unit,IMU)、定位系统等,但不限于此。
升空指令可用于指示飞行设备升空,即上升高度。每个升空指令可包括本次升空操作需要到达的目的地坐标,或者包括本次升空操作需要升高的高度,具体不做限定。
调整指令可用于指示飞行设备调整摄像装置的拍摄角度。
在一些实施例中,飞行设备搭载的摄像装置可以固接于飞行设备,调整指令可用于指示飞行设备调整航向角度,以通过调整飞行设备的航向进而调整摄像装置的拍摄角度。
在另一些实施例中,飞行设备搭载的摄像装置可与飞行设备活动连接,摄像装置可以相对于飞行设备旋转,调整指令可用于指示飞行设备对摄像装置进行旋转,从而可以在飞行设备的航向保持不变的同时调整摄像装置的拍摄角度。
220、车辆向飞行设备发送第一飞行指令集。
第一飞行指令集可以包括多条第一目标控制指令,车辆可以按照一定的顺序和时间间隔向飞行设备逐条发送第一目标控制指令。或者,车辆也可以向一次性向飞行设备发送整个第一飞行指令集,由飞行设备按顺序和时间间隔逐条执行第一飞行指令集包括的各条第一目标控制指令,具体不做限定。
在一个实施例中,前述的步骤220的一种实施方式可包括以下步骤:
车辆向飞行设备发送起飞指令,以使飞行设备按照起飞指令的指示执行起飞准备动作。
车辆在接收到飞行设备发送的准备完成通知时,向飞行设备发送升空指令,以使飞行设备按照升空指令升高至预设高度。其中,预设高度可根据实际的业务需求设置,可参考拍摄车辆的最佳拍摄效果下飞行设备与车辆之间的高度差确定。示例性的,第一高度可设置为25米、20米、10米等,但不限于此。
车辆在飞行设备升高至第一高度时,向飞行设备发送调整指令,以使飞行设备调整摄像装置的拍摄角度,以使车辆处于摄像装置的拍摄范围内。
也就是说,车辆可以向飞行设备逐条发送第一飞行指令集中的第一目标控制指令,以使飞行设备可以自动起飞至合适的位置,无需人工手动调节。
230、飞行设备按照第一飞行指令集包括的各条第一目标控制指令的指示,执行起飞并调整摄像装置的拍摄角度的操作,直至车辆处于摄像装置的拍摄范围内。
需要说明的是,车辆处于摄像装置的拍摄范围内,可包括车辆主体的部分或者全部处于拍摄范围内,摄像装置相对于车辆可以呈俯视、正视、侧视等视角,具体不做限定。其中,正视可指摄像装置的摄像孔朝向车辆的车头。
240、飞行设备向车辆发送起飞成功通知。
飞行设备可以在按照第一飞行指令集的指示执行相应的操作之后,可以向车辆发送起飞成功通知。
250、车辆在接收到起飞成功通知时,获取第二语音指令。
车辆在接收到起飞成功通知时,可以通过语音采集模组采集用户输入的第二语音指令。第二语音指令可以是指示飞行设备执行任意一种操作的语音指令,具体不做限定。
也就是说,在本申请实施例中,用户可先通过第一语音指令触发车辆控制飞行设备起飞至能够拍摄到车辆的位置,再通过第二语音指令进一步触发车辆控制飞行设备的飞行姿态,或者控制飞行设备搭载的摄像装置的拍摄角度等。
在车载飞行设备的使用场景中,用户控制飞行设备执行的部分操作可能与车辆相关。例如,用户希望无人机跟随或者环绕车辆飞行、用户希望能够通过飞行设备的摄像装置拍摄到车辆的图像等。
因此,在本申请实施例中,车辆先基于第一语音指令控制飞行设备起飞至较为合理的位置(能够拍摄到车辆),再基于第二语音指令控制飞行设备执行下一步的操作,用户可以相对减少需要输入的语音指令数量,从而可以进一步简化飞行设备的控制操作。
260、车辆响应于第二语音指令,生成第二飞行指令集。
车辆可以对第二语音指令进行解析,以识别第二语音指令的意图。第二语音指令可包括但不限于以下三种类型:
1)第二语音指令包括单次动作关键词,且不包括自定义参数。例如,“降落”、“无人机返航”、“无人机拍照”、“录像”、“飞高一点”、“向下飞”“往前飞”、“向下看”等。其中,“降落”、“返航”、“拍照”、“飞高”、“往前”、“向下”等可为第二语音指令包括的单次动作关键词。
2)第二语音指令包括单次动作关键词,且包括自定义参数。例如,“往前飞10米”、“向上飞2米”、“无人机摄像头加5度”、“无人机向下看10度”等。其中,“10米”、“2米”、“5度”等可为第二语音指令包括的自定义参数。
3)第二语音指令包括组合动作关键词。例如,“一飞冲天”、“无人机跳舞”等。
示例性的,可以预先设置组合动作关键词和单次动作关键词的列表,使得车辆可以准确区分第二语音指令包括的单次动作关键词和组合动作关键词。
车辆可以基于不同的指令生成策略生成不同类型的第二语音指令对应的第二飞行指令集,第二飞行指令集可以包括一条或者多条第二目标控制指令。
在一个实施例中,与前述类型1)对应的指令生成策略可包括:
车辆根据与第二语音指令包括的单次动作关键词对应的预设控制指令,以及与上述的单次动作关键词对应的默认参数生成第二目标控制指令,以得到包括该第二目标控制指令的第二飞行指令集。
每个单次动作关键词与预设控制指令和默认参数之间的对应关系可以根据实际的业务需求设置,不同的单次动作关键词对应的预设控制指令或者默认参数可以不同,也可以相同,具体不做限定。可选的,车辆对语音指令的解析可支持泛化兼容,若不同的单次动作关键词对应的动作意图相同,则对应的预设控制指令可相同。
示例性的,单次动作关键词“飞高”和“向上”对应的预设控制指令相同,均可以对应用于指示飞行设备提升飞行高度的控制指令。单次动作关键词“往右”可对应用于指示飞行设备向预设的参考方向右侧飞行的控制指令,不同于单次动作关键词“向上”对应的控制指令。
示例性的,单次动作关键词“飞高”和“向右”对应的默认参数可相同,均可为飞行1米,单次动作关键词“降低”对应的默认参数可为飞行1.5米,不同于“飞高”对应的默认参数。
需要说明的是,与单次动作关键词对应的默认参数可以包括具体数值,也可以为空。在一些实施例中,飞行设备中可封装有一种或多种针对飞行设备的控制方法,车辆可以调用飞行设备内部封装的控制方法,使得飞行设备执行相对应的操作。示例性的,飞行设备内部封装有跟随车辆飞行的控制方法,车辆获取到的与单次动作关键词“跟随”对应的预设控制指令可为指示飞行设备调用该方法的指令,对应的默认参数可为空。
在一个实施例中,与前述类型2)对应的指令生成策略可包括:
车辆根据与单次动作关键词对应的预设控制指令和自定义参数,生成第二目标控制指令,以得到包括该第二目标控制指令的第二飞行指令集。
每个单次动作关键词与预设控制指令之间的对应关系可以根据实际的业务需求设置,以下内容不再赘述。自定义参数是用户通过第二语音指令输入的,因此,车辆可以通过基于自定义参数生成的第二目标控制指令,控制飞行设备按照自定义参数所指示的目标执行相应的操作。
在一个实施例中,与前述类型3)对应的指令生成策略可包括:
车辆按照与组合动作关键词对应的控制脚本生成第二飞行指令集,第二飞行指令集包括的多条第二目标控制指令,按照控制脚本中的顺序和时间间隔排列。
每个组合动作关键词与控制脚本之间的对应关系可以根据实际的业务需求设置,不同的组合动作关键词对应的控制脚本可以相同,也可以不同,具体不做限定。
控制脚本可包括多条按照预设的顺序和时间间隔排列的预设控制指令。当飞行设备按照控制脚本执行相应的操作时,可以达到相应的动作效果。
示例性的,组合动作关键词“一飞冲天”对应的控制脚本可包括4个预设控制指令,并按照以下顺序排列:起飞指令、飞行高度上升至100米的升空指令、摄像装置的拍摄角度向下调整90度的调整指令、执行10秒结束动作的结束指令。其中,升空指令在起飞指令之后间隔5秒;调整指令在升空指令之后间隔30秒;结束指令在调整指令之后,无时间间隔要求。
其中,控制脚本可以是预先按照业务需求编写的;或者,也可以由用户自定义。
在一些实施例中,用户可以从预设控制指令库中选取出一条或者多条预设控制指令。车辆可以检测用户选取出的各条预设控制指令,并按照用户设定的指令排列顺序和间隔时间生成用户自定义的控制脚本。并且,车辆可以将用户自定义的语音指令与用户自定义的控制脚本进行绑定。在绑定之后,若车辆获取到的第二语音指令为用户自定义的语音指令,则车辆可以根据用户自定义的控制脚本生成第二飞行指令集,从而控制飞行设备执行用户自定义的动作,对飞行设备的操控更便捷,趣味性更强。
270、车辆向飞行设备发送第二飞行指令集。
在一些实施例中,第二飞行指令集可能包括多条第二目标控制指令,并且多条第二目标控制指令按照一定的顺序和时间间隔排列。
因此,车辆在向飞行设备发送第二飞行指令集时,可以按照一定的顺序和时间间隔向飞行设备逐条发送第二目标控制指令。或者,车辆也可以向一次性向飞行设备发送整个第二飞行指令集,由飞行设备按顺序和时间间隔逐条执行第二飞行指令集包括的各条第二目标控制指令,具体不做限定。
280、飞行设备按照第二飞行指令集包括的各条第二目标控制指令的指示执行相对应的操作。
可见,在前述实施例中,车辆可以采集用户输入的语音指令,在对语音指令进行解析之后,生成相对应的飞行指令集以控制飞行设备执行相对应的操作,从而使得用户可以基于语音对飞行设备进行控制,无需手动调节,简化了飞行设备的控制操作。
其次,车辆先基于第一语音指令控制飞行设备起飞至较为合理的位置(能够拍摄到车辆),再基于第二语音指令控制飞行设备执行下一步的操作,用户可以相对减少需要输入的语音指令数量,从而可以进一步简化飞行设备的控制操作。
示例性的,车辆在根据第一语音指令控制飞行设备起飞并调整拍摄角度,直至能够拍摄到车辆之后,接收到的第二语音指令可能是指示飞行设备跟随车辆飞行的指令。飞行设备可以采用基于视觉的跟随方法,在车辆移动的过程中调整飞行的方向、速度等,以始终拍摄到车辆。由于飞行设备已经起飞至较为合理的位置,因此,车辆可以直接基于第二语音指令控制飞行设备跟随车辆飞行,无需再通过语音指令调整摄像装置的拍摄角度。
此外,车辆先基于第一语音指令控制飞行设备起飞至较为合理的位置(能够拍摄到车辆),再基于第二语音指令控制飞行设备执行下一步的操作,在部分场景下还可以带来更好的用户体验。
示例性的,车辆在根据第一语音指令控制飞行设备起飞并调整拍摄角度,直至能够拍摄到车辆之后,若接收到的第二语音指令指示飞行设备在短时间内上升较高高度(如300米),并且在上升过程中持续录像,则摄像装置在飞行设备的上升过程中可以持续拍摄到车辆,结合短时间内上升较高高度的飞行效果,录制得到的视频能够表现出飞行设备一飞冲天的视觉效果。
在一个实施例中,车辆在通过第一飞行指令集控制飞行设备起飞至能够拍摄到车辆的位置之后,还可以接收飞行设备的摄像装置拍摄到的图像,并在车载显示器中输出接收到的图像。
其中,车载显示器可包括中控大屏或者后视镜等,具体不做限定。车辆和车载显示器之间可存在通信连接,车辆可将接收到的图像传输至车载显示器,以使车载显示器可以输出该图像。
用户可以通过车载显示器查看飞行设备的摄像装置拍摄到的图像,并根据该图像输出第二语音指令。示例性的,若用户看到图像中车辆的后方存在障碍物,则可以输入用于指示摄像装置调整拍摄角度,以对准后方障碍物的第二语音指令。也就是说,第二语音指令可以是用户根据车载显示器中的图像输入的,达到所见即所说的用户体验。
在一个实施例中,摄像装置拍摄到的图像中除了车辆,还可包括车辆周边的建筑物。这些建筑物可能是一些用户感兴趣的地标,在车辆从飞行设备中接收到该图像,并且在车载显示器中输出之后,用户可以输入前述类型2)的第二语音指令,以控制飞行设备飞向感兴趣的地标。
请参阅图3,图3是一个实施例公开的一种车辆生成第二目标控制指令的方法流程示意图。图3所示的步骤可以是前述步骤260的一种实施方式。
如图3所示,可包括以下步骤:
310、从第二语音指令中识别出图像中的地标名称。
前述类型2)的第二语音指令包括单次动作关键词和自定义参数,自定义参数可包括图像中的地标名称。
示例性的,车载显示器输出的图像中除了车辆,还包括广州塔。用户输入的第二语音指令可为“无人机飞去广州塔”,“广州塔”可为图像中的地标名称。
320、获取与地标名称相匹配的第一位置坐标。
车辆可以根据识别出的地标名称进行搜索,以搜索出该地标名称相匹配的候选地点,并从地图中获取该候选地点的位置坐标作为与地标名称相匹配的第一位置坐标。
若地标名称较为常见,例如医院、学校、居民楼等,车辆可能搜索出多个候选地点;若地标名称较为独特,例如广州塔,则车辆可能搜索出一个候选地点。
可选的,若搜索出候选地点的数量为两个或以上,则车辆可以在车载显示器输出的地图中标示各个候选地点。用户可以通过第三语音指令从各个候选地点中选取出目标地点,车辆可以响应该第三语音指令,从地图中获取目标地点的位置坐标作为第一位置坐标,以使飞行设备可以准确飞往用户感兴趣的地标附近。
330、根据与第二语音指令中单次动作关键词对应的预设控制指令和第一位置坐标,生成第二目标控制指令。
车辆生成的第二目标控制指令,包括了飞行设备将要到达的目标地点的第一位置坐标。因此,飞行设备在接收到包括该第二目标控制指令的第二飞行指令集之后,可以根据第一位置坐标规划飞行路线,从而飞往第一位置坐标所对应的目标地点。
可见,在前述实施例中,车辆在控制飞行设备起飞之后,可以接收摄像装置拍摄到的图像,并在车载显示器中输出。用户可以在查看到图像包括感兴趣的地标时,通过第二语音指令控制飞行设备飞往用户感兴趣的地标附近。
在一个实施例中,用户输入的前述类型2)的第二语音指令,还可包括飞行设备相对于车辆的相对位置信息。
请参阅图4,图4是一个实施例公开另一种车辆生成第二目标控制指令的方法流程示意图。图4所示的步骤可以是前述步骤260的一种实施方式。
如图4所示,可包括以下步骤:
410、从第二语音指令中识别出飞行设备相对于车辆的相对位置信息。
前述类型2)的第二语音指令包括单次动作关键词和自定义参数,自定义参数可包括飞行设备相对于车辆的相对位置信息。
示例性的,车载显示器输出的图像中除了车辆,还包括广州塔。用户输入的第二语音指令可包括“无人机飞去车前面500米”、“无人机飞去车南边200米”等。
其中,“车前面500米”、“车南边200”可为飞行设备相对于车辆的相对位置信息,包括了相对方向“车前面”、“车南面”和相对距离“500米”和“200米”。
420、获取车辆的车辆位置坐标。
车辆可以通过卫星定位系统、惯性导航系统等定位模组对车辆进行定位,从而获取车辆当前的位置坐标。
430、根据车辆位置坐标、上述相对位置信息包括的相对方向和相对距离,计算第二位置坐标。
440、根据与第二语音指令中单次动作关键词对应的预设控制指令和第二位置坐标,生成第二目标控制指令。
车辆生成的第二目标控制指令,包括了飞行设备将要到达的第二位置坐标。因此,飞行设备在接收到包括该第二目标控制指令的第二飞行指令集之后,可以根据第二位置坐标规划飞行路线,从而飞往第二位置坐标所对应的目的地。
可见,在前述实施例中,用户可以在飞行目的地的名称不明确或者不存在地标时,通过第二语音指令输入飞行设备相对于车辆的相对位置信息。车辆可以基于该相对位置信息计算出第二位置坐标,从而控制飞行设备到达用户期望的飞行目的地。
请参阅图5,图5是一个实施例公开的一种基于语音的飞行设备控制装置,该装置可应用于前述的任意一种车辆。如图5所示,基于语音的飞行设备控制装置500,可包括:第一控制模块510、采集模块520、第二控制模块530。
第一控制模块510,可用于响应于第一语音指令,生成第一飞行指令集,并向飞行设备发送第一飞行指令集,以使飞行设备按照第一飞行指令集包括的各条第一目标控制指令的指示,执行起飞并调整摄像装置的拍摄角度的操作,直至车辆处于摄像装置的拍摄范围内。
采集模块520,可用于在接收到飞行设备发送的起飞成功通知时,采集第二语音指令;
第二控制模块530,可用于响应于第二语音指令,生成第二飞行指令集,并向飞行设备发送第二飞行指令集,以使飞行设备按照第二飞行指令集包括的各条第二目标控制指令的指示执行相对应的操作。
在一个实施例中,第一飞行指令集可包括:起飞指令、升空指令和调整指令。第一控制模块510,可包括:第一生成单元和第一通信单元。
第一生成单元,可用于响应于第一语音指令,生成第一飞行指令集。
第一通信单元,可用于向飞行设备发送起飞指令,以使飞行设备按照起飞指令的指示执行起飞准备动作;以及,在接收到飞行设备发送的准备完成通知时,向飞行设备发送升空指令,以使飞行设备按照升空指令升高至预设高度;以及,在飞行设备升高至第一高度时,向飞行设备发送调整指令,以使飞行设备调整摄像装置的拍摄角度,以使车辆处于摄像装置的拍摄范围内。
在一个实施例中,第二控制模块530,可包括:第二生成单元和第二通信单元。
第二生成单元,可用于在第二语音指令包括单次动作关键词,且不包括自定义参数时,根据与单次动作关键词对应的预设控制指令,以及与单次动作关键词对应的默认参数生成第二目标控制指令,以得到包括第二目标控制指令的第二飞行指令集;或者,
可用于在第二语音指令包括单次动作关键词,且包括自定义参数时,根据与单次动作关键词对应的预设控制指令和自定义参数,生成第二目标控制指令,以得到包括第二目标控制指令的第二飞行指令集;或者,
可用于在第二语音指令包括组合动作关键词时,按照与组合动作关键词对应的控制脚本生成第二飞行指令集;第二飞行指令集包括多条第二目标控制指令,且多条第二目标控制指令按照控制脚本中的顺序和时间间隔排列。
在一个实施中,基于语音的飞行设备控制装置500,还可包括:输出模块。
输出模块,可用于在第一控制模块510响应于第一语音指令,生成第一飞行指令集之后,接收飞行设备的摄像装置拍摄到的图像,并在车载显示器中输出图像;
第二语音指令中的自定义参数包括:图像中的地标名称。
上述的第二生成单元,还可用于获取与地标名称相匹配的第一位置坐标;以及,根据与单次动作关键词对应的预设控制指令和第一位置坐标,生成第二目标控制指令。
在一个实施例中,上述的第二生成单元,还可用于搜索与地标名称相匹配的候选地点;以及,在候选地点的数量为两个或以上时,在车载显示器输出的地图中标示各个候选地点;以及,响应于从各个候选地点中选取出目标地点的第三语音指令,从地图中获取目标地点的位置坐标作为第一位置坐标。
在一个实施例中,第二语音指令中的自定义参数包括:飞行设备相对于车辆的相对位置信息。
上述的第二生成单元,还可用于获取车辆的车辆位置坐标;以及,根据车辆位置坐标、相对位置信息包括的相对方向和相对距离,计算第二位置坐标;以及,根据与单次动作关键词对应的预设控制指令以及第二位置坐标,生成第二目标控制指令。
在一个实施例中,第一控制模块510,还可用于在检测到车辆当前的档位信息满足预设条件时,响应于第一语音指令,生成第一飞行指令集。
可见,实施前述实施例公开的基于语音的飞行设备控制装置,可以采集用户输入的语音指令,在对语音指令进行解析之后,生成相对应的飞行指令集以控制飞行设备执行相对应的操作,从而使得用户可以基于语音对飞行设备进行控制,无需手动调节,简化了飞行设备的控制操作。
其次,车辆先基于第一语音指令控制飞行设备起飞至较为合理的位置(能够拍摄到车辆),再基于第二语音指令控制飞行设备执行下一步的操作,用户可以相对减少需要输入的语音指令数量,从而可以进一步简化飞行设备的控制操作,并且在部分场景下还可以带来更好的用户体验。
请参阅图6,图6是本申请实施例公开的一种车辆的结构示意图。如图6所示,该车辆600可以包括:
存储有可执行程序代码的存储器610;
与存储器610耦合的处理器620;
其中,处理器620调用存储器610中存储的可执行程序代码,执行本申请实施例公开的任意一种基于语音的飞行设备控制方法。
需要说明的是,图6所示的车辆还可以包括电源、输入按键、摄像头、扬声器、显示屏幕、RF电路、Wi-Fi模块、蓝牙模块、传感器等未显示的组件,本实施例不作赘述。
本申请实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行本申请实施例公开的任意一种基于语音的飞行设备控制方法。
本申请实施例公开一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行本申请实施例公开的任意一种基于语音的飞行设备控制方法。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在本申请的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本申请实施例公开的一种基于语音的飞行设备控制方法、装置、车辆及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (9)
1.一种基于语音的飞行设备控制方法,其特征在于,所述方法应用于车辆,所述车辆与所述飞行设备通信连接,所述飞行设备搭载有摄像装置;以及,所述方法包括:
响应于第一语音指令,生成第一飞行指令集,并向所述飞行设备发送第一飞行指令集,以使所述飞行设备按照所述第一飞行指令集包括的各条第一目标控制指令的指示,执行起飞并调整所述摄像装置的拍摄角度的操作,直至所述车辆处于所述摄像装置的拍摄范围内;
接收所述摄像装置拍摄到的图像,并在车载显示器中输出所述图像;
在接收到所述飞行设备发送的起飞成功通知时,获取第二语音指令;
响应于第二语音指令,生成第二飞行指令集,并向所述飞行设备发送第二飞行指令集,以使所述飞行设备按照所述第二飞行指令集包括的各条第二目标控制指令的指示执行相对应的操作;
其中,所述第二语音指令中包括自定义参数和单次动作关键词,所述自定义参数包括所述图像中的地标名称,所述响应于第二语音指令,生成第二飞行指令集,包括:
从所述第二语音指令中识别出所述图像中的地标名称;
获取与所述地标名称相匹配的第一位置坐标;
根据与所述单次动作关键词对应的预设控制指令和所述第一位置坐标,生成第二目标控制指令。
2.根据权利要求1所述的方法,其特征在于,所述第一飞行指令集包括:起飞指令、升空指令和调整指令;以及,所述向所述飞行设备发送第一飞行指令集,包括:
向所述飞行设备发送起飞指令,以使所述飞行设备按照所述起飞指令的指示执行起飞准备动作;
在接收到所述飞行设备发送的准备完成通知时,向所述飞行设备发送升空指令,以使所述飞行设备按照所述升空指令升高至预设高度;
在所述飞行设备升高至第一高度时,向所述飞行设备发送调整指令,以使所述飞行设备调整所述摄像装置的拍摄角度,以使所述车辆处于所述摄像装置的拍摄范围内。
3.根据权利要求1所述的方法,其特征在于,所述响应于第二语音指令,生成第二飞行指令集,包括:
若所述第二语音指令包括所述单次动作关键词,且不包括自定义参数,则根据与所述单次动作关键词对应的预设控制指令,以及与所述单次动作关键词对应的默认参数生成第二目标控制指令,以得到包括所述第二目标控制指令的第二飞行指令集;或者,
若所述第二语音指令包括所述单次动作关键词,且包括自定义参数,则根据与所述单次动作关键词对应的预设控制指令和所述自定义参数,生成第二目标控制指令,以得到包括所述第二目标控制指令的第二飞行指令集;或者,
若所述第二语音指令包括组合动作关键词,则按照与所述组合动作关键词对应的控制脚本生成第二飞行指令集;所述第二飞行指令集包括多条第二目标控制指令,且所述多条第二目标控制指令按照所述控制脚本中的顺序和时间间隔排列。
4.根据权利要求1所述的方法,其特征在于,所述获取与所述地标名称相匹配的第一位置坐标,包括:
搜索与所述地标名称相匹配的候选地点;
若所述候选地点的数量为两个或以上,则在车载显示器输出的地图中标示各个所述候选地点;
响应于从各个所述候选地点中选取出目标地点的第三语音指令,从所述地图中获取所述目标地点的位置坐标作为第一位置坐标。
5.根据权利要求3所述的方法,其特征在于,所述自定义参数包括:所述飞行设备相对于所述车辆的相对位置信息;以及,所述根据与所述单次动作关键词对应的预设控制指令和所述自定义参数,生成第二目标控制指令,包括:
获取所述车辆的车辆位置坐标;
根据所述车辆位置坐标、所述相对位置信息包括的相对方向和相对距离,计算第二位置坐标;
根据与所述单次动作关键词对应的预设控制指令以及所述第二位置坐标,生成第二目标控制指令。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述响应于第一语音指令,生成第一飞行指令集,包括:
在检测到车辆当前的档位信息满足预设条件时,响应于第一语音指令,生成第一飞行指令集。
7.一种基于语音的飞行设备控制装置,其特征在于,所述装置应用于车辆,所述车辆与所述飞行设备通信连接,所述飞行设备搭载有摄像装置;以及,所述基于语音的飞行设备控制装置包括:
第一控制模块,用于响应于第一语音指令,生成第一飞行指令集,并向所述飞行设备发送第一飞行指令集,以使所述飞行设备按照所述第一飞行指令集包括的各条第一目标控制指令的指示,执行起飞并调整所述摄像装置的拍摄角度的操作,直至所述车辆处于所述摄像装置的拍摄范围内;
输出模块,用于在第一控制模块响应于第一语音指令,生成第一飞行指令集之后,接收飞行设备的摄像装置拍摄到的图像,并在车载显示器中输出图像;
采集模块,用于在接收到所述飞行设备发送的起飞成功通知时,采集第二语音指令;
第二控制模块,用于响应于所述第二语音指令,生成第二飞行指令集,并向所述飞行设备发送所述第二飞行指令集,以使所述飞行设备按照所述第二飞行指令集包括的各条第二目标控制指令的指示执行相对应的操作,所述第二语音指令中包括自定义参数和单次动作关键词,所述自定义参数包括所述图像中的地标名称;
第二生成单元,用于获取与所述地标名称相匹配的第一位置坐标;以及,根据与所述单次动作关键词对应的预设控制指令和所述第一位置坐标,生成第二目标控制指令。
8.一种车辆,其特征在于,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如权利要求1-6任意一项所述的方法。
9.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-6任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111063755.2A CN113778125B (zh) | 2021-09-10 | 2021-09-10 | 基于语音的飞行设备控制方法、装置、车辆及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111063755.2A CN113778125B (zh) | 2021-09-10 | 2021-09-10 | 基于语音的飞行设备控制方法、装置、车辆及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113778125A CN113778125A (zh) | 2021-12-10 |
CN113778125B true CN113778125B (zh) | 2024-05-03 |
Family
ID=78842592
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111063755.2A Active CN113778125B (zh) | 2021-09-10 | 2021-09-10 | 基于语音的飞行设备控制方法、装置、车辆及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113778125B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018090807A1 (zh) * | 2016-11-17 | 2018-05-24 | 亿航智能设备(广州)有限公司 | 飞行拍摄控制系统和方法、智能移动通信终端、飞行器 |
CN108122553A (zh) * | 2017-12-20 | 2018-06-05 | 深圳市道通智能航空技术有限公司 | 一种无人机控制方法、装置、遥控设备和无人机系统 |
CN109997355A (zh) * | 2016-11-24 | 2019-07-09 | 株式会社电装 | 信息提供系统、车辆用装置、信息提供程序 |
CN110347182A (zh) * | 2019-07-23 | 2019-10-18 | 广汽蔚来新能源汽车科技有限公司 | 辅助驾驶装置、系统、无人机以及车辆 |
CN111627256A (zh) * | 2019-02-28 | 2020-09-04 | 上海博泰悦臻电子设备制造有限公司 | 无人机控制方法、车载终端及计算机可读存储介质 |
-
2021
- 2021-09-10 CN CN202111063755.2A patent/CN113778125B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018090807A1 (zh) * | 2016-11-17 | 2018-05-24 | 亿航智能设备(广州)有限公司 | 飞行拍摄控制系统和方法、智能移动通信终端、飞行器 |
CN109997355A (zh) * | 2016-11-24 | 2019-07-09 | 株式会社电装 | 信息提供系统、车辆用装置、信息提供程序 |
CN108122553A (zh) * | 2017-12-20 | 2018-06-05 | 深圳市道通智能航空技术有限公司 | 一种无人机控制方法、装置、遥控设备和无人机系统 |
CN111627256A (zh) * | 2019-02-28 | 2020-09-04 | 上海博泰悦臻电子设备制造有限公司 | 无人机控制方法、车载终端及计算机可读存储介质 |
CN110347182A (zh) * | 2019-07-23 | 2019-10-18 | 广汽蔚来新能源汽车科技有限公司 | 辅助驾驶装置、系统、无人机以及车辆 |
Also Published As
Publication number | Publication date |
---|---|
CN113778125A (zh) | 2021-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12007761B2 (en) | Unmanned aerial vehicle inspection system | |
US11794890B2 (en) | Unmanned aerial vehicle inspection system | |
CN106444843B (zh) | 无人机相对方位控制方法及装置 | |
US20190019141A1 (en) | Logistics system, package delivery method, and program | |
US11531340B2 (en) | Flying body, living body detection system, living body detection method, program and recording medium | |
JP7152836B2 (ja) | 無人飛行体のアクションプラン作成システム、方法及びプログラム | |
WO2016011590A1 (zh) | 一种数据处理方法、装置及飞行器 | |
JP6912281B2 (ja) | 飛行体、飛行制御システム、飛行制御方法、プログラム及び記録媒体 | |
CN113508351A (zh) | 控制方法、智能眼镜、可移动平台、云台、控制系统及计算机可读存储介质 | |
JP2020138681A (ja) | 無人飛行体の制御システム | |
CN107205111A (zh) | 摄像装置、移动装置、摄像系统、摄像方法和记录介质 | |
CN113747069A (zh) | 一种拍摄控制方法、装置及控制设备、拍摄设备 | |
CN110278717B (zh) | 控制飞行器飞行的方法及设备 | |
CN113759944A (zh) | 基于指定高度飞行的自动巡检方法、系统和设备 | |
CN113778125B (zh) | 基于语音的飞行设备控制方法、装置、车辆及存储介质 | |
CN113574487A (zh) | 无人机控制方法、装置及无人机 | |
WO2022188151A1 (zh) | 影像拍摄方法、控制装置、可移动平台和计算机存储介质 | |
CN112804441B (zh) | 无人机的控制方法及装置 | |
JP6495559B2 (ja) | 点群処理システム | |
US20240118703A1 (en) | Display apparatus, communication system, display control method, and recording medium | |
CN220518585U (zh) | 一种可自主避障的超低空抵近侦察无人机设备 | |
JP6495560B2 (ja) | 点群処理システム | |
CN113835440A (zh) | 飞行设备的控制方法及装置、车辆、飞行设备及存储介质 | |
KR20160089144A (ko) | 주차 지원 시스템 및 방법, 그리고 이를 실행하는 컴퓨터 판독 가능한 기록매체 | |
JP2022114809A (ja) | 電子機器、電子機器の制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |