CN112866953B - 基于终端车联网的无人机控制装置、方法、系统及介质 - Google Patents

基于终端车联网的无人机控制装置、方法、系统及介质 Download PDF

Info

Publication number
CN112866953B
CN112866953B CN202110122138.9A CN202110122138A CN112866953B CN 112866953 B CN112866953 B CN 112866953B CN 202110122138 A CN202110122138 A CN 202110122138A CN 112866953 B CN112866953 B CN 112866953B
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
terminal
vehicles
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110122138.9A
Other languages
English (en)
Other versions
CN112866953A (zh
Inventor
覃永进
陈长健
崔硕
陈程
聂家鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SAIC GM Wuling Automobile Co Ltd
Original Assignee
SAIC GM Wuling Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAIC GM Wuling Automobile Co Ltd filed Critical SAIC GM Wuling Automobile Co Ltd
Priority to CN202110122138.9A priority Critical patent/CN112866953B/zh
Publication of CN112866953A publication Critical patent/CN112866953A/zh
Application granted granted Critical
Publication of CN112866953B publication Critical patent/CN112866953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/34Adaptation of a single recogniser for parallel processing, e.g. by use of multiple processors or cloud computing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Telephonic Communication Services (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本发明公开了一种基于终端车联网的无人机控制装置、方法、系统及介质,本发明基于终端车联网的无人机控制装置包括:车辆、车机、终端车联网、手柄和无人机,所述车辆内部安装有所述车机,所述车机和所述终端车联网连接,所述终端车联网和所述手柄连接,所述手柄和所述无人机连接。本发明解决了现有技术中用户在汽车中无法便利地操控无人机的问题。

Description

基于终端车联网的无人机控制装置、方法、系统及介质
技术领域
本发明涉及通信网络技术领域,尤其涉及一种基于终端车联网的无人机控制装置、方法、系统及介质。
背景技术
目前,随着社会不断发展,汽车已经成为各个家庭必备的出行工具。另外随着无人机技术的普及,无人机已经被许多年轻人热捧的新兴技术,无人机也已经广泛应用在民用、商用、军事等领域。随着现在各行各业都提出了跨界融合,汽车与无人机的跨界融合无疑给汽车增添了十足的科技感和驾驶乐趣。但由于目前无人机主要靠手柄进行操作,上手存在一定的难度,且对新手有一定的要求,适用范围受到限制,因此当用户在汽车中操作无人机时,也会存在一定的操作难度,尤其当用户正在驾驶汽车时,更加无法便利地操控无人机,使得汽车与无人机的跨界融合存在较大的挑战。
发明内容
本发明的主要目的在于提出一种基于终端车联网的无人机控制装置、方法、系统及介质,旨在解决现有技术中用户在汽车中无法便利地操控无人机的技术问题。
为实现上述目的,本发明提供一种基于终端车联网的无人机控制装置,所述基于终端车联网的无人机控制装置包括:车辆、车机、终端车联网、手柄和无人机,所述车辆内部安装有所述车机,所述车机和所述终端车联网连接,所述终端车联网和所述手柄连接,所述手柄和所述无人机连接。
可选地,基于终端车联网的无人机控制装置包括云端,所述云端和所述终端车联网建立通信连接。
可选地,车机和所述终端车联网连接的连接方式为无线通讯连接,所述终端车联网和所述手柄连接的连接方式为有线连接,所述手柄和所述无人机连接的方式为无线通讯连接。
可选地,终端车联网包括终端,所述终端中安装有车联应用软件,所述车联应用软件与所述车机之间进行无线投屏。
此外,为实现上述目的,本发明还提供一种基于终端车联网的无人机控制方法,基于终端车联网的无人机控制方法应用于终端车联网,包括:
实时采集用户意图,对所述用户意图进行意图识别,基于所述意图识别的识别结果确定所述无人机对应的控制指令;
若所述控制指令为有效控制指令,则将所述控制指令发送至所述无人机,以便所述无人机执行所述控制指令对应的运行动作。
可选地,实时采集用户意图,对所述用户意图进行意图识别,基于所述意图识别的识别结果确定所述无人机对应的控制指令的步骤,包括:
获取所述车辆实时采集的语音信息,并将所述语音信息作为用户意图发送至所述云端,其中,所述云端对接收的所述用户意图进行意图识别,以得到所述用户意图对应的识别指令,并将所述识别指令发送至终端车联网;
接收所述云端反馈的识别指令,并将所述识别指令作为所述无人机对应的控制指令。
此外,为实现上述目的,本发明还提供一种基于终端车联网的无人机控制方法,基于终端车联网的无人机控制方法应用于云端,包括:
接收所述终端车联网发送的用户意图,对所述用户意图进行意图识别,确定所述意图识别的识别结果;
获取预设的指令意图映射表,将所述识别结果和所述指令意图映射表中的所有意图进行匹配;
若在各所述意图中存在和所述识别结果匹配的目标意图,则将所述目标意图对应的指令作为识别指令发送至所述终端车联网。
可选地,将所述识别结果和所述指令意图映射表中的所有意图进行匹配的步骤之后,包括:
若在各所述意图中不存在和所述识别结果匹配的目标意图,则获取预设的默认指令,并将所述默认指令作为识别指令发送至所述终端车联网。
此外,为实现上述目的,本发明还提供一种基于终端车联网的无人机控制系统,所述基于终端车联网的无人机控制系统包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于终端车联网的无人机控制程序,所述基于终端车联网的无人机控制程序被所述处理器执行时实现如上所述的基于终端车联网的无人机控制方法的步骤。
此外,为实现上述目的,本发明还提供一种介质,所述介质上存储有基于终端车联网的无人机控制程序,所述基于终端车联网的无人机控制程序被处理器执行时实现如上所述的基于终端车联网的无人机控制方法的步骤。
本发明通过实时采集用户意图,对所述用户意图进行意图识别,基于所述意图识别的识别结果确定所述无人机对应的控制指令;若所述控制指令为有效控制指令,则将所述控制指令发送至所述无人机,以便所述无人机执行所述控制指令对应的运行动作。通过对实时采集的用户意图进行意图识别,根据意图识别的识别结果确定无人机对应的控制指令,并在控制指令为有效控制指令时,将其发送至无人机,以便无人机执行控制指令对应的运行动作,从而避免了现有技术中用户在汽车中,无法操控无人机的现象发生,提高了用户在汽车中操控无人机的便利性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的基于终端车联网的无人机控制设备结构示意图;
图2为本发明基于终端车联网的无人机控制方法第二实施例的流程示意图;
图3为本发明基于终端车联网的无人机控制方法第三实施例的流程示意图;
图4为本发明基于终端车联网的无人机控制装置的示意图;
图5为本发明基于终端车联网的无人机控制装置中终端和车联应用软件的场景示意图。
附图标号:
标号 名称 标号 名称
101 车辆 102 车机
103 终端车联网 104 云端
105 手柄 106 无人机
1031 终端 1032 车联应用软件
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明,本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
在本发明中,除非另有明确的规定和限定,术语“连接”、“固定”等应做广义理解,例如,“固定”可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
另外,在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
本发明提出了一种基于终端车联网的无人机控制装置,在本发明基于终端车联网的无人机控制装置第一实施例中,参照图4,基于终端车联网的无人机控制装置包括车辆101、车机102、终端车联网103、手柄105和无人机106。而且由于目前用户在汽车中无法便利地操控无人机,因此在本实施例中,会在车辆101内部安装车机102、并建立车机102和终端车联网103的连接,便于车机102和终端车联网103的通信。而且在本实施例中,还会建立终端车联网103和手柄105的通信连接,该手柄105需要和无人机106建立有通信连接,而终端车联网103会通过手柄105来控制无人机106的运行。
而且在实施例中,车机102指的是安装在汽车里面的车载信息娱乐产品的简称,车机102在功能上能够实现人与车,车与外界(车与车)的信息通讯。手柄105是用于控制无人机106的手柄。车辆101可以是无人驾驶车辆、或人工驾驶车辆、或可自由切换无人驾驶/人工驾驶的智能车辆。
并且为了避免终端车联网的运行过载,如图4所示,还会在基于终端车联网的无人机控制装置中设备云端104,并建立云端104和终端车联网103的通信连接,保障云端104和终端车联网103之间的正常通信往来。而且云端104和终端车联网103的通信连接方式可以设置为以太网连接。并且在本实施例中,终端车联网103会主动采集用户的用户意图,并将用户意图发送至云端104,通过云端104对用户意图进行意图识别,以确定无人机对应的控制指令,并将此控制指令反馈至终端车联网103。
并且在本实施例中,车机102和终端车联网103之间的连接方式会设置为无线通讯连接,以便用户在驾驶汽车行驶过程中,不会由于线路的限制,而导致用户操控终端车联网的空间限制,使得用户在汽车中更加便利地操控终端车联网。而且终端车联网103和手柄105之间的连接方式会设置为有线连接,从而保障终端车联网103和手柄105之间的数据通信的稳定性,使得终端车联网103可以稳定地通过手柄105操控无人机106的运行。
并且,本实施例中的有线连接包括USB(通用串行总线)连接、Type-C(USB接口的一种连接界面)连接。无线通讯连接包括WIFI网络、蓝牙和5G通信网络等。
并且在本实施例中,参照图5,终端车联网103包括终端1031,终端1031中安装有车联应用软件1032,该车联应用软件1032在启动后会与车机102之间进行无线投屏。也就是在本实施例中,车联应用软件1032会集成无人机控制APP的SDK。车联应用软件1032与车机102进行无线投屏,实现终端车联网103的功能,即在车机102中会进行无人机103界面显示及可操控无人机106拍照、录像等功能。并且同时会通过终端车联网103实现无人机106的语音操控,比如语音一键起飞、语音一键返航、一键拍照和跟车飞行等功能。其中,终端1031可以是移动终端,如手机、平板电脑和可穿戴设备等。
并且要实现终端车联网103的功能,会将终端1031与无人机的手柄105相连接,即建立终端1031与无人机的手柄105之间的通信连接。而且由于终端和车机之间有进行无线投屏,因此终端1031和手柄105之间的连接会实现车辆101、车机102、终端车联网103、手柄105和无人机106的连接。
在本实施例中,通过将车联应用软件1032无线投屏到车机102中,从而避免了无人机106显示界面小的局限性,并且通过终端车联网103实现无人机106语音操控,以避免无人机106操作的复杂性,让用户可以直接通过语音来操纵无人机106,提高了用户的体验感,增加了用户在车辆101驾驶过程中的驾驶乐趣,实现了车辆101和无人机106之间的跨界融合,给汽车增添了十足的科技感。而且通过车辆101、终端1031、无人机106的连接,车机102显示无人机106界面,提供了简单、方便直观的无人机106操作界面和按键,让用户可以直接在车机102上进行相应的按键操作,以操控无人机106。并且通过与终端车联网103结合,可以充分利用终端车联网103的网联优势,实现无人机106语音操控,比如语音一键起飞、语音一键返航、一键拍照和跟车飞行等功能。
也就是在本实施例中,通过利用终端车联网103、车辆101与无人机106的跨界融合,实现了车内操控无人机106与语音控制无人机106的功能,给无人机的操控增加了便捷性和娱乐性,车辆驾驶添加了乐趣,避免了现有技术中用户在汽车中无法便利地操控无人机的现象发生。
此外,如图1所示,图1是本发明实施例方案涉及的硬件运行环境的基于终端车联网的无人机控制设备结构示意图。
本发明实施例基于终端车联网的无人机控制设备可以是搭载了虚拟化平台的PC机或服务器(如X86服务器)等终端设备。
如图1所示,该基于终端车联网的无人机控制设备可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于终端车联网的无人机控制程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的基于终端车联网的无人机控制程序,并执行以下安全组件的权限配置方法实施例中的操作。
基于上述硬件结构和基于终端车联网的无人机控制装置,提出本发明基于终端车联网的无人机控制方法实施例,如下所述。
参照图2,图2为本发明基于终端车联网的无人机控制方法第二实施例的流程示意图,基于终端车联网的无人机控制方法包括:
步骤S10,实时采集用户意图,对所述用户意图进行意图识别,基于所述意图识别的识别结果确定所述无人机对应的控制指令;
在本实施例中,基于终端车联网的无人机控制方法应用于终端车联网。并且为避免现有技术中的无人机操作复杂、无人机显示界面小、车辆和无人机的跨界融合较难,导致用户在汽车中无法便利地操控无人机的问题。因此在本实施例中,先设置好基于终端车联网的无人机控制装置,其基于终端车联网的无人机控制装置包括车辆、车机、终端车联网、云端、手柄和无人机。而且通过车联应用软件集成无人机控制APP(Application,应用程序)的SDK(Software Development Kit,软件开发工具包),控制终端中的车联应用软件与车机进行无线投屏,实现车机车联网功能。也就是在终端中先安装启动车联应用软件,再让车联应用软件无线投屏到车机中,以实现终端车联网功能,并且通过无线投屏功能也避免了无人机显示界面小,用户操作困难的现象发生。而且在本实施例中,会建立终端与无人机的手柄的通讯连接,如有线连接,即此时汽车会通过终端与无人机建立通讯连接,实现了车辆、车机、终端、无人机的连接。而且由于车联应用软件可以操控无人机,车联应用软件无线投屏到车机中,因此在车机中可以进行无人机界面显示及操控无人机的拍照、录像等功能。并且在本实施例中,还可以通过终端车联网实现无人机语音操控,比如语音一键起飞、语音一键返航、一键拍照、跟车飞行等功能,即获取用户的语音信息,进行识别,再根据识别结果发送相应的指令到无人机,以操控无人机的运行,从而避免了无人机操作复杂的现象发生,使得用户在汽车中更加便利地操控无人机。
在本实施例中,当构建好基于终端车联网的无人机控制装置,建立好车辆、车机、终端车联网、云端、手柄和无人机的通讯连接后。可以实时采集用户意图,而采集用户意图的地点可以是在汽车内部,也可以是在汽车外部,而采集用户意图的方式可以是采集用户的语音信息,根据语音信息来确定用户意图。如先在车辆上安装语音采集传感器,并通过语音采集传感器采集用户的语音信息,将采集的语音信息传递到车机,并通过车机传递到终端车联网。或者是通过车机采集语音信息,再传递到终端车联网,又或者是直接通过终端车联网对应的终端直接采集用户的语音信息,并将其移动至车联应用软件专用的文件中。
采集用户意图的方式还可以是采集用户的手势信息,并根据手势信息确定用户意图。即通过车辆中安装的手势采集传感器采集用户的手势信息,并将其传递到车机,由车机传递到终端车联网。或者是直接通过终端车联网对应的终端直接进行采集等方式采集用户的手势信息。
采集用户意图的方式还可以是直接获取用户输入的指令信息,根据输入的指令信息确定用户意图。即当检测到用户直接在车机上输入控制无人机的控制指令时,直接将控制指令传递至终端车联网,也就是终端中安装的车联应用软件,或者是直接在车辆应用软件中获取用户输入的指令信息。而输入指令信息的方式可以是车机或车联应用软件显示一个或多个虚拟指令,当检测到用户触摸某一个虚拟指令时,直接将此触摸的虚拟指令作为输入的指令信息,或者是根据用户输入的文字信息确定输入的指令信息等。并且在本实施例中,采集用户意图的方式并不局限于根据上述语音信息、或手势信息、或指令信息确定用户的意图的方式,还可以是其他方式,如根据用户面部表情来确定用户意图等。
当采集到用户意图后,需要对用户意图进意图识别,以便根据意图识别的识别结果来确定无人机对应的控制指令,即控制无人机的控制指令。而对用户意图进行意图识别即可以是在终端车联网对应的终端中进行,也可以是在云端中进行。在本实施例中,优选地是在云端中进行意图识别,即先将用户意图发送至云端,并在云端中对用户意图进行意图识别,再根据意图识别结果确定相应的识别指令,并将此识别指令发送至终端车联网,此时终端车联网就可以直接将此识别指令作为无人机对应的控制指令。而且需要说明的是,当终端车联网获取的是语音信息时,终端车联网会直接将语音信息作为用户意图发送至云端,云端对语音信息进行语音识别,以确定相应的识别指令。当终端车联网获取的是手势信息,终端车联网会直接将手势信息作为用户意图发送至云端,云端对手势信息进行手势识别,以确定相应的识别指令。当终端车联网获取的是指令信息,终端车联网会直接将指令信息作为用户意图发送至云端,云端对指令信息直接进行识别,以确定相应的识别指令。
具体地,实时采集用户意图,对所述用户意图进行意图识别,基于所述意图识别的识别结果确定所述无人机对应的控制指令的步骤,包括:
步骤a,获取所述车辆实时采集的语音信息,并将所述语音信息作为用户意图发送至所述云端,其中,所述云端对接收的所述用户意图进行意图识别,以得到所述用户意图对应的识别指令,并将所述识别指令发送至终端车联网;
在本实施例中,在采集用户意图时,可以通过车辆中提前安装的语音采集传感器实时采集语音信息,并在车辆采集到语音信息后可以将采集的语音信息发送至车机通过车机发送至终端车联网。然后终端车联网会将获取的车辆实时采集的语音信息作为用户意图发送至云端。云端会对接收的用户意图进行意图识别,以得到意图识别的识别结果,也就是对语音信息进行语音识别,并将语音识别的识别结果和提前设置的指令意图映射表中的所有意图进行匹配,以确定识别结果对应的匹配意图,并将此匹配意图在指令意图映射表中的指令作为识别指令发送至终端车联网。若在指令意图映射表中不存在和识别结果匹配的匹配意图,则直接获取提前设置的默认指令(如保持当前无人机状态不变的指令),并将此默认指令作为识别指令发送至终端车联网。
步骤b,接收所述云端反馈的识别指令,并将所述识别指令作为所述无人机对应的控制指令。
在终端车联网中,当接收到云端反馈的识别指令后,可以直接将此识别指令作为无人机对应的控制指令,如控制无人机拍照、录像等。并且在获取到控制指令后,还需要对控制指令进行检测,确定控制指令是否为有效控制指令,即检测云端传输过来的控制指令是否完整,若存在缺失部分参数,则确定控制指令不是有效控制指令,则直接输出终端车联网存在故障的提示信息,并停止将控制指令发送至手柄的操作。若云端传输过来的控制指令完整,则需要检测控制指令是否和无人机当前的运行动作对应的指令相冲突。如当前无人机正在进行跟车拍照操作,且处于向前运行的状态(即此时车辆处于运行状态),若控制指令是控制无人机停止在车辆车轮前方不动,则确定控制指令和无人机当前的运行动作对应的指令相冲突。若相冲突,则确定控制指令不是有效控制指令,若不冲突,则确定控制指令是有效控制指令。
步骤S20,若所述控制指令为有效控制指令,则将所述控制指令发送至所述无人机,以便所述无人机执行所述控制指令对应的运行动作。
当经过判断发现控制指令为有效控制指令时,可以直接将有效控制指令发送至手柄,并通过手柄发送至无人机,以便无人机根据控制指令执行控制指令。而且在本实施例中,终端车联网会实时获取车辆的位置信息和无人机的位置信息,以便确定无人机和车辆之间的距离,并在距离大于预设阈值时,直接向无人机发送跟踪命令,以便无人机根据此跟踪命令进行运行,即无人机会随着车辆的运行而移动。
在本实施例中,通过实时采集用户意图,对所述用户意图进行意图识别,基于所述意图识别的识别结果确定所述无人机对应的控制指令;若所述控制指令为有效控制指令,则将所述控制指令发送至所述无人机,以便所述无人机执行所述控制指令对应的运行动作。通过对实时采集的用户意图进行意图识别,根据意图识别的识别结果确定无人机对应的控制指令,并在控制指令为有效控制指令时,将其发送至无人机,以便无人机执行控制指令对应的运行动作,从而避免了现有技术中用户在汽车中,无法操控无人机的现象发生,提高了用户在汽车中操控无人机的便利性。
进一步地,基于上述基于终端车联网的无人机控制装置,提出了一种基于终端车联网的无人机控制方法,参照图3,图3为本发明基于终端车联网的无人机控制方法的第三实施例的流程示意图,基于终端车联网的无人机控制方法还包括:
步骤S100,接收所述终端车联网发送的用户意图,对所述用户意图进行意图识别,确定所述意图识别的识别结果;
在本实施例中,基于终端车联网的无人机控制方法应用于云端。并且为避免现有技术中的无人机操作复杂、无人机显示界面小、车辆和无人机的跨界融合较难,导致用户在汽车中无法便利地操控无人机的问题。因此在本实施例中,先设置好基于终端车联网的无人机控制装置,其基于终端车联网的无人机控制装置包括车辆、车机、终端车联网、云端、手柄和无人机。而且通过车联应用软件集成无人机控制APP的SDK,控制终端中的车联应用软件与车机进行无线投屏,实现车机车联网功能。也就是在终端中先安装启动车联应用软件,再让车联应用软件无线投屏到车机中,以实现终端车联网功能,并且通过无线投屏功能也避免了无人机显示界面小,用户操作困难的现象发生。而且在本实施例中,会建立终端与无人机的手柄的通讯连接,如有线连接,即此时汽车会通过终端与无人机建立通讯连接,实现了车辆、车机、终端、无人机的连接。而且由于车联应用软件可以操控无人机,车联应用软件无线投屏到车机中,因此在车机中可以进行无人机界面显示及操控无人机的拍照、录像等功能。并且在本实施例中,还可以通过终端车联网实现无人机语音操控,比如语音一键起飞、语音一键返航、一键拍照、跟车飞行等功能,即获取用户的语音信息,进行识别,再根据识别结果发送相应的指令到无人机,以操控无人机的运行,从而避免了无人机操作复杂的现象发生,使得用户在汽车中更加便利地操控无人机。
而且在云端中,会接收终端车联网发送的用户意图,并对用户意图进行意图识别,以确定意图识别的识别结果。当终端车联网将语音信息作为用户意图发送至云端时,云端对语音信息进行语音识别,以确定相应的识别指令。当终端车联网将手势信息作为用户意图发送至云端时,云端对手势信息进行手势识别,以确定相应的识别指令。当终端车联网将指令信息作为用户意图发送至云端时,云端对指令信息直接进行识别,以确定相应的识别指令。
而且需要说明的是,在本实施例中,云端在进行用户意图识别时,还会进行权限检测,即获取登录终端车联网的登录账号,并检测登录账号是否具有操控无人机的权限,若具有,则进行用户意图识别。若不具有,则不进行用户意图识别。
步骤S200,获取预设的指令意图映射表,将所述识别结果和所述指令意图映射表中的所有意图进行匹配;
在本实施例中,在进行用户意图识别时,可以是获取用户提前设置的指令意图映射表。并将对用户意图识别的识别结果和指令意图映射表中的所有意图进行匹配,以便根据不同的匹配结果执行不同的操作。而且在本实施例中,指令意图映射表至少包括用户提前设置的多个意图和各个意图对应的指令。
进一步地,将所述识别结果和所述指令意图映射表中的所有意图进行匹配的步骤之后,包括:
步骤e,若在各所述意图中不存在和所述识别结果匹配的目标意图,则获取预设的默认指令,并将所述默认指令作为识别指令发送至所述终端车联网。
当经过判断发现在各个意图中不存在和识别结果匹配的目标意图时,可以直接获取提前设置的默认指令(如保持当前无人机状态不变的指令),并将此默认指令作为识别指令发送至终端车联网。
步骤S300,若在各所述意图中存在和所述识别结果匹配的目标意图,则将所述目标意图对应的指令作为识别指令发送至所述终端车联网。
当在各个意图中存在和识别结果匹配的意图时,将此匹配的意图作为目标意图,并在指令意图映射表中确定目标意图对应的指令,将此指令作为识别指令发送至终端车联网,以便终端车联网根据此识别指令控制无人机运行,从而实现车辆和无人机之间的跨界融合,让用户在车辆中也可以操控无人机。
在本实施例中,通过接收所述终端车联网发送的用户意图,对所述用户意图进行意图识别,确定所述意图识别的识别结果;获取预设的指令意图映射表,将所述识别结果和所述指令意图映射表中的所有意图进行匹配;若在各所述意图中存在和所述识别结果匹配的目标意图,则将所述目标意图对应的指令作为识别指令发送至所述终端车联网。通过接收终端车联网发送的用户意图,并进行意图识别,根据识别结果和指令意图映射表确定目标意图,并将目标意图对应的指令作为识别指令发送至终端车联网,从而避免了在终端中进行意图识别时,占用终端过多内存资源,而影响到对无人机的控制,使得用户对无人机的操控的便利性受到影响,提高了用户在汽车中操控无人机的便利性。
此外,本发明还提供一种基于终端车联网的无人机控制系统,所述基于终端车联网的无人机控制系统包括:存储器、处理器以及存储在所述存储器上的基于终端车联网的无人机控制程序:
所述处理器用于执行所述基于终端车联网的无人机控制程序,以实现上述基于终端车联网的无人机控制方法各实施例的步骤。
本发明还提供一种介质,介质可以为计算机可读存储介质。
本发明介质上存储有基于终端车联网的无人机控制程序,所述基于终端车联网的无人机控制程序被处理器执行时实现如上所述的基于终端车联网的无人机控制方法的步骤。
其中,在所述处理器上运行的基于终端车联网的无人机控制程序被执行时所实现的方法可参照本发明基于终端车联网的无人机控制方法各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于终端车联网的无人机控制装置,其特征在于,所述基于终端车联网的无人机控制装置包括:车辆、车机、终端车联网、手柄和无人机,所述车辆内部安装有所述车机,所述车机和所述终端车联网连接,所述终端车联网和所述手柄连接,所述手柄和所述无人机连接,其中,所述车辆上安装有语音采集传感器,所述语音采集传感器和车机连接,所述语音采集传感器将采集的语音信息传递到所述车机,所述车机将所述语音信息传递到终端车联网,以实现在车辆内部进行语音控制无人机拍照和录像;
其中,所述车辆上安装有手势采集传感器,所述手势采集传感器采集用户的手势信息,并将所述手势信息传递到所述车机,所述车机将所述手势信息传递到终端车联网,以实现在车辆内部进行手势控制无人机拍照和录像;
其中,所述基于终端车联网的无人机控制装置包括云端,所述云端和所述终端车联网建立通信连接,所述终端车联网主动采集用户的用户意图,并将所述用户意图发送至云端,所述云端对所述用户意图进行意图识别,以确定无人机对应的控制指令,将所述控制指令反馈至所述终端车联网,若所述控制指令为有效控制指令,则将所述控制指令发送至所述无人机,以便所述无人机执行所述控制指令对应的运行动作;
其中,在当前无人机正在进行跟车拍照操作,且处于向前运行的状态,车辆处于运行状态,若控制指令是控制无人机停止在车辆车轮前方不动,则确定控制指令和无人机当前的运行动作对应的指令相冲突;若相冲突,则确定控制指令不是有效控制指令,并输出终端车联网存在故障的提示信息,停止将所述控制指令发送至所述无人机;
其中,终端车联网实时获取车辆的位置信息和无人机的位置信息,以便确定无人机和车辆之间的距离,并在距离大于预设阈值时,直接向无人机发送跟踪命令,以便无人机随着车辆的运行而移动。
2.如权利要求1所述的基于终端车联网的无人机控制装置,其特征在于,所述车机和所述终端车联网连接的连接方式为无线通讯连接,所述终端车联网和所述手柄连接的连接方式为有线连接,所述手柄和所述无人机连接的方式为无线通讯连接。
3.如权利要求1所述的基于终端车联网的无人机控制装置,其特征在于,所述终端车联网包括终端,所述终端中安装有车联应用软件,所述车联应用软件与所述车机之间进行无线投屏。
4.一种基于终端车联网的无人机控制方法,其特征在于,所述基于终端车联网的无人机控制方法应用于如权利要求1-3任一项所述的基于终端车联网的无人机控制装置,所述基于终端车联网的无人机控制方法应用于所述终端车联网,所述基于终端车联网的无人机控制方法包括:
实时采集用户意图,对所述用户意图进行意图识别,基于所述意图识别的识别结果确定所述无人机对应的控制指令;
若所述控制指令为有效控制指令,则将所述控制指令发送至所述无人机,以便所述无人机执行所述控制指令对应的运行动作。
5.如权利要求4所述的基于终端车联网的无人机控制方法,其特征在于,所述实时采集用户意图,对所述用户意图进行意图识别,基于所述意图识别的识别结果确定所述无人机对应的控制指令的步骤,包括:
获取所述车辆实时采集的语音信息,并将所述语音信息作为用户意图发送至所述云端,其中,所述云端对接收的所述用户意图进行意图识别,以得到所述用户意图对应的识别指令,并将所述识别指令发送至终端车联网;
接收所述云端反馈的识别指令,并将所述识别指令作为所述无人机对应的控制指令。
6.一种基于终端车联网的无人机控制方法,其特征在于,所述基于终端车联网的无人机控制方法应用于如权利要求1-3任一项所述的基于终端车联网的无人机控制装置,所述基于终端车联网的无人机控制方法应用于所述云端,所述基于终端车联网的无人机控制方法包括:
接收所述终端车联网发送的用户意图,对所述用户意图进行意图识别,确定所述意图识别的识别结果;
获取预设的指令意图映射表,将所述识别结果和所述指令意图映射表中的所有意图进行匹配;
若在各所述意图中存在和所述识别结果匹配的目标意图,则将所述目标意图对应的指令作为识别指令发送至所述终端车联网。
7.如权利要求6所述的基于终端车联网的无人机控制方法,其特征在于,所述将所述识别结果和所述指令意图映射表中的所有意图进行匹配的步骤之后,包括:
若在各所述意图中不存在和所述识别结果匹配的目标意图,则获取预设的默认指令,并将所述默认指令作为识别指令发送至所述终端车联网。
8.一种基于终端车联网的无人机控制系统,其特征在于,所述基于终端车联网的无人机控制系统包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于终端车联网的无人机控制程序,所述基于终端车联网的无人机控制程序被所述处理器执行时实现如权利要求4-5或权利要求6-7中任一项所述的基于终端车联网的无人机控制方法的步骤。
9.一种介质,其特征在于,所述介质上存储有基于终端车联网的无人机控制程序,所述基于终端车联网的无人机控制程序被处理器执行时实现如权利要求4-5或权利要求6-7中任一项所述的基于终端车联网的无人机控制方法的步骤。
CN202110122138.9A 2021-01-28 2021-01-28 基于终端车联网的无人机控制装置、方法、系统及介质 Active CN112866953B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110122138.9A CN112866953B (zh) 2021-01-28 2021-01-28 基于终端车联网的无人机控制装置、方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110122138.9A CN112866953B (zh) 2021-01-28 2021-01-28 基于终端车联网的无人机控制装置、方法、系统及介质

Publications (2)

Publication Number Publication Date
CN112866953A CN112866953A (zh) 2021-05-28
CN112866953B true CN112866953B (zh) 2023-07-04

Family

ID=75987864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110122138.9A Active CN112866953B (zh) 2021-01-28 2021-01-28 基于终端车联网的无人机控制装置、方法、系统及介质

Country Status (1)

Country Link
CN (1) CN112866953B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109495967A (zh) * 2017-09-11 2019-03-19 华为技术有限公司 一种控制信息发送方法、接收方法、发送设备和接收设备
WO2019122842A1 (en) * 2017-12-21 2019-06-27 AV8OR IP Limited Autonomous unmanned aerial vehicle and method of control thereof
CN110832419A (zh) * 2018-07-25 2020-02-21 深圳市大疆创新科技有限公司 一种无人机控制方法、系统及无人机
CN111169479A (zh) * 2020-01-14 2020-05-19 中国第一汽车股份有限公司 一种巡航控制方法、装置、系统、车辆及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425494A (zh) * 2013-08-06 2013-12-04 惠州华阳通用电子有限公司 一种车载终端与智能移动终端的信息交互系统
CN104991493B (zh) * 2015-06-24 2018-06-05 广州飞米电子科技有限公司 数据传输方法、装置及系统
CN105376348A (zh) * 2015-12-14 2016-03-02 深圳市高巨创新科技开发有限公司 一种无人机上网的方法
CN107492374A (zh) * 2017-10-11 2017-12-19 深圳市汉普电子技术开发有限公司 一种语音控制方法、智能设备及存储介质
CN108001666B (zh) * 2017-11-29 2019-12-10 安徽玄同工业设计有限公司 一种车载无人机
CN111198573A (zh) * 2018-11-20 2020-05-26 上海擎感智能科技有限公司 车辆、车机设备及基于车机设备的无人机控制方法
CN111338373A (zh) * 2018-12-18 2020-06-26 上海擎感智能科技有限公司 车载无人机操控方法、车机及车辆
CN111338372A (zh) * 2018-12-18 2020-06-26 上海擎感智能科技有限公司 车载无人机操控方法、车机及车辆
US20200202729A1 (en) * 2018-12-20 2020-06-25 William Tam System for autonomous unmanned aerial vehicle trajectory conflict resolution
CN109360568A (zh) * 2018-12-20 2019-02-19 西安Tcl软件开发有限公司 无人机语音控制方法、系统及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109495967A (zh) * 2017-09-11 2019-03-19 华为技术有限公司 一种控制信息发送方法、接收方法、发送设备和接收设备
WO2019122842A1 (en) * 2017-12-21 2019-06-27 AV8OR IP Limited Autonomous unmanned aerial vehicle and method of control thereof
CN110832419A (zh) * 2018-07-25 2020-02-21 深圳市大疆创新科技有限公司 一种无人机控制方法、系统及无人机
CN111169479A (zh) * 2020-01-14 2020-05-19 中国第一汽车股份有限公司 一种巡航控制方法、装置、系统、车辆及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Motion Algorithm for Unmanned Aerial Vehicle Landing on a Car;Ruiyang Zhou;《IEEE》;全文 *
基于深度学习无人机控制系统设计;陈程;《电脑知识技术》;全文 *
道路交通人车碰撞事故再现关键技术研究;张诗波;《中国优秀硕士学位论文全文数据库》;全文 *

Also Published As

Publication number Publication date
CN112866953A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
EP3503068B1 (en) Vehicle and control method
US10325519B2 (en) Vehicle tutorial system and method for sending vehicle tutorial to tutorial manager device
WO2018068647A1 (zh) 一种汽车与无人机之间的通信方法、装置、设备和操作系统
WO2022000448A1 (zh) 车内隔空手势的交互方法、电子装置及系统
US20170343375A1 (en) Systems to dynamically guide a user to an autonomous-driving vehicle pick-up location by augmented-reality walking directions
KR101711835B1 (ko) 차량, 차량의 동작 방법 및 웨어러블 디바이스의 동작 방법
US20170349184A1 (en) Speech-based group interactions in autonomous vehicles
US20170329329A1 (en) Controlling autonomous-vehicle functions and output based on occupant position and attention
KR20170025179A (ko) 보행자 추돌 방지 시스템 및 그 동작방법
CN108475055A (zh) 用于自主车辆的备用轨迹系统
CN113228620B (zh) 一种图像的获取方法以及相关设备
KR101927170B1 (ko) 차량과 모바일 통신 디바이스 접속을 위한 시스템 및 방법
JP2019508321A (ja) デバイスの自動車のヘッドユニットへの接続確立の方法、並びにそのためのヘッドユニット及びシステム
WO2016183825A1 (zh) 一种定位声音发出位置的方法和终端设备
US10611382B2 (en) Methods and systems for generating adaptive instructions
CN111762184A (zh) 车辆控制系统以及车辆
CN112866953B (zh) 基于终端车联网的无人机控制装置、方法、系统及介质
CN109683155B (zh) 传感器融合系统、方法、终端及存储介质
JP2020020987A (ja) 車内システム
CN113696835B (zh) 一种网约车的车载设备联动方法、系统、汽车及存储介质
KR20210005761A (ko) 자율성 극대화를 위한 자율주행차량 제어 시스템 및 이를 위한 자율성 제공 서버
KR20160064762A (ko) 차량용 디스플레이 장치 및 이를 구비한 차량
CN113759945A (zh) 远程控制方法、装置及第一、第二控制端
KR102303410B1 (ko) 자율주행차량의 카모지 제공 시스템, 이를 위한 카모지 제공 서버
JP7117454B2 (ja) 支援方法、および支援システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant