CN112783154A - 一种多智能任务处理方法及系统 - Google Patents

一种多智能任务处理方法及系统 Download PDF

Info

Publication number
CN112783154A
CN112783154A CN202011552493.1A CN202011552493A CN112783154A CN 112783154 A CN112783154 A CN 112783154A CN 202011552493 A CN202011552493 A CN 202011552493A CN 112783154 A CN112783154 A CN 112783154A
Authority
CN
China
Prior art keywords
intelligent
control
image
unmanned aerial
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011552493.1A
Other languages
English (en)
Inventor
刘飞阳
文鹏程
白林亭
李奕璇
王中华
李亚晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Aeronautics Computing Technique Research Institute of AVIC
Original Assignee
Xian Aeronautics Computing Technique Research Institute of AVIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Aeronautics Computing Technique Research Institute of AVIC filed Critical Xian Aeronautics Computing Technique Research Institute of AVIC
Priority to CN202011552493.1A priority Critical patent/CN112783154A/zh
Publication of CN112783154A publication Critical patent/CN112783154A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Acoustics & Sound (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供一种多智能任务处理方法及系统，方法应用于无人机上的多智能任务处理系统，所述多智能任务处理系统支持至少两种智能任务运行，智能任务之间能够交互，支持无人机的自主智能控制；所述方法包括：通过智能语音识别、智能手势识别、智能文字识别和智能图像目标检测的方式，获取多智能任务处理的原始信息；对所述原始信息进行处理，获得控制指令、目标物体的类型以及相对位置；根据所述控制指令，基于预设的智能决策控制，对无人机的飞行方向、速度进行控制，控制作动器设备进行载荷投掷任务，所述智能决策控制包括决策树、模糊决策、深度神经网络和强化学习智能算法；根据所述目标物体的类型以及相对位置，对所述目标物体进行跟踪和显示。

Description

一种多智能任务处理方法及系统
技术领域
本发明属于机载嵌入式计算领域，涉及一种多智能任务处理方法及系统。
背景技术
近年来随着无人机对智能自主任务的要求不断提高，以及以深度神经网络为代表的新一代人工智能算法的逐步推广应用，具备智能计算能力的机载嵌入式智能计算系统成为未来无人机的一个关键系统。针对无人机的完全智能自主任务应用需求，机载嵌入式智能计算系统需要能够同时支持多种智能任务，包括智能手势识别、智能文字识别、智能语音识别、智能图像目标检测、智能决策控制等。但是，由于目前人工智能的应用场景分散，智能算法在算法结构、硬件平台、运行环境等方面存在较大差异，缺少一个高效的支持多种智能任务的统一化嵌入式智能计算系统；基于不同功能的智能计算系统拼凑的方法，又会导致系统的体积、重量、功耗过高，难以在无人机特别是中小型无人机平台上应用。
发明内容
为了解决上述背景中提及的问题，本发明提供了一种多智能任务处理方法及系统，能够提升无人机的智能任务能力和处理效能。
第一方面，本申请提供一种多智能任务处理方法，所述方法应用于无人机上的多智能任务处理系统，所述多智能任务处理系统支持至少两种智能任务运行，智能任务之间能够交互，支持无人机的自主智能控制；所述方法包括：
通过智能语音识别、智能手势识别、智能文字识别和智能图像目标检测的方式，获取多智能任务处理的原始信息；
对所述原始信息进行处理，获得控制指令、目标物体的类型以及相对位置；
根据所述控制指令，基于预设的智能决策控制，对无人机的飞行方向、速度进行控制，控制作动器设备进行载荷投掷任务，所述智能决策控制包括决策树、模糊决策、深度神经网络和强化学习智能算法；
根据所述目标物体的类型以及相对位置，对所述目标物体进行跟踪和显示。
优选的，若通过智能语音识别，获取多智能任务处理的原始信息，则对所述原始信息进行处理，获得控制指令，具体包括：
通过智能语音识别，获取多智能任务处理的音频信号；
过滤所述音频信号的背景噪声，对所述音频信号进行放大；
根据所述音频信号，基于卷积神经网络或循环神经网络智能算法，获得的语音控制指令。
优选的，若通过智能手势识别，获取多智能任务处理的原始信息，则对所述原始信息进行处理，获得控制指令，具体包括：
通过智能手势识别，获取多智能任务处理的图形信息；
对所述图形信息进行图像预处理；
根据图像预处理后的图形信息，基于轻量化卷积神经网络智能算法，获得手势控制命令。
优选的，若通过智能文字识别，获取多智能任务处理的原始信息，则对所述原始信息进行处理，获得控制指令，具体包括：
通过智能文字识别，获取多智能任务处理的文字信息；
对所述文字信息进行图像预处理；
根据图像预处理后的文字信息，基于轻量化卷积神经网络智能算法，获得文字控制命令。
优选的，若通过智能图像目标检测，获取多智能任务处理的原始信息，则对所述原始信息进行处理，获得目标物体的类型以及相对位置，具体包括：
对获得的图像信息或者视频信息，进行图像预处理；
基于轻量化的深度卷积神经网络智能算法，对图像信息或者视频信息进行目标物体的识别和定位，获得智能图像目标检测结果，所述智能图像目标检测结果包括目标物体的类型以及相对位置；
当控制指令包含对所述目标物体进行跟踪时，根据所述智能图像目标检测结果，对所述目标物体在图像中的位置进行框定并通过终端显示；
所述基于规则的智能决策控制将根据特定目标物体在图像中的位置对飞行控制系统进行控制，使无人机持续跟踪目标物体。
优选的，根据所述控制指令，基于预设的智能决策控制，对无人机的飞行方向、速度进行控制，控制作动器设备进行载荷投掷任务，具体包括：
通过密码、声纹或者人脸识别方式，对控制人员进行身份认证；
身份认证通过后，将所述控制指令与决策控制指令库进行模糊匹配，控制指令包括飞行方向和速度，特定目标物体跟踪，载荷投掷任务。
第二方面，本申请提供一种多智能任务处理系统，所述机载嵌入式智能计算系统在组成结构上，包括多智能任务处理单元(1)、图像采集单元(2)、语音采集单元(3)、通信单元(4)、飞行控制单元(5)、做动器控制单元(6)，其中：
多智能任务处理单元(1)分别与图像采集单元(2)、语音采集单元(3)、通信单元(4)、飞行控制单元(5)和做动器控制单元(6)连接；
所述多智能任务处理单元(1)，用于运行多种智能任务，所述智能任务包括智能手势识别、智能文字识别、智能语音识别、智能图像目标检测、智能决策控制；
所述图像采集单元(2)，用于采集手势、字符、文字、标识以及高清图像、视频等多路图像信号；
所述语音采集单元(3)，用于采集语音信号，并对语音信号进行输入、放大，背景噪声过滤处理；
所述通信单元(4)，用于无人机与控制终端之间的无线数据通信，包括实现控制终端向无人机的控制指令下达，无人机向控制终端发送的飞行状态、图像目标跟踪显示信息上报；
所述飞行控制单元(5)，用于接收控制指令，完成无人机的飞行方向、速度控制；控制指令可以来自多智能任务处理单元的决策结果，也可以是控制终端通过通信单元直接传输的控制指令；
所述做动器控制单元(6)，用于接收控制指令，完成无人机载荷任务，包括：投掷、抛洒挂载在无人机上的载荷物体；控制指令可以来自多智能任务处理单元的决策结果，也可以是控制终端通过通信单元直接传输的控制指令。
优选的，所述多智能任务处理单元(1)的硬件形态包括FPGA、SoC、SIP处理芯片。
本发明的优点在于：支持多智能任务的机载嵌入式智能计算系统，基于可配置的智能计算软硬件组件设计，支持智能手势识别、智能文字识别、智能语音识别、智能图像目标检测、智能决策控制等智能任务。该系统具备以下智能任务处理能力：通过手势、语音、文字等类型输入指令控制无人机按照规定路线飞行；通过语音等类型输入指令控制无人机识别特定类型的目标并进行定位跟踪；通过手势、语音等类型输入指令控制无人机进行载荷投掷等其它任务，能够提升无人机的智能任务能力和处理效能。
附图说明
图1为本发明实施例提供的一种多智能任务处理系统的示意图；
图2为本发明实施例提供的一种多智能任务处理系统的运行示意图。
具体实施方式
实施例一
本发明实施例提供了一种支持多智能任务的机载嵌入式智能计算系统及设计方法，应用于无人机嵌入式计算系统，所述嵌入式计算系统支持至少两种智能任务运行，智能任务之间能够交互，支持无人机的自主智能控制；
所述智能任务至少包括：
(1)智能语音识别：基于卷积神经网络或循环神经网络智能算法，实现对音频采集设备输入的语音信号进行高精度识别，获得无人机操作人员的语音控制指令；
(2)智能手势识别：基于轻量化卷积神经网络智能算法，实现对图像采集设备输入的操作人员手势进行高精度识别，获得无人机操作人员的手势控制指令；
(3)智能文字识别：基于轻量化卷积神经网络智能算法，实现对图像采集设备输入的字符、图标、文字等类型信息进行高精度识别，使无人机自主飞行过程中获得预先设置的字符、图标、文字等类型控制指令；
(4)智能图像目标检测：基于轻量化的深度卷积神经网络智能算法，实现对图像采集设备输入的高清图像/视频中各种目标物体/障碍物的检测和识别，获得各种目标物体的类型(建筑、车辆、人员、飞机、船舶、树木等)以及相对位置；
(5)智能决策控制：根据语音、手势、文字等控制指令输入以及目标物体的检测识别结果，基于决策树、模糊决策、深度神经网络、强化学习等智能算法，实现智能决策控制，包括：控制无人机的飞行方向、速度；控制无人机确认、跟踪特定目标物体或特定类型物体；控制无人机进行载荷投掷等任务。
进一步，所述机载嵌入式智能计算系统在组成结构上，包括：
(1)多智能任务处理单元：支持智能手势识别、智能文字识别、智能语音识别、智能图像目标检测、智能决策控制等多种智能任务运行，基于可配置的智能计算组件实现，硬件形态包括FPGA、SoC、SIP等处理芯片；
(2)图像采集单元：支持手势、字符、文字、标识以及高清图像、视频等多路图像的信号输入；
(3)语音采集单元：支持语音信号输入、放大，背景噪声过滤等，语音信号可以是无人机麦克风采集到的信号，也可以是通过通信单元从控制终端传输的；
(4)通信单元：实现无人机与控制终端之间的无线数据通信，包括实现控制终端向无人机的控制指令下达，无人机向控制终端发送的飞行状态、图像目标跟踪显示等信息上报；
(5)飞行控制单元：接收控制指令，完成无人机的飞行方向、速度控制；控制指令可以来自多智能任务处理单元的决策结果，也可以是控制终端通过通信单元直接传输的控制指令；
(6)其它做动器控制单元：接收控制指令，完成无人机其它载荷任务，包括：投掷、抛洒挂载在无人机上的载荷物体等；控制指令可以来自多智能任务处理单元的决策结果，也可以是控制终端通过通信单元直接传输的控制指令；
进一步，所述多智能任务处理单元是支持多智能任务运行的核心，基于可配置的智能计算组件实现，在功能上包括：
(1)图像预处理：完成图像的剪切、拼接等预处理，输出为满足对应人工智能算法计算要求格式的图像；
(2)背景噪声过滤：过滤音频信号的背景噪声，对语音信号进行放大，提升基于人工智能算法的语音识别的准确率，输出为控制命名语音信号；
(3)智能手势识别：基于轻量化卷积神经网络智能算法，实现手势控制命令的高精度识别；
(4)智能文字识别：基于轻量化卷积神经网络智能算法，实现字符、文字、标识等的高精度识别；
(5)智能语音识别：基于卷积神经网络或循环神经网络智能算法，实现语音控制命令的高精度识别；
(6)智能图像目标检测：基于轻量化的深度卷积神经网络智能算法，实现输入高清图像中目标物体的识别和定位；
(7)身份认证及控制指令匹配：通过密码、声纹、人脸识别等方式，对控制人员进行身份认证；身份认证通过后，对语音、手势、文字等控制指令识别结果，或者远程控制终端的控制指令输入，与决策控制指令库进行模糊匹配，控制指令包括飞行方向和速度，特定目标物体跟踪，载荷投掷等任务；身份认证不通过，则按照原有状态工作；
(8)基于规则的智能决策控制：根据控制指令匹配结果，按照预先定义的控制规则，基于决策树、模糊决策、深度神经网络、强化学习等智能算法，对机载嵌入式智能计算系统的飞行控制单元及其它做动器控制单元进行控制，确定远程终端显示的目标物体跟踪结果；
(9)特定目标跟踪及显示：当控制指令包含对特定目标物体进行跟踪时，所述基于规则的智能决策控制将根据所述智能图像目标检测的结果，对特定目标物体在图像中的位置进行框定并将结果通过所述通信单元传输给终端显示；同时所述基于规则的智能决策控制将根据特定目标物体在图像中的位置对飞行控制系统进行控制，使无人机持续根据目标物体。
实施例二
以下结合附图对本发明进行详述。
参见图1，为本发明实施例提供的一种支持多智能任务的机载嵌入式智能计算系统及设计方法的示意图。
所述机载嵌入式智能计算系统支持的智能任务类型包括：智能手势识别、智能文字识别、智能语音识别、智能图像目标检测、智能决策控制等。
所述机载嵌入式智能计算系统支持多智能任务运行的核心是多智能任务处理单元，它在功能结构上包括：
图像预处理：完成图像的剪切、拼接等预处理，输出为满足对应人工智能算法计算要求格式的图像；
背景噪声过滤：过滤音频信号的背景噪声，对语音信号进行放大，提升基于人工智能算法的语音识别的准确率，输出为控制命名语音信号；
智能手势识别：基于轻量化卷积神经网络智能算法，实现手势控制命令的高精度识别；
智能文字识别：基于轻量化卷积神经网络智能算法，实现字符、文字、标识等的高精度识别；
智能语音识别：基于卷积神经网络或循环神经网络智能算法，实现语音控制命令的高精度识别；
智能图像目标检测：基于轻量化的深度卷积神经网络智能算法，实现输入高清图像中目标物体的识别和定位；
身份认证及控制指令匹配：通过密码、声纹、人脸识别等方式，对控制人员进行身份认证；身份认证通过后，对语音、手势、文字等控制指令识别结果，或者远程控制终端的控制指令输入，与决策控制指令库进行模糊匹配，控制指令包括飞行方向和速度，特定目标物体跟踪，载荷投掷等任务；身份认证不通过，则按照原有状态工作；
基于规则的智能决策控制：根据控制指令匹配结果，按照预先定义的控制规则，基于决策树、模糊决策、深度神经网络、强化学习等智能算法，对机载嵌入式智能计算系统的飞行控制单元及其它做动器控制单元进行控制，确定远程终端显示的目标物体跟踪结果；
特定目标跟踪及显示：当控制指令包含对特定目标物体进行跟踪时，所述基于规则的智能决策控制将根据所述智能图像目标检测的结果，对特定目标物体在图像中的位置进行框定并将结果通过所述通信单元传输给终端显示；同时所述基于规则的智能决策控制将根据特定目标物体在图像中的位置对飞行控制系统进行控制，使无人机持续根据目标物体。
所述机载嵌入式智能计算系统的输入接口包括：手势图像、文字图像、音频采集、图像/视频采集；输出接口包括：飞行控制、显示设备、其它做动器控制。
参见图2，为本发明实施例提供的一种多智能任务的机载嵌入式智能计算系统的运行示意图。所述机载嵌入式智能计算系统主要包括：
多智能任务处理单元：支持智能手势识别、智能文字识别、智能语音识别、智能图像目标检测、智能决策控制等多种智能任务运行，基于可配置的智能计算组件实现，硬件形态包括FPGA、SoC、SIP等处理芯片；
图像采集单元：支持手势、字符、文字、标识以及高清图像、视频等多路图像的信号输入；
语音采集单元：支持语音信号输入、放大，背景噪声过滤等，语音信号可以是无人机麦克风采集到的信号，也可以是通过通信单元从控制终端传输的；
通信单元：实现无人机与控制终端之间的无线数据通信，包括实现控制终端向无人机的控制指令下达，无人机向控制终端发送的飞行状态、图像目标跟踪显示等信息上报；
飞行控制单元：接收控制指令，完成无人机的飞行方向、速度控制；控制指令可以来自多智能任务处理单元的决策结果，也可以是控制终端通过通信单元直接传输的控制指令；
其它做动器控制单元：接收控制指令，完成无人机其它载荷任务，包括：投掷、抛洒挂载在无人机上的载荷物体等；控制指令可以来自多智能任务处理单元的决策结果，也可以是控制终端通过通信单元直接传输的控制指令；
上述本公开实施例提供的多智能任务的机载嵌入式智能计算系统及设计方法，基于可配置的智能计算组件设计，支持智能手势识别、智能文字识别、智能语音识别、智能图像目标检测、智能决策控制等智能任务，该系统具备以下智能任务处理能力：通过手势、语音、文字等类型输入指令控制无人机按照规定路线飞行；通过语音等类型输入指令控制无人机识别特定类型的目标并进行定位跟踪；通过手势、语音等类型输入指令控制无人机进行载荷投掷等其它任务，能够提升无人机的智能任务能力和处理效能。
本发明面向无人机特别是中小型无人机对完全智能自主控制的需求，基于可配置的智能计算组件，提出一种支持多智能任务的机载嵌入式智能计算系统，支持智能手势识别、智能文字识别、智能语音识别、智能图像目标检测、智能决策控制等智能任务；多任务智能处理单元是支持多智能任务运行的核心，它在功能上包括：图像预处理、背景噪声过滤、智能手势识别、智能文字识别、智能语音识别、智能图像目标检测、身份认证及控制指令匹配、基于规则的智能决策控制、特定目标跟踪及显示等。该支持多智能任务的机载嵌入式智能计算系统能够提升无人机的智能任务能力和处理效能。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，未公开的保护范围应以权利要求的保护范围为主。

Claims (8)

1.一种多智能任务处理方法，其特征在于，所述方法应用于无人机上的多智能任务处理系统，所述多智能任务处理系统支持至少两种智能任务运行，智能任务之间能够交互，支持无人机的自主智能控制；所述方法包括：
通过智能语音识别、智能手势识别、智能文字识别和智能图像目标检测的方式，获取多智能任务处理的原始信息；
对所述原始信息进行处理，根据所述原始信息通过深度强化学习和深度神经网络算法，获得控制指令、目标物体的类型以及相对位置；
根据所述控制指令，基于预设的智能决策控制算法，对无人机的飞行方向、速度进行控制，并控制作动器设备进行载荷投掷任务，所述智能决策控制包括决策树、模糊决策、强化学习、图神经网络智能算法；
根据所述目标物体的类型以及相对位置，对所述目标物体进行跟踪和显示。
2.根据权利要求1所述的方法，其特征在于，若通过智能语音识别，获取多智能任务处理的原始信息，则对所述原始信息进行处理，获得控制指令，具体包括：
通过智能语音识别，获取多智能任务处理的音频信号；
过滤所述音频信号的背景噪声，对所述音频信号进行放大；
根据所述音频信号，基于卷积神经网络或循环神经网络智能算法，获得的语音控制指令。
3.根据权利要求1所述的方法，其特征在于，若通过智能手势识别，获取多智能任务处理的原始信息，则对所述原始信息进行处理，获得控制指令，具体包括：
通过智能手势识别，获取多智能任务处理的手势图形信息；
对所述手势图形信息进行图像预处理，获得手势符号；
根据图像预处理后的手势符号，基于轻量化卷积神经网络智能算法，获得手势控制命令。
4.根据权利要求1所述的方法，其特征在于，若通过智能文字识别，获取多智能任务处理的原始信息，则对所述原始信息进行处理，获得控制指令，具体包括：
通过智能文字识别，获取多智能任务处理的文字信息；
对所述文字信息进行图像预处理，获得文本图像；
根据图像预处理后的文本图像，基于轻量化卷积神经网络智能算法和循环神经网络智能算法，获得文字控制命令。
5.根据权利要求1所述的方法，其特征在于，若通过智能图像目标检测，获取多智能任务处理的原始信息，则对所述原始信息进行处理，获得目标物体的类型以及相对位置，具体包括：
对获得的图像信息或者视频信息，进行图像预处理；
基于深度卷积神经网络智能算法，对图像信息或者视频信息进行目标物体的识别和定位，获得智能图像目标检测结果，所述智能图像目标检测结果包括目标物体的类型以及相对位置；
当控制指令包含对所述目标物体进行跟踪时，根据所述智能图像目标检测结果，对所述目标物体在图像中的位置进行框定并通过终端显示；
所述智能决策控制将根据特定目标物体在图像中的位置对飞行控制系统进行控制，使无人机持续跟踪目标物体。
6.根据权利要求1所述的方法，其特征在于，根据所述控制指令，基于预设的智能决策控制，对无人机的飞行方向、速度进行控制，控制作动器设备进行载荷投掷任务，具体包括：
通过密码、声纹或者人脸识别方式，对控制人员进行身份认证；
身份认证通过后，将所述控制指令与决策控制指令库进行模糊匹配，控制指令包括飞行方向和速度，特定目标物体跟踪，载荷投掷任务。
7.一种多智能任务处理系统，其特征在于，所述多智能任务处理系统在组成结构上，包括多智能任务处理单元(1)、图像采集单元(2)、语音采集单元(3)、通信单元(4)、飞行控制单元(5)、做动器控制单元(6)，其中：
多智能任务处理单元(1)分别与图像采集单元(2)、语音采集单元(3)、通信单元(4)、飞行控制单元(5)和做动器控制单元(6)连接；
所述多智能任务处理单元(1)，用于运行多种智能任务，所述智能任务包括智能手势识别、智能文字识别、智能语音识别、智能图像目标检测、智能决策控制；
所述图像采集单元(2)，用于采集手势、字符、文字、标识以及高清图像、视频等多路图像信号；
所述语音采集单元(3)，用于采集语音信号，并对语音信号进行输入、放大，背景噪声过滤处理；
所述通信单元(4)，用于无人机与控制终端之间的无线数据通信，包括实现控制终端向无人机的控制指令下达，无人机向控制终端发送的飞行状态、图像目标跟踪显示信息上报；
所述飞行控制单元(5)，用于接收控制指令，完成无人机的飞行方向、速度控制；控制指令可以来自多智能任务处理单元的决策结果，也可以是控制终端通过通信单元直接传输的控制指令；
所述做动器控制单元(6)，用于接收控制指令，完成无人机载荷任务，包括：投掷、抛洒挂载在无人机上的载荷物体；控制指令可以来自多智能任务处理单元的决策结果，也可以是控制终端通过通信单元直接传输的控制指令。
8.根据权利要求7所述的系统，其特征在于，所述多智能任务处理单元(1)的硬件形态包括FPGA、SoC、SIP处理芯片。
CN202011552493.1A 2020-12-24 2020-12-24 一种多智能任务处理方法及系统 Pending CN112783154A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011552493.1A CN112783154A (zh) 2020-12-24 2020-12-24 一种多智能任务处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011552493.1A CN112783154A (zh) 2020-12-24 2020-12-24 一种多智能任务处理方法及系统

Publications (1)

Publication Number Publication Date
CN112783154A true CN112783154A (zh) 2021-05-11

Family

ID=75752288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011552493.1A Pending CN112783154A (zh) 2020-12-24 2020-12-24 一种多智能任务处理方法及系统

Country Status (1)

Country Link
CN (1) CN112783154A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105892474A (zh) * 2016-03-31 2016-08-24 深圳奥比中光科技有限公司 无人机以及无人机控制方法
CN105912980A (zh) * 2016-03-31 2016-08-31 深圳奥比中光科技有限公司 无人机以及无人机系统
US20180032137A1 (en) * 2016-07-26 2018-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Human machine interface with haptic response based on phased array lidar
CN108877146A (zh) * 2018-09-03 2018-11-23 深圳市尼欧科技有限公司 一种基于智能语音识别的乘驾安全自动报警装置及其方法
CN109375614A (zh) * 2018-08-29 2019-02-22 上海常仁信息科技有限公司 一种基于机器人的定位跟踪系统
CN110348824A (zh) * 2019-07-12 2019-10-18 陈虎 一种人类智慧、行动力实时共享互助平台
CN111966217A (zh) * 2020-07-20 2020-11-20 中国人民解放军军事科学院国防科技创新研究院 基于手势和眼动的无人机控制方法和系统
CN112001394A (zh) * 2020-07-13 2020-11-27 上海翎腾智能科技有限公司 基于ai视觉下的听写交互方法、系统、装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105892474A (zh) * 2016-03-31 2016-08-24 深圳奥比中光科技有限公司 无人机以及无人机控制方法
CN105912980A (zh) * 2016-03-31 2016-08-31 深圳奥比中光科技有限公司 无人机以及无人机系统
US20180032137A1 (en) * 2016-07-26 2018-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Human machine interface with haptic response based on phased array lidar
CN109375614A (zh) * 2018-08-29 2019-02-22 上海常仁信息科技有限公司 一种基于机器人的定位跟踪系统
CN108877146A (zh) * 2018-09-03 2018-11-23 深圳市尼欧科技有限公司 一种基于智能语音识别的乘驾安全自动报警装置及其方法
CN110348824A (zh) * 2019-07-12 2019-10-18 陈虎 一种人类智慧、行动力实时共享互助平台
CN112001394A (zh) * 2020-07-13 2020-11-27 上海翎腾智能科技有限公司 基于ai视觉下的听写交互方法、系统、装置
CN111966217A (zh) * 2020-07-20 2020-11-20 中国人民解放军军事科学院国防科技创新研究院 基于手势和眼动的无人机控制方法和系统

Similar Documents

Publication Publication Date Title
CN105679068B (zh) 一种与智能停车场协同的智能车辆自动驾驶系统和方法
CN106910376B (zh) 一种空中交通运行管制指令监控方法与系统
CN108375986A (zh) 无人机的控制方法、装置及终端
CN109889668B (zh) 通信模式配置方法、装置、电子设备及存储介质
CN109634263A (zh) 基于数据同步的自动驾驶方法、终端及可读存储介质
CN108958241A (zh) 机器人路径的控制方法、装置、服务器和存储介质
US10800039B2 (en) Controlling and commanding an unmanned robot using natural interfaces
CN109606384A (zh) 车辆控制方法、装置、设备和存储介质
CN111291650A (zh) 自动泊车辅助的方法及装置
CN113111704B (zh) 基于深度学习的机场道面病害异物检测方法及系统
CN112212866A (zh) 机器人及其跨楼层导航方法和装置
US20210142786A1 (en) Artificial intelligence apparatus
CN108375979A (zh) 基于ros的自动导航机器人通用控制系统
CN112783154A (zh) 一种多智能任务处理方法及系统
Urban et al. Fusion of voice, gesture, and human-computer interface controls for remotely operated robot
CN115542951B (zh) 基于5g网络的无人机集中管控方法、系统、设备及介质
CN116931596A (zh) 一种飞行程序自动编排的无人机飞行系统
CN114663818B (zh) 基于视觉自监督学习机场运行核心区监测预警系统及方法
CN108229554A (zh) 一体化触控指挥桌以及指挥方法
CN112558637B (zh) 无人机群中无人机对空中运动目标的规避方法
CN107908531A (zh) 一种基于多核处理器的运维预警防范决策系统
Montonen et al. Applying 5G and Edge Processing in Smart Manufacturing
WO2017215269A1 (zh) 一种控制信号获取方法和装置
CN114227719A (zh) 移动机器人远程操控系统、方法及介质
CN112732591A (zh) 一种缓存深度学习的边缘计算架构

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210511

RJ01 Rejection of invention patent application after publication