CN110770756A - 数据处理方法、设备以及无人机 - Google Patents

数据处理方法、设备以及无人机 Download PDF

Info

Publication number
CN110770756A
CN110770756A CN201880031720.0A CN201880031720A CN110770756A CN 110770756 A CN110770756 A CN 110770756A CN 201880031720 A CN201880031720 A CN 201880031720A CN 110770756 A CN110770756 A CN 110770756A
Authority
CN
China
Prior art keywords
neural network
network parameters
memory
data
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880031720.0A
Other languages
English (en)
Inventor
麻军平
张强
曹子晟
杨康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN110770756A publication Critical patent/CN110770756A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/70—Type of the data to be coded, other than image and sound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0033—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/10—Propulsion
    • B64U50/19—Propulsion using electrically powered motors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Astronomy & Astrophysics (AREA)
  • Mechanical Engineering (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明实施例提供一种数据处理方法、设备以及无人机，此方法包括：从存储器中读取经压缩的神经网络参数；对所述经压缩的神经网络参数进行解压，以生成解压后的神经网络参数；以及根据所述解压后的神经网络参数对待处理数据进行处理。由于神经网络参数是由经压缩后的形式存储在存储器中，减少了神经网络参数占用的存储空间，减少了存储器的访问压力，减少了读取存储器时占用的带宽。

Description

数据处理方法、设备以及无人机
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种数据处理方法、设备以及无人机。
背景技术
随着微电子技术的发展，硬件系统的计算能力得到了很大提升。人工智能技术再次成为了研究热点。其中，人工神经网络作为人工智能的基础，在信息领域，工程领域，经济领域都有很好的应用前景，尤其可应用于图像识别，语音识别等方面。其中，以图像识别应用为例，目前运行人工神经网络的硬件平台包括运算资源和存储系统，存储系统保存有人工神经网络参数和待识别的图像，在识别图像时，运算资源通过总线读取存储系统中存储的人工神经网络参数和待识别的图像，据此进行卷积运算，而且这种运算往往需要迭代多次，需要频繁读存储系统，因此会占用非常高的存储系统带宽。
发明内容
本发明实施例提供一种数据处理方法、设备以及无人机，用于减少神经网络参数占用的存储空间，减少读取神经网络参数时占用的系统带宽。
第一方面，本发明实施例提供一种数据处理方法，包括：
从存储器中读取经压缩的神经网络参数；
对所述经压缩的神经网络参数进行解压，以生成解压后的神经网络参数；以及
根据所述解压后的神经网络参数对待处理数据进行处理。
第二方面，本发明实施例提供一种数据处理设备，包括：存储器和处理器，所述存储器与所述处理器通过通信总线连接；
所述处理器，用于从所述存储器中读取经压缩的神经网络参数；对所述经压缩的神经网络参数进行解压，以生成解压后的神经网络参数；以及根据所述解压后的神经网络参数对待处理数据进行处理。
第三方面，本发明实施例提供一种无人机，包括：机身、云台以及成像装置，所述成像装置通过所述云台与所述机身连接，所述机身包括多个机臂，每个所述机臂用于承载电机和螺旋桨，所述螺旋桨在所述电机作用下驱动所述无人机飞行；
所述机身内包括存储器和处理器，所述存储器和所述处理器通过通信总线连接；
所述处理器，用于从所述存储器中读取经压缩的神经网络参数；对所述经压缩的神经网络参数进行解压，以生成解压后的神经网络参数；以及根据所述解压后的神经网络参数对所述成像装置拍摄的图像数据进行处理。
第四方面，本发明实施例提供一种数据处理设备，包括：存储器和处理器；
所述存储器，用于存储程序代码。
所述处理器，调用所述程序代码，当程序代码被执行时，用于执行如本发明实施例第一方面所述的数据处理方法。
第五方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行本发明实施例第一方面所述的数据处理方法。
第六方面，本发明实施例提供一种计算机程序，当所述计算机程序被计算机执行时，用于实现本发明实施例第一方面所述的数据处理方法。
本发明实施例提供的数据处理方法、设备以及无人机，通过从存储器中读取经压缩的神经网络参数，再对所述经压缩的神经网络参数进行解压，然后根据所述解压后的神经网络参数对待处理数据进行处理。由于神经网络参数是由经压缩后的形式存储在存储器中，减少了神经网络参数占用的存储空间，减少了存储器的访问压力，减少了读取存储器时占用的带宽。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明的实施例的无人飞行系统的示意性架构图；
图2为本发明一实施例提供的数据处理方法的流程图；
图3为本发明一实施例提供的获取经压缩的神经网络参数的示意图；
图4为本发明一实施例提供的卷积运算的示意图；
图5为本发明一实施例提供的数据处理过程的示意图；
图6为本发明另一实施例提供的数据处理过程的示意图；
图7为本发明一实施例提供的数据处理设备的结构示意图；
图8为本发明一实施例提供的无人机的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的实施例提供了数据处理方法、设备以及无人机。其中无人机例如可以是旋翼飞行器(rotorcraft)，例如，由多个推动装置通过空气推动的多旋翼飞行器，本发明的实施例并不限于此。
图1是根据本发明的实施例的无人飞行系统的示意性架构图。本实施例以旋翼无人飞行器为例进行说明。
无人飞行系统100可以包括无人飞行器110、云台120、显示设备130和控制装置140。其中，无人飞行器110可以包括动力系统150、飞行控制系统160和机架。无人飞行器110可以与控制装置140和显示设备130进行无线通信。
机架可以包括机身和脚架(也称为起落架)。机身可以包括中心架以及与中心架连接的一个或多个机臂，一个或多个机臂呈辐射状从中心架延伸出。脚架与机身连接，用于在无人飞行器110着陆时起支撑作用。
动力系统150可以包括一个或多个电子调速器(简称为电调)151、一个或多个螺旋桨153以及与一个或多个螺旋桨153相对应的一个或多个电机152，其中电机152连接在电子调速器151与螺旋桨153之间，电机152和螺旋桨153设置在无人飞行器110的机臂上；电子调速器151用于接收飞行控制系统160产生的驱动信号，并根据驱动信号提供驱动电流给电机152，以控制电机152的转速。电机152用于驱动螺旋桨旋转，从而为无人飞行器110的飞行提供动力，该动力使得无人飞行器110能够实现一个或多个自由度的运动。在某些实施例中，无人飞行器110可以围绕一个或多个旋转轴旋转。例如，上述旋转轴可以包括横滚轴、偏航轴和俯仰轴。应理解，电机152可以是直流电机，也可以交流电机。另外，电机152可以是无刷电机，也可以是有刷电机。
飞行控制系统160可以包括飞行控制器161和传感系统162。传感系统162用于测量无人飞行器的姿态信息，即无人飞行器110在空间的位置信息和状态信息，例如，三维位置、三维角度、三维速度、三维加速度和三维角速度等。传感系统162例如可以包括陀螺仪、超声传感器、电子罗盘、惯性测量单元(Inertial Measurement Unit，IMU)、视觉传感器、全球导航卫星系统和气压计等传感器中的至少一种。例如，全球导航卫星系统可以是全球定位系统(Global Positioning System，GPS)。飞行控制器161用于控制无人飞行器110的飞行，例如，可以根据传感系统162测量的姿态信息控制无人飞行器110的飞行。应理解，飞行控制器161可以按照预先编好的程序指令对无人飞行器110进行控制，也可以通过响应来自控制装置140的一个或多个控制指令对无人飞行器110进行控制。
云台120可以包括电机122。云台用于携带成像装置123或者麦克风(图中未示出)。飞行控制器161可以通过电机122控制云台120的运动。可选地，作为另一实施例，云台120还可以包括控制器，用于通过控制电机122来控制云台120的运动。应理解，云台120可以独立于无人飞行器110，也可以为无人飞行器110的一部分。应理解，电机122可以是直流电机，也可以是交流电机。另外，电机122可以是无刷电机，也可以是有刷电机。还应理解，云台可以位于无人飞行器的顶部，也可以位于无人飞行器的底部。
成像装置123例如可以是照相机或摄像机等用于捕获图像的设备，成像装置123可以与飞行控制器通信，并在飞行控制器的控制下进行拍摄。本实施例的成像装置123至少包括感光元件，该感光元件例如为互补金属氧化物半导体(Complementary Metal OxideSemiconductor，CMOS)传感器或电荷耦合元件(Charge-coupled Device，CCD)传感器。
显示设备130位于无人飞行系统100的地面端，可以通过无线方式与无人飞行器110进行通信，并且可以用于显示无人飞行器110的姿态信息。另外，还可以在显示设备130上显示成像装置拍摄的图像。应理解，显示设备130可以是独立的设备，也可以集成在控制装置140中。
控制装置140位于无人飞行系统100的地面端，可以通过无线方式与无人飞行器110进行通信，用于对无人飞行器110进行远程操纵。
图2为本发明一实施例提供的数据处理方法的流程图，如图2所示，本实施例的方法可以应用于电子设备中，该电子设备例如可以是无人机、手机、平板电脑、数码相机、个人电脑等，下面以电子设备是无人机为例进行说明，本实施例的方法可以包括：
S201、从存储器中读取经压缩的神经网络参数。
S202、对所述经压缩的神经网络参数进行解压，以生成解压后的神经网络参数。
S203、根据所述解压后的神经网络参数对待处理数据进行处理。
本实施例中，无人机的存储器中存储有经压缩的神经网络参数。当无人机对待处理数据进行处理时，无人机从该存储器中读取经压缩的神经网络参数，由于获取到的神经网络参数是经压缩的，所以无人机还需要对经压缩的神经网络参数进行解压处理，以生成解压后的神经网络参数。然后无人机根据该解压后的神经网络参数对待处理数据进行处理。
其中，上述的神经网络可以是卷积神经网络，或者，循环神经网络，或者，深度神经网络。需要说明的是，本实施例的神经网络不限于此。
可选地，所述神经网络参数包括：神经网络的权重和偏移量。需要说明的是，本实施例的神经网络参数不限于此。
例如：压缩前的神经网络参数为100MB，而经压缩的神经网络参数为60MB，从而可以减少40MB的存储空间。假设每秒钟从存储器中读取30次神经网络参数，则从存储器中获取压缩前的神经网络参数占用带宽为100MB*8*30＝24Gbps；从存储器中获取经压缩的神经网络参数占用带宽为60MB*8*30＝14.4Gbps，每秒钟可节省将近10Gbps的带宽。
可选地，所述待处理数据可以为图像数据或者可以为音频数据。以无人机为例，图像数据可以是无人机机载的成像装置拍摄获得的，音频数据可以是无人机机载的麦克风采集获得的。
本实施例，通过从存储器中读取经压缩的神经网络参数，再对所述经压缩的神经网络参数进行解压，然后根据所述解压后的神经网络参数对待处理数据进行处理。由于神经网络参数是由经压缩后的形式存储在存储器中，减少了神经网络参数占用的存储空间，减少了存储器的访问压力，减少了读取存储器时占用的带宽。
在一些实施例中，在执行上述方案之前，如图3所示，无人机还获取样本数据，根据该样本数据训练得到神经网络参数，然后对该神经网络参数进行压缩处理，获取上述经压缩的神经网络参数，再将经压缩的神经网络参数写入上述的存储器中。
例如：可以获取大量的样本数量，根据大量的样本数据训练得到神经网络参数。该神经网络参数例如可用于图像识别，例如用于区分猫，狗，牛，羊等动物，在获取该神经网络参数时，需要获取大量的猫、狗、牛、羊等图像数据，对这些猫、狗、牛、羊等图像数据进行训练获取到神经网络参数。相应地，上述S103获得的处理结果例如为识别是猫或狗或牛或羊等动物。
其中，获取样本数据并根据该样本数据训练得到神经网络参数也可以由除无人机之外的其它电子设备(例如服务器、个人电脑等)来完成。然后无人机从其它电子设备中获取到神经网络参数，再对该神经网络参数进行压缩处理，获取上述经压缩的神经网络参数，再将经压缩的神经网络参数写入上述的存储器中。其中，训练得到的神经网络参数的数据量从几KB到几百MB都有可能。
在一些实施例中，无人机在对所述神经网络参数进行压缩处理，获取所述经压缩的神经网络参数的一种可能的实现方式为：采用无损压缩算法，对所述神经网络参数进行压缩处理，获取所述经压缩的神经网络参数。其中，无损压缩算法例如可以是霍夫曼编码或算术编码压缩算法。通过无损压缩算法，可以保证经压缩后的神经网络参数没有损失，解压后的神经网络参数与压缩前的神经网络参数完全相同。
在一些实施例中，无人机在对所述神经网络参数进行压缩处理，获取所述经压缩的神经网络参数的另一种可能的实现方式为：采用压缩率大于预设压缩率的有损压缩算法，对所述神经网络参数进行压缩处理，获取所述经压缩的神经网络参数。其中，预设压缩率根据实际应用场景而定，通过压缩率较高的压缩算法，可以尽可能减少经压缩后的神经网络参数的数据量和占用的存储空间。
在一些实施例中，当神经网络为卷积神经网络时，上述S103的一种可能的实现方式为：根据所述解压后的神经网络参数对待处理数据进行卷积运算以及池化运算。
以神经网络参数包括：神经网络的权重和偏移量，待处理数据是图像数据为例，如图4所示，对卷积运算进行描述：
X0～Xn是图像数据中的所有像素点，每一个像素点和一个权重系数W1,i相乘，再累加，然后再加上偏移量B1，得到Y1。同样的，每个像素和另外一组权重系数W2,i相乘再累加，然后再加上偏移量B2，得到Y2，以此类推，此处不再赘述。上述过程也可以用公式表示为：
Figure BDA0002271292810000061
其中，上述的运算过程可能需要迭代多次，由X0～Xn通过上述公式获得Y01～Yn1，为第一次迭代过程；将Y01～Yn1作为X0～Xn通过上述公式计算获得Y02～Yn2，为第二次迭代过程；以此类推。
其中，池化运算的具体实现过程可以参见现有技术中的相关描述，此处不再赘述。
在一些实施例中，待处理数据与经压缩的神经网络参数存储在同一存储器中，该同一存储器例如为内存或者闪存。如图5所示，以内存为例，训练得到的神经网络参数经压缩后存储在内存中，而且内存中还存储有待处理数据，因此，本实施例可以从内存中读取经压缩的神经网络参数和待处理数据，对经压缩的神经网络参数进行解压，以生成解压后的神经网络参数；然后根据解压后的神经网络参数对待处理数据进行处理，其中图5以卷积运算和池化运算为例，但并不限于此。由于本实施例经压缩的神经网络参数的数据量少，减少了占用的内存空间，每次从内存中读取经压缩的神经网络参数可以减少占用的内存带宽，提高了系统运行性能。
可选地，在根据所述解压后的神经网络参数对待处理数据进行处理，获得数据处理结果之后，还将数据处理结果写入所述存储器中。
在一些实施例中，待处理数据与经压缩的神经网络参数存储在不同的存储器中。如图6所示，训练得到的神经网络参数经压缩后存储在静态随机存取存储器(StaticRandom-Access Memory，SRAM)中，而待处理数据存储在内存中，因此，本实施例可以从静态随机存取存储器中读取经压缩的神经网络参数以及从内存中读取待处理数据，对经压缩的神经网络参数进行解压，以生成解压后的神经网络参数；然后根据解压后的神经网络参数对待处理数据进行处理。由于本实施例经压缩的神经网络参数的数据量少、减少了占用静态随机存取存储器的空间。
本发明实施例中还提供了一种计算机存储介质，该计算机存储介质中存储有程序指令，所述程序执行时可包括如上述各方法实施例中的数据处理方法的部分或全部步骤。
图7为本发明一实施例提供的数据处理设备的结构示意图，如图7所示，本实施例的数据处理设备700可以包括：存储器701和处理器702，所述存储器701与所述处理器702通过通信总线连接。
所述存储器701，用于存储经压缩的神经网络参数。
所述处理器702，用于从所述存储器701中读取经压缩的神经网络参数；对所述经压缩的神经网络参数进行解压，以生成解压后的神经网络参数；以及根据所述解压后的神经网络参数对待处理数据进行处理。
在一些实施例中，所述处理器702，还用于从存储器701中读取经压缩的神经网络参数之前，获取样本数据；根据所述样本数据训练得到神经网络参数；对所述神经网络参数进行压缩处理，获取所述经压缩的神经网络参数；将所述经压缩的神经网络参数写入所述存储器701。
在一些实施例中，所述处理器702，具体用于：采用无损压缩算法，对所述神经网络参数进行压缩处理，获取所述经压缩的神经网络参数。
在一些实施例中，所述处理器702，具体用于：采用压缩率大于预设压缩率的有损压缩算法，对所述神经网络参数进行压缩处理，获取所述经压缩的神经网络参数。
在一些实施例中，所述神经网络为卷积神经网络；
所述处理器702，具体用于：根据所述解压后的神经网络参数对待处理数据进行卷积运算以及池化运算。
在一些实施例中，所述神经网络参数包括：神经网络的权重和偏移量。
在一些实施例中，所述处理器702，还用于在根据所述解压后的神经网络参数对待处理数据进行处理之前，从所述存储器701中读取所述待处理数据。
在一些实施例中，所述处理器702，还用于在根据所述解压后的神经网络参数对所述待处理数据进行处理之后，将数据处理结果写入所述存储器701中。
在一些实施例中，所述存储器701为静态随机存取存储器。
在一些实施例中，所述存储器701为内存或者闪存。
在一些实施例中，所述待处理数据为图像数据或者音频数据。
本实施例的数据处理设备，可以用于执行本说明书上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图8为本发明一实施例提供的无人机的结构示意图，如图8所示，本实施例的无人机800可以包括：机身801、云台802以及成像装置803，所述成像装置803通过所述云台802与所述机身801连接，所述机身801包括多个机臂8011，每个所述机臂8011用于承载电机和螺旋桨，所述螺旋桨在所述电机作用下驱动所述无人机800飞行。其中，电机和螺旋桨在图8中未示出，可以参见图1中所示。
所述机身801内包括存储器8012和处理器8013，所述存储器8012和所述处理器8013通过通信总线连接。
所述处理器8013，用于从所述存储器8012中读取经压缩的神经网络参数；对所述经压缩的神经网络参数进行解压，以生成解压后的神经网络参数；以及根据所述解压后的神经网络参数对所述成像装置803拍摄的图像数据进行处理。
在一些实施例中，所述处理器8013，还用于从存储器8012中读取经压缩的神经网络参数之前，获取样本数据；根据所述样本数据训练得到神经网络参数；对所述神经网络参数进行压缩处理，获取所述经压缩的神经网络参数；将所述经压缩的神经网络参数写入所述存储器8012。
在一些实施例中，所述处理器8013，具体用于：采用无损压缩算法，对所述神经网络参数进行压缩处理，获取所述经压缩的神经网络参数。
在一些实施例中，所述处理器8013，具体用于：采用压缩率大于预设压缩率的有损压缩算法，对所述神经网络参数进行压缩处理，获取所述经压缩的神经网络参数。
在一些实施例中，所述神经网络为卷积神经网络；
所述处理器8013，具体用于：根据所述解压后的神经网络参数对待处理数据进行卷积运算以及池化运算。
在一些实施例中，所述神经网络参数包括：神经网络的权重和偏移量。
在一些实施例中，所述处理器8013，还用于在根据所述解压后的神经网络参数对待处理数据进行处理之前，从所述存储器8012中读取所述待处理数据。
在一些实施例中，所述处理器8013，还用于在根据所述解压后的神经网络参数对所述待处理数据进行处理之后，将数据处理结果写入所述存储器8012中。
在一些实施例中，所述存储器8012为静态随机存取存储器。
在一些实施例中，所述存储器8012为内存或者闪存。
在一些实施例中，本实施例的无人机800还包括麦克风804，所述麦克风804搭载在所述机身801上；
所述处理器8013，还用于根据所述解压后的神经网络参数对所述麦克风804采集的音频数据进行处理。
可选地，麦克风804可以通过云台802搭载在机身801上，也可以无需通过云台802而是直接搭载在机身801上。
本实施例的无人机，可以用于执行本说明书上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：只读内存(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (33)

1.一种数据处理方法，其特征在于，包括：
从存储器中读取经压缩的神经网络参数；
对所述经压缩的神经网络参数进行解压，以生成解压后的神经网络参数；以及
根据所述解压后的神经网络参数对待处理数据进行处理。
2.根据权利要求1所述的方法，其特征在于，所述从存储器中读取经压缩的神经网络参数之前，还包括：
获取样本数据；
根据所述样本数据训练得到神经网络参数；
对所述神经网络参数进行压缩处理，获取所述经压缩的神经网络参数；
将所述经压缩的神经网络参数写入所述存储器。
3.根据权利要求2所述的方法，其特征在于，所述对所述神经网络参数进行压缩处理，获取所述经压缩的神经网络参数，包括：
采用无损压缩算法，对所述神经网络参数进行压缩处理，获取所述经压缩的神经网络参数。
4.根据权利要求2所述的方法，其特征在于，所述对所述神经网络参数进行压缩处理，获取所述经压缩的神经网络参数，包括：
采用压缩率大于预设压缩率的有损压缩算法，对所述神经网络参数进行压缩处理，获取所述经压缩的神经网络参数。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述神经网络为卷积神经网络；
所述根据所述解压后的神经网络参数对待处理数据进行处理，包括：
根据所述解压后的神经网络参数对待处理数据进行卷积运算以及池化运算。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述神经网络参数包括：神经网络的权重和偏移量。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述根据所述解压后的神经网络参数对待处理数据进行处理之前，还包括：
从所述存储器中读取所述待处理数据。
8.根据权利要求7所述的方法，其特征在于，所述根据所述解压后的神经网络参数对待处理数据进行处理之后，还包括：
将数据处理结果写入所述存储器中。
9.根据权利要求1-6任一项所述的方法，其特征在于，所述存储器为静态随机存取存储器。
10.根据权利要求1-8任一项所述的方法，其特征在于，所述存储器为内存或者闪存。
11.根据权利要求1-10任一项所述的方法，其特征在于，所述待处理数据为图像数据或者音频数据。
12.一种数据处理设备，其特征在于，包括：存储器和处理器，所述存储器与所述处理器通过通信总线连接；
所述处理器，用于从所述存储器中读取经压缩的神经网络参数；对所述经压缩的神经网络参数进行解压，以生成解压后的神经网络参数；以及根据所述解压后的神经网络参数对待处理数据进行处理。
13.根据权利要求12所述的设备，其特征在于，所述处理器，还用于从存储器中读取经压缩的神经网络参数之前，获取样本数据；根据所述样本数据训练得到神经网络参数；对所述神经网络参数进行压缩处理，获取所述经压缩的神经网络参数；将所述经压缩的神经网络参数写入所述存储器。
14.根据权利要求13所述的设备，其特征在于，所述处理器，具体用于：采用无损压缩算法，对所述神经网络参数进行压缩处理，获取所述经压缩的神经网络参数。
15.根据权利要求13所述的设备，其特征在于，所述处理器，具体用于：采用压缩率大于预设压缩率的有损压缩算法，对所述神经网络参数进行压缩处理，获取所述经压缩的神经网络参数。
16.根据权利要求12-15任一项所述的设备，其特征在于，所述神经网络为卷积神经网络；
所述处理器，具体用于：根据所述解压后的神经网络参数对待处理数据进行卷积运算以及池化运算。
17.根据权利要求12-16任一项所述的设备，其特征在于，所述神经网络参数包括：神经网络的权重和偏移量。
18.根据权利要求12-17任一项所述的设备，其特征在于，所述处理器，还用于在根据所述解压后的神经网络参数对待处理数据进行处理之前，从所述存储器中读取所述待处理数据。
19.根据权利要求18所述的设备，其特征在于，所述处理器，还用于在根据所述解压后的神经网络参数对所述待处理数据进行处理之后，将数据处理结果写入所述存储器中。
20.根据权利要求12-17任一项所述的设备，其特征在于，所述存储器为静态随机存取存储器。
21.根据权利要求12-19任一项所述的设备，其特征在于，所述存储器为内存或者闪存。
22.根据权利要求12-21任一项所述的设备，其特征在于，所述待处理数据为图像数据或者音频数据。
23.一种无人机，其特征在于，包括：机身、云台以及成像装置，所述成像装置通过所述云台与所述机身连接，所述机身包括多个机臂，每个所述机臂用于承载电机和螺旋桨，所述螺旋桨在所述电机作用下驱动所述无人机飞行；
所述机身内包括存储器和处理器，所述存储器和所述处理器通过通信总线连接；
所述处理器，用于从所述存储器中读取经压缩的神经网络参数；对所述经压缩的神经网络参数进行解压，以生成解压后的神经网络参数；以及根据所述解压后的神经网络参数对所述成像装置拍摄的图像数据进行处理。
24.根据权利要求23所述的无人机，其特征在于，所述处理器，还用于从存储器中读取经压缩的神经网络参数之前，获取样本数据；根据所述样本数据训练得到神经网络参数；对所述神经网络参数进行压缩处理，获取所述经压缩的神经网络参数；将所述经压缩的神经网络参数写入所述存储器。
25.根据权利要求24所述的无人机，其特征在于，所述处理器，具体用于：采用无损压缩算法，对所述神经网络参数进行压缩处理，获取所述经压缩的神经网络参数。
26.根据权利要求24所述的无人机，其特征在于，所述处理器，具体用于：采用压缩率大于预设压缩率的有损压缩算法，对所述神经网络参数进行压缩处理，获取所述经压缩的神经网络参数。
27.根据权利要求23-26任一项所述的无人机，其特征在于，所述神经网络为卷积神经网络；
所述处理器，具体用于：根据所述解压后的神经网络参数对待处理数据进行卷积运算以及池化运算。
28.根据权利要求23-27任一项所述的无人机，其特征在于，所述神经网络参数包括：神经网络的权重和偏移量。
29.根据权利要求23-28任一项所述的无人机，其特征在于，所述处理器，还用于在根据所述解压后的神经网络参数对待处理数据进行处理之前，从所述存储器中读取所述待处理数据。
30.根据权利要求29所述的无人机，其特征在于，所述处理器，还用于在根据所述解压后的神经网络参数对所述待处理数据进行处理之后，将数据处理结果写入所述存储器中。
31.根据权利要求23-28任一项所述的无人机，其特征在于，所述存储器为静态随机存取存储器。
32.根据权利要求23-31任一项所述的无人机，其特征在于，所述存储器为内存或者闪存。
33.根据权利要求23-32任一项所述的无人机，其特征在于，所述无人机还包括麦克风，所述麦克风搭载在所述机身上；
所述处理器，还用于根据所述解压后的神经网络参数对所述麦克风采集的音频数据进行处理。
CN201880031720.0A 2018-09-28 2018-09-28 数据处理方法、设备以及无人机 Pending CN110770756A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/108401 WO2020062054A1 (zh) 2018-09-28 2018-09-28 数据处理方法、设备以及无人机

Publications (1)

Publication Number Publication Date
CN110770756A true CN110770756A (zh) 2020-02-07

Family

ID=69328550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880031720.0A Pending CN110770756A (zh) 2018-09-28 2018-09-28 数据处理方法、设备以及无人机

Country Status (3)

Country Link
US (1) US20210208605A1 (zh)
CN (1) CN110770756A (zh)
WO (1) WO2020062054A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410325B (zh) * 2022-11-01 2023-01-31 湖南文宏电子科技有限公司 一种基于无人机的安防巡防系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578453A (zh) * 2017-10-18 2018-01-12 北京旷视科技有限公司 压缩图像处理方法、装置、电子设备及计算机可读介质
US20180046187A1 (en) * 2016-08-12 2018-02-15 Skydio, Inc. Unmanned aerial image capture platform
US20180060691A1 (en) * 2016-08-26 2018-03-01 Goodrich Corporation Active visual attention models for computer vision tasks
KR20180051335A (ko) * 2016-11-07 2018-05-16 삼성전자주식회사 신경망 학습에 기반한 입력 처리 방법 및 이를 위한 장치
CN108229644A (zh) * 2016-12-15 2018-06-29 上海寒武纪信息科技有限公司 压缩/解压缩神经网络模型的装置、设备和方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7016886B2 (en) * 2001-08-10 2006-03-21 Saffron Technology Inc. Artificial neurons including weights that define maximal projections
CN105260776B (zh) * 2015-09-10 2018-03-27 华为技术有限公司 神经网络处理器和卷积神经网络处理器
CN107248144B (zh) * 2017-04-27 2019-12-10 东南大学 一种基于压缩型卷积神经网络的图像去噪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180046187A1 (en) * 2016-08-12 2018-02-15 Skydio, Inc. Unmanned aerial image capture platform
US20180060691A1 (en) * 2016-08-26 2018-03-01 Goodrich Corporation Active visual attention models for computer vision tasks
KR20180051335A (ko) * 2016-11-07 2018-05-16 삼성전자주식회사 신경망 학습에 기반한 입력 처리 방법 및 이를 위한 장치
CN108229644A (zh) * 2016-12-15 2018-06-29 上海寒武纪信息科技有限公司 压缩/解压缩神经网络模型的装置、设备和方法
CN107578453A (zh) * 2017-10-18 2018-01-12 北京旷视科技有限公司 压缩图像处理方法、装置、电子设备及计算机可读介质

Also Published As

Publication number Publication date
US20210208605A1 (en) 2021-07-08
WO2020062054A1 (zh) 2020-04-02

Similar Documents

Publication Publication Date Title
EP3207708B1 (en) Method and system of modifying search areas
CN111226185A (zh) 飞行航线的生成方法、控制装置及无人机系统
CN108521864B (zh) 成像控制方法、成像装置和无人机
CN109154815B (zh) 最高温度点跟踪方法、装置和无人机
CN108163203B (zh) 一种拍摄控制方法、装置及飞行器
WO2019176579A1 (ja) 画像処理装置および方法
CN113795805B (zh) 无人机的飞行控制方法和无人机
CN109792484B (zh) 无人自主飞行器中的图像处理
CN110771137A (zh) 延时拍摄控制方法和设备
CN109032184B (zh) 飞行器的飞行控制方法、装置、终端设备及飞行控制系统
CN105045293A (zh) 云台控制方法、外部载体控制方法及云台
CN111316185A (zh) 可移动平台的巡检控制方法和可移动平台
CN110568860A (zh) 一种无人飞行器的返航方法、装置及无人飞行器
CN110945452A (zh) 云台和无人机控制方法、云台及无人机
CN110892731B (zh) 视频播放速度控制方法及系统、控制终端和可移动平台
WO2019227287A1 (zh) 无人机的数据处理方法和设备
US20210208605A1 (en) Data processing method and device, and unmanned aerial vehicle
CN111194433A (zh) 用于构图和捕捉图像的方法和系统
CN110162075B (zh) 一种飞行器控制方法、装置及飞行器
WO2021014752A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム
CN113938663B (zh) 用于组合和编辑uav操作数据和视频数据的方法和系统
JP2018515852A (ja) ファイルを格納する方法
CN110770699A (zh) 数据指令处理方法、存储芯片、存储系统和可移动平台
WO2020237429A1 (zh) 遥控设备的控制方法和遥控设备
CN110914816A (zh) 数据处理方法和可移动平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200207