CN108702487A - 无人机的图像传输方法和装置 - Google Patents

无人机的图像传输方法和装置 Download PDF

Info

Publication number
CN108702487A
CN108702487A CN201780011456.XA CN201780011456A CN108702487A CN 108702487 A CN108702487 A CN 108702487A CN 201780011456 A CN201780011456 A CN 201780011456A CN 108702487 A CN108702487 A CN 108702487A
Authority
CN
China
Prior art keywords
image
capture apparatus
unmanned plane
multiway images
multichannel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780011456.XA
Other languages
English (en)
Inventor
刘怀宇
吴凡
吴一凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN108702487A publication Critical patent/CN108702487A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/214—Specialised server platform, e.g. server located in an airplane, hotel, hospital
    • H04N21/2146—Specialised server platform, e.g. server located in an airplane, hotel, hospital located in mass transportation means, e.g. aircraft, train or bus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/0675—Arrangements or circuits at the transmitter end for mixing the synchronising signals with the picture signal or mutually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/25—UAVs specially adapted for particular uses or applications for manufacturing or servicing
    • B64U2101/26—UAVs specially adapted for particular uses or applications for manufacturing or servicing for manufacturing, inspections or repairs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31—UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种无人机的图像传输方法和装置，在无人机侧，所述方法包括：获取无人机上的多路拍摄设备分别拍摄的图像，其中多路所述拍摄设备的拍摄方向不同；将实时获取的多路图像同步广播至多个地面端设备。本发明通过广播的方式将无人机上的多路拍摄设备拍摄到的图像同步传输给多个地面端设备，实现设备多路图传支持，一方面能够为多个用户提供无人机所处位置的全方位信息(即多个视角的图像信息)，并提供多方向的障碍信息，进而指导用户作业和操作，提高飞行的安全性，还能够为用户带来较为真实的全景体验。另一方面能够支持多用户，使得多用户协同工作。

Description

无人机的图像传输方法和装置
技术领域
本发明涉及无人机的数据传输领域，尤其涉及一种无人机的图像传输方法和装置。
背景技术
目前的无人机系统通常只支持点对点传输的单路图传，即使无人机上携带多个拍摄设备(例如，相机、图像传感器)，由于设备性能和无线传输带宽的限制，无人机通常只能传输单路图像至地面端设备，这对于无人机操作者来说，无法同时观察到多视角全方位的图像，难以获取全局场景信息，在控制操作中无法做出最优判断，也无法获得较好的全景体验。另外，在视距外飞行或做沉浸式第一视角飞行的情况下，单路图传的方式还伴有一定的安全隐患。影响了无人机在行业应用，航拍，娱乐等应用场景的作用发挥与体验升级。
发明内容
本发明提供一种无人机的图像传输方法和装置。
根据本发明的第一方面，提供一种无人机的图像传输方法，包括：获取无人机上的多路拍摄设备分别拍摄的图像，其中多路所述拍摄设备的拍摄方向不同；将实时获取的多路图像同步广播至多个地面端设备。
根据本发明的第二方面，提供一种无人机的图像传输装置，用以与多个地面端设备配合，所述装置包括第一处理器和多路拍摄设备，所述第一处理器与多个所述地面端设备分别通信连接，每路拍摄设备均与所述第一处理器通信连接，其中多路所述拍摄设备的拍摄方向不同；所述第一处理器包括一个或多个，单独地或共同地工作；所述第一处理器用于获取无人机上的多路拍摄设备分别拍摄的图像，并将实时获取的多路图像同步广播至多个所述地面端设备。
根据本发明的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被第一处理器执行时实现如下步骤：获取无人机上的多路拍摄设备分别拍摄的图像，其中多路所述拍摄设备的拍摄方向不同；将实时获取的多路图像同步广播至多个地面端设备。
根据本发明的第四方面，提供一种无人机的图像传输方法，包括：接收无人机广播的该无人机上的多路拍摄设备分别拍摄的图像，其中多路所述拍摄设备的拍摄方向不同；实时显示所接收到的多路图像。
根据本发明的第五方面，提供一种无人机的图像传输装置，用以与无人机配合，所述装置包括第二处理器和显示模块，所述第二处理器与所述无人机通信连接，所述显示模块与所述第二处理器通信连接；所述第二处理器包括一个或多个，单独地或共同地工作；所述第二处理器用于接收无人机广播的该无人机上的多路拍摄设备分别拍摄的图像，所述显示模块实时显示所述第二处理器所接收到的多路图像，其中多路所述拍摄设备的拍摄方向不同。
根据本发明的第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被第二处理器执行时实现如下步骤：接收无人机广播的该无人机上的多路拍摄设备分别拍摄的图像，其中多路所述拍摄设备的拍摄方向不同；实时显示所接收到的多路图像。
由以上本发明实施例提供的技术方案可见，本发明通过广播的方式将无人机上的多路拍摄设备拍摄到的图像同步传输给多个地面端设备，实现设备多路图传支持，一方面能够为多个用户提供无人机所处位置的全方位信息(即多个视角的图像信息)，并提供多方向的障碍信息，进而指导用户作业和操作，提高飞行的安全性，还能够为用户带来较为真实的全景体验。另一方面能够支持多用户，使得多用户协同工作。尤其适用于以第一视角飞行的应用场景和安保监控、消防、救灾抢险、管道巡线、机器人赛事等应用场景。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中的无人机的图像传输方法在无人机侧的流程图；
图2是本发明一实施例中的无人机的图像传输方法在地面端设备侧的流程图；
图3是本发明一实施例中的无人机的图像传输装置的结构图；
图4是本发明另一实施例中的无人机的图像传输装置的结构图；
图5是本发明又一实施例中的无人机的图像传输装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图，对本发明的无人机的图像传输方法和装置进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
需要说明的是，以下实施例中，图像可指图片，也可指视频流。
实施例一
图1为本发明实施例一提供的一种无人机的图像传输方法在无人机侧的流程图。本实施例的无人机的图像传输方法的执行主体为无人机。
如图1所示，本实施例的无人机的图像传输方法可包括以下步骤：
步骤S101：获取无人机上的多路拍摄设备分别拍摄的图像，其中多路所述拍摄设备的拍摄方向不同；
本实施例的拍摄设备可为相机，也可为图像传感器，当然也可选择其他类型的拍摄设备。而拍摄设备的数量、拍摄设备在无人机上的安装位置、各拍摄设备的拍摄方向均可根据用户所需的无人机所处的位置周围的环境信息来选择。例如，拍摄设备为两个，其中一个拍摄设备放置于无人机的机头，另一个拍摄设备放置于无人机的机尾。机头上的拍摄设备用于拍摄无人机前方的画面，机尾上的拍摄设备用于拍摄无人机后方的画面，从而为用户提供无人机所处位置的全方位信息。
步骤S102：将实时获取的多路图像同步广播至多个地面端设备。
本实施例中，无人机与多个地面端设备分别通信连接。而无人机和各地面端设备的通信方式可根据需要选择，例如，可选择有线通信方式和无线通信方式中的至少一种。本实施例的无人机和各地面端设备均基于无线通信方式通信连接，这种通信方式不会限制无人机的飞行距离。无人机基于无线通信方式，将实时获取的多路图像同步广播至多个所述地面端设备。
本实施例的地面端设备可包括以下至少一种：遥控器、可移动设备(比如手机、智能手表、平板电脑)、头戴显示设备(比如视频眼镜)。当然，地面端设备不限于上述设备类型，也可选择为其他与无人机通信连接的设备。
步骤S102中的多路图像即为无人机上的多路拍摄设备分别拍摄的图像。其中，地面端设备可为默认的地面端设备，也可根据用户需求选择。例如，在一实施例中，默认的地面端设备为可移动设备和头戴设备。无人机存储有可移动设备的终端标识和头戴设备的终端标识。无人机在获取到其上的多路拍摄设备分别拍摄的图像后，会根据可移动设备的终端标识和头戴设备的终端标识将实时获取的多路图像同步广播至对应的移动设备和头戴设备。
在另一实施例中，在执行步骤S102之前，无人机还可用于：接收用户输入的多个所述地面端设备对应的终端信息。用户可通过任一地面端设备发送终端信息至无人机，也可直接在无人机上输入多个所述地面端设备对应的终端信息，从而告知无人机待发送多路图像的地面端设备，灵活性强。无人机在接收到用户输入的多个所述地面端设备对应的终端信息后，会根据多个所述地面端设备对应的终端信息，将实时获取的多路图像同步广播至多个所述地面端设备，使得用户通过各自的地面端设备获得无人机当前所处位置的环境信息。
本发明实施例中，通过广播的方式将无人机上的多路拍摄设备拍摄到的图像同步传输给多个地面端设备，实现设备多路图传支持，一方面能够为多个用户提供无人机所处位置的全方位信息，并提供多方向的障碍信息，进而指导用户作业和操作，提高飞行的安全性，还能够为用户带来较为真实的全景体验。另一方面能够支持多用户，使得多用户协同工作。尤其适用于以第一视角飞行的应用场景和安保监控、消防、救灾抢险、管道巡线、机器人赛事等应用场景。
进一步地，无人机执行步骤S102是在无人机确定出满足特定条件后执行的。例如，在一实施例中，所述特定条件包括：无人机接收到任一地面端设备发送的多路图像请求，从而根据用户的实际需求进行选择性的传输，无需同时发送无人机上的所有拍摄设备的图像，进而节省信道带宽。所述多路图像请求可包括多路待请求图像对应的拍摄设备的设备信息。本实施例的无人机是根据所述多路待请求图像对应的拍摄设备的设备信息，获得所述多路待请求图像对应的拍摄设备所拍摄的图像，然后将实时获得的多路待请求图像对应的拍摄设备所拍摄的图像同步广播至多个所述地面端设备的。在本实施例中。用户可根据需要选择当前无人机上的指定拍摄设备所拍摄的图像，例如，无人机上的拍摄设备可包括拍摄设备1、拍摄设备2、拍摄设备3和拍摄设备4。其中，拍摄设备1用于拍摄当前无人机前向的画面，拍摄设备2用于拍摄当前无人机后向的画面，拍摄设备3用于拍摄当前无人机左侧向的画面，拍摄设备4用于拍摄当前无人机右侧向的画面。用户需要获取当前无人机前向、左侧向和右侧向的画面，则将拍摄设备1的设备信息、拍摄设备3的设备信息和拍摄设备4的设备信息输入任一地面端设备，地面端设备则根据拍摄设备1的设备信息、拍摄设备3的设备信息和拍摄设备4的设备信息生成多路图像请求并发送至无人机，无人机即可将摄设备1、拍摄设备3和拍摄设备4分别拍摄的图像广播至多个地面端设备。本实施例的设备信息可为拍摄设备的设备标识。
在另一实施例中，所述特定条件包括：无人机获取到该无人机上的所有拍摄设备所拍摄的图像。无人机在获取到其上的所有拍摄设备所拍摄的图像后，将获取到所有拍摄设备所拍摄的图像同步广播至多个所述地面端设备，用户获得的信息更加全面，以更好地操作无人机和指导无人机作业，提高无人机飞行的安全性。
更进一步地，无人机在执行步骤S102之前，还对实时获取的多路图像进行编码，通过编码去掉各路图像的冗余信息，最终减小无人机广播的数据量。步骤S102具体包括：将编码后的多路图像同步广播至多个所述地面端设备。
本实施例中，无人机上还设有编码模块。所述编码模块与多路所述拍摄设备相连接，从而可通过编码模块对多路拍摄设备的图像进行编码。编码设备可包括一路或多路。例如，在其中一实施例中，编码模块包括多路。可选地，编码模块的数量与拍摄设备的数量相等，多路拍摄设备与多路编码模块对应连接。无人机对实时获取的多路图像进行编码具体包括：基于各路编码模块，对对应的拍摄设备所拍摄的图像进行编码，通过设置多路编码模块来提高图像编码的处理效率。可选地，编码模块的数量为多个但小于拍摄设备的数量。本实施例中，多路编码模块中的一部分连接多路拍摄设备中的一路拍摄设备，另一部分连接多路拍摄设备中的至少两路拍摄设备，且每路拍摄设备只连接一路拍摄设备，从而加快图像编码的处理速度。
在另一实施例中，编码模块包括一路。多路拍摄设备与同一编码模块连接。无人机对实时获取的多路图像进行编码具体包括：基于同一路编码模块，对多路所述图像进行编码。通过一路编码模，完成对多路图像的编码，能够降低多路图像同步传输的实现难度，同时能够降低成本。
而编码模块可选择现有任意类型的编码器。
此外，实现图像进行编码的方式可包括多种。例如，在一实施例中，编码模块对实时获取的多路图像进行编码具体包括：将每路图像分割成I slice(即帧内片，一帧包含多个slice)，从而减小图像传输的数据量。步骤S102具体包括：将实时获得的多路图像对应的I slice同步广播至多个所述地面端设备。选择该编码方式是由于地面端设备在接收到多路图像对应的I slice后，若任一路图像的I slice异常，则可对异常的I slice进行恢复处理，无需无人机重新发送I slice异常的图像。其中，图像的I slice异常可包括图像的帧内信息或帧间信息划分丢失。本实施例中，无人机是按照预设周期，将实时获得的多路图像对应的I slice同步广播至多个所述地面端设备的，地面端设备可周期性对I slice异常的图像进行恢复，图像传输稳定性强。
在另一实施例中，编码模块对实时获取的多路图像进行编码具体包括：获取每路图像的I帧，减小图像传输的数据量，且不影响地面端设备显示的图像的完整性。步骤S102具体包括：将实时获取的多路图像对应的I帧同步广播至多个所述地面端设备。地面端设备在接收到每路图像的I帧后，可完整地显示每路图像的图像信息。
无人机在执行步骤S102之后还可包括：接收到任一地面端设备发送的异常图像信息，则根据所述异常图像信息，获得所述图像异常信息对应的图像，接着广播所获得的所述图像异常信息对应的多路图像至多个所述地面端设备。地面端设备在检测到其接收到的任一路图像异常，则发送异常图像信息至无人机，从而请求无人机重新发送该异常图像。其中，在地面端设备接收到无人机广播的多路图像的I帧时，图像异常为图像的I帧异常，比如I帧丢失、I帧的失真率大于或等于预设失真率等。而在地面端设备接收到无人机广播的多路图像的I slice时，图像异常为图像的I slice异常，比如帧内信息或帧间信息划分丢失等。其中，所述图像异常信息可包括：异常图像对应的拍摄设备的设备信息和拍摄时间。无人机在接收到异常图像信息后，会根据异常图像对应的拍摄设备的设备信息和拍摄时间，查找到对应的图像并重新广播查找到的图像至多个所述地面端设备。
实施例二
图2为本发明实施例二提供的一种无人机的图像传输方法在地面端设备侧的流程图。本实施例的无人机的图像传输方法的执行主体为各地面端设备。
本实施例的地面端设备可包括以下至少一种：遥控器、可移动设备(比如手机、智能手表、平板电脑)、头戴显示设备(比如视频眼镜)。当然，地面端设备不限于上述设备类型，也可选择为其他与无人机通信连接的设备。
如图2所示，在各地面端设备中，所述无人机的图像传输方法可包括以下步骤：
步骤S201：接收无人机广播的该无人机上的多路拍摄设备分别拍摄的图像，其中多路所述拍摄设备的拍摄方向不同；
本实施例中，各地面端设备和无人机均通信连接。而各地面端设备和无人机之间的通信方式可根据需要选择，例如，可选择有线通信方式和无线通信方式。本实施例的各地面端设备和无人机均基于无线通信方式通信连接，这种通信方式不会限制无人机的飞行距离。各地面端设备是基于无线通信方式来接收无人机广播的该无人机上的多路拍摄设备分别拍摄的图像的。
地面端设备(多个地面端设备中的一个)在执行步骤S201之前还可包括：发送多路图像请求至无人机。接着，各地面端设备会接收所述无人机针对所述多路图像请求广播返回的所述多路待请求图像对应的拍摄设备分别拍摄的图像，从而可根据用户的实际需求进行选择性的传输，无需同时发送无人机上的所有拍摄设备的图像，进而节省信道带宽。其中，所述多路图像请求包括多路待请求图像对应的拍摄设备的设备信息。无人机是根据所述多路待请求图像对应的拍摄设备的设备信息，获得所述多路待请求图像对应的拍摄设备所拍摄的图像，然后将实时获得的多路待请求图像对应的拍摄设备所拍摄的图像同步广播至多个所述地面端设备的。
此外，地面端设备可为默认的地面端设备，也可根据用户需求选择。例如，在一实施例中，默认的地面端设备为可移动设备和头戴设备。无人机存储有可移动设备的终端标识和头戴设备的终端标识。用户可通过默认的可移动设备和头戴设备发送多路图像请求至无人机。无人机在获取到多路待请求图像对应的拍摄设备所拍摄的图像后，会根据可移动设备的终端标识和头戴设备的终端标识将实时获取的多路图像同步广播至对应的移动设备和头戴设备。
在另一实施例中，地面端设备发送多路图像请求至无人机之前，还可包括：接收用户指令，并从所述用户指令中解析出多路待请求图像对应的拍摄设备的设备信息，接着，根据所述多路待请求图像对应的拍摄设备的设备信息，发送多路图像请求至所述无人机。在本实施例中。用户可根据需要选择当前无人机上的指定拍摄设备所拍摄的图像(即多路待请求图像)，例如，无人机上的拍摄设备可包括拍摄设备1、拍摄设备2、拍摄设备3和拍摄设备4。其中，拍摄设备1用于拍摄当前无人机前向的画面，拍摄设备2用于拍摄当前无人机后向的画面，拍摄设备3用于拍摄当前无人机左侧向的画面，拍摄设备4用于拍摄当前无人机右侧向的画面。用户需要获取当前无人机前向、左侧向和右侧向的画面，则将拍摄设备1的设备信息、拍摄设备3的设备信息和拍摄设备4的设备信息输入任一地面端设备，地面端设备则根据拍摄设备1的设备信息、拍摄设备3的设备信息和拍摄设备4的设备信息生成多路图像请求并发送至无人机，无人机即可将摄设备1、拍摄设备3和拍摄设备4分别拍摄的图像广播至多个地面端设备。本实施例的设备信息可为拍摄设备的设备标识。
进一步地，地面端设备接收用户指令的方式可包括：
第一种，地面端设备或者地面端设备上安装的APP上显示有当前无人机上的各拍摄设备的设备信息的列表，用户选择列中的多路拍摄设备作为多路待请求图像对应的拍摄设备，并在选择完毕后，按下地面端设备或者地面端设备上安装的APP上的多路图像请求确认按钮，地面端设备即可发送携带有用户输入的多路待请求图像对应的拍摄设备的设备信息的多路图像请求至无人机，从而获得用户所需的拍摄设备的图像。
第二种，地面端设备或者地面端设备上安装的APP上设有设备信息输入框，用户将多路待请求图像对应的拍摄设备的设备信息输入该设备信息输入框，并在输入完毕后，按下地面端设备或者地面端设备上安装的APP上的多路图像请求确认按钮，地面端设备即可发送携带有用户输入的多路待请求图像对应的拍摄设备的设备信息的多路图像请求至无人机，从而获得用户所需的拍摄设备的图像。
步骤S202：实时显示所接收到的多路图像。
各地面端设备包括一显示模块，并通过该显示模块来实时显示所接收到的多路图像，实现设备多路图传支持，一方面能够为多个用户提供无人机所处位置的全方位信息(即多个视角的图像信息)，并提供多方向的障碍信息，进而指导用户作业和操作，提高飞行的安全性，还能够为用户带来较为真实的全景体验。另一方面能够支持多用户，使得多用户协同工作。尤其适用于以第一视角飞行的应用场景和安保监控、消防、救灾抢险、管道巡线、机器人赛事等应用场景。显示模块可为现有任意类型的显示屏。
在步骤S202之前，各地面端设备还包括：在所接收到的多路图像均为已编码的图像时，对已编码的多路图像进行解码，从而恢复图像信息。各地面端设备实时显示所述解码后的多路图像。具体地，本实施例的地面端设备均可包括解码模块，通过解码模块对已编码的多路图像进行解码。其中，解码模块可为现有任意类型的解码器。
在一实施例中，地面端设备在对已编码的多路图像进行解码之后，还包括：在所述已编码的多路图像为对应图像的I slice(即帧内片，一帧包含多个slice)时，若检测到所接收到的任一路图像的I slice异常，则对异常的I slice进行恢复。地面端设备在接收到多路图像对应的I slice后，若任一路图像的I slice异常，则可对异常的I slice进行恢复处理，无需无人机重新发送I slice异常的图像。其中，图像的I slice异常可包括图像的帧内信息或帧间信息划分丢失。本实施例中，无人机是按照预设周期，将实时获得的多路图像对应的I slice同步广播至多个所述地面端设备的，地面端设备可周期性对I slice异常的图像进行恢复，图像传输稳定性强。当然，地面端设备在检测到所接收到的任一路图像的Islice异常时，还可发送异常图像信息至所述无人机，从而重新获得异常图像。所述图像异常信息可包括：异常图像对应的拍摄设备的设备信息和拍摄时间。无人机在接收到异常图像信息后，会根据异常图像对应的拍摄设备的设备信息和拍摄时间，查找到对应的图像的Islice并重新广播查找到的图像的I slice至多个所述地面端设备。
在另一实施例中，地面端设备在对已编码的多路图像进行解码之后，还包括：在所述已编码的多路图像为对应图像的I帧时，若确定出接收到的任一路图像的I帧异常时，发送异常图像信息至所述无人机，从而重新获得异常图像。I帧异常可包括I帧丢失、I帧的失真率大于或等于预设失真率等。所述图像异常信息可包括：异常图像对应的拍摄设备的设备信息和拍摄时间。无人机在接收到异常图像信息后，会根据异常图像对应的拍摄设备的设备信息和拍摄时间，查找到对应的图像的I帧并重新广播查找到的图像的I帧至多个所述地面端设备。
实施例三
结合图2至图5，本发明实施例三提供一种无人机的图像传输装置。本实施例具体阐述无人机的图像传输装置在无人机侧的结构。无人机侧的图像传输装置用以与多个地面端设备(可包括地面端设备210、地面端设备22、…、地面端设备m，m为正整数)配合，从而将无人机上的多路拍摄设备所采集的图像发送至多个地面端设备。本实施例的地面端设备可包括以下至少一种：遥控器、可移动设备(比如手机、智能手表、平板电脑)、头戴显示设备(比如视频眼镜)。当然，地面端设备不限于上述设备类型，也可选择为其他与无人机通信连接的设备。
在无人机侧，所述无人机的图像传输装置可包括第一处理器和多路拍摄设备(可包括拍摄设备110、拍摄设备120、…、拍摄设备n，n为正整数)。其中，所述第一处理器与多个所述地面端设备分别通信连接。而第一处理器和各地面端设备的通信方式可根据需要选择，例如，可选择有线通信方式和无线通信方式中的至少一种。本实施例的第一处理器和各地面端设备均基于无线通信方式通信连接，具体而言，第一处理器和各地面端设备的第二处理器基于无线通信连接，这种通信方式不会限制无人机的飞行距离。第一处理器基于无线通信方式，将实时获取的多路图像同步广播至多个所述地面端设备的第二处理器。本实施例中，第一处理器和第二处理器采用高带宽低延时的无线传输模块实现无线通信连接，支持多路视频流(如2160x1440；1920x1080等)同时传输。
每路拍摄设备均与所述第一处理器通信连接，各拍摄设备会将拍摄到的图像发送给所述第一处理器。其中，多路所述拍摄设备的拍摄方向不同。本实施例的拍摄设备可为相机，也可为图像传感器，当然也可选择其他类型的拍摄设备。而拍摄设备的数量、拍摄设备在无人机上的安装位置、各拍摄设备的拍摄方向均可根据用户所需的无人机所处的位置周围的环境信息来选择。例如，拍摄设备为两个，其中一个拍摄设备放置于无人机的机头，另一个拍摄设备放置于无人机的机尾。机头上的拍摄设备用于拍摄无人机前方的画面，机尾上的拍摄设备用于拍摄无人机后方的画面，从而为用户提供无人机所处位置的全方位信息。
所述第一处理器包括一个或多个，单独地或共同地工作。所述第一处理器可用于获取无人机上的多路拍摄设备分别拍摄的图像，并将实时获取的多路图像同步广播至多个所述地面端设备。第一处理器可为无人机的飞行控制器，或者设于无人机上的其他控制器。
本发明实施例中，通过广播的方式将无人机上的多路拍摄设备拍摄到的图像同步传输给多个地面端设备，实现设备多路图传支持，一方面能够为多个用户提供无人机所处位置的全方位信息，并提供多方向的障碍信息，进而指导用户作业和操作，提高飞行的安全性，还能够为用户带来较为真实的全景体验。另一方面能够支持多用户，使得多用户协同工作。尤其适用于以第一视角飞行的应用场景和安保监控、消防、救灾抢险、管道巡线、机器人赛事等应用场景。
所述第一处理器将实时获取的多路图像同步广播至多个地面端设备之前，还接收用户输入的多个所述地面端设备对应的终端信息，并根据多个所述地面端设备对应的终端信息，将实时获取的多路图像同步广播至多个所述地面端设备，使得用户通过各自的地面端设备获得无人机当前所处位置的环境信息。用户可通过任一地面端设备发送终端信息至第一处理器，也可直接在通过第一处理器输入多个所述地面端设备对应的终端信息，从而告知第一处理器待发送多路图像的地面端设备，灵活性强。
进一步地，所述第一处理器将实时获取的多路图像同步广播至多个地面端设备的步骤是在所述第一处理器确定出其满足特定条件后执行的。例如，在一实施例中，所述特定条件包括：所述第一处理器接收到任一地面端设备发送的多路图像请求，从而根据用户的实际需求进行选择性的传输，无需同时发送无人机上的所有拍摄设备的图像，进而节省信道带宽。所述多路图像请求可包括多路待请求图像对应的拍摄设备的设备信息。本实施例的第一处理器是根据所述多路待请求图像对应的拍摄设备的设备信息，获得所述多路待请求图像对应的拍摄设备所拍摄的图像，并将实时获得的多路待请求图像对应的拍摄设备所拍摄的图像同步广播至多个所述地面端设备的。在本实施例中。用户可根据需要选择当前无人机上的指定拍摄设备所拍摄的图像，例如，无人机上的拍摄设备可包括拍摄设备1、拍摄设备2、拍摄设备3和拍摄设备4。其中，拍摄设备1用于拍摄当前无人机前向的画面，拍摄设备2用于拍摄当前无人机后向的画面，拍摄设备3用于拍摄当前无人机左侧向的画面，拍摄设备4用于拍摄当前无人机右侧向的画面。用户需要获取当前无人机前向、左侧向和右侧向的画面，则将拍摄设备1的设备信息、拍摄设备3的设备信息和拍摄设备4的设备信息输入任一地面端设备，地面端设备则根据拍摄设备1的设备信息、拍摄设备3的设备信息和拍摄设备4的设备信息生成多路图像请求并发送至第一处理器，第一处理器即可将摄设备1、拍摄设备3和拍摄设备4分别拍摄的图像广播至多个地面端设备。本实施例的设备信息可为拍摄设备的设备标识。
在另一实施例中，所述特定条件包括：第一处理器获取到该无人机上的所有拍摄设备所拍摄的图像。第一处理器在获取到其上的所有拍摄设备所拍摄的图像后，将获取到所有拍摄设备所拍摄的图像同步广播至多个所述地面端设备，用户获得的信息更加全面，以更好地操作无人机和指导无人机作业，提高无人机飞行的安全性。
更进一步地，在无人机侧，所述无人机的图像传输装置还可包括编码模块。所述编码模块与所述第一处理器、多路所述拍摄设备分别通信连接。多路所述拍摄设备将各自拍摄的图像分别传输给所述编码模块，由所述编码模块对实时获取的多路图像进行编码，并由所述第一处理器将编码后的多路图像同步广播至多个所述地面端设备。通过编码模块去掉各路图像的冗余信息，最终减小第一处理器广播的数据量。
编码设备可包括一路或多路。例如，在其中一实施例中，所述编码模块包括多路，与多路所述拍摄设备对应配合，每个编码模块均与所述第一处理器通信连接。每个所述编码模块对对应的拍摄设备所拍摄的图像进行编码，多个所述编码模块将各自获得的编码后的图像发送至所述第一处理器，再由所述第一处理器将编码后的多路图像同步广播至多个所述地面端设备，从而可通过设置多路编码模块来提高图像编码的处理效率。可选地，编码模块的数量与拍摄设备的数量相等，多路拍摄设备与多路编码模块对应连接。可选地，编码模块的数量为多个但小于拍摄设备的数量。本实施例中，多路编码模块中的一部分连接多路拍摄设备中的一路拍摄设备，另一部分连接多路拍摄设备中的至少两路拍摄设备，且每路拍摄设备只连接一路拍摄设备，从而加快图像编码的处理速度。
在另一实施例中，所述编码模块包括一个，与多路所述拍摄设备均通信连接。所述编码模块对多路所述拍摄设备所拍摄的图像同时进行编码，再由所述第一处理器将编码后的多路图像同步广播至多个所述地面端设备。通过一路编码模，完成对多路图像的编码，能够降低多路图像同步传输的实现难度，同时能够降低成本。
而编码模块可选择现有任意类型的编码器。
此外，实现图像进行编码的方式可包括多种。例如，在一实施例中，编码模块对实时获取的多路图像进行编码的方式具体如下：所述编码模块将每路图像分割成I slice(即帧内片，一帧包含多个slice)，并经所述第一处理器将实时获得的多路图像对应的I slice同步广播至多个所述地面端设备，减小图像传输的数据量。选择该编码方式是由于地面端设备在接收到多路图像对应的I slice后，若任一路图像的I slice异常，则可对异常的Islice进行恢复处理，无需第一处理器重新发送I slice异常的图像。其中，图像的I slice异常可包括图像的帧内信息或帧间信息划分丢失。本实施例中，所述第一处理器按照预设周期，将实时获得的多路图像对应的I slice同步广播至多个所述地面端设备，地面端设备可周期性对I slice异常的图像进行恢复(可选择现有的任意I slice异常恢复方式进行恢复)，图像传输稳定性强。
在另一实施例中，编码模块对实时获取的多路图像进行编码的方式具体如下：所述编码模块获取每路图像的I帧，并经所述第一处理器将实时获取的多路图像对应的I帧同步广播至多个所述地面端设备，能够减小图像传输的数据量，且不影响地面端设备显示的图像的完整性，地面端设备在接收到每路图像的I帧后，可完整地显示每路图像的图像信息。
在其他实施例中，无需单独设置编码模块，可由第一处理器执行上述编码模块的功能。
所述第一处理器将编码后的多路图像同步广播至多个所述地面端设备之后，若第一处理器还接收到任一地面端设备发送的异常图像信息，则根据所述异常图像信息，获得所述图像异常信息对应的图像。所述第一处理器还将所获得的所述图像异常信息对应的多路图像广播至多个所述地面端设备。地面端设备在检测到其接收到的任一路图像异常，则发送异常图像信息至第一处理器，从而请求第一处理器重新发送该异常图像。其中，在地面端设备接收到第一处理器广播的多路图像的I帧时，图像异常为图像的I帧异常，比如I帧丢失、I帧的失真率大于或等于预设失真率等。而在地面端设备接收到第一处理器广播的多路图像的I slice时，图像异常为图像的I slice异常，比如帧内信息或帧间信息划分丢失等。其中，所述图像异常信息可包括：异常图像对应的拍摄设备的设备信息和拍摄时间。第一处理器在接收到异常图像信息后，会根据异常图像对应的拍摄设备的设备信息和拍摄时间，查找到对应的图像并重新广播查找到的图像至多个所述地面端设备。
实施例四
结合图2至图5，本发明实施例四提供一种无人机的图像传输装置。本实施例具体阐述无人机的图像传输装置在地面端设备侧的结构。各地面端设备(可包括地面端设备210、地面端设备220、…、地面端设备m，m为正整数)侧的图像传输装置均用以与无人机配合，从而获取无人机上的多路拍摄设备(可包括拍摄设备110、拍摄设备120、…、拍摄设备n，n为正整数)所采集的图像。
本实施例的地面端设备可包括以下至少一种：遥控器、可移动设备(比如手机、智能手表、平板电脑)、头戴显示设备(比如视频眼镜)。当然，地面端设备不限于上述设备类型，也可选择为其他与无人机通信连接的设备。
在各地面端设备侧，所述图像传输装置可包括第二处理器和显示模块。其中，所述第二处理器与所述无人机的第一处理器通信连接，而第二处理器和无人机之间的通信方式可根据需要选择，例如，可选择有线通信方式或无线通信方式。本实施例的第二处理器和第一处理器均基于无线通信方式通信连接，这种通信方式不会限制无人机的飞行距离。第二处理器是基于无线通信方式来接收第一处理器广播的该无人机上的多路拍摄设备分别拍摄的图像的。所述显示模块与所述第二处理器通信连接。其中，显示模块可为现有任意类型的显示屏。本实施例中，第一处理器和第二处理器采用高带宽低延时的无线传输模块实现无线通信连接，支持多路视频流(如2160x1440；1920x1080等)同时传输。
所述第二处理器包括一个或多个，单独地或共同地工作。所述第二处理器用于接收无人机广播的该无人机上的多路拍摄设备分别拍摄的图像，本实施例的多路所述拍摄设备的拍摄方向不同。所述显示模块实时显示所述第二处理器所接收到的多路图像，从而实现设备多路图传支持，一方面能够为多个用户提供无人机所处位置的全方位信息(即多个视角的图像信息)，并提供多方向的障碍信息，进而指导用户作业和操作，提高飞行的安全性，还能够为用户带来较为真实的全景体验。另一方面能够支持多用户，使得多用户协同工作。尤其适用于以第一视角飞行的应用场景和安保监控、消防、救灾抢险、管道巡线、机器人赛事等应用场景。
所述第二处理器在接收无人机广播的该无人机上的多路拍摄设备分别拍摄的图像之前，还发送多路图像请求至无人机，其中，所述多路图像请求包括多路待请求图像对应的拍摄设备的设备信息。所述第二处理器接收所述无人机针对所述多路图像请求广播返回的所述多路待请求图像对应的拍摄设备分别拍摄的图像，从而可根据用户的实际需求进行选择性的传输，无需同时发送无人机上的所有拍摄设备的图像，进而节省信道带宽。本实施例的无人机的第一处理器根据所述多路待请求图像对应的拍摄设备的设备信息，获得所述多路待请求图像对应的拍摄设备所拍摄的图像，然后将实时获得的多路待请求图像对应的拍摄设备所拍摄的图像同步广播至多个所述地面端设备的第二处理器。
此外，地面端设备可为默认的地面端设备，也可根据用户需求选择。例如，在一实施例中，默认的地面端设备为可移动设备和头戴设备。无人机存储有可移动设备的终端标识和头戴设备的终端标识。用户可通过默认的可移动设备和头戴设备发送多路图像请求至无人机的第一处理器。无人机的第一处理器在获取到多路待请求图像对应的拍摄设备所拍摄的图像后，会根据可移动设备的终端标识和头戴设备的终端标识将实时获取的多路图像同步广播至对应的移动设备的第二处理器和头戴设备的第二处理器。
在另一实施例中，所述第二处理器发送多路图像请求至无人机之前，还接收用户通过所述显示模块输入的用户指令。所述第二处理器从所述用户指令中解析出多路待请求图像对应的拍摄设备的设备信息，并根据所述多路待请求图像对应的拍摄设备的设备信息，发送多路图像请求至所述无人机的第一处理器。在本实施例中。用户可根据需要选择当前无人机上的指定拍摄设备所拍摄的图像(即多路待请求图像)，例如，无人机上的拍摄设备可包括拍摄设备1、拍摄设备2、拍摄设备3和拍摄设备4。其中，拍摄设备1用于拍摄当前无人机前向的画面，拍摄设备2用于拍摄当前无人机后向的画面，拍摄设备3用于拍摄当前无人机左侧向的画面，拍摄设备4用于拍摄当前无人机右侧向的画面。用户需要获取当前无人机前向、左侧向和右侧向的画面，则将拍摄设备1的设备信息、拍摄设备3的设备信息和拍摄设备4的设备信息输入任一地面端设备的第二处理器，地面端设备的第二处理器则根据拍摄设备1的设备信息、拍摄设备3的设备信息和拍摄设备4的设备信息生成多路图像请求并发送至无人机的第一处理器，无人机的第一处理器即可将摄设备1、拍摄设备3和拍摄设备4分别拍摄的图像广播至多个地面端设备的第二处理器。本实施例的设备信息可为拍摄设备的设备标识。
进一步地，第二处理器接收用户指令的方式可包括：
第一种，显示模块上显示有当前无人机上的各拍摄设备的设备信息的列表，用户选择列中的多路拍摄设备作为多路待请求图像对应的拍摄设备，并在选择完毕后，按下显示模块上的多路图像请求确认按钮，第二处理器即可发送携带有用户输入的多路待请求图像对应的拍摄设备的设备信息的多路图像请求至无人机的第一处理器，从而获得用户所需的拍摄设备的图像。
第二种，显示模块上设有设备信息输入框，用户将多路待请求图像对应的拍摄设备的设备信息输入该设备信息输入框，并在输入完毕后，按下显示模块上的多路图像请求确认按钮，第二处理器即可发送携带有用户输入的多路待请求图像对应的拍摄设备的设备信息的多路图像请求至无人机的第一处理器，从而获得用户所需的拍摄设备的图像。
在各地面端设备侧，所述图像传输装置还可包括解码模块。所述解码模块与所述第二处理器通信连接。在所述第二处理器所接收到的多路图像均为已编码的图像时，所述解码模块对所述第二处理器所接收到的已编码的多路图像进行解码，从而恢复图像信息。再由所述显示模块实时显示所述解码后的多路图像。其中，解码模块可为现有任意类型的解码器。
在一实施例中，在所述已编码的多路图像为对应图像的I slice(即帧内片，一帧包含多个slice)时，若所述解码模块检测到所接收到的任一路图像的I slice异常，则对异常的I slice进行恢复。第二处理器在接收到多路图像对应的I slice后，若任一路图像的Islice异常，则可对异常的I slice进行恢复处理，无需无人机的第一处理器重新发送Islice异常的图像。其中，图像的I slice异常可包括图像的帧内信息或帧间信息划分丢失。本实施例中，无人机的第一处理器按照预设周期，将实时获得的多路图像对应的I slice同步广播至各地面端设备的第二处理器，各地面端设备的第二处理器可周期性对I slice异常的图像进行恢复(可选择现有的任意I slice异常恢复方式进行恢复)，图像传输稳定性强。当然，各地面端设备的第二处理器在检测到所接收到的任一路图像的I slice异常时，还可发送异常图像信息至所述无人机的第一处理器，从而重新获得异常图像。所述图像异常信息可包括：异常图像对应的拍摄设备的设备信息和拍摄时间。无人机的第一处理器在接收到异常图像信息后，会根据异常图像对应的拍摄设备的设备信息和拍摄时间，查找到对应的图像的I slice并重新广播查找到的图像的I slice至各地面端设备的第二处理器。
在另一实施例中，在所述已编码的多路图像为对应图像的I帧时，若所述解码模块确定出接收到的任一路图像的I帧异常时，所述第二处理器发送异常图像信息至所述无人机，从而重新获得异常图像。其中，I帧异常可包括I帧丢失、I帧的失真率大于或等于预设失真率等。所述图像异常信息可包括：异常图像对应的拍摄设备的设备信息和拍摄时间。无人机的第一处理器在接收到异常图像信息后，会根据异常图像对应的拍摄设备的设备信息和拍摄时间，查找到对应的图像的I帧并重新广播查找到的图像的I帧至各地面端设备的第二处理器。
在其他实施例中，无需单独设置解码模块，可由第二处理器执行上述解码模块的功能。
实施例五
本发明实施例五提供一种计算机可读存储介质，其上存储有计算机程序。
该程序被第一处理器执行时实现上述实施例一所述的无人机的图像传输方法的步骤。
该程序被第二处理器执行时实现上述实施例二所述的无人机的图像传输方法的步骤。
另外需要说明的是，上述实施例中，“前”、“后”、“左”、“右”是以无人机的机头为前，机尾为后为基准的。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
“具体示例”、或“一些示例”等的描述意指结合所述实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施例的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施例中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施例中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (50)

1.一种无人机的图像传输方法，其特征在于，包括：
获取无人机上的多路拍摄设备分别拍摄的图像，其中多路所述拍摄设备的拍摄方向不同；
将实时获取的多路图像同步广播至多个地面端设备。
2.根据权利要求1所述的方法，其特征在于，所述将实时获取的多路图像同步广播至多个地面端设备之前，还包括：
对实时获取的多路图像进行编码；
所述将实时获取的多路图像同步广播至多个地面端设备，包括：
将编码后的多路图像同步广播至多个所述地面端设备。
3.根据权利要求2所述的方法，其特征在于，多路拍摄设备与多路编码模块对应连接；
所述对实时获取的多路图像进行编码，包括：
基于各路编码模块，对对应的拍摄设备所拍摄的图像进行编码。
4.根据权利要求2所述的方法，其特征在于，多路拍摄设备与同一编码模块连接；
所述对实时获取的多路图像进行编码，包括：
基于同一路编码模块，对多路所述图像进行编码。
5.根据权利要求2所述的方法，其特征在于，所述对实时获取的多路图像进行编码，包括：
将每路图像分割成I slice；
所述将实时获取的多路图像同步广播至多个地面端设备，包括：
将实时获得的多路图像对应的I slice同步广播至多个所述地面端设备。
6.根据权利要求5所述的方法，其特征在于，所述将实时获得的多路图像对应的Islice同步广播至多个所述地面端设备，包括：
按照预设周期，将实时获得的多路图像对应的I slice同步广播至多个所述地面端设备。
7.根据权利要求2所述的方法，其特征在于，所述对实时获取的多路图像进行编码，包括：
获取每路图像的I帧；
所述将实时获取的多路图像同步广播至多个地面端设备，包括：
将实时获取的多路图像对应的I帧同步广播至多个所述地面端设备。
8.根据权利要求2所述的方法，其特征在于，所述将编码后的多路图像同步广播至多个所述地面端设备之后，还包括：
接收到任一地面端设备发送的异常图像信息；
根据所述异常图像信息，获得所述图像异常信息对应的图像；
广播所获得的所述图像异常信息对应的多路图像至多个所述地面端设备。
9.根据权利要求8所述的方法，其特征在于，所述图像异常信息包括：异常图像对应的拍摄设备的设备信息和拍摄时间。
10.根据权利要求1所述的方法，其特征在于，所述将实时获取的多路图像同步广播至多个地面端设备的步骤是在确定出满足特定条件后执行的。
11.根据权利要求10所述的方法，其特征在于，所述特定条件包括：
接收到任一地面端设备发送的多路图像请求。
12.根据权利要求11所述的方法，其特征在于，所述多路图像请求包括多路待请求图像对应的拍摄设备的设备信息。
13.根据权利要求12所述的方法，其特征在于，所述获取无人机上的多路拍摄设备分别拍摄的图像，包括：
根据所述多路待请求图像对应的拍摄设备的设备信息，获得所述多路待请求图像对应的拍摄设备所拍摄的图像；
所述将实时获取的多路图像同步广播至多个地面端设备，包括：
将实时获得的多路待请求图像对应的拍摄设备所拍摄的图像同步广播至多个所述地面端设备。
14.根据权利要求1所述的方法，其特征在于，所述将实时获取的多路图像同步广播至多个地面端设备，包括：
基于无线通信方式，将实时获取的多路图像同步广播至多个所述地面端设备。
15.根据权利要求1所述的方法，其特征在于，所述将实时获取的多路图像同步广播至多个地面端设备之前，还包括：
接收用户输入的多个所述地面端设备对应的终端信息；
所述将实时获取的多路图像同步广播至多个地面端设备，包括：
根据多个所述地面端设备对应的终端信息，将实时获取的多路图像同步广播至多个所述地面端设备。
16.根据权利要求1所述的方法，其特征在于，所述地面端设备包括以下至少一种：遥控器、可移动设备、头戴显示设备。
17.一种无人机的图像传输装置，用以与多个地面端设备配合，其特征在于，所述装置包括第一处理器和多路拍摄设备，所述第一处理器与多个所述地面端设备分别通信连接，每路拍摄设备均与所述第一处理器通信连接，其中多路所述拍摄设备的拍摄方向不同；
所述第一处理器包括一个或多个，单独地或共同地工作；所述第一处理器用于获取无人机上的多路拍摄设备分别拍摄的图像，并将实时获取的多路图像同步广播至多个所述地面端设备。
18.根据权利要求17所述的装置，其特征在于，还包括编码模块，所述编码模块与所述第一处理器、多路所述拍摄设备分别通信连接；
多路所述拍摄设备将各自拍摄的图像分别传输给所述编码模块，由所述编码模块对实时获取的多路图像进行编码，并由所述第一处理器将编码后的多路图像同步广播至多个所述地面端设备。
19.根据权利要求18所述的装置，其特征在于，所述编码模块包括多个，与多路所述拍摄设备对应配合，每个编码模块均与所述第一处理器通信连接；
每个所述编码模块对对应的拍摄设备所拍摄的图像进行编码，多个所述编码模块将各自获得的编码后的图像发送至所述第一处理器，再由所述第一处理器将编码后的多路图像同步广播至多个所述地面端设备。
20.根据权利要求18所述的装置，其特征在于，所述编码模块包括一个，与多路所述拍摄设备均通信连接；
所述编码模块对多路所述拍摄设备所拍摄的图像同时进行编码，再由所述第一处理器将编码后的多路图像同步广播至多个所述地面端设备。
21.根据权利要求18所述的装置，其特征在于，所述编码模块将每路图像分割成Islice，并经所述第一处理器将实时获得的多路图像对应的I slice同步广播至多个所述地面端设备。
22.根据权利要求21所述的装置，其特征在于，所述第一处理器按照预设周期，将实时获得的多路图像对应的I slice同步广播至多个所述地面端设备。
23.根据权利要求18所述的装置，其特征在于，所述编码模块获取每路图像的I帧，并经所述第一处理器将实时获取的多路图像对应的I帧同步广播至多个所述地面端设备。
24.根据权利要求18所述的装置，其特征在于，所述第一处理器将编码后的多路图像同步广播至多个所述地面端设备之后，若第一处理器还接收到任一地面端设备发送的异常图像信息，则根据所述异常图像信息，获得所述图像异常信息对应的图像；所述第一处理器还将所获得的所述图像异常信息对应的多路图像广播至多个所述地面端设备。
25.根据权利要求24所述的装置，其特征在于，所述图像异常信息包括：异常图像对应的拍摄设备的设备信息和拍摄时间。
26.根据权利要求17所述的装置，其特征在于，所述第一处理器将实时获取的多路图像同步广播至多个地面端设备的步骤是在所述第一处理器确定出其满足特定条件后执行的。
27.根据权利要求26所述的装置，其特征在于，所述特定条件包括：
所述第一处理器接收到任一地面端设备发送的多路图像请求。
28.根据权利要求27所述的装置，其特征在于，所述多路图像请求包括多路待请求图像对应的拍摄设备的设备信息。
29.根据权利要求28所述的装置，其特征在于，所述第一处理器根据所述多路待请求图像对应的拍摄设备的设备信息，获得所述多路待请求图像对应的拍摄设备所拍摄的图像；并将实时获得的多路待请求图像对应的拍摄设备所拍摄的图像同步广播至多个所述地面端设备。
30.根据权利要求17所述的装置，其特征在于，所述第一处理器与多个所述地面端设备均基于无线通信方式通信连接。
31.根据权利要求17所述的装置，其特征在于，所述第一处理器将实时获取的多路图像同步广播至多个地面端设备之前，还接收用户输入的多个所述地面端设备对应的终端信息，并根据多个所述地面端设备对应的终端信息，将实时获取的多路图像同步广播至多个所述地面端设备。
32.根据权利要求17所述的装置，其特征在于，所述地面端设备包括以下至少一种：遥控器、可移动设备、头戴显示设备。
33.一种计算机可读存储介质，其上存储有计算机程序，该程序被第一处理器执行时实现权利要求1至16任一项所述的无人机的图像传输方法的步骤。
34.一种无人机的图像传输方法，其特征在于，包括：
接收无人机广播的该无人机上的多路拍摄设备分别拍摄的图像，其中多路所述拍摄设备的拍摄方向不同；
实时显示所接收到的多路图像。
35.根据权利要求34所述的方法，其特征在于，所述实时显示所接收到的多路图像之前，还包括：
在所接收到的多路图像均为已编码的图像时，对已编码的多路图像进行解码；
所述实时显示所接收到的多路图像，包括：
实时显示所述解码后的多路图像。
36.根据权利要求35所述的方法，其特征在于，所述对已编码的多路图像进行解码之后，还包括：
在所述已编码的多路图像为对应图像的I slice时，若检测到所接收到的任一路图像的I slice异常，则对异常的I slice进行恢复。
37.根据权利要求35所述的方法，其特征在于，所述对已编码的多路图像进行解码之后，还包括：
在所述已编码的多路图像为对应图像的I帧时，若确定出接收到的任一路图像的I帧异常时，发送异常图像信息至所述无人机。
38.根据权利要求37所述的方法，其特征在于，所述图像异常信息包括：异常图像对应的拍摄设备的设备信息和拍摄时间。
39.根据权利要求34所述的方法，其特征在于，所述接收无人机广播的该无人机上的多路拍摄设备分别拍摄的图像之前，还包括：
发送多路图像请求至无人机，其中所述多路图像请求包括多路待请求图像对应的拍摄设备的设备信息；
所述接收无人机广播的该无人机上的多路拍摄设备分别拍摄的图像，包括：
接收所述无人机针对所述多路图像请求广播返回的所述多路待请求图像对应的拍摄设备分别拍摄的图像。
40.根据权利要求39所述的方法，其特征在于，所述发送多路图像请求至无人机之前，还包括：
接收用户指令；
从所述用户指令中解析出多路待请求图像对应的拍摄设备的设备信息；
根据所述多路待请求图像对应的拍摄设备的设备信息，发送多路图像请求至所述无人机。
41.根据权利要求34所述的方法，其特征在于，所述接收无人机广播的该无人机上的多路拍摄设备分别拍摄的图像，包括：
基于无线通信方式，接收无人机广播的该无人机上的多路拍摄设备分别拍摄的图像。
42.一种无人机的图像传输装置，用以与无人机配合，其特征在于，所述装置包括第二处理器和显示模块，所述第二处理器与所述无人机通信连接，所述显示模块与所述第二处理器通信连接；
所述第二处理器包括一个或多个，单独地或共同地工作；所述第二处理器用于接收无人机广播的该无人机上的多路拍摄设备分别拍摄的图像，所述显示模块实时显示所述第二处理器所接收到的多路图像，其中多路所述拍摄设备的拍摄方向不同。
43.根据权利要求42所述的装置，其特征在于，还包括解码模块，所述解码模块与所述第二处理器通信连接；
在所述第二处理器所接收到的多路图像均为已编码的图像时，所述解码模块对所述第二处理器所接收到的已编码的多路图像进行解码，再由所述显示模块实时显示所述解码后的多路图像。
44.根据权利要求43所述的装置，其特征在于，在所述已编码的多路图像为对应图像的I slice时，若所述解码模块检测到所接收到的任一路图像的I slice异常，则对异常的Islice进行恢复。
45.根据权利要求43所述的装置，其特征在于，在所述已编码的多路图像为对应图像的I帧时，若所述解码模块确定出接收到的任一路图像的I帧异常时，所述第二处理器发送异常图像信息至所述无人机。
46.根据权利要求45所述的装置，其特征在于，所述图像异常信息包括：异常图像对应的拍摄设备的设备信息和拍摄时间。
47.根据权利要求42所述的装置，其特征在于，所述第二处理器在接收无人机广播的该无人机上的多路拍摄设备分别拍摄的图像之前，还发送多路图像请求至无人机，其中所述多路图像请求包括多路待请求图像对应的拍摄设备的设备信息；
所述第二处理器接收所述无人机针对所述多路图像请求广播返回的所述多路待请求图像对应的拍摄设备分别拍摄的图像。
48.根据权利要求47所述的装置，其特征在于，所述第二处理器发送多路图像请求至无人机之前，还接收用户通过所述显示模块输入的用户指令；所述第二处理器从所述用户指令中解析出多路待请求图像对应的拍摄设备的设备信息；并根据所述多路待请求图像对应的拍摄设备的设备信息，发送多路图像请求至所述无人机。
49.根据权利要求42所述的装置，其特征在于，所述第二处理器与所述无人机基于无线通信方式通信连接。
50.一种计算机可读存储介质，其上存储有计算机程序，该程序被第二处理器执行时实现权利要求34至41任一项所述的无人机的图像传输方法的步骤。
CN201780011456.XA 2017-11-20 2017-11-20 无人机的图像传输方法和装置 Pending CN108702487A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/111930 WO2019095382A1 (zh) 2017-11-20 2017-11-20 无人机的图像传输方法和装置

Publications (1)

Publication Number Publication Date
CN108702487A true CN108702487A (zh) 2018-10-23

Family

ID=63843847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780011456.XA Pending CN108702487A (zh) 2017-11-20 2017-11-20 无人机的图像传输方法和装置

Country Status (3)

Country Link
US (1) US20200280698A1 (zh)
CN (1) CN108702487A (zh)
WO (1) WO2019095382A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109361931A (zh) * 2018-11-16 2019-02-19 北京中竞鸽体育文化发展有限公司 一种赛事直播中进行提示的方法及系统
CN111279691A (zh) * 2019-01-31 2020-06-12 深圳市大疆创新科技有限公司 多负载多路图传方法、控制系统和终端、无人机和服务器
CN111279690A (zh) * 2019-01-30 2020-06-12 深圳市大疆创新科技有限公司 多负载图传方法、控制系统、控制终端、无人机和服务器
CN111615826A (zh) * 2019-06-28 2020-09-01 深圳市大疆创新科技有限公司 视频处理方法、装置、系统及介质
CN111915936A (zh) * 2020-09-03 2020-11-10 中国联合网络通信集团有限公司 无人机监管方法、装置和用户终端
CN113038426A (zh) * 2021-02-27 2021-06-25 吉林大学 车联网安全检测系统以及方法
CN113141465A (zh) * 2021-04-20 2021-07-20 云南云能科技有限公司 一种无人机多层次多视角交叉实景影像采集方法及装置
WO2021217581A1 (zh) * 2020-04-30 2021-11-04 深圳市大疆创新科技有限公司 数据传输方法、数据传输系统、可移动设备和终端设备
WO2022217555A1 (zh) * 2021-04-15 2022-10-20 深圳市大疆创新科技有限公司 无人机的图像传输方法、无人机及计算机可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019178846A1 (zh) * 2018-03-23 2019-09-26 深圳市大疆创新科技有限公司 成像系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1863302A (zh) * 2005-11-03 2006-11-15 华为技术有限公司 多媒体通信方法及其终端
CN101159843A (zh) * 2007-10-29 2008-04-09 中兴通讯股份有限公司 在视频会议中改进视频切换效果的图像切换方法及系统
CN101282263A (zh) * 2005-07-29 2008-10-08 华为技术有限公司 一种宽带接入设备及其应用
CN105744222A (zh) * 2016-02-03 2016-07-06 普宙飞行器科技（深圳）有限公司 一种无人机无线图像/视频传输、共享及存储系统
CN105872467A (zh) * 2016-04-14 2016-08-17 普宙飞行器科技（深圳）有限公司 一种基于无人机的实时全景影音无线分享方法及平台
CN107079101A (zh) * 2016-09-30 2017-08-18 深圳市大疆创新科技有限公司 一种飞行图像数据的处理方法、系统及地面端设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018014338A1 (en) * 2016-07-22 2018-01-25 SZ DJI Technology Co., Ltd. Systems and methods for uav interactive video broadcasting
CN106412439B (zh) * 2016-10-27 2020-01-07 北京小米移动软件有限公司 图像采集设备、图像采集方法及控制器
CN106980323A (zh) * 2016-10-28 2017-07-25 易瓦特科技股份公司 一种控制无人机的系统
CN106657733A (zh) * 2016-11-25 2017-05-10 深圳市元征科技股份有限公司 一种基于无人机的全景直播方法及终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282263A (zh) * 2005-07-29 2008-10-08 华为技术有限公司 一种宽带接入设备及其应用
CN1863302A (zh) * 2005-11-03 2006-11-15 华为技术有限公司 多媒体通信方法及其终端
CN101159843A (zh) * 2007-10-29 2008-04-09 中兴通讯股份有限公司 在视频会议中改进视频切换效果的图像切换方法及系统
CN105744222A (zh) * 2016-02-03 2016-07-06 普宙飞行器科技（深圳）有限公司 一种无人机无线图像/视频传输、共享及存储系统
CN105872467A (zh) * 2016-04-14 2016-08-17 普宙飞行器科技（深圳）有限公司 一种基于无人机的实时全景影音无线分享方法及平台
CN107079101A (zh) * 2016-09-30 2017-08-18 深圳市大疆创新科技有限公司 一种飞行图像数据的处理方法、系统及地面端设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴炜: "《多媒体通信》", 29 February 2008, 西安电子科技大学出版社 *
戴辉等: "《数字视频技术》", 31 December 2012, 北京邮电大学出版社 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109361931A (zh) * 2018-11-16 2019-02-19 北京中竞鸽体育文化发展有限公司 一种赛事直播中进行提示的方法及系统
CN111279690A (zh) * 2019-01-30 2020-06-12 深圳市大疆创新科技有限公司 多负载图传方法、控制系统、控制终端、无人机和服务器
CN111279691A (zh) * 2019-01-31 2020-06-12 深圳市大疆创新科技有限公司 多负载多路图传方法、控制系统和终端、无人机和服务器
WO2020155037A1 (zh) * 2019-01-31 2020-08-06 深圳市大疆创新科技有限公司 多负载多路图传方法、控制系统和终端、无人机和服务器
CN111279691B (zh) * 2019-01-31 2021-12-07 深圳市大疆创新科技有限公司 多负载多路图传方法、控制系统和终端、无人机和服务器
CN111615826A (zh) * 2019-06-28 2020-09-01 深圳市大疆创新科技有限公司 视频处理方法、装置、系统及介质
WO2020258243A1 (zh) * 2019-06-28 2020-12-30 深圳市大疆创新科技有限公司 视频处理方法、装置、系统及介质
WO2021217581A1 (zh) * 2020-04-30 2021-11-04 深圳市大疆创新科技有限公司 数据传输方法、数据传输系统、可移动设备和终端设备
CN111915936A (zh) * 2020-09-03 2020-11-10 中国联合网络通信集团有限公司 无人机监管方法、装置和用户终端
CN113038426A (zh) * 2021-02-27 2021-06-25 吉林大学 车联网安全检测系统以及方法
WO2022217555A1 (zh) * 2021-04-15 2022-10-20 深圳市大疆创新科技有限公司 无人机的图像传输方法、无人机及计算机可读存储介质
CN113141465A (zh) * 2021-04-20 2021-07-20 云南云能科技有限公司 一种无人机多层次多视角交叉实景影像采集方法及装置

Also Published As

Publication number Publication date
WO2019095382A1 (zh) 2019-05-23
US20200280698A1 (en) 2020-09-03

Similar Documents

Publication Publication Date Title
CN108702487A (zh) 无人机的图像传输方法和装置
CN109565605B (zh) 拍摄技术生成方法以及影像处理装置
EP3316589B1 (en) Video synchronization device and video synchronization method
US9747725B2 (en) Video system for piloting a drone in immersive mode
EP3413570B1 (en) Video display method and video display device
US20180343442A1 (en) Video display method and video display device
US10277832B2 (en) Image processing method and image processing system
CN106331613B (zh) 一种基于无人机的通信方法及系统
CN106454321A (zh) 全景视频的处理方法、装置及系统
CN107079135A (zh) 视频数据传输方法、系统、设备和拍摄装置
CN104882037A (zh) 一种直录播互动教室系统
CN205510277U (zh) 一种无人机全景图像传输设备
WO2017107275A1 (zh) 一种多功能无人机及无人机控制系统
CN110337098B (zh) 一种通信连接的建立方法及装置
CN110636255A (zh) 一种基于4g网络的无人机图像、视频传输分发系统及方法
CN102595164A (zh) 一种视频图像发送方法、装置及系统
CN110247955A (zh) 一种无人车的通信方法和无人车
CN108200394A (zh) 一种支持多路图像传输的无人机系统
CN103745621A (zh) 一种在线同步课堂中智能导播方法及系统
CN110764264B (zh) 一种ar智能眼镜
CN105872523A (zh) 三维视频数据获取方法、设备及系统
CN108289212A (zh) 一种无人机双目立体成像及与人眼实时交互的装置及方法
CN108234929A (zh) 无人机中的图像处理方法和设备
CN105611387A (zh) 视频图像预览方法和系统
CN109479147B (zh) 用于时间视点间预测的方法及技术设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181023