CN111510678A - 一种无人机图像传输控制方法、装置和系统 - Google Patents

一种无人机图像传输控制方法、装置和系统 Download PDF

Info

Publication number
CN111510678A
CN111510678A CN202010317036.8A CN202010317036A CN111510678A CN 111510678 A CN111510678 A CN 111510678A CN 202010317036 A CN202010317036 A CN 202010317036A CN 111510678 A CN111510678 A CN 111510678A
Authority
CN
China
Prior art keywords
camera
unmanned aerial
aerial vehicle
image
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010317036.8A
Other languages
English (en)
Other versions
CN111510678B (zh
Inventor
袁杭良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Robotics Co Ltd
Original Assignee
Goertek Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Robotics Co Ltd filed Critical Goertek Robotics Co Ltd
Priority to CN202010317036.8A priority Critical patent/CN111510678B/zh
Publication of CN111510678A publication Critical patent/CN111510678A/zh
Application granted granted Critical
Publication of CN111510678B publication Critical patent/CN111510678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请公开了一种无人机图像传输控制方法、装置和系统。本申请的无人机图像传输控制方法包括将至少两个相机安装于无人机的不同侧面，为每个相机设置对应的相机标识，以及获取至少两个相机的相机标识信息，根据相机标识信息识别每个相机采集的图像；根据图像合成参数，对识别的每个相机采集的图像进行合成，得到合成图像；对合成图像进行压缩编码，将压缩编码后得到的视频数据通过网络传输至无人机地面站，以使得无人机地面站输出视频数据。通过本技术方案，获取位于无人机不同侧面的相机所采集的图像数据传输给地面站，方便多视野观察无人机飞行环境，进而更好控制无人机，提高了用户体验。

Description

一种无人机图像传输控制方法、装置和系统
技术领域
本申请涉及无人机领域，具体涉及一种无人机图像传输控制方法、装置和系统。
背景技术
当前无人机图像传输控制(简称图传)在无人机巡检和搜寻等方面应用前景广阔，一般的，无人机图像传输控制系统由无人机上安装的相机采集图像后传送给无人机地面站，以供观察无人机的飞行状况和飞行环境。现有技术，通过控制无人机自身转动或通过遥控云台转动来控制相机的拍摄方向，以获取到相应场景的图像，将相应场景的图像传输给无人机地面站，但是这种无人机图像传输控制系统操作步骤比较复杂，观察到的视野有限，用户体验不佳。
发明内容
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的一种无人机图像传输控制方法、装置和系统。
依据本申请的一个方面，提供了一种无人机图像传输控制方法，将至少两个相机安装于无人机的不同侧面，为每个相机设置对应的相机标识，该无人机图像传输控制方法包括：
获取至少两个相机的相机标识信息，根据相机标识信息识别每个相机采集的图像；
根据图像合成参数，对识别的每个相机采集的图像进行合成，得到合成图像；
对合成图像进行压缩编码，将压缩编码后得到的视频数据通过网络传输至无人机地面站，以使得无人机地面站输出视频数据。
可选地，根据图像合成参数，对识别的每个相机采集的图像进行合成，得到合成图像包括：
为每个相机采集到的图像设置对应的缓存区，将每个相机采集到的图像对应的缓存区分别与Android安卓平台的Window窗口绑定，Window窗口用于根据相应缓存区中的数据绘制图像；
图像合成参数包括显示方式参数，根据显示方式参数确定各Window窗口在合成图像中的显示方式，叠加各Window窗口，得到合成图像。
可选地，根据显示方式参数确定各Window窗口在合成图像中的显示方式，叠加各Window窗口，得到合成图像包括：
根据显示方式参数中的层次值以及窗口大小，确定Window窗口中的一个主窗口和至少一个小窗口，叠加主窗口和小窗口，得到合成图像；
主窗口的层次值小于小窗口的层次值，且主窗口的大小大于小窗口的大小。
可选地，根据图像合成参数，对识别的每个相机采集的图像进行合成包括：
启动接收线程监听指定网络端口，接收无人机地面站通过指定网络端口发送的图像合成参数更新指令，图像合成参数更新指令根据用户的交互操作数据生成；
根据图像合成参数更新指令更新图像合成参数后保存。
可选地，对合成图像进行压缩编码包括：
当合成图像为关键帧时，在关键帧对应的码流的起始位置添加序列参数集SPS以及图像参数集PPS，得到视频数据；
设置视频数据对应的缓存区，将得到的视频数据写入视频数据对应的缓存区。
可选地，将至少两个相机安装于无人机的不同侧面包括：
将前置相机安装于无人机的前侧面，将后置相机安装于无人机的后侧面，前置相机与后置相机均为符合USB视频类UVC的相机，
为每个相机设置对应的相机标识包括：
为前置相机设置对应的设备ID，以及为后置相机设置对应的设备ID。
可选地，该方法还包括：
根据相机控制指令，控制相应相机移动相机镜头的位置以缩小成像面与相机镜头之间的距离；
根据相机标识信息识别每个相机采集的图像包括：
根据相机标识信息识别相机镜头移动后的相机采集的图像。
可选地，所述将压缩编码后得到的视频数据通过网络传输至无人机地面站包括：
与无人机地面站建立套接字Socket连接，读取压缩编码后得到的视频数据，根据读取的视频数据生成用户数据报协议UDP报文，将UDP报文通过套接字Socket连接发送至无人机地面站。
依据本申请的另一方面，提供了一种无人机图像传输控制装置，至少两个相机安装于无人机的不同侧面，每个相机设置有对应的相机标识，该无人机图像传输控制装置包括：
获取模块，用于获取至少两个相机的相机标识信息，根据相机标识信息识别每个相机采集的图像；
合成模块，用于根据图像合成参数，对识别的每个相机采集的图像进行合成，得到合成图像；
传输模块，用于对合成图像进行压缩编码，将压缩编码后得到的视频数据通过网络传输至无人机地面站，以使得无人机地面站输出视频数据。
依据本申请的又一方面，提供了一种无人机图像传输控制系统，包括：无人机以及无人机地面站；
无人机包括如上述本申请的另一方面的图像传输控制装置；
无人机地面站包括：无线通信模块，用于与无人机建立无线通信连接，接收无人机发送的视频数据；
UI模块，用于显示输出视频数据并接收用户输入的交互操作数据，根据交互操作数据生成图像合成参数更新指令；
无线通信模块，还用于发送图像合成参数更新指令至无人机。
由上述可知，本申请的技术方案，将至少两个相机安装于无人机的不同侧面，并为每个相机设置对应的相机标识，获取相机的相机标识信息，根据相机标识信息识别每个相机采集的图像，根据图像合成参数，对识别图像进行合成，得到合成图像，对合成图像进行压缩编码并将压缩编码后得到的视频数据通过网络传输至无人机地面站，以使得无人机地面站输出视频数据。如此，本申请的技术方案通过实时获取位于无人机不同侧面的相机所采集的图像数据传输给地面站，方便了同时观察多视野下的无人机飞行环境和飞行状况，并且不需要通过控制相机云台来获取无人机多个角度的飞行图像，整个操控过程更加简便，提高了用户体验。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本申请一个实施例的无人机图像传输控制方法的流程示意图；
图2示出了根据本申请一个实施例的无人机图像传输控制装置的结构示意图；
图3示出了根据本申请一个实施例的无人机图像传输控制系统的结构示意图；
图4示出了根据本申请一个实施例的无人机地面站的显示界面示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
为便于理解，这里先对本申请实施例中出现的一些技术名词进行简要解释说明。
YUV，是一种颜色编码方法。YUV中“Y”表示明亮度，也就是灰阶值，“U”和“V”表示的则是色度，作用是描述影像色彩及饱和度，用于指定像素的颜色。
图像组GOP(Group of Pictures)，主要用于形容一个i帧到下一个i帧之间间隔了多少个帧。增大图片组能有效减少编码后的视频体积，但也会降低视频质量。
序列参数集SPS(Sequence Parameter Sets)是作用于一系列连续的编码图像，序列参数集SPS的参数一般包括：标识符seq_parameter_set_id，用于指示所引用的序列参数集的id、帧数及图像序列号POC(Picture Order Count)的约束、参考帧数目、解码图像尺寸和帧场编码模式选择标识等。
图像参数集PPS(Picture Parameter Set)是作用于编码视频序列中一个或多个独立的图像，图像参数集PPS的参数一般包括：标识符pic_parameter_set_id，用于指示所引用的图像参数集的id、熵编码模式选择标识、初始量化参数等。
USB视频类UVC(USB Video Class)是一种为USB(Universal Serial Bus，通用串行总线)视频捕获设备定义的协议标准。如今的主流操作系统都已提供UVC设备驱动，因此符合UVC规格的硬件设备在不需要安装任何的驱动程序下即可在主机中正常使用。使用UVC技术的包括摄像头、数码相机、电视棒及静态影像相机等设备。
UVC工业相机是一种支持UVC协议的相机，优点是不需要安装特殊的驱动程序，即可直接进行图像传输。
图1示出了根据本申请一个实施例的无人机图像传输控制方法的流程示意图。本申请实施例提供的无人机图像传输控制方法可以由相应的无人机图像传输控制装置来执行，该无人机图像传输控制装置可以集成在无人机中。
如图1所示，本申请实施例将至少两个相机安装于无人机的不同侧面，为每个相机设置对应的相机标识，该无人机图像传输控制方法包括：
步骤S110：获取至少两个相机的相机标识信息，根据相机标识信息识别每个相机采集的图像。
这里的相机标识信息可以是任意的、能够唯一标识相机的信息。比如，相机标识信息可以是相机的设备ID(Identity)。
步骤S120：根据图像合成参数，对识别的每个相机采集的图像进行合成，得到合成图像。
在本申请实施例中，图像合成参数可以是每个相机采集的图像在合成图像中的位置、大小、层次次序等信息。优选地，本申请实施例无人机与地面站通信，通过地面站获取用户的交互操作，并根据用户指令调整更新图像合成参数，根据更新后的图像合成参数，对识别的每个相机采集的图像进行合成，得到合成图像，从而使得到的合成图像能够满足用户的观察需求，并且不需要去控制无人机自身转动，或控制云台转动，简化了用户操作步骤，提升了用户体验。
步骤S130：对合成图像进行压缩编码，将压缩编码后得到的视频数据通过网络传输至无人机地面站，以使得无人机地面站输出视频数据。
在本申请实施例中，无人机在获得合成图像后，将合成图像压缩编码成视频数据并传输至无人机地面站，由无人机地面站输出视频数据，以供用户查看。
考虑到无人机与无人机地面站之间的距离一般较远，本申请实施例采用网络传输的方式，例如在无人机和无人机地面站之间建立Socket连接传输数据，满足了无人机和无人机地面站之间进行远距离数据传输的需求。在接收到压缩编码的视频数据之后，无人机地面站对视频数据进行解码、渲染显示等处理而后显示输出视频数据。
由图1所示可知，本申请实施例的无人机图像传输控制方法，在无人机的不同侧面安装相机，根据相机标识信息识别每个相机采集的图像，根据图像合成参数，对识别图像进行合成，对合成图像进行压缩编码后通过网络传输至无人机地面站，使无人机地面站能实时输出无人机不同侧面的相机采集的图像数据，方便用户同时观察更多视野的无人机飞行图像，提高了用户体验。另外，通过对不同侧面的相机采集的图像数据进行合成和压缩编码，在不增加传输带宽的条件下，提高了图像传输效率，使得用户可以流畅地看到高清图像。
在本申请的一个实施例中，前述步骤S120中根据图像合成参数，对识别的每个相机采集的图像进行合成，得到合成图像包括：为每个相机采集到的图像设置对应的缓存区，将每个相机采集到的图像对应的缓存区分别与Android安卓平台的Window窗口绑定，Window窗口用于根据相应缓存区中的数据绘制图像；图像合成参数包括显示方式参数，根据显示方式参数确定各Window窗口在合成图像中的显示方式，叠加各Window窗口，得到合成图像。
也就是说，无人机安装Android安卓平台，对采集的图像进行合成可以采用Android安卓平台的SurfaceFlinger服务实现。具体的，为每个相机设置对应的显示缓存区buffer，将采集的图像保存到各自的显示缓存区buffer，再将每个相机的显示缓存区buffer分别绑定Android平台的不同Window窗口的Surface，由Surface对显示缓存区buffer中的图像进行绘制。后续，可以根据无人机地面站传输来的用户指令调整各Surface的位置、大小等参数，通过系统服务SurfaceFlinger根据各Window窗口的Surface的位置、大小等参数，计算出每个Surface在合成图像中的位置，然后叠加各Window窗口的Surface，得到合成图像，并将合成图像保存至对应的显示缓存区buffer。
注：SurfaceFlinger是一个独立的Service，它接收所有Window的Surface作为输入，根据ZOrder(Z值，用于指示界面Surface的层次次序)，透明度，大小，位置等参数，计算出每个Surface在最终合成图像中的位置，然后交由HWComposer或OpenGL生成最终的显示Buffer,以供显示到特定的显示设备上。在Android中，Window与Surface一一对应。Window关心的是层次和布局，Surface则从实现角度出发，需要考虑的类。Window的内容是变化的，Surface需要有空间来记录每个时刻Window的内容。在Android的SurfaceFlinger实现里，通常一个Surface有两块Buffer,一块用于绘制，一块用于显示，两个Buffer按照固定的频率进行交换，从而实现Window的动态刷新。
为了提高图像显示实时性，本申请实施例中，采用独立线程分别对各相机采集和处理图像数据，实现各流程之间的多线程处理。而且，每个相机设置单独的显示缓存区buffer，优化了缓存机制，提高了处理效率，保证了图像显示的实时性。
本申请实施例中，将获取每个相机的JPEG图像数据解码成YUV格式的图像数据，并将YUV格式的图像数据保存到各自的显示缓存区buffer，再由SurfaceFlinger服务中的Surface接收YUV格式的图像数据并进行绘制，从而方便SurfaceFlinger服务对Window窗口中的数据进行图像绘制。
如前述，本申请实施例的图像合成参数包括显示方式参数，基于此，根据显示方式参数确定各Window窗口在合成图像中的显示方式，叠加各Window窗口，得到合成图像包括：根据显示方式参数中的层次值以及窗口大小，确定Window窗口中的一个主窗口和至少一个小窗口，叠加主窗口和小窗口，得到合成图像；主窗口的层次值小于小窗口的层次值，且主窗口的大小大于小窗口的大小。
例如，图像数据A的显示参数中的层次值为1，窗口大小为720×1280px，图像数据B的显示参数中的层次值为2，窗口大小为240×1038px像素，其中图像数据A的层次值小于图像数据B，图像数据A的大小大于图像数据B，可以确定图像数据A对应绑定的Window窗口为主窗口，图像数据B对应绑定的Window窗口为小窗口，对前述两个Window窗口进行叠加，得到合成图像。
由上可知，本申请实施例中的图像数据的显示方式参数可以包括层次值、窗口大小等指示图像数据绑定的Window窗口在合成图像中的位置大小的参数，如此，不同相机采集的图像数据，能够以一种同时且显示方式不同的形式呈现，满足了个性化显示需求。
本申请实施例中，前述步骤S120根据图像合成参数，对识别的每个相机采集的图像进行合成包括：启动接收线程监听指定网络端口，接收无人机地面站通过指定网络端口发送的图像合成参数更新指令，图像合成参数更新指令根据用户的交互操作数据生成；根据图像合成参数更新指令更新图像合成参数后保存。
也就是说，无人机启动接收线程监听指定网络端口，接收无人机地面站通过指定网络端口发送的图像合成参数更新指令。这里的图像合成参数更新指令可以是用户通过地面站的触摸屏输入的指令，地面站将收到的图像合成参数更新指令发送给无人机。无人机收到图像合成参数更新指令并根据图像合成参数更新指令更新图像合成参数后保存，保证图像合成效果与用户指令的一致性，满足用户的个性化查看需求。
在本申请的一个实施例中，图1所示方法还包括：根据相机控制指令，控制相应相机移动相机镜头的位置以缩小成像面与相机镜头之间的距离；根据相机标识信息识别每个相机采集的图像包括：根据相机标识信息识别相机镜头移动后的相机采集的图像。
也就是说，当无人机的相机与需要拍摄的景物距离较远时，用户可以通过无人机地面站向相机发送控制指令，控制相机向需要拍摄的景物方向移动，缩小成像面与相机镜头之间的距离，以获取所需拍摄景物的高清图像。虽然移动了相机镜头，但相机的设备ID是唯一且不变的，仍可根据相机的设备ID识别相机镜头移动后的相机采集的图像。
在本申请的一个实施例中，前述步骤S130中的对合成图像进行压缩编码包括：当合成图像为关键帧时，在关键帧对应的码流的起始位置添加序列参数集SPS以及图像参数集PPS，得到视频数据；设置视频数据对应的缓存区，将得到的视频数据写入视频数据对应的缓存区。
比如，先初始化编码器，设置编码器的编码格式、图像尺寸、码率、帧率、图像组GOP等参数，例如可以设置编码格式为H264、图像尺寸为1080P、码率为2Mbps、帧率为30fps，将合成图像输入编码器，编码为H264帧数据，根据编码后的帧数据的标志位，判断合成图像是否是关键帧，如果合成图像是关键帧，则在关键帧对应的码流的起始位置添加序列参数集SPS以及图像参数集PPS，编码器在编码前获取SPS和PPS信息，从合成图像对应的显示缓存区buffer读取合成图像数据，再对读取的合成图像压缩编码为视频数据，将得到的视频数据写入视频数据对应的发送缓存区，发送缓存区可采用数据缓存器streamFiFo。
考虑到无人机在飞行时，前方和后方的图像数据至关重要，所以在本申请的一个实施例中，将至少两个相机安装于无人机的不同侧面包括：将前置相机安装于无人机的前侧面，将后置相机安装于无人机的后侧面，前置相机与后置相机均为符合USB视频类UVC的相机，为每个相机设置对应的相机标识包括：为前置相机设置对应的设备ID，以及为后置相机设置对应的设备ID。
也就是说，在无人机的前侧面安装前置相机，在无人机的后侧面安装后置相机，前置相机与后置相机均为符合USB视频类UVC的相机，可进行USB连接。由于每个相机的设备ID都是唯一的，本申请实施例根据相机的ID标识判断识别前置相机和后置相机。这样通过在无人机的前后侧面分别安装前置相机和后置相机，同时采集前后方的场景图像，使用户可以同时看到无人机前后方的场景图像，扩宽了视野范围，方便用户观察更多视野并便于控制无人机，使整个操控过程更简单，提高了用户体验。
由于无人机与无人机地面站距离一般较远，为保证远距离条件下数据传输的可靠性和效率，在本申请的一个实施例中，前述步骤S130中的将压缩编码后得到的视频数据通过网络传输至无人机地面站包括：与无人机地面站建立套接字Socket连接，读取压缩编码后得到的视频数据，根据读取的视频数据生成用户数据报协议UDP报文，将UDP报文通过套接字Socket连接发送至无人机地面站。
通过在无人机和无人机地面站之间建立套接字Socket连接进行数据传输，克服了无人机与无人机地面站距离较远，数据传输困难的问题，同时保证了数据传输的质量和效率。具体的，无人机循环读取发送缓存区中存储的压缩编码后得到的视频数据，根据读取的视频数据生成用户数据报协议UDP报文，将UDP报文通过套接字Socket连接发送至无人机地面站。无人机地面站通过Socket连接接收无人机发送的视频数据，对视频数据进行解码和渲染后向用户实时播放。
图2示出了根据本申请一个实施例的无人机图像传输控制装置的结构示意图。如图2所示，至少两个相机安装于无人机的不同侧面，每个相机设置有对应的相机标识，该无人机图像传输控制装置200包括：
获取模块210，用于获取至少两个相机的相机标识信息，根据相机标识信息识别每个相机采集的图像。
在本申请实施例中，相机标识信息可以是任意的可以标识相机信息的标识，例如相机的设备ID。
合成模块220，用于根据图像合成参数，对识别的每个相机采集的图像进行合成，得到合成图像。
这里的图像合成参数可以是每个相机采集的图像在合成图像中的位置、大小、次序等信息。
传输模块230，用于对合成图像进行压缩编码，将压缩编码后得到的视频数据通过网络传输至无人机地面站，以使得无人机地面站输出视频数据。
由于无人机与无人机地面站之间距离一般较远，因此，传输模块230具体用于与无人机地面站建立套接字Socket连接，读取streamFiFo发送缓冲区，得到编码后的视频数据，根据读取的视频数据生成用户数据报协议UDP报文，将UDP报文通过套接字Socket连接发送至无人机地面站。
也就是说，传输模块230采用网络传输的方式，例如在无人机和无人机地面站之间建立Socket连接传输数据，可以满足无人机和无人机地面站之间进行远距离数据传输的需求。无人机地面站接收到压缩编码的视频数据后，对视频数据进行解码、渲染显示等处理后输出显示视频数据。
在本申请的一个实施例中，合成模块220包括缓存模块和窗口叠加模块，
缓存模块，用于为每个相机采集到的图像设置对应的缓存区，将每个相机采集到的图像对应的缓存区分别与Android安卓平台的Window窗口绑定，Window窗口用于根据相应缓存区中的数据绘制图像。
窗口叠加模块，用于根据显示方式参数确定各Window窗口在合成图像中的显示方式，叠加各Window窗口，得到合成图像。其中，图像合成参数包括显示方式参数。
在本申请的一个实施例中，窗口叠加模块，具体用于根据显示方式参数中的层次值以及窗口大小，确定Window窗口中的一个主窗口和至少一个小窗口，叠加主窗口和小窗口，得到合成图像；主窗口的层次值小于小窗口的层次值，且主窗口的大小大于小窗口的大小。
在本申请的一个实施例中，合成模块220还包括：参数更新模块，用于启动接收线程监听指定网络端口，接收无人机地面站通过指定网络端口发送的图像合成参数更新指令，图像合成参数更新指令根据用户的交互操作数据生成；根据图像合成参数更新指令更新图像合成参数后保存。
在本申请的一个实施例中，合成模块220用于当合成图像为关键帧时，在关键帧对应的码流的起始位置添加序列参数集SPS以及图像参数集PPS，得到视频数据；设置视频数据对应的缓存区，将得到的视频数据写入视频数据对应的缓存区。
在本申请的一个实施例中，前置相机安装于无人机的前侧面，后置相机安装于无人机的后侧面，前置相机与后置相机均为符合USB视频类UVC的相机，前置相机设置有对应的设备ID，后置相机设置有对应的设备ID。
在本申请的一个实施例中，获取模块210还包括：对焦模块，用于根据相机控制指令，控制相应相机移动相机镜头的位置以缩小成像面与相机镜头之间的距离；根据相机标识信息识别相机镜头移动后的相机采集的图像。
需要说明的是，上述各装置实施例的具体实施方式可以参照前述对应方法实施例的具体实施方式进行，在此不再赘述。
图3示出了根据本申请一个实施例的无人机图像传输控制系统的结构示意图。如图3所示，该无人机图像传输控制系统300包括：无人机310以及无人机地面站320。
无人机310包括前述实施例的图像传输控制装置200。
具体的，如图3所示，无人机310包括：安装于无人机前侧面的前置相机，用于采集无人机的前侧面的图像。安装于无人机后侧面的后置相机，用于采集无人机的后侧面的图像。
需要说明的是，前置相机与后置相机均为符合USB视频类UVC的相机，具有唯一的设备ID，可根据相机的ID判断识别前置相机和后置相机。
参见图3，无人机310还包括图传控制器，图传控制器分别与前置相机和后置相机建立USB连接，启动两个独立的线程根据相机的ID判断识别前置相机和后置相机，获取前置相机和后置相机采集的图像，并根据图像合成参数，对识别的每个相机采集的图像进行合成，得到合成图像，对合成图像进行压缩编码得到视频数据。
无人机310还包括无线传输模块，与无人机地面站之间建立无线连接，用于将视频数据通过网络传输至无人机地面站320，以及用于接收无人机地面站发送的图像合成参数更新指令。
在本申请的一个实施例中，无线传输模块具体用于监听指定网络端口，实时接收无人机地面站通过指定网络端口发送的图像合成参数更新指令，将收到的图像合成参数更新指令输出至图传控制器，图传控制器根据图像合成参数更新指令更新图像合成参数后保存。
如图3所示，无人机地面站320包括：无线通信模块、UI模块和Android处理系统，
无线通信模块，用于与无人机建立无线通信连接，接收无人机发送的视频数据。图3所示系统中，无人机和无人机地面站之间建立套接字Socket连接进行数据传输，克服了无人机与无人机地面站距离较远，数据传输困难的问题，同时保证了数据传输的质量和效率。具体的，地面站通过Socket连接接收无人机发送的UDP报文，解析UDP报文得到视频数据，对视频数据进行解码和渲染后实时播放。
UI模块，用于显示输出视频数据，以及用于接收用户输入的交互操作数据，根据交互操作数据生成图像合成参数更新指令。具体的，UI模块接收用户输入的用于更改图像合成参数的交互指令，以及接收用户输入的控制相机自动对焦(即控制相应相机移动相机镜头的位置以缩小成像面与相机镜头之间距离)的指令，UI模块将图像合成参数更新指令和相机自动对焦指令发送至Android处理系统，由Android处理系统通过无线通信模块发送至无人机。
图4示出了根据本申请一个实施例的无人机地面站的显示界面示意图。如图4所示，无人机地面站当前显示界面包括主窗口S1和小窗口S2，主窗口显示前置相机的视频数据，小窗口显示后置相机的视频数据。
需要说明的是，图4所示显示界面是触摸屏的界面，方便用户通过触屏手势触发相应的操作，例如，当用户想要清晰地观察无人机后方情况时，通过点击小窗口S2区域，输入窗口切换指令，以用于实现把后置相机的视频数据切换到大窗口进行播放并把前置相机的视频数据切换到大窗口进行播放的效果。如此，前置相机和后置相机的视频数据的显示方式即发生变化。如果用户想要控制前置相机自动对焦，可以长时间(如3秒)点击S1区域，UI模块将该自动对焦指令发送给Android处理系统，由Android处理系统通过无线通信模块发送至无人机，进而由无人机控制前置相机自动对焦。
注，图3所示无人机地面站的屏幕也可以是非触摸屏，在屏幕为非触摸屏的情况下，无人机地面站可以通过输入应用程序或其他输入方式接收用户的交互操作。
由上可知，无人机地面站包括Android处理系统，Android处理系统具体用于对地面站接收的视频数据进行解码和渲染显示处理，并将处理后的视频数据输出给UI模块显示。此外，Android处理系统还用于控制将UI模块接收的图像合成参数更新指令和相机自动对焦指令通过无线通信模块发送至无人机。
注，上述各系统实施例的具体实施方式可以参照前述对应方法实施例的具体实施方式进行，在此不再赘述。
综上所述，本申请的无人机图像传输控制方法、装置和系统，在无人机的不同侧面安装相机，并利用每个相机采集图像，通过网络传输视频数据至无人机地面站供无人机地面站输出，如此，能实时获取位于无人机不同侧面的相机采集的图像数据，方便用户同时观察更多视野和对无人机进行操控，使整个操控过程更加简便，提高了用户体验。同时，通过对不同侧面的相机采集的图像数据进行合成和压缩编码，在不增加传输带宽的条件下，提高了图像传输效率，使得用户可以流畅地实时看到高清图像。并且，各相机之间采用独立线程分别进行图像数据采集和处理，实现各流程之间的多线程处理，同时优化了缓存机制，提高了处理效率，保证了图像显示的实时性。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种无人机图像传输控制方法，其特征在于，将至少两个相机安装于无人机的不同侧面，为每个相机设置对应的相机标识，该无人机图像传输控制方法包括：
获取至少两个相机的相机标识信息，根据相机标识信息识别每个相机采集的图像；
根据图像合成参数，对识别的每个相机采集的图像进行合成，得到合成图像；
对合成图像进行压缩编码，将压缩编码后得到的视频数据通过网络传输至无人机地面站，以使得所述无人机地面站输出所述视频数据。
2.如权利要求1所述的方法，其特征在于，所述根据图像合成参数，对识别的每个相机采集的图像进行合成，得到合成图像包括：
为每个相机采集到的图像设置对应的缓存区，将每个相机采集到的图像对应的缓存区分别与Android安卓平台的Window窗口绑定，Window窗口用于根据相应缓存区中的数据绘制图像；
所述图像合成参数包括显示方式参数，
根据显示方式参数确定各Window窗口在合成图像中的显示方式，叠加各Window窗口，得到合成图像。
3.如权利要求2所述的方法，其特征在于，所述根据显示方式参数确定各Window窗口在合成图像中的显示方式，叠加各Window窗口，得到合成图像包括：
根据显示方式参数中的层次值以及窗口大小，确定Window窗口中的一个主窗口和至少一个小窗口，叠加所述主窗口和所述小窗口，得到合成图像；
所述主窗口的层次值小于所述小窗口的层次值，且所述主窗口的大小大于所述小窗口的大小。
4.如权利要求1所述的方法，其特征在于，所述根据图像合成参数，对识别的每个相机采集的图像进行合成包括：
启动接收线程监听指定网络端口，接收所述无人机地面站通过所述指定网络端口发送的图像合成参数更新指令，所述图像合成参数更新指令根据用户的交互操作数据生成；
根据所述图像合成参数更新指令更新所述图像合成参数后保存。
5.如权利要求1所述的方法，其特征在于，所述对合成图像进行压缩编码包括：
当合成图像为关键帧时，在关键帧对应的码流的起始位置添加序列参数集SPS以及图像参数集PPS，得到视频数据；
设置视频数据对应的缓存区，将得到的视频数据写入视频数据对应的缓存区。
6.如权利要求1所述的方法，其特征在于，所述将至少两个相机安装于所述无人机的不同侧面包括：
将前置相机安装于所述无人机的前侧面，将后置相机安装于所述无人机的后侧面，所述前置相机与所述后置相机均为符合USB视频类UVC的相机，
所述为每个相机设置对应的相机标识包括：
为所述前置相机设置对应的设备ID，以及为所述后置相机设置对应的设备ID。
7.如权利要求1所述的方法，其特征在于，该方法还包括：
根据相机控制指令，控制相应相机移动相机镜头的位置以缩小成像面与相机镜头之间的距离；
所述根据相机标识信息识别每个相机采集的图像包括：
根据相机标识信息识别相机镜头移动后的相机采集的图像。
8.如权利要求1-7中任一项所述的方法，其特征在于，所述将压缩编码后得到的视频数据通过网络传输至无人机地面站包括：
与所述无人机地面站建立套接字Socket连接，读取压缩编码后得到的视频数据，根据读取的视频数据生成用户数据报协议UDP报文，将UDP报文通过套接字Socket连接发送至所述无人机地面站。
9.一种无人机图像传输控制装置，其特征在于，至少两个相机安装于无人机的不同侧面，每个相机设置有对应的相机标识，该无人机图像传输控制装置包括：
获取模块，用于获取至少两个相机的相机标识信息，根据相机标识信息识别每个相机采集的图像；
合成模块，用于根据图像合成参数，对识别的每个相机采集的图像进行合成，得到合成图像；
传输模块，用于对合成图像进行压缩编码，将压缩编码后得到的视频数据通过网络传输至无人机地面站，以使得所述无人机地面站输出所述视频数据。
10.一种无人机图像传输控制系统，其特征在于，包括:无人机以及无人机地面站；
所述无人机包括如权利要求9所述的无人机图像传输控制装置；
所述无人机地面站包括：无线通信模块，用于与无人机建立无线通信连接，接收所述无人机发送的所述视频数据；
UI模块，用于显示输出所述视频数据并接收用户输入的交互操作数据，根据所述交互操作数据生成图像合成参数更新指令；
所述无线通信模块，还用于发送所述图像合成参数更新指令至所述无人机。
CN202010317036.8A 2020-04-21 2020-04-21 一种无人机图像传输控制方法、装置和系统 Active CN111510678B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010317036.8A CN111510678B (zh) 2020-04-21 2020-04-21 一种无人机图像传输控制方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010317036.8A CN111510678B (zh) 2020-04-21 2020-04-21 一种无人机图像传输控制方法、装置和系统

Publications (2)

Publication Number Publication Date
CN111510678A true CN111510678A (zh) 2020-08-07
CN111510678B CN111510678B (zh) 2021-12-24

Family

ID=71877807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010317036.8A Active CN111510678B (zh) 2020-04-21 2020-04-21 一种无人机图像传输控制方法、装置和系统

Country Status (1)

Country Link
CN (1) CN111510678B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114520868A (zh) * 2020-11-20 2022-05-20 华为技术有限公司 视频处理方法、装置及存储介质
CN115079712A (zh) * 2022-07-07 2022-09-20 上海歌尔泰克机器人有限公司 数据传输方法、无人机、地面站及无人机控制系统

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160309124A1 (en) * 2015-04-20 2016-10-20 ZEROTECH (Shenzhen) Intelligence Robot Co., Ltd. Control system, a method for controlling an uav, and a uav-kit
CN106412439A (zh) * 2016-10-27 2017-02-15 北京小米移动软件有限公司 图像采集设备、图像采集方法及控制器
CN206341308U (zh) * 2017-01-17 2017-07-18 石家庄高新区天遥航空设备科技有限公司 一种视觉综合控制装置
CN206698350U (zh) * 2017-04-21 2017-12-01 深圳市第一创客科技有限公司 图像传输装置及无人机
CN107592337A (zh) * 2017-08-04 2018-01-16 歌尔科技有限公司 一种无人机控制装置与移动终端通信的方法及装置
CN108200394A (zh) * 2018-01-04 2018-06-22 广东容祺智能科技有限公司 一种支持多路图像传输的无人机系统
CN108391047A (zh) * 2018-01-23 2018-08-10 倪惠芳 一种电子信息技术领域的室内无人机多角度拍摄控制系统
CN109120869A (zh) * 2018-11-07 2019-01-01 深圳市道通智能航空技术有限公司 双光图像整合方法、整合设备及无人机
CN109154874A (zh) * 2017-10-31 2019-01-04 深圳市大疆创新科技有限公司 图像显示方法、控制方法及相关设备
CN110035141A (zh) * 2019-02-22 2019-07-19 华为技术有限公司 一种拍摄方法及设备
CN110233970A (zh) * 2019-06-27 2019-09-13 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110245558A (zh) * 2019-05-07 2019-09-17 平安科技（深圳）有限公司 基于人脸识别的公交车辆调度方法、装置及计算机设备
CN110336977A (zh) * 2019-06-18 2019-10-15 深圳慧源创新科技有限公司 一种无人飞行器图传扩展的方法
CN209543573U (zh) * 2019-01-18 2019-10-25 北京猎户智芯科技有限公司 一种基于虚拟摄像机的车辆识别系统
CN110648283A (zh) * 2019-11-27 2020-01-03 成都纵横大鹏无人机科技有限公司 图像拼接方法、装置、电子设备和计算机可读存储介质
CN110915201A (zh) * 2018-06-29 2020-03-24 株式会社日立系统 图像显示系统以及方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160309124A1 (en) * 2015-04-20 2016-10-20 ZEROTECH (Shenzhen) Intelligence Robot Co., Ltd. Control system, a method for controlling an uav, and a uav-kit
CN106412439A (zh) * 2016-10-27 2017-02-15 北京小米移动软件有限公司 图像采集设备、图像采集方法及控制器
CN206341308U (zh) * 2017-01-17 2017-07-18 石家庄高新区天遥航空设备科技有限公司 一种视觉综合控制装置
CN206698350U (zh) * 2017-04-21 2017-12-01 深圳市第一创客科技有限公司 图像传输装置及无人机
CN107592337A (zh) * 2017-08-04 2018-01-16 歌尔科技有限公司 一种无人机控制装置与移动终端通信的方法及装置
CN109154874A (zh) * 2017-10-31 2019-01-04 深圳市大疆创新科技有限公司 图像显示方法、控制方法及相关设备
CN108200394A (zh) * 2018-01-04 2018-06-22 广东容祺智能科技有限公司 一种支持多路图像传输的无人机系统
CN108391047A (zh) * 2018-01-23 2018-08-10 倪惠芳 一种电子信息技术领域的室内无人机多角度拍摄控制系统
CN110915201A (zh) * 2018-06-29 2020-03-24 株式会社日立系统 图像显示系统以及方法
CN109120869A (zh) * 2018-11-07 2019-01-01 深圳市道通智能航空技术有限公司 双光图像整合方法、整合设备及无人机
CN209543573U (zh) * 2019-01-18 2019-10-25 北京猎户智芯科技有限公司 一种基于虚拟摄像机的车辆识别系统
CN110035141A (zh) * 2019-02-22 2019-07-19 华为技术有限公司 一种拍摄方法及设备
CN110245558A (zh) * 2019-05-07 2019-09-17 平安科技（深圳）有限公司 基于人脸识别的公交车辆调度方法、装置及计算机设备
CN110336977A (zh) * 2019-06-18 2019-10-15 深圳慧源创新科技有限公司 一种无人飞行器图传扩展的方法
CN110233970A (zh) * 2019-06-27 2019-09-13 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110648283A (zh) * 2019-11-27 2020-01-03 成都纵横大鹏无人机科技有限公司 图像拼接方法、装置、电子设备和计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
卢君成: "无人机倾斜摄影在测绘领域的应用", 《科技创新导报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114520868A (zh) * 2020-11-20 2022-05-20 华为技术有限公司 视频处理方法、装置及存储介质
WO2022105759A1 (zh) * 2020-11-20 2022-05-27 华为技术有限公司 视频处理方法、装置及存储介质
CN114520868B (zh) * 2020-11-20 2023-05-12 华为技术有限公司 视频处理方法、装置及存储介质
EP4228244A4 (en) * 2020-11-20 2024-05-01 Huawei Technologies Co., Ltd. VIDEO PROCESSING METHOD AND APPARATUS, AND STORAGE MEDIUM
CN115079712A (zh) * 2022-07-07 2022-09-20 上海歌尔泰克机器人有限公司 数据传输方法、无人机、地面站及无人机控制系统

Also Published As

Publication number Publication date
CN111510678B (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
US11245939B2 (en) Generating and transmitting metadata for virtual reality
JP7045856B2 (ja) 独立符号化バックグラウンド更新に基づく映像伝送
CN101689292B (zh) Banana多媒体数字信号编解码器
CN201903752U (zh) 全景摄像机
CN107211081B (zh) 基于独立编码的背景更新的视频传输
CN111510678B (zh) 一种无人机图像传输控制方法、装置和系统
CN104335243B (zh) 一种处理全景画面的方法及装置
CN107426491B (zh) 一种360度全景视频的实现方法
CN113099245B (zh) 全景视频直播方法、系统和计算机可读存储介质
CN113115110B (zh) 视频合成方法、装置、存储介质与电子设备
CN107835435B (zh) 一种赛事宽视角直播设备和相关联的直播系统和方法
CN111479059B (zh) 拍照处理方法、装置、电子设备及存储介质
CN106686405B (zh) 一种视频转播方法及系统
CN106412617B (zh) 远程调试控制方法及装置
CN102308319A (zh) 用于编码数据与三维渲染的系统与格式
CN107580228B (zh) 一种监控视频处理方法、装置及设备
CN108810574B (zh) 一种视频信息处理方法及终端
WO2023029252A1 (zh) 多视点视频数据处理方法、设备及存储介质
WO2021032105A1 (zh) 码流的处理方法、装置、第一终端、第二终端及存储介质
CN106060481A (zh) 一种云台摄像头的视频采集方法及装置
CN107835433B (zh) 一种赛事宽视角直播系统、相关联的设备和直播方法
KR102241240B1 (ko) 영상 처리 장치 및 방법
CN113891101A (zh) 实时三维影像显示的直播方法
CN117278695A (zh) 一种轻体扩展现实虚拟制片系统及方法
CN113891099A (zh) 三维直播影像的横向纵向控制装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A drone image transmission control method, device, and system

Effective date of registration: 20230627

Granted publication date: 20211224

Pledgee: Shanghai Rural Commercial Bank Co.,Ltd. Qingpu sub branch

Pledgor: Goertek Robotics Co.,Ltd.

Registration number: Y2023310000313

PE01 Entry into force of the registration of the contract for pledge of patent right