CN111083311A - 一种无人机机载多路视频与pos数据的同步系统与方法 - Google Patents

一种无人机机载多路视频与pos数据的同步系统与方法 Download PDF

Info

Publication number
CN111083311A
CN111083311A CN201911418331.6A CN201911418331A CN111083311A CN 111083311 A CN111083311 A CN 111083311A CN 201911418331 A CN201911418331 A CN 201911418331A CN 111083311 A CN111083311 A CN 111083311A
Authority
CN
China
Prior art keywords
data
coding
video
pos
pos data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911418331.6A
Other languages
English (en)
Inventor
王永威
穆龙飞
彭齐路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Space Geodata Beijing Co ltd
Original Assignee
Space Geodata Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Space Geodata Beijing Co ltd filed Critical Space Geodata Beijing Co ltd
Priority to CN201911418331.6A priority Critical patent/CN111083311A/zh
Publication of CN111083311A publication Critical patent/CN111083311A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种无人机机载多路视频与POS数据的同步系统与方法，所述多路视频通过HDMI接口与编码模块连接，并传输图像/视频信号，POS数据通过串口与编码模块连接，并按一定频率传输POS数据，在编码模块中，通过同步编码方法将POS数据、多路视频进行同步帧编码，同步编码后的数据通过USB/网口调用图传模块，向地面端发送，地面端在接收到同步编码的数据后，调用同步解码方法对接收数据进行解码，生成同步编码前的数据，以完成多路图像/视频与POS数据的严格同步，支持地面站实时接收解码后快速动态地区域正射拼接和三维建模并智能识别分析等深度应用。

Description

一种无人机机载多路视频与POS数据的同步系统与方法
技术领域
本发明涉及数据同步，具体是一种无人机机载多路视频与POS数据的同步系统与方法。
背景技术
随着无人机在应急、安保、巡检等行业中的规模应用，机载吊舱不再局限于可见光视频传感器，开始更多地组合红外光视频以及多光谱视频等传感器；应用深度也不再局限于机载吊舱视频的简单观看，开始更多地需要地面站实时接收、快速动态的区域正射拼接和三维建模并智能识别分析等深度应用，因此要求机载多路视频基本达到同步，且要带有POS(位置、姿态等)属性信息。
但现行机载视频的同步技术只是简单的通过数传链路和图传链路分别下传POS数据和视频，在地面端进行简单的文件关联对齐以达到基本同步的效果。进一步的会将多路视频经过画中画处理，形成一路视频输出。但现行的方案需要额外增加数传或图传设备，且无法做到严格的同步，与POS数据也很难做到严格的对齐，不能支持更高精度和速度的正射拼接和三维建模并智能识别分析等深度应用。
发明内容
本发明的目的在于提供一种无人机机载多路视频与POS数据的同步系统与方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种无人机机载多路视频与POS数据的同步系统，包括编码模块和解码模块，所述多路视频通过HDMI接口与编码模块连接，并传输图像/视频信号，POS数据通过串口与编码模块连接，并按一定频率传输POS数据，在编码模块中，通过同步编码方法将POS数据、多路视频进行同步帧编码，同步编码后的数据通过USB/网口调用图传模块，向地面端发送，地面端在接收到同步编码的数据后，调用同步解码方法对接收数据进行解码，生成同步编码前的数据。
作为本发明进一步的方案：所述无人机机载多路视频通过可见光相机、红外相机以及多光谱相机拍摄。
作为本发明进一步的方案：所述POS数据包括飞机的GPS、航向和机载吊舱的姿态，通过串口接入到编码模块中。
作为本发明进一步的方案：所述POS数据的发送频率通常以GPS的接收频率为参考基准。
作为本发明进一步的方案：当所述POS数据的发送频率无法与视频帧的每一帧匹配时，采用插值的方法对POS数据进行处理。
作为本发明进一步的方案：所述图像/视频信号与POS数据的同步编码采用H.264、H.265编码算法或硬件编码方法。
作为本发明进一步的方案：所述同步编码的具体步骤为：
(1)由HDMI接口接收相机发送的视频数据；
(2)调用通用的软解码/硬解码模块解码生成YUV422数据；
(3)对解码后的YUV422数据在内存中进行拼接，生成单一的完整数据包；
(4)接收POS数据，并对POS数据根据视频帧率进行插值处理，使得视频帧率与POS数据的帧率完全一致；
(5)调用软编码/硬编码模块，在数据包中添加POS数据，并对每帧数据进行编码处理。在调用软编码模块时，根据发送数据量的大小选择H.264或H.265编码算法，当调用硬编码模块时，根据使用芯片的不同，在编码前的数据包中追加POS数据；
(6)在数据包编码完成后，通过USB/网口的方式调用图传，同时将编码后的数据包发送给图传，在调用图传的过程中，为了图传传输的稳定性，需要根据图传信号发送强度来动态调整编码的码率；
(7)向地面端发送编码数据。
作为本发明进一步的方案：所述地面端的同步解码分为两个线程：数据接收线程和解码线程：
在数据接收线程中，首先启动串口，创建数据管道池，从图传端获取数据填充至据管道池，然后对接收到的数据进行转发；
解码线程首先注册组件，并对从串口转发的数据进行预处理，查找视频编码格式的定义，之后查找对应的解码器对视频进行解码。
进一步的，本发明还提供一种采用所述无人机机载多路视频与POS数据的同步系统进行同步的方法，包括如下步骤：(1)所述多路视频通过HDMI接口与编码模块连接，并传输图像/视频信号，POS数据通过串口与编码模块连接，并按一定频率传输POS数据；(2)在所述编码模块中，通过同步编码方法将POS数据、多路视频进行同步帧编码，同步编码后的数据通过USB/网口调用图传模块，向地面端发送，地面端在接收到同步编码的数据后，调用同步解码方法对接收数据进行解码，生成同步编码前的数据。
与现有技术相比，本发明的有益效果是：本发明无人机机载多路视频与POS数据的同步系统与方法，多路视频通过HDMI接口与编码模块连接，并传输图像/视频信号，POS数据通过串口与编码模块连接，并按一定频率传输POS数据，在编码模块中，通过同步编码方法将POS数据、多路视频进行同步帧编码，同步编码后的数据通过USB/网口调用图传模块，向地面端发送，地面端在接收到同步编码的数据后，调用同步解码方法对接收数据进行解码，生成同步编码前的数据，以完成多路图像/视频与POS数据的严格同步。
附图说明
图1为无人机机载多路视频与POS数据的同步系统的原理示意图。
图2为无人机机载多路视频与POS数据的同步系统与方法中采用的接口转换示意图。
图3为无人机机载多路视频与POS数据的同步系统与方法中同步编码流程示意图。
图4为无人机机载多路视频与POS数据的同步系统与方法中同步解码流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，一种无人机机载多路视频与POS数据的同步系统，包括编码模块和解码模块，所述多路视频通过HDMI接口与编码模块连接，并传输图像/视频信号，POS数据通过串口与编码模块连接，并按一定频率传输POS数据，在编码模块中，通过同步编码方法将POS数据、多路视频进行同步帧编码，同步编码后的数据通过USB/网口调用图传模块，向地面端发送，地面端在接收到同步编码的数据后，调用同步解码方法对接收数据进行解码，生成同步编码前的数据。
同步编码方法主要使用的数据有两类，一类是图片/视频；一类是POS数据。
由于机载视频相机包括可见光相机、红外相机以及多光谱相机，其图像/视频输出接口通常包含CVBS、HDMI、SDI、camera Link等，在图像/视频数据接入编码模块时，通常需要进行接口转换。接口转换示意图如图2所示。
POS数据通常包括飞机的GPS、航向和机载吊舱的姿态，通过串口接入到编码模块中。由于POS数据的发送频率受GPS接收频率的制约，因此在POS数据的发送频率通常以GPS的接收频率为参考基准，而视频的帧率通常是25帧/秒，当POS数据的发送频率无法与视频帧的每一帧匹配时，采用插值的方法对POS数据进行处理。
为了提高编码效率及压缩率，图像/视频信号与POS的同步编码采用H.264、H.265编码算法或硬件编码方法，具体的实现流程如图3所示。
作为本发明进一步的方案：所述同步编码的具体步骤为：
(1)由HDMI接口接收相机发送的视频数据；
(2)调用通用的软解码/硬解码模块解码生成YUV422数据；
(3)对解码后的YUV422数据在内存中进行拼接，生成单一的完整数据包；
(4)接收POS数据，并对POS数据根据视频帧率进行插值处理，使得视频帧率与POS数据的帧率完全一致；
(5)调用软编码/硬编码模块，在数据包中添加POS数据，并对每帧数据进行打包处理。在调用软编码模块时，根据发送数据量的大小选择H.264或H.265编码算法，具体格式如下：
①NALU类型--1字节0x06
②SEI负载类型--1字节0x05(编码格式定义)
③负载大小(uuid+自定义数据)--如果大小size大于255，前int(size/255)个字节都是FF，最后一个字节是剩余部分
④负载的唯一标志uuid--16字节
⑤SEI(POS数据)。
当调用硬编码模块时，根据使用芯片的不同，对图像/视频数据进行打包处理，当SEI负载类型为5时，代表SEI负载分析遵循user_data_unregistered()语法，其中SEI语法如下表所示；
sei_payload(payloadType,payloadSize){ C 描述符
if(payloadType＝＝0)
bufering_period(payloadSize) 5
else if(payloadType＝＝1)
pic_timing(payloadSize) 5
else if(payloadType＝＝2)
pan_scan_rect(payloadSize) 5
else if(payloadType＝＝3)
filler_payload(payloadSize) 5
else if(payloadType＝＝4)
user_data_registered_itu_t_t35(payloadSize) 5
else if(payloadType＝＝5)
user_data_unregistered(payloadSize) 5
else if(payloadType＝＝6)
Recovery_point(payloadSize) 5
(6)在数据包编码完成后，通过USB/网口的方式调用图传，同时将编码后的数据包发送给图传，在调用图传的过程中，为了图传传输的稳定性，需要根据图传信号发送强度来动态调整编码的码率；
(7)向地面端发送编码数据。
在地面端接收到空中端图传发送的数据后，需要调用对应的方法来对接收到的数据进行解码，具体流程如图4所示。
所述地面端的同步解码分为两个线程：数据接收线程和解码线程：
在数据接收线程中，首先启动串口，创建数据管道池，从图传端获取数据填充至据管道池，然后对接收到的数据进行转发；
解码线程首先注册组件，并对从串口转发的数据进行预处理，查找视频编码格式的定义，之后查找对应的解码器对视频进行解码。
进一步的，本发明还提供一种采用所述无人机机载多路视频与POS数据的同步系统进行同步的方法，包括如下步骤：(1)所述多路视频通过HDMI接口与编码模块连接，并传输图像/视频信号，POS数据通过串口与编码模块连接，并按一定频率传输POS数据；(2)在所述编码模块中，通过同步编码方法将POS数据、多路视频进行同步帧编码，同步编码后的数据通过USB/网口调用图传模块，向地面端发送，地面端在接收到同步编码的数据后，调用同步解码方法对接收数据进行解码，生成同步编码前的数据。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (9)

1.一种无人机机载多路视频与POS数据的同步系统，其特征在于，包括编码模块和解码模块，所述多路视频通过HDMI接口与编码模块连接，并传输图像/视频信号，POS数据通过串口与编码模块连接，并按一定频率传输POS数据，在编码模块中，通过同步编码方法将POS数据、多路视频进行同步帧编码，同步编码后的数据通过USB/网口调用图传模块，向地面端发送，地面端在接收到同步编码的数据后，调用同步解码方法对接收数据进行解码，生成同步编码前的数据。
2.根据权利要求1所述的无人机机载多路视频与POS数据的同步系统，其特征在于，所述机载多路视频通过可见光相机、红外相机以及多光谱相机拍摄。
3.根据权利要求1所述的无人机机载多路视频与POS数据的同步系统，其特征在于，所述POS数据包括飞机的GPS、航向和机载吊舱的姿态，通过串口接入到编码模块中。
4.根据权利要求3所述的无人机机载多路视频与POS数据的同步系统，其特征在于，所述POS数据的发送频率通常以GPS的接收频率为参考基准。
5.根据权利要求4所述的无人机机载多路视频与POS数据的同步系统，其特征在于，当所述POS数据的发送频率无法与视频帧的每一帧匹配时，采用插值的方法对POS数据进行处理。
6.根据权利要求5所述的无人机机载多路视频与POS数据的同步系统，其特征在于，所述图像/视频信号与POS数据的同步编码采用H.264、H.265编码算法或硬件编码方法。
7.根据权利要求6所述的无人机机载多路视频与POS数据的同步系统，其特征在于，所述同步编码的具体步骤为：
(1)由HDMI接口接收相机发送的视频数据；
(2)调用通用的软解码/硬解码模块解码生成YUV422数据；
(3)对解码后的YUV422数据在内存中进行拼接，生成单一的完整数据包；
(4)接收POS数据，并对POS数据根据视频帧率进行插值处理，使得视频帧率与POS数据的帧率完全一致；
(5)调用软编码/硬编码模块，在数据包中添加POS数据，并对每帧数据进行编码处理。在调用软编码模块时，根据发送数据量的大小选择H.264或H.265编码算法，当调用硬编码模块时，根据使用芯片的不同，在编码前的数据包中追加POS数据；
(6)在数据包编码完成后，通过USB/网口的方式调用图传，同时将编码后的数据包发送给图传，在调用图传的过程中，为了图传传输的稳定性，需要根据图传信号发送强度来动态调整编码的码率；
(7)向地面端发送编码数据。
8.根据权利要求5所述的无人机机载多路视频与POS数据的同步系统，其特征在于，所述地面端的同步解码分为两个线程：数据接收线程和解码线程：
在数据接收线程中，首先启动串口，创建数据管道池，从图传端获取数据填充至据管道池，然后对接收到的数据进行转发；
解码线程首先注册组件，并对从串口转发的数据进行预处理，查找视频编码格式的定义，之后查找对应的解码器对视频进行解码。
9.一种采用权利要求1-8任一所述无人机机载多路视频与POS数据的同步系统进行同步的方法，其特征在于，包括如下步骤：(1)所述多路视频通过HDMI接口与编码模块连接，并传输图像/视频信号，POS数据通过串口与编码模块连接，并按一定频率传输POS数据；(2)在所述编码模块中，通过同步编码方法将POS数据、多路视频进行同步帧编码，同步编码后的数据通过USB/网口调用图传模块，向地面端发送，地面端在接收到同步编码的数据后，调用同步解码方法对接收数据进行解码，生成同步编码前的数据。
CN201911418331.6A 2019-12-31 2019-12-31 一种无人机机载多路视频与pos数据的同步系统与方法 Pending CN111083311A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911418331.6A CN111083311A (zh) 2019-12-31 2019-12-31 一种无人机机载多路视频与pos数据的同步系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911418331.6A CN111083311A (zh) 2019-12-31 2019-12-31 一种无人机机载多路视频与pos数据的同步系统与方法

Publications (1)

Publication Number Publication Date
CN111083311A true CN111083311A (zh) 2020-04-28

Family

ID=70321208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911418331.6A Pending CN111083311A (zh) 2019-12-31 2019-12-31 一种无人机机载多路视频与pos数据的同步系统与方法

Country Status (1)

Country Link
CN (1) CN111083311A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111554080A (zh) * 2020-07-13 2020-08-18 成都纵横自动化技术股份有限公司 一种光电吊舱数据采集系统
CN113347390A (zh) * 2021-05-28 2021-09-03 珠海紫燕无人飞行器有限公司 一种pos信息链路传输系统及其方法
CN114520927A (zh) * 2020-11-18 2022-05-20 西安诺瓦星云科技股份有限公司 视频处理方法、装置和设备以及显示系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203167160U (zh) * 2013-03-04 2013-08-28 四川九洲电器集团有限责任公司 一种视频图像和遥测数据无线同步传输的系统
CN103617658A (zh) * 2013-11-05 2014-03-05 中国人民解放军海军航空工程学院青岛校区 机载多路音视频同步记录仪及记录方法
CN105635616A (zh) * 2016-01-27 2016-06-01 中测新图(北京)遥感技术有限责任公司 一种视频数据和地理位置信息的融合方法和装置
CN205666906U (zh) * 2016-05-23 2016-10-26 武汉大学 一种携有实时视频姿态数据的无人机视频传输系统
CN106911907A (zh) * 2017-02-09 2017-06-30 聊城大学 一种伴飞光电跟踪测量吊舱高清压缩与存储装置
CN107071357A (zh) * 2017-04-17 2017-08-18 四川九洲电器集团有限责任公司 一种数据处理方法、机载端、地面端机及无人机系统
CN108322696A (zh) * 2017-12-15 2018-07-24 成都优力德新能源有限公司 一种基于340MHz多载波调制技术的无人机无线图传系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203167160U (zh) * 2013-03-04 2013-08-28 四川九洲电器集团有限责任公司 一种视频图像和遥测数据无线同步传输的系统
CN103617658A (zh) * 2013-11-05 2014-03-05 中国人民解放军海军航空工程学院青岛校区 机载多路音视频同步记录仪及记录方法
CN105635616A (zh) * 2016-01-27 2016-06-01 中测新图(北京)遥感技术有限责任公司 一种视频数据和地理位置信息的融合方法和装置
CN205666906U (zh) * 2016-05-23 2016-10-26 武汉大学 一种携有实时视频姿态数据的无人机视频传输系统
CN106911907A (zh) * 2017-02-09 2017-06-30 聊城大学 一种伴飞光电跟踪测量吊舱高清压缩与存储装置
CN107071357A (zh) * 2017-04-17 2017-08-18 四川九洲电器集团有限责任公司 一种数据处理方法、机载端、地面端机及无人机系统
CN108322696A (zh) * 2017-12-15 2018-07-24 成都优力德新能源有限公司 一种基于340MHz多载波调制技术的无人机无线图传系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111554080A (zh) * 2020-07-13 2020-08-18 成都纵横自动化技术股份有限公司 一种光电吊舱数据采集系统
CN114520927A (zh) * 2020-11-18 2022-05-20 西安诺瓦星云科技股份有限公司 视频处理方法、装置和设备以及显示系统
CN114520927B (zh) * 2020-11-18 2024-04-05 西安诺瓦星云科技股份有限公司 视频处理方法、装置和设备以及显示系统
CN113347390A (zh) * 2021-05-28 2021-09-03 珠海紫燕无人飞行器有限公司 一种pos信息链路传输系统及其方法

Similar Documents

Publication Publication Date Title
US11916594B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
CN111083311A (zh) 一种无人机机载多路视频与pos数据的同步系统与方法
CN103037205B (zh) 视频传输方法和系统
JP2019193269A (ja) 送信装置、送信方法、受信装置および受信方法
CN107079105B (zh) 图像处理方法、装置、设备及视频图传系统
US20190208114A1 (en) System and method providing object-oriented zoom in multimedia messaging
CN105516542A (zh) 基于硬件编码器的多通道视频同步系统及其同步方法
RU2687968C2 (ru) Устройство передачи и способ передачи и устройство приема и способ приема
CN111695541A (zh) 基于机器视觉的无人机森林防火系统及方法
CN102802039A (zh) 多路视频混合解码输出方法及装置
CN103248830A (zh) 面向移动智能终端增强现实的实时视频合并方法
CN110662086A (zh) 一种5g高清直播系统及视频处理方法
CN104581075A (zh) 基于异构平台的全景视频处理系统及方法
CN104081767A (zh) 发送装置、发送方法、接收装置和接收方法
CN206117889U (zh) 一种双目720度全景采集系统
CN205901968U (zh) 无人机影像传输系统
CN101729845A (zh) Camera-Link数字视频信息叠加方法
CN213426348U (zh) 基于5g网络的无人机8k实时融合直播系统
CN104244000A (zh) 一种jpeg图片快速拼接方法及装置
WO2022040875A1 (zh) 数据传输、处理方法、可移动平台、终端设备及芯片
CN107360384B (zh) 一种高速视频采集传输方法
CN218634049U (zh) 一种5g图传组件以及5g图传系统
CN205092920U (zh) 高分辨率视频传输系统
WO2024212387A1 (en) Method of determining segmentation mask, device, system, data structure and non-transitory storage medium
Kawamura et al. Real-time streaming of sequential volumetric data for augmented reality synchronized with broadcast video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200428