CN109547708A - 一种合成视景图像处理系统 - Google Patents

一种合成视景图像处理系统 Download PDF

Info

Publication number
CN109547708A
CN109547708A CN201811471416.6A CN201811471416A CN109547708A CN 109547708 A CN109547708 A CN 109547708A CN 201811471416 A CN201811471416 A CN 201811471416A CN 109547708 A CN109547708 A CN 109547708A
Authority
CN
China
Prior art keywords
video
module
data fusion
splicing
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811471416.6A
Other languages
English (en)
Inventor
王海鹏
詹思维
张东红
樊超
杨立成
贾超群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Aeronautics Computing Technique Research Institute of AVIC
Original Assignee
Xian Aeronautics Computing Technique Research Institute of AVIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Aeronautics Computing Technique Research Institute of AVIC filed Critical Xian Aeronautics Computing Technique Research Institute of AVIC
Priority to CN201811471416.6A priority Critical patent/CN109547708A/zh
Publication of CN109547708A publication Critical patent/CN109547708A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供的合成视景图像处理系统主要由两个模块构成，分别是视频处理模块和数据融合模块。视频处理模块主要完成视频图像处理、多源视频拼接等任务，数据融合模块主要完成三维地图生成、地图和视频融合以及告警与参数要素绘制等任务。视频处理模块采用FPGA+DSP作为视频图像的处理核心，充分发挥FPGA并行特性完成多路视频的预处理，DSP完成视频拼接任务。数据融合模块采用CPU+GPU的方案，CPU完成系统调度和管理，GPU完成视频融合和图形绘制相关的工作。本发明通过采用合理的硬件构架、优化的算法以及模块化的软件，降低了图像处理的延迟，提高了视频融合显示的效果。

Description

一种合成视景图像处理系统
技术领域
本发明属于嵌入式计算机视频处理技术领域，特别是涉及一种合成视景图像处理系统。
背景技术
随着汽车电子和航空电子的发展及科学技术的进步，综合化、直观化的显示控制系统将成为未来车辆/飞机驾驶舱的必然发展趋势。由于需求的驱动，外部视景合成系统及车辆/飞机综合显示系统在最近几年获得了迅猛的发展，并已开始在新型汽车和飞机上获得应用。随着技术的逐步成熟和应用经验的积累，将外部视景合成系统和车辆/飞机综合显示系统进一步进行综合而成的合成视景图像处理系统已变得可能且获得了越来越多的关注和研究。合成视景图像处理系统聚集了外部视景合成系统和综合显示系统各自的优势，并通过有效的图像数据融合进一步提高了显示系统的信息量和驾驶员对车辆/飞机周围环境的情景感知，从而进一步提高驾驶的安全性。
合成视景图像处理系统的核心关键技术主要有两方面：多路外视频拼接技术和图像数据融合技术。其中多路外视频拼接技术目前的方法比较多，有采用快速检测Harris算子，结合捆绑调整进行全局调整方法，能够得到很好的拼接效果。有采用基于图像分块和邻近角点剔除策略的自适应Harris角点检测算法，该算法能很好地适应图像拼接。有采用对图像进行SIFT特征提取并进行粗匹配，再用RANSAC算法剔除误匹配点获得变换单应阵，最后用查表法投影图像，最终实现融合拼接。但是上述所有视频拼接方法，有的算法比较复杂，运算量巨大，会消耗大量计算资源和时间，不利于实时视频拼接；有的算法拼接效果不是很理想，会产生明显的阴影，影响了拼接效果。
发明内容
本发明的目的是：本发明解决现有合成视景图像处理系统图像融合效果较差，效率低下，无法保证系统实时性要求的问题。
本发明的技术方案是：一种合成视景图像处理系统，包括视频处理模块和数据融合模块，其中视频处理模块采用FPGA+DSP作为视频处理核心，采用FPGA对多路外视频分别进行图像预处理，预处理后的图像送入DSP完成多路视频拼接工作；数据融合模块采用CPU+GPU作为处理核心，CPU用于系统调度和管理，GPU用于视频融合和图形绘制；来自高速相机的多路外视频在视频处理模块中进行拼接处理后送入数据融合模块，数据融合模块综合车辆/飞机的传感器信息、面板指令、位置信息、三维地图以及拼接视频信息，进行融合处理，最终将显示内容输出到显示设备上。
视频处理模块中的DSP用于进行多路视频拼接，视频拼接算法采用SURF+优化RANSAC算法；所述SURF+优化RANSAC算法包括四个步骤：
第一步、获取视频文件并且设置一些关键参数；
第二步、识别是否为关键帧，对关键帧在重叠区域的ROI中用SURF算法生成特征描述算子，从而生成匹配点对；
第三步、用优化的RANSAC算法筛选匹配点对并生成最终的变换矩阵H；
第四步、图像帧的融合形成拼接图像。
所述第三步中，优化的RANSAC算法在筛选匹配点过程中，采用SURF算子粗匹配的点对中依顺序选取一匹配点对，把匹配对中特征点主方向和长度都匹配的点保留下来，而不符合的匹配点对都舍弃，直到检测完所有特征点匹配对。
所述数据融合模块是采用CPU+GPU的硬件构架及多模块软件来进行数据融合处理，其中，CPU负责系统管理调度，GPU负责数据融合和图像绘制，多模块软件运行于CPU之上，分为模型载入模块、模型数据管理模块、配置载入模块、地形管理模块、外视频管理模块、控制指令管理模块以及绘制模块。
本发明具有的优点是：
本发明提出了一种可行的合成视景图像处理系统，该系统通过采用合理的硬件构架、优化的算法以及模块化的软件，降低了图像处理的延迟，提高了视频融合显示的效果；本发明视频拼接算法是在SURF算法的基础上，采用优化RANSAC算法，最终能够取得比较满意的图像拼接效果。
本发明所述的一种合成视景图像处理系统已经在某型座舱综显验证系统中应用，视频处理延迟低、拼接效果好，数据融合效果佳，显示内容全面、合理、准确。
附图说明：
图1系统结构图。
图2视频拼接算法流程图。
图3数据融合软件结构图。
具体实施方式:
本发明提出一种合成视景图像处理系统,可在车载、机载等环境中使用，能够帮助驾驶员更全面的了解外部环境信息和车辆/飞机参数信息。
本发明合成视景图像处理系统主要由两个功能模块构成，分别是视频处理模块和数据融合模块，如图1所示。视频处理模块主要完成视频图像处理、多源视频拼接等任务，数据融合模块主要完成三维地图生成、地图和视频融合以及告警与参数要素绘制等任务。视频处理模块采用FPGA+DSP作为视频图像的处理核心，充分发挥FPGA并行特性完成多路视频的预处理，DSP完成视频拼接任务，视频拼接算法采用SURF+优化RANSAC算法数据融合模块采用CPU+GPU的方案，CPU完成系统调度和管理，GPU完成视频融合和图形绘制相关的工作。
本发明技术方案具体实现细节如下：
a)系统组成：系统主要由视频处理模块和数据融合模块构成，视频处理模块主要负责对多路外视频图像进行预处理和视频拼接处理，数据融合模块负责综合车辆/飞机的传感器信息、面板指令、位置信息、三维地图以及拼接视频等信息，进行融合处理，最终将显示内容输出到显示设备上；
b)基于FPGA的视频图像预处理：外视频图像在进入视频处理模块后首先由FPGA进行图像预处理，预处理工作主要包括图像滤波，图像增强，分辨率调整；
c)基于DSP的图像拼接处理：多路外视频图像经过FPGA预处理后送入DSP进行图像拼接处理，如图2所示，视频拼接算法采用SURF+优化RANSAC算法。SURF+优化RANSAC算法主要分为四个部分，第一步主要是获取视频文件并且设置一些关键参数；第二步识别是否为关键帧，对关键帧在重叠区域的ROI中用SURF算法生成特征描述算子，从而生成匹配点对；第三步是用优化的RANSAC算法筛选匹配点对并生成最终的变换矩阵H；第四步是图像帧的融合形成拼接图像。其中优化的RANSAC算法核心在于SURF算子粗匹配的点对中依顺序选取一匹配点对，把匹配对中特征点主方向和长度都匹配的点保留下来，而不符合的匹配点对都舍弃，直到检测完所有特征点匹配对；
d)数据融合处理：数据融合模块负责综合车辆/飞机的传感器信息、面板指令、位置信息、三维地图以及拼接视频等信息，进行融合处理，最终将显示内容输出到显示设备上。数据融合模块采用CPU+GPU的硬件构架，CPU负责系统管理调度，GPU负责数据融合和图像绘制。其软件采用模块化设计思想，如图3所示，具体可细分为模型载入模块、模型数据管理模块、配置载入模块、地形管理模块、外视频管理模块、控制指令管理模块以及绘制模块等。
本发明硬件部分，视频处理模块中的FPGA采用Xilinx公司的XC7VX485T芯片，DSP采用TI公司的TMS320C6678，高速图像缓存采用Micron公司的MT41J128M16；数据融合模块中的CPU采用国产处理器FT2000HK，GPU采用国产图形处理器JM5400。软件部分其中视频拼接程序在DSP中运行，系统管理和数据融合程序在CPU中运行。

Claims (4)

1.一种合成视景图像处理系统，其特征在于包括视频处理模块和数据融合模块，其中视频处理模块采用FPGA+DSP作为视频处理核心，采用FPGA对多路外视频分别进行图像预处理，预处理后的图像送入DSP完成多路视频拼接工作；数据融合模块采用CPU+GPU作为处理核心，CPU用于系统调度和管理，GPU用于视频融合和图形绘制；来自高速相机的多路外视频在视频处理模块中进行拼接处理后送入数据融合模块，数据融合模块综合车辆/飞机的传感器信息、面板指令、位置信息、三维地图以及拼接视频信息，进行融合处理，最终将显示内容输出到显示设备上。
2.如权利要求1所述的一种合成视景图像处理系统，其特征在于视频处理模块中的DSP用于进行多路视频拼接，视频拼接算法采用SURF+优化RANSAC算法；所述SURF+优化RANSAC算法包括四个步骤：
第一步、获取视频文件并且设置一些关键参数；
第二步、识别是否为关键帧，对关键帧在重叠区域的ROI中用SURF算法生成特征描述算子，从而生成匹配点对；
第三步、用优化的RANSAC算法筛选匹配点对并生成最终的变换矩阵H；
第四步、图像帧的融合形成拼接图像。
3.如权利要求2所述的一种合成视景图像处理系统，其特征在于：所述第三步中，优化的RANSAC算法在筛选匹配点过程中，采用SURF算子粗匹配的点对中依顺序选取一匹配点对，把匹配对中特征点主方向和长度都匹配的点保留下来，而不符合的匹配点对都舍弃，直到检测完所有特征点匹配对。
4.如权利要求1所述的一种合成视景图像处理系统，其特征在于：所述数据融合模块是采用CPU+GPU的硬件构架及多模块软件来进行数据融合处理，其中，CPU负责系统管理调度，GPU负责数据融合和图像绘制，多模块软件运行于CPU之上，包括模型载入模块、模型数据管理模块、配置载入模块、地形管理模块、外视频管理模块、控制指令管理模块以及绘制模块。
CN201811471416.6A 2018-12-04 2018-12-04 一种合成视景图像处理系统 Pending CN109547708A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811471416.6A CN109547708A (zh) 2018-12-04 2018-12-04 一种合成视景图像处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811471416.6A CN109547708A (zh) 2018-12-04 2018-12-04 一种合成视景图像处理系统

Publications (1)

Publication Number Publication Date
CN109547708A true CN109547708A (zh) 2019-03-29

Family

ID=65853712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811471416.6A Pending CN109547708A (zh) 2018-12-04 2018-12-04 一种合成视景图像处理系统

Country Status (1)

Country Link
CN (1) CN109547708A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111984417A (zh) * 2020-08-26 2020-11-24 展讯通信(天津)有限公司 用于移动终端的图像处理方法及装置、存储介质、终端
CN112529088A (zh) * 2020-12-17 2021-03-19 中国航空工业集团公司成都飞机设计研究所 一种嵌入式异构显示融合系统
CN113610883A (zh) * 2021-04-30 2021-11-05 新驱动重庆智能汽车有限公司 点云处理系统和方法、计算机设备和存储介质
CN114119339A (zh) * 2021-09-30 2022-03-01 北京控制工程研究所 一种火星车受限环境下轻量化的混合异构图像处理系统
CN116128782A (zh) * 2023-04-19 2023-05-16 苏州苏映视图像软件科技有限公司 一种图像生成方法、装置、设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201115A (zh) * 2011-04-07 2011-09-28 湖南天幕智能科技有限公司 无人机航拍视频实时全景图拼接方法
CN105407278A (zh) * 2015-11-10 2016-03-16 北京天睿空间科技股份有限公司 一种全景视频交通态势监控系统及方法
CN106454152A (zh) * 2016-12-02 2017-02-22 北京东土军悦科技有限公司 视频图像拼接方法、装置和系统
US20170257639A1 (en) * 2013-01-07 2017-09-07 Microsoft Technology Licensing, Llc Syntax and semantics for buffering information to simplify video splicing
CN107197269A (zh) * 2017-07-04 2017-09-22 广东工业大学 一种视频拼接的方法与装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201115A (zh) * 2011-04-07 2011-09-28 湖南天幕智能科技有限公司 无人机航拍视频实时全景图拼接方法
US20170257639A1 (en) * 2013-01-07 2017-09-07 Microsoft Technology Licensing, Llc Syntax and semantics for buffering information to simplify video splicing
CN105407278A (zh) * 2015-11-10 2016-03-16 北京天睿空间科技股份有限公司 一种全景视频交通态势监控系统及方法
CN106454152A (zh) * 2016-12-02 2017-02-22 北京东土军悦科技有限公司 视频图像拼接方法、装置和系统
CN107197269A (zh) * 2017-07-04 2017-09-22 广东工业大学 一种视频拼接的方法与装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郑恒: "《外辐射源雷达》", 31 December 2017 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111984417A (zh) * 2020-08-26 2020-11-24 展讯通信(天津)有限公司 用于移动终端的图像处理方法及装置、存储介质、终端
WO2022042587A1 (zh) * 2020-08-26 2022-03-03 展讯通信(天津)有限公司 用于移动终端的图像处理方法及装置、存储介质、终端
CN112529088A (zh) * 2020-12-17 2021-03-19 中国航空工业集团公司成都飞机设计研究所 一种嵌入式异构显示融合系统
CN113610883A (zh) * 2021-04-30 2021-11-05 新驱动重庆智能汽车有限公司 点云处理系统和方法、计算机设备和存储介质
CN113610883B (zh) * 2021-04-30 2022-04-08 新驱动重庆智能汽车有限公司 点云处理系统和方法、计算机设备和存储介质
CN114119339A (zh) * 2021-09-30 2022-03-01 北京控制工程研究所 一种火星车受限环境下轻量化的混合异构图像处理系统
CN116128782A (zh) * 2023-04-19 2023-05-16 苏州苏映视图像软件科技有限公司 一种图像生成方法、装置、设备以及存储介质

Similar Documents

Publication Publication Date Title
CN109547708A (zh) 一种合成视景图像处理系统
DE102019122790B4 (de) Robotersteuerungssystem
US11715238B2 (en) Image projection method, apparatus, device and storage medium
WO2020216008A1 (zh) 图像处理方法、装置、存储介质及设备
US11704781B2 (en) Enhanced high-dynamic-range imaging and tone mapping
CN112540671A (zh) 基于视觉的灵巧机器人系统的远程操作
DE112021001762T5 (de) Erzeugen von kennzeichnungen für synthetische bilder unter verwenden eines oder mehrerer neuronaler netzwerke
WO2018120446A1 (zh) 一种面向实时目标识别的异构处理机并行协调处理方法
CN111027505B (zh) 一种基于显著性检测的分层多目标跟踪方法
CN114556941A (zh) 使用神经网络的视频压缩和解压缩
US9443356B2 (en) Augmented situation awareness
CN115311154A (zh) 具有固定校准设置的高动态范围图像处理
US20220277193A1 (en) Ground truth data generation for deep neural network perception in autonomous driving applications
CN113129423B (zh) 车辆三维模型的获取方法、装置、电子设备和存储介质
CN101854350A (zh) 一种多学科协同设计信息交流平台
EP3985575B1 (en) Three-dimensional information processing method and apparatus
CN110764620A (zh) 一种增强半虚拟现实飞机座舱系统
CN114981776A (zh) 一种调度硬件加速器的方法及任务调度器
CN114708296A (zh) 视觉跟踪空间音频
DE112018007659T5 (de) Objekterkennung und -verfolgung für autonomes fahren unter nutzung von schatten und reflexionen
CN109919051A (zh) 一种用于视频图像处理的卷积神经网络加速方法
CN110794844A (zh) 自动驾驶方法、装置、电子设备及可读存储介质
US11697428B2 (en) Method and apparatus for 3D modeling
US11917307B2 (en) Image signal processing pipelines for high dynamic range sensors
DE102022131123A1 (de) Konsistentes sampling für räumliches hashing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190329

RJ01 Rejection of invention patent application after publication