CN108257164A - 一种虚实视景匹配融合嵌入式软件架构 - Google Patents

一种虚实视景匹配融合嵌入式软件架构 Download PDF

Info

Publication number
CN108257164A
CN108257164A CN201711292880.4A CN201711292880A CN108257164A CN 108257164 A CN108257164 A CN 108257164A CN 201711292880 A CN201711292880 A CN 201711292880A CN 108257164 A CN108257164 A CN 108257164A
Authority
CN
China
Prior art keywords
module
matching
fusion
terrain
matching fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711292880.4A
Other languages
English (en)
Inventor
韩伟
程岳
李亚晖
刘作龙
张磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Aeronautics Computing Technique Research Institute of AVIC
Original Assignee
Xian Aeronautics Computing Technique Research Institute of AVIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Aeronautics Computing Technique Research Institute of AVIC filed Critical Xian Aeronautics Computing Technique Research Institute of AVIC
Priority to CN201711292880.4A priority Critical patent/CN108257164A/zh
Publication of CN108257164A publication Critical patent/CN108257164A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出了一种虚实视景匹配融合嵌入式软件架构，属于计算机图形处理技术领域。该软件架构包括主控模块、交互模块、数据输入模块、地形调度及实时绘制模块和匹配融合模块；主控模块监视其他模块的工作状态并控制匹配融合模块的工作方式；数据输入模块读入数字地图和视频数据等信息传递给地形调度及实时绘制模块和匹配融合模块；地形调度及实时绘制模块生成地形图像并将其传递给匹配融合模块；匹配融合模块实现视频和地图的匹配和融合，将匹配融合结果传递给交互模块。交互模块显示匹配融合结果，接收用户控制操作并上报给主控模块。该软件架构具有结构明晰、可信性高的优点，能有效地改善软件质量,实现实时嵌入式软件的鲁棒性要求。

Description

一种虚实视景匹配融合嵌入式软件架构
技术领域：
本发明属于计算机图形处理技术领域，特别是涉及一种虚实视景匹配融合嵌入式软件架构。
背景技术：
增强视景及合成视景是近年来在多源信息融合显示与呈现方法的研究和发展推动下出现的一个较新的研究应用领域,而且具有很好的应用。虚实视景匹配融合是多源信息融合中的关键技术。现有的虚实视景匹配融合嵌入式软件设计的模块化程度不高，影响了软件的可测试性和扩展性。
发明内容：
本发明的目的是：
为了解决虚实视景匹配融合嵌入式软件架构设计问题，提出一种虚实视景匹配融合嵌入式软件架构。
本发明的技术方案是：
一种虚实视景匹配融合嵌入式软件架构，包括以下模块：主控模块、交互模块、数据输入模块、地形调度及实时绘制模块、匹配融合模块；其中，主控模块具有较高的优先级，主控模块以外的其他模块具有相同的优先级；各模块的交互关系为：数据输入模块从数字地图数据库和传感器等数据源获取数字地图、传感器视频和位姿信息，将传感器视频进行预处理后传递给地形调度及实时绘制模块，将数字地图和位姿信息传递给匹配融合模块；地形调度及实时绘制模块接收到数字地图和位姿信息后，进行地形数据调度及实时渲染，产生地形图像，并将地形图像传递给匹配融合模块；匹配融合模块按照主控模块发出的模式控制信号，将地形图像与传感器视频进行匹配与融合，并将匹配融合结果传递给交互模块；交互模块将匹配融合结果显示给用户，同时接收用户指令，将用户指令传递给主控模块；主控模块根据用户指令调整匹配融合的控制模式，向匹配融合模块发出模式控制信号。
所述主控模块的主要功能是监视其他模块的工作状态，产生模式控制信号指导虚实视景匹配融合的实现方式；
所述数据输入模块的主要功能是读取数字地图，读取导航与定位信息，读取传感器视频数据，并对传感器视频数据进行预处理；
所述交互模块的主要功能是显示匹配融合结果，通过鼠标、键盘、摇杆等外设接收用户控制命令；
所述地形调度及实时绘制模块的主要功能是依据当前位姿信息计算可见区域，调入或者调出地形数据，高效地进行地形渲染；
所述匹配融合模块的主要功能是对地形图像与传感器视频进行匹配和融合。
本发明具有的优点是：
设计了一种虚实视景匹配融合嵌入式软件架构，明确了各软件功能模块的功能和交互关系，能够提高嵌入式环境中虚实视景匹配融合软件开发效率，为软件的可测试性和可靠性提供一定的保障。
附图说明：
图1为本发明的原理框图。
具体实施方式:
参见附图1，以某型组合视景嵌入式系统为例，说明虚实视景匹配融合嵌入式软件架构的具体实施方式；该系统包括以下软件模块：主控模块、交互模块、数据输入模块、地形调度及实时绘制模块、匹配融合模块；每个软件模块分别由一个线程实现，模块之间通过共享内存和信号量进行数据交换和同步，主控模块具有较高的优先级，主控模块以外的其他模块具有相同的优先级；数据输入模块从数字地图数据库和传感器等数据源获取数字地图、传感器视频和位姿信息，将传感器视频进行预处理后传递给地形调度及实时绘制模块，将数字地图和位姿信息传递给匹配融合模块；地形调度及实时绘制模块接收到数字地图和位姿信息后，进行地形数据调度及实时渲染，产生地形图像，并将地形图像传递给匹配融合模块；匹配融合模块按照主控模块发出的模式控制信号，将地形图像与传感器视频进行匹配与融合，并将匹配融合结果传递给交互模块；交互模块将匹配融合结果显示给用户，同时接收用户指令，将用户指令传递给主控模块；主控模块监视其他模块的状态，根据用户指令调整匹配融合的控制模式，向匹配融合模块发出模式控制信号；
所述主控模块定时检查其他模块的工作状态，定时检查其他模块的工作状态，生成系统日志，若有模块发生故障，则重启故障模块，若没有故障模块，则根据用户的输入产生模式控制信号指导虚实视景匹配融合的具体实现方式。
所述交互模块自动适应显示器的分辨率，显示虚实视景匹配融合结果；检测键盘按键并向主控模块报告，按键含义参见表1。
所述数据输入模块从数据库读取数字地图，从GPS获取导航与定位信息，从红外相机设备获取传感器视频数据，并对传感器视频数据进行细节增强和防抖处理。
所述地形调度及实时绘制模块采用三维渲染引擎OpenSceneGraph及其插件作为图形库，依据当前视点设置可见区域和预计可见区域，运用与地形坐标系统相匹配的动态预测算法预测并更新可见区域和预计可见区域，依此调入或者调出地形数据；通过层次细节计算，根据计算结果将地形的几何模型依照距离视点的远近划分成为不同的层次细节级别，提高图形渲染效率。
所述匹配融合模块采用归一化互相关匹配算法进行特征点粗粒度匹配，形成虚实配准图像；采用小波变换方法对虚实配准图像数据进行融合，并对虚实图像的边缘部分进行平滑处理，形成匹配融合结果。
表1
按键 含义
P 暂停匹配融合
R 重置匹配融合
Q 退出匹配融合
A 开始匹配融合
↑ 视野扩大
↓ 视野缩小

Claims (5)

1.一种虚实视景匹配融合嵌入式软件架构，其特征在于：包括以下模块：主控模块、交互模块、数据输入模块、地形调度及实时绘制模块、匹配融合模块；其中，主控模块具有较高的优先级，主控模块以外的其他模块具有相同的优先级；各模块的交互关系为：数据输入模块从数字地图数据库和传感器等数据源获取数字地图、传感器视频和位姿信息，将传感器视频进行预处理后传递给地形调度及实时绘制模块，将数字地图和位姿信息传递给匹配融合模块；地形调度及实时绘制模块接收到数字地图和位姿信息后，进行地形数据调度及实时渲染，产生地形图像，并将地形图像传递给匹配融合模块；匹配融合模块按照主控模块发出的模式控制信号，将地形图像与传感器视频进行匹配与融合，并将匹配融合结果传递给交互模块；交互模块将匹配融合结果显示给用户，同时接收用户指令，将用户指令传递给主控模块；主控模块根据用户指令调整匹配融合的控制模式，向匹配融合模块发出模式控制信号。
2.根据权利要求1所述的一种虚实视景匹配融合嵌入式软件架构，其特征在于：所述主控模块实现方式为：定时检查其他模块的工作状态，生成系统日志，若有模块发生故障，则重启故障模块，若没有故障模块，则根据用户的输入产生模式控制信号指导虚实视景匹配融合的具体实现方式。
3.根据权利要求1所述的一种虚实视景匹配融合嵌入式软件架构，其特征在于：所述地形调度及实时绘制模块采用三维渲染引擎OpenSceneGraph及其插件作为图形库，依据当前视点设置可见区域和预计可见区域，运用与地形坐标系统相匹配的动态预测算法预测并更新可见区域和预计可见区域，依此调入或者调出地形数据；通过层次细节计算，根据计算结果将地形的几何模型依照距离视点的远近划分成为不同的层次细节级别，提高图形渲染效率。
4.根据权利要求1所述的一种虚实视景匹配融合嵌入式软件架构，其特征在于：所述匹配融合模块采用归一化互相关匹配算法进行特征点粗粒度匹配，形成虚实配准图像；采用小波变换方法对虚实配准图像数据进行融合，并对虚实图像的边缘部分进行平滑处理，形成匹配融合结果。
5.根据权利要求1所述的一种虚实视景匹配融合嵌入式软件架构，其特征在于：所述预处理是对传感器视频数据进行细节增强和防抖处理。
CN201711292880.4A 2017-12-07 2017-12-07 一种虚实视景匹配融合嵌入式软件架构 Pending CN108257164A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711292880.4A CN108257164A (zh) 2017-12-07 2017-12-07 一种虚实视景匹配融合嵌入式软件架构

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711292880.4A CN108257164A (zh) 2017-12-07 2017-12-07 一种虚实视景匹配融合嵌入式软件架构

Publications (1)

Publication Number Publication Date
CN108257164A true CN108257164A (zh) 2018-07-06

Family

ID=62721017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711292880.4A Pending CN108257164A (zh) 2017-12-07 2017-12-07 一种虚实视景匹配融合嵌入式软件架构

Country Status (1)

Country Link
CN (1) CN108257164A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521790A (zh) * 2011-12-08 2012-06-27 北京像素软件科技股份有限公司 数据渲染方法
CN103226830A (zh) * 2013-04-25 2013-07-31 北京大学 三维虚实融合环境中视频纹理投影的自动匹配校正方法
CN104469155A (zh) * 2014-12-04 2015-03-25 中国航空工业集团公司第六三一研究所 一种机载图形图像虚实叠加方法
CN106157359A (zh) * 2015-04-23 2016-11-23 中国科学院宁波材料技术与工程研究所 一种虚拟场景体验系统的设计方法
US9761002B2 (en) * 2013-07-30 2017-09-12 The Boeing Company Stereo-motion method of three-dimensional (3-D) structure information extraction from a video for fusion with 3-D point cloud data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521790A (zh) * 2011-12-08 2012-06-27 北京像素软件科技股份有限公司 数据渲染方法
CN103226830A (zh) * 2013-04-25 2013-07-31 北京大学 三维虚实融合环境中视频纹理投影的自动匹配校正方法
US9761002B2 (en) * 2013-07-30 2017-09-12 The Boeing Company Stereo-motion method of three-dimensional (3-D) structure information extraction from a video for fusion with 3-D point cloud data
CN104469155A (zh) * 2014-12-04 2015-03-25 中国航空工业集团公司第六三一研究所 一种机载图形图像虚实叠加方法
CN106157359A (zh) * 2015-04-23 2016-11-23 中国科学院宁波材料技术与工程研究所 一种虚拟场景体验系统的设计方法

Similar Documents

Publication Publication Date Title
US11270511B2 (en) Method, apparatus, device and storage medium for implementing augmented reality scene
KR102125293B1 (ko) 생성 장치, 생성 방법, 및 기억 매체
US9978174B2 (en) Remote sensor access and queuing
US9286722B2 (en) Information processing apparatus, display control method, and program
US9218781B2 (en) Information processing apparatus, display control method, and program
JP5709440B2 (ja) 情報処理装置、情報処理方法
US20130113830A1 (en) Information processing apparatus, display control method, and program
US10768689B2 (en) System and method for providing virtual reality contents based on body information obtained from user
US20070159455A1 (en) Image-sensing game-controlling device
CN103970264B (zh) 手势辨识与控制方法及其装置
JP2023532285A (ja) アモーダル中心予測のためのオブジェクト認識ニューラルネットワーク
US20170336874A1 (en) Method and apparatus for processing hand gesture command for media-centric wearable electronic device
JP2021077255A (ja) 画像処理装置、画像処理方法及び画像処理システム
JP2022105594A (ja) 処理装置、検出装置、システム及びプログラム
CN115267796A (zh) 定位方法、装置、机器人和存储介质
US20200082603A1 (en) Information processing apparatus, information processing method and storage medium
CN108257164A (zh) 一种虚实视景匹配融合嵌入式软件架构
CN111279410A (zh) 显示设备和显示设备控制方法
JP2020173629A (ja) 画像処理装置、仮想視点映像を生成するシステム、画像処理装置の制御方法及びプログラム
CN111754543B (zh) 图像处理方法、装置及系统
KR101050107B1 (ko) 영상 제어 장치
KR20150028179A (ko) 동적 화상 분석 시스템 및 동적 화상 분석 방법
US20240054749A1 (en) Information processing device and information processing method
US20240098225A1 (en) System and method for providing scene information
JP2011197365A (ja) 映像表示装置および映像表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180706