CN103269413A - 一种多源视频融合系统 - Google Patents
一种多源视频融合系统 Download PDFInfo
- Publication number
- CN103269413A CN103269413A CN2013101729508A CN201310172950A CN103269413A CN 103269413 A CN103269413 A CN 103269413A CN 2013101729508 A CN2013101729508 A CN 2013101729508A CN 201310172950 A CN201310172950 A CN 201310172950A CN 103269413 A CN103269413 A CN 103269413A
- Authority
- CN
- China
- Prior art keywords
- video
- image
- frame
- video source
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明是关于一种视频融合系统，提出一种图像配准方法以及一种新的多源视频融合处理方法。分为云台控制部分，摄像头视频采集部分，视频帧配准部分，视频融合及显示部分。采用vc++编写控制和显示界面，在视频图像的处理方面引入了opencv库，将最后的融合结果显示出来。云台采用usb转串口的方式，适应现在的控制环境，控制转向还有转速的控制，视频源采用不同种类的摄像头，分别采集两种视频信息，同时还可以通过控制界面控制摄像头焦距变化和帧率等。采用一种新的图像配准方法，满足一般的实时性要求。由于多源图像一般具有良好的互补性，使得本发明具有很好的实用性，融合效果良好，应用广泛。
Description
技术领域
本发明是一种视频融合系统，涉及图像处理领域，视频处理领域还有自动控制领域。具体涉及一种多源视频融合的方法和系统。
背景技术
由于传感器成像机理和自身特性等原因，单一的图像传感器一般不能从场景中提取足够多的信息。多源图像融合研究的是如何将不同类型传感器获取的图像数据,采用一定算法将其优势或互补性信息有机结合起来产生新图像的技术。多源视频融合是在图像融合的基础上发展起来的，它将不同传感器捕获的视频帧结合起来，在相同时间和背景下采用图像融合的方式不断进行融合，并最终将融合后的图像帧以视频的形式显示出来，即为视频融合的过程。
多源图像融合作为一种处理多传感器图像的有效新技术愈来愈受到重视，其应用范围已遍及医学、遥感、军事、安全监控等各个领域。多源视频融合也同样在以上领域发挥作用，多源视频融合图像的动态显示让人能更直观感知画面信息，并能快速发现背景中目标的变化，比静态图像显示的信息要丰富得多，因此也更具有优势。
目前在图像融合技术中最常见的是红外与可见光图像融合。可见光图像是光感图像，目前市面上销售的摄像机多属于此类，在较好的照度下能反映场景的细节，但照度不佳时的见光图像效果较差；红外图像是热感图像，成像为灰度图像，灰度值由摄像目标与背景的温度差决定。因此，在光线较暗或有少量烟、云、雾环境中，由于可见光图像质量较差，红外图像中的目标依然清晰，因此将二者成像结合起来形成红外与可见光融合图像，就可以适应较恶劣的天气情况，如果运用在军事上就有利于在隐藏、伪装和迷惑的情况下更快、更精确地探测目标。
发明内容
本发明提出一种多源视频融合的方法，并构建相应装置，可以很方便的实现多源视频的融合。提出一种多摄像头通过线槽经USB多接口转换与电脑相连接的方法，解决了耗费电脑多个USB接口的问题。提出一种电脑USB直接控制云台和摄像头转动的方法，解决现有视频融合系统需要采集卡软件控制的弊端。本发明利用计算机强大的计算能力对摄像头、云台等设备进行控制，同时通过编写操作简单、功能丰富的控制界面实现人机交互。
本发明给出了一种多源视频融合方法。其特征在于将多个视频源通过线槽经USB多接口转换器与电脑相连接，减少了电脑USB接口的过多消耗，并且减少中间环节，通过电脑的快速处理，加快了视频融合和输出显示的时间。将多个视频源摄像头采用刚性连接，水平固定在云台上，尽量使目标到各摄像头的高低角和俯仰角一致。云台控制的方式采用串口/USB转换器连接到电脑上，使得电脑输出数据控制结构简单、实现方便。
系统交互界面采用VC++6.0编写，在VC++中安装和配置OpenCV工具，多源摄像头的图像采集、融合和显示均由OpenCV编写的代码进行控制，这样写代码时就可以轻松调用OpenCV的库函数来处理采集的图像帧。
整个系统的视频融合处理步骤为：
S1.同时采集一帧各视频源图像；
S2.计算图像配准参数；
S3.对输入的视频帧借助在S2获取的配准参数采用透射变换方法进行逐帧配准，逐帧融合，并保存融合后的视频帧；
S4.将保存的融合图像帧以动态视频的方式在交互界面显示出来。
在本发明中，图像的配准技术十分键。本发明中图像配准采用一种图像灰度预处理、特征块提取与匹配、采用透射模型计算配准参数的方法来求解配准所需参数。该方法配准精度很高，去噪效果较好。
S2具体步骤为：
S20.对采集到的两帧图像分别进行灰度变换预处理，对视频源1图像进行高斯高通滤波，对视频源2图像进行小波去噪，滤去可见光摄像头产生的随机噪声。
S21.采用一种特征块标记的算法，标记视频源1获取图像A中的一个3×3的特征块中心坐标A(x,y)，这里选择特别突出的特征块进行手动标记，电脑通过相关匹配法记录下特征块在视频源2获取的图像B中R值最大的一点的坐标B(x',y'),然后重复该过程四次，直到在B图中找到四个匹配点。其中R值通过以下公式获得：
其中IAmax(x,y)表示图像A中灰度值最大的点，IBmax(x,y)表示图像A中灰度值最大的点。
S22.通过匹配成功的特征点，在透射模型下求出图像配准的参数。
本发明采用一种用VisualC++编写的融合控制交互界面控制融合的过程，包括融合起始时间、融合图像每秒融合的帧数、融合图像保存的位置，融合方法选择为基于小波变换的图像融合。
本发明的多源融合系统是一种开放的系统，可以升级，也可以拓展新的融合方法。
本发明在VisualC++编程中引入OpenCV工具箱和摄像头SDK开发包来联合编程，使得对摄像头的读取过程简单化，便于计算机CPU将主要精力放在图像配准和融合上，从而优化整体效果。同时，本发明运用OpenCV的强大的图像处理能力，在图像预处理和图像配准是实现快速运算，提高系统的实时性。
本发明编写的电脑交互界面可以实时显示融合视频效果。在配准参数已被系统运用后，只需点击按钮，便可开始进行视频融合，再选择融合视频帧保存的位置，视频帧采用逐帧融合的方式，然后将各帧融合结果将在交互界面实时输出，就可以看到融合后的视频。
附图说明
本发明的附图说明如下：
图1是本发明的系统结构示意图；
图2是本发明多源视频帧的配准过程；
图3是本发明多源视频融合处理流程。
具体实施方式
下面详细介绍本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
如图1所示系统包含两种不同类型摄像头，摄像头采用刚性连接，水平安装在云台上，安装时尽量保持目标到各摄像头的高地角和俯仰角相同，以减小后期配准的难度。摄像头通过线槽经USB多接口转换与电脑相连。云台通过串口/USB转接器与电脑相连，电脑发送数据帧，控制云台的运和摄像头变焦。
在本发明中，多源传感器包括可见光和红外传感器。其中红外传感器采用德国Optris（InfraredThermometers）公司生产的PI400高速红外热像仪，该热像仪帧率高达80Hz，热灵敏度为0.08K，光学分辨率为382×288，具有USB接口和功能强大的PC软件开发包；可见光传感器采用深圳华用科技有些公司HV系列高性能USB2.0工业相机摄像头，它是一种具有近红外CMOS成像特性的高性能可见光成像传感器，摄像头支持USB2.0接口,在摄像头前段有一个电动镜头，通过调节该镜头可以对摄像头调焦和进行光圈变换。
云台采用固高公司生产的PT（PanandTilt）二维数控转台。该云台可以同时绕铅垂轴和水平轴旋转。云台本体主要由机械结构件和两套交流伺服电机组成。控制系统由一个电控箱和一个运动控制板卡组成。通过板卡的串口/USB转接口可以实现计算机对转台的运动控制。
整个系统的视频融合处理步骤为：
S1.同时采集一帧各视频源图像
S2.计算图像配准参数
S3.对输入的视频帧借助在S2获取的配准参数采用透射变换方法进行逐帧配准，逐帧融合，并保存融合后的视频帧。
S4.将保存的融合图像帧以动态视频的方式在交互界面显示出来。
在本发明中，图像的配准技术十分关，本发明中图像配准采用一种图像灰度预处理、特征块提取与匹配、采用透射模型计算配准参数的方法来求解配准所需参数。该方法配准精度很高，去噪效果较好。
S2具体步骤为：
S20.对采集到的两帧图像分别进行灰度变换预处理，对视频源1图像进行高斯高通滤波，对视频源2图像进行小波去噪，滤去可见光摄像头产生的随机噪声。
S21.采用一种特征块标记的算法，标记视频源1获取图像A中的一个3×3的特征块中心坐标A(x,y)，这里选择特别突出的特征块进行手动标记，电脑通过相关匹配法记录下特征块在视频源2获取的图像B中R值最大的一点的坐标B(x',y'),然后重复该过程四次，直到在B图中找到四个匹配点。其中R值通过以下公式获得：
其中IAmax(x,y)表示图像A中灰度值最大的点，IBmax(x,y)表示图像A中灰度值最大的点。
S22.通过匹配成功的特征点，在透射模型下求出图像配准的参数。
本发明采用一种用VisualC++编写的融合控制交互界面控制融合的过程，包括融合起始时间、融合图像每秒融合的帧数、融合图像保存的位置，融合方法选择为基于小波变换的图像融合。
本发明的多源融合系统是一种开放的系统，可以升级，也可以拓展新的融合方法。
本发明在VisualC++编程中引入OpenCV工具箱和摄像头SDK开发包来联合编程，使得对摄像头的读取过程简单化，便于计算机CPU将主要精力放在图像配准和融合上，从而优化整体效果。同时，本发明运用OpenCV的强大的图像处理能力，在图像预处理和图像配准是实现快速运算，提高系统的实时性。
如图1所示多视频源分别采集图像帧，在预处理后进行图像配准，通过辅助点标记、相关匹配法和透射变换计算出配准参数，并将配准参数运用于后续各帧图像的配准。如果多视频源个摄像头有位置发生变动，则要重新配置一次；在配准完成后进行像素级逐帧图像融合，点击融合控制交互界面中的“融合”按钮开始图像融合，保存融合后的图像序列到指定位置并不断进行读取以显示在交互界面上。
图像融合交互界面通过软件开控制多源图像的实时融合，同时该交互界面还可以选择测试融合图像的客观评价指数。
尽管已经示出和描述了本发明的实施方式，但本发明并不局限于前述的具体实施方式，在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (5)
1.一种多源视频融合系统，其特征在于可转换为USB接口输出的视频源（1），可转换为USB接口输出的视频源（2），云台（3），串口/USB转换器（4），USB转接口（5），PC电脑（6）；还包括：一种新的图像配准方法，一种多源视频融合处理流程。
2.权利要求书1所述的一种新的多源视频融合处理流程，其特征在于：
S1.同时采集一帧各视频源图像；
S2.计算图像配准参数；
S3.对输入的视频帧借助在S2获取的配准参数采用透射变换方法进行逐帧配准，逐帧融合，并保存融合后的视频帧；
S4.将保存的融合图像帧以动态视频的方式在交互界面显示出来。
3.权利要求3中S2的具体步骤为：
S20.对采集到的两帧图像分别进行灰度变换预处理，对视频源1图像进行高斯高通滤波，对视频源2图像进行小波去噪，滤去可见光摄像头产生的随机噪声。
S21.采用一种特征块标记的算法，标记视频源1获取图像A中的一个3×3的特征块中心坐标A(x,y)，这里选择特别突出的特征块进行手动标记，电脑通过相关匹配法记录下特征块在视频源2获取的图像B中R值最大的一点的坐标B(x',y'),然后重复该过程四次，直到在B图中找到四个匹配点，其中R值通过以下公式获得：
其中IAmax(x,y)表示图像A中灰度值最大的点，IBmax(x,y)表示图像A中灰度值最大的点。
S22.通过匹配成功的特征点，在透射模型下求出图像配准的参数。
4.权利要求1所述视频源（1）与视频源（2）分别是可转换为USB接口输出的设备，其特征在于通过线槽经USB转接口（5）连接到电脑的端口，减少电脑过多USB端口消耗。
5.权利要求1中视频源（1）和视频源（2）平行安置在云台（3）上，其特征在于二者采用刚性连接，尽量保持目标到各摄像头的高地角和俯仰角相同，以减小后期配准的难度。且视频源（1）和视频源（2）的连线正90度垂直于地面。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2013101729508A CN103269413A (zh) | 2013-05-13 | 2013-05-13 | 一种多源视频融合系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2013101729508A CN103269413A (zh) | 2013-05-13 | 2013-05-13 | 一种多源视频融合系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103269413A true CN103269413A (zh) | 2013-08-28 |
Family
ID=49013022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2013101729508A Pending CN103269413A (zh) | 2013-05-13 | 2013-05-13 | 一种多源视频融合系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103269413A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106131456A (zh) * | 2016-07-17 | 2016-11-16 | 合肥赑歌数据科技有限公司 | 视频拼接系统 |
| CN112017216A (zh) * | 2020-08-06 | 2020-12-01 | 影石创新科技股份有限公司 | 图像处理方法、装置、计算机可读存储介质及计算机设备 |
| CN112804433A (zh) * | 2017-10-31 | 2021-05-14 | 深圳市大疆创新科技有限公司 | 一种云台相机、云台装置及无人飞行器 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201898582U (zh) * | 2010-11-26 | 2011-07-13 | 中航华东光电有限公司 | 一种立体视频采集显示系统 |
| CN103024281A (zh) * | 2013-01-11 | 2013-04-03 | 重庆大学 | 红外与可见光视频融合系统 |
-
2013
- 2013-05-13 CN CN2013101729508A patent/CN103269413A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201898582U (zh) * | 2010-11-26 | 2011-07-13 | 中航华东光电有限公司 | 一种立体视频采集显示系统 |
| CN103024281A (zh) * | 2013-01-11 | 2013-04-03 | 重庆大学 | 红外与可见光视频融合系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106131456A (zh) * | 2016-07-17 | 2016-11-16 | 合肥赑歌数据科技有限公司 | 视频拼接系统 |
| CN112804433A (zh) * | 2017-10-31 | 2021-05-14 | 深圳市大疆创新科技有限公司 | 一种云台相机、云台装置及无人飞行器 |
| CN112017216A (zh) * | 2020-08-06 | 2020-12-01 | 影石创新科技股份有限公司 | 图像处理方法、装置、计算机可读存储介质及计算机设备 |
| WO2022028595A1 (zh) * | 2020-08-06 | 2022-02-10 | 影石创新科技股份有限公司 | 图像处理方法、装置、计算机可读存储介质及计算机设备 |
| CN112017216B (zh) * | 2020-08-06 | 2023-10-27 | 影石创新科技股份有限公司 | 图像处理方法、装置、计算机可读存储介质及计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230042990A1 (en) | Augmented Reality with Motion Sensing | |
| CN111060023B (zh) | 一种高精度3d信息采集的设备及方法 | |
| CN103024281A (zh) | 红外与可见光视频融合系统 | |
| CN108470373B (zh) | 一种基于红外的3d四维数据采集方法及装置 | |
| CN106355153A (zh) | 一种基于增强现实的虚拟对象显示方法、装置以及系统 | |
| CN103973976B (zh) | 一种利用光学成像的显著性提取装置及方法 | |
| WO2021185214A1 (zh) | 一种在3d建模中远距离标定方法 | |
| CN110457414A (zh) | 离线地图处理、虚拟对象显示方法、装置、介质和设备 | |
| CN112189147B (zh) | 一种飞行时间ToF相机和一种ToF方法 | |
| CN104093016A (zh) | 一种摄像头模组脏污检测方法及系统 | |
| CN104881526B (zh) | 一种基于3d的物品穿戴方法及眼镜试戴方法 | |
| CN110458895A (zh) | 图像坐标系的转换方法、装置、设备及存储介质 | |
| US10885106B1 (en) | Optical devices and apparatuses for capturing, structuring, and using interlinked multi-directional still pictures and/or multi-directional motion pictures | |
| CN106155299B (zh) | 一种对智能设备进行手势控制的方法及装置 | |
| CN111060008B (zh) | 一种3d智能视觉设备 | |
| WO2021185215A1 (zh) | 一种在3d建模中多相机共同标定方法 | |
| CN108492357A (zh) | 一种基于激光的3d四维数据采集方法及装置 | |
| CN110276831A (zh) | 三维模型的建构方法和装置、设备、计算机可读存储介质 | |
| CN115482322A (zh) | 生成合成训练数据集的计算机实现方法和系统 | |
| CN103269413A (zh) | 一种多源视频融合系统 | |
| CN108229448A (zh) | 一种手部3d四维数据采集装置 | |
| CN105488780A (zh) | 一种用于工业生产线的单目视觉测距追踪装置及其追踪方法 | |
| CN114067134A (zh) | 烟尘环境下多光谱目标探测方法、系统、设备和存储介质 | |
| CN112146589A (zh) | 一种基于zynq平台的三维形貌测量系统及方法 | |
| CN115311186A (zh) | 一种红外与可见光图像跨尺度注意力对抗融合方法及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130828 |