CN113177884A - 一种夜视组合变倍图像融合系统的工作方法 - Google Patents
一种夜视组合变倍图像融合系统的工作方法 Download PDFInfo
- Publication number
- CN113177884A CN113177884A CN202110586080.3A CN202110586080A CN113177884A CN 113177884 A CN113177884 A CN 113177884A CN 202110586080 A CN202110586080 A CN 202110586080A CN 113177884 A CN113177884 A CN 113177884A
- Authority
- CN
- China
- Prior art keywords
- fusion
- image
- processing
- night vision
- working method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000004297 night vision Effects 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 41
- 230000003287 optical effect Effects 0.000 claims abstract description 26
- 238000007499 fusion processing Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 17
- 238000003384 imaging method Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000005304 optical glass Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及变倍图像融合技术领域，具体涉及一种夜视组合变倍图像融合系统的工作方法，采用多波段定焦光学系统作为多波段融合成像系统的光学系统，每个波段包括大、小视场两个通道的探测器，并采用数字图像处理系统进行数字图像超分辨率变倍处理、大小视场拼接处理和融合处理，最后采用用户控制接口作为系统变倍的调节控制，整体具有光学系统简单易实现、多路图像的变焦变倍数量一致、变焦变倍的质量不受通道数量的影响。
Description
技术领域
本发明涉及变倍图像融合技术领域，具体涉及一种夜视组合变倍图像融合系统的工作方法。
背景技术
由于数字图像融合技术可以将不同波段的图像融合到同一显示装备，在观察和瞄准系统中利用率越来越高，目前国内已经应用融合技术的型号装备也已经出现了几年。由于融合系统同时存在两支甚至几支光路，融合对系统的光轴一致性、稳定性和可靠性要求较高。因此，对于变焦融合系统而言，存在一定的困难。也基于此,目前的融合系统基本都是定焦系统，给图像融合系统应用领域的拓展带来了很大的限制。
变焦融合系统实现的传统方式是光学系统变焦。其弊端在于不同的光路在变焦过程中由于机械结构的加工误差和调焦电机转动中存在的空回不一致的问题，很难保证多光路融合图像像素级配准；也很难控制在同一焦距状态下，两支光路的变倍数量一致，导致图像融合效果大打折扣。
还有一种方法是，实时监测变焦过程中的机械光轴偏移量，反馈给数字图像融合系统，再由数字融合系统通过数字处理的办法进行纠偏。该方法的难点是，难以在变焦光学系统中安装位置传感器，也就难以精确的探测偏移量。再者随着年深日久，光学玻璃镜片的位置移动量与图像偏移量的对应关系会随时间变化，精确度会大大降低。另外，光学玻璃镜片位置偏移量很小时，带来的图像偏移量将会很大，对位置传感器的精度也提出了很大的挑战。因此该方法的可实现性不高。
发明内容
针对现有技术中存在的不足，本发明提供了一种夜视组合变倍图像融合系统的工作方法，所要解决的技术问题是如何实现多倍变焦融合成像系统。
为解决上述技术问题，本发明提供的技术方案是：一种夜视组合变倍图像融合系统的工作方法，主要步骤如下：
S1：程序初始化，初始默认为大视场融合通道；
S2：从用户处收到变倍n倍的指令（n＜5），如果符合大视场融合通道的条件，则前往下一步，如果不符合，回到上一步，重新初始化；
S3：对于大视场图像放大Y倍，并做超分辨率处理，对小视场图像缩小X倍，使同一景物在两个通道的大小一致；
S4：对步骤S3中处理后的图像做多焦融合处理；
S5：对步骤S4中处理后的图像做接缝边缘处理；
S6：对步骤S5中处理后的图像做波段融合处理；
S7：对步骤S6中处理后的图像做色彩处理；
S8：对步骤S7中处理后的图像做视频编码处理，随后将处理完成的图像输出。
进一步地，在步骤S2和S3做数字图像处理的过程中，对光轴进行调校使其达到一致性标准。
进一步地，在步骤S2和S3做数字图像处理的过程中，保证探测器的探测动作在同一时间进行。
进一步地，在步骤S2中，当变倍数量小于3时，采用双线性缩放方法，当变倍数量大于3时，采用超分辨率方法。
进一步地，在步骤S2和S3中做数字图像处理的过程中，系统采用FPGA作为主处理器，采用数字视频传输模式传输图像。
进一步地，在步骤S4中，融合模块采用两层Laplacian融合算法将CCD和红外两路数据融合，利用其自身的逻辑资源作为邻域生成时的缓冲器，第一层的融合规则采用最大值替代，第二层的融合规则采用加权平均，其中两路数据的配比参数接收通讯模块的2-4字节。
进一步地，在步骤S7中，色彩传递模块接收通讯模块的5-16字节作为可调节参数，这些参数的不同，决定了融合效果的不同，11-16字节的配套使用，可以得到不同的模式，色彩传递算法公式计算中的方差计算。
本技术方案所带来的有益效果是：本发明一种夜视组合变倍图像融合系统的工作方法，从根本上解决了调焦过程中光轴不稳定的问题，实现了多倍变焦融合成像系统。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明的流程图；
图2为在实施例中的变倍量；
图3为夜视组合变倍图像融合系统的一种结构图；
图4为夜视组合变倍图像融合系统的另一种结构图；
图5为分立式设置的长波红外变倍组件和微光变倍组件的结构图；
图6为同光轴设置的微光共轴变倍组件和长波红外变倍组件的结构图；
图中：1-多波段独立定焦光学系统、2-数字图像处理系统、3-大小视场拼接处理系统、4-大小视场融合处理系统、11-微光大视场探测器、12-微光小视场探测器、13-长波红外大视场探测器、14-长波红外小视场探测器、31-长波红外变倍组件、32-微光变倍组件、21-触发模块、33-微光共轴变倍组件、22-交互接口。
具体实施方式
以下结合附图对本发明的优选实例进行说明，应当理解，此处所描述的优选实例仅用于说明和解释本发明，并不用于限定本发明。 如图1所示，这种夜视组合变倍图像融合系统的工作方法，主要步骤如下：
S1：程序初始化，初始默认为大视场融合通道；
S2：从用户处收到变倍n倍的指令（n＜5），如果符合大视场融合通道的条件，则前往下一步，如果不符合，回到上一步，重新初始化；
S3：对于大视场图像放大Y倍，并做超分辨率处理，对小视场图像缩小X倍，使同一景物在两个通道的大小一致；
S4：对步骤S3中处理后的图像做多焦融合处理；
S5：对步骤S4中处理后的图像做接缝边缘处理；
S6：对步骤S5中处理后的图像做波段融合处理；
S7：对步骤S6中处理后的图像做色彩处理；
S8：对步骤S7中处理后的图像做视频编码处理，随后将处理完成的图像输出。
由此实现了涉及一种夜视组合变倍图像融合系统的工作方法，其具有以下技术优点：
1、光学系统简单易实现；
2、可实现多通道图像的同时变焦；
3、多路图像的变焦变倍数量一致；
4、多路图像的空间配准精度一致；
5、实现具备高可靠性的融合成像系统；
6、变焦变倍的质量不受通道数量的影响。 如图3、4所示，这种夜视组合变倍图像融合系统，包括多波段独立定焦光学系统1、数字图像处理系统2、大小视场拼接处理系统3和大小视场融合处理系统4，此处多波段独立定焦光学习通作为多波段融合成像系统的光学习通，其中每个波段分别包含大视场和小视场两个通道的探测器，具体包括微光大视场探测器11、微光小视场探测器12、长波红外大视场探测器13和长波红外小视场探测器14。同时，采用数字图像处理系统2进行数字图像超分辨率变倍处理，采用大小视场拼接处理系统3和大小视场融合处理系统4分别进行大小视场的拼接和融合处理，还可以采用用户控制接口来对系统变倍进行调节控制。
上述四个探测器将探测到的图像传输至数字图像处理系统2，数字图像处理系统2对探测的图像进行变倍，此处的变倍要求需要接收来自用户的指令，在变倍过程中，需要大小视场图像进行配合。
大小视场拼接处理系统3可以包括长波红外变倍组件31和微光变倍组件32，如图5所示，两者之间为分立式设置。
大小视场拼接处理系统3也可以包括微光共轴变倍组件33和长波红外变倍组件31，如图6所示，两者之间为同光轴设置。
除此之外，数字图像处理系统2还包括一个触发模块21和交互接口22，四个探测器分别与触发模块21连接，这样可以保证探测器的探测动作在同一时间进行，交互接口22与用户端连接，由此实现了用户对系统变倍的调节与控制。
以下为一种实施例的具体说明，在该实施例中，需要进行5倍的变倍融合，并进行10公里车辆目标的探测，其中大视场的焦距是小视场焦距的5倍。
在本实施例中，在步骤S2和S3做数字图像处理的过程中，对光轴进行调校使其达到一致性标准，此时，微光大、小视场和长波红外大、小视场的光学系统均采用分立式放置，先进行长波大、小视场的光轴一致性调试，后以该光轴为基准，进行微光大、小视场的光轴一致性调试，固定光路。其中的长波红外探测器采用1280X1024分辨率，微光的分辨率为640X512。
在本实施例中，在步骤S2和S3做数字图像处理的过程中，保证探测器的探测动作在同一时间进行，四支探测器分别将探测到的图像传输给数字图像处理系统，其首先对接收用户的变倍要求指令进行变倍，在变倍过程中，需要大小视场图像进行配合，具体的变倍量如图2所示。
在本实施例中，在步骤S2中，当变倍数量小于3时，采用双线性缩放方法，当变倍数量大于3时，采用超分辨率方法。
在本实施例中，在步骤S2和S3中做数字图像处理的过程中，系统采用FGPA作为主处理器，采用数字视频传输模式传输图像，变倍后的图像数据进入拼接模块进行大、小视场的拼接。由于大小视场的光学系统存在畸变误差，因此拼缝往往存在一定的变形，需要进行平滑处理，并将拼接好的四路图像全部传输给融合模块进行四路数据的不同波段的灰度融合以及色彩处理。数字变倍模块遵循了3倍以内采用双线性插值的处理，保证图像在任何状态下都能有清晰地效果。
在本实施例中，在步骤S4中，融合模块采用两层Laplacian融合算法将CCD和红外两路数据融合，利用其自身的逻辑资源作为邻域生成时的缓冲器，第一层的融合规则采用最大值替代，第二层的融合规则采用加权平均，其中两路数据的配比参数接收通讯模块的2-4字节。
在本实施例中，在步骤S7中，色彩传递模块接收通讯模块的5-16字节作为可调节参数，这些参数的不同，决定了融合效果的不同，11-16字节的配套使用，可以得到不同的模式。综上所述，本发明一种夜视组合变倍图像融合系统的工作方法，从根本上解决了调焦过程中光轴不稳定的问题，实现了多倍变焦融合成像系统。
最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种夜视组合变倍图像融合系统的工作方法，其特征在于：主要步骤如下：
S1：程序初始化，初始默认为大视场融合通道；
S2：从用户处收到变倍n倍的指令（n＜5），如果符合大视场融合通道的条件，则前往下一步，如果不符合，回到上一步，重新初始化；
S3：对于大视场图像放大Y倍，并做超分辨率处理，对小视场图像缩小X倍，使同一景物在两个通道的大小一致；
S4：对步骤S3中处理后的图像做多焦融合处理；
S5：对步骤S4中处理后的图像做接缝边缘处理；
S6：对步骤S5中处理后的图像做波段融合处理；
S7：对步骤S6中处理后的图像做色彩处理；
S8：对步骤S7中处理后的图像做视频编码处理，随后将处理完成的图像输出。
2.根据权利要求1所述的一种夜视组合变倍图像融合系统的工作方法，其特征在于：在步骤S2和S3做数字图像处理的过程中，对光轴进行调校使其达到一致性标准。
3.根据权利要求1所述的一种夜视组合变倍图像融合系统的工作方法，其特征在于：在步骤S2和S3做数字图像处理的过程中，保证探测器的探测动作在同一时间进行。
4.根据权利要求1所述的一种夜视组合变倍图像融合系统的工作方法，其特征在于：在步骤S2中，当变倍数量小于3时，采用双线性缩放方法，当变倍数量大于3时，采用超分辨率方法。
5.根据权利要求1所述的一种夜视组合变倍图像融合系统的工作方法，其特征在于：在步骤S2和S3中做数字图像处理的过程中，系统采用altera公司的FPGA作为主处理器，采用数字视频传输模式传输图像。
6.根据权利要求1所述的一种夜视组合变倍图像融合系统的工作方法，其特征在于：在步骤S4中，融合模块采用两层Laplacian融合算法将CCD和红外两路数据融合，利用其自身的逻辑资源和M9K作为邻域生成时的缓冲器，第一层的融合规则采用最大值替代，第二层的融合规则采用加权平均，其中两路数据的配比参数接收通讯模块的2-4字节。
7.根据权利要求1所述的一种夜视组合变倍图像融合系统的工作方法，其特征在于：在步骤S7中，色彩传递模块接收通讯模块的5-16字节作为可调节参数，这些参数的不同，决定了融合效果的不同，11-16字节的配套使用，可以得到不同的模式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110586080.3A CN113177884A (zh) | 2021-05-27 | 2021-05-27 | 一种夜视组合变倍图像融合系统的工作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110586080.3A CN113177884A (zh) | 2021-05-27 | 2021-05-27 | 一种夜视组合变倍图像融合系统的工作方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113177884A true CN113177884A (zh) | 2021-07-27 |
Family
ID=76927562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110586080.3A Pending CN113177884A (zh) | 2021-05-27 | 2021-05-27 | 一种夜视组合变倍图像融合系统的工作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113177884A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109074637A (zh) * | 2015-11-27 | 2018-12-21 | 斯佩特罗埃奇有限公司 | 用于从多个相应的输入图像通道生成输出图像的方法和系统 |
| CN209120325U (zh) * | 2018-11-27 | 2019-07-16 | 江苏北方湖光光电有限公司 | 一种具有光轴稳定性的变倍系统 |
| CN112840374A (zh) * | 2020-06-30 | 2021-05-25 | 深圳市大疆创新科技有限公司 | 图像处理方法、图像获取装置、无人机、无人机系统和存储介质 |
-
2021
- 2021-05-27 CN CN202110586080.3A patent/CN113177884A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109074637A (zh) * | 2015-11-27 | 2018-12-21 | 斯佩特罗埃奇有限公司 | 用于从多个相应的输入图像通道生成输出图像的方法和系统 |
| CN209120325U (zh) * | 2018-11-27 | 2019-07-16 | 江苏北方湖光光电有限公司 | 一种具有光轴稳定性的变倍系统 |
| CN112840374A (zh) * | 2020-06-30 | 2021-05-25 | 深圳市大疆创新科技有限公司 | 图像处理方法、图像获取装置、无人机、无人机系统和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20120026366A1 (en) | Continuous electronic zoom for an imaging system with multiple imaging devices having different fixed fov | |
| US7274830B2 (en) | System for multi-sensor image fusion | |
| KR20190000591A (ko) | 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치 | |
| US7962029B2 (en) | Auto focus system having AF frame auto-tracking function | |
| CN110493525A (zh) | 变焦图像确定方法及装置、存储介质、终端 | |
| CN112995511B (zh) | 摄像头切换方法、装置、电子设备和存储介质 | |
| US20150138429A1 (en) | Image-capturing apparatus | |
| CN111818304B (zh) | 图像融合方法及装置 | |
| JP2006031002A (ja) | ズームレンズ光学系 | |
| WO2022042350A1 (zh) | 一种获取天区目标图像的方法和天文摄影设备 | |
| CN107037584B (zh) | 一种智能眼镜透视方法及系统 | |
| CN104038685A (zh) | 成像装置和图像处理方法 | |
| US8237847B2 (en) | Auto focus system having AF frame auto-tracking function | |
| CN113177884A (zh) | 一种夜视组合变倍图像融合系统的工作方法 | |
| CN110673313B (zh) | 一种变焦鱼眼镜头系统及设计方法 | |
| CN112702588B (zh) | 双模态图像信号处理器和双模态图像信号处理系统 | |
| CN104698582A (zh) | 天文选址仪器导星装置及其工作方法 | |
| CN113066011B (zh) | 一种图像处理方法、装置、系统、介质和电子设备 | |
| TWI663421B (zh) | 廣角鏡頭的畸變矯正方法、裝置及系統 | |
| CN109905632A (zh) | 一种超高清阵列分布式显示系统及其显示方法 | |
| CN112634142A (zh) | 一种超宽视角图像的畸变修正方法 | |
| CN113452913B (zh) | 一种变倍系统及方法 | |
| CN113301308B (zh) | 一种安全监测用视频监控装置 | |
| CN109274954B (zh) | 一种小凹单目立体成像系统 | |
| JP2011070123A (ja) | 魚眼カメラ、画像処理システム、画像処理方法及び画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210727 |