CN112581365A - 一种跨尺度自适应信息映射成像方法及装置、介质 - Google Patents
一种跨尺度自适应信息映射成像方法及装置、介质 Download PDFInfo
- Publication number
- CN112581365A CN112581365A CN202011249462.9A CN202011249462A CN112581365A CN 112581365 A CN112581365 A CN 112581365A CN 202011249462 A CN202011249462 A CN 202011249462A CN 112581365 A CN112581365 A CN 112581365A
- Authority
- CN
- China
- Prior art keywords
- image
- scale
- aligned
- time
- cross
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 55
- 238000013507 mapping Methods 0.000 title claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 36
- 230000003044 adaptive effect Effects 0.000 claims abstract description 33
- 230000003287 optical effect Effects 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 30
- 230000004927 fusion Effects 0.000 claims description 25
- 238000003062 neural network model Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000003595 spectral effect Effects 0.000 abstract description 7
- 238000001228 spectrum Methods 0.000 description 91
- 238000010586 diagram Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 238000007499 fusion processing Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本文是关于一种跨尺度自适应信息映射成像方法及装置、介质，涉及多像感器成像技术。本文提供的一种多像感器跨时空映射成像方法，包括：获取高空间分辨小尺度时间‑频率等信息模式的第一图像及其对应的低空间分辨大尺度时间‑频率等信息模式的第二图像，其中，第一图像的像素高于第二图像的像素图像；将第二图像与第一图像进行跨时间‑空间维度对齐处理，得到对齐后的第二图像；基于第一图像以及对齐后的第二图像，融合生成具有大时间‑频率尺度信息的第三图像，第三图像的像素与第一图像的像素相同。本文提供的跨尺度自适应信息映射成像方案将跨尺度图像融合实现高时空谱分辨率的高清晰成像，有效提升了成像图像的分辨率与细节还原。
Description
技术领域
本文涉及多像感器成像技术，尤其涉及一种跨尺度自适应信息映射成像方法及装置、介质。
背景技术
跨尺度图像融合实现高时空谱分辨率的高清晰成像是图像编辑领域中一个活跃的、有挑战性的研究课题。跨尺度图像融合实现高时空谱分辨率的高清晰成像最初被定义为给窄谱图像、电影或视频提高光谱分辨率的计算机辅助处理技术,对于多方面的应用都具有重大意义。由于大时间-频率尺度信息对图像和视频效果的重要性,研究图像融合技术,不仅可以解决现有的有限数量的窄谱电影或图像的宽谱化问题,也可以给现有宽谱视频和图像优化光谱,生成具有大时间-频率尺度信息的效果。而且着色在影视、医疗、太空探索及其它许多工业和科学领域也有着广泛的应用。
目前，跨尺度图像融合实现高时空谱分辨率的高清晰成像的方法可以分为自动方法和基于参考图像的方法。其中，自动方法不需要输入额外的参考信息，但是生成的宽谱图像可能偏离真实情形。在基于参考图像的方法中，目标是在给定窄谱图像和参考图像的情况下生成宽谱图像。基于参考的方法可以保证生成的图像符合真实的高空间分辨大时间-频率尺度信息。
目前，基于参考图像的图像融合主要采用如下两种算法：
第一种是在图像的特征层面上做区块匹配。其存在的缺点是，逐块计算相似度来匹配图像，图像之间的对应关系是稀疏的，而且会有网格效应，导致结果不理想。并且这种方法依赖于参考图像的质量，在参考图像质量较差的情况下，图像融合结果质量也很差。
第二种是直接迁移大时间-频率尺度信息的分布。其存在的缺点是，迁移分布不能保证图像融合结果的语义正确，而且稀少的、微小的物体会迁移失败。
发明内容
为克服相关技术中存在的问题，本文提供一种跨尺度自适应信息映射成像方法及装置、介质。
根据本文的第一方面，提供一种跨尺度自适应信息映射成像方法，包括；
获取高空间分辨小尺度时间-频率等信息模式的第一图像及其对应的彩色模式的第二图像，其中，所述第一图像的像素高于所述第二图像的像素图像；
将所述第二图像与第一图像进行跨时间-空间维度对齐处理，得到对齐后的第二图像；
基于所述第一图像以及所述对齐后的第二图像，融合生成具有高空间分辨大时间-频率尺度信息的第三图像，其中，所述第三图像的像素与所述第一图像的像素相同。
其中，上述跨尺度自适应信息映射成像方法中，所述获取高空间分辨小尺度时间-频率等信息模式的第一图像及其对应的低空间分辨大尺度时间- 频率等信息模式的参考图像，包括：
利用多像感器进行拍摄，每次拍摄生成一张高空间分辨小尺度时间-频率等信息模式的第一图像及其对应的一张低空间分辨大尺度时间-频率等信息模式的第二图像。
其中，上述跨尺度自适应信息映射成像方法中，所述将所述第二图像与第一图像进行跨时间-空间维度对齐处理,包括：
对所述第二图像与所述第一图像进行光流估计，得到表征所述第二图像与所述第一图像之间像素级对应关系的光流图像；
利用所述光流图像在不同的特征层上对所述第二图像进行变形处理，得到对齐后的第二图像。
其中，上述跨尺度自适应信息映射成像方法，还包括：
利用预先生成的神经网络模型提取所述第二图像的色彩特征和亮度特征；
所述利用所述光流图像在不同的特征层上对所述第二图像进行变形处理，得到对齐后的第二图像，包括：
利用所述光流图像在不同的特征层上分别对所述第二图像的色彩特征及亮度特征进行变形处理，得到对齐后的第二图像以及对齐后的亮度通道图像。
其中，上述跨尺度自适应信息映射成像方法中，所述基于所述第一图像以及所述对齐后的第二图像，融合生成具有高空间分辨大时间-频率尺度信息的第三图像，包括：
利用预先生成的神经网络模型，基于对齐后的第二图像，所述对齐后的亮度通道图像以及所述第一图像的亮度特征，估计所述第一图像与所述对齐后的第二图像之间的多尺度对齐误差；
基于所述多尺度对齐误差，将所述第一图像以及所述对齐后的第二图像融合生成具有高空间分辨大时间-频率尺度信息的第三图像。
根据本文的另一方面，提供一种跨尺度自适应信息映射成像装置，包括：
第一模块，用于获取高空间分辨小尺度时间-频率等信息模式的第一图像及其对应的低空间分辨大尺度时间-频率等信息模式的第二图像，其中，所述第一图像的像素高于所述第二图像的像素图像；
第二模块，用于将所述第二图像与第一图像进行跨时间-空间维度对齐处理，得到对齐后的第二图像；
第三模块，用于基于所述第一图像以及所述对齐后的第二图像，融合生成具有高空间分辨大时间-频率尺度信息的第三图像，其中，所述第三图像的像素与所述第一图像的像素相同。
其中，上述跨尺度自适应信息映射成像装置中，所述第二模块,包括：
光流估计子模块，用于对所述第二图像与所述第一图像进行光流估计，得到表征所述第二图像与所述第一图像之间像素级对应关系的光流图像；
跨时间-空间维度对齐子模块，用于利用所述光流图像在不同的特征层上对所述第二图像进行变形处理，得到对齐后的第二图像。
其中，上述跨尺度自适应信息映射成像装置中，所述第二模块还包括：
提取子模块，用于提取所述第二图像的色彩特征和亮度特征；
所述跨时间-空间维度对齐子模块，用于利用所述光流图像在不同的特征层上分别对所述第二图像的色彩特征及亮度特征进行变形处理，得到对齐后的第二图像以及对齐后的亮度通道图像。
根据本文的另一方面，提供一种跨尺度自适应信息映射成像装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
执行如上所述的跨尺度自适应信息映射成像方法的步骤。
根据本文的另一方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端设备的处理器执行时，使得终端设备能够执行如上所述的跨尺度自适应信息映射成像方法的步骤
本文提出一种跨尺度自适应信息映射成像方案，使用多像感器拍摄目标场景中的物体，至少得到一张高空间分辨小尺度时间-频率等信息模式的图像和一张低空间分辨大尺度时间-频率等信息模式的图像。并且通过卷积神经网络提取高空间分辨小尺度时间-频率等信息模式的图像的亮度特征，提取低空间分辨大尺度时间-频率等信息模式的图像的低空间分辨大尺度时间 -频率等信息，进行两张图像的跨时间-空间维度对齐与融合，从而可以利用低清晰度的低空间分辨大尺度时间-频率等信息图像提供的大尺度时间-频率等信息，映射并迁移到高清晰度的窄谱图像，从而从而将跨尺度图像融合实现高时空谱分辨率的高清晰成像，得到高清晰度的宽谱图像，有效提升了成像图像的分辨率与细节还原，加强了成像效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本文。
附图说明
构成本文的一部分的附图用来提供对本文的进一步理解，本文的示意性实施例及其说明用于解释本文，并不构成对本文的不当限定。在附图中：
图1是根据一示例性实施例示出的一种跨尺度自适应信息映射成像方法的流程图。
图2是根据一示例性实施例示出的一种跨尺度自适应信息映射成像方法的具体流程图。
图3是根据一示例性实施例示出的一种利用神经网络模型实现宽谱成像的原理示意图。
图4是根据一示例性实施例示出的一种跨尺度自适应信息映射成像装置的结构示意图。
具体实施方式
为使本文实施例的目的、技术方案和优点更加清楚，下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本文一部分实施例，而不是全部的实施例。基于本文中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文保护的范围。需要说明的是，在不冲突的情况下，本文中的实施例及实施例中的特征可以相互任意组合。
受时空带宽积限制，时空分辨率和色位深度在成像过程中不可兼得。传统的宽谱摄像头为了记录大尺度时间-频率等信息会导致低空间分辨，窄谱摄像头则无法记录大尺度时间-频率等信息。随着技术发展，大量工作利用多个摄像头建立传感系统以突破传统成像的限制。例如，宽谱与窄谱双相机系统做为一种多像感器利用了宽谱摄像头和窄谱摄像头在结构上的不同，使用传统的宽谱摄像头记录低空间分辨大尺度时间-频率等信息，而窄谱摄像头则取消了CMOS上的分色滤镜，进光量是普通宽谱摄像头的数倍。所有入射光线都直接被传感器捕捉。基于此，本申请发明人提出，可以利用算法将多像感器拍摄的窄谱照片以及宽谱照片融合以后，从而得到一张高品质的宽谱照片，有效的提高了宽谱照片的像素，并增加了像素细节。这种高空间分辨小尺度时间-频率等信息模式的图像和宽谱模式的图像的融合过程被建模为基于参考的跨尺度图像融合实现高时空谱分辨率的高清晰成像问题。
针对上述问题，本实施例提供一种跨尺度自适应信息映射成图及装置、介质，可以利用多像感器拍摄目标场景中的物体，从而使多颗摄像头同时参与成像。并且通过卷积神经网络提取图像特征，进行图像跨时间-空间维度对齐与融合，成像得到高清宽谱图像。
图1是根据一示例性实施例示出的一种跨尺度自适应信息映射成图方法的流程图。如图1所示，包括如下操作：
步骤S101，获取高空间分辨小尺度时间-频率等信息模式的第一图像及其对应的低空间分辨大尺度时间-频率等信息模式的第二图像，其中，第一图像的像素高于第二图像的像素图像；
本实施例中，第一图像和第二图像为同场景图像中的目标图像及参考图像。其中，同场景图像指图像内容完全一致的图像。而第一图像和第二图像的模态以及像素值不相同。其中，第一图像一般为高像素值的高空间分辨小尺度时间-频率等信息模式图像，最终成像的图像的像素值保持与第一图像一致，因此第一图像也可以称为目标图像。第二图像为像素较低的低空间分辨大尺度时间-频率等信息模式图像，主要用于为第一图像提供低空间分辨大尺度时间-频率等信息，因此，第二图像也可以称为参考图像。
实际应用中，可以实时或预先获取高空间分辨小尺度时间-频率等信息模式的第一图像及其对应的低空间分辨大尺度时间-频率等信息模式的第二图像。例如，可以利用多像感器进行拍摄，每次拍摄即可生成一张高空间分辨小尺度时间-频率等信息模式的第一图像及其对应的一张低空间分辨大尺度时间-频率等信息模式的第二图像。
步骤S102，将第二图像与第一图像进行跨时间-空间维度对齐处理，得到对齐后的第二图像；
其中，由于第二图像和第一图像的像素不同，因此，融合这两张图像时，需要对这两张图像进行跨时间-空间维度对齐操作。正如上文所介绍的，最终融合生成的图像的像素与第一图像的像素一致，因此，该步骤中，可以将第一图像做为目标图像，对第二图像进行跨时间-空间维度对齐处理。
本实施例中，上述步骤S102可以参照如下操作步骤来执行：
A，对第二图像与第一图像进行光流估计，得到表征第二图像与第一图像之间像素级对应关系的光流图像；
B，利用光流图像在不同的特征层上对第二图像进行变形处理，得到对齐后的第二图像。
步骤S103，基于第一图像以及对齐后的第二图像，融合生成具有大时间 -频率尺度信息的第三图像，其中，第三图像的像素与第一图像的像素相同。
从上述描述可以看出，本实施例提出基于相同场景可以将低像素的宽谱图像信息迁移并映射到高像素的窄谱图像，将跨尺度图像融合实现高时空谱分辨率的高清晰成像，从而突破了传统成像系统的时空带宽积限制。其中，只需利用一个高清窄谱摄像头与一个低清宽谱摄像头的多像感器即可实现。这种方案节省了成像系统大量成本，对计算摄像学等方面具有重要意义和研究价值。且不同相关技术中在语义分割的层面迁移参考图像中同类物体的大时间-频率尺度信息，本实施例使用了同场景参考图像帮助窄谱图像在像素级别恢复接近真实的大时间-频率尺度信息，保证了最终的成像效果。并且该方案能适应像素值、分辨率或帧率相差很大的参考图像和目标图像的融合处理。
本实施例还提供一种跨尺度自适应信息映射成图方法，在上述方法的基础上，利用了神经网络模型提取了第二图像的多尺度特征，以实现第二图像与第一图像的对齐处理。其主要包括如下操作：
利用预先生成的神经网络模型提取第二图像的色彩特征和亮度特征；
对第二图像与第一图像进行光流估计，得到表征第二图像与第一图像之间像素级对应关系的光流图像；
利用该光流图像在不同的特征层上分别对第二图像的色彩特征及亮度特征进行变形处理，得到对齐后的第二图像以及对齐后的亮度通道图像。
其中，可以通过预先生成的神经网络模型中的宽谱编码器对上采样处理后的第二图像提取其色彩特征。可以先将第二图像从RGB空间转换到YUV空间，再通过预先生成的神经网络模型中亮度编码器提取YUV模式的第二图像的亮度特征即可。可见，本实施例考虑到了第二图像与第一图像进行跨时间 -空间维度对齐处理时，不仅在宽谱特征上需要进行跨时间-空间维度对齐处理，还需要在亮度特征也要进行跨时间-空间维度对齐处理。这种，跨模态多尺度的光流估计操作，对第一图像和第二图像进行的多尺度跨时间-空间维度对齐处理，可以保证第二图像与第一图像对齐的对应关系更稠密、对齐结果更准确。从而提高了最终融合生成的图像的成像效果。
本实施例还提供一种跨尺度自适应信息映射成图方法，其基于第二图像的多尺度特征，对第一图像以及第二图像进行融合，该过程主要包括如下操作：
利用预先生成的神经网络模型，基于对齐后的第二图像，对齐后的亮度通道图像以及第一图像的亮度特征，估计第一图像与对齐后的第二图像之间的多尺度对齐误差；
基于多尺度对齐误差，将第一图像以及对齐后的第二图像融合生成具有大时间-频率尺度信息的第三图像。
从上述描述可以看出，本实施例利用神经网络模型融合图像时，考虑到了融合图像过程中的，宽谱图像和窄谱图像之间的多尺度特征的对齐误差，可以校正图像中的可见区域和遮挡区域的对齐效果，即基于此误差校正成像图像中的色彩的展示效果，从而提高了对齐后的宽谱图像和窄谱图像的叠加融合效果。
图2是根据一示例性实施例示出的一种跨尺度自适应信息映射成图方法的流程图。如图2所示，包括如下操作：
步骤S201，使用多像感器采集低像素的宽谱图像和高像素的窄谱图像；
其中，多像感器可以利用宽谱/窄谱双相机系统的两颗摄像头同时对目标物体进行拍照，宽谱摄像头拍摄生成低像素的宽谱图像(即为上文中的第二图像)，窄谱摄像头拍摄生成高像素的窄谱图像(即为上文中的第二图像)。
步骤S202，分别提取宽谱图像的色彩特征和亮度特征，以及提取窄谱图像的亮度特征。
其中，考虑到生成的宽谱图像和窄谱图像的模式不同，可以通过两个不同的编码器(即一个色彩编码器和一个亮度编码器)来分别提取宽谱图像的色彩特征和窄谱图像的亮度特征。即可以将作为参考图像的宽谱图像进行上采样处理后,用色彩编码器提取宽谱图像的色彩特征。对做为目标图像的窄谱图像用亮度编码器提取亮度特征。
而对于宽谱图像，还可将宽谱图像从RGB空间转换到YUV空间，然后只保留宽谱图像的YUV信息中亮度度信息，即使用亮度编码器提取转换换为YUV 的宽谱图像的亮度特征,从而得到了宽谱图像的亮度通道。这样，相当于获取到了宽谱图像的多尺度特征。
步骤S203，将宽谱图像的色彩特征和亮度特征分别和窄谱图像进行光流估计与图像对齐处理，得到对齐后的宽谱图像和对齐后的亮度通道。
其中，可以通过一个光流估计器，利用改进的FlowNet-S算法提取多尺度光流，得到宽谱图像和窄谱图像之间像素级别的密集对应关系。这个多尺度光流，表征了在图像层面和不同分辨率的特征层面。
并且根据估计出的光流进行图像对齐，在不同的特征层上对宽谱图像的色彩特征以及亮度特征做形变操作，得到与窄谱图像对齐的具有高空间分辨大尺度时间-频率等信息的图像和多尺度特征的光流图像。这种采用多尺度特征的光流图像进行对齐后，可以降低原始图像对对齐后的图像中分辨率差的敏感度。
步骤S204，基于窄谱图像及其亮度特征，以及对齐后的宽谱图像及亮度通道，计算窄谱图像与对齐后的宽谱图像之间的多尺度对齐误差，并基于该多尺度对齐误差将窄谱图像以及对齐后的宽谱图像进行叠加融合，得到高像素的宽谱图像，完成多像感器的跨时空映射成像操作。
其中，窄谱图像与对齐后的宽谱图像之间的多尺度对齐误差指窄谱图像与对齐后的宽谱图像之间基于多种特征所产生的误差。例如，本实施例中提取了宽谱图像的多尺度特征(即包括了色彩特征和亮度特征)，基于此，窄谱图像与对齐后的宽谱图像之间的多尺度对齐误差包括，对齐后的宽谱图像与窄谱图像之间基于色彩特征的对齐误差，以及对齐后的亮度通道与窄谱图像之间基于亮度特征的对齐误差。
本实施例中，上述步骤S203和S204的操作可以由预先生成的神经网络模型实现。该神经网络模型的原理架构如图3所示，其至少包括光流估计与图像对齐处理部分和图像融合处理部分。光流估计与图像对齐处理部分可以由色彩编码器和亮度编码器以及相关匹配的光流估计网络组成，用于估计宽谱图像与窄谱图像之间像素对应关系的光流图像。其中，图像融合处理部分则可以完成多尺度特征误差计算操作，并利用解码器融合生成具有高空间分辨大时间-频率尺度信息的目标图像。
从上述描述可以看出，本实施例针对宽谱图像和窄谱图像的模态不同，分别提取各自的图像特征，且对于参考图片提取了多尺度特征。这样，在图像融合过程中，可以基于多尺度特征误差，校正宽谱图像与窄谱图像叠加融合结果，从而可以避免图像对齐处理的误差带来负面影响，进一步加强了融合后的高像素的宽谱图片的成像效果。
图4根据一示例性实施例示出的一种跨尺度自适应信息映射成像装置的框图。如图4所示，该装置至少包括第一模块41、第二模块42以及第三模块43。
第一模块41，被配置为，获取高空间分辨小尺度时间-频率等信息模式的第一图像及其对应的彩色模式的第二图像，其中，第一图像的像素高于第二图像的像素图像；；
第二模块42，被配置为，将第二图像与第一图像进行跨时间-空间维度对齐处理，得到对齐后的第二图像；
第三模块43，被配置为，基于第一图像以及对齐后的第二图像，融合生成具有高空间分辩大时间-频率尺度信息的第三图像，其中，第三图像的像素与第一图像的像素相同。
本实施例还提供一种跨尺度自适应信息映射成像装置，其中，第二模块 42,包括：
光流估计子模块，被配置为，对第二图像与第一图像进行光流估计，得到表征第二图像与第一图像之间像素级对应关系的光流图像；
跨时间-空间维度对齐子模块，被配置为，利用光流图像在不同的特征层上对第二图像进行变形处理，得到对齐后的第二图像。
其中，上述跨尺度自适应信息映射成像装置中，所述第二模块42还包括：
提取子模块，被配置为，提取第二图像的色彩特征和亮度特征；
此时，跨时间-空间维度对齐子模块，被配置为，利用光流图像在不同的特征层上分别对第二图像的色彩特征及亮度特征进行变形处理，得到对齐后的第二图像以及对齐后的亮度通道图像。
本实施例还提供一种跨尺度自适应信息映射成像装置，其中，第三模块 43包括:
多尺度对齐误差计算子模块，被配置为，基于对齐后的第二图像，对齐后的亮度通道图像，以及第一图像的亮度特征，估计第一图像与第二图像的多尺度对齐误差；
融合子模块，被配置为，基于多尺度对齐误差，将第一图像以及对齐后的第二图像融合生成具有高空间分辨大时间-频率尺度信息的第三图像。
本实施例中，第一模块41可以采用多像感器进行拍摄生成第一图像及其对应的第二图像。
本实施例中，第二模块42和第三模块43,可以集成在神经网络模型中实现。其中，第二模块42的提取子模块可以采用编码器实现。例如，色彩编码器可提取第二图像的色彩特征。亮度编码器可提取第一图像以及第二图像的亮度特征。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本文还提供一种实施例，公开一种跨尺度自适应信息映射成像装置，该装置包括：处理器，以及用于存储处理器可执行指令的存储器。
其中，处理器被配置为：
执行上述实施例中提供的跨尺度自适应信息映射成像装置方法。
本实施例中，处理器的具体配置操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本领域技术人员应明白，本文的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本文可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本文可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质,包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质等。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
本文是参照根据本文实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
尽管已描述了本文的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本文范围的所有变更和修改。
显然，本领域的技术人员可以对本文进行各种改动和变型而不脱离本文的精神和范围。这样，倘若本文的这些修改和变型属于本文权利要求及其等同技术的范围之内，则本文的意图也包含这些改动和变型在内。
Claims (10)
1.一种跨尺度自适应信息映射成像方法，其特征在于，包括：
获取高空间分辨小尺度时间-频率等信息模式的第一图像及其对应的低空间分辨大尺度时间-频率等信息模式的第二图像，其中，所述第一图像的像素高于所述第二图像的像素图像；
将所述第二图像与第一图像进行跨时间-空间维度对齐处理，得到对齐后的第二图像；
基于所述第一图像以及所述对齐后的第二图像，融合生成具有高空间分辨大时间-频率尺度信息的第三图像，其中，所述第三图像的像素与所述第一图像的像素相同。
2.如权利要求1所述的方法，其特征在于，所述获取高空间分辨小尺度时间-频率等信息模式的第一图像及其对应的低空间分辨大尺度时间-频率等信息模式的参考图像，包括：
利用多像感器进行拍摄，每次拍摄生成一张高空间分辨小尺度时间-频率等信息模式的第一图像及其对应的一张低空间分辨大尺度时间-频率等信息模式的第二图像。
3.如权利要求1或2所述的方法，其特征在于，所述将所述第二图像与第一图像进行跨时间-空间维度对齐处理,包括：
对所述第二图像与所述第一图像进行光流估计，得到表征所述第二图像与所述第一图像之间像素级对应关系的光流图像；
利用所述光流图像在不同的特征层上对所述第二图像进行变形处理，得到对齐后的第二图像。
4.如权利要求3所述的方法，其特征在于，所述方法还包括：
利用预先生成的神经网络模型提取所述第二图像的色彩特征和亮度特征；
所述利用所述光流图像在不同的特征层上对所述第二图像进行变形处理，得到对齐后的第二图像，包括：
利用所述光流图像在不同的特征层上分别对所述第二图像的色彩特征及亮度特征进行变形处理，得到对齐后的第二图像以及对齐后的亮度通道图像。
5.如权利要求4所述的方法，其特征在于，所述基于所述第一图像以及所述对齐后的第二图像，融合生成具有高空间分辨大时间-频率尺度信息的第三图像，包括：
利用预先生成的神经网络模型，基于对齐后的第二图像，所述对齐后的亮度通道图像以及所述第一图像的亮度特征，估计所述第一图像与所述对齐后的第二图像之间的多尺度对齐误差；
基于所述多尺度对齐误差，将所述第一图像以及所述对齐后的第二图像融合生成具有高空间分辨大时间-频率尺度信息的第三图像。
6.一种跨尺度自适应信息映射成像装置，其特征在于，包括：
第一模块，用于获取高空间分辨小尺度时间-频率等信息模式的第一图像及其对应的低空间分辨大尺度时间-频率等信息模式的第二图像，其中，所述第一图像的像素高于所述第二图像的像素图像；
第二模块，用于将所述第二图像与第一图像进行跨时间-空间维度对齐处理，得到对齐后的第二图像；
第三模块，用于基于所述第一图像以及所述对齐后的第二图像，融合生成具有高空间分辨大时间-频率尺度信息的第三图像，其中，所述第三图像的像素与所述第一图像的像素相同。
7.如权利要求6所述的装置，其特征在于，所述第二模块,包括：
光流估计子模块，用于对所述第二图像与所述第一图像进行光流估计，得到表征所述第二图像与所述第一图像之间像素级对应关系的光流图像；
跨时间-空间维度对齐子模块，用于利用所述光流图像在不同的特征层上对所述第二图像进行变形处理，得到对齐后的第二图像。
8.如权利要求7所述的装置，其特征在于，所述第二模块还包括：
提取子模块，用于提取所述第二图像的色彩特征和亮度特征；
所述跨时间-空间维度对齐子模块，用于利用所述光流图像在不同的特征层上分别对所述第二图像的色彩特征及亮度特征进行变形处理，得到对齐后的第二图像以及对齐后的亮度通道图像。
9.一种跨尺度自适应信息映射成像装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
执行上述权利要求1至5中任一项所述的跨尺度自适应信息映射成像方法的步骤。
10.一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端设备的处理器执行时，使得终端设备能够执行上述权利要求1至5中任一项所述的一种跨尺度自适应信息映射成像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011249462.9A CN112581365A (zh) | 2020-11-10 | 2020-11-10 | 一种跨尺度自适应信息映射成像方法及装置、介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011249462.9A CN112581365A (zh) | 2020-11-10 | 2020-11-10 | 一种跨尺度自适应信息映射成像方法及装置、介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112581365A true CN112581365A (zh) | 2021-03-30 |
Family
ID=75122396
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011249462.9A Pending CN112581365A (zh) | 2020-11-10 | 2020-11-10 | 一种跨尺度自适应信息映射成像方法及装置、介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112581365A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116757925A (zh) * | 2023-05-16 | 2023-09-15 | 宁波大学 | 一种生成高时空谱分辨率卫星遥感影像的方法和装置 |
-
2020
- 2020-11-10 CN CN202011249462.9A patent/CN112581365A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116757925A (zh) * | 2023-05-16 | 2023-09-15 | 宁波大学 | 一种生成高时空谱分辨率卫星遥感影像的方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110428366B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| US10540806B2 (en) | Systems and methods for depth-assisted perspective distortion correction | |
| WO2021022983A1 (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| US9591237B2 (en) | Automated generation of panning shots | |
| CN108833785B (zh) | 多视角图像的融合方法、装置、计算机设备和存储介质 | |
| US10708525B2 (en) | Systems and methods for processing low light images | |
| CN111353948B (zh) | 一种图像降噪方法、装置及设备 | |
| US20170256036A1 (en) | Automatic microlens array artifact correction for light-field images | |
| WO2015184208A1 (en) | Constant bracketing for high dynamic range operations (chdr) | |
| CN108717530B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| CN109493283A (zh) | 一种高动态范围图像鬼影消除的方法 | |
| Trinidad et al. | Multi-view image fusion | |
| CN110276831B (zh) | 三维模型的建构方法和装置、设备、计算机可读存储介质 | |
| Cho et al. | Single‐shot High Dynamic Range Imaging Using Coded Electronic Shutter | |
| Messikommer et al. | Multi-bracket high dynamic range imaging with event cameras | |
| WO2019105304A1 (zh) | 图像白平衡处理方法、计算机可读存储介质和电子设备 | |
| US20230127009A1 (en) | Joint objects image signal processing in temporal domain | |
| WO2022193288A1 (zh) | 图像处理方法、装置及计算机可读存储介质 | |
| CN112991242A (zh) | 图像处理方法、图像处理装置、存储介质与终端设备 | |
| CN112750092A (zh) | 训练数据获取方法、像质增强模型与方法及电子设备 | |
| CN112581365A (zh) | 一种跨尺度自适应信息映射成像方法及装置、介质 | |
| US9607365B1 (en) | Systems and methods for enhancing quality of image media | |
| CN111160340B (zh) | 一种运动目标检测方法、装置、存储介质及终端设备 | |
| CN111932594A (zh) | 一种基于光流的十亿像素视频对齐方法及装置、介质 | |
| Zhao et al. | Cross-camera deep colorization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211101 Address after: 518000 409, Yuanhua complex building, 51 Liyuan Road, merchants street, Nanshan District, Shenzhen, Guangdong Applicant after: Shenzhen zhuohe Technology Co.,Ltd. Address before: 100083 no.2501-1, 25th floor, block D, Tsinghua Tongfang science and technology building, No.1 courtyard, Wangzhuang Road, Haidian District, Beijing Applicant before: Beijing Zhuohe Technology Co.,Ltd. |