CN114693575A - 一种道路监控图像增强方法、系统、装置及介质 - Google Patents
一种道路监控图像增强方法、系统、装置及介质 Download PDFInfo
- Publication number
- CN114693575A CN114693575A CN202210201298.7A CN202210201298A CN114693575A CN 114693575 A CN114693575 A CN 114693575A CN 202210201298 A CN202210201298 A CN 202210201298A CN 114693575 A CN114693575 A CN 114693575A
- Authority
- CN
- China
- Prior art keywords
- feature information
- feature
- processing
- information
- road monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 53
- 230000004927 fusion Effects 0.000 claims abstract description 36
- 230000009977 dual effect Effects 0.000 claims abstract description 25
- 238000012216 screening Methods 0.000 claims abstract description 25
- 238000007499 fusion processing Methods 0.000 claims abstract description 24
- 238000001914 filtration Methods 0.000 claims abstract description 13
- 230000007246 mechanism Effects 0.000 claims description 27
- 238000005070 sampling Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 10
- 230000014759 maintenance of location Effects 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 6
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000006731 degradation reaction Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种道路监控图像增强方法、系统、计算机装置和存储介质，道路监控图像增强方法包括对原始图像的原始特征信息进行下采样处理，使用对偶注意力单元对所获得的第一特征信息进行过滤筛选，使用加权特征融合模块对第一特征信息对应的第二特征信息进行融合处理，再使用对偶注意力单元进行过滤筛选，获得第三特征信息，使用加权特征融合模块对各第三特征信息进行融合处理，对所获得的第四特征信息进行处理，获得增强图像等步骤。本发明道路监控图像增强方法所使用的模型具有模型体积小以及端到端等优点，能够融合超分辨率处理和弱光增强处理的效果，从而能够有效适应对道路监控图像进行的图像增强处理。本发明广泛应用于图像处理技术领域。
Description
技术领域
本发明涉及图像处理技术领域，尤其是一种道路监控图像增强方法、系统、计算机装置和存储介质。
背景技术
道路监控经常面临高噪声和低光照等恶劣拍摄条件，从而导致图像退化问题，例如道路监控图像的质量往往不高，对后续的车牌识别和人脸识别等工作造成不利。通过图像增强可以缓解图像退化的问题，而目前的图像增强技术多数是用于解决某一或部分特定类型的图像退化问题，或是只有在特定数据集上才能发挥出其质量增强作用，而无法应对实际现实中各种各样的图像退化过程，尤其是针对道路监控场景、模型体积小、鲁棒且能适应夜晚环境的监控画面质量增强技术。
发明内容
针对目前的图像增强技术难以适应道路监控应用场景等至少一个技术问题，本发明的目的在于提供一种道路监控图像增强方法、系统、计算机装置和存储介质。
一方面，本发明实施例包括一种道路监控图像增强方法，包括：
获取原始图像；所述原始图像来自道路监控图像；
提取所述原始图像的特征层信息，获得原始特征信息；
对所述原始特征信息分别进行保持处理和至少一次下采样处理，获得多个第一特征信息；
对于任一所述第一特征信息，使用对偶注意力单元进行过滤筛选，获得相应的第二特征信息，使用基于自注意力机制的加权特征融合模块，对该所述第一特征信息对应的第二特征信息以及其他所述第一特征信息对应的第二特征信息进行融合处理，再使用对偶注意力单元进行过滤筛选，获得该所述第一特征信息对应的第三特征信息；
使用基于自注意力机制的加权特征融合模块，对各所述第一特征信息各自对应的第三特征信息进行融合处理，获得第四特征信息；
对所述第四特征信息进行处理，获得增强图像。
进一步地，所述获取原始图像，包括：
运行在线平台；
通过所述在线平台，接收上传的所述原始图像。
进一步地，所述道路监控图像增强方法还包括：
通过所述在线平台返回所述增强图像。
进一步地，所述使用基于自注意力机制的加权特征融合模块，对各所述第一特征信息各自对应的第三特征信息进行融合处理，获得第四特征信息，包括：
对各所述第一特征信息各自对应的第三特征信息分别进行保持处理和上采样处理，使各所述第三特征信息的分辨率达到一致；
所述使用基于自注意力机制的加权特征融合模块，对分辨率一致的各所述第三特征信息进行融合处理，获得所述第四特征信息。
进一步地，所述使各所述第三特征信息的分辨率达到一致，包括：
使各所述第三特征信息的分辨率均达到所述原始特征信息的分辨率。
进一步地，所述对偶注意力单元包括空间注意力分支和通道注意力分支，所述对偶注意力单元用于在接收输入的第一特征信息，对所述第一特征信息进行卷积和激活处理后，分别通过所述空间注意力分支和所述通道注意力分支对所述第一特征信息进行处理，通过张量拼接融合所述空间注意力分支和所述通道注意力分支的处理结果，对张量拼接的融合结果进行尺度不变的卷积后，通过残差连接输出第二特征信息。
进一步地，所述加权特征融合模块接收两个并行的分辨率相同的特征信息作为输入，分别称为第一特征信息和第二特征信息，所述第一特征信息与所述第二特征信息按照元素求和的方式组合，获得第三特征信息，所述第三特征信息经过通道注意力机制，生成相应的第一通道权重值和第二通道权重值，将所述第一通道权重值与所述第一特征信息相乘得到第一特征加权筛选结果，将所述第二通道权重值与第二特征信息相乘得到第二特征加权筛选结果，对所述第一特征加权筛选结果和所述第二特征加权筛选结果进行元素相加，获得所述加权特征融合模块的输出结果。
另一方面，本发明实施例还包括一种道路监控图像增强系统，所述道路监控图像增强系统包括：
第一模块，用于获取原始图像；所述原始图像来自道路监控图像；
第二模块，用于提取所述原始图像的特征层信息，获得原始特征信息；
第三模块，用于对所述原始特征信息分别进行保持处理和至少一次下采样处理，获得多个第一特征信息；
第四模块，用于对于任一所述第一特征信息，使用对偶注意力单元进行过滤筛选，获得相应的第二特征信息，使用基于自注意力机制的加权特征融合模块，对该所述第一特征信息对应的第二特征信息以及其他所述第一特征信息对应的第二特征信息进行融合处理，使用对偶注意力单元进行过滤筛选，获得该所述第一特征信息对应的第三特征信息；
第五模块，用于使用基于自注意力机制的加权特征融合模块，对各所述第一特征信息各自对应的第三特征信息进行融合处理，获得第四特征信息；
第六模块，用于对所述第四特征信息进行处理，获得增强图像。
另一方面，本发明实施例还包括一种计算机装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行实施例中的道路监控图像增强方法。
另一方面，本发明实施例还包括一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行实施例中的道路监控图像增强方法。
本发明的有益效果是：实施例中的道路监控图像增强方法所使用的LIGHTSROAD模型，具有模型体积小以及端到端等优点，而且能够融合超分辨率处理和弱光增强处理的效果，从而能够有效适应对道路监控图像进行的图像增强处理。
附图说明
图1为实施例中道路监控图像增强方法的流程图；
图2为实施例中在线平台的架构图；
图3为实施例中在线平台的显示界面示意图；
图4为实施例中道路监控图像增强方法的原理图；
图5为实施例中对偶注意力单元DAU的工作原理图；
图6为实施例中加权特征融合模块WFFM的工作原理图；
图7为实施例中进行下采样和上采样的原理图。
具体实施方式
本实施例中，参照图1，道路监控图像增强方法包括以下步骤：
S1.获取原始图像；
S2.提取原始图像的特征层信息，获得原始特征信息；
S3.对原始特征信息分别进行保持处理和至少一次下采样处理，获得多个第一特征信息；
S4.对于任一第一特征信息，使用对偶注意力单元进行过滤筛选，获得相应的第二特征信息，使用基于自注意力机制的加权特征融合模块，对该第一特征信息对应的第二特征信息以及其他第一特征信息对应的第二特征信息进行融合处理，使用对偶注意力单元进行过滤筛选，获得该第一特征信息对应的第三特征信息；
S5.使用基于自注意力机制的加权特征融合模块，对各第一特征信息各自对应的第三特征信息进行融合处理，获得第四特征信息；
S6.对第四特征信息进行处理，获得增强图像。
在执行步骤S1，也就是获取原始图像这一步骤时，具体可以执行以下步骤：
S101.运行在线平台；
S102.通过在线平台，接收上传的原始图像。
步骤S101-S102中所运行的在线平台的架构如图2所示，其中通过网站服务器对外提供连接接口，外部用户通过网站服务器提供的接口，向网站服务器上传原始图像。网站服务器将原始图像发送至运算服务器，由运算服务器中的LIGHTSROAD模型执行S1-S6等步骤。
本实施例中，用户使用手机或者平板电脑等终端，访问网站服务器所显示出来的界面的样式如图3所示，用户可以通过操作该界面，上传待处理的原始图像。
本实施例中，步骤S1所获得的原始图像，可以是由道路监控系统直接输出的拍摄到的图像，也可以是由道路监控系统拍摄到图像之后，通过转换、存储或者翻拍等手段处理后得到的图像。在执行步骤S1时，也可以由执行步骤S1-S6的计算机系统与道路监控系统连接，直接获取道路监控系统拍摄得到的原始图像。
步骤S2-S4的原理如图4所示。
步骤S2中，提取原始图像的特征层信息，本实施例中原始图像的特征层信息被称为原始特征信息。
本实施例中，参照图4，步骤S3对原始特征信息分别进行了一次下采样处理，所获得的结果为分辨率比原始特征信息低的第一特征信息2。对原始特征信息进行分辨率的保持处理，或者不对原始特征信息进行其他处理，而是复制原始特征信息，得到与原始特征信息分辨率相同的第一特征信息1。步骤S3中，还可以对原始特征信息进行更多的下采样处理，其中不同的下采样处理所使用的目标分辨率可以不同，这样能够得到第一特征信息3、第一特征信息4等更多不同分辨率的特征信息，其原理与图4所示的情况是相同的。
步骤S4中，参照图4，对于任一第一特征信息，例如对于第一特征信息1，使用对偶注意力单元(Dual Attention Unit，DAU)进行过滤筛选，获得相应的第二特征信息即第二特征信息1；另一方面，对于第一特征信息2，也使用对偶注意力单元DAU进行过滤筛选，获得相应的第二特征信息即第二特征信息2。使用基于自注意力机制的加权特征融合模块(Weighted Feature Fusion Module，WFFM)，对第一特征信息1对应的第二特征信息1，与其他第一特征信息(例如第一特征信息2)对应的第二特征信息(例如第二特征信息2)进行融合处理，所得结果使用对偶注意力单元DAU进行过滤筛选，获得该第一特征信息1对应的第三特征信息1。当还存在第二特征信息3、第二特征信息4等更多的第二特征信息时，可以将全部的第二特征信息与第二特征信息1进行融合处理，也可以只在第二特征信息2、第二特征信息3和第二特征信息4等当中选择部分的第二特征信息与第二特征信息1进行融合处理。
步骤S4中，参照图4，另一方面，对第一特征信息2对应的第二特征信息2，也参照图4进行与第二特征信息1相似的处理，获得该第一特征信息2对应的第三特征信息2。
步骤S5中，参照图4，使用基于自注意力机制的加权特征融合模块WFFM，对各第一特征信息各自对应的第三特征信息(例如图4中所示的第一特征信息1对应的第三特征信息1，以及第一特征信息2对应的第三特征信息2)进行融合处理，获得第四特征信息。
具体地，在执行步骤S5，也就是使用基于自注意力机制的加权特征融合模块，对各第一特征信息各自对应的第三特征信息进行融合处理，获得第四特征信息这一步骤时，可以执行以下步骤：
S501.对各第一特征信息各自对应的第三特征信息分别进行保持处理和上采样处理，使各第三特征信息的分辨率达到一致；
S502.使用基于自注意力机制的加权特征融合模块，对分辨率一致的各第三特征信息进行融合处理，获得第四特征信息。
步骤S501中，参照图4，对于对第一特征信息1处理得到的第三特征信息1，由于第一特征信息1是原始特征信息未经下采样得到的，因此可以保持第三特征信息1的分辨率，例如不对第三特征信息1进行分辨率相关的处理；对于对第一特征信息2处理得到的第三特征信息2，由于第一特征信息2是原始特征信息经过下采样得到的，因此可以对第三特征信息2进行上采样处理，使得第三特征信息2的分辨率与第三特征信息1的分辨率一致，具体地，可以使第三特征信息1和第三特征信息2的分辨率均达到原始特征信息的分辨率。
步骤S502中，参照图4，使用基于自注意力机制的加权特征融合模块WFFM，对第三特征信息1、第三特征信息2等全部第三特征信息进行融合处理，获得第四特征信息。
步骤S6中，参照图4，对第四特征信息进行处理，获得增强图像。
具体地，在执行步骤S6，也就是对第四特征信息进行处理，获得增强图像这一步骤时，参照图4，可以将第四特征信息与原始特征信息进行逐像素求和(element-wisesummation)等运算，从而得到增强图像。
本实施例中，在执行完步骤S1-S6之后，还可以执行以下步骤：
S7.通过在线平台返回增强图像。
步骤S7中，可以通过图2和图3所示的在线平台返回增强图像。具体地，运算服务器执行完步骤S2-S6后，将增强图像发送至网站服务器，由网站服务器将增强图像发送至用户所使用的终端，用于供肉眼观看、打印输出、车牌识别或者人脸识别等操作。还可以由运算服务器对增强图像进行车牌识别或者人脸识别等识别后，将识别结果通过网站服务器返回至用户所使用的终端。
本实施例中，执行步骤S1-S7的过程可以通过图2所示的LIGHTSROAD模型来表示，该模型是一个轻量的端到端的模型，模型体积小，其中通过对原始特征信息进行保持处理获得第一特征信息，然后使用对偶注意力单元进行过滤筛选、使用基于自注意力机制的加权特征融合模块对各第二特征信息进行融合处理，可以实现对原始图像的超分辨率处理；通过对原始特征信息进行下采样处理获得第一特征信息，然后使用对偶注意力单元进行过滤筛选、使用基于自注意力机制的加权特征融合模块对各第二特征信息进行融合处理，可以实现对原始图像的弱光增强处理；通过使用基于自注意力机制的加权特征融合模块对各第三特征信息进行融合处理，可以融合超分辨率处理和弱光增强处理的效果，从而使得该模型能够有效适应对道路监控图像进行的图像增强处理。
本实施例中，所使用的对偶注意力单元DAU的工作原理如图5所示。参照图5，对偶注意力单元DAU包括图5中位于上部的虚线框所框示的空间注意力分支，以及图5中位于下部的虚线框所框示的通道注意力分支。对偶注意力单元在接收输入的第一特征信息，对第一特征信息进行卷积和激活处理后，分别通过空间注意力分支和通道注意力分支对第一特征信息进行处理，通过张量拼接融合空间注意力分支和通道注意力分支的处理结果，对张量拼接的融合结果进行尺度不变的卷积后，通过残差连接输出第二特征信息。
本实施例中，所使用的加权特征融合模块WFFM的工作原理如图6所示。参照图6，加权特征融合模块接收两个并行的分辨率相同的特征信息作为输入，分别称为第一特征信息和第二特征信息，第一特征信息与第二特征信息按照元素求和的方式组合，获得第三特征信息，第三特征信息经过通道注意力机制，生成相应的第一通道权重值和第二通道权重值，将第一通道权重值与所述第一特征信息相乘得到第一特征加权筛选结果，将所述第二通道权重值与第二特征信息相乘得到第二特征加权筛选结果，对第一特征加权筛选结果和第二特征加权筛选结果进行元素相加，获得加权特征融合模块的输出结果。
本实施例中，步骤S3中的下采样和步骤S501中的上采样的原理如图7所示。参照图7，使用左侧的下采样模块(Down-Sampling Module，DSM)来实现下采样，使用右侧的上采样模块(Up-Sampling Module，USM)来实现上采样。USM中采用双线性插值(Bilinear Up-Sampling，BUS)算法,而DSM则采用抗混叠下采样(Anti-aliasing Down-Sampling，ADS)以增强网络的平移不变性。
本实施例中，道路监控图像增强系统包括：
第一模块，用于获取原始图像；原始图像来自道路监控图像；
第二模块，用于提取原始图像的特征层信息，获得原始特征信息；
第三模块，用于对原始特征信息分别进行保持处理和至少一次下采样处理，获得多个第一特征信息；
第四模块，用于对于任一第一特征信息，使用对偶注意力单元进行过滤筛选，获得相应的第二特征信息，使用基于自注意力机制的加权特征融合模块，对该第一特征信息对应的第二特征信息以及其他第一特征信息对应的第二特征信息进行融合处理，使用对偶注意力单元进行过滤筛选，获得该第一特征信息对应的第三特征信息；
第五模块，用于使用基于自注意力机制的加权特征融合模块，对各第一特征信息各自对应的第三特征信息进行融合处理，获得第四特征信息；
第六模块，用于对第四特征信息进行处理，获得增强图像。
本实施例中，第一模块、第二模块、第三模块、第四模块、第五模块和第六模块分别是具有相应功能的硬件模块、软件模块或者硬件和软件的组合。
当道路监控图像增强系统运行时，可以执行本实施例中的道路监控图像增强方法。其中，由第一模块执行道路监控图像增强方法中的步骤S1，由第二模块执行步骤S2，由第三模块执行步骤S3，由第四模块执行步骤S4，由第五模块执行步骤S5，由第六模块执行步骤S6。
通过运行道路监控图像增强系统，可以实现与本实施例中的道路监控图像增强方法相同或者更优的技术效果。
可以通过编写执行本实施例中的道路监控图像增强方法的计算机程序，将该计算机程序写入至计算机装置或者存储介质中，当计算机程序被读取出来运行时，执行本实施例中的道路监控图像增强方法，从而实现与实施例中的道路监控图像增强方法相同的技术效果。
需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本实施例所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本实施例说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本实施例描述的过程的操作，除非本实施例另外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本实施例所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本实施例所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。
Claims (10)
1.一种道路监控图像增强方法，其特征在于，所述道路监控图像增强方法包括：
获取原始图像；所述原始图像来自道路监控图像；
提取所述原始图像的特征层信息，获得原始特征信息；
对所述原始特征信息分别进行保持处理和至少一次下采样处理，获得多个第一特征信息；
对于任一所述第一特征信息，使用对偶注意力单元进行过滤筛选，获得相应的第二特征信息，使用基于自注意力机制的加权特征融合模块，对该所述第一特征信息对应的第二特征信息以及其他所述第一特征信息对应的第二特征信息进行融合处理，再使用对偶注意力单元进行过滤筛选，获得该所述第一特征信息对应的第三特征信息；
使用基于自注意力机制的加权特征融合模块，对各所述第一特征信息各自对应的第三特征信息进行融合处理，获得第四特征信息；
对所述第四特征信息进行处理，获得增强图像。
2.根据权利要求1所述的道路监控图像增强方法，其特征在于，所述获取原始图像，包括：
运行在线平台；
通过所述在线平台，接收上传的所述原始图像。
3.根据权利要求2所述的道路监控图像增强方法，其特征在于，所述道路监控图像增强方法还包括：
通过所述在线平台返回所述增强图像。
4.根据权利要求1所述的道路监控图像增强方法，其特征在于，所述使用基于自注意力机制的加权特征融合模块，对各所述第一特征信息各自对应的第三特征信息进行融合处理，获得第四特征信息，包括：
对各所述第一特征信息各自对应的第三特征信息分别进行保持处理和上采样处理，使各所述第三特征信息的分辨率达到一致；
所述使用基于自注意力机制的加权特征融合模块，对分辨率一致的各所述第三特征信息进行融合处理，获得所述第四特征信息。
5.根据权利要求4所述的道路监控图像增强方法，其特征在于，所述使各所述第三特征信息的分辨率达到一致，包括：
使各所述第三特征信息的分辨率均达到所述原始特征信息的分辨率。
6.根据权利要求1所述的道路监控图像增强方法，其特征在于，所述对偶注意力单元包括空间注意力分支和通道注意力分支，所述对偶注意力单元用于在接收输入的第一特征信息，对所述第一特征信息进行卷积和激活处理后，分别通过所述空间注意力分支和所述通道注意力分支对所述第一特征信息进行处理，通过张量拼接融合所述空间注意力分支和所述通道注意力分支的处理结果，对张量拼接的融合结果进行尺度不变的卷积后，通过残差连接输出第二特征信息。
7.根据权利要求1所述的道路监控图像增强方法，其特征在于，所述加权特征融合模块接收两个并行的分辨率相同的特征信息作为输入，分别称为第一特征信息和第二特征信息，所述第一特征信息与所述第二特征信息按照元素求和的方式组合，获得第三特征信息，所述第三特征信息经过通道注意力机制，生成相应的第一通道权重值和第二通道权重值，将所述第一通道权重值与所述第一特征信息相乘得到第一特征加权筛选结果，将所述第二通道权重值与第二特征信息相乘得到第二特征加权筛选结果，对所述第一特征加权筛选结果和所述第二特征加权筛选结果进行元素相加，获得所述加权特征融合模块的输出结果。
8.一种道路监控图像增强系统，其特征在于，所述道路监控图像增强系统包括：
第一模块，用于获取原始图像；所述原始图像来自道路监控图像；
第二模块，用于提取所述原始图像的特征层信息，获得原始特征信息；
第三模块，用于对所述原始特征信息分别进行保持处理和至少一次下采样处理，获得多个第一特征信息；
第四模块，用于对于任一所述第一特征信息，使用对偶注意力单元进行过滤筛选，获得相应的第二特征信息，使用基于自注意力机制的加权特征融合模块，对该所述第一特征信息对应的第二特征信息以及其他所述第一特征信息对应的第二特征信息进行融合处理，使用对偶注意力单元进行过滤筛选，获得该所述第一特征信息对应的第三特征信息；
第五模块，用于使用基于自注意力机制的加权特征融合模块，对各所述第一特征信息各自对应的第三特征信息进行融合处理，获得第四特征信息；
第六模块，用于对所述第四特征信息进行处理，获得增强图像。
9.一种计算机装置，其特征在于，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行权利要求1-7任一项所述的道路监控图像增强方法。
10.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行权利要求1-7任一项所述的道路监控图像增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210201298.7A CN114693575A (zh) | 2022-03-02 | 2022-03-02 | 一种道路监控图像增强方法、系统、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210201298.7A CN114693575A (zh) | 2022-03-02 | 2022-03-02 | 一种道路监控图像增强方法、系统、装置及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114693575A true CN114693575A (zh) | 2022-07-01 |
Family
ID=82136560
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210201298.7A Pending CN114693575A (zh) | 2022-03-02 | 2022-03-02 | 一种道路监控图像增强方法、系统、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114693575A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118172259A (zh) * | 2024-03-20 | 2024-06-11 | 上海蜜度数字科技有限公司 | 低光图像增强方法、系统、存储介质及电子设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011304A (zh) * | 2021-03-12 | 2021-06-22 | 山东大学 | 一种基于注意力多分辨率网络的人体姿态估计方法及系统 |
-
2022
- 2022-03-02 CN CN202210201298.7A patent/CN114693575A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011304A (zh) * | 2021-03-12 | 2021-06-22 | 山东大学 | 一种基于注意力多分辨率网络的人体姿态估计方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| SYED WAQAS ZAMIR等: "Learning Enriched Features for Real Image Restoration and Enhancement", ARXIV:2003.06792V2, pages 1 - 20 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118172259A (zh) * | 2024-03-20 | 2024-06-11 | 上海蜜度数字科技有限公司 | 低光图像增强方法、系统、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Deep learning for hdr imaging: State-of-the-art and future trends | |
| CN108765343B (zh) | 图像处理的方法、装置、终端及计算机可读存储介质 | |
| Ancuti et al. | Single-scale fusion: An effective approach to merging images | |
| CA2919253C (en) | Method and apparatus for generating an all-in-focus image | |
| CN110675336A (zh) | 一种低照度图像增强方法及装置 | |
| US11688100B1 (en) | Systems and methods for multi-sensor image enhancement | |
| WO2023030139A1 (zh) | 图像融合方法、电子设备和存储介质 | |
| JP2020053062A (ja) | ホモグラフィの修正 | |
| CN113096021A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN103826064A (zh) | 图像处理方法、装置及手持电子设备 | |
| CN112435223B (zh) | 目标检测方法、装置及存储介质 | |
| CN113409188A (zh) | 一种图像背景替换方法、系统、电子设备及存储介质 | |
| CN114693575A (zh) | 一种道路监控图像增强方法、系统、装置及介质 | |
| CN116071279A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| KR20190067438A (ko) | 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치 | |
| CN114581355A (zh) | 一种重建hdr图像的方法、终端及电子设备 | |
| Lapray et al. | Hardware-based smart camera for recovering high dynamic range video from multiple exposures | |
| KR102422448B1 (ko) | 이미지와 관련된 링크 정보를 이용하여 외부 전자 장치와 이미지를 공유하는 방법 및 전자 장치 | |
| CN112102171B (zh) | 图像处理方法、装置、计算机可读存储介质及电子设备 | |
| CN117612138A (zh) | 一种车位检测方法、装置、设备及存储介质 | |
| WO2013136403A1 (ja) | 画像処理装置、集積回路、プログラム、撮像装置、表示装置 | |
| US11663828B1 (en) | System for visual cognition processing for sighting | |
| CN116051378A (zh) | 一种图像处理方法、装置、设备和介质 | |
| CN112508801B (zh) | 图像处理方法及计算设备 | |
| CN111383171B (zh) | 一种图片处理方法、系统及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220701 |
|
| RJ01 | Rejection of invention patent application after publication |