CN113570515B - 基于并行处理框架的图像增强算法加速方法 - Google Patents

基于并行处理框架的图像增强算法加速方法 Download PDF

Info

Publication number
CN113570515B
CN113570515B CN202110778210.3A CN202110778210A CN113570515B CN 113570515 B CN113570515 B CN 113570515B CN 202110778210 A CN202110778210 A CN 202110778210A CN 113570515 B CN113570515 B CN 113570515B
Authority
CN
China
Prior art keywords
picture
frame
pictures
processing
defogging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110778210.3A
Other languages
English (en)
Other versions
CN113570515A (zh
Inventor
刘华臻
许欣雨
胡浩丰
程振洲
刘铁根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202110778210.3A priority Critical patent/CN113570515B/zh
Publication of CN113570515A publication Critical patent/CN113570515A/zh
Application granted granted Critical
Publication of CN113570515B publication Critical patent/CN113570515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于并行处理框架的图像增强算法的加速方法,在相邻两帧图片读取的时间间隙内同时处理多帧图片:构造图片的预处理的映射fA;构造图片去雾处理的映射fB,将预处理之后的多张分开的单帧图片依照给定算法进行并行处理;接着,从输入缓存区中取出第二帧图片,得到第二帧图片的预处理的映射fA(Oimg2),构造图片增强处理的映射fC来进行交叉处理,将两张输入图片合并增强,获得一张输出图片;将储存增强图片的内存区进行R、G、B通道合并处理后放入输出缓存区中等待输出;在输入缓存区图片无更新或外加中断时算法停止。与现有技术相比,本发明可以运用在低光强和雾天等需要图像增强的环境中,显著降低运算时间。

Description

基于并行处理框架的图像增强算法加速方法
技术领域
本发明涉及图像增强领域,特别涉及在低光强和雾天等需要图像增强的环境中图像增强算法的设计与加速。
背景技术
图像增强算法技术在交通监控、自动驾驶、医学影像等许多领域都有十分广泛的应用,而在上述领域中,往往都需要实现实时、快速的图像增强。然而,在很多条件下,传统图像算法很难在低性能处理器上实现高效的实时处理。
目前关于图像增强技术的研究主要存在以下缺点:第一,现有的传统图像增强算法难以权衡处理效果和处理的时间,往往依赖于特定的设备或高性能的采集、处理、显示环境。第二,神经网络进行优化学习的算法往往难以避免过拟合的情况使得去雾效果依赖于训练集具体环境的选定,处理步骤冗杂,需要大量的时间成本。第三、现有图像增强算法更多基于静态图片或已有视频流,而图像实时处理的要求往往更高。第四、现有的图像增强方法在应用时往往为了获得更好的效果采用更大的图片和更多的数据储存位数,同时也需要更高的算力进行处理来保证处理进程的高效。
因此,需要一种加速图像增强算法的方法,使得图像增强可以满足更加快速而广阔的需求。
发明内容
为了克服现有图像增强算法在运算速度上的不足,本发明提出了一种基于并行处理框架的图像增强算法的加速方法,图像处理中将算法进行拆分,从而实现多图片并行处理。
本发明的一种基于并行处理框架的图像增强算法的加速方法,包括以下步骤:
步骤1:利用相机在需要图像增强的环境中采集图像以获取实时视频流,然后将视频流逐帧,保存在输入缓存区内等待调用;
步骤2:在内存中为视频流预设输入缓存区和输出缓存区,当有数据刷新需要时,在缓存区中采用覆盖刷新方式逐帧读入图片;
步骤3:进行图片预处理中所需参数的估计;
步骤4:在相邻两帧图片读取的时间间隙内同时处理多帧图片:
4.1:从输入缓存区中取出第一帧图片,记为Oimg1
4.2:将取出的第一帧图片进行预处理之后,结合步骤3中的参数构造一个一对多的映射fA;fA表示图片预处理的映射,所述图片预处理包括将输入图片进行格式转换和卷积去噪;将预处理结果放入内存区[A1、A2、A3…]中;
步骤5、进行图片去雾处理中所需参数的估计;
步骤6、对放入内存[A1、A2、A3…]的图片利用步骤5中的估计参数构造多个一对一的映射fB;fB表示图片去雾的映射,所述图片去雾包括将两张输入图片分别进行去雾处理;处理后的结果放入内存区[B1、B2、B3…]中;
步骤7、将预处理之后的多张分开的单帧图片依照给定算法进行并行处理;接着,从输入缓存区中取出第二帧图片并记为Oimg2,并重复步骤4.2中的操作,得到第二帧图片的一个一对多的映射fA(Oimg2),用得到的图片覆盖内存区[A1、A2、A3…];
步骤8、将放入内存[B1、B2、B3…]的图片利用步骤3中的估计参数构造一个多对多或多对一或一对一的映射fC来进行交叉处理,fC表示图片增强,将两张输入图片合并增强,获得一张输出图片;将处理后的结果放入内存区[C1、C2、C3…]中,从输入缓存区中取出第三帧图片并记为Oimg3;重复步骤7中的操作,用得到的图片覆盖预处理后的图片存储空间和去雾处理后的图片存储空间;
步骤9、将储存增强图片的内存区进行R、G、B通道合并处理后放入输出缓存区中等待输出;接着,不断重复步骤8,从输入缓存区读入新的原始图片Oimgn,同时处理Oimgn和在内存区[A1、A2、A3…;B1、B2、B3…]的图片,并将处理的结果分别放入区域[A1、A2、A3…;B1、B2、B3…;C1、C2、C3…];
继续预处理图片、去雾图片和图片增强处理所需参数估计;
步骤10:在输入缓存区图片无更新或外加中断时,算法停止。
与现有技术相比,本发明的一种基于并行处理框架的图像增强算法的加速方法,可以运用在低光强和雾天等需要图像增强的环境中,显著降低运算时间。
附图说明
图1为本发明的基于并行处理框架的图像增强算法加速方法示意图;
图2为本发明的基于并行处理框架的图像增强算法加速方法算法执行实例示意图;
图3为本发明的基于并行处理框架的图像增强算法加速方法处理结果示意图;(a)卷积核内加法树算法处理结果,(b)自累加单元处理结果。
具体实施方式
下面结合附图和具体实施例对本发明技术方案作进一步详细描述。
本发明提出的一种基于并行处理框架的图像增强算法的加速方法,该方法具体实现步骤如下:
步骤1:使用照相机在低光强或雾天等需要图像增强的成像环境中采集图片,获得用于处理的视频流;
步骤2:为视频流预设输入缓存区和输出缓存区,当有数据刷新需要时,在缓存区中采用覆盖刷新方式逐帧读入图片,具体实现过程可参考:将所需算法拆分为图像处理的多个处理如:图像预处理模块、图片去雾模块和图片增强模块;分别对几个模块设定的输入、输出接口,并在储存器中预设内存区域等待图片的读写;在内存区预分配图片保存区域,该区域表示为[A1、A2、A3…;B1、B2、B3…;C1、C2、C3…](经过预处理后图片放入内存区A,在二次处理(如去雾算法)后将图片放入B,在图像增强后将图片放入C);
步骤3:估计图像预处理中所需的相关参数(例如卷积核参数、滤波核参数等),例如图像去雾增强算法中的环境光照度和全局大气光强、图块数量和对比度增强限制等(又如像素阈值、卷积核大小等),待下一步的调用;
步骤4:从输入缓存区中取出第一帧图片,记为Oimg1
步骤5:将步骤4中取出的图片进行预处理(滤波、卷积、通道分离等),即利用步骤3中的参数构造一个一对多的映射fA,以第一帧图片为例,有[A1,img1A2,img1A3,img1…]=fA(Oimg1),并将预处理结果放入内存区[A1、A2、A3…]中;通常,将采集图像拷贝后放入内存区A1,将不同通道(RGB通道或CMYK通道等)的值和预处理(例如滤波、卷积等基本处理和针对图像特征的其他处理)的结果放入内存区A2、A3…;
步骤6:在进行步骤5的同时将后续所需参数进行进一步估计(例如卷积核参数、卷积步长、滤波核参数、图像块大小、灰度阈值等);。
步骤7:将步骤5中放入内存[A1、A2、A3…]的图片进行进一步处理(去除水下、雾天环境背景),利用步骤6中的估计参数构造多个一对一的映射fB=[fB1fB2fB3…],有[B1,img1]=fB1(A1,img1)、[B2,img1]=fB2([A2,img1])、[B3,img1]=fB3([A3,img1])…,并将处理后的结果放入内存区[B1、B2、B3…]中;本步骤主要用来将步骤5中多张分开的单帧图片依照给定算法进行并行处理,即进行“放入内存[A1、A2、A3…]的图片进行进一步处理”;
接着,从输入缓存区中取出第二帧图片并记为Oimg2,并重复步骤5中的操作,即有[A1,img2A2,img2A3,img2…]=fA(Oimg2),用得到的图片覆盖内存区[A1、A2、A3…];90-
步骤8:将后续所需参数进行进一步估计(例如卷积核参数、卷积步长、滤波核参数、图像块大小、灰度阈值等);
步骤9:将步骤7中放入内存[B1、B2、B3…]的图片继续处理,利用步骤3中的参数构造一个多对多(或多对一、一对一)的映射fC来进行交叉处理,有[C1,img1C2,img1C3,img1…]=fC([B1,img1B2,img1B3,img1…]),并将处理后的结果放入内存区[C1、C2、C3…]中;从输入缓存区中取出第三帧图片并记为Oimg3,并重复步骤8中的操作,即有
[A1,img3A2,img3A3,img3…]=fA(Oimg3)
[B1,img2B2,img2B3,img2…]=[fB1(A1,img2)fB2(A2,img2)fB3(A3,img2)…])用得到的图片覆盖内存区[A1、A2、A3…]和[B1、B2、B3…]中;
步骤10:将内存区[C1、C2、C3…]进行R、G、B通道合并处理后放入输出缓存区中等待输出;接着,不断重复步骤9,从输入缓存区读入新的原始图片Oimgn,同时处理Oimgn和在内存区[A1、A2、A3…;B1、B2、B3…]的图片,并将处理的结果分别放入区域[A1、A2、A3…;B1、B2、B3…;C1、C2、C3…];继续后续所需参数估计(例如卷积核参数、卷积步长、滤波核参数、图像块大小、灰度阈值等);
步骤11:在输入缓存区图片无更新或外加中断时算法停止。
以三帧去雾为例:
从输入缓存区每读取一帧图片后均有该帧图片处于预处理状态,,但让不同帧图片处于不同处理进度中。其上一帧图片处于去雾状态,再上一帧图片处于图像增强状态。在从输入缓存区获取下一帧之前,三帧图片已经处理完毕,且有一帧图片处于待输出图片(注:最开始读取的两帧图片处于待处理状态,且实时性有两帧的延迟)。
本发明的优点在于:
1)本发明在采集图像数据和进行图像处理时,采用了将图像放入缓存区并提前声明内存区以进行输入和输出的读取的预处理方法,有利于实时处理和与硬件结合;
2)本发明采用并行计算的方法,极大提高了图像增强算法的计算速度。并行的计算方法体现在两个方面,一为图像处理中将算法进行拆分,从而实现多图片并行处理的效果;二为参数计算并行处理,根据处理后的图像引入参数反馈,从而控制输出图像的处理效果和图像处理时间。
3)本发明使用范围不局限于特定环境,可广泛应用于交通监控、自动驾驶、医学影像等场景;不依赖于图片的格式、大小和具体内容,可以对单通道图片和多通道图片进行增强。可以作为一般的快速图像增强处理应用。
利用以下实验平台对本发明的基于并行处理框架的图像增强算法的加速方法进行效果验证:
实验平台、Labview2017(64bit);
上位机配置、CPU:Intel(R)Core(TM)i7-9750H;
RAM、16.0GB(15.9GB可用);
GPU、NVIDIA GeForce GTX 1660Ti;
待处理图片为灰度图片,利用VDM(vision development module)调用摄像头。分别采用常规算法和本专利中提到的算法搭建程序,比较运行时间。
1)实验中采用两个算法分别命名为算法1和算法2,算法2是算法1采用本发明改进后的算法,即基于并行框架的加速算法。
2)在实验过程中将待去雾图片放入图片缓存区来创造视频流,即相当于反复读入同一张图片来测试算法运行时间。
3)fA表示图片预处理,实验中为一个一对二的映射,将输入图片进行格式转换和卷积去噪。fB表示图片去雾,为两个一对一的映射,将两张输入图片分别进行去雾处理得到两张去雾图片。fC表示图片增强,为一个二对一的映射,将两张输入图片合并增强,获得一张输出图片。
4)算法1和算法2分别运行100帧,记录运行时间中位数并进行比较。
基于并行处理框架的图像增强算法的加速方法整体流程示意图如下所示。
如图3所示,为本发明的基于并行处理框架的图像增强算法加速方法处理结果示意图,分别为用算法1和算法2处理前后示意图。可以看出处理效果相同,但速度有了很大地提升,在获得相同处理效的同时节省了处理时间。(a)图片原图(左)和算法1处理后(右);(b)图片原图(左)和算法2处理后(右)。

Claims (1)

1.一种基于并行处理框架的图像增强算法的加速方法,其特征在于,包括以下步骤:
步骤1:利用相机在需要图像增强的环境中采集图像以获取实时视频流,然后将视频流逐帧保存在输入缓存区内等待调用;
步骤2:在内存中为视频流预设输入缓存区和输出缓存区,当有数据刷新需要时,在缓存区中采用覆盖刷新方式逐帧读入图片;
步骤3:进行图片预处理中所需参数的估计;
步骤4:在相邻两帧图片读取的时间间隙内同时处理多帧图片:
4.1:从输入缓存区中取出第一帧图片,记为Oimg1
4.2:将取出的第一帧图片进行预处理之后,结合步骤3中的参数构造一个一对多的映射fA;fA表示图片预处理的映射,所述图片预处理包括将输入图片进行格式转换和卷积去噪;将预处理结果放入内存区[A1、A2、A3...]中;
步骤5、进行图片去雾处理中所需参数的估计;
步骤6、对放入内存[A1、A2、A3...]的图片利用步骤5中的估计参数构造多个一对一的映射fB;fB表示图片去雾的映射,所述图片去雾包括将两张输入图片分别进行去雾处理;处理后的结果放入内存区[B1、B2、B3...]中;
步骤7、将预处理之后的多张分开的单帧图片依照给定算法进行并行处理;接着,从输入缓存区中取出第二帧图片并记为Oimg2,并重复步骤4.2中的操作,得到第二帧图片的一个一对多的映射fA(Oimg2),用得到的图片覆盖内存区[A1、A2、A3...];
步骤8、将放入内存[B1、B2、B3…]的图片利用步骤3中的估计参数构造一个多对多或多对一或一对一的映射fC来进行交叉处理,fC表示图片增强,将两张输入图片合并增强,获得一张输出图片;将处理后的结果放入内存区[C1、C2、C3…]中,从输入缓存区中取出第三帧图片并记为Oimg3;重复步骤7中的操作,用得到的图片覆盖预处理后的图片存储空间和去雾处理后的图片存储空间;
步骤9、将储存增强图片的内存区进行R、G、B通道合并处理后放入输出缓存区中等待输出;接着,不断重复步骤8,从输入缓存区读入新的原始图片Oimgn,同时处理Oimgn和在内存区[A1、A2、A3…;B1、B2、B3...]的图片,并将处理的结果分别放入区域[A1、A2、A3...;B1、B2、B3...;C1、C2、C3...];
继续预处理图片、去雾图片和图片增强处理所需参数估计;
步骤10:在输入缓存区图片无更新或外加中断时,算法停止。
CN202110778210.3A 2021-07-09 2021-07-09 基于并行处理框架的图像增强算法加速方法 Active CN113570515B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110778210.3A CN113570515B (zh) 2021-07-09 2021-07-09 基于并行处理框架的图像增强算法加速方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110778210.3A CN113570515B (zh) 2021-07-09 2021-07-09 基于并行处理框架的图像增强算法加速方法

Publications (2)

Publication Number Publication Date
CN113570515A CN113570515A (zh) 2021-10-29
CN113570515B true CN113570515B (zh) 2023-08-29

Family

ID=78164271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110778210.3A Active CN113570515B (zh) 2021-07-09 2021-07-09 基于并行处理框架的图像增强算法加速方法

Country Status (1)

Country Link
CN (1) CN113570515B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0709392D0 (en) * 2007-05-15 2007-06-27 Artusi Alessandro Selective control mapping
CN111242872A (zh) * 2020-01-20 2020-06-05 中国科学院西安光学精密机械研究所 一种基于msr的实时rgb图像增强方法
CN112312031A (zh) * 2019-07-30 2021-02-02 辉达公司 增强的高动态范围成像和色调映射

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6754279B2 (en) * 1999-12-20 2004-06-22 Texas Instruments Incorporated Digital still camera system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0709392D0 (en) * 2007-05-15 2007-06-27 Artusi Alessandro Selective control mapping
CN112312031A (zh) * 2019-07-30 2021-02-02 辉达公司 增强的高动态范围成像和色调映射
CN111242872A (zh) * 2020-01-20 2020-06-05 中国科学院西安光学精密机械研究所 一种基于msr的实时rgb图像增强方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
嵌入式人体手背静脉图像采集系统的研制;王云新;刘铁根;朱均超;霍晓飞;江俊峰;;仪器仪表学报(第02期);全文 *

Also Published As

Publication number Publication date
CN113570515A (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
US9639956B2 (en) Image adjustment using texture mask
WO2021164234A1 (zh) 图像处理方法以及图像处理装置
CN111489372B (zh) 基于级联卷积神经网络的视频前背景分离方法
CN111402145B (zh) 一种基于深度学习的自监督低照度图像增强方法
CN112465727A (zh) 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法
RU2770748C1 (ru) Способ и аппарат для обработки изображений, устройство и носитель данных
CN110751649A (zh) 视频质量评估方法、装置、电子设备及存储介质
CN112348747A (zh) 图像增强方法、装置及存储介质
CN110852961A (zh) 一种基于卷积神经网络的实时视频去噪方法及系统
CN116757988B (zh) 基于语义丰富和分割任务的红外与可见光图像融合方法
CN112465726A (zh) 基于参考亮度指标指导的低照度可调节亮度增强方法
CN111882581A (zh) 一种深度特征关联的多目标跟踪方法
CN114882532A (zh) 一种基于改进yolox网络的跌倒检测方法及系统
CN111192213A (zh) 图像去雾自适应参数的计算方法、图像去雾方法及系统
CN113570515B (zh) 基于并行处理框架的图像增强算法加速方法
WO2019150649A1 (ja) 画像処理装置および画像処理方法
WO2022257184A1 (zh) 图像生成装置获取方法及图像生成装置
CN112164078B (zh) 基于编码器-解码器的rgb-d多尺度语义分割方法
CN115661188A (zh) 一种边缘计算平台下的道路全景目标检测跟踪方法
KR20140138046A (ko) 픽처를 처리하기 위한 방법 및 디바이스
CN111881794B (zh) 一种视频行为识别方法及系统
CN114449362A (zh) 视频封面的选取方法、装置、设备及存储介质
CN112819707A (zh) 一种端到端抗块效应低照度图像增强方法
CN112183727A (zh) 一种对抗生成网络模型、以及基于所述对抗生成网络模型的散景效果渲染方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant