CN110852965A - 一种基于生成对抗网络的视频光照增强方法及系统 - Google Patents
一种基于生成对抗网络的视频光照增强方法及系统 Download PDFInfo
- Publication number
- CN110852965A CN110852965A CN201911049129.0A CN201911049129A CN110852965A CN 110852965 A CN110852965 A CN 110852965A CN 201911049129 A CN201911049129 A CN 201911049129A CN 110852965 A CN110852965 A CN 110852965A
- Authority
- CN
- China
- Prior art keywords
- frame
- video
- illumination enhancement
- image
- illumination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000009432 framing Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 14
- 230000007246 mechanism Effects 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000003042 antagnostic effect Effects 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 239000013589 supplement Substances 0.000 claims description 2
- 230000001502 supplementing effect Effects 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 230000009191 jumping Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 238000012800 visualization Methods 0.000 abstract description 3
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- 230000004297 night vision Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 8
- 238000010276 construction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008278 dynamic mechanism Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于生成对抗网络的视频光照增强方法，包括：S1从原始视频数据中提取指定时间段的视频段，并对视频段中各帧图像顺次编号；S2对视频段进行分帧处理，获得独立的各帧图像；S3利用预训练的图像光照增强模型，对基帧进行光照增强；S4对基帧的后续帧进行光照增强；S5根据各帧图像编号顺序，将光照增强后的各帧图像合成视频，即实现视频段的光照增强。本发明可用于实时视频的光照增强，可提升视频光照度，获得更好的可视化效果，尤其适用光线较差情形；本发明技术可为夜视环境下的视频监控提供有力的技术支撑，具有较强的现实意义与应用价值。
Description
技术领域
本发明涉及实时视频增强的方法，属于视频处理与人工智能领域，具体涉及一种基于生成对抗网络的视频光照增强方法及系统。
背景技术
近年来，随着信息科学技术、图像处理技术、人工智能技术的飞速发展，传统的图像处理类应用已逐步为自动化处理技术所取代，人们可以运用各类深度学习网络进行诸如照片修复、图片的超分辨率重建、图像可视化增强等专业应用。然而在视频领域，受视频本身的特性所限，图像处理领域的成熟方法、技术，并不能直接应用，主要表现在以下几个方面：
（1）视频为保证连贯、不卡顿，需要至少每秒24帧以上的采集速率，也即每秒需要拍摄24张图片，若逐张处理图片，计算量较大，无法保证视频的实时传输；
（2）视频处理将占据更大的存储和运算空间；
（3）相同的硬件设备，由于无法类似拍照的长曝光功能，因此在某些应用场景下，视频质量低于图片质量；
（4）在视频监控领域，相较于图片，视频往往实时性要求更高。
发明内容
针对背景技术所提出的问题，本发明提供了一种基于生成对抗网络的视频光照增强方法及系统，本发明可用于实时视频的光照增强，可提升视频光照度，获得更好的可视化效果，尤其适用光线较差情形。
本发明提供的一种基于生成对抗网络的视频光照增强方法，包括：
S1 从原始视频数据中提取指定时间段的视频段，并对视频段中各帧图像顺次编号；
S2对视频段进行分帧处理，获得独立的各帧图像；
S3利用预训练的图像光照增强模型，对基帧进行光照增强，获得光照增强后的基帧，基帧为当前视频段的第一帧图像；所述图像光照增强模型基于生成对抗网络构建；
S4 对基帧的后续帧进行光照增强，本步骤具体为：
从基帧的第一帧后续帧开始，对各后续帧逐一进行如下处理：
S4.1 比较后续帧与基帧，确定后续帧中与基帧不同的区域；
S4.2利用图像光照增强模型，对后续帧中与基帧不同的区域进行光照增强；
S4.3对后续帧中与基帧相同的区域，采用光照增强后的基帧中的对应区域进行替换；
S5 根据各帧图像编号顺序，将光照增强后的各帧图像合成视频，即实现视频段的光照增强。
作为优选，当所提取的视频段中存在场景跳转，对所提取视频段进一步切割，保证所切割后的新视频段中画面的连续性。
作为优选，步骤S2进一步包括：
从当前视频段的第一帧图像开始，对两两相邻帧逐一做如下处理：
S2.1逐一比较后一帧与前一帧中各像素的RGB值之差，当所有像素的RGB值之差均不大于预设的RGB阈值，则判断两帧图像相同，去掉后一帧；否则，继续执行子步骤S2.2；
S2.2 统计不同像素点的数量，当不同像素点占所有像素点的比例未超过预设的比例阈值时，判断两帧图像相同，去掉后一帧；否则，判断两帧图像为不同图像；其中，不同像素点指：后一帧与前一帧中RGB值之差大于RGB阈值的像素点；
所述RGB阈值和所述比例阈值根据经验设定。
进一步的，步骤S3中，图像光照增强模型的构建过程为：
搭建生成对抗网络模型，生成对抗网络模型中的生成器利用U-net网络构建，判别器为马尔科夫判别器PatchGAN；以及对生成对抗网络模型进行训练。
对生成对抗网络模型进行训练，具体为：
采用摄像头采集一系列图像对，每对图像包括一低照度图像和一光照增强图像；
利用训练样本集对生成对抗网络模型进行反复迭代训练，直至判别器无法判断图像真假。
进一步的，子步骤S4.1具体为：
S4.1a 将基帧与后续帧划分为相同的网格；
S4.1b 基于网格内像素点的RGB值，逐一判断基帧与后续帧中相对应的两网格是否相同；
对所有网格逐一执行子步骤 S4.1b，将后续帧中判断为不相同的网格保存，后续帧中所有与基帧不同的网格，构成与基帧不同的区域。
当步骤S2采用权利要求3所记载方法实施时，步骤S5进一步包括：
S5.1 读取光照增强后各帧图像的编号；
S5.2 在空缺编号处，以前一帧图像复制补充至该空缺处，并采用该空缺编号标记；直至所有空缺编号处被复制补充图像；
S5.3 将所有帧图像按编号合成视频。
本发明方法还包括：
加入动态缓存机制，即在对视频段进行光照增强时，将下一视频段加入缓存；当步骤S4完成后，直接对缓存中的下一视频段开始执行步骤S2；
同时，引入同步机制，所述同步机制为：当步骤S3和步骤S4两个步骤完成后，直接标识状态空闲，并将状态标识发送给计算机主程序；当步骤S1、步骤S2、以及步骤S5三个步骤完成后，同样标识状态空闲，并将状态空闲信息发送给计算机主程序；
在主程序中比较两者计算进度，当前者运行较快，后面采取更小的视频段处理方式；若后者运行较快，则采用较少生成对抗网络模型参数的方式。
本发明提供的一种基于生成对抗网络的视频光照增强系统，包括：
视频预处理模块，用来从原始视频数据中提取指定时间段的视频段，并对视频段中各帧图像顺次编号；
视频分帧处理模块，用来对视频段进行分帧处理，获得独立的各帧图像；
视频基帧处理模块，用来利用预训练的图像光照增强模型，对基帧进行光照增强，获得光照增强后的基帧，基帧为当前视频段的第一帧图像；所述图像光照增强模型基于生成对抗网络构建；
视频后续帧处理模块，用来对基帧的后续帧进行光照增强；
视频段合成模块，用来根据各帧图像编号顺序，将光照增强后的各帧图像合成视频，即实现视频段的光照增强；
所述视频后续帧处理模块进一步包括：
比较子模块，用来比较后续帧与基帧，确定后续帧中与基帧不同的图像块区域；
光照增强子模块，用来利用图像光照增强模型，对后续帧中与基帧不同的区域进行光照增强；
替换模块，用来对后续帧中与基帧相同的区域，采用光照增强后的基帧中的对应区域进行替换。
作为优选，本发明系统还包括视频低延时输出模块，用来输出合成的视频段。
本发明具有如下特点和有益效果：
（1）本发明通过将原始视频流数据分帧处理，并比对连续图像帧之间的微小差异，仅针对该微小差异进行深度学习模型的训练、调整、以及增强光照，在实现视频流光照增强的同时，也能保证高效、低延时的运算速度。
（2）本发明可用于实时视频的光照增强，可提升视频光照度，获得更好的可视化效果，尤其适用光线较差情形。
（3）本发明技术可为夜视环境下的视频监控提供有力的技术支撑，具有较强的现实意义与应用价值。
附图说明
图1为实施例中方法的流程示意图；
图2为实施例中系统的结构框图。
具体实施方式
为了更清楚地说明本发明技术方案，下面将对照附图提供本发明实施例及其所产生的技术效果。显而易见地，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施方式。
实施例中利用计算机语言（例如C++），来编写相应的计算机程序来自动执行本发明，即利用所编写的计算机程序自动增强视频光照。本实施例中，以800×600分辨率的视频拍摄摄像头采集视频数据，模型构建和训练所基于的深度学习平台采用Tensorflow 2.0版本。
下面将结合附图1，来描述本发明方法及系统的具体实施方式。
S1 从所采集的原始视频数据中提取指定时间段的视频段，即当前视频段，该原始视频数据为实时视频数据。
执行本步骤时，根据实时性要求，人为设定时间段。当对实时性要求较高，则设定较短的时间段；反之，可设定较长的时间段。所截取的视频段大小可人为动态调整，以尽量确保视频段中每一帧画面的连续性。若某一帧画面跳转至另一场景，则以此帧画面切割视频段，将其一分为二。
本实施例中截取当前1秒的视频段，包括24帧图像。当前1秒的视频段即当前待处理的视频段，简记为当前视频段。将当前视频段中24帧图像顺次编号为1、2、……24，以记录图像帧在视频流中的相对位置。
为满足实时性需求，当前视频段处理过程中，亦在同步采集新的视频数据，因此在当前视频段的处理过程中，需将新采集的视频段加入缓存。缓存采用动态机制，即当上一视频段处理完成，立即将缓存中的新视频段读入内存，进行处理。
S2 对当前视频段进行分帧处理。
本步骤用于将视频段分解为独立的多张图像帧，具体分帧处理过程如下：
从当前视频段的第一帧图像开始，顺次对两两相邻帧逐一做如下处理：
S2.1将相邻帧中后一帧与前一帧比较，即逐一比较后一帧与前一帧中各像素的RGB值之差，当所有像素的RGB值之差均不大于预设的RGB阈值，则判断两帧图像相同，去掉后一帧；否则，继续执行子步骤S2.2。
RGB阈值根据经验设定，本实施例中RGB阈值设为0.1%，实际应用中可在0.05~0.2%范围内取值。
S2.2 统计不同像素点的数量，当不同像素点的比例未超过预设的比例阈值时，判断两帧图像相同，去掉后一帧；否则，判断两帧图像为不同图像。
关于不同像素点，其含义指：当后一帧与前一帧中某像素点的RGB值之差大于RGB阈值，则该像素点为不同像素点。这里所述RGB值指像素点的R值、G值、B值之和，所述的RGB值之差，即该和值之差。
关于不同像素点的比例，其指不同像素点的数量占所有像素点数量的比例。
比例阈值根据经验设定，本实施例中比例阈值设为0.2%，实际应用中可在0.01%~0.3%范围内取值。
对所有的相邻两帧，重复步骤2.1~2.2，比较其中两帧图像的差异性。本实施例中，当前视频段包括24帧图像，所有的相邻两帧包括（1,2）、（2、3）……（m，m+1）…（23、24），其中，m和m+1指图像帧编号，相对上述所有相邻两帧逐一比较差异性。
本步骤中，当两帧图像判断为相同，则认为该两帧图像间的拍摄画面为静态图像，为避免重复计算，去掉其中一帧图像。分帧处理最终保留的图像帧数应小于当前视频段的原始图像帧数。
S3 利用预训练的图像光照增强模型，对基帧进行光照增强，获得光照增强后的基帧，所述基帧为当前视频段的第一帧图像。
下面将提供图像光照增强模型的构建过程。
本实施例中基于Ubuntu 16.0.4操作系统，搭建Tensorflow GPU 2.0版本的深度学习框架，构建生成对抗网络模型，该生成对抗网络模型的生成器选用U-net网络，判别器选用马尔科夫判别器PatchGAN。生成器训练的模型即图像光照增强模型，待增强的图像输入图像光照增强模型，即可生成光照增强后的图像。判别器判断图像是原始图像还是经过光照增强后的图像。
构建训练样本集，本实施例中，采用摄像头采集12000对图像，每对图像包括一低照度图像和一光照增强图像。利用训练样本集对生成对抗网络模型进行反复迭代训练，直至达到或接近平衡，所述达到或接近平衡指判别器无法判断图像真假，则训练完成。
S4 对基帧的后续帧进行光照增强。
将步骤S2分帧处理所保留的图像帧中去除基帧，剩余的即基帧的后续帧。本步骤仅对后续帧中与基帧不同的区域进行局部光照增强，以此来提高计算速度，满足视频流实时响应的需求。
本步骤的具体实施过程如下：
从基帧的第一帧后续帧开始，逐一进行如下处理，直至所有后续帧完成后光照增强：
S4.1 比较后续帧与基帧，确定后续帧与基帧不同的图像块区域。具体的确定方法如下：
S4.1a 将基帧与后续帧划分为相同的网格，网格大小自定义。本实施例中，将基帧与后续帧划分为1600个网格，网格大小为20×15，单位：像素。
S4.1b 逐一比较基帧与后续帧中相对应的两网格区域内所有像素点的RGB和值，若该两网络区域的RGB和值之差不大于预设的阈值，则判断该两网格区域相同；否则，判断该两网格区域不同。
RGB和值的计算为：
首先，对网格中各像素点，计算其R、G、B值之和，记为RGB值之和；
接着，再将网格中所有像素点的RGB值之和相加，即得网格的RGB和值。
若网格大小为8×8，则首先分别计算其中64个像素点的R、G、B值之和，再将64个像素点的RGB值之和相加，即网格的RGB和值。
对所有网格区域逐一执行子步骤 S4.1b，将后续帧中判断为不同的网格区域保存，最终得到后续帧中由发生变化区域构成的图像块，即与基帧不同的图像块区域。
S4.2 利用步骤S3中的图像光照增强模型，对后续帧中与基帧不同的图像块区域进行光照增强。
S4.3后续帧中与基帧相同的网格区域，采用光照增强后的基帧中的对应网格区域进行替换。执行子步骤4.2和4.3后，即获得光照增强后的后续帧。
S5 将光照增强后的图像帧重新合成为视频，以实现视频流的光照增强。
前述步骤已逐帧实现了图像的光照增强，将光照增强后的图像还原成视频流流，即实现了视频流的光照增强。
本步骤具体为：
S5.1 读取光照增强后各帧图像的编号；
S5.2 由于步骤S2中去掉了某些静态帧，合成视频时应补充去掉的静态帧，以使合成后的视频连贯。具体来说，若增强处理后的各帧图像编号依次为1，3，8，12，15，24，在空缺编号处，以前一帧图像复制补充至该空缺处。按上例，将第一帧图像复制至起皱的空缺出，并编号为2；将第三帧图像复制至其后的多处空缺处，并依次编号为4、5、6、7。直至最终得到1~24帧图像序列；
S5.3 将补充后的图像序列合成视频。
S6 可视化低延时输出光照增强视频。
对于实时视频的光照增强，在步骤S1中加入了缓存机制，由于本实施例采用Tensorflow框架，主要以GPU计算方式实现，对GPU资源要求较高，而模型的一些预处理操作等更依赖于CPU计算，因此可将步骤分块运行，具体如下；
当步骤S4中后续帧的光照增强完成后，不必等待整个流程完成，而是直接计算缓存中的新视频段；
利用同步机制来确保整个视频增强流程的有序运行，所述同步机制可描述为：当步骤S3的基帧光照增强处理后和步骤S4的后续帧光照增强处理完成后，直接标识GPU状态空闲，并将状态标识发送给计算机主程序，状态标识用来表明哪段视频的处理完成，并开始新视频段的处理工作；
步骤S1的提取视频段、步骤S2的视频分帧处理、以及步骤S5的视频合成3个步骤完成后，同样将状态空闲信息发送给计算机主程序；
在主程序中比较两者计算进度，此处两者中前者指步骤S3的基帧光照增强处理后和步骤S4的后续帧光照增强处理两个步骤，后者指步骤S1的提取视频段、步骤S2的视频分帧处理、以及步骤S5的视频合成3个步骤；根据比较结果，提示用户优化程序，以最大化利用系统资源。如前者运行较快，则可采取更小的视频段处理方式，此处更小具体指视频段对应的时间段更短；若后者运行较快，则可采用较少生成对抗网络模型参数的方式，来轻量化模型，实现GPU计算速度的提升。
图2所示为上述方法所对应的系统，由于方法和系统的技术实质相同，在此不再赘述。
专业人员可以进一步意识到，结合本文中所公开的实施例描述的示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能性一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应超过本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机储存器、内存、只读存储器、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。
可以理解的是，对于本领域的普通技术人员来说，可以根据本发明的技术构思做出其它各种相应的改变与变形，而所有这些改变与变形都应属于本发明权利要求的保护范围。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (10)
1.一种基于生成对抗网络的视频光照增强方法，其特征是，包括：
S1 从原始视频数据中提取指定时间段的视频段，并对视频段中各帧图像顺次编号；
S2对视频段进行分帧处理，获得独立的各帧图像；
S3利用预训练的图像光照增强模型，对基帧进行光照增强，获得光照增强后的基帧，基帧为当前视频段的第一帧图像；所述图像光照增强模型基于生成对抗网络构建；
S4 对基帧的后续帧进行光照增强，本步骤具体为：
从基帧的第一帧后续帧开始，对各后续帧逐一进行如下处理：
S4.1 比较后续帧与基帧，确定后续帧中与基帧不同的图像块区域；
S4.2利用图像光照增强模型，对后续帧中与基帧不同的区域进行光照增强；
S4.3对后续帧中与基帧相同的区域，采用光照增强后的基帧中的对应区域进行替换；
S5 根据各帧图像编号顺序，将光照增强后的各帧图像合成视频，即实现视频段的光照增强。
2.如权利要求1所述的基于生成对抗网络的视频光照增强方法，其特征是：
当所提取的视频段中存在场景跳转，对所提取视频段进一步切割，保证所切割后的新视频段中画面的连续性。
3.如权利要求1或2所述的基于生成对抗网络的视频光照增强方法，其特征是：
步骤S2进一步包括：
从当前视频段的第一帧图像开始，对两两相邻帧逐一做如下处理：
S2.1逐一比较后一帧与前一帧中各像素的RGB值之差，当所有像素的RGB值之差均不大于预设的RGB阈值，则判断两帧图像相同，去掉后一帧；否则，继续执行子步骤S2.2；
S2.2 统计不同像素点的数量，当不同像素点占所有像素点的比例未超过预设的比例阈值时，判断两帧图像相同，去掉后一帧；否则，判断两帧图像为不同图像；其中，不同像素点指：后一帧与前一帧中RGB值之差大于RGB阈值的像素点；
所述RGB阈值和所述比例阈值根据经验设定。
4.如权利要求1所述的基于生成对抗网络的视频光照增强方法，其特征是：
步骤S3中，图像光照增强模型的构建过程为：
搭建生成对抗网络模型，生成对抗网络模型中的生成器利用U-net网络构建，判别器为马尔科夫判别器PatchGAN；以及对生成对抗网络模型进行训练。
5.如权利要求4所述的基于生成对抗网络的视频光照增强方法，其特征是：
对生成对抗网络模型进行训练，具体为：
采用摄像头采集一系列图像对，每对图像包括一低照度图像和一光照增强图像；
利用训练样本集对生成对抗网络模型进行反复迭代训练，直至判别器无法判断图像真假。
6.如权利要求1所述的基于生成对抗网络的视频光照增强方法，其特征是：
子步骤S4.1具体为：
S4.1a 将基帧与后续帧划分为相同的网格；
S4.1b 基于网格内像素点的RGB值，逐一判断基帧与后续帧中相对应的两网格是否相同；
对所有网格逐一执行子步骤 S4.1b，将后续帧中判断为不相同的网格保存，后续帧中所有与基帧不同的网格，构成与基帧不同的图像块区域。
7.如权利要求1所述的基于生成对抗网络的视频光照增强方法，其特征是：
当步骤S2采用权利要求3所记载方法实施时，步骤S5进一步包括：
S5.1 读取光照增强后各帧图像的编号；
S5.2 在空缺编号处，以前一帧图像复制补充至该空缺处，并采用该空缺编号标记；直至所有空缺编号处被复制补充图像；
S5.3 将所有帧图像按编号合成视频。
8.如权利要求1所述的基于生成对抗网络的视频光照增强方法，其特征是：
还包括：
加入动态缓存机制，即在对视频段进行光照增强时，将下一视频段加入缓存；当步骤S4完成后，直接对缓存中的下一视频段开始执行步骤S2；
同时，引入同步机制，所述同步机制为：当步骤S3和步骤S4两个步骤完成后，直接标识状态空闲，并将状态标识发送给计算机主程序；当步骤S1、步骤S2、以及步骤S5三个步骤完成后，同样标识状态空闲，并将状态空闲信息发送给计算机主程序；
在主程序中比较两者计算进度，当前者运行较快，后面采取更小的视频段处理方式；若后者运行较快，则采用较少生成对抗网络模型参数的方式。
9.一种基于生成对抗网络的视频光照增强系统，其特征是，包括：
视频预处理模块，用来从原始视频数据中提取指定时间段的视频段，并对视频段中各帧图像顺次编号；
视频分帧处理模块，用来对视频段进行分帧处理，获得独立的各帧图像；
视频基帧处理模块，用来利用预训练的图像光照增强模型，对基帧进行光照增强，获得光照增强后的基帧，基帧为当前视频段的第一帧图像；所述图像光照增强模型基于生成对抗网络构建；
视频后续帧处理模块，用来对基帧的后续帧进行光照增强；
视频段合成模块，用来根据各帧图像编号顺序，将光照增强后的各帧图像合成视频，即实现视频段的光照增强；
所述视频后续帧处理模块进一步包括：
比较子模块，用来比较后续帧与基帧，确定后续帧中与基帧不同的图像块区域；
光照增强子模块，用来利用图像光照增强模型，对后续帧中与基帧不同的区域进行光照增强；
替换模块，用来对后续帧中与基帧相同的区域，采用光照增强后的基帧中的对应区域进行替换。
10.如权利要求9所述的基于生成对抗网络的视频光照增强系统，其特征是：
还包括视频低延时输出模块，用来输出合成的视频段。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911049129.0A CN110852965A (zh) | 2019-10-31 | 2019-10-31 | 一种基于生成对抗网络的视频光照增强方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911049129.0A CN110852965A (zh) | 2019-10-31 | 2019-10-31 | 一种基于生成对抗网络的视频光照增强方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110852965A true CN110852965A (zh) | 2020-02-28 |
Family
ID=69599136
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911049129.0A Pending CN110852965A (zh) | 2019-10-31 | 2019-10-31 | 一种基于生成对抗网络的视频光照增强方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110852965A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111756770A (zh) * | 2020-07-16 | 2020-10-09 | 鸣飞伟业技术有限公司 | 一种高清视频安全隔离显示网关 |
| CN112053293A (zh) * | 2020-08-10 | 2020-12-08 | 广州工程技术职业学院 | 生成对抗网络训练方法、图像亮度增强方法、装置和介质 |
| CN112287779A (zh) * | 2020-10-19 | 2021-01-29 | 华南农业大学 | 一种低光照度图像自然光照度补强方法及应用 |
| CN113052972A (zh) * | 2021-04-09 | 2021-06-29 | 杭州群核信息技术有限公司 | 一种基于神经网络的灯光光照效果增强的方法、装置、系统和存储介质 |
| CN117714902A (zh) * | 2024-02-05 | 2024-03-15 | 广东森旭通用设备科技有限公司 | 一种超低照度的图像视频在线监测方法和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102906696A (zh) * | 2010-03-26 | 2013-01-30 | 维尔图尔梅特里克斯公司 | 计算机系统的细粒性能资源管理 |
| CN103747213A (zh) * | 2014-01-15 | 2014-04-23 | 北京工业大学 | 一种基于运动目标的交通监控视频实时去雾方法 |
| CN105550999A (zh) * | 2015-12-09 | 2016-05-04 | 西安邮电大学 | 一种基于背景复用的视频图像增强处理方法 |
| CN105828184A (zh) * | 2015-08-31 | 2016-08-03 | 维沃移动通信有限公司 | 一种视频处理方法及移动终端 |
| CN109934776A (zh) * | 2018-12-25 | 2019-06-25 | 北京奇艺世纪科技有限公司 | 模型生成方法、视频增强方法、装置及计算机可读存储介质 |
| CN110264424A (zh) * | 2019-06-20 | 2019-09-20 | 北京理工大学 | 一种基于生成对抗网络的模糊视网膜眼底图像增强方法 |
-
2019
- 2019-10-31 CN CN201911049129.0A patent/CN110852965A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102906696A (zh) * | 2010-03-26 | 2013-01-30 | 维尔图尔梅特里克斯公司 | 计算机系统的细粒性能资源管理 |
| CN103747213A (zh) * | 2014-01-15 | 2014-04-23 | 北京工业大学 | 一种基于运动目标的交通监控视频实时去雾方法 |
| CN105828184A (zh) * | 2015-08-31 | 2016-08-03 | 维沃移动通信有限公司 | 一种视频处理方法及移动终端 |
| CN105550999A (zh) * | 2015-12-09 | 2016-05-04 | 西安邮电大学 | 一种基于背景复用的视频图像增强处理方法 |
| CN109934776A (zh) * | 2018-12-25 | 2019-06-25 | 北京奇艺世纪科技有限公司 | 模型生成方法、视频增强方法、装置及计算机可读存储介质 |
| CN110264424A (zh) * | 2019-06-20 | 2019-09-20 | 北京理工大学 | 一种基于生成对抗网络的模糊视网膜眼底图像增强方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111756770A (zh) * | 2020-07-16 | 2020-10-09 | 鸣飞伟业技术有限公司 | 一种高清视频安全隔离显示网关 |
| CN111756770B (zh) * | 2020-07-16 | 2022-05-31 | 鸣飞伟业技术有限公司 | 一种高清视频安全隔离显示网关 |
| CN112053293A (zh) * | 2020-08-10 | 2020-12-08 | 广州工程技术职业学院 | 生成对抗网络训练方法、图像亮度增强方法、装置和介质 |
| CN112287779A (zh) * | 2020-10-19 | 2021-01-29 | 华南农业大学 | 一种低光照度图像自然光照度补强方法及应用 |
| CN112287779B (zh) * | 2020-10-19 | 2022-03-25 | 华南农业大学 | 一种低光照度图像自然光照度补强方法及应用 |
| CN113052972A (zh) * | 2021-04-09 | 2021-06-29 | 杭州群核信息技术有限公司 | 一种基于神经网络的灯光光照效果增强的方法、装置、系统和存储介质 |
| CN113052972B (zh) * | 2021-04-09 | 2022-08-23 | 杭州群核信息技术有限公司 | 基于神经网络的光照效果增强的方法、装置、系统和介质 |
| CN117714902A (zh) * | 2024-02-05 | 2024-03-15 | 广东森旭通用设备科技有限公司 | 一种超低照度的图像视频在线监测方法和系统 |
| CN117714902B (zh) * | 2024-02-05 | 2024-04-19 | 广东森旭通用设备科技有限公司 | 一种超低照度的图像视频在线监测方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110852965A (zh) | 一种基于生成对抗网络的视频光照增强方法及系统 | |
| CN108898567B (zh) | 图像降噪方法、装置及系统 | |
| KR102134405B1 (ko) | 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법 | |
| CN108305271B (zh) | 一种视频帧图像处理方法和装置 | |
| US20200357099A1 (en) | Video inpainting with deep internal learning | |
| KR101313637B1 (ko) | 콘트라스트 개선을 위한 영상 처리 장치 및 영상 처리 방법 | |
| CN109493297B (zh) | 低质量人脸图像增强方法、系统、设备及存储介质 | |
| KR20110084025A (ko) | 다중노출 영상을 합성하는 영상합성장치 및 방법 | |
| US20220156987A1 (en) | Adaptive convolutions in neural networks | |
| WO2015141487A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| CN109035147B (zh) | 图像处理方法及装置、电子装置、存储介质和计算机设备 | |
| CN111835983A (zh) | 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统 | |
| CN115996322B (zh) | 数字视频摄影用影像数据管理方法 | |
| CN116471486A (zh) | 一种从单曝光电缆隧道图像生成高动态范围图像的方法 | |
| CN112489103B (zh) | 一种高分辨率深度图获取方法及系统 | |
| KR101437898B1 (ko) | 단일 영상을 이용한 hdr 영상 생성 장치 및 방법 | |
| WO2024131035A1 (zh) | 视频插帧方法及装置 | |
| CN109360176A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| WO2020110432A1 (ja) | 学習装置、前景領域推定装置、学習方法、前景領域推定方法、及び、プログラム | |
| JP7159582B2 (ja) | 監視ビデオにおけるデータの拡張方法及び装置 | |
| JP2020046960A (ja) | 画像処理装置、画像処理装置の制御方法、およびプログラム | |
| CN115409721A (zh) | 暗光视频增强方法及装置 | |
| KR20230086996A (ko) | 노이즈 추가 프로세스를 수행하는 컴퓨터 프로그램 | |
| JPWO2010018610A1 (ja) | 背景用映像生成方法、背景用映像生成システム | |
| CN117082225B (zh) | 一种虚拟延时视频的生成方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200228 |