CN113012074B - 一种适用于低照度环境的智能图像处理方法 - Google Patents
一种适用于低照度环境的智能图像处理方法 Download PDFInfo
- Publication number
- CN113012074B CN113012074B CN202110428038.9A CN202110428038A CN113012074B CN 113012074 B CN113012074 B CN 113012074B CN 202110428038 A CN202110428038 A CN 202110428038A CN 113012074 B CN113012074 B CN 113012074B
- Authority
- CN
- China
- Prior art keywords
- convolution
- layer
- image
- output
- height
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 17
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000010586 diagram Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 10
- 238000003062 neural network model Methods 0.000 claims abstract description 7
- 238000013480 data collection Methods 0.000 claims abstract description 4
- 230000004913 activation Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及智能图像领域，具体提供了一种适用于低照度环境的智能图像处理方法，具有以下步骤：S1、构建神经网络模型构架：利用经典卷积和分组空洞卷积相结合的模式，用于每层输出的特征图尺寸与输入一致，在多设备上运行；S2、数据收集：收集样本图像和标签图像。与现有技术相比，本发明利用简单易得的数据集训练神经网络模型，模型被训练后可以显著提升相机在低照度环境下所拍摄图像的清晰度，包括可以看清图像的色彩和纹理信息，具有良好的推广价值。
Description
技术领域
本发明涉及智能图像领域，具体提供一种适用于低照度环境的智能图像处理方法。
背景技术
在移动机器人巡检过程中使用摄像机拍照是非常普遍需求，但在一些环境中无法保证光源时刻工作。例如：外部照明关闭，或机器人自带补光灯因为条件约束无法开启等，从而导致摄像机成像质量差，信噪比降低，色彩和纹理信息损失严重。延长曝光时间可能会增强低光照环境的成像亮度，但同时也放大了噪音；另外在对时间敏感的工作环境中，延长曝光时间还会影响巡检效率或巡检结果，无法形成清晰的视频。
如何保证在摄像过程中低照度环境下图像的清晰是本领域技术人员亟待解决的问题。
发明内容
本发明是针对上述现有技术的不足，提供一种实用性强的适用于低照度环境的智能图像处理方法。
本发明解决其技术问题所采用的技术方案是：
一种适用于低照度环境的智能图像处理方法，具有以下步骤：
S1、构建神经网络模型构架：利用经典卷积和分组空洞卷积相结合的模式，用于每层输出的特征图尺寸与输入一致，在多设备上运行；
S2、数据收集：收集样本图像和标签图像。
进一步的，在步骤S1中，输入层将产生的原始拜耳矩阵分解为四通道的特征图，特征图宽度和高度为拜耳矩阵的一半大小。
作为优选，所述的四通道特征图包括一个红色通道、两个绿色通道和一个蓝色通道。
进一步的，第一层为经典卷积，使用32个卷积核，每个卷积核的宽度和高度均为1，使用ReLU激活函数，得到第二层的输出。
进一步的，所述的第二层采用分组空洞卷积的模式，输入的特征图每个通道为一组，每组分配三个卷积核，所述卷积宽度和高度均为3，第二个卷积核膨胀率为2，第三个卷积膨胀率为4，第二层对每个特征图进行ReLU激活。
进一步的，第三层为经典卷积，使用64个卷积核，每个卷积核的宽度和高度为1，使用ReLU激活函数，得到第三层的输出。
进一步的，第四层采用分组空洞卷积的模式，输入的特征图每个通道为一组，每组分配三个卷积核，所有卷积核宽度和高度均为3，但是第二个卷积核膨胀率为4，第三个卷积核膨胀率为8，第四层对每个特征图进行ReLU激活。
进一步的，第五层输入为第四层输出，使用卷积个数为12，输出的特征图通道数为12，宽度和高度均为1；
第六层将第五层的输出进行上采样，高度和宽度均为输入的2倍，得到与样本标签图像相同的尺寸，然后使用3个卷积核和ReLU激活函数，得到一个由三通道组成的特征图，与样本标签图像进行像素级别的误差对比。
进一步的，在步骤S2中，所述样本图像为快速曝光的图像，使用相机生成的数据，即拜耳阵列；
标签图像为长时间曝光的图像，使用相机处理后输出RGB彩色图像。
进一步的，，所述样本图像有唯一对应的标签图像，但一个标签图像允许是多个样本图像的标签图像。
本发明的一种适用于低照度环境的智能图像处理方法和现有技术相比，具有以下突出的有益效果：
本发明利用简单易得的数据集训练神经网络模型，模型被训练后可以显著提升相机在低照度环境下所拍摄图像的清晰度，包括可以看清图像的色彩和纹理信息。
经实验选用六层卷积，为了保证像素级别的误差尽可能小，对模型结构进行了特出处理，主要特点为高感受视野和低卷积移动步长，卷积操作时的低移动步长保证图像特征的高分辨率不随层数加深而变小，空洞卷积在不增加参数量的情况下提高感受野。
具体实施方式
为了使本技术领域的人员更好的理解本发明的方案，下面结合具体的实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。
下面给出一个最佳实施例：
本实施例中的一种适用于低照度环境的智能图像处理方法，具有以下步骤：
S1、构建神经网络模型构架：
采用经典卷积、分组空洞卷积相结合的模式，保证每层输出的特征图尺寸与输入一致，同时尽可能减少计算，达到在尽可能多的设备上可以实时运行的目的。模型的结构为：
输入层将相机产生的原始拜耳矩阵分解为四通道的特征图，包括一个红色通道、两个绿色通道和一个蓝色通道，特征图宽度和高度为拜耳矩阵的一半大小。
第一层为经典卷积，使用32个卷积核，每个卷积核的宽度和高度均为1，使用ReLU激活函数，得到第二层的输出。
第二层采用分组空洞卷积的模式，输入的特征图每个通道为一组，每组分配三个卷积核，所有卷积核宽度和高度均为3，但是第二个卷积核膨胀率为2，第三个卷积核膨胀率为4，达到增加卷积感受野的效果，第二层最后对每个特征图进行ReLU激活。
第三层为经典卷积，使用64个卷积核，每个卷积核的宽度和高度均为1，使用ReLU激活函数，得到第三层的输出。
第四层采用分组空洞卷积的模式，输入的特征图每个通道为一组，每组分配三个卷积核，所有卷积核宽度和高度均为3，但是第二个卷积核膨胀率为4，第三个卷积核膨胀率为8，进一步提高卷积感受野，第四层最后对每个特征图进行ReLU激活。
第五层输入为第四层输出，使用卷积个数为12，输出的特征图通道数为12，宽度和高度均为1；
第六层将第五层的输出进行上采样，高度和宽度均为输入的2倍，得到与样本标签图像相同的尺寸，然后使用3个卷积核和ReLU激活函数，得到一个由三通道组成的特征图，与样本标签图像进行像素级别的误差对比。
S2、数据收集：
样本图像为快速曝光的图像，使用相机生成的数据，即拜耳阵列；标签图像为长时间曝光的图像，使用相机处理后输出RGB彩色图像。
为保证样本图像与标注图像内容的一致性，选取静态场景进行拍摄，画面内无移动物体，无闪烁光源等，并保证样本图像和标签图像为同一相机生成，且拍摄期间不产生移动或姿态变化，不同样本可以由不同型号相机生成。
每个样本图像有唯一对应的标签图像，但一个标签图像允许是多个样本图像的标签图像，连续快速拍摄多张快速曝光的图像即可产生多个样本图像，但这些样本图像的标签图像可能是同一张图像。
可以选取同一款相机产生所有图像，也可以使用尽可能多的型号的相机产生图像。如果使用多种型号的相机，应保证每种型号产生的标签图像数量尽可能均衡。
无论使用一种或多种相机，都尽可能拍摄多种场景的图像，场景的差距主要考虑被拍摄内容以及照度变化。若巡检场景中低光照环境变化很小，则可以不考虑拍摄内容和照度变化，此时可以直接拍摄巡检场景内的被巡检对象，但训练得到的模型只保证在该场景中工作正常。
本发明的模型建立后，使用收集的数据集和数值优化算法对模型进行优化，得到损失足够小的模型。
该模型可以部署到相机的处理芯片，当工作在低光照环境下则启动该模型进行推理，实时输出色彩信息、纹理信息丰富的高质量图像。或者部署到巡检机器人的计算单元作为后期处理方法使用。
上述具体的实施方式仅是本发明具体的个案，本发明的专利保护范围包括但不限于上述具体的实施方式，任何符合本发明的一种适用于低照度环境的智能图像处理方法权利要求书的且任何所述技术领域普通技术人员对其做出的适当变化或者替换，皆应落入本发明的专利保护范围。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (1)
1.一种适用于低照度环境的智能图像处理方法，其特征在于，具有以下步骤：
S1、构建神经网络模型构架：利用经典卷积和分组空洞卷积相结合的模式，用于每层输出的特征图尺寸与输入一致，在多设备上运行；
输入层将产生的原始拜耳矩阵分解为四通道的特征图，特征图宽度和高度为拜耳矩阵的一半大小；
所述的四通道特征图包括一个红色通道、两个绿色通道和一个蓝色通道；第一层为经典卷积，使用32个卷积核，每个卷积核的宽度和高度均为1，使用ReLU激活函数，得到第一层的输出；
第二层采用分组空洞卷积的模式，输入的特征图每个通道为一组，每组分配三个卷积核，所述卷积宽度和高度均为3，第二个卷积核膨胀率为2，第三个卷积膨胀率为4，第二层对每个特征图进行ReLU激活；
第三层为经典卷积，使用64个卷积核，每个卷积核的宽度和高度为1，使用ReLU激活函数，得到第三层的输出；
第四层采用分组空洞卷积的模式，输入的特征图每个通道为一组，每组分配三个卷积核，所有卷积核宽度和高度均为3，但是第二个卷积核膨胀率为4，第三个卷积核膨胀率为8，第四层对每个特征图进行ReLU激活；
第五层输入为第四层输出，卷积核个数为12，输出的特征图通道数为12，宽度和高度与输入相同均为1，得到第五层的输出；
第六层将第五层的输出进行上采样，高度和宽度均为输入的2倍，得到与样本标签图像相同的尺寸，然后使用3个卷积核和ReLU激活函数，得到一个由三通道组成的特征图，与样本标签图像进行像素级别的误差对比；
S2、数据收集：收集样本图像和标签图像；
所述样本图像为快速曝光的图像，使用相机生成的数据，即拜耳阵列；标签图像为长时间曝光的图像，使用相机处理后输出RGB彩色图像；所述样本图像有唯一对应的标签图像，但一个标签图像允许是多个样本图像的标签图像；
S3、使用收集的数据集和数值优化算法对模型进行优化，得到损失足够小的模型，将优化的模型部署到相机的处理芯片，当工作在低光照环境下启动最优模型进行推理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110428038.9A CN113012074B (zh) | 2021-04-21 | 2021-04-21 | 一种适用于低照度环境的智能图像处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110428038.9A CN113012074B (zh) | 2021-04-21 | 2021-04-21 | 一种适用于低照度环境的智能图像处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113012074A CN113012074A (zh) | 2021-06-22 |
| CN113012074B true CN113012074B (zh) | 2023-03-24 |
Family
ID=76388877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110428038.9A Active CN113012074B (zh) | 2021-04-21 | 2021-04-21 | 一种适用于低照度环境的智能图像处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113012074B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11468543B1 (en) | 2021-08-27 | 2022-10-11 | Hong Kong Applied Science and Technology Research Institute Company Limited | Neural-network for raw low-light image enhancement |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378844A (zh) * | 2019-06-14 | 2019-10-25 | 杭州电子科技大学 | 基于循环多尺度生成对抗网络的图像盲去运动模糊方法 |
| CN111882002A (zh) * | 2020-08-06 | 2020-11-03 | 桂林电子科技大学 | 一种基于msf-am的低照度目标检测方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111507343B (zh) * | 2019-01-30 | 2021-05-18 | 广州市百果园信息技术有限公司 | 语义分割网络的训练及其图像处理方法、装置 |
| CN110111269B (zh) * | 2019-04-22 | 2023-06-06 | 深圳久凌软件技术有限公司 | 基于多尺度上下文聚合网络的低照度成像算法及装置 |
| WO2021031066A1 (zh) * | 2019-08-19 | 2021-02-25 | 中国科学院深圳先进技术研究院 | 一种软骨图像分割方法、装置、可读存储介质及终端设备 |
-
2021
- 2021-04-21 CN CN202110428038.9A patent/CN113012074B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378844A (zh) * | 2019-06-14 | 2019-10-25 | 杭州电子科技大学 | 基于循环多尺度生成对抗网络的图像盲去运动模糊方法 |
| CN111882002A (zh) * | 2020-08-06 | 2020-11-03 | 桂林电子科技大学 | 一种基于msf-am的低照度目标检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113012074A (zh) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI389559B (zh) | 前景影像分離方法 | |
| CN110378845B (zh) | 一种基于卷积神经网络的极端条件下的图像修复方法 | |
| DE102016115292B4 (de) | Verfahren und Vorrichtung zur automatischen Belichtungswerterfassung für High Dynamic Range Imaging | |
| CN101083724B (zh) | 具有提供增强动态范围图像的交错读取的cmos图像系统 | |
| US10021313B1 (en) | Image adjustment techniques for multiple-frame images | |
| JP7077395B2 (ja) | 多重化高ダイナミックレンジ画像 | |
| CN1960439A (zh) | 图像信号处理的方法和装置 | |
| US6593961B1 (en) | Test efficient method of classifying image quality of an optical sensor using three categories of pixels | |
| JP2010504664A (ja) | モノクロカメラでカラーイメージを撮影する結像方法と装置 | |
| CN104639923A (zh) | 一种对图像数据进行处理的方法、装置和终端 | |
| CN113489863B (zh) | 一种移动拍摄系统和方法 | |
| US20080075354A1 (en) | Removing singlet and couplet defects from images | |
| CN109785252A (zh) | 基于多尺度残差密集网络夜间图像增强方法 | |
| CN113012074B (zh) | 一种适用于低照度环境的智能图像处理方法 | |
| CN110620878A (zh) | 片内区域曝光成像方法 | |
| US10645304B2 (en) | Device and method for reducing the set of exposure times for high dynamic range video/imaging | |
| CN107644437B (zh) | 基于分块的偏色检测系统及其方法 | |
| CN106454144A (zh) | 一种对谷歌眼镜图像过度曝光的校正方法 | |
| CN115297257B (zh) | 一种多路视频流获取方法、装置及设备 | |
| Lam et al. | Automatic white balancing using standard deviation of RGB components | |
| CN116721039A (zh) | 一种应用于自动化光学缺陷检测中的图像预处理方法 | |
| Lam et al. | Automatic white balancing using luminance component and standard deviation of RGB components [image preprocessing] | |
| US8508632B2 (en) | Image processing method of obtaining a high dynamic range image | |
| CN116055891A (zh) | 图像处理方法及其装置 | |
| CN113099191B (zh) | 一种图像处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |