CN111626950A - 一种图像去噪模型的在线训练装置及方法 - Google Patents
一种图像去噪模型的在线训练装置及方法 Download PDFInfo
- Publication number
- CN111626950A CN111626950A CN202010425474.6A CN202010425474A CN111626950A CN 111626950 A CN111626950 A CN 111626950A CN 202010425474 A CN202010425474 A CN 202010425474A CN 111626950 A CN111626950 A CN 111626950A
- Authority
- CN
- China
- Prior art keywords
- denoising model
- training
- image
- exposure conditions
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000013528 artificial neural network Methods 0.000 claims description 32
- 238000007781 pre-processing Methods 0.000 claims description 20
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 abstract description 4
- 238000005286 illumination Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种图像去噪模型的在线训练装置，包括摄像头、存储模块和训练模块，所述存储模块分别连接所述摄像头和训练模块，所述摄像头用于拍摄图像，并将拍摄的图像及对应的曝光条件按照不同拍摄环境分类存储在所述存储模块；所述曝光条件包括正常曝光条件和其他曝光条件；所述训练模块中包括去噪模型，所述存储模块中拍摄环境A中正常曝光条件及对应图像、其他曝光条件及对应图像传输至所述训练模块中对所述去噪模型进行训练，获得拍摄环境A对应的最优去噪模型。本发明提供的一种图像去噪模型的在线训练装置及方法，克服了线下训练方法存在的采样图像不能覆盖全空间的问题，确保了去噪模型的精准性。
Description
技术领域
本发明涉及图像处理领域，具体涉及一种图像去噪模型的在线训练装置及方法。
背景技术
图像传感器在获取图像时，由于拍摄场景不同，其获取的图像中包含的噪声信息不同；尤其在低光照环境下，图像中的噪声水平很高，甚至可以和图像信息相比拟，如何在低光照拍摄环境下对图像进行去噪并提取图像信息，是一项很有挑战的工作。
近年来基于卷积神经网络的去噪模型逐渐应用在图像去噪领域，通常来讲，神经网络的训练是采用线下训练的方法，先搜集大量场景，每一场景均采集不同曝光条件下的图像，然后在服务器上完成训练。一般来讲，低光照工作环境有其特定的应用场景，比如工业环境、地下车库等，在不同的拍摄环境中拍摄的图像包含的噪声不同，为了确保去噪的准确性，不同拍摄环境需要配备不同的去噪模型，在训练不同的去噪模型时需要大量的该拍摄环境下不同曝光条件所拍摄的图像。
传统的图像采集方式不利于对具体拍摄环境中训练图像的大量采集，现有的线下训练方式也不能确保训练之后去噪模型的精准度；当验证之后的去噪模型不能满足要求时，不能及时快捷地寻找出该拍摄环境下的训练图像。因此，如何快速准确地训练得到特定拍摄环境下的去噪模型是图像处理领域亟待解决的问题。
发明内容
本发明的目的是提供一种图像去噪模型的在线训练装置及方法，克服了线下训练方法存在的采样图像不能覆盖全空间的问题，确保了去噪模型的精准性。
为了实现上述目的，本发明采用如下技术方案：一种图像去噪模型的在线训练装置，包括摄像头、存储模块和训练模块，所述存储模块分别连接所述摄像头和训练模块，所述摄像头用于拍摄图像，并将拍摄的图像及对应的曝光条件按照不同拍摄环境分类存储在所述存储模块；所述曝光条件包括正常曝光条件和其他曝光条件；
所述训练模块中包括去噪模型，所述存储模块中拍摄环境A中正常曝光条件及对应图像、其他曝光条件及对应图像传输至所述训练模块中对所述去噪模型进行训练，获得拍摄环境A对应的最优去噪模型。
进一步地，所述训练模块包括FPGA和外围接口电路。
进一步地，所述训练模块还包括图像预处理单元和训练调度单元。
进一步地，所述去噪模型为神经网络去噪模型。
进一步地，所述在线训练装置还包括移动载体，所述摄像头位于所述移动载体上，并随着移动载体的移动进行不同拍摄环境下的拍摄。
本发明提供的一种图像去噪模型的在线训练方法，包括如下步骤：
S01：摄像头拍摄图像，并将拍摄的图像及对应的曝光条件按照不同拍摄环境分类存储在存储模块；
S02：拍摄环境A中正常曝光条件及对应图像、其他曝光条件及对应图像传输至训练模块中对去噪模型进行训练；
S03：所述训练模块获得拍摄环境A对应的最优去噪模型。
进一步地，所述训练模块还包括图像预处理单元和训练调度单元，所述步骤S02中拍摄环境A正常曝光条件及对应图像、其他曝光条件及对应图像在所述训练调度单元的调配下进入所述图像预处理单元进行预处理，预处理之后的图像对所述去噪模型进行训练。
进一步地，所述去噪模型为神经网络去噪模型。
进一步地，所述步骤S02中将拍摄环境A中其他曝光条件及对应图像、正常曝光条件作为神经网络去噪模型的输入，正常曝光条件下的图像作为神经网络去噪模型的输出，对神经网络去噪模型进行训练。
进一步地，所述步骤S03中当训练之后的神经网络去噪模型收敛之后，获得拍摄环境A对应的最优去噪模型；否则，继续对神经网络去噪模型进行训练直至收敛。
本发明具有如下有益效果：本发明对特定拍摄环境中不同曝光条件下拍摄的大量图像进行神经网络去噪模型的在线训练；同时去噪模型的训练基于FPGA板卡实现，从而获得特定拍摄环境对应的神经网路去噪模型。本发明克服了线下训练方法可能存在的采样图像不能覆盖全空间的问题，采集的图像充分，保证了训练之后去噪模型的精准性。
附图说明
附图1为本发明一种图像去噪模型的在线训练装置的结构示意图；
附图2为本发明一种图像去噪模型的在线训练方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的具体实施方式做进一步的详细说明。
如附图1所示，本发明提供的一种图像去噪模型的在线训练装置，包括摄像头、存储模块和训练模块，存储模块分别连接摄像头和训练模块，摄像头用于拍摄图像，并将拍摄的图像及对应的曝光条件按照不同拍摄环境分类存储在存储模块，训练模块中包括去噪模型，存储模块中拍摄环境A中正常曝光条件及对应图像、其他曝光条件及对应图像传输至训练模块中对去噪模型进行训练，获得拍摄环境A对应的最优去噪模型。
本发明中摄像头所用的图像传感器即为目标图像传感器，用于采集特定拍摄环境下的图像，不同的拍摄环境对应不同的应用场景。本发明中训练之后的去噪模型可用于对摄像头所在的图像传感器拍摄的图像进行去噪。对于同一拍摄环境，会在不同曝光条件下拍摄多帧图像，作为后续去噪模型的训练图像集。如果该图像传感器会应用于多种拍摄环境，则此设备可以依次工作于相应的拍摄环境，针对同一拍摄环境，在不同曝光条件下拍摄多张图像，供后续去噪模型训练使用。本发明每一种拍摄环境所对应的去噪模型对应的参数并不相同，因此，后续不同拍摄环境中的图像用于训练对应拍摄环境下的去噪模型。本发明中拍摄环境可以为任意的拍摄环境，例如在低光照拍摄环境中拍摄图像的噪声较为明显，可以采用本发明装置和方法训练低光照拍摄环境下对应的去噪模型。
本发明中存储模块可以分为多个存储单元，每一个存储单元用于存储一种拍摄环境中的图像，其中，在同一种拍摄环境下，采用不同的曝光条件进行拍摄，存储单元中同时存储该拍摄环境下的曝光条件以及对应的图像；每一种曝光条件下拍摄多帧图像用于后续去噪模型的训练。每一种拍摄环境的曝光条件包括正常曝光条件和其他曝光条件，其中，具体的曝光条件包括曝光时间、焦距、光照、摄像头光圈大小等等参数。本发明中正常的曝光条件指的是该拍摄环境下，能够得到图像信号强而噪声弱的图像时对应的曝光条件，且正常的曝光条件可以根据图像质量以及图像的应用领域自行设定；在该拍摄环境下，不同于正常曝光条件的其曝光条件统称为其他曝光条件。
本发明中训练模块具体包括FPGA和外围接口电路，外围接口电路用于对去噪模型进行后续的传输以及处理。训练模块还包括图像预处理单元和训练调度单元，在图像预处理单元写入图像预处理算法，在训练调度单元中写入训练调度算法，同时在训练模块中写入去噪模型。这里写入的去噪模型具体可以为神经网络去噪模型，且此时的神经网络去噪模型为初始的模型框架，经过训练之后才能形成具体对应的模型参数。上述图像预处理算法对拍摄得到的图像按需要进行预处理；训练调度算法调度图像和FPGA相关资源，确保训练过程顺利完成。
在线训练装置还包括移动载体，摄像头位于移动载体上，并随着移动载体的移动进行不同拍摄环境的拍摄。在特定的拍摄环境中，在摄像头采集图像数据的同时进行去噪模型的训练。并且如果该图像传感器需要工作在多个低光环境或者场景变化较大的同一低光环境中，可以将本装置放于移动载体上，在所要求的拍摄环境中不断变换所在位置，在采集不同位置图像数据的同时，完成去噪模型的训练，使算法能够在不同的拍摄环境中都取得好的去噪效果。
如附图2所示，本发明提供的一种图像去噪模型的在线训练方法，包括如下步骤：
S01：摄像头拍摄图像，并将拍摄的图像及对应的曝光条件按照不同拍摄环境分类存储在存储模块。存储模块可以分为多个存储单元，每一个存储单元用于存储一种拍摄环境中的图像，其中，在同一种拍摄环境下，采用不同的曝光条件进行拍摄，存储单元中同时存储该拍摄环境下的曝光条件以及对应的图像；每一种曝光条件下拍摄多帧图像用于后续去噪模型的训练。每一种拍摄环境的曝光条件包括正常曝光条件和其他曝光条件。
S02：拍摄环境A中正常曝光条件及对应图像、其他曝光条件及对应图像传输至训练模块中对去噪模型进行训练。
训练模块还包括图像预处理单元和训练调度单元，在图像预处理单元写入图像预处理算法，在训练调度单元中写入训练调度算法；图像预处理算法对拍摄得到的图像按需要进行预处理；训练调度算法调度图像和FPGA相关资源，确保训练过程顺利完成。用于训练的图像在训练调度单元的调配下进入图像预处理单元进行预处理，预处理之后的图像再对去噪模型进行训练。
本发明中去噪模型为神经网络去噪模型。将拍摄环境A中其他曝光条件EX2、其他曝光条件拍摄的图像P2、正常曝光条件EX1作为神经网络去噪模型的输入，正常曝光条件下的图像P1作为神经网络去噪模型的输出，对神经网络去噪模型进行训练。上述训练过程为循环的多次训练，选取的其他曝光条件及其对应的图像越多，最终得到的神经网络去噪模型越精确。
本发明中拍摄环境为低光照场景时，其他曝光条件选取为低光照曝光条件。
S03：训练模块获得拍摄环境A对应的最优去噪模型。
当训练之后的神经网络去噪模型收敛之后，获得拍摄环境A对应的最优去噪模型；否则，继续对神经网络去噪模型进行训练直至收敛。神经网络去噪模型的收敛标准可以采用神经网络去噪模型的损失函数结果来确定，神经网络去噪模型的损失函数结果趋于稳定时，且通过人工查看图像去躁结果满足需求时，即可判断神经网络去噪模型收敛，训练结束；否则，需要进一步获取更多的训练图像进行训练。
本发明对特定拍摄环境中不同曝光条件下拍摄的大量图像进行神经网络去噪模型的在线训练；同时去噪模型的训练基于FPGA板卡实现，从而获得特定拍摄环境对应的神经网路去噪模型。本发明克服了线下训练方法可能存在的采样图像不能覆盖全空间的问题，采集的图像充分，保证了训练之后去噪模型的精准性。
以上所述仅为本发明的优选实施例，所述实施例并非用于限制本发明的专利保护范围，因此凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明所附权利要求的保护范围内。
Claims (10)
1.一种图像去噪模型的在线训练装置，其特征在于，包括摄像头、存储模块和训练模块，所述存储模块分别连接所述摄像头和训练模块，所述摄像头用于拍摄图像，并将拍摄的图像及对应的曝光条件按照不同拍摄环境分类存储在所述存储模块；所述曝光条件包括正常曝光条件和其他曝光条件；
所述训练模块中包括去噪模型，所述存储模块中拍摄环境A中正常曝光条件及对应图像、其他曝光条件及对应图像传输至所述训练模块中对所述去噪模型进行训练，获得拍摄环境A对应的最优去噪模型。
2.根据权利要求1所述的一种图像去噪模型的在线训练装置，其特征在于，所述训练模块包括FPGA和外围接口电路。
3.根据权利要求1所述的一种图像去噪模型的在线训练装置，其特征在于，所述训练模块还包括图像预处理单元和训练调度单元。
4.根据权利要求1所述的一种图像去噪模型的在线训练装置，其特征在于，所述去噪模型为神经网络去噪模型。
5.根据权利要求1所述的一种图像去噪模型的在线训练装置，其特征在于，所述在线训练装置还包括移动载体，所述摄像头位于所述移动载体上，并随着移动载体的移动进行不同拍摄环境下的拍摄。
6.一种图像去噪模型的在线训练方法，其特征在于，包括如下步骤：
S01：摄像头拍摄图像，并将拍摄的图像及对应的曝光条件按照不同拍摄环境分类存储在存储模块；
S02：拍摄环境A中正常曝光条件及对应图像、其他曝光条件及对应图像传输至训练模块中对去噪模型进行训练；
S03：所述训练模块获得拍摄环境A对应的最优去噪模型。
7.根据权利要求6所述的一种图像去噪模型的在线训练方法，其特征在于，所述训练模块还包括图像预处理单元和训练调度单元，所述步骤S02中拍摄环境A正常曝光条件及对应图像、其他曝光条件及对应图像在所述训练调度单元的调配下进入所述图像预处理单元进行预处理，预处理之后的图像对所述去噪模型进行训练。
8.根据权利要求6所述的一种图像去噪模型的在线训练方法，其特征在于，所述去噪模型为神经网络去噪模型。
9.根据权利要求8所述的一种图像去噪模型的在线训练方法，其特征在于，所述步骤S02中将拍摄环境A中其他曝光条件及对应图像、正常曝光条件作为神经网络去噪模型的输入，正常曝光条件下的图像作为神经网络去噪模型的输出，对神经网络去噪模型进行训练。
10.根据权利要求9所述的一种图像去噪模型的在线训练方法，其特征在于，所述步骤S03中当训练之后的神经网络去噪模型收敛之后，获得拍摄环境A对应的最优去噪模型；否则，继续对神经网络去噪模型进行训练直至收敛。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010425474.6A CN111626950A (zh) | 2020-05-19 | 2020-05-19 | 一种图像去噪模型的在线训练装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010425474.6A CN111626950A (zh) | 2020-05-19 | 2020-05-19 | 一种图像去噪模型的在线训练装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111626950A true CN111626950A (zh) | 2020-09-04 |
Family
ID=72259848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010425474.6A Withdrawn CN111626950A (zh) | 2020-05-19 | 2020-05-19 | 一种图像去噪模型的在线训练装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111626950A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109872288A (zh) * | 2019-01-31 | 2019-06-11 | 深圳大学 | 用于图像去噪的网络训练方法、装置、终端及存储介质 |
| US20190333198A1 (en) * | 2018-04-25 | 2019-10-31 | Adobe Inc. | Training and utilizing an image exposure transformation neural network to generate a long-exposure image from a single short-exposure image |
| WO2019229789A1 (ja) * | 2018-05-28 | 2019-12-05 | 株式会社オプティム | 学習済モデル提案システム、学習済モデル提案方法、およびプログラム |
| CN110782414A (zh) * | 2019-10-30 | 2020-02-11 | 福州大学 | 一种基于密集连接卷积的暗光图像去噪方法 |
| CN111064904A (zh) * | 2019-12-26 | 2020-04-24 | 深圳深知未来智能有限公司 | 一种暗光图像增强方法 |
-
2020
- 2020-05-19 CN CN202010425474.6A patent/CN111626950A/zh not_active Withdrawn
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190333198A1 (en) * | 2018-04-25 | 2019-10-31 | Adobe Inc. | Training and utilizing an image exposure transformation neural network to generate a long-exposure image from a single short-exposure image |
| WO2019229789A1 (ja) * | 2018-05-28 | 2019-12-05 | 株式会社オプティム | 学習済モデル提案システム、学習済モデル提案方法、およびプログラム |
| CN109872288A (zh) * | 2019-01-31 | 2019-06-11 | 深圳大学 | 用于图像去噪的网络训练方法、装置、终端及存储介质 |
| CN110782414A (zh) * | 2019-10-30 | 2020-02-11 | 福州大学 | 一种基于密集连接卷积的暗光图像去噪方法 |
| CN111064904A (zh) * | 2019-12-26 | 2020-04-24 | 深圳深知未来智能有限公司 | 一种暗光图像增强方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108686978B (zh) | 基于arm的水果类别和色泽的分拣方法及系统 | |
| CN106534616B (zh) | 一种基于特征匹配与运动补偿的视频稳像方法及系统 | |
| CN108712609A (zh) | 对焦处理方法、装置、设备及存储介质 | |
| US11610289B2 (en) | Image processing method and apparatus, storage medium, and terminal | |
| CN105187723B (zh) | 一种无人飞行器的摄像处理方法 | |
| DE112017000017T5 (de) | Kameraeinstellungsanpassung basierend auf vorhergesagten umgebungsfaktoren und nachverfolgungssysteme, die diese einsetzen | |
| CN105955011A (zh) | 一种智能校时的方法和装置 | |
| CN111667420B (zh) | 图像处理方法及装置 | |
| CN109711241B (zh) | 物体检测方法、装置与电子设备 | |
| CN110263615A (zh) | 车辆拍摄中的交互处理方法、装置、设备及客户端 | |
| CN105430394A (zh) | 视频数据压缩处理方法、装置和设备 | |
| CN108055431A (zh) | 实时野外图像采集系统及方法 | |
| CN112561850A (zh) | 一种汽车涂胶检测方法、设备及存储介质 | |
| CN110458108B (zh) | 手工操作实时监控方法、系统、终端设备和存储介质 | |
| US11875080B2 (en) | Object sharing method and apparatus | |
| CN110544278A (zh) | 刚体运动捕捉方法及装置、agv位姿捕捉系统 | |
| CN110557572B (zh) | 一种图像处理方法、装置及卷积神经网络系统 | |
| CN111179408A (zh) | 三维建模的方法及设备 | |
| CN112631333A (zh) | 无人机的目标跟踪方法、装置及图像处理芯片 | |
| CN111626950A (zh) | 一种图像去噪模型的在线训练装置及方法 | |
| CN110827375B (zh) | 一种基于微光图像的红外图像真彩着色方法及系统 | |
| CN109345560B (zh) | 增强现实设备的运动跟踪精度测试方法及装置 | |
| CN111476056B (zh) | 目标物体的识别方法、装置、终端设备及计算机存储介质 | |
| CN112289113B (zh) | 机载光电系统的数字视频激励的方法及其系统 | |
| CN111988520B (zh) | 一种画面切换方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201203 Address after: 201210, Zhangjiang Road, Zhangjiang, Pudong New Area, No. 497, Gauss Road, Shanghai Applicant after: SHANGHAI IC R & D CENTER Co.,Ltd. Applicant after: Shanghai IC equipment Material Industry Innovation Center Co.,Ltd. Address before: 201210, Zhangjiang Road, Zhangjiang, Pudong New Area, No. 497, Gauss Road, Shanghai Applicant before: SHANGHAI IC R & D CENTER Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200904 |
|
| WW01 | Invention patent application withdrawn after publication |