CN111402153A - 一种图像处理方法及系统 - Google Patents

一种图像处理方法及系统 Download PDF

Info

Publication number
CN111402153A
CN111402153A CN202010162435.1A CN202010162435A CN111402153A CN 111402153 A CN111402153 A CN 111402153A CN 202010162435 A CN202010162435 A CN 202010162435A CN 111402153 A CN111402153 A CN 111402153A
Authority
CN
China
Prior art keywords
image
signal
neural network
noise ratio
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010162435.1A
Other languages
English (en)
Other versions
CN111402153B (zh
Inventor
董鹏宇
党韩兵
田景军
詹进
潘昱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Fullhan Microelectronics Co ltd
Original Assignee
Shanghai Fullhan Microelectronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Fullhan Microelectronics Co ltd filed Critical Shanghai Fullhan Microelectronics Co ltd
Priority to CN202010162435.1A priority Critical patent/CN111402153B/zh
Publication of CN111402153A publication Critical patent/CN111402153A/zh
Application granted granted Critical
Publication of CN111402153B publication Critical patent/CN111402153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明提供的图像处理方法和系统通过读取数据信息得到当前环境的照度信息，进而通过对照度信息索引得到对应的神经网络权重值，并将该权重值配置到神经网络中，接着读取原始图像数据，利用神经网络对原始图像数据进行信噪比增强，最后通过对增强后的原始图像数据进行处理得到处理后的图像。利用神经网络技术进行信噪比增强，改善了低光性能以抑制噪声；神经网络只负责增强信噪比，而图像信号处理等由传统模块实现，降低了神经网络的规模和运算复杂度；神经网络权重值是通过照度信息索引得到的，使神经网络的规模进一步减小。因此，本发明提供的图像处理方法和系统解决了现有技术中利用神经网络进行图像处理时运算复杂、降噪效果差的问题。

Description

一种图像处理方法及系统
技术领域
本发明涉及图像处理技术领域，特别涉及一种图像处理方法及系统。
背景技术
现有的图像处理流程是通过对输入图像传感器的原始图像数据信号(raw信号)进行降噪、白平衡、去马赛克、局部/全局颜色校正、对比度增强等处理后输出RGB/YUV信号。
近年来，随着人工智能技术的突破，利用神经网络进行图像处理成为研究的一大方向。如专利CN108229525，利用神经网络对带噪图像进行降噪和去马赛克处理。再如专利CN109146824，使用多帧平均后的短曝光图像作为无/低噪声图像，使用原始短曝光或者少数几帧短曝光平均结果作为带噪图像，然后将上述图像对送入神经网络训练。
然而现有利用神经网络进行图像处理的技术存在以下几大问题：
1.利用神经网络模拟整个或者大部分图像处理流程会直接导致网络规模与运算量庞大，而且这种方法不方便实际应用时根据用户的喜好进行调试；
2.训练神经网络多采用加白噪声后的图像与原图像进行网络训练，而白噪声和实际图像传感器的噪声差别较大，会导致训练出的网络配合实际传感器使用时降噪效果不好；
3.通过调整镜头光圈或传感器曝光时间分别采集训练用高、低信噪比图像的方法在被摄物体或者采集装置存在位移时会导致同一组训练图像存在相位差，进而影响训练效果。
发明内容
本发明的目的在于提供一种图像处理方法及系统，以解决现有技术中利用神经网络进行图像处理时运算复杂、降噪效果差的问题。
为解决上述技术问题，本发明提供一种图像处理方法，所述图像处理方法包括：读取图像传感器的数据信息，并依据所述数据信息得到当前环境的照度信息；查找与所述照度信息相对应的神经网络权重值，并将所述神经网络权重值配置到神经网络中；通过所述图像传感器获取图像的原始图像数据，并利用所述神经网络对所述原始图像数据进行信噪比增强处理；对信噪比增强处理后的所述原始图像数据进行降噪和去马赛克处理，得到处理后的图像。
可选的，在所述图像处理方法中，所述数据信息包括曝光时间和增益。
可选的，在所述图像处理方法中，所述查找与所述照度信息相对应的神经网络权重值的方法包括：通过对所述照度信息进行查表索引，得到对应的神经网络权重值。
可选的，在所述图像处理方法中，在进行所述查表索引时，若所述照度信息落在查表索引的两个索引值之间，则通过线性内插得到对应的所述神经网络权重值。
可选的，在所述图像处理方法中，所述通过线性内插得到对应的所述神经网络权重值的计算方法包括：设所述神经网络权重值为nn_w，则nn_w＝(1-w2)×nn_w1+w2×nn_w2；其中，nn_w1为对应环境照度lumx1的权重值，nn_w2为对应环境照度lumx2的权重值，满足条件：lumx1＜lumxc＜lumx2，
Figure BDA0002406269630000021
其中lumxc为当前环境的照度。
可选的，在所述图像处理方法中，所述利用所述神经网络对所述原始图像数据进行信噪比增强的方法包括：将所述原始图像数据经过若干卷积层、激励层和池化层的处理后，得到相同幅面的信噪比增强后的所述原始图像数据。
可选的，在所述图像处理方法中，所述图像处理方法还包括：在对所述原始图像数据进行信噪比增强处理之前，对所述神经网络进行训练，以提高对所述原始图像数据进行信噪比增强的准确度。
可选的，在所述图像处理方法中，所述对神经网络进行训练的方法包括：
A1，在同样照度环境下，将两个图像传感器的曝光参数设置为同样的参考亮度，将所述两个图像传感器设置为具有相同的视场角和输出幅面，且所述两个图像传感器具有不同的信噪比；
A2，采集所述两个图像传感器在同样照度环境下相同场景的原始图像数据；
A3，更换照度环境，并重复所述步骤A1和所述步骤A2，以得到相同场景下不同照度环境时的所述两个图像传感器的原始图像数据；
A4，更换场景，重复所述步骤A1至所述步骤A3，以得到更换场景后不同照度环境时的所述两个图像传感器的原始图像数据；
A5，利用所述步骤A2至所述步骤A4采集到的所有所述原始图像数据训练所述神经网络。
可选的，在所述图像处理方法中，所述对神经网络进行训练的方法包括：
B1，固定所述图像传感器的曝光参考亮度，采集特定场景下具有低信噪比的图像传感器的原始图像数据；
B2，标定当前照度环境下所述具有低信噪比的图像传感器的噪声参数；
B3，更换照度环境，并重复所述步骤B1和所述步骤B2，以得到特定场景下不同照度环境时所述具有低信噪比的图像传感器的噪声参数；
B4，更换具有高信噪比的图像传感器，重复所述步骤B1至所述步骤B3，以得到特定场景下不同照度环境时所述具有高信噪比的图像传感器的噪声参数；
B5，将标准无噪数据集进行反图像信号处理，以得到原始图像数据格式的信号数据集；
B6，利用所述具有低信噪比的图像传感器的噪声参数和所述具有高信噪比的图像传感器的噪声参数分别对所述信号数据集进行加噪，以得到低信噪比数据集和高信噪比数据集；
B7，利用所述低信噪比数据集和所述高信噪比数据集训练所述神经网络。
为解决上述技术问题，本发明还提供一种图像处理系统，所述图像处理系统包括：图像输入单元、信噪比增强单元、图像信号处理单元和图像输出单元；所述图像输入单元用于获取图像传感器的数据信息和图像的原始图像数据；所述信噪比增强单元用于读取所述图像输入单元获取的所述数据信息和所述原始图像数据，并利用神经网络对所述原始图像数据进行信噪比增强；所述图像信号处理单元用于对信噪比增强后的所述原始图像数据进行降噪和去马赛克处理，并得到处理后的图像；所述图像输出单元用于输出所述处理后的图像。
可选的，在所述图像处理系统中，所述信噪比增强单元包括参数读取模块、数据输入模块、噪声估计模块、网络权重缓存模块、卷积运算模块和数据输出模块；所述参数读取模块用于读取所述图像输入单元获取的所述数据信息；所述数据输入模块用于读取所述图像输入单元获取的所述原始图像数据，并将所述原始图像数据输送至所述卷积运算模块中；所述噪声估计模块用于通过所述数据信息估计所述图像传感器当前环境下的照度信息；所述网络权重缓存模块用于根据所述照度信息检索得到神经网络权重值，并将所述神经网络权重值配置到所述卷积运算模块中；所述卷积运算模块用于对所述原始图像数据进行信噪比增强；所述数据输出模块用于输出信噪比增强后的所述原始图像数据。
本发明提供的图像处理方法和系统通过读取图像传感器的数据信息得到当前环境的照度信息，进而通过对照度信息索引得到对应的神经网络权重值，并将该权重值配置到神经网络中，接着从图像传感器中读取图像的原始图像数据，利用神经网络对原始图像数据进行信噪比增强，最后通过对增强后的原始图像数据进行处理，得到处理后的图像。由于利用神经网络技术对原始图像数据进行信噪比增强，如此便改善了普通图像传感器的低光性能以抑制噪声；由于神经网络只负责增强原始图像信噪比，去马赛克、白平衡、局部对比度增强、时空域降噪等运算由传统模块实现，降低了神经网络的规模和运算复杂度，并且神经网络的权重值是通过照度信息索引得到的，使得神经网络的规模进一步减小。，因此，本发明提供的图像处理方法和系统解决了现有技术中利用神经网络进行图像处理时运算复杂、降噪效果差的问题。
附图说明
图1为本实施例中图像处理方法流程图；
图2为本实施例中利用神经网络进行原始图像数据信噪比增强的示意图；
图3为本实施例中一种神经网络训练方法流程图；
图4为本实施例中另一种神经网络训练方法流程图；
图5为本实施例中图像处理系统的结构示意图；
图6为本实施例中信噪比增强单元的结构示意图。
具体实施方式
以下结合附图和具体实施例对本发明提出的检测方法及系统作进一步详细说明。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。
本实施例提供的一种图像处理方法，如图1所示，包括：
S1，读取图像传感器的数据信息，并依据所述数据信息得到当前环境的照度信息；
S2，查找与所述照度信息相对应的神经网络权重值，并将所述神经网络权重值配置到神经网络中；
S3，通过所述图像传感器获取图像的原始图像数据，并利用所述神经网络对所述原始图像数据进行信噪比增强处理；
S4，对信噪比增强处理后的所述原始图像数据进行降噪和去马赛克处理，得到处理后的图像。
通过读取图像传感器的数据信息得到当前环境的照度信息，进而通过对照度信息索引得到当前照度环境下的神经网络权重值，并将该权重值配置到神经网络中，接着从图像传感器中获取图像的原始图像数据，利用神经网络对原始图像数据进行信噪比增强，最后通过对增强后的原始图像数据进行处理得到处理后的图像。由于神经网络的权重值是通过照度信息索引得到的，降低了神经网络运算复杂度；由于对原始图像数据进行信噪比增强后还对增强后的原始图像数据进行了处理，如此便改善了普通图像传感器的低光性能以抑制噪声。因此，解决了现有技术中利用神经网络进行图像处理时运算复杂、降噪效果差的问题。
需要说明的是，对信噪比增强后的所述原始图像数据进行降噪处理和去马赛克处理，均为常规的图像信号处理(ISP)手段，如此，就可以在没有增加图像处理中额外计算量的基础上，还能够改善普通图像传感器的低光性能抑制噪声。
进一步的，在本实施例提供的图像处理方法中，所述数据信息包括曝光时间和增益。通过读取图像传感器的曝光时间、增益等信息，就可以估算出当前的环境照度信息。
再进一步的，在本实施例提供的图像处理方法中，所述查找与所述照度信息相对应的神经网络权重值的方法包括：通过对所述照度信息进行查表索引，得到对应的神经网络权重值。
通过查表索引，可以有效降低神经网络的运算量及运算复杂度。在具体实施中，照度信息与神经网络权重值的对照表可以离线设计好，预存在神经网络中，以便在查找神经网络权重值时直接进行索引，可以节约索引时间。
在本实施例中，是根据当前环境照度信息查LUT表索引其对应的神经网络权重值。LUT为一种显示查找表，它把神经网络权重值与环境照度的数据库事先写入保存，每当输入一个照度信号就等于输入一个地址进行查表，找出地址对应的神经网络权重值，并将该权重值输出。如此一来，可以省去神经网络中计算神经网络权重值部分的计算量，大大降低了计算复杂度，提高了运行速率。
而在进行所述查表索引时，若所述照度信息落在查表索引的两个索引值之间，则通过线性内插得到对应的所述神经网络权重值。
具体的，所述通过线性内插得到对应的所述神经网络权重值的计算方法包括：
设所述神经网络权重值为nn_w，则nn_w＝(1-w2)×nn_w1+w2×nn_w2；其中，nn_w1为对应环境照度lumx1的权重值，nn_w2为对应环境照度lumx2的权重值，满足条件：lumx1＜lumxc＜lumx2，
Figure BDA0002406269630000061
其中lumxc为当前环境的照度。
神经网络的架构可以参考生成对抗网络(GAN)或基于流(Flow)的生成网络。
进一步的，在本实施例提供的图像处理方法中，所述利用所述神经网络对所述原始图像数据进行信噪比增强的方法包括：将所述原始图像数据经过若干卷积层、激励层和池化层的处理后，得到相同幅面的信噪比增强后的所述原始图像数据。
如图2所示，所述原始图像数据经过若干卷积层、激励层和池化层后，输出为相同幅面信噪比增强后的原始图像数据。如此便完成了对图像的信噪比增强处理。
再进一步的，在本实施例提供的图像处理方法中，所述图像处理方法还包括：在对所述原始图像数据进行信噪比增强处理之前，对所述神经网络进行训练，以提高对所述原始图像数据进行信噪比增强的准确度。
为了使上述神经网络实现对所述原始图像数据进行信噪比增强的目的，需要相同条件下无相位差的高、低信噪比的原始图像数据对神经网络进行训练。
本实施例提供的一种对神经网络进行训练的方法，如图3所示，包括：
A1，在同样照度环境下，将两个图像传感器的曝光参数设置为同样的参考亮度，将所述两个图像传感器设置为具有相同的视场角和输出幅面，且所述两个图像传感器具有不同的信噪比。为了达到较好的训练效果，所述两个图像传感器的信噪比应有较大的高低差异。以下为了描述方便，将低信噪比的图像传感器简称为L-sensor，将高信噪比的图像传感器简称为H-sensor。
A2，采集所述两个图像传感器在同样照度环境下相同场景的原始图像数据。为了确保所述两个图像传感器采集到的原始图像数据源自于同样的照度环境和同样的场景，建议将两个图像传感器设置成同时采集。具体的，可以通过特定光学系统和采集控制装置实现L-sensor和H-sensor在同样照度环境下相同场景的同时采集。例如，使用分光棱镜配合同一套镜头可以确保L-sensor和H-sensor采集相同场景；加入同步装置或者接入可同时控制采集多路sensor的ISP(图像信号处理器)可以确保L-sensor和H-sensor同时采集。
A3，更换照度环境，并重复所述步骤A1和所述步骤A2，以得到相同场景下不同照度环境时的所述两个图像传感器的原始图像数据。
A4，更换场景，如更改环境色温、改变被拍摄物体等，重复所述步骤A1至所述步骤A3，以得到更换场景后不同照度环境时的所述两个图像传感器的原始图像数据。需注意，在更换场景后，需要保证两个图像传感器采集的原始图像数据是在同样照度环境下相同场景中采集的。
A5，利用所述步骤A2至所述步骤A4采集到的所有所述原始图像数据训练所述神经网络，其中具有低信噪比的数据作为带噪信号，具有高信噪比的数据作为参考值，将采集到的所有所述原始图像数据按照不同照度分类，分别训练对应照度下的神经网络权值参数。
本实施例还提供另一种对神经网络进行训练的方法，如图4所示，包括：
B1，固定所述图像传感器的曝光参考亮度，如10bit数据固定位288，采集特定场景下具有低信噪比的图像传感器的原始图像数据；特定场景指的是标准灰阶卡或色卡。
B2，标定当前照度环境下所述具有低信噪比的图像传感器的噪声参数；具体的噪声参数标定方法可参考相关公开文献，此处不再赘述。假设L-sensor噪声由于信号相关的泊松噪声和与信号无关的白噪声以及固定模式噪声和暗电流噪声这4部分组成。
B3，更换照度环境，并重复所述步骤B1和所述步骤B2，以得到特定场景下不同照度环境时所述具有低信噪比的图像传感器的噪声参数；
B4，更换具有高信噪比的图像传感器，重复所述步骤B1至所述步骤B3，以得到特定场景下不同照度环境时所述具有高信噪比的图像传感器的噪声参数；假设H-sensor噪声由与信号相关的泊松噪声和与信号无关的白噪声这2部分组成。
B5，将标准无噪数据集进行反图像信号处理，以得到原始图像数据格式的信号数据集；标准无噪数据集可以为kodim、mcm等；反图像信号处理(反ISP处理)包括模糊、反gamma、反对比度、反白平衡，以及反去马赛克等操作。
B6，利用所述具有低信噪比的图像传感器的噪声参数和所述具有高信噪比的图像传感器的噪声参数分别对所述信号数据集进行加噪，以得到低信噪比数据集和高信噪比数据集；
B7，利用所述低信噪比数据集和所述高信噪比数据集训练所述神经网络。
通过上述两种方法对所述神经网络进行训练，可以提高神经网络在对所述原始图像数据进行信噪比增强处理中的准确度，进而解决了现有技术中降噪效果差的问题。
本实施例还提供了一种图像处理系统，如图5所示，所述图像处理系统包括：图像输入单元、信噪比增强单元、图像信号处理单元和图像输出单元；所述图像输入单元用于获取图像传感器的数据信息和图像的原始图像数据；所述信噪比增强单元用于读取所述图像输入单元获取的所述数据信息和所述原始图像数据，并利用神经网络对所述原始图像数据进行信噪比增强；所述图像信号处理单元用于对信噪比增强后的所述原始图像数据进行降噪和去马赛克处理，并得到处理后的图像；所述图像输出单元用于输出所述处理后的图像。
通过图像输入单元获取图像传感器的数据信息和图像的原始图像数据，然后通过信噪比增强单元读取所述图像输入单元获取的数据信息和原始图像数据，并利用神经网络对所述原始图像数据进行信噪比增强，接着图像信号处理单元对信噪比增强后的所述原始图像数据进行降噪和去马赛克处理，并得到处理后的图像，最后图像输出单元输出所述处理后的图像。利用本实施例中提供的图像处理系统既能够改善普通图像传感器的低光性能抑制噪声，也能降低神经网络运算复杂度，同时保留足够的图像质量调试接口。
进一步的，在本实施例提供的图像处理系统中，所述信噪比增强单元包括参数读取模块、数据输入模块、噪声估计模块、网络权重缓存模块、卷积运算模块和数据输出模块，如图6所示，所述参数读取模块用于读取所述图像输入单元获取的所述数据信息，具体的，包括图像传感器和图像处理器的曝光时间、增益等信息；所述数据输入模块用于读取所述图像输入单元获取的所述原始图像数据，即低信噪比的原始图像数据，并将所述原始图像数据输送至所述卷积运算模块中；所述噪声估计模块用于通过所述数据信息估计所述图像传感器当前环境下的照度信息；所述网络权重缓存模块用于根据所述照度信息检索得到神经网络权重值，并将所述神经网络权重值配置到所述卷积运算模块中；所述卷积运算模块用于对所述原始图像数据进行信噪比增强；所述数据输出模块用于输出信噪比增强后的所述原始图像数据。
综上所述，本实施例提供的图像处理方法和系统，通过读取图像传感器的数据信息得到当前环境的照度信息，进而通过对照度信息索引得到对应的神经网络权重值，并将该权重值配置到神经网络中，接着从图像传感器中读取图像的原始图像数据，利用神经网络对原始图像数据进行信噪比增强，最后通过对增强后的原始图像数据进行处理，得到处理后的图像。由于利用神经网络技术对原始图像数据进行信噪比增强，如此便改善了普通图像传感器的低光性能以抑制噪声；由于神经网络只负责增强原始图像信噪比，去马赛克、白平衡、局部对比度增强、时空域降噪等运算由传统模块实现，降低了神经网络的规模和运算复杂度，并且神经网络的权重值是通过照度信息索引得到的，使得神经网络的规模进一步减小。因此，本实施例提供的图像处理方法和系统解决了现有技术中利用神经网络进行图像处理时运算复杂、降噪效果差的问题。
上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (11)

1.一种图像处理方法，其特征在于，所述图像处理方法包括：
读取图像传感器的数据信息，并依据所述数据信息得到当前环境的照度信息；
查找与所述照度信息相对应的神经网络权重值，并将所述神经网络权重值配置到神经网络中；
通过所述图像传感器获取图像的原始图像数据，并利用所述神经网络对所述原始图像数据进行信噪比增强处理；
对信噪比增强处理后的所述原始图像数据进行降噪和去马赛克处理，得到处理后的图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述数据信息包括曝光时间和增益。
3.根据权利要求1所述的图像处理方法，其特征在于，所述查找与所述照度信息相对应的神经网络权重值的方法包括：通过对所述照度信息进行查表索引，得到对应的神经网络权重值。
4.根据权利要求3所述的图像处理方法，其特征在于，在进行所述查表索引时，若所述照度信息落在查表索引的两个索引值之间，则通过线性内插得到对应的所述神经网络权重值。
5.根据权利要求4所述的图像处理方法，其特征在于，所述通过线性内插得到对应的所述神经网络权重值的计算方法包括：
设所述神经网络权重值为nn_w，则nn_w＝(1-w2)×nn_w1+w2×nn_w2；
其中，nn_w1为对应环境照度lumx1的权重值，nn_w2为对应环境照度lumx2的权重值，满足条件：lumx1＜lumxc＜lumx2，
Figure FDA0002406269620000011
其中lumxc为当前环境的照度。
6.根据权利要求1所述的图像处理方法，其特征在于，所述利用所述神经网络对所述原始图像数据进行信噪比增强的方法包括：将所述原始图像数据经过若干卷积层、激励层和池化层的处理后，得到相同幅面的信噪比增强后的所述原始图像数据。
7.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：在对所述原始图像数据进行信噪比增强处理之前，对所述神经网络进行训练，以提高对所述原始图像数据进行信噪比增强的准确度。
8.根据权利要求7所述的图像处理方法，其特征在于，所述对神经网络进行训练的方法包括：
A1，在同样照度环境下，将两个图像传感器的曝光参数设置为同样的参考亮度，将所述两个图像传感器设置为具有相同的视场角和输出幅面，且所述两个图像传感器具有不同的信噪比；
A2，采集所述两个图像传感器在同样照度环境下相同场景的原始图像数据；
A3，更换照度环境，并重复所述步骤A1和所述步骤A2，以得到相同场景下不同照度环境时的所述两个图像传感器的原始图像数据；
A4，更换场景，重复所述步骤A1至所述步骤A3，以得到更换场景后不同照度环境时的所述两个图像传感器的原始图像数据；
A5，利用所述步骤A2至所述步骤A4采集到的所有所述原始图像数据训练所述神经网络。
9.根据权利要求7所述的图像处理方法，其特征在于，所述对神经网络进行训练的方法包括：
B1，固定所述图像传感器的曝光参考亮度，采集特定场景下具有低信噪比的图像传感器的原始图像数据；
B2，标定当前照度环境下所述具有低信噪比的图像传感器的噪声参数；
B3，更换照度环境，并重复所述步骤B1和所述步骤B2，以得到特定场景下不同照度环境时所述具有低信噪比的图像传感器的噪声参数；
B4，更换具有高信噪比的图像传感器，重复所述步骤B1至所述步骤B3，以得到特定场景下不同照度环境时所述具有高信噪比的图像传感器的噪声参数；
B5，将标准无噪数据集进行反图像信号处理，以得到原始图像数据格式的信号数据集；
B6，利用所述具有低信噪比的图像传感器的噪声参数和所述具有高信噪比的图像传感器的噪声参数分别对所述信号数据集进行加噪，以得到低信噪比数据集和高信噪比数据集；
B7，利用所述低信噪比数据集和所述高信噪比数据集训练所述神经网络。
10.一种图像处理系统，其特征在于，所述图像处理系统包括：图像输入单元、信噪比增强单元、图像信号处理单元和图像输出单元；
所述图像输入单元用于获取图像传感器的数据信息和图像的原始图像数据；
所述信噪比增强单元用于读取所述图像输入单元获取的所述数据信息和所述原始图像数据，并利用神经网络对所述原始图像数据进行信噪比增强；
所述图像信号处理单元用于对信噪比增强后的所述原始图像数据进行降噪和去马赛克处理，并得到处理后的图像；
所述图像输出单元用于输出所述处理后的图像。
11.根据权利要求10所述的图像处理系统，其特征在于，所述信噪比增强单元包括参数读取模块、数据输入模块、噪声估计模块、网络权重缓存模块、卷积运算模块和数据输出模块；
所述参数读取模块用于读取所述图像输入单元获取的所述数据信息；所述数据输入模块用于读取所述图像输入单元获取的所述原始图像数据，并将所述原始图像数据输送至所述卷积运算模块中；所述噪声估计模块用于通过所述数据信息估计所述图像传感器当前环境下的照度信息；所述网络权重缓存模块用于根据所述照度信息检索得到神经网络权重值，并将所述神经网络权重值配置到所述卷积运算模块中；所述卷积运算模块用于对所述原始图像数据进行信噪比增强；所述数据输出模块用于输出信噪比增强后的所述原始图像数据。
CN202010162435.1A 2020-03-10 2020-03-10 一种图像处理方法及系统 Active CN111402153B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010162435.1A CN111402153B (zh) 2020-03-10 2020-03-10 一种图像处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010162435.1A CN111402153B (zh) 2020-03-10 2020-03-10 一种图像处理方法及系统

Publications (2)

Publication Number Publication Date
CN111402153A true CN111402153A (zh) 2020-07-10
CN111402153B CN111402153B (zh) 2023-06-13

Family

ID=71413298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010162435.1A Active CN111402153B (zh) 2020-03-10 2020-03-10 一种图像处理方法及系统

Country Status (1)

Country Link
CN (1) CN111402153B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418873A (zh) * 2021-12-29 2022-04-29 英特灵达信息技术(深圳)有限公司 一种暗光图像降噪方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018018470A1 (zh) * 2016-07-27 2018-02-01 华为技术有限公司 一种去除图像噪声的方法、装置、设备及卷积神经网络
US20190138838A1 (en) * 2017-11-09 2019-05-09 Boe Technology Group Co., Ltd. Image processing method and processing device
CN110191291A (zh) * 2019-06-13 2019-08-30 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法和装置
CN110555808A (zh) * 2018-05-31 2019-12-10 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置、设备及机器可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018018470A1 (zh) * 2016-07-27 2018-02-01 华为技术有限公司 一种去除图像噪声的方法、装置、设备及卷积神经网络
CN108604369A (zh) * 2016-07-27 2018-09-28 华为技术有限公司 一种去除图像噪声的方法、装置、设备及卷积神经网络
US20190138838A1 (en) * 2017-11-09 2019-05-09 Boe Technology Group Co., Ltd. Image processing method and processing device
CN110555808A (zh) * 2018-05-31 2019-12-10 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置、设备及机器可读存储介质
CN110191291A (zh) * 2019-06-13 2019-08-30 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘扬;付征叶;郑逢斌;: "基于神经认知计算模型的高分辨率遥感图像场景分类", no. 11 *
朱宜生;孙成;: "基于卷积神经网络的红外图像去噪方法研究", 环境技术, no. 06 *
谭海曙;周富强;熊瑛;李学夔;: "基于神经网络的图像亮度和对比度自适应增强", no. 12 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418873A (zh) * 2021-12-29 2022-04-29 英特灵达信息技术(深圳)有限公司 一种暗光图像降噪方法及装置
CN114418873B (zh) * 2021-12-29 2022-12-20 英特灵达信息技术(深圳)有限公司 一种暗光图像降噪方法及装置
WO2023125503A1 (zh) * 2021-12-29 2023-07-06 英特灵达信息技术(深圳)有限公司 一种暗光图像降噪方法及装置

Also Published As

Publication number Publication date
CN111402153B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
US9479695B2 (en) Generating a high dynamic range image using a temporal filter
KR101643122B1 (ko) 화상 처리 장치, 화상 처리 방법 및 기록 매체
JP6469678B2 (ja) 画像アーティファクトを補正するシステム及び方法
CN103945145B (zh) 处理图像的设备和方法
US9514525B2 (en) Temporal filtering for image data using spatial filtering and noise history
US11127117B2 (en) Information processing method, information processing apparatus, and recording medium
US9413951B2 (en) Dynamic motion estimation and compensation for temporal filtering
GB2592835A (en) Configurable convolution engine for interleaved channel data
WO2021114868A1 (zh) 降噪方法、终端及存储介质
KR102512889B1 (ko) 이미지 융합 프로세싱 모듈
KR20050009694A (ko) 브래킷된 이미지 시퀀스로부터 고 동적 범위 이미지를생성하는 시스템 및 프로세스
US11334961B2 (en) Multi-scale warping circuit for image fusion architecture
CN113313661A (zh) 图像融合方法、装置、电子设备及计算机可读存储介质
JP2006187004A (ja) 画像信号処理装置
KR20230098575A (ko) 프레임 프로세싱 및/또는 캡처 명령 시스템들 및 기법들
CN113538223A (zh) 噪声图像生成方法、装置、电子设备及存储介质
US9648261B2 (en) Account for clipped pixels in auto-focus statistics collection
Tan et al. A real-time video denoising algorithm with FPGA implementation for Poisson–Gaussian noise
JP2014039169A (ja) 画像処理装置、および画像処理方法、並びにプログラム
Mehta et al. Gated multi-resolution transfer network for burst restoration and enhancement
JP7133979B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体
WO2019124289A1 (ja) 装置、制御方法および記憶媒体
CN111402153B (zh) 一种图像处理方法及系统
US11798146B2 (en) Image fusion architecture
KR102050415B1 (ko) 화상 처리 장치 및 화상 처리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant