CN111402153B - 一种图像处理方法及系统 - Google Patents
一种图像处理方法及系统 Download PDFInfo
- Publication number
- CN111402153B CN111402153B CN202010162435.1A CN202010162435A CN111402153B CN 111402153 B CN111402153 B CN 111402153B CN 202010162435 A CN202010162435 A CN 202010162435A CN 111402153 B CN111402153 B CN 111402153B
- Authority
- CN
- China
- Prior art keywords
- neural network
- signal
- image
- noise ratio
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 34
- 238000013528 artificial neural network Methods 0.000 claims abstract description 123
- 238000005286 illumination Methods 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 53
- 230000002708 enhancing effect Effects 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000005284 excitation Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明提供的图像处理方法和系统通过读取数据信息得到当前环境的照度信息，进而通过对照度信息索引得到对应的神经网络权重值，并将该权重值配置到神经网络中，接着读取原始图像数据，利用神经网络对原始图像数据进行信噪比增强，最后通过对增强后的原始图像数据进行处理得到处理后的图像。利用神经网络技术进行信噪比增强，改善了低光性能以抑制噪声；神经网络只负责增强信噪比，而图像信号处理等由传统模块实现，降低了神经网络的规模和运算复杂度；神经网络权重值是通过照度信息索引得到的，使神经网络的规模进一步减小。因此，本发明提供的图像处理方法和系统解决了现有技术中利用神经网络进行图像处理时运算复杂、降噪效果差的问题。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种图像处理方法及系统。
背景技术
现有的图像处理流程是通过对输入图像传感器的原始图像数据信号(raw信号)进行降噪、白平衡、去马赛克、局部/全局颜色校正、对比度增强等处理后输出RGB/YUV信号。
近年来，随着人工智能技术的突破，利用神经网络进行图像处理成为研究的一大方向。如专利CN108229525，利用神经网络对带噪图像进行降噪和去马赛克处理。再如专利CN109146824，使用多帧平均后的短曝光图像作为无/低噪声图像，使用原始短曝光或者少数几帧短曝光平均结果作为带噪图像，然后将上述图像对送入神经网络训练。
然而现有利用神经网络进行图像处理的技术存在以下几大问题：
1.利用神经网络模拟整个或者大部分图像处理流程会直接导致网络规模与运算量庞大，而且这种方法不方便实际应用时根据用户的喜好进行调试；
2.训练神经网络多采用加白噪声后的图像与原图像进行网络训练，而白噪声和实际图像传感器的噪声差别较大，会导致训练出的网络配合实际传感器使用时降噪效果不好；
3.通过调整镜头光圈或传感器曝光时间分别采集训练用高、低信噪比图像的方法在被摄物体或者采集装置存在位移时会导致同一组训练图像存在相位差，进而影响训练效果。
发明内容
本发明的目的在于提供一种图像处理方法及系统，以解决现有技术中利用神经网络进行图像处理时运算复杂、降噪效果差的问题。
为解决上述技术问题，本发明提供一种图像处理方法，所述图像处理方法包括：读取图像传感器的数据信息，并依据所述数据信息得到当前环境的照度信息；查找与所述照度信息相对应的神经网络权重值，并将所述神经网络权重值配置到神经网络中；通过所述图像传感器获取图像的原始图像数据，并利用所述神经网络对所述原始图像数据进行信噪比增强处理；对信噪比增强处理后的所述原始图像数据进行降噪和去马赛克处理，得到处理后的图像。
可选的，在所述图像处理方法中，所述数据信息包括曝光时间和增益。
可选的，在所述图像处理方法中，所述查找与所述照度信息相对应的神经网络权重值的方法包括：通过对所述照度信息进行查表索引，得到对应的神经网络权重值。
可选的，在所述图像处理方法中，在进行所述查表索引时，若所述照度信息落在查表索引的两个索引值之间，则通过线性内插得到对应的所述神经网络权重值。
可选的，在所述图像处理方法中，所述通过线性内插得到对应的所述神经网络权重值的计算方法包括：设所述神经网络权重值为nn_w，则nn_w＝(1-w2)×nn_w1+w2×nn_w2；其中，nn_w1为对应环境照度lumx1的权重值，nn_w2为对应环境照度lumx2的权重值，满足条件：lumx1＜lumxc＜lumx2，
其中lumxc为当前环境的照度。
可选的，在所述图像处理方法中，所述利用所述神经网络对所述原始图像数据进行信噪比增强的方法包括：将所述原始图像数据经过若干卷积层、激励层和池化层的处理后，得到相同幅面的信噪比增强后的所述原始图像数据。
可选的，在所述图像处理方法中，所述图像处理方法还包括：在对所述原始图像数据进行信噪比增强处理之前，对所述神经网络进行训练，以提高对所述原始图像数据进行信噪比增强的准确度。
可选的，在所述图像处理方法中，所述对神经网络进行训练的方法包括：
A1，在同样照度环境下，将两个图像传感器的曝光参数设置为同样的参考亮度，将所述两个图像传感器设置为具有相同的视场角和输出幅面，且所述两个图像传感器具有不同的信噪比；
A2，采集所述两个图像传感器在同样照度环境下相同场景的原始图像数据；
A3，更换照度环境，并重复所述步骤A1和所述步骤A2，以得到相同场景下不同照度环境时的所述两个图像传感器的原始图像数据；
A4，更换场景，重复所述步骤A1至所述步骤A3，以得到更换场景后不同照度环境时的所述两个图像传感器的原始图像数据；
A5，利用所述步骤A2至所述步骤A4采集到的所有所述原始图像数据训练所述神经网络。
可选的，在所述图像处理方法中，所述对神经网络进行训练的方法包括：
B1，固定所述图像传感器的曝光参考亮度，采集特定场景下具有低信噪比的图像传感器的原始图像数据；
B2，标定当前照度环境下所述具有低信噪比的图像传感器的噪声参数；
B3，更换照度环境，并重复所述步骤B1和所述步骤B2，以得到特定场景下不同照度环境时所述具有低信噪比的图像传感器的噪声参数；
B4，更换具有高信噪比的图像传感器，重复所述步骤B1至所述步骤B3，以得到特定场景下不同照度环境时所述具有高信噪比的图像传感器的噪声参数；
B5，将标准无噪数据集进行反图像信号处理，以得到原始图像数据格式的信号数据集；
B6，利用所述具有低信噪比的图像传感器的噪声参数和所述具有高信噪比的图像传感器的噪声参数分别对所述信号数据集进行加噪，以得到低信噪比数据集和高信噪比数据集；
B7，利用所述低信噪比数据集和所述高信噪比数据集训练所述神经网络。
为解决上述技术问题，本发明还提供一种图像处理系统，所述图像处理系统包括：图像输入单元、信噪比增强单元、图像信号处理单元和图像输出单元；所述图像输入单元用于获取图像传感器的数据信息和图像的原始图像数据；所述信噪比增强单元用于读取所述图像输入单元获取的所述数据信息和所述原始图像数据，并利用神经网络对所述原始图像数据进行信噪比增强；所述图像信号处理单元用于对信噪比增强后的所述原始图像数据进行降噪和去马赛克处理，并得到处理后的图像；所述图像输出单元用于输出所述处理后的图像。
可选的，在所述图像处理系统中，所述信噪比增强单元包括参数读取模块、数据输入模块、噪声估计模块、网络权重缓存模块、卷积运算模块和数据输出模块；所述参数读取模块用于读取所述图像输入单元获取的所述数据信息；所述数据输入模块用于读取所述图像输入单元获取的所述原始图像数据，并将所述原始图像数据输送至所述卷积运算模块中；所述噪声估计模块用于通过所述数据信息估计所述图像传感器当前环境下的照度信息；所述网络权重缓存模块用于根据所述照度信息检索得到神经网络权重值，并将所述神经网络权重值配置到所述卷积运算模块中；所述卷积运算模块用于对所述原始图像数据进行信噪比增强；所述数据输出模块用于输出信噪比增强后的所述原始图像数据。
本发明提供的图像处理方法和系统通过读取图像传感器的数据信息得到当前环境的照度信息，进而通过对照度信息索引得到对应的神经网络权重值，并将该权重值配置到神经网络中，接着从图像传感器中读取图像的原始图像数据，利用神经网络对原始图像数据进行信噪比增强，最后通过对增强后的原始图像数据进行处理，得到处理后的图像。由于利用神经网络技术对原始图像数据进行信噪比增强，如此便改善了普通图像传感器的低光性能以抑制噪声；由于神经网络只负责增强原始图像信噪比，去马赛克、白平衡、局部对比度增强、时空域降噪等运算由传统模块实现，降低了神经网络的规模和运算复杂度，并且神经网络的权重值是通过照度信息索引得到的，使得神经网络的规模进一步减小。，因此，本发明提供的图像处理方法和系统解决了现有技术中利用神经网络进行图像处理时运算复杂、降噪效果差的问题。
附图说明
图1为本实施例中图像处理方法流程图；
图2为本实施例中利用神经网络进行原始图像数据信噪比增强的示意图；
图3为本实施例中一种神经网络训练方法流程图；
图4为本实施例中另一种神经网络训练方法流程图；
图5为本实施例中图像处理系统的结构示意图；
图6为本实施例中信噪比增强单元的结构示意图。
具体实施方式
以下结合附图和具体实施例对本发明提出的检测方法及系统作进一步详细说明。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。
本实施例提供的一种图像处理方法，如图1所示，包括：
S1，读取图像传感器的数据信息，并依据所述数据信息得到当前环境的照度信息；
S2，查找与所述照度信息相对应的神经网络权重值，并将所述神经网络权重值配置到神经网络中；
S3，通过所述图像传感器获取图像的原始图像数据，并利用所述神经网络对所述原始图像数据进行信噪比增强处理；
S4，对信噪比增强处理后的所述原始图像数据进行降噪和去马赛克处理，得到处理后的图像。
通过读取图像传感器的数据信息得到当前环境的照度信息，进而通过对照度信息索引得到当前照度环境下的神经网络权重值，并将该权重值配置到神经网络中，接着从图像传感器中获取图像的原始图像数据，利用神经网络对原始图像数据进行信噪比增强，最后通过对增强后的原始图像数据进行处理得到处理后的图像。由于神经网络的权重值是通过照度信息索引得到的，降低了神经网络运算复杂度；由于对原始图像数据进行信噪比增强后还对增强后的原始图像数据进行了处理，如此便改善了普通图像传感器的低光性能以抑制噪声。因此，解决了现有技术中利用神经网络进行图像处理时运算复杂、降噪效果差的问题。
需要说明的是，对信噪比增强后的所述原始图像数据进行降噪处理和去马赛克处理，均为常规的图像信号处理(ISP)手段，如此，就可以在没有增加图像处理中额外计算量的基础上，还能够改善普通图像传感器的低光性能抑制噪声。
进一步的，在本实施例提供的图像处理方法中，所述数据信息包括曝光时间和增益。通过读取图像传感器的曝光时间、增益等信息，就可以估算出当前的环境照度信息。
再进一步的，在本实施例提供的图像处理方法中，所述查找与所述照度信息相对应的神经网络权重值的方法包括：通过对所述照度信息进行查表索引，得到对应的神经网络权重值。
通过查表索引，可以有效降低神经网络的运算量及运算复杂度。在具体实施中，照度信息与神经网络权重值的对照表可以离线设计好，预存在神经网络中，以便在查找神经网络权重值时直接进行索引，可以节约索引时间。
在本实施例中，是根据当前环境照度信息查LUT表索引其对应的神经网络权重值。LUT为一种显示查找表，它把神经网络权重值与环境照度的数据库事先写入保存，每当输入一个照度信号就等于输入一个地址进行查表，找出地址对应的神经网络权重值，并将该权重值输出。如此一来，可以省去神经网络中计算神经网络权重值部分的计算量，大大降低了计算复杂度，提高了运行速率。
而在进行所述查表索引时，若所述照度信息落在查表索引的两个索引值之间，则通过线性内插得到对应的所述神经网络权重值。
具体的，所述通过线性内插得到对应的所述神经网络权重值的计算方法包括：
设所述神经网络权重值为nn_w，则nn_w＝(1-w2)×nn_w1+w2×nn_w2；其中，nn_w1为对应环境照度lumx1的权重值，nn_w2为对应环境照度lumx2的权重值，满足条件：lumx1＜lumxc＜lumx2，
其中lumxc为当前环境的照度。
神经网络的架构可以参考生成对抗网络(GAN)或基于流(Flow)的生成网络。
进一步的，在本实施例提供的图像处理方法中，所述利用所述神经网络对所述原始图像数据进行信噪比增强的方法包括：将所述原始图像数据经过若干卷积层、激励层和池化层的处理后，得到相同幅面的信噪比增强后的所述原始图像数据。
如图2所示，所述原始图像数据经过若干卷积层、激励层和池化层后，输出为相同幅面信噪比增强后的原始图像数据。如此便完成了对图像的信噪比增强处理。
再进一步的，在本实施例提供的图像处理方法中，所述图像处理方法还包括：在对所述原始图像数据进行信噪比增强处理之前，对所述神经网络进行训练，以提高对所述原始图像数据进行信噪比增强的准确度。
为了使上述神经网络实现对所述原始图像数据进行信噪比增强的目的，需要相同条件下无相位差的高、低信噪比的原始图像数据对神经网络进行训练。
本实施例提供的一种对神经网络进行训练的方法，如图3所示，包括：
A1，在同样照度环境下，将两个图像传感器的曝光参数设置为同样的参考亮度，将所述两个图像传感器设置为具有相同的视场角和输出幅面，且所述两个图像传感器具有不同的信噪比。为了达到较好的训练效果，所述两个图像传感器的信噪比应有较大的高低差异。以下为了描述方便，将低信噪比的图像传感器简称为L-sensor，将高信噪比的图像传感器简称为H-sensor。
A2，采集所述两个图像传感器在同样照度环境下相同场景的原始图像数据。为了确保所述两个图像传感器采集到的原始图像数据源自于同样的照度环境和同样的场景，建议将两个图像传感器设置成同时采集。具体的，可以通过特定光学系统和采集控制装置实现L-sensor和H-sensor在同样照度环境下相同场景的同时采集。例如，使用分光棱镜配合同一套镜头可以确保L-sensor和H-sensor采集相同场景；加入同步装置或者接入可同时控制采集多路sensor的ISP(图像信号处理器)可以确保L-sensor和H-sensor同时采集。
A3，更换照度环境，并重复所述步骤A1和所述步骤A2，以得到相同场景下不同照度环境时的所述两个图像传感器的原始图像数据。
A4，更换场景，如更改环境色温、改变被拍摄物体等，重复所述步骤A1至所述步骤A3，以得到更换场景后不同照度环境时的所述两个图像传感器的原始图像数据。需注意，在更换场景后，需要保证两个图像传感器采集的原始图像数据是在同样照度环境下相同场景中采集的。
A5，利用所述步骤A2至所述步骤A4采集到的所有所述原始图像数据训练所述神经网络，其中具有低信噪比的数据作为带噪信号，具有高信噪比的数据作为参考值，将采集到的所有所述原始图像数据按照不同照度分类，分别训练对应照度下的神经网络权值参数。
本实施例还提供另一种对神经网络进行训练的方法，如图4所示，包括：
B1，固定所述图像传感器的曝光参考亮度，如10bit数据固定位288，采集特定场景下具有低信噪比的图像传感器的原始图像数据；特定场景指的是标准灰阶卡或色卡。
B2，标定当前照度环境下所述具有低信噪比的图像传感器的噪声参数；具体的噪声参数标定方法可参考相关公开文献，此处不再赘述。假设L-sensor噪声由于信号相关的泊松噪声和与信号无关的白噪声以及固定模式噪声和暗电流噪声这4部分组成。
B3，更换照度环境，并重复所述步骤B1和所述步骤B2，以得到特定场景下不同照度环境时所述具有低信噪比的图像传感器的噪声参数；
B4，更换具有高信噪比的图像传感器，重复所述步骤B1至所述步骤B3，以得到特定场景下不同照度环境时所述具有高信噪比的图像传感器的噪声参数；假设H-sensor噪声由与信号相关的泊松噪声和与信号无关的白噪声这2部分组成。
B5，将标准无噪数据集进行反图像信号处理，以得到原始图像数据格式的信号数据集；标准无噪数据集可以为kodim、mcm等；反图像信号处理(反ISP处理)包括模糊、反gamma、反对比度、反白平衡，以及反去马赛克等操作。
B6，利用所述具有低信噪比的图像传感器的噪声参数和所述具有高信噪比的图像传感器的噪声参数分别对所述信号数据集进行加噪，以得到低信噪比数据集和高信噪比数据集；
B7，利用所述低信噪比数据集和所述高信噪比数据集训练所述神经网络。
通过上述两种方法对所述神经网络进行训练，可以提高神经网络在对所述原始图像数据进行信噪比增强处理中的准确度，进而解决了现有技术中降噪效果差的问题。
本实施例还提供了一种图像处理系统，如图5所示，所述图像处理系统包括：图像输入单元、信噪比增强单元、图像信号处理单元和图像输出单元；所述图像输入单元用于获取图像传感器的数据信息和图像的原始图像数据；所述信噪比增强单元用于读取所述图像输入单元获取的所述数据信息和所述原始图像数据，并利用神经网络对所述原始图像数据进行信噪比增强；所述图像信号处理单元用于对信噪比增强后的所述原始图像数据进行降噪和去马赛克处理，并得到处理后的图像；所述图像输出单元用于输出所述处理后的图像。
通过图像输入单元获取图像传感器的数据信息和图像的原始图像数据，然后通过信噪比增强单元读取所述图像输入单元获取的数据信息和原始图像数据，并利用神经网络对所述原始图像数据进行信噪比增强，接着图像信号处理单元对信噪比增强后的所述原始图像数据进行降噪和去马赛克处理，并得到处理后的图像，最后图像输出单元输出所述处理后的图像。利用本实施例中提供的图像处理系统既能够改善普通图像传感器的低光性能抑制噪声，也能降低神经网络运算复杂度，同时保留足够的图像质量调试接口。
进一步的，在本实施例提供的图像处理系统中，所述信噪比增强单元包括参数读取模块、数据输入模块、噪声估计模块、网络权重缓存模块、卷积运算模块和数据输出模块，如图6所示，所述参数读取模块用于读取所述图像输入单元获取的所述数据信息，具体的，包括图像传感器和图像处理器的曝光时间、增益等信息；所述数据输入模块用于读取所述图像输入单元获取的所述原始图像数据，即低信噪比的原始图像数据，并将所述原始图像数据输送至所述卷积运算模块中；所述噪声估计模块用于通过所述数据信息估计所述图像传感器当前环境下的照度信息；所述网络权重缓存模块用于根据所述照度信息检索得到神经网络权重值，并将所述神经网络权重值配置到所述卷积运算模块中；所述卷积运算模块用于对所述原始图像数据进行信噪比增强；所述数据输出模块用于输出信噪比增强后的所述原始图像数据。
综上所述，本实施例提供的图像处理方法和系统，通过读取图像传感器的数据信息得到当前环境的照度信息，进而通过对照度信息索引得到对应的神经网络权重值，并将该权重值配置到神经网络中，接着从图像传感器中读取图像的原始图像数据，利用神经网络对原始图像数据进行信噪比增强，最后通过对增强后的原始图像数据进行处理，得到处理后的图像。由于利用神经网络技术对原始图像数据进行信噪比增强，如此便改善了普通图像传感器的低光性能以抑制噪声；由于神经网络只负责增强原始图像信噪比，去马赛克、白平衡、局部对比度增强、时空域降噪等运算由传统模块实现，降低了神经网络的规模和运算复杂度，并且神经网络的权重值是通过照度信息索引得到的，使得神经网络的规模进一步减小。因此，本实施例提供的图像处理方法和系统解决了现有技术中利用神经网络进行图像处理时运算复杂、降噪效果差的问题。
上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。
Claims (7)
1.一种图像处理方法，其特征在于，所述图像处理方法包括：
读取图像传感器的数据信息，并依据所述数据信息得到当前环境的照度信息；
查找与所述照度信息相对应的神经网络权重值，并将所述神经网络权重值配置到神经网络中；
通过所述图像传感器获取图像的原始图像数据，并利用所述神经网络对所述原始图像数据进行信噪比增强处理；
对信噪比增强处理后的所述原始图像数据进行降噪和去马赛克处理，得到处理后的图像；
所述查找与所述照度信息相对应的神经网络权重值的方法包括：通过对所述照度信息进行查表索引，得到对应的神经网络权重值；在进行所述查表索引时，若所述照度信息落在查表索引的两个索引值之间，则通过线性内插得到对应的所述神经网络权重值；
所述通过线性内插得到对应的所述神经网络权重值的计算方法包括：
设所述神经网络权重值为nn_w，则nn_w＝(1-w2)×nn_w1+w2×nn_w2；
其中，nn_w1为对应环境照度lumx1的权重值，nn_w2为对应环境照度lumx2的权重值，满足条件：lumx1＜lumxc＜lumx2，
其中lumxc为当前环境的照度；
对所述神经网络进行训练的方法包括：
A1，在同样照度环境下，将两个图像传感器的曝光参数设置为同样的参考亮度，将所述两个图像传感器设置为具有相同的视场角和输出幅面，且所述两个图像传感器具有不同的信噪比；
A2，采集所述两个图像传感器在同样照度环境下相同场景的原始图像数据；
A3，更换照度环境，并重复所述步骤A1和所述步骤A2，以得到相同场景下不同照度环境时的所述两个图像传感器的原始图像数据；
A4，更换场景，重复所述步骤A1至所述步骤A3，以得到更换场景后不同照度环境时的所述两个图像传感器的原始图像数据；
A5，利用所述步骤A2至所述步骤A4采集到的所有所述原始图像数据训练所述神经网络。
2.根据权利要求1所述的图像处理方法，其特征在于，所述数据信息包括曝光时间和增益。
3.根据权利要求1所述的图像处理方法，其特征在于，所述利用所述神经网络对所述原始图像数据进行信噪比增强的方法包括：将所述原始图像数据经过若干卷积层、激励层和池化层的处理后，得到相同幅面的信噪比增强后的所述原始图像数据。
4.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：在对所述原始图像数据进行信噪比增强处理之前，对所述神经网络进行训练，以提高对所述原始图像数据进行信噪比增强的准确度。
5.根据权利要求4所述的图像处理方法，其特征在于，对所述神经网络进行训练的方法还可以包括：
B1，固定所述图像传感器的曝光参考亮度，采集特定场景下具有低信噪比的图像传感器的原始图像数据；
B2，标定当前照度环境下所述具有低信噪比的图像传感器的噪声参数；
B3，更换照度环境，并重复所述步骤B1和所述步骤B2，以得到特定场景下不同照度环境时所述具有低信噪比的图像传感器的噪声参数；
B4，更换具有高信噪比的图像传感器，重复所述步骤B1至所述步骤B3，以得到特定场景下不同照度环境时所述具有高信噪比的图像传感器的噪声参数；
B5，将标准无噪数据集进行反图像信号处理，以得到原始图像数据格式的信号数据集；
B6，利用所述具有低信噪比的图像传感器的噪声参数和所述具有高信噪比的图像传感器的噪声参数分别对所述信号数据集进行加噪，以得到低信噪比数据集和高信噪比数据集；
B7，利用所述低信噪比数据集和所述高信噪比数据集训练所述神经网络。
6.一种图像处理系统，其特征在于，所述图像处理系统包括：图像输入单元、信噪比增强单元、图像信号处理单元和图像输出单元；
所述图像输入单元用于获取图像传感器的数据信息和图像的原始图像数据；
所述信噪比增强单元用于读取所述图像输入单元获取的所述数据信息和所述原始图像数据，依据所述数据信息得到当前环境的照度信息，查找与所述照度信息相对应的神经网络权重值，将所述神经网络权重值配置到神经网络中，并利用所述神经网络对所述原始图像数据进行信噪比增强；
所述图像信号处理单元用于对信噪比增强后的所述原始图像数据进行降噪和去马赛克处理，并得到处理后的图像；
所述图像输出单元用于输出所述处理后的图像；
所述查找与所述照度信息相对应的神经网络权重值的方法包括：通过对所述照度信息进行查表索引，得到对应的神经网络权重值；在进行所述查表索引时，若所述照度信息落在查表索引的两个索引值之间，则通过线性内插得到对应的所述神经网络权重值；
所述通过线性内插得到对应的所述神经网络权重值的计算方法包括：
设所述神经网络权重值为nn_w，则nn_w＝(1-w2)×nn_w1+w2×nn_w2；
其中，nn_w1为对应环境照度lumx1的权重值，nn_w2为对应环境照度lumx2的权重值，满足条件：lumx1＜lumxc＜lumx2，
其中lumxc为当前环境的照度；
对所述神经网络进行训练的方法包括：
A1，在同样照度环境下，将两个图像传感器的曝光参数设置为同样的参考亮度，将所述两个图像传感器设置为具有相同的视场角和输出幅面，且所述两个图像传感器具有不同的信噪比；
A2，采集所述两个图像传感器在同样照度环境下相同场景的原始图像数据；
A3，更换照度环境，并重复所述步骤A1和所述步骤A2，以得到相同场景下不同照度环境时的所述两个图像传感器的原始图像数据；
A4，更换场景，重复所述步骤A1至所述步骤A3，以得到更换场景后不同照度环境时的所述两个图像传感器的原始图像数据；
A5，利用所述步骤A2至所述步骤A4采集到的所有所述原始图像数据训练所述神经网络。
7.根据权利要求6所述的图像处理系统，其特征在于，所述信噪比增强单元包括参数读取模块、数据输入模块、噪声估计模块、网络权重缓存模块、卷积运算模块和数据输出模块；
所述参数读取模块用于读取所述图像输入单元获取的所述数据信息；所述数据输入模块用于读取所述图像输入单元获取的所述原始图像数据，并将所述原始图像数据输送至所述卷积运算模块中；所述噪声估计模块用于通过所述数据信息估计所述图像传感器当前环境下的照度信息；所述网络权重缓存模块用于根据所述照度信息检索得到神经网络权重值，并将所述神经网络权重值配置到所述卷积运算模块中；所述卷积运算模块用于对所述原始图像数据进行信噪比增强；所述数据输出模块用于输出信噪比增强后的所述原始图像数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010162435.1A CN111402153B (zh) | 2020-03-10 | 2020-03-10 | 一种图像处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010162435.1A CN111402153B (zh) | 2020-03-10 | 2020-03-10 | 一种图像处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111402153A CN111402153A (zh) | 2020-07-10 |
| CN111402153B true CN111402153B (zh) | 2023-06-13 |
Family
ID=71413298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010162435.1A Active CN111402153B (zh) | 2020-03-10 | 2020-03-10 | 一种图像处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111402153B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114418873B (zh) * | 2021-12-29 | 2022-12-20 | 英特灵达信息技术(深圳)有限公司 | 一种暗光图像降噪方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110191291A (zh) * | 2019-06-13 | 2019-08-30 | Oppo广东移动通信有限公司 | 基于多帧图像的图像处理方法和装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108604369B (zh) * | 2016-07-27 | 2020-10-27 | 华为技术有限公司 | 一种去除图像噪声的方法、装置、设备及卷积神经网络 |
| CN107767343B (zh) * | 2017-11-09 | 2021-08-31 | 京东方科技集团股份有限公司 | 图像处理方法、处理装置和处理设备 |
| CN110555808B (zh) * | 2018-05-31 | 2022-05-31 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置、设备及机器可读存储介质 |
-
2020
- 2020-03-10 CN CN202010162435.1A patent/CN111402153B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110191291A (zh) * | 2019-06-13 | 2019-08-30 | Oppo广东移动通信有限公司 | 基于多帧图像的图像处理方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于卷积神经网络的红外图像去噪方法研究;朱宜生;孙成;;环境技术(06);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111402153A (zh) | 2020-07-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106713755B (zh) | 全景图像的处理方法及装置 | |
| US11127117B2 (en) | Information processing method, information processing apparatus, and recording medium | |
| WO2020038072A1 (zh) | 曝光控制方法、装置和电子设备 | |
| WO2020152521A1 (en) | Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures | |
| US9514525B2 (en) | Temporal filtering for image data using spatial filtering and noise history | |
| US10762664B2 (en) | Multi-camera processor with feature matching | |
| JP2020150331A (ja) | 画像処理装置、画像処理装置の制御方法、システム、及び、プログラム | |
| CN110166709B (zh) | 夜景图像处理方法、装置、电子设备以及存储介质 | |
| WO2021114868A1 (zh) | 降噪方法、终端及存储介质 | |
| WO2022099600A1 (en) | Method and system of image hashing object detection for image processing | |
| JP2020042760A (ja) | 情報処理方法、情報処理装置、及びプログラム | |
| KR20230098575A (ko) | 프레임 프로세싱 및/또는 캡처 명령 시스템들 및 기법들 | |
| CN113538223A (zh) | 噪声图像生成方法、装置、电子设备及存储介质 | |
| WO2023236445A1 (zh) | 一种使用长曝光补偿的低光照图像增强方法 | |
| CN110889809A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| US9648261B2 (en) | Account for clipped pixels in auto-focus statistics collection | |
| CN111402153B (zh) | 一种图像处理方法及系统 | |
| Tan et al. | A real-time video denoising algorithm with FPGA implementation for Poisson–Gaussian noise | |
| JP2014039169A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| CN113259594A (zh) | 图像处理方法及装置、计算机可读存储介质、终端 | |
| CN116723413A (zh) | Raw域图像去噪方法及拍摄装置 | |
| CN107295261A (zh) | 图像去雾处理方法、装置、存储介质和移动终端 | |
| CN115358962B (zh) | 一种端到端视觉里程计方法及装置 | |
| WO2022235809A1 (en) | Image restoration for under-display cameras | |
| WO2022178834A1 (zh) | 一种图像处理的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |