CN110189354A - 图像处理方法与图像处理器、图像处理设备及介质 - Google Patents
图像处理方法与图像处理器、图像处理设备及介质 Download PDFInfo
- Publication number
- CN110189354A CN110189354A CN201910314608.4A CN201910314608A CN110189354A CN 110189354 A CN110189354 A CN 110189354A CN 201910314608 A CN201910314608 A CN 201910314608A CN 110189354 A CN110189354 A CN 110189354A
- Authority
- CN
- China
- Prior art keywords
- image
- noise
- noise reduction
- region
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 22
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000012805 post-processing Methods 0.000 claims abstract description 49
- 238000003709 image segmentation Methods 0.000 claims abstract description 30
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 22
- 238000003384 imaging method Methods 0.000 claims abstract description 22
- 230000009467 reduction Effects 0.000 claims description 62
- 238000000034 method Methods 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 26
- 238000011946 reduction process Methods 0.000 claims description 22
- 238000003062 neural network model Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 7
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 17
- 238000003860 storage Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 10
- 230000035945 sensitivity Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了图像处理器与图像处理方法、图像处理设备及介质。该图像处理器包括：图像分割步骤，识别和标记待处理图像中的前景图像区域与背景图像区域；以及后处理步骤，对所述待处理图像的前景图像区域和背景图像区域，使用不同的后处理算法进行处理；其中，所述待处理图像为从图像传感器接收的未加工图像。通过识别和标记待处理图像中的不同区域，进而采用不同的后处理算法，能够提升图像处理的精度和美观度，提升图像的整体效果。
Description
技术领域
本发明涉及图像处理技术，尤其涉及图像处理方法与图像处理器、图像处理设备及介质。
背景技术
现有的硬件图像信号处理器(Image Signal Processor,ISP)存在一些缺陷。例如，由于硬件的不灵活性以及功耗等方面的考量，硬件图像信号处理器所实现的降噪、后处理功能都比较保守。
比如，硬件图像信号处理器无法去掉由于高感光度ISO导致的图像上的高强度噪声，并且容易将图像上的多细节纹理区域不加区分地当作噪声去掉。另外，对于这些图像尝试使用传统的软件降噪方法，仍不能取得令人满意的降噪效果。
另一方面，硬件图像信号处理器的后处理是针对整个图像的，无法对图像上不同的区域自适应地调整后处理算法，导致图像的整体美观度不够，处理效果差强人意。
因此，亟需能够解决以上问题之一，乃至能够解决更多问题的图像处理解决方案。
发明内容
为了解决以上问题之一，乃至能够解决更多问题，本发明提供了如下所述的图像处理方法与图像处理器、图像处理设备及介质。
概述而言，本发明提出通过神经网络来实现图像去噪和/或自适应调整后处理算法的解决方案。相比采用传统的硬件图像信号处理器方式，本发明提出的方案可以去除图像上更多的噪声，保留更多的细节，和/或可以根据图像上不同的区域来自适应地选择不同的后处理算法。
而且，进一步地，本发明提出基于直接从图像传感器获得的未加工图像(也称为“RAW图像数据”，即图像传感器(例如CCD或COMS图像传感器)将捕捉到的光源信号转化为数字信号的原始数据)来进行所需的降噪和/或后处理等。这样，能够保留未加工数据的最多细节，最大化减少图像信息的不必要缺失。
根据本发明的一个示例性实施例，提供一种图像处理方法，包括：图像分割步骤，识别和标记待处理图像中的前景图像区域与背景图像区域；以及后处理步骤，对所述待处理图像的前景图像区域和背景图像区域，使用不同的后处理算法进行处理；其中，所述待处理图像为从图像传感器接收的未加工图像。
可选地，所述方法包括：降噪步骤，对待处理图像进行降噪处理，得到降噪图像；图像分割步骤，识别和标记降噪图像中的前景图像区域与背景图像区域；以及后处理步骤，对所述降噪图像的前景图像区域和背景图像区域，使用不同的后处理算法进行处理，其中，所述待处理图像为从图像传感器接收的未加工图像。
可选地，在所述图像分割步骤中，通过作为识别模型的神经网络模型来识别和标记待处理图像中的前景图像区域与背景图像区域，其中，按照如下方式训练所述识别模型：对第一样本图像进行图像转换，得到与第一样本图像对应的人眼可识别图像，对所述人眼可识别图像进行人工标记，得到所述人眼可识别图像的前景识别区域与背景识别区域，将所述前景识别区域与背景识别区域分别映射回第一样本图像所在的域，得到作为图像的掩膜，用第一样本图像和所述区域掩膜训练识别模型，所述第一样本图像为从图像传感器接收的未加工图像。
可选地，在后处理步骤之后，所述方法还包括：图像转换步骤，将经过后处理步骤处理的图像转换为人眼可识别图像，由关闭了降噪和后处理功能的硬件图像处理器来执行所述图像转换步骤。
可选地，在降噪步骤中，将单通道的所述未加工图像转换成RGGB的4通道图像进行降噪处理。
可选地，在降噪步骤中，通过作为降噪模型的神经网络模型进行降噪处理，其中，按照如下方式训练所述降噪模型：将低噪声图像作为第二样本图像，根据特定环境下拍摄的噪声图像，估计特定环境下的各样本图像的噪声参数，并根据所述噪声参数，在所述第二样本图像上生成噪声以得到噪声图像，用噪声图像和第二样本图像训练所述降噪模型。
根据本发明的一个示例性实施例，提供一种图像处理器，包括：图像分割装置，被配置用于识别和标记待处理图像中的前景图像区域与背景图像区域；以及后处理装置，被配置用于对所述待处理图像的前景图像区域和背景图像区域，使用不同的后处理算法进行处理，其中，所述待处理图像为从图像传感器接收的未加工图像。
根据本发明的一个示例性实施例，提供一种图像处理器，包括：降噪装置，被配置用于对待处理图像进行降噪处理，得到降噪图像；图像分割装置，被配置用于识别和标记降噪图像中的前景图像区域与背景图像区域；以及后处理装置，被配置用于对所述降噪图像的前景图像区域和背景图像区域，使用不同的后处理算法进行处理，其中，所述待处理图像为从图像传感器接收的未加工图像。
可选地，所述图像分割装置通过作为识别模型的神经网络模型来识别和标记待处理图像中的前景图像区域与背景图像区域，其中，按照如下方式训练所述识别模型：对第一样本图像进行图像转换，得到与第一样本图像对应的人眼可识别图像，对所述人眼可识别图像进行人工标记，得到所述人眼可识别图像的前景识别区域与背景识别区域，将所述前景识别区域与背景识别区域分别映射回第一样本图像所在的域，得到作为图像的掩膜，用第一样本图像和所述区域掩膜训练识别模型，所述第一样本图像为从图像传感器接收的未加工图像。
可选地，所述图像处理器还包括：图像转换装置，被配置用于将经过所述后处理装置处理的图像转换为人眼可识别图像，由关闭了降噪和后处理功能的硬件图像处理器来用作所述图像转换装置。
可选地，所述降噪装置将单通道的所述未加工图像转换成RGGB的4通道图像进行降噪处理。
可选地，所述降噪装置通过作为降噪模型的神经网络模型进行降噪处理，其中，按照如下方式训练所述降噪模型：将低噪声图像作为第二样本图像，根据特定环境下拍摄的噪声图像，估计特定环境下的各样本图像的噪声参数，并根据所述噪声参数，在所述第二样本图像上生成噪声以得到噪声图像，用噪声图像和第二样本图像训练所述降噪模型。
根据本发明的再一个实施例，提供一种图像处理设备，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行上面描述的方法之一。
根据本发明的又一个实施例，提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被处理器执行时，使所述处理器执行上面描述的方法之一。
总之，通过识别和标记待处理图像中的不同区域，进而采用不同的后处理算法，本发明能够提升图像处理的精度和美观度，提升图像的整体效果。并且，通过在处理时直接使用未加工图像，能够避免图像信息的不必要丢失，从而能够最大化保留图像信息。而且，通过将接收的单通道图像转换为4通道图像，能够充分提高降噪模型的泛化能力。再者，通过采用神经网络模型作为降噪模型，与硬件图像信号处理器和传统的软件方法相比，能够取得更好的降噪效果，尤其对于背景技术中提到的降噪问题。另外，通过采用神经网络模型作为图像分割阶段的识别模型，能够提高图像上的不同区域的识别精度，从而能够有效提高图像处理效果。
附图说明
通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的附图标记通常代表相同部件。
图1给出了根据本发明的一个示例性实施例的图像处理器的示意性框图。
图2给出了一张例示的区域掩膜(mask)。
图3示出了RGGB的4通道图像的格式。
图4给出了根据本发明的另一个示例性实施例的图像处理器的示意性框图。
图5给出了根据本发明的一个示例性实施例的图像处理方法的示意性流程图。
图6给出了根据本发明的另一个示例性实施例的图像处理方法的示意性流程图。
图7给出了根据本发明的一个示例性实施例的图像处理设备的示意性框图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。这里需要说明的是，本申请中的数字、序号以及附图标记仅是为了方便描述而出现的，对于本发明的步骤、顺序等等均不构成任何限制，除非在说明书中明确指出了步骤的执行有特定的先后顺序。
如前所述，本发明提供一种通过神经网络来实现图像去噪和/或自适应调整后处理算法的解决方案。相比采用传统的硬件图像信号处理器，本发明提出的方案可以去除图像中更多的噪声，保留更多的细节，和/或可以根据区域自适应地选择不同的后处理方法。
而且，进一步地，本发明提出基于直接从图像传感器获得的未加工图像(也称为“RAW图像数据”，即图像传感器(例如CCD或COMS图像传感器)将捕捉到的光源信号转化为数字信号的原始数据)来进行所需的降噪和/或后处理等。这样，能够保留未加工数据的最多细节，最大化减少图像信息的不必要缺失。
图1给出了根据本发明的一个示例性实施例的图像处理器的示意性框图。
如图1所示，根据本发明的一个示例性实施例的图像处理器100可以包括：图像分割装置110、后处理装置120。
其中，图像分割装置110可以被配置用于识别和标记待处理图像中的前景图像区域与背景图像区域。
后处理装置120可以被配置用于对图像的前景图像区域和背景图像区域使用不同的后处理算法进行处理。
通过识别和标记待处理图像中的不同区域，进而采用不同的后处理算法，本发明能够克服传统的硬件图像信号处理器不能够对于图像有区分地进行后处理而导致的图像处理效果不足的问题，从而能够提升图像处理的精度和美观度，提升图像的整体效果。
另外，根据本发明的另一个示例性实施例，图像处理器100还可以再包括降噪装置105。其中，降噪装置105可以被配置用于通过作为降噪模型的神经网络模型，对于待处理图像进行降噪处理，并将降噪后的待处理图像传送给图像分割装置120。
通过神经网络模型来作为降噪模型，对于图像进行降噪处理，本发明能够克服传统的硬件图像信号处理器和传统的软件方法均不能够获得较好的降噪效果(尤其由于高感光度ISO导致的图像上的高强度噪声很难获得较好的降噪效果，而且还容易将图像上的多细节纹理区域不加区别地当作噪声去除，导致降噪效果差强人意)的问题。
另外，根据本发明的另一个示例性实施例，图像处理器100还可以再包括接收装置101。其中，接收装置101可以被配置用于从图像传感器接收未加工图像，并将接收的未加工图像作为待处理图像传送给降噪装置105或直接传送给图像分割装置110。
这里，接收装置101直接从图像传感器接收未加工图像(即RAW图像)，可以避免不必要的信息丢失，最大化保留最多的图像信息。因为，如果未加工图像先被进行了某些或某种图像处理，将导致图像信息发生丢失。
另外，在接收装置101接收的未加工图像直接传送给图像分割装置110的情况下，没有进行降噪处理，即，本发明也可以直接进行图像的后处理操作。
另外，可选地，对于识别出了背景图像区域和前景图像区域的图像，后处理装置120可以选择使用背景后处理算法来处理背景图像区域，并可以选择使用前景后处理算法来处理前景图像区域。
通过上述这样有针对性处理图像的不同区域，能够提高图像处理的精度和美观度，并且有效提升图像处理的整体效果。
另外，可选地，上述的图像分割装置110可以通过作为识别模型的神经网络模型，对于待处理图像进行前景图像区域与背景图像区域的识别。
通过将神经网络模型作为识别模型，图像分割装置110能够有效地识别前景图像区域与背景图像区域，克服传统的硬件图像信号处理器不能有针对性地识别和区分处理图像的不同区域的问题，从而能够提高图像处理的精度和美观度，并且有效提升图像处理的整体效果。
这里，请注意，作为降噪模型的神经网络模型与作为识别模型的神经网络模型是不同的两个模型，这是由它们的功能和作用不同而决定的。
例如，降噪模型可以是图入图出(即，输入是图像，输出也是图像)的神经网络模型，识别模型可以是图入二值化矩阵出(即，输入是图像，输出是二值化的矩阵)的神经网络模型。
再例如，两个神经网络模型都可以采用U型结构的神经网络来实现。
请注意，本发明对于降噪模型和识别模型具体采用哪种神经网络模型不加任何限制，只要它们能够实现所需的功能即可。
例如，降噪模型可以是一个全卷积神经网络模型，可以对各种感光度(ISO)的噪声图像进行降噪处理。例如，识别模型可以是一个深度学习模型，能够准确地识别待处理图像上的不同区域。
可选地，图像分割装置110通过把待处理图像上的前景图像区域中的各点赋予与背景图像区域中的各点不同的数值，来标记前景图像区域和背景图像区域。
例如，上述的识别模型可以通过学习，为每张待处理图像产生一个相应的区域掩膜(mask)，如图2所示的图像即为标记了前景图像区域与背景图像区域的例示区域掩膜。
该区域掩膜可以为单通道(例如Bayer格式)的图像(这里使用单通道的图像是为了更方便后续的处理)，其中，前景图像区域(这里的前景例如可以为主题物、人等)上的点可以例如取值为255，背景图像区域上的点可以例如取值为0。
请注意，关于区域掩膜中的不同的图像区域上的点的取值，只要一个图像区域上的点的取值能够与另一个图像区域上的点的取值不同，能够区分出它们属于不同的图像区域即可，无须规定其具体的数值。
这里，得到的区域掩膜可以输出给后处理装置120供其处理。
以图2的区域掩膜为例，后处理装置120可以对照待处理图像(即，从中取出了区域掩膜的图像)，对该区域掩膜中的值为0的背景区域，选择背景后处理算法对于该待处理图像上的相应背景区域进行处理，对该区域掩膜中的值为255的前景区域，选择人像后处理算法(属于前景后处理算法)对于该待处理图像上的相应前景区域进行处理。
经过上述的后处理之后，可以将后处理之后的图像交由图像转换装置130进行处理，以转化为人眼可识别图像(例如jpeg或者png等格式的图像)。
这里，图像转换装置130可以被配置用于将后处理装置处理后的图像转换为人眼可识别图像。
这里，图像转换装置130可以是硬件图像信号处理器。由于如前所述的降噪装置和后处理装置的存在，同时避免图像转换装置130的硬件图像信号处理器的降噪和后处理功能在降噪和后处理时对图像细节带来损失，作为本实施例的图像转换装置130的硬件图像信号处理器可以关闭它的降噪和后处理功能，例如可以仅保留gamma变换、白平衡等图像处理功能。
可选地，关于图像的格式，待处理图像在接收时可以是单通道图像。
在降噪处理阶段中，进行降噪处理之前，可以将单通道图像转换成4通道图像以便使得降噪处理具有更强的泛化能力。
因为，不同的拍摄设备所拍摄的图像(单通道图像)的格式可能不同，图像传感器传输到接收装置的作为待处理图像的单通道图像的格式也不同，如果不进行从单通道图像到RGGB(其中，R表示红色，G表示绿色，B表示蓝色)的4通道图像(如图3所示)的转换，降噪模型将受到能够处理的图像的格式的限制，不能处理各种格式的待处理图像。因此，为了使得降噪模型具有强的泛化能力，可以进行单通道图像到4通道图像的格式转换。
另外，可选地，图像分割装置110在识别待处理图像中的前景图像区域与背景图像区域之前，先将经过降噪装置105降噪后的4通道的待处理图像转换为易于进行图像分割的单通道图像，以进行图像分割，得到标记了前景图像区域和背景图像区域的如图2所示的区域掩膜。由此可知，区域掩膜为单通道图像。
在后处理时，需要区域掩膜来对照地区分待处理图像的前景图像区域和背景图像区域以便进行针对性的后处理，因此后处理阶段还需要待处理图像，该待处理图像可以是由降噪装置经过降噪处理之后传送给后处理装置的，也可以是没有经过降噪处理的待处理图像(例如，未加工图像)。
也就是说，降噪装置是可以将降噪后的待处理图像直接传送给图像分割装置110和后处理装置120两者的。另一方面，后处理装置需要的待处理图像(待处理图像不包括区域掩膜)可以直接从接收装置接收，也可以直接从降噪装置接收，或者由系统直接传送一个与区域掩膜对应的待处理图像给后处理装置，都是可以的。
另外，对于降噪模型的训练，可以例如使用单反相机的低感光度长曝光的模式来采集一些低噪声图像(第二样本图像，其可以是4通道图像)作为监督图像，然后使用可以使用拍摄设备(例如，手机)在特定环境下拍摄一些图像来估计噪声参数，并根据估计的噪声参数，人工地在监督图像上生成噪声，得到的噪声图像可以作为降噪模型的训练集。这里，由于需要对各种感光度下的噪声图像均取得好的降噪效果，所以样本图像上生成的噪声需要是各种感光度下的噪声。
这里，图像噪声一般服从泊松分布和高斯分布的混合分布，其中泊松分布的方差期望与亮度和感光度有关，高斯分布跟感光度的平方有关，因此，通过采集特定环境下的图像，可以估计出噪声参数的分布。然后，可以根据估计的噪声参数的分布，人为地给图像施加模拟噪声，得到噪声图像作为降噪模型的训练样本。
对于识别模型的训练，可以使用拍摄设备(例如，手机、相机等)采集大量的未加工图像(RAW图像)作为第一样本图像。因为这些未加工图像是人眼不可见的，所以还需要得到与这些未加工图像对应的、经过硬件图像信号处理器处理后的相应的人眼可识别图像(例如，jpeg图像)。这里，在实践操作中，可以在拍摄设备拍摄之后从不同的处理部分直接得到未加工图像以及对应的人眼可识别图像(也就是通常直接从拍摄设备出来的图像，这样的图像已经是经过硬件图像信号处理器处理后的人眼可识别图像)，未加工图像是可以在硬件图像信号处理器之前的处理部分得到的。然后，人工对这些人眼可识别图像进行区域标记，得到相应的区域标记图，并将标记的区域映射到RAW域上(即，映射到未加工图像上)得到该未加工图像对应的区域标记图，作为识别模型的训练样本。
图4给出了根据本发明的另一个示例性实施例的图像处理器的示意性框图。
如图4所示，根据本发明的另一个示例性实施例的图像处理器200可以包括接收装置201、降噪装置205。
其中，接收装置201可以被配置用于接收单通道(例如，bayer格式)的待处理图像，并将接收的单通道的待处理图像传送给降噪装置105。
降噪装置205可以被配置用于将上述的单通道的待处理图像转换成RGGB的4通道图像，并且通过作为降噪模型的神经网络模型，对转换后的所述4通道图像进行降噪处理。
如前所述，通过将接收的单通道图像转换为4通道图像，有效提高了降噪模型的泛化能力。
而且，如前所述，通过使用神经网络模型作为降噪模型，与硬件图像信号处理器和传统的软件方法相比，本发明能够取得更好的降噪效果。
另外，可选地，上述的单通道的待处理图像可以是接收装置201从图像传感器接收的未加工图像。同样如前所述，通过直接处理未加工图像，能够减少图像信息的不必要的丢失，最大化地保留图像信息。
另外，上述的图像处理器200还可以包括图像分割装置210和后处理装置220。
其中，图像分割装置210可以被配置用于识别和标记降噪后的待处理图像中的前景图像区域与背景图像区域。
后处理装置220可以被配置用于对所述前景图像区域和背景图像区域使用不同的后处理算法进行处理。
另外，上述的图像处理器200还可以包括图像转换装置230。
其中图像转换装置230可以被配置用于将后处理装置处理后的图像转换为人眼可识别图像。
这里，上述的接收装置201、降噪装置205、图像分割装置210、后处理装置220、图像转换装置230与图1所示的接收装置101、降噪装置105、图像分割装置110、后处理装置120、图像转换装置130类似，在此不再赘述。
可选地，上述的后处理装置220选择使用背景后处理算法处理背景图像区域，选择使用前景后处理算法处理前景图像区域。
可选地，上述的图像分割装置210通过作为识别模型的神经网络模型，对降噪后的图像数据进行前景图像区域与背景图像区域的识别。
可选地，上述的图像分割装置210通过把待处理图像上的前景图像区域中的各点赋予与背景图像区域中的各点不同的数值，来标记前景图像区域和背景图像区域。
可选地，所述图像转换装置可以是关闭了降噪和后处理功能的硬件图像处理器。
可选地，在训练降噪模型时，通过用拍摄设备拍摄多个图像作为样本图像，估计各样本图像的噪声参数，并根据估计的噪声参数，在所述多个样本图像上生成噪声以得到噪声图像作为降噪模型的训练集。
可选地，在训练识别模型时，对于多个样本图像(第一样本图像)进行图像处理，得到与各样本图像对应的人眼可识别图像，对所述相应的人眼可识别图像进行人工标记，得到所述相应的人眼可识别图像各自的前景识别区域与背景识别区域，将所述前景识别区域与背景识别区域分别映射回各自对应的样本图像上，得到每个样本图像上的前景识别区域与背景识别区域，作为识别模型的训练集。
图5给出了根据本发明的一个示例性实施例的图像处理方法的示意性流程图。
其中，图5所示的各步骤，接收步骤S101、降噪步骤S105、图像分割步骤S110、后处理步骤S120、图像转换步骤S130等分别与图1所示的各装置，接收装置101、降噪装置105、图像分割装置110、后处理装置120、图像转换装置130对应，在此不再赘述。
图6给出了根据本发明的另一个示例性实施例的图像处理方法的示意性流程图。
其中，图6所示的各步骤，接收步骤S201、降噪步骤S205、图像分割步骤S210、后处理步骤S220、图像转换步骤S230等分别与图4所示的各装置，接收装置201、降噪装置205、图像分割装置210、后处理装置220、图像转换装置230对应，在此也不再赘述。
请注意，本发明的图像处理器以及其中的各装置可以是用软件使用的，也可以是用硬件实现的，对此不应该有任何限制。
图7给出了根据本发明的一个示例性实施例的图像处理设备的示意性框图。
参见图7，该图像处理设备1包括存储器10和处理器20。
处理器20可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器20可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中，处理器20可以使用定制的电路实现，例如特定用途集成电路(ASIC，Application Specific Integrated Circuit)或者现场可编程逻辑门阵列(FPGA，Field Programmable Gate Arrays)。
存储器10上存储有可执行代码，当所述可执行代码被所述处理器20执行时，使所述处理器20执行上面描述的数据迁移方法之一。其中，存储器10可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器20或者计算机的其他装置需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器10可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器10可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。
或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、装置、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图等等显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个装置、程序段或代码的一部分，所述装置、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (14)
1.一种图像处理方法，其特征在于，所述方法包括：
图像分割步骤，识别和标记待处理图像中的前景图像区域与背景图像区域；以及
后处理步骤，对所述待处理图像的前景图像区域和背景图像区域，使用不同的后处理算法进行处理；
其中，所述待处理图像为从图像传感器接收的未加工图像。
2.一种图像处理方法，其特征在于，所述方法包括：
降噪步骤，对待处理图像进行降噪处理，得到降噪图像；
图像分割步骤，识别和标记降噪图像中的前景图像区域与背景图像区域；以及
后处理步骤，对所述降噪图像的前景图像区域和背景图像区域，使用不同的后处理算法进行处理，
其中，所述待处理图像为从图像传感器接收的未加工图像。
3.如权利要求1或2所述的图像处理方法，其特征在于，在所述图像分割步骤中，通过作为识别模型的神经网络模型来识别和标记待处理图像中的前景图像区域与背景图像区域，
其中，按照如下方式训练所述识别模型：
对第一样本图像进行图像转换，得到与第一样本图像对应的人眼可识别图像，对所述人眼可识别图像进行人工标记，得到所述人眼可识别图像的前景识别区域与背景识别区域，将所述前景识别区域与背景识别区域分别映射回第一样本图像所在的域，得到作为图像的区域掩膜，用第一样本图像和所述区域掩膜训练识别模型，所述第一样本图像为从图像传感器接收的未加工图像。
4.如权利要求1或2所述的图像处理方法，其特征在于，在后处理步骤之后，所述方法还包括：
图像转换步骤，将经过后处理步骤处理的图像转换为人眼可识别图像，由关闭了降噪和后处理功能的硬件图像处理器来执行所述图像转换步骤。
5.如权利要求2所述的图像处理方法，其特征在于，在降噪步骤中，将单通道的所述未加工图像转换成RGGB的4通道图像进行降噪处理。
6.如权利要求2所述的图像处理方法，其特征在于，在降噪步骤中，通过作为降噪模型的神经网络模型进行降噪处理，
其中，按照如下方式训练所述降噪模型：
将低噪声图像作为第二样本图像，根据特定环境下拍摄的噪声图像，估计特定环境下的各样本图像的噪声参数，并根据所述噪声参数，在所述第二样本图像上生成噪声以得到噪声图像，用噪声图像和第二样本图像训练所述降噪模型。
7.一种图像处理器，其特征在于，所述图像处理器包括：
图像分割装置，被配置用于识别和标记待处理图像中的前景图像区域与背景图像区域；以及
后处理装置，被配置用于对所述待处理图像的前景图像区域和背景图像区域，使用不同的后处理算法进行处理；
其中，所述待处理图像为从图像传感器接收的未加工图像。
8.一种图像处理器，其特征在于，所述图像处理器包括：
降噪装置，被配置用于对待处理图像进行降噪处理，得到降噪图像；
图像分割装置，被配置用于识别和标记降噪图像中的前景图像区域与背景图像区域；以及
后处理装置，被配置用于对所述降噪图像的前景图像区域和背景图像区域，使用不同的后处理算法进行处理，
其中，所述待处理图像为从图像传感器接收的未加工图像。
9.如权利要求7或8所述的图像处理器，其特征在于，所述图像分割装置通过作为识别模型的神经网络模型来识别和标记待处理图像中的前景图像区域与背景图像区域，
其中，按照如下方式训练所述识别模型：
对第一样本图像进行图像转换，得到与第一样本图像对应的人眼可识别图像，对所述人眼可识别图像进行人工标记，得到所述人眼可识别图像的前景识别区域与背景识别区域，将所述前景识别区域与背景识别区域分别映射回第一样本图像所在的域，得到作为图像的区域掩膜，用第一样本图像和所述区域掩膜训练所述识别模型，所述第一样本图像为从图像传感器接收的未加工图像。
10.如权利要求7或8所述的图像处理器，其特征在于，所述图像处理器还包括：
图像转换装置，被配置用于将经过所述后处理装置处理的图像转换为人眼可识别图像，由关闭了降噪和后处理功能的硬件图像处理器来用作所述图像转换装置。
11.如权利要求8所述的图像处理器，其特征在于，所述降噪装置将单通道的所述未加工图像转换成RGGB的4通道图像进行降噪处理。
12.如权利要求8所述的图像处理器，其特征在于，所述降噪装置通过作为降噪模型的神经网络模型进行降噪处理，
其中，按照如下方式训练所述降噪模型：
将低噪声图像作为第二样本图像，根据特定环境下拍摄的噪声图像，估计特定环境下的各样本图像的噪声参数，并根据所述噪声参数，在所述第二样本图像上生成噪声以得到噪声图像，用噪声图像和第二样本图像训练所述降噪模型。
13.一种图像处理设备，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1～6中任何一项所述的方法。
14.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被处理器执行时，使所述处理器执行如权利要求1～6中任何一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910314608.4A CN110189354B (zh) | 2019-04-18 | 2019-04-18 | 图像处理方法与图像处理器、图像处理设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910314608.4A CN110189354B (zh) | 2019-04-18 | 2019-04-18 | 图像处理方法与图像处理器、图像处理设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110189354A true CN110189354A (zh) | 2019-08-30 |
| CN110189354B CN110189354B (zh) | 2021-12-28 |
Family
ID=67714738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910314608.4A Active CN110189354B (zh) | 2019-04-18 | 2019-04-18 | 图像处理方法与图像处理器、图像处理设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110189354B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111147862A (zh) * | 2020-01-03 | 2020-05-12 | 南京大学 | 一种基于目标编码的端到端图像压缩方法 |
| CN111709873A (zh) * | 2020-05-27 | 2020-09-25 | 北京百度网讯科技有限公司 | 图像转换模型生成器的训练方法和装置 |
| CN113393477A (zh) * | 2020-03-13 | 2021-09-14 | 上海哔哩哔哩科技有限公司 | 图像处理方法和系统 |
Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1945693A (zh) * | 2005-10-09 | 2007-04-11 | 株式会社东芝 | 训练韵律统计模型、韵律切分和语音合成的方法及装置 |
| CN1969297A (zh) * | 2001-06-15 | 2007-05-23 | 索尼公司 | 图像处理设备和方法及图像拍摄设备 |
| US20090214108A1 (en) * | 2008-02-26 | 2009-08-27 | Jonathan Yen | System and method for isolating near achromatic pixels of a digital image |
| CN102288166A (zh) * | 2011-05-13 | 2011-12-21 | 河海大学 | 基于视频的多模型结合水面船舶检测方法 |
| CN106447632A (zh) * | 2016-09-23 | 2017-02-22 | 西北工业大学 | 一种基于稀疏表示的raw图像去噪方法 |
| CN106570874A (zh) * | 2016-11-10 | 2017-04-19 | 宁波大学 | 一种结合图像局部约束与对象全局约束的图像标记方法 |
| US20170109912A1 (en) * | 2015-10-15 | 2017-04-20 | Motorola Mobility Llc | Creating a composite image from multi-frame raw image data |
| CN107408196A (zh) * | 2014-12-19 | 2017-11-28 | 顶级公司 | 传感器噪声分布图 |
| CN107622224A (zh) * | 2016-07-17 | 2018-01-23 | 金佶科技股份有限公司 | 指纹识别模块以及指纹识别方法 |
| CN107995480A (zh) * | 2013-01-24 | 2018-05-04 | 卡西欧计算机株式会社 | 摄像装置、摄像方法以及记录介质 |
| CN108073910A (zh) * | 2017-12-29 | 2018-05-25 | 百度在线网络技术（北京）有限公司 | 用于生成人脸特征的方法和装置 |
| CN108171657A (zh) * | 2018-01-26 | 2018-06-15 | 上海富瀚微电子股份有限公司 | 图像插值方法及装置 |
| CN108229375A (zh) * | 2017-12-29 | 2018-06-29 | 百度在线网络技术（北京）有限公司 | 用于检测人脸图像的方法和装置 |
| CN108319907A (zh) * | 2018-01-26 | 2018-07-24 | 腾讯科技（深圳）有限公司 | 一种车辆识别方法、装置和存储介质 |
| CN207820033U (zh) * | 2017-10-20 | 2018-09-04 | 杭州海康威视数字技术股份有限公司 | 一种模拟摄像机 |
| CN108875759A (zh) * | 2017-05-10 | 2018-11-23 | 华为技术有限公司 | 一种图像处理方法、装置及服务器 |
| CN108965731A (zh) * | 2018-08-22 | 2018-12-07 | Oppo广东移动通信有限公司 | 一种暗光图像处理方法及装置、终端、存储介质 |
| CN109087242A (zh) * | 2017-06-13 | 2018-12-25 | 上海富瀚微电子股份有限公司 | 一种cfa插值处理方法及装置 |
| CN109102451A (zh) * | 2018-07-24 | 2018-12-28 | 齐鲁工业大学 | 一种纸媒输出的防伪半色调智能数字水印制作方法 |
| CN109285129A (zh) * | 2018-09-06 | 2019-01-29 | 哈尔滨工业大学 | 基于卷积神经网络的图像真实噪声去除系统 |
| CN109284719A (zh) * | 2018-09-28 | 2019-01-29 | 成都臻识科技发展有限公司 | 一种基于机器学习的初始数据处理方法和系统 |
| CN109379572A (zh) * | 2018-12-04 | 2019-02-22 | 北京达佳互联信息技术有限公司 | 图像转换方法、装置、电子设备及存储介质 |
| CN109389557A (zh) * | 2018-10-20 | 2019-02-26 | 南京大学 | 一种基于图像先验的细胞图像超分辨方法及装置 |
| US20190065901A1 (en) * | 2017-08-29 | 2019-02-28 | Vintra, Inc. | Systems and methods for a tailored neural network detector |
-
2019
- 2019-04-18 CN CN201910314608.4A patent/CN110189354B/zh active Active
Patent Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1969297A (zh) * | 2001-06-15 | 2007-05-23 | 索尼公司 | 图像处理设备和方法及图像拍摄设备 |
| CN1945693A (zh) * | 2005-10-09 | 2007-04-11 | 株式会社东芝 | 训练韵律统计模型、韵律切分和语音合成的方法及装置 |
| US20090214108A1 (en) * | 2008-02-26 | 2009-08-27 | Jonathan Yen | System and method for isolating near achromatic pixels of a digital image |
| CN102288166A (zh) * | 2011-05-13 | 2011-12-21 | 河海大学 | 基于视频的多模型结合水面船舶检测方法 |
| CN107995480A (zh) * | 2013-01-24 | 2018-05-04 | 卡西欧计算机株式会社 | 摄像装置、摄像方法以及记录介质 |
| CN107408196A (zh) * | 2014-12-19 | 2017-11-28 | 顶级公司 | 传感器噪声分布图 |
| US20170109912A1 (en) * | 2015-10-15 | 2017-04-20 | Motorola Mobility Llc | Creating a composite image from multi-frame raw image data |
| CN107622224A (zh) * | 2016-07-17 | 2018-01-23 | 金佶科技股份有限公司 | 指纹识别模块以及指纹识别方法 |
| CN106447632A (zh) * | 2016-09-23 | 2017-02-22 | 西北工业大学 | 一种基于稀疏表示的raw图像去噪方法 |
| CN106570874A (zh) * | 2016-11-10 | 2017-04-19 | 宁波大学 | 一种结合图像局部约束与对象全局约束的图像标记方法 |
| CN108875759A (zh) * | 2017-05-10 | 2018-11-23 | 华为技术有限公司 | 一种图像处理方法、装置及服务器 |
| CN109087242A (zh) * | 2017-06-13 | 2018-12-25 | 上海富瀚微电子股份有限公司 | 一种cfa插值处理方法及装置 |
| US20190065901A1 (en) * | 2017-08-29 | 2019-02-28 | Vintra, Inc. | Systems and methods for a tailored neural network detector |
| CN207820033U (zh) * | 2017-10-20 | 2018-09-04 | 杭州海康威视数字技术股份有限公司 | 一种模拟摄像机 |
| CN108229375A (zh) * | 2017-12-29 | 2018-06-29 | 百度在线网络技术（北京）有限公司 | 用于检测人脸图像的方法和装置 |
| CN108073910A (zh) * | 2017-12-29 | 2018-05-25 | 百度在线网络技术（北京）有限公司 | 用于生成人脸特征的方法和装置 |
| CN108319907A (zh) * | 2018-01-26 | 2018-07-24 | 腾讯科技（深圳）有限公司 | 一种车辆识别方法、装置和存储介质 |
| CN108171657A (zh) * | 2018-01-26 | 2018-06-15 | 上海富瀚微电子股份有限公司 | 图像插值方法及装置 |
| CN109102451A (zh) * | 2018-07-24 | 2018-12-28 | 齐鲁工业大学 | 一种纸媒输出的防伪半色调智能数字水印制作方法 |
| CN108965731A (zh) * | 2018-08-22 | 2018-12-07 | Oppo广东移动通信有限公司 | 一种暗光图像处理方法及装置、终端、存储介质 |
| CN109285129A (zh) * | 2018-09-06 | 2019-01-29 | 哈尔滨工业大学 | 基于卷积神经网络的图像真实噪声去除系统 |
| CN109284719A (zh) * | 2018-09-28 | 2019-01-29 | 成都臻识科技发展有限公司 | 一种基于机器学习的初始数据处理方法和系统 |
| CN109389557A (zh) * | 2018-10-20 | 2019-02-26 | 南京大学 | 一种基于图像先验的细胞图像超分辨方法及装置 |
| CN109379572A (zh) * | 2018-12-04 | 2019-02-22 | 北京达佳互联信息技术有限公司 | 图像转换方法、装置、电子设备及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111147862A (zh) * | 2020-01-03 | 2020-05-12 | 南京大学 | 一种基于目标编码的端到端图像压缩方法 |
| CN111147862B (zh) * | 2020-01-03 | 2021-02-23 | 南京大学 | 一种基于目标编码的端到端图像压缩方法 |
| CN113393477A (zh) * | 2020-03-13 | 2021-09-14 | 上海哔哩哔哩科技有限公司 | 图像处理方法和系统 |
| CN111709873A (zh) * | 2020-05-27 | 2020-09-25 | 北京百度网讯科技有限公司 | 图像转换模型生成器的训练方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110189354B (zh) | 2021-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020259118A1 (en) | Method and device for image processing, method and device for training object detection model | |
| CN105096259B (zh) | 深度图像的深度值恢复方法和系统 | |
| CN103262119B (zh) | 用于对图像进行分割的方法和系统 | |
| CN110189354A (zh) | 图像处理方法与图像处理器、图像处理设备及介质 | |
| CN109460754B (zh) | 一种水面异物检测方法、装置、设备及存储介质 | |
| CN110473185A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| JP6135283B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
| CN103455984A (zh) | 一种Kinect深度图像获取方法与装置 | |
| CN109034017A (zh) | 头部姿态估计方法及机器可读存储介质 | |
| CN107864337A (zh) | 素描图像处理方法、装置及设备 | |
| CN110689134A (zh) | 执行机器学习过程的方法、装置、设备以及存储介质 | |
| CN111062293A (zh) | 一种基于深度学习的无人机森林火焰识别方法 | |
| CN111681198A (zh) | 一种形态学属性滤波多模融合成像方法、系统及介质 | |
| CN116524195B (zh) | 语义分割方法、装置、电子设备及存储介质 | |
| CN110276831A (zh) | 三维模型的建构方法和装置、设备、计算机可读存储介质 | |
| JP2012142935A (ja) | 夜景光源検知装置及び夜景光源検知方法 | |
| CN112836625A (zh) | 人脸活体检测方法、装置、电子设备 | |
| CN111445496B (zh) | 一种水下图像识别跟踪系统及方法 | |
| CN114862698B (zh) | 一种基于通道引导的真实过曝光图像校正方法与装置 | |
| CN108805838A (zh) | 一种图像处理方法、移动终端及计算机可读存储介质 | |
| CN117253071B (zh) | 基于多级伪标签增强的半监督目标检测方法及系统 | |
| CN109658357A (zh) | 一种面向遥感卫星图像的去噪方法 | |
| Chen et al. | Hybrid saliency detection for images | |
| CN113139924A (zh) | 图像增强方法、电子设备及存储介质 | |
| CN111931544B (zh) | 活体检测的方法、装置、计算设备及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |